Que faut-il retenir de de la conférence de Yann LeCun à Sciences Po

Hier soir, grande conférence de Yann Lecun à Sciences Po .

Sa vision, vous la connaissez si vous suivez le sujet. Les modèles de langage ne mènent pas à une intelligence comparable à la nôtre, le monde physique est bien plus difficile à modéliser que le texte, et l'avenir passe par des modèles du monde. Il a redonné son chiffre habituel : tout le texte disponible sur internet représente à peu près ce qu'un enfant de quatre ans reçoit par la vision. C'est dans ses papiers et dans plusieurs podcasts.

Alors, ce court article pour partager cinq points que je n'avais pas entendus formulés comme ça :

1. Le blocage est parfois un capteur

Une question de la salle portait sur le toucher. Dans son exemple du nourrisson qui apprend en regardant, où passe le toucher ?

Sa réponse est en deux temps. Le toucher n'est pas nécessaire pour devenir intelligent, chez l'humain comme chez beaucoup d'animaux, et la quantité d'information qu'il fait remonter au cerveau reste très inférieure à celle de la vision. Mais il est indispensable pour manipuler. "Beaucoup de gens travaillent sur la manipulation robotique sans le toucher, et c'est horriblement difficile. C'est probablement impossible."

Or il n'existe pas de bon capteur tactile. Les meilleurs sont des gels recouverts de peinture réfléchissante, avec une caméra derrière qui filme la déformation. Ils fonctionnent et ils s'usent vite.

C'est le point que j'ai trouvé le plus marquant de la soirée. On parle de systèmes qui passent l'examen du barreau, et le composant qui leur permettrait de tenir une tasse est un morceau de gel peint.

Une autre question prolongeait sur les données. Ce qui manque n'est pas la vidéo : il y en a largement plus que ce que les machines savent traiter aujourd'hui. Ce qui manque, ce sont les données d'interaction. État du monde, action, état suivant. Il faut avoir poussé l'objet pour savoir ce qui se passe quand on le pousse, et ces données-là, personne ne les collecte à grande échelle.

Il en tire une conclusion assez raide sur la robotique : "aucune des entreprises aujourd'hui qui fait des robots humanoïdes n'a aucune idée de comment rendre ses robots suffisamment intelligents pour être utiles". L'apprentissage par imitation marche, mais il faut peut-être des dizaines de milliers d'heures de données pour une seule tâche étroite en usine, ce qui n'est pas viable économiquement. Le robot qui nettoie la maison, "c'est pas pour demain" !

Sa question finale sur le sujet : combien de milliards seront investis dans ces entreprises avant que la recherche ait rattrapé les promesses ?

Cela explique au passage un décalage que tout le monde a remarqué sans toujours l'expliquer. Les robots qui courent et qui font des saltos fonctionnent bien, parce qu'un pied qui touche le sol est une interaction simple à modéliser. Les robots qui rangent une cuisine, non.

2. Vingt heures contre des milliards d'heures

Un adolescent apprend à conduire en une vingtaine d'heures de pratique.

Nous disposons de milliards d'heures de conduite humaine enregistrées, avec des capteurs bien meilleurs que deux yeux. Aucun système entraîné par imitation sur ces données ne conduit correctement. Les voitures quasi autonomes en circulation reposent sur de la cartographie précise et des capteurs exotiques, pas sur la seule imitation.

Sa conclusion : nous ne savons toujours pas quel mécanisme permet à un humain ou à un animal d'apprendre une tâche nouvelle en quelques essais. Ce n'est pas un problème d'ingénierie qu'on résoudra en ajoutant des GPU, c'est une question ouverte.

3. L'intelligence humaine n'est pas générale

Une étudiante lui a demandé pourquoi l'intelligence humaine sert toujours de référence, alors que des animaux nous dépassent largement sur certaines tâches physiques.

Il a renvoyé au livre de Frans de Waal sur l'intelligence animale, puis retourné l'argument. "L'intelligence humaine est hyper spécialisée. Par contre elle est très adaptative". Nous nous croyons polyvalents par complexe de supériorité. Ce qui nous caractérise, c'est l'étendue de ce que nous pourrions apprendre, pas ce que nous savons faire. Il a ajouté qu'il était trop vieux pour devenir pianiste.

D'où sa réserve sur le terme AGI. Si l'intelligence humaine n'est pas générale, une intelligence artificielle "de niveau humain" ne désigne rien de précis.

4. Le désaccord sur la sociologie

Le meilleur échange de la soirée est venu d'un sociologue dans la salle. Sa remarque : vous parlez d'apprentissage sans jamais mentionner sa dimension sociale, alors qu'un enfant apprend massivement dans la relation.

LeCun a annoncé l'opinion exactement inverse. L'interaction sociale facilite et accélère l'apprentissage, par imitation, mais elle ne le conditionne pas. C'est un avantage propre aux espèces sociales, qui exploitent la diversité des compétences entre individus. Ses deux contre-exemples : l'orang-outan, territorial, qui interagit très peu avec ses congénaires et reste incroyablement intelligent. Et le poulpe, qui ne rencontre jamais ses parents et devient intelligent très vite.

On n'a pas eu le temps d'aller beaucoup plus loin, et c'est dommage tant ce sujet est intéressant. Pour LeCun, l'intelligence est une propriété individuelle qui se construit dans l'interaction avec le monde physique. Pour les sciences sociales, elle est distribuée dans un collectif. La question portait aussi sur le couplage entre ces systèmes et les organisations, et cette partie est restée sans réponse.

5. La conséquence économique

Un modèle de langage accumule des connaissances déclaratives, donc il a besoin de mémoire. Des centaines de milliards de paramètres, plusieurs octets par paramètre à l'entraînement, et une facture en capital que "les grosses entreprises de tech peuvent se payer mais personne d'autre".

Un modèle du monde fonctionne autrement. Vous n'avez pas besoin de mémoriser qu'un verre poussé par le haut bascule : ce n'est pas un fait isolé que vous stockez, c'est une compréhension. Ces modèles ont donc besoin de beaucoup moins de mémoire.

Sa thèse en découle. La course aux modèles de langage est perdue pour l'Europe et sans grande importance, parce que la prochaine étape coûtera moins cher. Il y a donc une fenêtre.

Il l'a prolongée sur la souveraineté. Si l'information de tous les citoyens transite par les assistants de 3 ou 4 entreprises, le problème est culturel et démocratique. Sa proposition est un modèle ouvert, entraîné sur les données publiques mais aussi sur les fonds culturels qui ne sont pas accessibles publiquement, la BnF côté France, avec des partenaires en Inde, au Japon, au Vietnam et en Corée. Il dit avoir déjà le soutien de plusieurs gouvernements.

À prendre pour ce que c'est : il est à peu près seul à défendre cette thèse, et elle correspond exactement à sa position.

Sur la régulation, sa distinction est simple et vaut d'être retenue. Réguler les déploiements, oui, et c'est déjà largement fait par le sectoriel existant : homologation pour l'aide à la conduite, autorisation de mise sur le marché pour l'imagerie médicale, RGPD pour les données. Réguler la recherche en amont, non. "C'est comme si en 1920 quelqu'un avait dit qu'il fallait absolument réguler les vols transatlantiques avec le moteur à réaction", alors que les premiers essais n'avaient pas eu lieu.

Ce que ça dit de nos architectures

En sortant, j'ai pensé à ce que nous construisons aujourd'hui au sein des entreprises. Un RAG existe parce qu'un modèle ne comprend pas, il retrouve. On lui branche une base pour qu'il aille chercher ce qu'il ne sait pas. Les outils existent parce qu'il ne sait pas agir sur le monde, alors on lui donne des mains prêtes à l'emploi. L'orchestration existe parce qu'il ne planifie pas vraiment, alors on écrit le plan à sa place. Les garde-fous existent parce que rien ne garantit qu'il ait raison.

Vu comme ça, chaque brique que nous posons compense une absence. Ce n'est pas un reproche, c'est ce qui fait que ces systèmes marchent en production, et ils marchent bien. Mais la conférence donne un nom à ce que nous contournons, et savoir ce qu'on contourne aide à décider où on met l'effort.

Ce qui change concrètement, à mon avis, c'est la lecture des promesses. Quand un fournisseur parle de raisonnement, de compréhension ou d'agents autonomes, la question devient : sur quoi repose cette compréhension, et qu'est-ce qui la remplace dans l'architecture qu'on me vend.

Merci à Sciences Po pour le format et à la salle pour les questions. Dans la plupart des conférences sur le sujet, le temps de questions sert à valider ce qui vient d'être dit. Là, il servait à le tester, et c'est ce qui rendait la soirée intéressante !