Les doomes de l'IA ont leur moment

La course à la construction de l’intelligence générale artificielle entre en collision avec une dure réalité: les modèles de grande langue peuvent être maximaux.

Pendant des années, le meilleur talent mondial de l’IA Tech a dépensé des milliards de dollars en développement de LLMS, qui sous-tendent les chatbots les plus utilisés.

L’objectif ultime de nombreuses entreprises derrière ces modèles d’IA, cependant, est de développer AGI, une version toujours théorique de l’IA qui des raisons comme les humains. Et il est de plus en plus préoccupé par le fait que les LLM peuvent approcher de leur plateau, loin d’une technologie capable d’évoluer en AGI.

Les penseurs d’IA qui ont longtemps tenu cette croyance ont été une fois radiés comme cyniques. Mais depuis la sortie du GPT-5 d’Openai, qui, malgré les améliorations, n’a pas été à la hauteur du battage médiatique d’Openai, les condamnés se font la queue pour dire: « Je vous l’ai dit. »

Le directeur parmi eux est peut-être Gary Marcus, chef de l’IA et auteur à succès. Depuis la libération de GPT-5, il a fait ses critiques à de nouveaux sommets.

« Personne avec l’intégrité intellectuelle ne devrait toujours croire que la mise à l’échelle pure nous amènera à Agi », a-t-il écrit dans un article de blog plus tôt ce mois-ci, se référant à la stratégie coûteuse d’amasser des données et des centres de données pour atteindre l’intelligence générale. « Même certains des technologies de la technologie se réveillent à la réalité que » Agi en 2027 « était le marketing, pas la réalité. »

Voici pourquoi certains pensent que les LLM ne sont pas tout ce qu’elles sont fissurées, et les alternatives que certains chercheurs d’IA croient sont le meilleur chemin vers AGI.

La bulle AI

Openai est désormais la startup la plus précieuse de la planète. Il a recueilli environ 60 milliards de dollars et une vente de bourses secondaire discutée pourrait pousser l’évaluation de l’entreprise à plus de 500 milliards de dollars. Cela ferait d’Openai l’entreprise privée la plus précieuse au monde.

Il y a de bonnes raisons à l’excitation. Selon la société, Chatgpt compte 700 millions d’utilisateurs hebdomadaires et les produits d’Openai ont largement donné le rythme de la course de l’IA.

Il y a cependant quelques problèmes. Tout d’abord, et peut-être avant tout pour ses investisseurs, Openai n’est pas rentable et montre peu de signes de devenir bientôt rentables. Deuxièmement, la mission fondatrice de l’entreprise est de développer AGI d’une manière qui profite à toute l’humanité, mais il y a un sentiment croissant que cette technologie qui change le monde, qui soutient une grande partie du battage médiatique autour de l’IA, est beaucoup plus éloignée que de nombreux ingénieurs et investisseurs à l’origine.

D’autres sociétés ont également conduit cette vague de battage médiatique. Google, Meta, Xai et Anthropic attirent et versent tous des milliards de dollars dans la mise à l’échelle de leurs LLM, ce qui signifie prendre des talents, acheter des données et créer de vastes tableaux de centres de données.

L’inadéquation entre les dépenses et les revenus, le battage médiatique et la réalité, prouve l’alarme que l’industrie de l’IA est une bulle au bord de l’éclatement. Le PDG d’Openai, Sam Altman lui-même, le pense.

« Sommes-nous dans une phase où les investisseurs dans leur ensemble sont surexcités à propos de l’IA? Mon opinion est oui. L’IA est-elle la chose la plus importante à se produire depuis très longtemps? Mon avis est aussi oui », a-t-il déclaré aux journalistes plus tôt ce mois-ci.

Alors que d’autres chefs de technologie, comme l’ancien PDG de Google, Eric Schmidt, sont moins certains, une vente de technologies boursières de 1 billion de dollars la semaine dernière a montré que les préoccupations sont répandues. Le marché s’est rétabli vendredi après que le président de la Réserve fédérale Jerome Powell a déclaré qu’il envisageait une baisse de taux en septembre.

Maintenant, tout le monde anticipe avec impatience le rapport des gains de mercredi de Nvidia, qui fait que les puces alimentent les LLM et sont la société de pick-and-shovel de l’IA Rush. Si les revenus de l’entreprise montrent des signes de ralentissement et que ses perspectives sont plus prudentes, il y aura une toute nouvelle série d’inquiétude, et les Doomers de l’IA rappellent à nouveau à tout le monde ce qu’ils disent depuis des années: les LLM ne sont pas le chemin.

Le problème avec les LLM

En juin, des chercheurs d’Apple ont publié un article intitulé « L’illusion de pensée ». Ce qu’ils ont trouvé semblait positivement humain: les modèles de raisonnement avancé abandonnent face à des tâches plus complexes.

Leur conclusion, cependant, était que ces modèles reposent sur la reconnaissance des modèles plutôt que sur la pensée logique, et les chercheurs ont mis en garde contre la croyance qu’ils pourraient entraîner l’AGI. « Les affirmations selon lesquelles la mise à l’échelle des architectures actuelles produira naturellement des renseignements généraux semblent prématurés », ont écrit les chercheurs.

Le journal a été largement moqué en ligne, en grande partie parce qu’Apple, malgré sa taille et ses vastes ressources, est perçue comme loin dans la course de l’IA. Pour les sceptiques, cependant, cela validait.

Andrew Gelman, professeur de statistiques et de sciences politiques à l’Université de Columbia, a fait valoir que le niveau de compréhension textuelle indiquée par les LLMS est en deçà des attentes. Ce que font les LLM par rapport à ce que font les humains, c’est la différence entre « Jogging and Running », a écrit Gelman dans un article de blog en 2023.

« Je peux faire du jogging, du jogging et du jogging, en pensant à toutes sortes de choses et ne pas avoir l’impression de dépenser beaucoup d’efforts, mes jambes montent à peu près de haut en bas de leur propre gré … mais si je dois courir, cela prend de la concentration », a-t-il écrit.

Geoffrey Hinton, le lauréat du prix Nobel connu de certains sous le nom de parrain de l’IA, n’est pas d’accord. « En formant quelque chose pour être vraiment bon pour prédire le mot suivant, vous le forçant en fait à comprendre », a-t-il déclaré au New Yorker en 2013.

Un autre problème potentiel avec les LLM est leur tendance à mal interpréter les significations des mots, à halluciner et à répandre une désinformation. Cette réalité est la raison pour laquelle, pour l’instant, la plupart des entreprises qui adoptent l’IA nécessitent un humain dans le mélange.

Dans un rapport publié plus tôt cette année, un groupe de chercheurs universitaires en Allemagne est spécialisé dans la linguistique informatique interrogé les taux d’hallucination « dans la volonté » pour 11 LLM sur 30 langues. Ils ont constaté que le taux d’hallucination moyen dans toutes les langues variait entre 7% et 12%.

Les principales sociétés d’IA comme OpenAI ont, ces dernières années, exploité la conviction que ces problèmes peuvent être atténués en alimentant plus d’informations LLMS. Les soi-disant lois sur la mise à l’échelle, que les chercheurs Openai ont décrit dans un article de 2020, indiquent que « les performances du modèle dépendent le plus fortement de l’échelle ».

Cependant, récemment, les chercheurs ont commencé à se demander si les LLM ont frappé un mur et font face à des rendements décroissants à mesure qu’ils évoluent. Yann LeCun, le scientifique en chef de l’IA de Meta qui dirige un laboratoire sous l’unité de superintelligence de la société, est largement axé sur les approches d’IA de nouvelle génération au lieu des LLM.

« Les problèmes les plus intéressants évoluent extrêmement mal », a-t-il déclaré à l’Université nationale de Singapour en avril. « Vous ne pouvez pas simplement supposer que plus de données et plus de calcul signifie une IA plus intelligente. » L’analyse d’Apple a également révélé que les modèles de raisonnement basés sur LLM actuels sont incohérents en raison de «limitations fondamentales dans la façon dont les modèles maintiennent la cohérence algorithmique entre les échelles de problème».

Alexandr Wang, le chef de la division Superintelligence de Meta, semble tout aussi incertain. Il a déclaré que la mise à l’échelle est « la plus grande question de l’industrie » à la conférence cérébrale de la vallée de l’année dernière.

Même si la mise à l’échelle a fonctionné, l’accès à des données de haute qualité est limité.

La chasse à des données uniques a été si féroce que les principales entreprises d’IA poussent les limites – parfois au risque de violations du droit d’auteur. Meta a une fois considéré l’acquisition de l’éditeur Simon & Schuster comme une solution. Anthropic a collecté et scanné des millions de livres piratés pendant la formation de Claude, ce qu’un juge de district a jugé en juin ne constituait pas une utilisation équitable.

En fin de compte, certains principaux chercheurs d’IA disent que la langue elle-même est le facteur limitant, et c’est pourquoi les LLM ne sont pas le chemin de l’AGI.

« La langue n’existe pas dans la nature », a déclaré Fei Fei Li, le professeur de Stanford célèbre pour avoir inventé Imagenet, dans un épisode du podcast d’Andreessen Horowitz en juin. « Les humains », a-t-elle dit, « non seulement nous survivons, vivons et travaillons, mais nous construisons la civilisation au-delà du langage. »

Le reproche de LeCun est similaire.

« Nous avons besoin de systèmes d’IA qui peuvent apprendre de nouvelles tâches très rapidement. Ils ont besoin de comprendre le monde physique, non seulement du texte et du langage, mais le monde réel, ont un certain niveau de bon sens et des capacités pour raisonner et planifier, ont une mémoire persistante – tout ce que nous attendons des entités intelligentes », a-t-il déclaré lors de son discours en avril.

De nouvelles façons d’agi

Des chercheurs comme Li et LeCun poursuivent une alternative aux LLM, appelés modèles mondiaux, qui, selon eux, sont une meilleure voie vers AGI.

Contrairement aux grands modèles de langage, qui déterminent les résultats basés sur les relations statistiques entre les mots et les phrases, les modèles mondiaux font des prédictions en simulant et en apprenant du monde qui les entoure. Ces types de modèles se sentent plus semblables à la façon dont les humains apprennent, tandis que les LLM s’appuient sur de vastes mâts de données auxquels les humains n’ont pas accès.

L’informatique et le professeur du MIT Jay Wright Forrester ont souligné la valeur de ce type de modèle tout le chemin du retour dans un article de 1971.

« Chacun de nous utilise constamment des modèles. Chaque personne dans la vie privée et dans les affaires utilise instinctivement des modèles pour la prise de décision. Les images mentales dans la tête sur son environnement sont des modèles », a-t-il écrit. « Toutes les décisions sont prises sur la base de modèles. Toutes les lois sont adoptées sur la base des modèles. Toutes les actions exécutives sont prises sur la base des modèles. »

Des recherches récentes ont révélé que les modèles mondiaux capturent non seulement la réalité tel quel, mais peut également simuler de nouveaux environnements et scénarios.

Dans un article de 2018, les chercheurs David Ha et Jurgen Schmidhuber ont construit un modèle mondial simple inspiré des systèmes cognitifs des humains. Cela a été utilisé non seulement pour modéliser des scénarios hypothétiques, mais aussi pour former des agents.

« Les agents de formation dans le monde réel sont encore plus chers », ont écrit les auteurs. « Ainsi, les modèles mondiaux qui sont formés progressivement pour simuler la réalité peuvent s’avérer utiles pour transférer des politiques dans le monde réel. »

En août, DeepMind de Google a publié Genie 3, un modèle mondial qui dit « repousse les limites de ce que les modèles mondiaux peuvent accomplir ». Il peut modéliser les propriétés physiques du monde réel, comme le terrain volcanique ou un océan faiblement éclairé. Cela pourrait permettre à l’IA de faire des prédictions en fonction de ce qu’elle apprend de ces simulations du monde réel.

Il y a aussi d’autres idées en cours. Les modèles de neurosciences essaient d’imiter les processus du cerveau. Les modèles multi-agents opèrent sur la théorie selon laquelle plusieurs AIS interagissent les uns avec les autres sont une meilleure analogie avec le fonctionnement des humains dans la vie réelle. Les chercheurs qui poursuivent des modèles multi-agents pensent que l’AGI est plus susceptible d’émerger dans ce type d’échange social.

Ensuite, il y a une IA incarnée, qui adapte les modèles mondiaux sous des formes physiques, permettant aux robots d’interpréter et de s’entraîner sur le monde qui les entoure. « Les robots prennent toutes sortes de formes et de formes », a déclaré Li sur le podcast No Priors en juin.

Le potentiel de ces alternatives, et en particulier des modèles mondiaux, donne de l’espoir à même Marcus, le premier DOOMER LLM. Il se réfère aux modèles mondiaux de modèles cognitifs et exhorte les entreprises de l’IA à pivoter des LLM et à se concentrer sur ces alternatives.

« À certains égards, les LLM dépassent de loin les humains, mais à d’autres égards, ils ne sont toujours pas à la hauteur d’une fourmi », a déclaré Marcus dans un article de blog de juin. « Sans des modèles cognitifs robustes du monde, ils ne devraient jamais faire confiance. »