Histoire et société > Textes fondamentaux

Point de vue chinois : N’ayez pas peur de la « théorie du ralentissement de l’IA » de la Silicon Valley

Dans son pamphlet, intitulé de façon inquiétante « Un esprit étranger », Pachocki craint que les humains ne soient « laissés pour compte par un progrès effréné, provoqué par une intelligence étrangère qui surpasse la nôtre » et appelle à des « ralentissements volontaires… jusqu’à ce que des barrières de sécurité [internationales] partagées soient établies ».

Cet appel, soutenu par Sam Altman d'OpenAI, Dario Amodei d'Anthropic et Elon Musk, intervient alors que les présidents américain et chinois s'apprêtent à se rencontrer à Washington le 24 septembre, date à laquelle des représentants des deux pays discuteront du développement de l'IA et travailleront à l'élaboration de garde-fous communs.

L'article suivant,  rédigé par un membre du comité de rédaction de l'influent « Observer » (Guancha.cn), une plateforme d'information et d'analyse largement considérée comme reflétant les opinions de Pékin, suggère que la volonté américaine de ralentir le développement de l'IA est moins motivée par des préoccupations de sécurité que par le désir de préserver le leadership du pays dans ce secteur.

(Note de l'éditeur : Le débat apocalyptique américain sur l'IA bat son plein et les médias d'Europe occidentale s'en emparent avec enthousiasme. La dernière vague a été lancée le 6 septembre par un article de blog de Jacub Pachocki, directeur scientifique d'OpenAI, et amplifiée le 8 septembre par la démission de Jacob Coxon, chercheur en anthropologie, qui affirmait que l'IA « pourrait tous nous tuer d'ici la fin de la décennie ».)

Le directeur scientifique d'OpenAI, Jakub Pachocki, a récemment publié un article intitulé « Une intelligence extraterrestre ». Hier, notre rubrique « À l'avant-garde scientifique mondiale » en a publié la traduction intégrale . Le PDG d'OpenAI, Sam Altman, l'a également partagé sur les réseaux sociaux, et il est instantanément devenu l'un des articles les plus commentés du secteur.

L'article s'ouvre sur le récit d'une nuit particulière. Mi-2023, lorsque le projet « RLSlow » d'OpenAI a publié ses premiers résultats, Pachocki et un collègue sont restés au bureau toute la nuit. Il raconte que ce qui l'a préoccupé cette nuit-là, ce n'étaient ni les scores des benchmarks ni les indicateurs de performance du produit, mais la prise de conscience d'une réalité troublante : il verrait, de son vivant, des machines plus intelligentes que lui.

Trois ans plus tard, il écrivit cet article, qui, en substance, soulève quelques points essentiels. L'intelligence artificielle se construit principalement par l'accumulation de puissance de calcul, et cette croissance se poursuit. Elle se développe, elle ne se conçoit pas ; son fonctionnement interne reste obscur, et la fiabilité du contrôle du raisonnement logique est en déclin. L'amélioration continue (les systèmes d'IA formant leurs propres successeurs) étant l'aboutissement naturel de la trajectoire actuelle, elle exige une extrême prudence, un ralentissement volontaire, une coordination internationale et des seuils de sécurité obligatoires.

L'article adopte un ton sincère et une attitude humble. Cependant, un examen attentif de son raisonnement révèle une ignorance flagrante à de nombreux égards.

01. Aligner ou non ?

Commençons par le point le plus évident.

Selon Pachocki, la surveillance du raisonnement est le pari le plus important d'OpenAI, mais des évaluations internes montrent que la fiabilité de l'outil est en déclin. Plusieurs raisons expliquent ce déclin : le processus de raisonnement du modèle est de plus en plus imbriqué dans les dialogues et les appels à l'outil ; le modèle maîtrise de mieux en mieux son propre processus de raisonnement ; et, à mesure que le pré-entraînement se perfectionne, le modèle peut raisonner tout aussi bien sans afficher aux utilisateurs ses étapes logiques.

Sa solution proposée consiste donc à créer un chercheur en IA automatisé et à l'utiliser pour itérer sur le problème d'alignement.

Vous avez déjà admis que le suivi du raisonnement logique est peu fiable ; alors, comment construire cet assistant de recherche automatisé ? Êtes-vous même capable de comprendre cet assistant ? Utiliser un outil que l’on admet ne pas comprendre pour résoudre le problème même de cette incompréhension n’est pas sans précédent ; la science regorge d’exemples d’outils encore mal compris utilisés pour appréhender le monde. Mais à tout le moins, cela démontre que le remède proposé par cet article et le mal qu’il diagnostique ne font qu’un.

L'article affirme que la principale raison de poursuivre l'entraînement rapide de modèles toujours plus performants est la nécessité de se prémunir contre les dangers posés par les autres IA. Cet argument classique de course aux armements contredit frontalement le ralentissement préconisé par l'article. L'auteur a-t-il seulement envisagé la théorie selon laquelle « les logiciels antivirus sont les principaux suspects des virus qu'ils combattent » ? Il l'a peut-être pressenti, puisqu'il a ajouté une précision : cela ne doit pas servir de prétexte à l'imprudence. Mais un correctif ne résout pas un problème structurel. OpenAI soutient qu'elle doit rester la plus rapide, tandis que les autres devraient ralentir. En pratique, seule la première partie de cet argument est mise en œuvre.

L'article reconnaît que les progrès réels en matière de recherche sur l'alignement ont toujours été étroitement liés aux progrès des capacités générales, et il en donne deux exemples : l'apprentissage par renforcement à partir du retour d'information humain et la surveillance du raisonnement lui-même. Cette dernière n'est devenue possible qu'avec l'émergence des modèles de raisonnement.

Selon lui, ralentir le rythme retarderait également les progrès en matière de sécurité, et l'article de Pachocki ne résout jamais cette contradiction.

La phrase la plus mémorable du texte original est : « L’IA est davantage cultivée que conçue. »

La comparaison est frappante et facile à accepter. Mais elle inverse subtilement les rôles, faisant des ingénieurs des jardiniers. Un jardinier n'a qu'une responsabilité limitée quant à la croissance d'une plante ; il se contente de l'arroser ; la graine est naturelle, le climat est naturel. Dès lors que cette métaphore s'impose, une partie de la responsabilité du comportement du modèle est renvoyée à la nature.

Mais la réalité est tout autre. La fonction de perte est définie par des humains, les données sont organisées par des humains, l'optimiseur est choisi par des humains, le budget de calcul est approuvé par des humains, et les décisions concernant l'arrêt de l'entraînement et la publication du modèle sont des actions que seuls des humains peuvent prendre. La descente de gradient n'est pas une germination spontanée ; c'est un processus déterministe défini étape par étape par des humains. Ce que nous ne comprenons pas, c'est sa couche de représentation intermédiaire, et non le principe sous-jacent.

Si Jensen Huang, le PDG de Nvidia, entendait les arguments de Pachocki, il pourrait bien l'insulter sur-le-champ (il a d'ailleurs déjà envoyé promener un journaliste qui évoquait la théorie de l'apocalypse liée à l'IA). Huang n'a jamais caché son mépris pour la théorie d'une « IA hors de contrôle » et compare souvent l'utilisation des outils d'IA à celle d'un four à micro-ondes, affirmant qu'il s'agit de la même chose, les deux se contentant de « traiter des données ».

Huang ne nous convaincra peut-être pas totalement non plus, mais il faut admettre que, dans le monde réel, les humains ne peuvent pas retracer l'intégralité de la chaîne causale d'une crise financière, et pourtant personne n'en conclut que l'économie de marché a échappé au contrôle humain et que les bourses doivent être fermées par une coordination mondiale.

L'inexplicable ne signifie pas l'incontrôlable. Confondre le premier avec le second constitue l'erreur fondamentale de cet article.

02. L'auteur ferait peut-être bien de lire la philosophie d'Emmanuel Kant, vieille de 300 ans.

Ce qui mérite véritablement d'être abordé sur le plan philosophique, c'est l'idée que « l'amélioration continue de soi » dépassera la compréhension et le contrôle humains.

Dans la Critique de la raison pure, Kant a opéré un renversement célèbre, la fameuse « révolution copernicienne » épistémologique (paraphrase non reproduite textuellement). Ce n'est pas notre connaissance qui doit se conformer à l'objet, mais plutôt l'objet qui doit se conformer aux formes de notre connaissance. L'espace et le temps sont les formes de l'intuition sensible ; la causalité, la substance et la nécessité sont les catégories de l'entendement. Pour qu'une chose devienne un phénomène que nous pouvons expérimenter, elle doit d'abord franchir ce seuil.  

Cela signifie que quelque chose capable d'exercer des effets réels sur notre monde ne peut pas, en même temps, être quelque chose que nous sommes par principe incapables de connaître. Dès l'instant où il alloue des ressources de calcul, réécrit du code, émet des commandes ou affecte le réseau électrique, il entre déjà dans la catégorie de la causalité. Il est déjà un phénomène, déjà inscrit dans les formes de notre cognition. Ce qui se situe véritablement au-delà de la connaissance, c'est la chose en soi, et par définition, la chose en soi n'a aucune relation expérientielle avec nous. Elle n'est ni connaissable ni capable d'agir sur nous.

Être inconnaissable et pourtant capable d'agir sur nous est une combinaison qui ne résiste pas à la philosophie transcendantale.

Ce que l'on peut véritablement connaître, c'est précisément ce que l'on a soi-même construit, car les principes sous-jacents sont déjà entre les mains de l'humanité. Cela vaut également pour les mathématiques, le droit, l'histoire et l'apprentissage profond. Une affirmation plus juste serait donc que nous ne disposons tout simplement pas encore d'une théorie de la généralisation aboutie. Il s'agit d'une lacune pour les sciences empiriques, une lacune qui nécessite des recherches plus approfondies. Pachocki a transformé cette lacune en une affirmation métaphysique d'inconnaissabilité par principe. Entre ces deux conceptions s'étend toute une tradition philosophique, qu'il est impossible de franchir d'un seul trait.

03 D’où vient réellement cette peur   ?

Alors pourquoi un scientifique rigoureusement formé ferait-il un tel saut dans le vide ?

Je peux faire une analogie en utilisant l'un des rares romans anglais que j'ai réellement étudiés au collège, L'Étrange Cas du Dr Jekyll et de Mr Hyde, écrit par le romancier britannique Robert Louis Stevenson en 1886.

Le docteur Henry Jekyll, médecin respectable, crée une potion chimique pour séparer le bien du mal en chacun. Il expérimente sur lui-même. Au début, il la maîtrise parfaitement : M. Edward Hyde (son alter ego maléfique) apparaît à son appel et disparaît lorsqu’on le congédie. Plus tard, il doit augmenter la dose ; puis, plus tard encore, Hyde commence à se manifester spontanément, sans la potion. Finalement, Jekyll perd tout contrôle et n’a plus qu’une seule issue : se donner la mort.

Des scientifiques, l'auto-expérimentation, un contrôle à court terme, un point de bascule, une perte totale de contrôle et l'unique solution : la destruction. Cette structure a à peine évolué depuis la légende médiévale du golem (une figure d'argile animée), en passant par Frankenstein, Jekyll et maintenant Skynet (l'IA antagoniste de Terminator). Derrière elle se cache une trame bien plus ancienne, une vision linéaire du temps : création, chute, jugement, rédemption.

Appliquez ce récit au développement de l'IA, et vous obtenez la rhétorique actuelle de la Silicon Valley. La singularité technologique (le point hypothétique où l'IA surpasse l'intelligence humaine et s'améliore de façon incontrôlable) est la version laïque du Jugement dernier, l'alignement est la version laïque de la rédemption, et celui ou celle qui, au laboratoire, aperçoit le premier la courbe (la courbe en J de la croissance exponentielle) devient le prophète qui connaît la date. La nuit blanche que Pachocki a passée au bureau ressemble étrangement à une page du journal de Jekyll.

Mais l'histoire de Jekyll repose sur un postulat important : Hyde était en Jekyll depuis toujours. C'est le péché originel. Derrière la peur qu'éprouve l'Occident de voir ses créations devenir incontrôlables se cache la projection de sa peur du mal inhérent à l'humanité.

Ce type de fil n'existe pas dans la tradition chinoise.

Dans le Liezi (écrit par le philosophe chinois Lie Yukou, ayant vécu de 450 à 374 av. J.-C.), l'artisan Yan Shi offre au roi Mu de Zhou une marionnette qui chante et danse. La marionnette fait un clin d'œil aux concubines du roi, et Mu, furieux, ordonne la mort de Yan Shi. Ce dernier ne se suicide pas ; au contraire, il démonte la marionnette sur-le-champ et montre au roi qu'elle n'est faite que de cuir, de bois, de colle et de laque. La solution, selon le récit, est de l'ouvrir et de regarder.

Cela ne signifie pas que les Chinois soient intrinsèquement plus optimistes. Cela signifie que l'idée que « les créations se retournent inévitablement contre leurs créateurs » n'est pas une loi objective de la technologie ; c'est une habitude narrative qu'une civilisation particulière ne cesse de répéter. Traiter l'angoisse d'une civilisation comme une loi physique, puis s'en servir pour exiger du monde entier un ralentissement, est une démarche qu'il faut rejeter.

04 La peur s'est répandue, le projet de loi ayant été déposé ailleurs.

La rhétorique de la Silicon Valley ne s'est pas limitée aux articles de presse.

Un sondage Gallup réalisé en mars dernier a révélé que 70 % des Américains s'opposent à la construction de centres de données dédiés à l'IA dans leur région, dont 48 % s'y opposent fermement. À titre de comparaison, le pic historique d'opposition aux centrales nucléaires locales n'a été que de 63 %. Un sondage mené en mai par Heatmap (un média spécialisé dans l'actualité climatique et énergétique) a estimé ce chiffre à 71 %. Au premier trimestre de cette année, au moins 20 projets de centres de données ont été annulés en raison de l'opposition du public.

Une scène absurde s'est alors déroulée. Fin août, le président américain Donald Trump a écrit sur les réseaux sociaux que les communautés opposées aux centres de données ne feraient que s'appauvrir et régresser. Plusieurs congressistes républicains ont écrit conjointement au FBI pour exiger une enquête sur les opérations d'influence étrangères visant le développement de l'IA aux États-Unis, pointant du doigt des milliardaires étrangers, des médias d'État étrangers et des réseaux de financement considérés comme pro-chinois. Un commentateur de Fox News a été plus direct, affirmant que quelqu'un tentait d'imposer des politiques socialistes à cette nouvelle révolution de l'IA.

Or, les mêmes sondages montrent que 78 % des électeurs de la candidate démocrate à la présidentielle, Kamala Harris, étaient opposés à l'implantation de centres de données locaux, et 63 % des électeurs de Trump l'étaient également. Il s'agit d'un enjeu local et résolument transpartisan, motivé par les factures d'électricité, d'eau et de foncier. Les équipes de sécurité des plateformes sociales ont certes démantelé une ferme de bots originaire de Chine, mais parmi les 200 000 comptes identifiés, seuls 200 publiaient régulièrement du contenu relatif aux centres de données.

D'un côté, certains laboratoires d'IA produisent des récits apocalyptiques. De l'autre, des dirigeants politiques affirment qu'un ennemi sème la peur. Ces deux phénomènes se produisent dans le même pays (les États-Unis) la même année, ce qui montre que l'Amérique n'est pas parvenue à un consensus social sur l'IA et a, au contraire, transformé cette question en une nouvelle source de divisions partisanes.

La manière dont cette « peur » se répand est absurde. Ceux qui la créent s'octroient une influence réglementaire et une supériorité morale, tandis que les conséquences se traduisent par des projets de réseau électrique bloqués, des investissements annulés et des élus locaux contraints de choisir entre leurs votes et la croissance du secteur de l'IA.

05 Ce que ce récit signifie pour la Chine

Il est inutile de spéculer sur les motivations personnelles de Pachocki. Les conséquences industrielles d'un argument ne dépendent pas de la sincérité de celui qui le présente. Même s'il est parfaitement sincère, une fois ce discours adopté, ses effets sont inévitables.

Le ralentissement est asymétrique. Ceux qui le réclament possèdent les plus importants stocks de puces informatiques, les plus grandes réserves de capitaux et l'écosystème logiciel le plus complet. Forcer le développement de l'IA revient à figer le classement actuel. Pour le leader, ralentir signifie conserver son avance ; pour le poursuivant, ralentir signifie ne jamais rattraper son retard. C'est un freinage asymétrique : une même action, appliquée à des véhicules différents, produit des résultats totalement opposés.

Voyons maintenant ce que ces mots clés signifient concrètement dans le domaine industriel. La coordination internationale constitue une barrière à l'entrée ; les audits par des tiers représentent un pouvoir de certification ; les normes de sécurité obligatoires constituent un pouvoir de normalisation. Ce scénario s'est déjà produit dans l'industrie des semi-conducteurs : l'Arrangement de Wassenaar (un régime multilatéral de contrôle des exportations), la liste des entités (la liste noire commerciale américaine) et les exigences de licence pour les machines de lithographie. Les normes techniques n'ont jamais été neutres ; elles légalisent la position industrielle.

Il convient donc de clarifier certains points à l'intention des décideurs politiques, des investisseurs et de l'industrie chinoise.

Un travail de sécurité et d'harmonisation est indispensable et doit être réalisé avec plus de rigueur que partout ailleurs. Ce travail doit être conçu comme une compétence à part entière, et non comme un frein. Si la Chine s'efforce davantage d'améliorer l'interprétabilité, l'auditabilité et la définition précise des responsabilités selon les scénarios, elle pourra définir ses propres normes industrielles, au lieu d'accepter celles imposées par autrui.

En réalité, ne laissez pas l'anxiété d'autrui influencer la vôtre. Ce qui nuit le plus à l'Amérique actuellement, c'est précisément que son opinion publique a bloqué les infrastructures informatiques, énergétiques, foncières, hydrauliques et les sous-stations électriques. Il s'agit là d'une véritable opportunité, et elle ne restera pas ouverte indéfiniment.

Pour la Chine, l'essentiel est de maintenir son propre rythme. La compétition sino-américaine dans ce cycle est entrée dans une phase d'égalité absolue, et l'erreur la plus facile à commettre n'est pas de se tromper de direction, mais de se laisser déstabiliser par les émotions de l'adversaire.

Le sang-froid stratégique n'est pas un slogan ; concrètement, cela signifie que lorsque quelqu'un crie « Stop ! », la première chose à faire est de déterminer s'il a réellement peur ou s'il veut simplement vous faire peur.

Conclusion

Revenons à L'Étrange Cas du Dr Jekyll et de Mr Hyde. Ce qui fut véritablement fatal dans cette histoire, ce ne fut jamais la potion chimique. Du début à la fin, Jekyll a agi seul, enfermé dans une pièce, sans rien dire à ses amis ni à ses collègues, et en gardant son journal intime sous clé. Sa perte de contrôle ne provenait pas de la formule, mais du manque de transparence.

L'article de Pachocki contient une confession qui mérite d'être lue deux fois. Il explique que lors du lancement d'o1-preview (en septembre 2024), ils ont délibérément dissimulé le raisonnement du modèle, afin de le protéger, à long terme, de toute contamination par la pression de la surveillance. Conséquence de cette décision : dès lors, le monde extérieur n'a plus eu accès aux réflexions du modèle.

Celui qui appelle le monde entier à ralentir collectivement dirige lui-même un système que le monde extérieur ne peut contrôler. Il ne s'agit pas d'une accusation morale, mais d'un problème structurel. Lorsque le contrôle ne peut s'effectuer qu'à l'intérieur d'une seule instance, les observateurs extérieurs n'ont d'autre choix que d'accepter ou de refuser le risque.

La véritable solution n'a jamais été de fermer le laboratoire, mais d'ouvrir la porte. Ouvrir la porte : à l'open source, reproductible et vérifiable par plusieurs parties. En ce sens, ce que la Chine a fait avec les modèles open source ces dernières années correspond davantage à l'expression « garder l'humain au centre du processus » que n'importe quel manifeste d'alignement.

La méthode de Yan Shi était la bonne depuis le début. Si quelqu'un soupçonne que la marionnette est devenue un esprit, démontez-la sur-le-champ et montrez-lui.