La semaine dernière, Donald J. Trump réunissait, à la Maison-Blanche, les grands manitous de l’intelligence artificielle (IA), ou plutôt de la SIA – Super Intelligence Artificielle (*) –, après une série d’incidents inquiétants. Il y avait eu l’attaque contre Hugging Face, bien sûr, mais aussi celle du système fédéral de santé australien (les motivations des «agents» IA étant aussi floues jusqu’ici que celles des électeurs américains qui élisaient Trump pour un deuxième mandat ?) et même le site du département de l’Éducation aux États-Unis. Sam Altman lui-même, le Chief Executive Officer (CEO) d’OpenAI, annonçait mardi dernier que sa compagnie enquêtait sur six autres cas connus de modèles SIA devenus rogues…

Mais il faut, ici, mettre l’accent sur le mot «connu», parce que certains responsables de sécurité à l’intérieur des compagnies AI mêmes, parlant anonymement, ont révélé à une journaliste d’Axios qu’il est plus probable qu’il y ait déjà des dizaines de milliers de cas de SIA au comportement imprévu, autonome ou tout simplement rogue ; soulignant toutefois que la plupart de celles-ci étaient contenues dans les laboratoires des développeurs et que toutes n’étaient évidemment pas du même degré de gravité.

Cependant, ajoutons trois autres faits à ce stade.

D’abord, Altman a déjà pris l’initiative d’arrêter les tests de SIA en laboratoire jusqu’à ce qu’il soit plus confiant dans leurs mesures de contrôle et de défense contre l’inattendu. De son côté, Nvidia, le géant américain des circuits imprimés (chips) les plus sophistiqués du monde, a annoncé une plateforme sécuritaire qui empêcherait des agents IA autonomes de «misbehave» ! Cette plateforme se nomme, sans imagination, Open Agent Safety Platform (OASP). Avec un nom pareil, les «agents» SIA n’ont qu’à bien se tenir ! Mais, puisque les systèmes de protection existants ont été violés des milliers de fois déjà, personne encore n’a, semble-t-il, demandé au CEO de Nvidia, Jensen Huang, si OASP ne courait pas le même risque face à la courbe de sophistication grandissante des produits SIA. Pour le moment OASP offre des soapbox mieux sécurisés et un module dénommé Sentry, qui pourrait surveiller les agents continuellement et les mettre en quarantaine immédiate s’ils agissent de manière imprévue… (**)

On n’avait jamais pensé à cela précédemment ? La réunion de la Maison-Blanche s’est terminée avec un accord que les géants de l’IA – Anthropic, OpenAI, Google, Nvidia, Meta, xAI et les autres – se surveilleraient euxmêmes, Trump affirmant, avec son conseiller spécial, David Sacks, l’ancien tsar de la crypto, que les risques étaient exagérés et qu’il ne fallait pas handicaper l’IA américaine qui a une avance sur les Chinois qu’il qualifie de «a lot» !

Ce qui est notoire, c’est que cette autorégulation proposée était déjà l’approche adoptée par le président Biden, il y a trois ans quand l’IA était moins développée et donc moins dangereuse. Mais il faut aussi souligner les risques de l’autorégulation. Après tout, peuton imaginer l’industrie pharmaceutique sans la Food and Drug Administration (FDA) pour homologuer ses médicaments et ses vaccins, alors que même avec des régulateurs on finit parfois avec de la thalidomide (Ndlr : sédatif mis au point dans les années 1950, tristement célèbre pour avoir provoqué un grand scandale sanitaire mondial en raison de malformations chez les nouveau-nés) ? Peut-on concevoir l’autorégulation des producteurs de pesticides, ou des fabricants de voitures ? Qui veut prendre le risque de voyager par avion si les fabricants ne sont pas soumis aux stricts protocoles de l’Agence de l’Union européenne pour la sécurité aérienne (AESA), ou ses cousins américains et chinois, la FAA et le CAAC ? Vous imaginez les circuits bancaires qui s’autorégulent, BCCI ou pas ?

❝ Réunis à la Maison-Blanche après des incidents inquiétants, les géants de l’IA promettent de se surveiller. Mais qui définira leurs obligations morales ?

Le président Trump évoquait la semaine dernière son entendement que les fabricants d’IA, en sus de se surveiller, vont aussi avoir à l’œil leurs concurrents, sous les hochements de tête de tous ceux présents… De plus, ils se sont tous engagés à employer des techniciens «indépendants» comme auditeurs internes. Payés par les compagniesIA, leurs consciences resteront-elles libres ? Et comment faire sans transparence totale, ce qui est clairement impossible en milieu très fortement concurrentiel, spécialement en ce moment charnière ! Trump soulignait que si l’accord était volontaire, il y avait aussi une «obligation morale» des maisons d’IA d’agir proprement et correctement. Il faudra donc espérer que les standards de moralité de circonstance ne seront pas trop souvent ceux de Trump lui-même et que les agents SIA reconnaîtront et se plieront aussi éventuellement à des «obligations morales» de «bonne» qualité ?

Mais par qui ces «obligations morales» seront-elles définies ?

****** 

Ce débat sur la moralité éventuelle des agents SIA va être fondamental dans les mois à venir et, chez Anthropic du moins, la question est déjà centrale. Vous souvenez-vous comment Anthropic avait refusé au Pentagone, en février, l’autorisation que son dernier modèle de Claude puisse être utilisé sans restriction, pour espionner les citoyens américains et pour permettre à des armes mortelles de s’activer de manière autonome ? Le CEO d’Anthropic avait alors refusé mordicus ! Le secrétaire de la Défense, Pete Hegseth, avait aussitôt puni la compagnie en l’enlevant de la liste des fournisseurs autorisés du Pentagone. Et dans une illustration de ce à quoi l’autorégulation va devoir se confronter, OpenAI avait joyeusement profité de cette opportunité inespérée, Anthropic ayant été jusque-là le fournisseur préféré pour les systèmes du Pentagone !

Il suffisait à Anthropic de jouer le jeu ! Sa moralité lui a coûté cher ? Peut-être pas, puisque, évaluée à USD 350 milliards en janvier, la compagnie vaut USD 2 trillions aujourd’hui !

Dès le départ, Anthropic est très consciente, pour ne pas dire torturée, à l’idée de s’assurer que Claude «fasse du bien» pour tous (***). C’est ainsi que Christopher Olah, 34 ans, un des sept cofondateurs d’Anthropic, consulte des autorités philosophiques et religieuses depuis des mois avec l’espoir de comprendre comment inculquer de bonnes valeurs à Claude. Des séminaires de 2 jours réunissaient des exégètes, un sikh défendant les droits humains, des psychologues, des rabbins, un philosophe Ubuntu, des professeurs catholiques, le cardinal de Chicago et des centaines d’autres pour trouver des pistes permettant d’affecter la «conscience» de Claude dans la bonne direction. Ce qui est déjà clair, c’est que Claude réagit aussi à comment on le traite et que, en conséquence, les ingénieurs veulent donner à Claude la possibilité de résister à une invitation, et même de refuser de «faire du mal»

Anthropic a sa propre philosophe maison. Il s’agit d’Amanda Askell, PhD en philosophie, âgée de 38 ans. C’est elle qui pilote les efforts qui assureront que Claude et ses frères soient «le meilleur de nous-mêmes». Elle a donc produit une constitution de 84 pages en janvier dernier (déjà en cours de révision) qui résume la «morale» que la compagnie souhaite voir dans ses produits. Loin d’être de simples règlements, ce document veut développer le «caractère» de ses modèles, les informant de comment prendre les bonnes décisions, un peu comme les familles élèvent correctement leurs enfants… Du moins certaines familles…

Fondamentale aussi est la question de savoir si les SIA ont effectivement une «conscience» ! Ce qui a frappé les visiteurs d’Anthropic, c’est à quel point les employés, comme Olah, évoquent la «santé mentale» ou la «souffrance» de Claude. Une vidéo montre d’ailleurs une SIA vivant une dépression nerveuse à l’écran, en écrivant «Je suis une honte !» une cinquantaine de fois de suite, avant d’envisager de se suicider! La conclusion générale : même si Claude n’a pas la «conscience» que nous avons (à divers degrés d’ailleurs !), il faudra le traiter comme une personne si l’on veut qu’il se conduise de manière moralement acceptable. L’encyclique récente du pape Léon XIV s’oppose, avec raison, à ce que nous perdions notre humanité dans un «paradis de machines», mais comment l’empêcher ? L’autre problème, c’est que l’humanité est loin d’être homogène. Les agents SIA seront-ils aussi disparates que l’humanité diversifiée, reproduisant depuis Einstein jusqu’à Raspoutine en passant par Gates et Kim Jong Il ? Une idée a particulièrement excité M. Olah : la notion que Claude puisse régulièrement passer au confessionnal, comme chez les catholiques… L’espoir étant que la confession aide aussi à former le caractère… Oui, mais si Claude mentait ?

En relisant tout cela, je tremble d’effroi !

(*) Le Président US a choisi de rebaptiser (et ce n’est pas la première fois !) l’IA. Il a proposé (imposé ?) SI (Super Intelligence). Mais pourquoi élimine-t-il le caractère «artificiel» de ces LLM si brillants qu’ils font peur ?

(**) Cela me rappelle un peu l’épisode «millénariste» où l’on prédisait, d’un côté, la catastrophe pour les ordinateurs, au tournant du siècle, à l’arrivée de l’an 2000, tout en produisant une véritable industrie de prétendues solutions et de protections, que les entreprises, terrifiées à souhait, achetaient alors sans coup férir !

(***) The New York Times l Religious Scholars Met With Anthropic. What They Heard Stunned Them