Superintelligence

Une superintelligence est un agent hypothétique qui posséderait une intelligence de loin supérieure à celle des humains les plus brillants et les plus doués. Un système résolvant des problèmes (comme un traducteur automatique ou un assistant à la conception) est parfois aussi décrit comme « superintelligent » s'il dépasse de loin les performances humaines correspondantes, même si cela ne concerne qu'un domaine plus limité.

S'il existe des scénarios de création de superintelligence biologique, ou de superintelligence collective, la plupart des analyses se concentrent sur la possibilité qu'une intelligence artificielle devienne capable de s'améliorer elle-même, donnant naissance à la singularité technologique ; celle-ci est le sujet d'espoirs (le transhumanisme)^[1], mais aussi de craintes de catastrophe.

Définitions

De manière générale, on parle de superintelligence dès qu'un agent dépasse de loin les performances humaines dans une activité intellectuelle. Le philosophe Nick Bostrom définit une « superintelligence » comme « un intellect beaucoup plus compétent que les meilleurs cerveaux humains dans pratiquement tous les domaines, y compris la créativité scientifique, la sagesse et les talents sociaux. »^[2]. Pour cet auteur, des programmes de jeux de réflexion, tels que Fritz ou AlphaGo, bien que largement supérieurs aux humains, ne méritent ainsi pas d'être considérés comme superintelligents, car ils ne sont compétents que pour une seule tâche^[3]. Comme Marcus Hutter avant lui, Bostrom définit la superintelligence comme une supériorité générale dans les comportements ayant un objectif, laissant ouverte la question de capacités telles que l'intentionnalité^[4] ou la perception des qualia^[5].

Possibilité de créer une superintelligence

Les chercheurs sont en désaccord sur les chemins pouvant mener à une superintelligence. Le scénario le plus souvent proposé envisage des progrès en intelligence artificielle (IA), cependant d'autres pensent que les humains évolueront ou modifieront leur biologie pour augmenter radicalement leurs capacités intellectuelles. Certaines analyses de futurologues combinent des éléments de ces deux possibilités, suggérant que les humains pourraient se connecter directement à des ordinateurs, ou même y transférer leur esprit, de façon à permettre une amplification de leurs possibilités.

Superintelligence artificielle

L'intelligence artificielle a réalisé des progrès rapides, en particulier avec les modèles de fondation, commençant à surpasser les capacités humaines sur divers tests^[6].

Des chercheurs, comme David Chalmers^[7], pensent que la superintelligence apparaîtra rapidement après la création d'une intelligence artificielle générale. Les premières machines véritablement intelligentes seront notablement supérieures - au moins pour certaines capacités intellectuelles humaines : par exemple une mémoire absolue, une base de connaissance énorme, ou la capacité de mener plusieurs tâches simultanément^[8]. Plusieurs scientifiques considèrent l'étude de ces possibilités comme prioritaire, en raison de leurs conséquences sociétales et sociales ^[9].

Certains logiciel sont capables de se reprogrammer pour s'auto-améliorer. Ils peuvent contribuer au scénario connu sous le nom d'explosion d'intelligence, proche du concept de singularité technologique^[10].

Nick Bostrom note que les circuits électroniques présentent de nombreux avantages sur le cerveau humain. Ils peuvent fonctionner à des fréquences typiquement 10 millions de fois supérieures à celle des neurones biologiques, les rendant extrêmement rapides en comparaison. Les transistors sont aussi plus fiables que les neurones biologiques, nécessitant moins de redondance et permettant une meilleure précision. De plus, une IA peut être facilement dupliquée et éditée, contrairement au cerveau humain^[11]. Néanmoins, vers 2020, la durée moyenne d’obsolescence d’un ordinateur est comprise entre 3 et 5 ans (selon sa qualité, son usage, son entretien et des questions d'obsolescence logicielle), et en France 6 % des PC portables sont remplacés après deux ans d'utilisation, alors que 15 % ont un cycle de renouvellement supérieur à six ans^[12]. L'électronique embarquée des navires, avions, satellites ou sondes spatiales a une durée de vie plus longue (plusieurs décennies)^[13], alors que le cerveau humain, tout en consomment bien moins d'énergie, peut souvent fonctionner correctement durant plus de 80 ans et parfois plus d'un siècle.

Une possibilité envisagée pour la superintelligence est de simuler un équivalent de cerveau humain, mais doté de circuits électroniques, permettant une meilleure rapidité et diverses optimisations, l'intelligence ainsi simulée (jumeau numérique) pourrait en théorie être des millions de fois plus rapide^[14] et doué d'un énorme avantage dans la plupart des tâches intellectuelles, en particulier celles demandant des décisions rapides, ou nécessitant de longues chaines de déductions couvrant de nombreux cas possibles. Un autre avantage des circuits électroniques est leur modularité, permettant d'accroitre presque sans limite leur taille et leur complexité. Nick Bostrom, en 2014, considérait aussi que cela pourrait donner naissance à une « superintelligence collective » agentique, si l'on peut faire communiquer un nombre assez grand d'agents déjà intelligents par eux-mêmes^[15].

Elizer Yudkowsky espère, ainsi secondairement obtenir des améliorations qualitatives des raisonnements et des prises de décision humains^[16],[17].

En 2025, après les performances jugées décevantes de son projet de métavers, puis de son modèle Llama 4 et de ses lunettes connectées, Meta (anciennement Facebook) a annoncé, en avril, vouloir cette fois rapidement dépasser l’intelligence artificielle générale (IAG) pour atteindre la superintelligence, c'est-à-dire surpasser les capacités humaines dans la plupart des domaines grâce à des capacités de planification multi-étapes, de raisonnement abstrait complexe et et de coordination avec des agents humains. Pour cela META se dote d'un laboratoire dédié ; dirigé par Alexandr Wang (28 ans, formé au MIT et créateur à l'âge de 19 ans de Scale AI, une start-up dédiée à l'étiquetage, au nettoyage et à la labellisation du du big data destiné à éduquer les IA modernes, une activité qui lui aurait déjà fait gagner 3,6 milliards de dollars). Le labo est créé avec un investissement de base de 14,8 milliards de dollars, pour 49 % du capital de sa société^[18].

M Zuckerberg a aussi recruté d'autres chercheurs de haut niveau, dont Lucas Beyer, Alexander Kolesnikov et Xiaohua Zhai, tous trois anciens de Google DeepMind, puis passé au bureau zurichois d'OpenAI d'où ils ont été débauchés par Meta, qui a aussi récupéré Trapit Bansal (auteur de la série "o" et du "reinforcement learning" qu'il a développé avec Ilya Sutskever (l'un des fondateurs d'OpenAI), Lukasz Kaiser et Jakub Pachocki. Le Laboratoire disposera de 50 de meilleurs experts en IA, pour certains payés par des salaires atteignant les 9 chiffres ; il disposera d'un budget qui pourrait atteindre 65 milliards de dollars d’investissements en IA rien que pour 2025. Cette initiative émerge dans un contexte de rivalité croissante entre géants du numérique^[19].

Superintelligence biologique

Carl Sagan a suggéré que la généralisation des césariennes et de la fécondation in vitro pourrait permettre aux humains de développer de plus grands cerveaux, que la sélection naturelle pourrait ensuite conduire à une intelligence améliorée^[20]. D'un autre côté, Gerald Crabtree (en) craint au contraire que la diminution des pressions de sélection amène à un déclin de l'intelligence humaine. Il n'y a pas de consensus à ce sujet, et dans tous les cas ces changements seraient lents, comparés à la vitesse des changements culturels.

Des méthodes eugéniques, et plus encore le génie génétique, pourraient améliorer l'intelligence humaine plus rapidement. Bostrom pense que si nous parvenons à comprendre les mécanismes génétiques de l'intelligence, nous pourrons sélectionner des embryons ayant un haut potentiel intellectuel ; itérant ce processus sur de nombreuses générations, les gains pourraient être très importants. Bostrom suggère de plus que le processus pourrait être énormément accéléré en travaillant directement sur les cellules souches embryonnaires^[21] ; une organisation sociale convenable d'humains ayant une intelligence exceptionnelle pourrait développer une superintelligence collective^[22].

Les avantages mentionnés plus haut d'une superintelligence artificielle sont cependant moins importants pour une superintelligence biologique, les contraintes physiologiques limitant la vitesse et la taille des cerveaux ; c'est pourquoi les études ont plutôt porté sur des scénarios d'intelligence artificielle^[23]. Un compromis intéressant pourrait être la création de cyborgs, associations symbiotiques de l'homme et de la machine. Cependant, Bostrom exprime des doutes sur la faisabilité d'une interface superintelligente, estimant qu'il s'agit d'un problème aussi difficile que de créer une superintelligence artificielle pure^[24].

Prévisions

La majorité des chercheurs en intelligence artificielle s'attendent à ce que les machines soient un jour capable de rivaliser avec les humains sur le plan de l'intelligence, bien qu'il y ait peu de consensus sur la date à laquelle cela se produira. Ainsi, à la conférence de 2006 de l'AI@50 (en), 18 % des participants s'attendaient à ce que les machines « soient capable de simuler l'apprentissage et les autres capacités intellectuelles humaines » d'ici 2056 ; 41 % pensaient que cela se produirait, mais après 2056, et 41 % pensaient que les machines n'y arriveraient jamais^[25].

En mai 2013, une enquête auprès des cent auteurs les plus cités dans le domaine de l'IA, 2070 était l'année médiane pour laquelle était estimée, avec une confiance de 90 %, que des machines pourraient « exercer la plupart des professions humaines aussi bien qu'un humain typique » ; avec une probabilité de 50 %, ils estimaient de même qu'il faudrait ensuite 30 ans pour que se développe une superintelligence^[26].

Problèmes de conception et dangers potentiels

Le principal danger envisagé est la possibilité qu'une superintelligence échappe à ses créateurs (ce que Nick Bostrom appelle le « problème du contrôle »^[27]). Eliezer Yudkowsky pense que les risques ainsi créés sont plus imprévisibles que toutes les autres sortes de risques^[1], et il ajoute que la recherche à ce sujet est biaisée par l’anthropomorphisme : les gens basant leur analyse de l’intelligence artificielle sur leur propre intelligence^[28], ce qui les amène à en sous-estimer les possibilités. Il sépare d’ailleurs les risques en problèmes techniques (des algorithmes imparfaits ou défectueux empêchant l’IA d’atteindre ses objectifs), et en échecs « philosophiques », bien plus pernicieux et difficiles à contrôler, où les objectifs de l’IA sont en fait nuisibles à l’humanité^[29] ; de plus, presque par définition, une superintelligence serait si puissante qu'on ne pourrait l'arrêter en cas de comportement imprévu^[30]. Selon Yudkowsky, en l'absence de contrôle, « L'IA ne vous détesterait pas nécessairement, mais vous êtes faits d'atomes qu'elle pourrait décider d'utiliser pour faire autre chose. »^[31]

Nick Bostrom s'est inquiété des valeurs qui devraient être incorporées au design d'une superintelligence pour éviter ces problèmes. Il a ainsi comparé plusieurs propositions^[32] :

• Valeurs Extrapolées Cohérentes (VEC) : les valeurs sont celles sur lesquelles tous les humains s'accordent.
• Justesse Morale (JM) : la valeur principale est la justice.
• Permissivité Morale (PM) : tout ce qui est moral est permis, en respectant les valeurs VEC.

Dans la fiction

• Ted Chiang décrit dans sa nouvelle Comprends la vie d'un individu qui a acquis artificiellement une intelligence totalement hors norme.

Voir aussi

• Agent intelligent
• Altruisme efficace
• Apprentissage automatique
• Autoréplication
• Cerveau artificiel
• Course aux armements
• Explosion d'intelligence
• Future of Humanity Institute
• Intelligence artificielle digne de confiance
• Machine Intelligence Research Institute
• Post-humanisme
• Risque de catastrophe planétaire
• Singularitarisme