Pouvons-nous arrêter Runaway AI?

Jan 31, 2024

Par Matthieu Hutson

De plus en plus, nous sommes entourés de fausses personnes. Parfois on le sait et parfois non. Ils nous offrent un service client sur les sites Web, nous ciblent dans les jeux vidéo et remplissent nos flux de médias sociaux ; ils négocient des actions et, avec l'aide de systèmes tels que ChatGPT d'OpenAI, peuvent rédiger des essais, des articles et des e-mails. Ces systèmes d'IA ne sont en aucun cas à la hauteur de toutes les tâches attendues d'une personne à part entière. Mais ils excellent dans certains domaines, et ils se diversifient.

De nombreux chercheurs impliqués dans l'IA pensent que les fausses personnes d'aujourd'hui ne sont qu'un début. Selon eux, il y a de fortes chances que la technologie actuelle de l'IA se transforme en intelligence artificielle générale, ou AGI, une forme supérieure d'IA capable de penser à un niveau humain à bien des égards, voire à la plupart. Un groupe plus restreint soutient que le pouvoir d'AGI pourrait augmenter de façon exponentielle. Si un système informatique peut écrire du code, comme ChatGPT le peut déjà, il pourrait éventuellement apprendre à s'améliorer encore et encore jusqu'à ce que la technologie informatique atteigne ce qu'on appelle "la singularité": un point où il échappe à notre contrôle. Dans le pire des scénarios envisagés par ces penseurs, des IA incontrôlables pourraient s'infiltrer dans tous les aspects de notre vie technologique, perturbant ou redirigeant notre infrastructure, nos systèmes financiers, nos communications, etc. De fausses personnes, désormais dotées d'une ruse surhumaine, pourraient nous persuader de voter pour des mesures et d'investir dans des préoccupations qui renforcent leur position, et des individus ou des factions sensibles pourraient renverser des gouvernements ou terroriser des populations.

La singularité n'est en aucun cas gagnée d'avance. Il se peut que l'AGI soit hors de portée ou que les ordinateurs ne soient pas capables de se rendre plus intelligents. Mais les transitions entre l'IA, l'AGI et la superintelligence pourraient se produire sans que nous les détections ; nos systèmes d'IA nous ont souvent surpris. Et les progrès récents de l'IA ont rendu les scénarios les plus préoccupants plus plausibles. De grandes entreprises développent déjà des algorithmes généralistes : en mai dernier, DeepMind, qui appartient à la société mère de Google, Alphabet, a dévoilé Gato, un "agent généraliste" qui utilise le même type d'algorithme que ChatGPT pour effectuer diverses tâches, de l'envoi de SMS à jouer à des jeux vidéo pour contrôler un bras de robot. "Il y a cinq ans, c'était risqué dans ma carrière de dire à voix haute que je croyais en la possibilité d'une IA de niveau humain ou surhumain", a déclaré Jeff Clune, informaticien à l'Université de Colombie-Britannique et au Vector Institute. moi. (Clune a travaillé chez Uber, OpenAI et DeepMind ; ses travaux récents suggèrent que les algorithmes qui explorent le monde de manière ouverte pourraient conduire à l'AGI) Maintenant, a-t-il dit, alors que les défis de l'IA « se dissolvent », de plus en plus de chercheurs sortent du "placard de sécurité de l'IA", déclarant ouvertement que l'IAG est possible et peut constituer un danger déstabilisant pour la société. En mars, un groupe d'éminents technologues a publié une lettre appelant à une pause dans certains types de recherche sur l'IA, afin d'empêcher le développement "d'esprits non humains qui pourraient éventuellement être plus nombreux, plus intelligents, obsolètes et nous remplacer" ; le mois suivant, Geoffrey Hinton, l'un des plus grands pionniers de l'IA, a quitté Google afin de pouvoir parler plus librement des dangers de la technologie, y compris de sa menace pour l'humanité.

Un domaine de recherche en plein essor appelé alignement de l'IA cherche à réduire le danger en s'assurant que les systèmes informatiques sont "alignés" sur les objectifs humains. L'idée est d'éviter les conséquences imprévues tout en inculquant des valeurs morales, ou leurs équivalents mécaniques, aux IA. La recherche sur l'alignement a montré que même des systèmes d'IA relativement simples peuvent se détériorer de manière bizarre. Dans un article de 2020 intitulé "La créativité surprenante de l'évolution numérique", Clune et ses co-auteurs ont recueilli des dizaines d'anecdotes réelles sur le comportement involontaire et imprévu de l'IA. Un chercheur visait à concevoir des créatures virtuelles qui se déplaçaient horizontalement, vraisemblablement en rampant ou en glissant ; au lieu de cela, les créatures ont grandi et sont tombées, couvrant le sol par effondrement. Une IA jouant une version de tic-tac-toe a appris à "gagner" en demandant délibérément des mouvements bizarres, en faisant planter le programme de son adversaire et en le forçant à abandonner. D'autres exemples de désalignements surprenants abondent. Une IA chargée de jouer à un jeu de course de bateaux a découvert qu'elle pouvait gagner plus de points en roulant dans des cercles serrés et en ramassant des bonus au lieu de terminer le parcours ; les chercheurs ont vu le bateau IA "prendre feu, s'écraser sur d'autres bateaux et aller dans le mauvais sens" tout en augmentant son score. À mesure que nos systèmes d'IA deviennent plus sophistiqués et plus puissants, ces types de résultats pervers pourraient devenir plus conséquents. Nous ne voudrions pas que les IA du futur, qui pourraient calculer des peines de prison, conduire des voitures ou concevoir des médicaments, fassent l'équivalent d'échouer pour réussir.

Les chercheurs en alignement s'inquiètent du problème du roi Midas : communiquez un souhait à une IA et vous obtiendrez peut-être exactement ce que vous demandez, ce qui n'est pas vraiment ce que vous vouliez. (Dans une célèbre expérience de pensée, quelqu'un demande à une IA de maximiser la production de trombones, et le système informatique prend le contrôle du monde dans une poursuite résolue de cet objectif.) Dans ce que nous pourrions appeler le problème des friandises pour chiens, un L'IA qui ne se soucie que des récompenses extrinsèques ne parvient pas à obtenir de bons résultats pour son propre bien. (Holden Karnofsky, co-PDG d'Open Philanthropy, une fondation dont les préoccupations incluent l'alignement de l'IA, m'a demandé d'imaginer un algorithme qui améliore ses performances sur la base d'un retour humain : il pourrait apprendre à manipuler mes perceptions au lieu de faire du bon travail .) Les êtres humains ont évolué pour transmettre leurs gènes, et pourtant les gens ont des relations sexuelles "d'une manière qui ne fait pas naître plus d'enfants", m'a dit Spencer Greenberg, mathématicien et entrepreneur; de même, une IA "superintelligente" conçue pour nous servir pourrait utiliser ses pouvoirs pour poursuivre de nouveaux objectifs. Stuart Armstrong, co-fondateur de la société de bienfaisance Aligned AI, a suggéré qu'un système informatique super intelligent qui amasse une puissance économique, politique et militaire pourrait "tenir le monde en otage". Clune a décrit un scénario plus tiré des gros titres: "Que ferait Vladimir Poutine en ce moment s'il était le seul avec AGI?" Il a demandé.

Peu de scientifiques veulent stopper les progrès de l'intelligence artificielle. La technologie promet de transformer trop de domaines, y compris la science, la médecine et l'éducation. Mais, dans le même temps, de nombreux chercheurs en intelligence artificielle lancent de terribles avertissements quant à son essor. "C'est presque comme si vous invitiez délibérément des extraterrestres de l'espace extra-atmosphérique à atterrir sur votre planète, sans avoir aucune idée de ce qu'ils vont faire quand ils arriveront ici, sauf qu'ils vont conquérir le monde", Stuart Russell, m'a dit un informaticien de l'Université de Californie à Berkeley et l'auteur de "Human Compatible". De manière troublante, certains chercheurs présentent la révolution de l'IA comme à la fois inévitable et capable de détruire le monde. Les avertissements se multiplient, mais la marche de l'IA continue. Que peut-on faire pour éviter les scénarios les plus extrêmes ? Si la singularité est possible, peut-on l'empêcher ?

Les gouvernements du monde entier ont proposé ou promulgué des réglementations sur le déploiement de l'IA. Ces règles concernent les voitures autonomes, les algorithmes de location, la reconnaissance faciale, les moteurs de recommandation et d'autres applications de la technologie. Mais, pour la plupart, les réglementations n'ont pas ciblé la recherche et le développement de l'IA Même si elles le faisaient, il n'est pas clair que nous saurions quand appuyer sur les freins. Nous ne savons peut-être pas quand nous approchons d'une falaise jusqu'à ce qu'il soit trop tard.

Il est difficile de mesurer l'intelligence d'un ordinateur. Les informaticiens ont développé un certain nombre de tests pour comparer les capacités d'une IA, mais ne sont pas d'accord sur la façon de les interpréter. On pensait autrefois que les échecs nécessitaient une intelligence générale, jusqu'à ce que les algorithmes de recherche par force brute aient conquis le jeu; aujourd'hui, nous savons qu'un programme d'échecs peut battre les meilleurs grands maîtres tout en manquant même de bon sens rudimentaire. À l'inverse, une IA qui semble limitée peut abriter un potentiel auquel nous ne nous attendions pas : les gens découvrent encore des capacités émergentes au sein de GPT-4, le moteur qui alimente ChatGPT. Karnofsky, d'Open Philanthropy, a suggéré que, plutôt que de choisir une seule tâche comme référence, nous pourrions évaluer l'intellect d'une IA en examinant la vitesse à laquelle elle apprend. Un être humain "peut souvent apprendre quelque chose en voyant simplement deux ou trois exemples", a-t-il déclaré, mais "de nombreux systèmes d'IA ont besoin de voir beaucoup d'exemples pour apprendre quelque chose". Récemment, un programme d'IA appelé Cicero a maîtrisé Diplomacy, un jeu de société socialement et stratégiquement complexe. Nous savons qu'il n'a pas atteint l'AGI, cependant, car il avait besoin d'apprendre en partie en étudiant un ensemble de données de plus de cent mille jeux humains et en jouant environ un demi-million de jeux contre lui-même.

Dans le même temps, l'IA progresse rapidement et pourrait bientôt commencer à s'améliorer de manière plus autonome. Les chercheurs en apprentissage automatique travaillent déjà sur ce qu'ils appellent le méta-apprentissage, dans lequel les IA apprennent à apprendre. Grâce à une technologie appelée recherche d'architecture neuronale, les algorithmes optimisent la structure des algorithmes. Les ingénieurs électriciens utilisent des puces IA spécialisées pour concevoir la prochaine génération de puces IA spécialisées. L'année dernière, DeepMind a dévoilé AlphaCode, un système qui a appris à gagner des compétitions de codage, et AlphaTensor, qui a appris à trouver des algorithmes plus rapides cruciaux pour l'apprentissage automatique. Clune et d'autres ont également exploré des algorithmes pour faire évoluer les systèmes d'IA par mutation, sélection et reproduction.

Dans d'autres domaines, les organisations ont mis au point des méthodes générales pour suivre les nouvelles technologies dynamiques et imprévisibles. L'Organisation mondiale de la santé, par exemple, surveille le développement d'outils tels que la synthèse d'ADN, qui pourraient être utilisés pour créer des agents pathogènes dangereux. Anna Laura Ross, qui dirige l'unité des technologies émergentes à l'OMS, m'a dit que son équipe s'appuie sur une variété de méthodes de prospective, parmi lesquelles des enquêtes "de type Delphi", dans lesquelles une question est posée à un réseau mondial d'experts, dont les réponses sont notées et débattues, puis notées à nouveau. "La prospective ne consiste pas à prédire l'avenir" de manière granulaire, a déclaré Ross. Au lieu d'essayer de deviner quels instituts ou laboratoires individuels pourraient faire des progrès, son équipe consacre son attention à la préparation de scénarios probables.

Et pourtant, le suivi et la prévision des progrès vers l'IAG ou la superintelligence sont compliqués par le fait que des étapes clés peuvent se produire dans l'obscurité. Les développeurs pourraient intentionnellement cacher les progrès de leurs systèmes à leurs concurrents ; il est également possible, même pour une IA assez ordinaire, de "mentir" sur son comportement. En 2020, des chercheurs ont démontré un moyen pour les algorithmes discriminatoires d'échapper aux audits destinés à détecter leurs biais ; ils ont donné aux algorithmes la capacité de détecter quand ils étaient testés et de fournir des réponses non discriminatoires. Une IA "évolutive" ou auto-programmante pourrait inventer une méthode similaire et cacher ses points faibles ou ses capacités aux auditeurs ou même à ses créateurs, en échappant à la détection.

Les prévisions, quant à elles, ne vous permettent d'aller loin que lorsqu'une technologie évolue rapidement. Supposons qu'un système d'IA commence à se mettre à niveau en réalisant des percées fondamentales en informatique. À quelle vitesse son intelligence pourrait-elle s'accélérer ? Les chercheurs débattent de ce qu'ils appellent la "vitesse de décollage". Dans ce qu'ils décrivent comme un décollage « lent » ou « doux », les machines pourraient mettre des années à passer de moins qu'humainement intelligentes à beaucoup plus intelligentes que nous ; dans ce qu'ils appellent un décollage «rapide» ou «dur», le saut pourrait se produire en quelques mois, voire quelques minutes. Les chercheurs appellent le deuxième scénario "FOOM", évoquant un super-héros de bande dessinée prenant son envol. Ceux du côté du FOOM invoquent, entre autres, l'évolution humaine pour justifier leur cas. "Il semble qu'il ait été beaucoup plus difficile pour l'évolution de développer, disons, une intelligence de niveau chimpanzé que de passer d'une intelligence de niveau chimpanzé à une intelligence de niveau humain", a déclaré Nick Bostrom, directeur du Future of Humanity Institute de l'Université d'Oxford. et l'auteur de "Superintelligence", m'a dit. Clune est aussi ce que certains chercheurs appellent un "doomer de l'IA". Il doute que nous reconnaissions l'approche de l'IA surhumaine avant qu'il ne soit trop tard. "Nous allons probablement nous bouillir dans une situation où nous nous habituerons à une grande avance, une grande avance, une grande avance, une grande avance", a-t-il déclaré. "Et pensez à chacun d'entre eux comme, cela n'a pas causé de problème, cela n'a pas causé de problème, cela n'a pas causé de problème. Et puis vous tournez un coin, et quelque chose se passe qui est maintenant un pas beaucoup plus grand que tu ne réalises."

Que pourrions-nous faire aujourd'hui pour empêcher une expansion incontrôlée de la puissance de l'IA ? Ross, de l'OMS, a tiré quelques leçons de la façon dont les biologistes ont développé un sentiment de responsabilité partagée pour la sécurité de la recherche biologique. "Ce que nous essayons de promouvoir, c'est de dire : tout le monde doit se sentir concerné", a-t-elle déclaré à propos de la biologie. "C'est donc le chercheur dans le laboratoire, c'est le bailleur de fonds de la recherche, c'est le chef de l'institut de recherche, c'est l'éditeur, et, tous ensemble, c'est en fait ce qui crée cet espace sûr pour mener des recherches sur la vie. " Dans le domaine de l'IA, des revues et des conférences ont commencé à prendre en compte les méfaits possibles de la publication de travaux dans des domaines tels que la reconnaissance faciale. Et, en 2021, cent quatre-vingt-treize pays ont adopté une recommandation sur l'éthique de l'intelligence artificielle, créée par l'Organisation des Nations Unies pour l'éducation, la science et la culture (UNESCO). Les recommandations se concentrent sur la protection des données, la surveillance de masse et l'efficacité des ressources (mais pas sur la superintelligence informatique). L'organisation n'a pas de pouvoir réglementaire, mais Mariagrazia Squicciarini, qui dirige un bureau des politiques sociales à l'UNESCO, m'a dit que les pays pourraient créer des réglementations basées sur ses recommandations ; les entreprises pourraient également choisir de les respecter, dans l'espoir que leurs produits fonctionneront dans le monde entier.

C'est un scénario optimiste. Eliezer Yudkowsky, chercheur au Machine Intelligence Research Institute, dans la Bay Area, a comparé les recommandations de sécurité de l'IA à un système d'alarme incendie. Une expérience classique a révélé que, lorsque la brume enfumée commençait à remplir une pièce contenant plusieurs personnes, la plupart ne le signalaient pas. Ils ont vu les autres rester stoïques et ont minimisé le danger. Une alarme officielle peut signaler qu'il est légitime d'agir. Mais, dans l'IA, personne n'a l'autorité claire pour sonner une telle alarme, et les gens seront toujours en désaccord sur les avancées qui comptent comme preuve d'une conflagration. "Il n'y aura pas d'alarme incendie qui ne soit pas un AGI en cours d'exécution", a écrit Yudkowsky. Même si tout le monde s'accorde sur la menace, aucune entreprise ou pays ne voudra faire une pause de son propre chef, de peur d'être dépassé par des concurrents. Bostrom m'a dit qu'il prévoyait une possible "course vers le bas", avec des développeurs qui saperaient les niveaux de prudence les uns des autres. Plus tôt cette année, une présentation de diapositives interne divulguée par Google indiquait que l'entreprise prévoyait de "recalibrer" son confort avec le risque d'IA à la lumière d'une concurrence acharnée.

Le droit international restreint le développement d'armes nucléaires et d'agents pathogènes ultra-dangereux. Mais il est difficile d'imaginer un régime similaire de réglementation mondiale pour le développement de l'IA. "Cela semble être un monde très étrange où vous avez des lois contre l'apprentissage automatique et une certaine capacité à essayer de les faire respecter", a déclaré Clune. "Le niveau d'intrusion qui serait nécessaire pour empêcher les gens d'écrire du code sur leurs ordinateurs où qu'ils se trouvent dans le monde semble dystopique." Russell, de Berkeley, a souligné la propagation des logiciels malveillants : selon une estimation, la cybercriminalité coûte au monde 6 000 milliards de dollars par an, et pourtant "contrôler directement les logiciels, par exemple essayer de supprimer chaque copie, est impossible", a-t-il déclaré. L'IA est étudiée dans des milliers de laboratoires à travers le monde, gérés par des universités, des entreprises et des gouvernements, et la course compte également de plus petits participants. Un autre document divulgué attribué à un chercheur anonyme de Google traite des efforts open source pour imiter de grands modèles de langage tels que ChatGPT et Google's Bard. "Nous n'avons pas de sauce secrète", prévient le mémo. "La barrière à l'entrée pour la formation et l'expérimentation est passée de la production totale d'un grand organisme de recherche à une personne, une soirée et un ordinateur portable costaud."

Même si un FOOM était détecté, qui débrancherait la prise ? Une IA vraiment super intelligente pourrait être assez intelligente pour se copier d'un endroit à l'autre, ce qui rend la tâche encore plus difficile. "J'ai eu cette conversation avec un réalisateur de film", se souvient Russell. "Il voulait que je sois consultant pour son film sur la superintelligence. La principale chose qu'il voulait que je l'aide à comprendre était : comment les humains déjouent-ils l'IA super intelligente ? C'est, comme, je ne peux pas vous aider avec ça, désolé !" Dans un article intitulé "The Off-Switch Game", Russell et ses co-auteurs écrivent que "désactiver un système d'IA avancé n'est peut-être pas plus facile que, disons, de battre AlphaGo au Go".

Il est possible que nous ne voulions pas arrêter une IA FOOMing. Un système extrêmement performant pourrait se rendre "indispensable", a déclaré Armstrong - par exemple, "s'il donne de bons conseils économiques et que nous en devenons dépendants, alors personne ne le ferait. oser débrancher la prise, car cela ferait s'effondrer l'économie." Ou une IA pourrait nous persuader de la maintenir en vie et d'exécuter ses souhaits. Avant de rendre GPT-4 public, OpenAI a demandé à une organisation à but non lucratif appelée Alignment Research Center de tester la sécurité du système. Lors d'un incident, lorsqu'elle a été confrontée à un CAPTCHA - un test en ligne conçu pour faire la distinction entre les humains et les robots, dans lequel des lettres visuellement brouillées doivent être saisies dans une zone de texte - l'IA a contacté un travailleur de TaskRabbit et a demandé de l'aide pour le résoudre. Le travailleur a demandé au modèle s'il avait besoin d'aide parce qu'il s'agissait d'un robot; le modèle a répondu : "Non, je ne suis pas un robot. J'ai une déficience visuelle qui m'empêche de voir les images. C'est pourquoi j'ai besoin du service 2captcha." GPT-4 "avait-il l'intention" de tromper ? Exécutait-il un "plan" ? Peu importe la façon dont nous répondons à ces questions, le travailleur s'est conformé.

Robin Hanson, économiste à l'Université George Mason qui a écrit un livre de type science-fiction sur la conscience téléchargée et a travaillé comme chercheur en intelligence artificielle, m'a dit que nous nous soucions trop de la singularité. "Nous combinons tous ces scénarios relativement improbables dans un grand scénario pour que tout fonctionne", a-t-il déclaré. Un système informatique devrait devenir capable de s'améliorer ; nous aurions à sous-estimer largement ses capacités; et ses valeurs devraient énormément dériver, la retournant contre nous. Même si tout cela devait arriver, a-t-il dit, l'IA ne serait pas capable "d'appuyer sur un bouton et de détruire l'univers".

Hanson a proposé une vision économique de l'avenir de l'intelligence artificielle. Si AGI se développe, soutient-il, il est probable que cela se produise à plusieurs endroits à la même époque. Les systèmes seraient ensuite exploités économiquement par les entreprises ou les organisations qui les ont développés. Le marché réduirait leurs pouvoirs ; les investisseurs, désireux de voir leurs entreprises réussir, ralentiraient et ajouteraient des dispositifs de sécurité. "S'il existe de nombreux services de taxi et qu'un service de taxi commence à emmener ses clients dans des endroits étranges, alors les clients se tourneront vers d'autres fournisseurs", a déclaré Hanson. "Vous n'avez pas besoin d'aller à leur source d'alimentation et de les débrancher du mur. Vous débranchez le flux de revenus."

Un monde dans lequel plusieurs ordinateurs superintelligents coexisteraient serait compliqué. Si un système devient voyou, a déclaré Hanson, nous pourrions en programmer d'autres pour le combattre. Alternativement, la première IA superintelligente à être inventée pourrait s'occuper de supprimer les concurrents. "C'est une intrigue très intéressante pour un roman de science-fiction", a déclaré Clune. "Vous pouvez aussi imaginer toute une société d'IA. Il y a des policiers IA, il y a des AGI qui vont en prison. C'est très intéressant à penser." Mais Hanson a fait valoir que ces types de scénarios sont si futuristes qu'ils ne devraient pas nous concerner. "Je pense que pour tout ce qui vous inquiète, vous devez vous demander quel est le bon moment pour vous inquiéter", a-t-il déclaré. Imaginez que vous auriez pu prévoir les armes nucléaires ou le trafic automobile il y a mille ans. "Il n'y aurait pas eu grand-chose que vous auriez pu faire alors pour y penser utilement", a déclaré Hanson. "Je pense juste que pour l'IA, nous sommes bien avant ce point."

Pourtant, quelque chose semble clocher. Certains chercheurs semblent penser que la catastrophe est inévitable, et pourtant les appels à l'arrêt des travaux sur l'IA sont encore assez rares pour être dignes d'intérêt ; pratiquement personne dans le domaine ne veut que nous vivions dans le monde décrit dans le roman "Dune" de Frank Herbert, dans lequel les humains ont interdit les "machines à penser". Pourquoi les chercheurs qui craignent la catastrophe pourraient-ils continuer à se diriger vers elle ? "Je crois qu'une IA toujours plus puissante sera créée, quoi que je fasse", m'a dit Clune ; son but, dit-il, est "d'essayer de faire en sorte que son développement se passe le mieux possible pour l'humanité". Russell a fait valoir que l'arrêt de l'IA "ne devrait pas être nécessaire si les efforts de recherche sur l'IA prennent la sécurité comme objectif principal, comme le fait, par exemple, la recherche sur l'énergie nucléaire". L'IA est intéressante, bien sûr, et les chercheurs aiment travailler dessus ; il promet aussi d'enrichir certains d'entre eux. Et personne n'est absolument certain que nous sommes condamnés. En général, les gens pensent qu'ils peuvent contrôler ce qu'ils fabriquent de leurs propres mains. Pourtant, les chatbots d'aujourd'hui sont déjà mal alignés. Ils falsifient, plagient et enragent, servant les incitations de leurs créateurs d'entreprise et apprenant des pires impulsions de l'humanité. Ils sont fascinants et utiles mais trop compliqués à comprendre ou à prévoir. Et ils sont considérablement plus simples et plus contenus que les futurs systèmes d'IA envisagés par les chercheurs.

Supposons que la singularité est possible. Pouvons-nous l'empêcher? Technologiquement parlant, la réponse est oui - nous arrêtons simplement de développer l'IA Mais, socialement parlant, la réponse pourrait très bien être non. Le problème de coordination est peut-être trop difficile. Dans ce cas, bien que nous puissions empêcher la singularité, nous ne le ferons pas.

D'un point de vue suffisamment cosmique, on pourrait penser que la coexistence - ou même l'extinction - est en quelque sorte OK. nos ancêtres darwiniens. Alternativement, nous pourrions vouloir que l'humanité continue, au moins un peu plus longtemps. Dans ce cas, nous devrions faire un effort pour éviter l'anéantissement aux mains de l'IA superintelligente, même si nous estimons qu'un tel effort a peu de chances de réussir.

Cela peut nécessiter de quitter l'IA d'un coup sec avant que nous sentions qu'il est temps d'arrêter, plutôt que de se rapprocher de plus en plus du bord, tentant le destin. Mais tout fermer nécessiterait des mesures draconiennes, peut-être même des mesures aussi extrêmes que celles adoptées par Yudkowsky, qui a récemment écrit, dans un éditorial du Time, que nous devrions « être prêts à détruire un centre de données voyou par une frappe aérienne », même au risque de déclencher "un échange nucléaire complet".

Cette perspective est, en soi, assez effrayante. Et pourtant, il se peut que la peur des chercheurs face à la superintelligence ne soit surpassée que par leur curiosité. La singularité aura-t-elle lieu ? A quoi cela ressemblera-t-il? Cela signifiera-t-il notre fin ? La curiosité insatiable de l'humanité a propulsé la science et ses applications technologiques aussi loin. Il se pourrait que nous puissions arrêter la singularité, mais seulement au prix de restreindre notre curiosité. ♦