Intelligence artificielle : "Nous sommes comme des enfants qui jouent avec une bombe"

Les machines sensibles sont une plus grande menace pour l'humanité que le changement climatique, selon le philosophe d'Oxford Nick Bostrom

Vous trouverez le Future of Humanity Institute dans une ruelle médiévale du centre d'Oxford. C'est à côté de l'église St Ebbe, qui se dresse sur ce site depuis 1005, et au-dessus d'un Pure Gym, qui a ouvert ses portes en avril. L'institut, une faculté de recherche de l'Université d'Oxford, a été créé il y a dix ans pour poser les plus grandes questions en notre nom. Notamment : quels sont exactement les « risques existentiels » qui menacent l'avenir de notre espèce ; comment les mesurons-nous; et que pouvons-nous faire pour les prévenir? Ou pour le dire autrement : dans un monde de peurs multiples, de quoi précisément devrions-nous être le plus terrifiés ?

Lorsque j'arrive pour rencontrer le directeur de l'institut, le professeur Nick Bostrom, un lit est en train d'être livré au bureau du deuxième étage. Le risque existentiel est une sorte d'opération 24 heures sur 24 ; il dort par intermittence, voire pas du tout.

Bostrom, un philosophe d'origine suédoise de 43 ans, a récemment acquis une sorte de statut de prophète de malheur parmi ceux qui font actuellement le plus pour façonner notre civilisation : les milliardaires de la technologie de la Silicon Valley. Sa réputation repose principalement sur son livre Superintelligence: Paths, Dangers, Strategies, qui a été un best-seller surprise du New York Times l'année dernière et qui arrive maintenant en livre de poche, à la suite des recommandations incontournables de Bill Gates et d'Elon Musk de Tesla. (Dans le meilleur type de revue littéraire, Musk a également donné 1 million de livres sterling à l'institut de Bostrom pour continuer à poursuivre ses enquêtes.)

Le livre est un examen vivant et spéculatif de la menace singulière qui, selon Bostrom – après des années de calcul et d'argumentation – est la plus susceptible de nous anéantir. Cette menace n'est pas le changement climatique, ni la pandémie, ni l'hiver nucléaire ; c'est la création peut-être imminente d'une intelligence artificielle générale supérieure à la nôtre.

La couverture du livre de Bostrom est dominée par une image aux yeux fous d'un hibou à la plume et à l'encre. Le hibou est le sujet de la parabole d'ouverture du livre. Un groupe de moineaux construit leurs nids. "Nous sommes tous si petits et si faibles", tweete faiblement l'un d'eux. « Imaginez à quel point la vie serait facile si nous avions une chouette qui pourrait nous aider à construire nos nids ! » Il y a un accord général de gazouillis parmi les moineaux partout; un hibou pourrait défendre les moineaux ! Il pourrait s'occuper de leurs vieux et de leurs petits ! Cela pourrait leur permettre de vivre une vie de loisirs et de prospérité ! Avec ces fantasmes en tête, les moineaux peuvent difficilement contenir leur excitation et s'envoler à la recherche du sauveur à tête pivotante qui transformera leur existence.

Il n'y a qu'une seule voix dissidente : "Scronkfinkle, un moineau borgne au tempérament agité, n'était pas convaincu de la sagesse de l'entreprise. Il dit : "Ce sera sûrement notre perte. Ne devrions-nous pas réfléchir à l'art de la domestication et de l'apprivoisement des hiboux, avant d'amener une telle créature parmi nous ? " Ses avertissements, inévitablement, tombent dans l'oreille d'un moineau sourd. L'apprivoisement des hiboux serait compliqué ; pourquoi ne pas commencer par le hibou et régler les détails plus tard ? Le livre de Bostrom, qui est un cri d'alarme strident sur les implications les plus sombres de l'intelligence artificielle, est dédié à Scronkfinkle.

Bostrom articule ses propres avertissements d'une manière convenablement agitée. Il a une réputation d'obsessionnel et de bourreau de travail; il est mince, pâle et semi-nocturne, restant souvent au bureau jusqu'au petit matin. Sans surprise, peut-être, pour un homme dont les journées sont dominées par des tableaux blancs remplis de formules exprimant les mérites relatifs de 57 variétés d'apocalypse, il semble laisser le moins possible au hasard. Au lieu de repas, il privilégie un élixir de smoothie vert composé de légumes, de fruits, de lait d'avoine et de poudre de lactosérum. D'autres intervieweurs ont fait remarquer qu'il évitait les poignées de main pour se prémunir contre l'infection. Il me tend la main, mais j'ai l'impression qu'il l'isole ensuite pour la désinfecter après mon départ. Il y a peut-être en lui une légère impatience à laquelle il s'efforce de résister.

Dans son livre, il parle de "l'explosion de l'intelligence" qui se produira lorsque des machines beaucoup plus intelligentes que nous commenceront à concevoir leurs propres machines. "Avant la perspective d'une explosion du renseignement, nous, les humains, sommes comme de petits enfants jouant avec une bombe", écrit-il. "Nous n'avons aucune idée du moment où la détonation se produira, mais si nous tenons l'appareil contre notre oreille, nous pouvons entendre un léger tic-tac." En parlant à Bostrom, vous avez le sentiment que pour lui, ce faible tic-tac ne disparaît jamais complètement.

On parle d'abord du succès de son livre, de la façon dont il a carrément touché une corde sensible. Cela a coïncidé avec la lettre ouverte signée par plus de 1 000 scientifiques éminents - dont Stephen Hawking, le co-fondateur d'Apple Steve Wozniak et Musk - et présentée à la Conférence conjointe internationale de l'année dernière sur l'intelligence artificielle, demandant l'interdiction de l'utilisation et du développement d'intelligence artificielle entièrement autonome. armes (les "robots tueurs" de la science-fiction très proches de la réalité). Bostrom, qui est à la fois conscient de ses propres capacités et modeste quant à son influence, suggère que c'était un heureux accident de timing.

"L'apprentissage automatique et l'apprentissage en profondeur [les algorithmes informatiques "neuronaux" pionniers qui imitent le plus étroitement le fonctionnement du cerveau humain] ont évolué au cours des dernières années beaucoup plus rapidement que prévu", dit-il. "C'est certainement l'une des raisons pour lesquelles c'est devenu un si gros sujet en ce moment. Les gens peuvent voir les choses avancer dans le domaine technique, et ils s'inquiètent de la suite."

Bostrom voit ces implications comme potentiellement darwiniennes. Si nous créons une intelligence artificielle supérieure à la nôtre, puis lui donnons la liberté de grandir et d'apprendre grâce à l'accès à Internet, il n'y a aucune raison de suggérer qu'elle n'élaborera pas de stratégies pour assurer sa domination, tout comme dans le monde biologique. Il utilise parfois l'exemple des humains et des gorilles pour décrire la relation unilatérale qui s'ensuit et – comme l'ont souligné les événements du mois dernier au zoo de Cincinnati – cela ne se terminera jamais bien. Une intelligence inférieure dépendra toujours d'une intelligence supérieure pour sa survie.

Il y a des moments, alors que Bostrom déroule divers scénarios dans Superintelligence, quand il semble qu'il a trop lu la science-fiction qu'il prétend ne pas aimer. Une projection implique un système d'IA construisant éventuellement des "nano-usines secrètes produisant des gaz neurotoxiques ou des robots ressemblant à des moustiques [qui] pourraient alors fleurir simultanément de chaque mètre carré du globe" afin de détruire l'ingérence et l'humanité non pertinente. Une autre vision, peut-être plus crédible, voit la superintelligence "détourner les processus politiques, manipuler subtilement les marchés financiers, biaiser les flux d'informations ou pirater les systèmes d'armes fabriqués par l'homme" pour provoquer l'extinction.

Se considère-t-il comme un prophète ?

Il sourit. "Pas tellement. Ce n'est pas que je crois savoir comment cela va se passer et que je dois dire au monde cette information. C'est plutôt que je me sens assez ignorant et très confus à propos de ces choses, mais en travaillant pendant de nombreuses années sur les probabilités, vous peut obtenir des petites idées partielles ici et là. Et si vous ajoutez celles-ci à des idées que beaucoup d'autres personnes pourraient avoir, alors peut-être que cela aboutira à une meilleure compréhension.

Bostrom est venu à ces questions par le biais du mouvement transhumaniste, qui tend à considérer l'ère numérique comme celle d'un potentiel sans précédent pour optimiser nos capacités physiques et mentales et transcender les limites de notre mortalité. Bostrom considère toujours ces possibilités comme le meilleur scénario dans un avenir super intelligent, dans lequel nous exploiterons la technologie pour vaincre la maladie et la maladie, nourrir le monde, créer une utopie de créativité épanouissante et peut-être finalement vaincre la mort. Il a été identifié dans le passé comme membre d'Alcor, l'initiative cryogénique qui promet de geler les restes mortels dans l'espoir qu'un jour, les esprits puissent être revigorés et téléchargés sous forme numérique pour vivre à perpétuité. Il est timide à ce sujet quand je lui demande directement ce qu'il a prévu.

"J'ai pour politique de ne jamais commenter mes arrangements funéraires", dit-il.

Mais il pense qu'il y a une valeur dans la recherche cryogénique ?

"Cela semble une chose assez rationnelle à faire pour les gens s'ils peuvent se le permettre", dit-il. "Lorsque vous pensez à ce que pourrait être la vie dans un avenir assez proche, essayer de stocker l'information dans votre cerveau semble être une option conservatrice plutôt que de brûler le cerveau et de le jeter. À moins que vous ne soyez vraiment sûr que l'information ne sera jamais utile..."

Je me demande à quel moment son optimisme transhumaniste a fait place à ses visions plus cauchemardesques de la superintelligence. Il suggère qu'il n'a pas vraiment changé de position, mais qu'il tient les deux possibilités - le paradis et l'enfer de notre avenir numérique - en opposition inconfortable.

"J'ai beaucoup écrit sur l'éthique de l'amélioration humaine au milieu des années 90, alors qu'elle était largement rejetée par les universitaires", dit-il. "Ils étaient toujours comme, 'Pourquoi diable voudrait-on guérir le vieillissement?' Ils parlaient de surpopulation et de l'ennui de vivre plus longtemps. Il n'y avait aucune reconnaissance que c'est la raison pour laquelle nous faisons des recherches médicales : pour prolonger la vie. De même avec l'amélioration cognitive - si vous regardez ce que j'écrivais alors, cela regarde plus sur le côté optimiste - mais tout au long j'étais aussi préoccupé par les risques existentiels."

Il semble y avoir un malaise persistant à l'idée que de telles améliorations - des pilules qui pourraient vous rendre plus intelligent ou ralentir le vieillissement - vont à l'encontre de l'ordre naturel des choses. En a-t-il le sens ?

"Je ne suis pas sûr que j'assimilerais jamais le naturel au bon", dit-il. "Le cancer est naturel, la guerre est naturelle, les parasites qui vous mangent l'intérieur sont naturels. Ce qui est naturel n'est donc jamais un concept très utile pour comprendre ce que nous devons faire. Oui, il y a des considérations éthiques mais il faut les juger sur un cas- au cas par cas. Vous devez vous rappeler que je suis un transhumaniste. Je veux ma pilule de prolongation de la vie maintenant. Et s'il y avait une pilule qui pourrait améliorer ma cognition de 10 %, je serais prêt à payer cher pour ça.

A-t-il essayé ceux qui prétendent améliorer la concentration ?

"J'en ai, mais pas beaucoup. Je bois du café, j'ai du chewing-gum à la nicotine, mais c'est à peu près tout. Mais la seule raison pour laquelle je n'en fais pas plus, c'est que je ne suis pas encore convaincu que quoi que ce soit d'autre fonctionne."

Il n'a pas peur d'essayer. Lorsqu'il travaille, il s'assied habituellement dans le coin de son bureau entouré d'une douzaine de lampes, apparemment sous l'emprise de l'idée d'illumination.

Bostrom a grandi enfant unique dans la ville côtière suédoise d'Helsingborg. Comme beaucoup d'enfants doués, il détestait l'école. Son père travaillait pour une banque d'investissement, sa mère pour une société suédoise. Il ne se souvient d'aucune discussion de philosophie – ou d'art ou de livres – autour de la table du dîner. Me demandant comment il s'est retrouvé obsédé par ces grandes questions, je demande s'il était un enfant anxieux : a-t-il toujours eu un puissant sens de la mortalité ?

"Je pense que je l'ai eu assez tôt", dit-il. "Pas parce que j'étais sur le point de mourir ou quoi que ce soit. Mais enfant, je me souviens avoir beaucoup pensé que mes parents étaient peut-être en bonne santé maintenant, mais qu'ils ne seraient pas toujours plus forts ou plus gros que moi."

Cette pensée l'empêchait de dormir la nuit ?

"Je ne m'en souviens pas comme de l'anxiété, mais plutôt comme un sentiment de mélancolie."

Et ce désir permanent de vivre pour toujours était-il aussi enraciné là-bas ?

"Pas nécessairement. Je ne pense pas qu'il y ait un désir particulièrement différent que j'ai à cet égard par rapport à quelqu'un d'autre. Je ne veux pas avoir un cancer du côlon - qui le veut? Si j'étais en vie depuis 500 ans, qui sait comment je me sentirais? Ce n'est pas tellement obsédé par l'immortalité, juste que la mort prématurée semble à première vue mauvaise.

Une bonne partie de son livre pose des questions sur la façon dont nous pourrions rendre la superintelligence – qu'elle vienne dans 50 ans ou 500 ans – "sympa", en harmonie avec notre humanité. Bostrom y voit un défi technique plus qu'un défi politique ou philosophique. Il me semble, cependant, qu'une grande partie de notre propre cadre éthique, notre sens de la bonté, est basée sur une expérience et une compréhension de la souffrance, de nos corps. Comment une intelligence non cellulaire pourrait-elle jamais « comprendre » cela ?

"Il y a beaucoup de choses que les machines ne peuvent pas comprendre actuellement parce qu'elles ne sont pas si intelligentes", dit-il, "mais une fois qu'elles le seront, je ne pense pas qu'il y aurait une difficulté particulière à comprendre la souffrance humaine et la mort. " Cette compréhension pourrait être une façon de leur apprendre à respecter la valeur humaine, dit-il. "Mais cela dépend de votre théorie éthique. Il s'agit peut-être davantage de respecter l'autonomie des autres ou de s'efforcer de réaliser de belles choses ensemble." D'une manière ou d'une autre, et il n'a aucune idée de la réalité, il pense que ces choses devront être câblées dès le départ pour éviter la catastrophe. Il ne sert à rien d'obtenir votre hibou d'abord, puis de vous demander comment le dresser. Et avec des systèmes artificiels déjà supérieurs à la meilleure intelligence humaine dans de nombreux domaines discrets, une conversation sur la façon dont cela pourrait être fait est déjà en retard.

Le sentiment d'urgence intellectuelle à propos de ces questions découle en partie de ce que Bostrom appelle une «expérience épiphanique», qui s'est produite lorsqu'il était adolescent. Il se retrouve en 1989 dans une bibliothèque et ramasse au hasard une anthologie de la philosophie allemande du XIXe siècle, contenant des œuvres de Nietzsche et Schopenhauer. Intrigué, il a lu le livre dans une forêt voisine, dans une clairière qu'il avait l'habitude de visiter pour être seul et écrire de la poésie. Presque immédiatement, il éprouva un sens dramatique des possibilités d'apprentissage. Était-ce comme une expérience de conversion?

"Plus un réveil", dit-il. "J'avais l'impression d'avoir été somnambule tout au long de ma vie jusqu'à ce point et maintenant j'étais conscient d'un monde plus vaste que je n'avais pas imaginé."

Suivant d'abord les pistes et les notes du livre de philosophie, Bostrom entreprit de se former à l'avance rapide. Il lisait fébrilement et, dans ses moments libres, il peignait et écrivait de la poésie, obtenant finalement des diplômes en philosophie et en logique mathématique à l'université de Göteborg, avant de terminer un doctorat à la London School of Economics et d'enseigner à Yale.

A-t-il continué à peindre et à écrire ?

"Il m'a semblé à un moment donné que la poursuite des mathématiques était plus importante", dit-il. "Je sentais que le monde contenait déjà beaucoup de peintures et je n'étais pas convaincu qu'il en fallait quelques-unes de plus. On pourrait en dire autant de la poésie. Mais peut-être qu'il avait besoin de quelques idées supplémentaires sur la façon de naviguer dans l'avenir."

L'un des domaines dans lesquels l'IA progresse est sa capacité à composer de la musique et à créer de l'art, et même à écrire. S'imagine-t-il que cette sphère aussi sera rapidement colonisée par une superintelligence, ou sera-t-elle une dernière redoute de l'humain ?

"Je n'accepte pas l'affirmation selon laquelle les compositeurs artificiels peuvent actuellement rivaliser avec les grands compositeurs. Peut-être pour de courtes périodes, mais pas sur toute une symphonie. Et avec l'art, bien qu'il puisse être reproduit, l'activité elle-même a de la valeur. peindre pour peindre. »

L'authenticité, le fait de l'homme, devient de plus en plus important ?

"Oui et pas seulement avec l'art. Si et quand les machines peuvent tout faire mieux que nous, nous continuerions à faire des choses parce que nous aimons les faire. Si les gens jouent au golf, ce n'est pas parce qu'ils ont besoin que la balle réside dans des trous successifs efficacement, c'est parce qu'ils aiment le faire. Plus les machines peuvent faire tout ce que nous pouvons faire, plus nous accorderons d'attention à ces choses que nous apprécions pour elles-mêmes.

Au début de son parcours intellectuel, Bostrom a fait quelques passages en tant que comique philosophique afin d'améliorer ses compétences en communication. En lui parlant et en lisant son travail, un bord de connaissance de l'absurdité à l'échelle même des problèmes n'est jamais complètement absent de ses arguments. Les axes des graphiques intimidants de ses articles seront calibrés en y regardant de plus près en termes de "supportable", "écrasant" et "infernal". Dans son introduction à Superintelligence, l'observation "De nombreux points soulevés dans ce livre sont probablement faux" conduit généralement à une note de bas de page qui se lit comme suit : "Je ne sais pas lesquels." A-t-il parfois l'impression de se transformer en Douglas Adams ?

"Parfois, le travail semble étrange", dit-il. "Ensuite, d'un autre côté, il semble étrange que la majeure partie du monde soit complètement inconsciente des choses les plus importantes qui vont se produire au 21e siècle. Même les gens qui parlent du réchauffement climatique ne mentionnent jamais la menace posée par l'IA."

Parce que cela diluerait leur message ?

"Peut-être. À tout moment de l'histoire, il me semble qu'il ne peut y avoir qu'une seule préoccupation mondiale officielle. Maintenant, c'est le changement climatique, ou parfois le terrorisme. Quand j'ai grandi, c'était l'Armageddon nucléaire. Ensuite, c'était la surpopulation. Certains sont plus sensés que d'autres, mais c'est vraiment assez aléatoire."

La passion de Bostrom est d'essayer d'appliquer des mathématiques à ce caractère aléatoire. Pense-t-il que les inquiétudes concernant l'IA prendront le pas sur le réchauffement climatique en tant que menace plus imminente de sitôt ?

"J'en doute", dit-il. "Cela viendra progressivement et de manière transparente sans que nous nous y penchions vraiment."

Si nous allons chercher n'importe où pour son émergence, Google, qui consacre une bonne partie de ses ressources sans précédent à la technologie d'apprentissage en profondeur (notamment avec son achat en 2014 du pionnier britannique DeepMind) semblerait un point de départ raisonnable. Google a apparemment un comité d'éthique de l'IA pour faire face à ces questions, mais personne ne sait qui en fait partie. Bostrom a-t-il foi en son mantra "Ne sois pas méchant" ?

"Il y a certainement une culture parmi les gens de la technologie selon laquelle ils veulent sentir qu'ils font quelque chose qui n'est pas seulement pour gagner de l'argent, mais qui a un but social positif. Il y a cet idéalisme."

Peut-il aider à façonner la direction de cet idéalisme ?

"Ce n'est pas tant que sa propre influence est importante", dit-il. "Quiconque a un rôle à jouer pour mettre en évidence ces arguments sera précieux. Si la condition humaine devait vraiment changer fondamentalement au cours de notre siècle, nous nous trouvons à un moment clé de l'histoire." Et si les prédictions plus nihilistes de Bostrom sont correctes, nous n'aurons qu'une seule tentative pour bien comprendre la nature de la nouvelle intelligence.

L'année dernière, Bostrom est devenu père. (Généralement, son mariage est mené en grande partie par Skype – sa femme, médecin, vit à Vancouver.) Je me demande, avant de partir, si devenir papa a changé son sens de la réalité de ces problèmes futuristes ?

"Seulement dans le sens où il met l'accent sur cette double perspective, les scénarios positifs et négatifs. Ce type d'intellectualisation, que notre monde pourrait être complètement transformé de cette manière, semble toujours beaucoup plus difficile à créditer à un niveau personnel. Je suppose que je permets ces deux perspectives autant de place que possible dans mon esprit."

En même temps qu'il entretient ces expériences de pensée, je suggère que la moitié du monde reste préoccupée par la provenance de son prochain repas. La menace de la superintelligence est-elle plutôt une angoisse élitiste ? La plupart d'entre nous ne pensent-ils pas à l'avenir à plus long terme parce qu'il y a plus qu'assez de soucis dans le présent ?

"Si cela arrivait au point où le monde dépensait des centaines de milliards de dollars pour ce genre de choses et rien pour des choses plus régulières, alors on pourrait commencer à le remettre en question", dit-il. "Si vous regardez toutes les choses pour lesquelles le monde dépense de l'argent, ce que nous faisons est moins qu'une bouchée de pain. Vous allez dans une ville au hasard et vous voyagez de l'aéroport à votre hôtel. Le long de l'autoroute, vous voyez tous ces énormes bâtiments pour des entreprises dont vous n'avez jamais entendu parler. Peut-être qu'ils conçoivent une nouvelle campagne publicitaire pour une lame de rasoir. Vous passez devant des centaines de ces bâtiments. Chacun d'entre eux a plus de ressources que le total que l'humanité dépense dans ce domaine. Nous avons la moitié un étage d'un immeuble à Oxford, et il y a deux ou trois autres groupes qui font ce que nous faisons. Donc je pense que ça va."

Et comment, je demande, pourrions-nous, en tant qu'individus et citoyens, penser et encadrer ces risques pour l'existence de notre espèce ? Bostrom hausse légèrement les épaules. "Si nous pensons à ce laps de temps très long, il est clair que de très petites choses que nous faisons maintenant peuvent faire une différence significative dans cet avenir."

Un article récent de Bostrom, que j'ai lu plus tard chez moi, contient une petite règle empirique qu'il vaut la peine de garder à l'esprit. Bostrom l'appelle "maxipok". Elle repose sur l'idée que « l'objectif de réduction des risques existentiels doit être une considération dominante chaque fois que nous agissons par souci impersonnel de l'humanité dans son ensemble ». Qu'est-ce que maxipok implique? Essayer de "maximiser la probabilité d'un" résultat OK "où un résultat OK est tout résultat qui évite une catastrophe existentielle."

Cela vaut certainement la peine d'y aller.

Superintelligence: Paths, Dangers, Strategies est publié par Oxford University Press, 9,99 £. Cliquez ici pour l'acheter pour 7,99 £

Cet article a été modifié le 13 juin 2016. Une version antérieure indiquait qu'une lettre ouverte signée par d'éminents scientifiques était le résultat direct du livre de Bostrom, plutôt qu'une coïncidence.