Les antisingularistes

Outré ou non, le monde kurzweilien tire profit, au moins aux États-Unis, de disciples dans les médias, à l’université, dans la littérature et les laboratoires, qui jugent ces théories fascinantes. Kurzweil a remporté une impressionnante série de distinctions : la médaille nationale de la technologie, quinze doctorats honoraires, il a été choisi comme conseiller spécialiste de la technologie par les militaires et comme spécialiste de la nanotechnologie par le Congrès des États-Unis. Quatre de ses livres sont devenus des best-sellers. Mais ça ne veut pas dire que tous les médias l’adorent.

En 2009, dans le magazine grand public Newsweek, le journaliste Daniel Lyons a étrillé Kurzweil sur un ton très satirique. Son article commence ainsi : « Ray Kurzweil attend impatiemment l’opportunité de devenir un cyborg, un esprit humain dans une machine éternelle. Mais faut-il y voir le prochain bond décisif dans l’évolution de l’être humain, ou seulement la crise de la cinquantaine d’un seul homme qui aurait pris des proportions excessives ?[1] » Puis Lyons observe : « Un moment, vers le milieu de notre conversation dans son bureau de Wellesley, Massachusetts, j’ai eu l’impression que la transformation de Kurzweil avait déjà commencé. Parce qu’il parle sur un ton monocorde, plat et robotique. Peut-être est-ce parce qu’il donne dix fois le même spiel[2] depuis des années. »

Pour se montrer encore plus méchant envers Kurzweil, il énumère quelques-unes de ses prévisions qui ne se sont pas révélées correctes. « En 1998, en plein boom des dotcom, Kurzweil a prédit que l’économie continuerait sur cette lancée jusqu’en 2009 (et même 2019), et qu’une compagnie américaine (il n’a pas précisé laquelle) atteindrait une capitalisation boursière de plus de mille milliards de dollars. On en est loin. Kurzweil a aussi prédit que l’année 2009 verrait la création d’un super-ordinateur capable de réaliser 20 quatril lions d’opérations par seconde (20 petaflops dans le jargon des ordinateurs), ce qui en aurait fait l’égal du cerveau humain. En fait, le plus puissant superordinateur vient seulement de dépasser un petaflop  – bien que Kurzweil dise qu’il considère Google pris dans son ensemble comme un super-ordinateur géant. Kurzweil a aussi prédit qu’à cette date, nos voitures seraient capables de se conduire de façon autonome en communiquant avec des détecteurs intelligents installés sur la voie publique, et que partout les machines reconnaîtraient les commandes vocales. Ces deux choses ne se sont pas produites, mais Kurzweil estime que ça ne va plus tarder. »

Pour finir, ce vilain journaliste conclut : « Ce qui est magnifique avec la profession de futuriste, c’est bien sûr qu’on ne peut pas vraiment être contredit. On peut continuer à prédire et rester bien confortablement ancré dans ses certitudes, car personne ne fera un voyage dans le temps pour prouver à tout le monde que vous avez tort. »

En définitive, et c’est très important, un nombre significatif de chercheurs, d’écrivains, de professeurs et même de technologistes méprisent l’approche de Kurzweil. L’un des plus irrévérencieux est le biologiste P. Z. Meyers[3], connu pour ses attaques caustiques contre l’Église catholique, les créationnistes[4] et les sectes intégristes aux États Unis. Il met les prophéties de Kurzweil sur le même plan que les superstitions et les fantasmes religieux. Il l’accuse de présélectionner ses données lorsqu’il étudie la chronologie de l’évolution. Et il fait part de ses doutes concernant les effets des transformations technologiques sur l’espèce humaine.

« On a déjà connu une singularité, remarque Meyers sur son blog Pharyngula, la combinaison de l’agriculture, de l’urbanisation, et du fait de savoir lire et écrire s’est traduite par de profonds changements pour notre espèce, qui ne s’est pas pour autant transformée... Sans doute les changements évolutionnistes les plus radicaux se sont produits dans nos systèmes immunitaires pendant la période où nous étions en train de nous adapter aux nouveaux régimes alimentaires et à de nouvelles pathologies, mais les êtres humains sont toujours restés des êtres humains. Aujourd’hui, nous pouvons encore trouver des cultures qui mènent une vie néolithique alors que d’autres en sont à l’ère de l’information ; et les deux peuvent toujours communiquer et même se reproduire ensemble. Peut-être l’avènement de l’ère de l’information aura-t-il un effet aussi décisif sur l’humanité que l’invention de l’écriture, mais il ne faut quand même pas s’attendre à voir se réaliser ces délires d’informaticiens[5]. »

Il y a quelque chose de curieusement littéraire dans la façon de présenter les singularistes, ce qui ne signifie pas que les écrivains sont tous emballés par leurs perspectives. Dans une conférence à San Francisco, le célèbre romancier de science-fiction et journaliste spécialiste de la technologie Bruce Sterling a prononcé un discours intitulé The Singularity : Your Future as a Black Hole (« La Singularité : votre futur comme un trou noir astronomique »)[6], dans lequel il a livré une métaphore de la Singularité à son début dans les années 1950 à l’aide d’une déclaration de John von Neumann[7] sur les dangers de la technologie. Puis Sterling a expliqué de quelle manière le sens du mot a été précisé au début des années 1980 par l’écrivain Vernor Vinge, pour en venir à désigner une intelligence qui surpasserait l’esprit humain. Sterling a audacieusement comparé cette idée à la bulle des « dot-com », en estimant que tous deux manquaient d’un «business model ». Pour lui, la Singularité n’est qu’une tempête au goût de science-fiction autour d’un mot magique : l’intelligence. Les singularistes se reposent sur les lignes lisses de leurs graphiques sans s’intéresser à l’activisme social ni mouiller leur chemise ; ils se contentent d’attendre le moment de devenir « super-humains ».

Le célèbre Douglas Hofstadter[8] a lancé des attaques dédaigneuses très acides contre Kurzweil, même s’il est vrai qu’il a peut-être été provoqué par les exagérations de son interlocuteur. Interrogé sur le sujet par le critique littéraire Tal Cohen en 2008[9] qui lui demandait : « Êtes-vous d’accord avec Kurzweil, qui pense que le hardware sera capable de reproduire un software avec une âme humaine dans un futur proche ? Est-ce que ce sera l’équivalent de l’immortalité  – et est-ce que des logiciels fonctionnant dans un cerveau électronique, ce sera l’équivalent de l’immortalité ? » Hofstadter a répondu : «Je pense que Ray Kurzweil est terrifié par sa propre mortalité et qu’il veut à tout prix conjurer la mort. Je comprends son obsession, et je suis même impressionné par sa terrible intensité, mais en même temps, sa vision est déformée. Ses espoirs désespérés déforment sérieusement son objectivité. »

Hofstadter se dit déprimé par le déterminisme de la vision de Kurzweil. Mais il attaque aussi le concept de compréhension dans ses idées. « Un élément essentiel de sa vision globale, dit-il, est que personne n’aura besoin de comprendre le cerveau pour copier, avec une exactitude parfaite, tous les circuits cérébraux de n’importe quel être humain, parce que des milliers de milliards de « nanobots »... cartographieront en détail tous ces circuits... afin de permettre que l’esprit de cet individu soit réimplanté dans un médium électronique... Non sans ironie, cette vision esquive totalement la nécessité d’une science cognitive ou d’une intelligence artificielle, parce qu’on a seulement besoin d’un plan de circuits détaillé... » L’idée que l’intelligence humaine puisse être réduite à un plan de circuits rend Hofstadter malade. « Pour moi, ce nouveau monde « glorieux » signale la fin de l’humanité telle que nous la connaissons. Si une telle vision s’impose, c’est le début de la fin de l’être humain. Encore une fois, je ne veux pas être là...[10] »

Le point de vue de Hofstadter est évidemment très perspicace, mais en même temps, on pourrait l’accuser de sentimentalité vis-à-vis du passé et d’un humanisme classique vis-à-vis de l’avenir. Il ne veut pas renoncer au modèle classique de l’intelligence humaine parce que son rôle de grand penseur cognitif s’en trouverait démodé, et il ne peut pas imaginer une conscience supérieure à celle de l’être humain (ou, peut-être, à la sienne). Pour moi aussi, les prévisions de Kurzweil impliquent beaucoup trop de présuppositions. Mais faut-il vraiment que l’espèce humaine reste éternellement la seule espèce qui ne puisse ni être transformée ni s’éteindre ? Cette attitude aussi peut être considérée comme « pieuse » ou « théologique », n’est-ce pas ? Hofstadter ne veut pas « être là... ». Mais si les prévisions de Kurzweil sont correctes, nous ne serons pas « là » non plus, au sens de notre identité actuelle.

À mon avis, la critique la plus intéressante et la plus approfondie de Kurzweil et de la Singularité a été formulée par Jaron Lanier dans le journal numérique de la Edge Foundation, Inc.[11], connue auparavant sous le nom de The Reality Club. Pour comprendre d’où proviennent les opinions si pénétrantes de Lanier, dont je vais maintenant parler, il faut d’abord étudier comment se définit la Edge Foundation[12].

Établie en 1988, la Edge Foundation a pour objectif principal de créer une « troisième culture » d’intellectuels qui seraient revenus du vieux clivage entre deux partis traditionnellement opposés : les savants et les écrivains humanistes. Depuis les années 1930, ce sont les écrivains, façonnés par Freud, Marx et le modernisme, qui ont attiré l’attention des médias et sont devenus pour le grand public les porte-parole des nouvelles idées. Simultanément, les savants comme Albert Einstein, Niels Bohr ou Edwin Hubble changeaient profondément notre société, mais tout en restant davantage exclus du discours populaire des « intellectuels » parce que, d’une façon générale, leur langage et leurs livres étaient trop difficiles pour le grand public.

Deux ou trois décennies plus tard, la culture des savants et celle des écrivains continuaient à s’ignorer, mais les premiers, devenus beaucoup plus sensibles aux médias et à l’argent, ont trouvé le moyen de populariser leurs idées. Et ils ont détrôné, du moins aux États-Unis, les vieux écrivains marxistes et freudiens pour se faire les nouveaux interprètes « best-selling » de notre société.

Le champ des idées intellectuelles s’est également modifié. Après la chute du communisme, la fin de ia religion et le remplacement du discours psychanalytique par des explications biologiques, tous les débats sur les idéologies économiques, le destin de nos âmes ou les variables psychologiques  – autrefois domaine des écrivains  – sont devenus purement scientifiques. Pour la majorité du grand public, seule la science semble décrire les changements rapides dont nous sommes témoins. Il n’est pas rare, aujourd’hui, de voir quelqu’un, en vacances à la plage, en train de lire attentivement un livre sur la théorie du chaos, les réseaux de neurones ou l’hypothèse Gaia. Et parce que l’ancien panthéon des idées admissibles s’est brisé, toutes sortes d’experts, quelques-uns sans lettres de créance traditionnelles, sont devenus les interprètes les plus importants de notre monde nouveau.

À la Edge Foundation, ces nouveaux « intellectuels » se sont trouvé un nom : la Troisième Culture. Et ces gens parlent sans arrêt d’un sous-groupe de leur communauté, les Digerati[13], ou cyber-élite, chiens de garde de la révolution de la communication. Les vieilles hiérarchies du monde des idées n’existant plus, la Troisième Culture s’est donné pour mission de « purifier » le domaine cybernétique et d’en extirper les voix fausses. C’est dans cette perspective qu’un de leurs membres, Jaron Lanier, a attaqué Kurzweil et les autres singularistes.

Le personnage de Lanier[14] correspond bien au nouveau monde pluridisciplinaire des chercheurs en technologie. C’est un pionnier de la réalité virtuelle qui habite à New York, mais aussi un musicien professionnel. En fait, il est incroyablement éclectique, bon écrivain, inventeur inspiré, autodidacte dans bien des sens du terme et actuellement l’un des plus grands analystes de l’Internet et de la société numérique. Sa rare originalité vient du fait qu’il n’envisage pas seulement la technologie sur le plan des progrès dans la création de logiciels de plus en plus rapides et complexes, mais qu’il s’intéresse aussi à ce que le contenu que ces logiciels nous apporte et à leurs effets sur les esprits et les âmes des êtres humains. Les critiques de Lanier sont un peu moins sentimentales que celles d’un penseur plus âgé comme Hofstadter, et il attaque certains éléments qui sont déjà des données de notre existence.

Pour donner un exemple des outrances délétères de notre technologie d’aujourd’hui, Lanier cite Google, qu’il identifie comme un faux messie qui nous a promis de filtrer et d’ordonner la vaste masse des informations s’accumulant sur le Web. Mais les méthodes de ce logiciel monstrueux sont tellement grossières que nous avons été forcés d’adapter notre intelligence à un mode de pensée qui est inférieur aux capacités du raisonnement humain. En conséquence de quoi nous sommes en train de devenir plus stupides[15].

Lanier est catégoriquement opposé à l’idée que la collectivité est plus capable que l’individu, et à son avis, aucun processus qui exigerait de la créativité et de l’imagination ne sera jamais porté par le groupe (je me demande si c’est la raison pour laquelle la conglomération qu’on appelle Hollywood produit aujourd’hui des films de plus en plus dégueulasses).

En fait, bien que Lanier fasse partie de la Troisième Culture, c’est plutôt un intellectuel traditionnel, un « auteur » convaincu que les connaissances les plus élevées ne peuvent être élaborées à travers des collaborations. Il donne l’impression d’être nostalgique des génies individuels du passé, et en ce sens il ressemble un peu à Hofstadter.

Mais Lanier est aussi un artiste, ce qui le rend radicalement différent de la plupart des technologistes. Il s’intéresse davantage à la qualité de l’expérience d’un logiciel qu’au supplément d’information qu’il apporte ou qu’à sa vitesse de traitement, et garde la même attitude vis-à-vis de ses inventions. C’est lui qu’on associe le plus souvent au concept de réalité virtuelle et à sa popularisation. En l’an 2000, lui et ses collègues ont démontré pour la première fois le phénomène de « télé-immersion » par lequel des gens situés dans des endroits différents peuvent se voir mutuellement en trois dimensions[16]. Il s’agit bien là d’une expérience sensorielle. En revanche, l’idée que notre intelligence complète pourrait être répliquée sous la forme d’une intelligence artificielle l’agace, mais au fond pas davantage que la notion selon laquelle l’espèce humaine serait un jour supplantée par des ordinateurs plus intelligents.

Toujours humaniste, Lanier est l’auteur du livre Your Are Not a Gadget[17], un recueil d’articles présenté comme un manifeste qui prend pour cible la Toile 2.0. La première Toile, 1.0, l’originelle, a été une succession de pages statiques d’information sur Internet, comme les pages d’un livre, créées par une personne ou un petit groupe de gens afin de proposer renseignements et divertissements graphiques. En dehors de la pornographie, le commerce n’était pas très présent sur la Toile 1.0. Mais la Toile 2.0, qui domine maintenant Internet, présente des sites interactifs, et ce sont ces interactions collectives qui produisent les renseignements ou les divertissements qu’on y trouve. Lanier cite en exemple Wikipedia, une encyclopédie en constante évolution écrite par ses lecteurs dans un contexte de collaboration ouverte. Pour cette raison, d’après Lanier, les idées qui y fourmillent ne sont ni profondes ni perspicaces. Avec ces technologies, estime-t-il, on a créé une « mentalité de ruche[18] ».

De plus, quand l’objectif de la collaboration ouverte devient social, comme chez Facebook ou MySpace, la personnalité humaine est réduite à une liste de goûts pour la musique, les livres ou les films, épicée par des photos utilisées comme un élément « d’éloquence » ; le tout formant la construction symbolique d’une identité appauvrie. Je suis totalement d’accord avec cette analyse. Sur ces pages, les gens s’arrêtent un instant pour des petits breaks qu’ils appellent « l’amitié », et en même temps essayent de promouvoir leurs éléments de valeur (corps, visages, services, travail artistique). En définitive, quand il est question de partager de vraies idées et une vraie conversation, la loi de la populace et l’hystérie collective rejettent l’originalité à grands cris.

Vers la fin du siècle dernier, pense Lanier, l’information est devenue plus importante que les individus ; leurs idées, leurs expressions idiomatiques et leurs sentiments ont été réduits à des données déshumanisées. De plus, la classe moyenne s’est transformée en population active, des ouvriers travaillant gratuitement pour les puissantes sociétés d’Internet, propriétaires des logiciels de la Toile 2.0 ; et ces dernières (Google, Facebook, Myspace, Twitter, Flickr, Amazon) s’enrichissent grâce à notre travail non payé. Voilà pourquoi Lanier appelle l’Internet d’aujourd’hui « le maoïsme numérique[19] ».

Dans un entretien sur Amazon com, Lanier a attaqué le développement de l’information automatique et illimitée qui annonce l’arrivée de la singularité[20] : « Au départ, il s’agissait de dire : « L’information veut être libre. » Mais le problème est que ces penseurs anthropomorphisent l’information. L’information ne mérite pas cet état de liberté. C’est un outil abstrait ; un fantasme utile, un rien. L’information n’existe pas à moins qu’un individu ne se confronte à elle et ne l’utilise. Ces dix dernières années, on a donné à l’information plus de droits qu’on en a donné aux êtres humains. Si vous vous exprimez sur Internet, ce que vous dites sera copié, brassé, rendu anonyme, analysé, et transformé en briques pour construire la forteresse de votre voisin, et pour soutenir une stratégie de publicité... »

Plus que tout, c’est la nature évangélisatrice des adeptes de la Singularité qui suscite la crainte de Lanier. Selon lui, n’importe quel laboratoire en informatique exhibe avec fierté sur ses étagères les livres qui promeuvent ces croyances. « Un culte bizarre, estime-t-il, qui a envahi le monde de la technologie, et altère notre culture en général[21]. » Mais qu’est-ce que les singularistes représentent exactement, que Lanier déplore ? C’est la définition de l’intelligence humaine comme une chose presque purement quantitative, le fait d’insister sur la capacité et la puissance des machines plutôt que sur les contenus. Dans son essai One Half a Manifesto[22], Lanier développe très clairement ses idées anti-kurzweiliennes : « Il est possible que la psychologie évolutionniste, l’intelligence artificielle, la loi de Moore brandie en fétiche, etc., deviendront de plus en plus populaires, telles les idées de Freud et de Marx à leur époque... Dans ce cas, l’idéologie des intellectuels cybernétiques et totalitaires sera renforcée de cette idée nouvelle, susceptible de faire souffrir des millions d’individus. »

Lanier compare le credo cybernétique et le marxisme parce qu’il reconnaît la même doctrine de la prédestination dans les deux idéologies. Puis il attaque les six croyances des singularistes (qu’il rebaptise « les totalitaires cybernétiques[23] ») : (1) les modèles cybernétiques sont l’outil ultime de compréhension de la réalité ; (2) les humains ne sont plus que des modèles cybernétiques ; (3) l’expérience subjective est une illusion, ou, à défaut, elle est purement accessoire et sans importance ; (4) les idées de Darwin sont la meilleure et la seule explication de toute culture et de toute créativité ; (5) la nature qualitative, et pas seulement quantitative, des systèmes d’information sera accélérée par la loi de Moore (qui dit que la puissance informatique se multiplie par deux à peu près tous les dix-huit mois) ; et (6) la biologie et la physique fusionneront, ce qui déclenchera un phénomène par lequel les ordinateurs engloutiront tout, y compris les êtres humains, et changeront notre existence dans son ensemble.

Pour attaquer ces croyances, Lanier propose des analyses logiques qui ne sont pas seulement subtiles, mais aussi très amusantes par leur irrévérence. Ses arguments sont trop compliqués pour que je les développe ici, mais je citerai quelques-uns des plus piquants.

En attaquant la première croyance (les modèles cybernétiques seraient la compréhension ultime de la réalité), Lanier parle du sentiment de pouvoir divin qu’on peut ressentir quand, par exemple, on invente pour la première fois un logiciel capable de produire des images graphiques, et qu’on se rend compte en même temps que, par conséquent, le même tableau de bits pourrait être arrangé selon des configurations infinies permettant de produire une infinité d’images possibles. Mais il remarque aussi que tous les vrais ordinateurs produits jusqu’à maintenant n’en sont pas capables, et qu’ils demeurent même très imparfaits : ils tombent en panne, ils ne représentent absolument pas les systèmes purs qu’on se plaît à imaginer. De plus (comme Hofstadter l’a remarqué), le fait qu’il soit possible de créer un modèle ne signifie pas que nous ayons une compréhension complète de la chose modelée. Et il n’est pas possible de mesurer et d’évaluer n’importe quel objet, ou même le modèle de cet objet, sans référence à ses contextes culturels.

Pour la deuxième croyance, Lanier réinterprète le test de Turing, par lequel on peut prétendument déterminer de façon incontestable si un ordinateur est aussi intelligent qu’un être humain. Lanier le juge peu pertinent : pour lui, nous abaissons notre intelligence afin de travailler avec des logiciels simplificateurs, et par conséquent, nous « élevons » l’intelligence de nos ordinateurs. Quand un ordinateur réussit le test de Turing, c’est peut-être parce que nous sommes devenus plus bêtes, non parce que l’ordinateur est devenu plus intelligent. Et nous sommes devenus plus bêtes parce que nous nous sommes adaptés à des logiciels simplificateurs. Et si nous acceptons cela, c’est parce que la doctrine de la Singularité nous promet que les logiciels deviendront de plus en plus intelligents et se passeront de notre aide.

Pour donner un exemple de ce phénomène, Lanier cite la crise économique actuelle, qui, d’après lui, a été causée en partie par notre confiance dans les logiciels financiers, comme en ceux qui déterminent notre indice de solvabilité. Nous avons façonné nos vies comme si ces logiciels grossiers étaient nos arbitres supérieurs. Ce qui est bien devenu le cas, parce que nous les avons suivis au point d’être entraînés dans une crise économique causée par notre croyance en eux.

Concernant la croyance numéro 3, qui postule la non-existence ou la non-importance de l’expérience subjective, Lanier affirme que l’expérience n’est en rien amoindrie par l’illusion, que l’illusion elle-même est une expérience et que l’expérience est quelque chose qui ne peut être que vécu. En examinant une proposition complémentaire des Singularistes, l’affirmation que les ordinateurs seront des êtres doués de sensation, il ajoute : « La quête qui consiste à essayer de prouver rationnellement que les ordinateurs (ou l’Internet) sont doués de sensation est la version moderne de la tentative de faire la preuve de l’existence de Dieu... En outre, il est évident qu’une version cybernétique et parfaitement ennuyeuse de la philosophie de Kant pour le vingt et unième siècle se manifestera, pour présenter « la preuve » de la futilité d’un tel projet. Moi, en tout cas, je n’ai pas la patience de jouer ce rôle[24]. » Finalement, il ose demander publiquement si la position de ses adversaires, qui nient sans arrêt l’existence de la subjectivité, viendrait du fait que, bizarrement, ils ne possèdent pas de vie intérieure, et il ajoute qu’au fond, la seule chose que l’on puisse prouver, c’est que certains philosophes en manquent totalement.

En attaquant la croyance numéro 4, qui fait trop darwinienne, Lanier demande ironiquement : «Comment les systèmes cybernétiques seront-ils assez intelligents et innovants pour inventer un monde post-humain ? Pour en arriver là, une sorte de deus ex machina doit être invoqué, et il a une barbe[25]. » Il suggère ainsi ironiquement que les singularistes sont des créationnistes, dans le sens spécifiquement américain désignant des cultes chrétiens intégristes qui croient à la vérité, mot à mot, de la Bible, et qui essayent de supprimer toutes les idées de Darwin.

La croyance numéro 5 force Lanier à se demander comment imaginer un ordinateur qui serait un million de fois plus rapide que l’ordinateur sur lequel il écrit son texte. Il nous rappelle que, d’après les singularistes, ce phénomène se produira dans trente ans seulement. Il y a une grande différence entre cette prédiction et la réalité de la « grande honte » de la science informatique, qui crée des logiciels de plus en plus surgonflés, de plus en plus lents et de plus en plus imparfaits, chaque fois que les ordinateurs deviennent plus rapides et plus puissants !

C’est la sixième croyance, bien sûr, celle qui annonce la dernière étape, qui agace le plus Lanier. Il remarque que ce sont les technologistes, qu’il nomme des « cyber-armageddonistes [26] », et pas les chercheurs en sciences naturelles, qui se complaisent dans ce fantasme d’un cataclysme déclenché par des milliards de nanobots qui couvriraient et satureraient notre monde de leur intelligence supérieure. Lanier imagine la période qui précéderait cet événement, aux alentours de 2020, quand nos ordinateurs seront non seulement (prétendument) plus rapides que nos esprits, mais insérés dans des robots mobiles tous reliés les uns aux autres (comme les foglets) sur la Toile.

Pour Lanier, ce scénario annonce un cabinet des horreurs, comme le signale d’ailleurs le brillant Bill Joy[27], co-fondateur de Sun Microsystems. L’article antitechnologique de Joy pour le magazine Wired, « Why the Future Doesn’t Need Us »[28], a été comparé à la lettre d’Albert Einstein à Franklin D. Roosevelt, l’avertissant en 1939 de la possibilité du développement de la bombe atomique par les nazis. Mais Joy a moins d’arrière-pensées politiques lorsqu’il déclare : « Nos technologies du vingt et unième siècle  – la robotique, l’ingénierie génétique et la nanotechnologie  – font peser sur les humains une menace d’extinction. »

Joy, qui est souvent accusé de néo-luddisme par les technologistes, voit l’avenir comme un choix entre deux alternatives : une course aux armements entre les forces de la nanotechnologie malfaisantes et les puissances nanotechnologiques qui sont là pour nous défendre ; ou la cessation totale des activités de la robotique, de la nanotechnologie et de la génétique. Il est horrifié par la froide indifférence avec laquelle les autres savants qui comprennent ces technologies discutent de leurs dangers. À son avis, si on continue sur le même chemin, un des devoirs de notre « bonne » technologie sera de nous protéger en permanence contre le « Grey Goo ».

J’avoue volontiers que j’adore la définition que mon dictionnaire anglais-français donne du mot anglais « goo » (un terme qui fait déjà un peu bande dessinée) : « la matière visqueuse ; ou la sentimentalité à l’eau de rose », parce qu’il y a aussi cet élément fleur bleue dans les histoires plutôt utopiques des singularistes qui, me semble-t-il, voient parfois la vie « avec des lunettes roses ». En fait, le « Grey Goo » n’est pas du tout « rose », et heureusement relève encore de la science-fiction. Il s’agit néanmoins d’un concept fondé sur des théories assez sérieuses empruntées au mathématicien John von Neumann, qui concernent la possibilité de créer des machines capables de produire des copies exactes de nous-mêmes, que l’on appelle aussi pour cette raison les von Neumann machines.

Le scénario de Grey Goo serait lié à un dysfonctionnement de nos amis les foglets, que j’ai décrits plus haut. Tout à coup, à la suite d’une catastrophe concoctée par un méchant humain ou une méchante machine, ou simplement à la suite d’un accident (précipité par nos logiciels de « grande honte »), des milliards de nanobots cessent de fonctionner et s’entassent par terre pour former une masse indifférenciée, sans structure. Comme ces blessés sont capables de se reproduire, la couche de colle s’épaissit, provoquant un phénomène baptisé d’un terme nouveau : l’écophagie, littéralement : « qui dévore l’environnement ».

À mon avis, par précaution, nous devrons doter nos nanobots de saveur, et même en faire de la nourriture, ce qui nous permettrait de les manger pour nous en libérer. Quand on se fait mordre, il faut répliquer. Certes, leur véritable vocation n’est pas de nous manger mais de nous étouffer de leurs prouesses, ce qui est plus gluant que du beurre de cacahuète ou du schmalz. Et pourquoi « gris » ? Ces savants théorisants ne sont-ils pas capables d’imaginer les choses en couleur ? Pourquoi pas « goo rose » ?

Lanier a imaginé d’autres calamités du même genre : le jour où les supermachines se débarrasseront de l’humanité avec autant de nonchalance que les hommes déboisent une forêt pour construire des pavillons de banlieue ; ou même avant la victoire complète des machines, quand des humains malfaisants manipuleront les machines et l’ADN pour nous nuire, aussi vite et aussi simplement que l’on manipule le logiciel Javascript[29].

Pour Lanier, la Terreur ultime est peut-être la plus familière : la connaissance biologique emprisonnée dans des sociétés biotechniques et des laboratoires atomisés ne travaillant pas ensemble, isolés les uns des autres, sans moyen de combiner leurs connaissances. Le seul avantage à cela, c’est que, du fait de la piètre qualité de nos logiciels, le rêve socialiste de l’emploi universel sera enfin réalisé  – toutes les populations du monde travailleront pour permettre le fonctionnement d’un mauvais software, avec ses blocages et ses ralentissements, ses plantages et ses crashs... On aura une planète de bureaux d’assistance et de renseignements pour utilisateurs frustrés en permanence, exactement comme aujourd’hui, où les travailleurs seront aussi frustrés que les gens qu’ils aident.

Lanier considère que cet état de chose annoncera l’avènement d’une situation encore pire : des fortunes acquises trop vite dans le monde de la cybernétique, des fortunes qui continueront de s’accumuler, tandis que beaucoup d’autres individus, qui ne s’étaient pas trouvés au bon endroit au bon moment, s’appauvriront de plus en plus. (Kurzweil n’est pas de cet avis. Selon lui, les prix de la technologie auront baissé à un point tel que tout le monde pourra s’acheter tous les outils technologiques, lesquels produiront pour eux tout ce dont ils auront besoin.)

Pourquoi me suis-je tellement étendu sur les implications négatives de la théorie de la Singularité ? Répondre à une telle question n’est pas facile, et ce n’était pas mon intention quand j’ai commencé à écrire ce livre. D’une certaine façon, je suis un « cultiste déprogrammé ». Quand j’ai décidé de me pencher sur ce sujet, j’étais complètement séduit par la théorie de la Singularité. Elle touchait à ou satisfaisait plusieurs de mes fantasmes, de mes objectifs et de mes conflits intérieurs.

Primo, et superficiellement, la Singularité est une réponse assez écrasante à tous mes amis qui, à mon avis, exploitent mes talents pour la technologie et l’informatique en même temps qu’ils les méprisent. Deuxièmement, depuis l’âge de douze ans, quand j’ai découvert Ravel (un compositeur physiquement si petit qu’il vivait dans une maison bâtie à sa taille, et qui était fasciné par les miniatures), j’adore les énergies très puissantes et très complexes insérées dans des contenants incroyablement petits. Mais n’est-ce pas le cas de tout le monde ? Ceci n’est pas seulement dû à mon concept un peu zen du vrai pouvoir ; je vois aussi cela comme un exemple d’esthétisme très raffiné et le comble de l’impératif primaire d’un artiste : l’économie.

Finalement, même si les Singularistes sont peu convaincus de l’existence de la subjectivité, je rêve d’une manière narcissique au jour où je pourrai manifester à l’extérieur les désirs et les volontés de ma vie intérieure  – et cela non dans un but pratique (la richesse, le pouvoir politique, etc.). Ce serait plutôt gênant d’expliquer pourquoi en détail, mais je peux vous révéler que mes amis ont formé un groupe temporaire d’intervention pour m’empêcher d’acheter comme compagnon non seulement un petit robot très intelligent à la carapace peinte à la main, qui s’appelle Nuvo[30] et qui coûte à peu près 4000 dollars, mais d’acquérir un « boyfriend » moins intelligent (Nuvo est mignon, mais n’est pas vraiment adapté à mon anatomie) pour le prix de 5499 dollars sur http://www.realdoll.com, le site d’une société qui fabrique des « poupées » en silicone de taille humaine (dotées de tous les détails anatomiques, je le signale en rougissant) et au squelette d’acier. Et je trouve exaltante la possibilité d’entrer dans l’histoire d’un roman ou d’un film, sur le même plan de réalité que les personnages à trois dimensions qui offrent l’illusion d’être faits de chair et d’os.

Cependant, tandis que j’écrivais le premier chapitre, qui essaie de tirer au clair les principes majeurs des singularistes, j’ai trouvé de plus en plus d’informations qui m’ont convaincu que la plupart des singularistes ne s’intéressent pas beaucoup au concept de « l’imagination ». Quand ils parlent de « créativité », ils le font seulement dans le contexte des nouvelles innovations technologiques. Peu d’entre eux parlent du rôle des arts au fil des époques précédant la Singularité ; je suppose que c’est parce que la frontière entre ce que nous pourrons imaginer et ce qui existera sera franchie et dépassée.

Mais dépassée pour créer quoi ? Des créations de l’imagination encore plus osées, plus idéales et exaltantes ? Ou pour nous convaincre que les rêves n’ont pas beaucoup de place dans le nouvel ordre, ou encore qu’ils existent déjà, et que, par conséquent, l’acte de rêver n’est plus nécessaire ?

Pour moi, il s’agit presque de la fin de l’imagination réalisée par la victoire de l’imagination. À mon avis, cet avènement annonce la fin de toutes les dualités : la différence entre la parole et le silence, le sommeil et le réveil, la vie et la mort. Peut-être suis-je légèrement paranoïaque, mais je vous demande de réfléchir à un monde où mourir consiste à être « débranché ». Est-ce qu’on aurait vraiment la capacité et la permission d’être quand on le souhaiterait ? Est-ce qu’il faudrait trouver et détruire toutes les copies, toutes les sauvegardes de notre conscience pour quitter ce monde à jamais ? Et si le monde, ou plutôt, l’univers, est déjà devenu un substrat, la matière primaire, de la nouvelle superintelligence, les limites de ma conscience n’existeront plus parce qu’elle sera déjà infinie, une partie du tout, et il me sera alors impossible de m’éteindre.

Pour moi, c’est une situation sans issue ; il n’y a pas moyen d’échapper à la vie et à la conscience. Cela me fait penser à ceux qui jugent que le suicide est un péché ou un acte immoral ; franchement, j’ai toujours soupçonné qu’en fait ils voulaient dire ceci : « Vous n’avez pas vraiment le droit de partir, quoi qu’il en soit. Vous avez le devoir de continuer à souffrir avec nous, parce que vous n’êtes pas supérieur, n’est-ce pas ? Votre congé n’a pas encore commencé. »

Est-ce que ce sont ces gens-là, devenus technologistes préparant l’avènement de la Singularité, qui vont livrer notre monde à la conscience éternelle, ainsi qu’ils le répètent sans cesse, parce que beaucoup d’entre eux, et surtout Kurzweil (qui, je tiens à le préciser, est issu d’une famille dont la plupart des membres ont été tués lors de l’Holocauste, « avant leur temps »), parlent sans arrêt de l’éventualité de la fin de la mort ? Mais personne ne dit si la mort deviendra aussi plus facile si on la souhaite, ou si un autre choix sera offert à chacun.

En tout cas, mes attitudes et mes suppositions sont peut-être au-delà de la portée de la Singularité (mais « au-delà » n’étant plus possible, peut-être faudrait-il dire « en dessous » ?). En y réfléchissant bien, on se rend compte assez vite que jusqu’à présent, l’avenir n’a jamais donné le signal d’encourager l’imagination.

Pour terminer, j’ai déjà mentionné la façon dont Kurzweil esquive tous les événements inexplicables et non résolus de son plan. Il n’a pas peur que les machines deviennent plus intelligentes que nous et prennent le contrôle de notre système nerveux. Il est convaincu qu’elles ne deviendront pas des maîtres totalitaires, une façon de dire que, contrairement à nous, les machines n’auront pas de personnalité unique. Il n’y aura pas, par exemple, un ou deux petit Hitler cybernétiques perdus à chaque siècle dans la foule.

Les seules remarques de Kurzweil concernant ces questions révèlent qu’il s’agit pour lui d’une « croyance », et non pas d’une idée à laquelle il serait arrivé par la logique. (Il a évidemment raison de supposer que les machines n’auront pas une infinité de personnalités lorsque l’intelligence couvrira la terre comme une nappe, mais je parle de la période intermédiaire, entre notre ère et la Singularité absolue, où les personnalités et les machines intelligentes cœxisteront temporairement.)

Kurzweil nous assure que cette intelligence artificielle qui dominera tout aura, automatiquement, du respect pour la vie humaine et les valeurs humaines. Mais pourquoi ? Parce que ces êtres artificiels nous verront comme leurs ancêtres ? Ou parce que leur prototype (datant de l’époque où ils étaient beaucoup plus bêtes que nous) a été inventé par nous ?

Si tel est le cas, ces machines seront très différentes de nous. Sommes-nous vraiment bienveillants envers les descendants de nos ancêtres les singes ? Nous les utilisons pour nos expériences médicales, sans beaucoup de considération pour leur souffrance. Sommes-nous respectueux des formes de vie beaucoup moins évoluées que nous, qui nous ont rendu service en portant dans leurs cellules les codes de notre avenir génétique ? Il est évident que je suis en train de tomber en plein scénario kitsch, dans la veine du film La Planète des singes.

Lorsque l’heure viendra de mettre toute notre foi dans nos chefs, ou lorsque l’heure viendra de devenir artificiels comme eux, il nous faudra garder confiance en les bonnes intentions de tous. Même si je n’ai jamais été le genre d’homme à mettre toute ma confiance dans les attentions et les soins de mes maîtres.

1.Newsweek, 25 mai 2009.

2.Numéro.

3.Myers, Paul Zachary « PZ » (né en 1957) : professeur américain de biologie à l’université du Minnesota-Monis et auteur du blog Pharyngula (http://scienceblogs.com/pharyngula/

4.Les créationnistes revendiquent l’interprétation littérale de la Bible et sont contre l’enseignement de la théorie de l’évolution dans des écoles américaines.

5.http://scienceblogs.com/pharyngula/2009/02/singularly_silly_singularity.php

6.« The Singularity : Your Future as a Black Hole », conférence de Bruce Sterling au Conference Center, Fort Mason Center, San Francisco, Californie, 11 juin 2004. Je renvoie à Brand, Stewart, Long Now Foundation : http://longnow.org/seminars/02004/jun/11/the-singularity-your-future-as-a-black-hole/

7.John von Neumann (1903-1957), considéré comme l’un des plus grands mathématiciens du siècle dernier. Il a notamment étudié la mécanique quantique, la théorie des jeux, la statistique et la science des ordinateurs.

8.Voir Gödel, Escher, Bach : an Eternal Golden Braid, Basic Books, 1979.[Gödel, Escher, Bach : les brins d’une éternelle guirlande, Dunod, 2008].

9.Cohen, Tal, « An Interview with Douglas R. Hofstadter, following « I Am a Strange Loop " ", in Tal Cohen’s Bookshelf : A Collection of Personal Opinions about Books, 2008 ; http://tal.forum2.org/hofstadter_interview.

10.Ibid.

11.http://www.edge.org

12.Voir Brockman, John : http://www.edge.org/about_edge.html

13.Ibid. « The Digerati ».

14.Sur Lanier : http://www.edge.org/3rd_culture/lanier/lanier_index.html

15.« A Q&A with Author Jaron Lanier », sur amazon.com (voir http://www.amazon.com/You-Are-Not-Gadget-Manifesto/dp/0307269647/ref=sr_1_1?ie=UTF8&s=books&qid=1269918837&sr=1-1

16.« Jaron Lanier : Computer Scientist, Composer, Visual Artist and Author », 2006, Commencement Honoree, New Jersey Institute of Technology.

17.Lanier, Jaron, You Are Not a Gadget : A Manifesto, Knopf, New York, 2010.

18.Lanier, Jaron, « On « Digital Maoism » : The Hazards of the New Online Collelcivism », Edge, The Reality Club, http://www.edge.org/discourse/digital_maoism html

19.Ibid.

20.« A Q&A with Author Jaron Lanier », sur amazon.com.

21.Ibid.

22.Lanier, Jaron, « One Half a Manifesto », sur Edge (http://www.edge.org/3rd_culture/lanier/lanier_index.html).

23.>Ibid.

24.Ibid.

25.>Ibid.

26.D’après Armageddon, référence à l’Apocalypse.

27.Joy, Bill, l’un des inventeurs du langage Java et des protocoles TCP et IP pour les logiciels de gestion de réseaux qui rendent l’Internet possible.

28.Joy, Bill, « Why the Future Doesn’t Need Us », Wired, 8 juillet 2000.

29.Lanier, Jaron, « One Half a Manifesto... », op. cit.

30.Nuvo est vendu sur le site http://nuvo.jp/nuvo_home.html