Capítol 3

LLIBERTAT

Big Data et vigila

El relat liberal considera la llibertat humana com el seu valor principal. Argumenta que tota autoritat emana en última instància del lliure albir dels éssers humans individuals, com s’expressa en els seus sentiments, desitjos i tries. En política, el liberalisme pensa que el votant sap què és el millor. Per tant, celebra eleccions democràtiques. En economia, el liberalisme sosté que el client sempre té la raó. Per tant, defensa els principis de mercat lliure. En qüestions personals, el liberalisme encoratja la gent a escoltar-se a ells mateixos, a ser fidels a ells mateixos, i a seguir allò que els dicta el cor… sempre que no infringeixi les llibertats dels altres. Aquesta llibertat personal està emparada pels drets humans.

El terme «liberal» s’utilitza a vegades en un sentit partidista molt més restrictiu, com a contrari de «conservador». Però en canvi, molts suposats conservadors també són liberals. Feu la prova. ¿Trobeu que la gent hauria d’escollir el seu govern en comptes d’obeir cegament un rei? ¿Trobeu que la gent hauria de triar la seva professió en comptes de néixer en una casta determinada? ¿Trobeu que la gent hauria de triar la seva parella, en comptes de casar-se amb qui decideixin els seus pares? Si heu respost «sí» a totes tres preguntes, felicitats, sou liberals.

En particular, és vital recordar que herois conservadors com ara Ronald Reagan i Margaret Thatcher van ser grans campions no tan sols de les llibertats econòmiques sinó també de les llibertats individuals. En una famosa entrevista del 1987, Thatcher va dir: «La societat no existeix. Existeix un tapís vivent d’homes i dones… i la qualitat de les nostres vides depèn de fins a quin punt cadascun de nosaltres estiguem disposats a responsabilitzar-nos de nosaltres mateixos».^[1]

Els hereus de Thatcher al Partit Conservador estan totalment d’acord amb el Partit Laborista que l’autoritat política prové dels sentiments, les tries i el lliure albir dels votants individuals. Per tant, quan la Gran Bretanya necessitava decidir si abandonava la Unió Europea, el primer ministre David Cameron no va demanar a la reina Elisabet II, a l’arquebisbe de Canterbury o als professors d’Oxford i Cambridge que resolguessin la qüestió. Ni tan sols ho va demanar als membres del Parlament. En canvi, va celebrar un referèndum en el qual es va preguntar a tots i cadascun dels britànics: «A tu què et sembla?».

Podríeu objectar que la pregunta va ser «Tu què en penses?» en comptes d’«A tu què et sembla?», però aquest és un error molt comú. Els referèndums i les eleccions van sempre dirigits als sentiments humans, no pas a la racionalitat humana. Si la democràcia fos una qüestió de presa de decisions racionals, no hi hauria absolutament cap raó per donar a la gent el dret de vot en termes d’igualtat, o, potser, cap raó per donar-li el dret de vot. Està àmpliament demostrat que hi ha gent molt més saberuda i racional que d’altra, sobretot si ens centrem en qüestions específiques d’economia i política.^[2] Després del referèndum del Brexit, l’eminent biòleg Richard Dawkins va protestar que mai no s’hauria d’haver preguntat a la gran majoria del poble britànic —ell mateix inclòs— que votés en un referèndum, perquè els mancava la formació necessària en economia i ciències polítiques. «És com si convoquéssim un plebiscit nacional per decidir si Einstein va equivocar-se en els seus càlculs d’àlgebra, o deixar que els passatgers votessin a quina pista hauria d’aterrar el pilot».^[3]

El cas és que, per bé o per mal, les eleccions i els referèndums no van dirigits a allò que pensem. Van dirigits a allò que sentim. I quan es tracta de sentiments, Einstein i Dawkins no són pas millors que qualsevol altra persona. La democràcia suposa que els sentiments humans reflecteixen un misteriós i profund «lliure albir», i que aquest «lliure albir» és la font última d’autoritat, i que, mentre que hi ha gent que és més intel·ligent que d’altra, tots els éssers humans són igualment lliures. Com Einstein i Dawkins, una minyona analfabeta també té lliure albir, i per tant el dia de les eleccions els seus sentiments —representats pel seu vot— compten igual que els de tothom.

Els sentiments guien no tan sols els votants, sinó també els líders. En el referèndum del Brexit de 2016 la campanya de sortida de la Unió Europea va estar encapçalada conjuntament per Boris Johnson i Michael Gove. Quan David Cameron va dimitir, Gove va donar suport inicialment a Johnson com a primer ministre, però a l’últim minut Gove va declarar Johnson no apte per a la feina. L’acció de Gove, que va destruir totes les possibilitats de guanyar de Johnson, va ser descrita com un assassinat polític maquiavèl·lic.^[4] Però Gove va defensar la seva conducta fent apel·lació als seus sentiments, i explicant que «En totes les passes que he fet en la meva vida política, sempre m’he plantejat la mateixa pregunta: “Què és el més correcte? Què et diu el cor que facis?”».^[5] Per aquesta raó, segons diu Gove, va lluitar tan aferrissadament a favor del Brexit, i per aquesta raó es va veure obligat a apunyalar per l’esquena el seu antic aliat Boris Johnson, i aspirar a la posició de capitost alfa ell mateix: perquè era el que li havia dit el cor.

Aquesta confiança en les opinions del cor podria ser el taló d’Aquil·les de la democràcia liberal. Perquè un cop algú (sigui a Pequín o a San Francisco) adquireixi l’habilitat tècnica de hackejar i manipular el cor humà, la política democràtica mutarà fins a convertir-se en una funció de titelles emocionals.

Escolta l’algoritme

La creença liberal en els sentiments i la capacitat de triar lliurement dels individus no és ni natural ni gaire antiga. Durant milers d’anys, la gent va creure que l’autoritat provenia de les lleis divines i no del cor humà, i que per tant havíem de santificar la paraula de Déu en comptes de la llibertat humana. Tan sols en aquests últims segles va canviar l’origen de l’autoritat, de les deïtats celestials als éssers humans de carn i ossos.

Aviat l’autoritat podria tornar a canviar, i passar dels éssers humans als algoritmes. De la mateixa manera que l’autoritat divina era legitimada per les mitologies religioses i l’autoritat humana ho era pel relat liberal, la imminent revolució tecnològica podria establir l’autoritat dels algoritmes de dades massives (Big Data), mentre soscava la idea mateixa de llibertat individual.

Com hem mencionat en el capítol anterior, les descobertes científiques sobre la manera com funcionen els nostres cervells i els nostres cossos fan pensar que els nostres sentiments no són una qualitat espiritual singularment humana, i que no reflecteixen cap mena de «lliure albir». Els sentiments són, més aviat, mecanismes bioquímics que tots els mamífers i ocells utilitzen per calcular ràpidament probabilitats de supervivència i reproducció. Els sentiments no es basen en la intuïció, la inspiració o la llibertat…, es basen en el càlcul.

Quan un mico, un ratolí o un ésser humà veuen una serp, s’activa la por perquè milions de neurones al cervell calculen ràpidament les dades rellevants i conclouen que la probabilitat de mort és alta. Els sentiments d’atracció sexual es donen quan uns altres algoritmes bioquímics calculen que un individu proper ofereix una probabilitat alta d’aparellament amb èxit, d’establiment de llaços socials, o d’algun altre objectiu cobejat. Els sentiments morals com ara la indignació, la culpa o el perdó deriven de mecanismes neurals que van evolucionar per permetre la cooperació grupal. Tots aquests algoritmes bioquímics es van perfeccionar durant milions d’anys d’evolució. Si els sentiments d’algun antic avantpassat nostre cometien un error, els gens que donaven forma a aquests sentiments no passaven a la generació següent. Els sentiments, doncs, no són el contrari de la racionalitat: són l’encarnació de la racionalitat evolutiva.

Generalment no ens adonem que els sentiments són de fet càlculs, perquè aquest procés ràpid de càlcul té lloc molt per dessota del nostre llindar de consciència. No notem els milions de neurones del cervell computant probabilitats de supervivència i reproducció, i per tant pensem erròniament que la nostra por de les serps, la nostra tria de parella sexual, o les nostres opinions sobre la Unió Europea són el resultat d’un misteriós «lliure albir».

De tota manera, tot i que el liberalisme s’equivoca quan pensa que els nostres sentiments reflecteixen un lliure albir, fins avui en dia refiar-nos dels nostres sentiments encara era una idea que tenia un bon sentit pràctic. Perquè, tot i que no hi havia res de màgic ni de lliure en els nostres sentiments, sí que eren el millor mètode existent a l’univers per decidir què estudiar, amb qui casar-se i a quin partit votar. I cap sistema exterior no podia tenir l’esperança de poder entendre els meus sentiments millor que jo. Encara que la Inquisició espanyola o el KGB soviètic m’espiessin cada minut de cada dia, els mancaven els coneixements biològics i el poder de computació necessaris per hackejar els processos bioquímics que donen forma als meus desitjos i decisions. Per a qualsevol propòsit pràctic, era raonable argumentar que jo posseïa lliure albir, perquè la meva voluntat adoptava la seva forma sobretot a través de la interacció de forces interiors, que ningú de fora podia veure. Per tant, podia gaudir de la il·lusió que jo controlava el meu camp de joc interior, secret, mentre que els de fora no podrien entendre mai de debò què passava dintre meu i com prenia jo les meves decisions.

En conseqüència, el liberalisme l’encertava quan aconsellava a la gent que seguís el seu cor més que no pas els dictats d’algun capellà o algun apparàtxik del partit. Aviat, però, els algoritmes informàtics ens podran donar millors consells que no pas els sentiments humans. Mentre la Inquisició espanyola i el KGB deixen pas a Google i Baidu, el «lliure albir» quedarà probablement exposat com un simple mite i el liberalisme podria perdre els seus avantatges pràctics.

Perquè ara ens trobem en la confluència de dues revolucions immenses. Per una banda els biòlegs desxifren els misteris del cos humà, i en particular del cervell i els sentiments humans. I per l’altra, els científics informàtics ens ofereixen un poder de processament de dades sense precedents. Quan la revolució biotecnològica es fusioni amb la revolució infotecnològica, produirà algoritmes Big Data que podran fer un seguiment i entendre els meus sentiments molt millor que no pas jo, i llavors l’autoritat segurament canviarà dels éssers humans als ordinadors. La meva il·lusió de lliure albir probablement es desintegrarà quan em trobi diàriament institucions, companyies i agències del govern que entenen i manipulen allò que fins ara era el meu reialme interior inaccessible.

Això ja està passant en el camp de la medicina. Les decisions mèdiques més importants de la nostra vida no recauen en les nostres sensacions de malaltia o benestar, ni tan sols en les prediccions informades del nostre metge, sinó en els càlcus d’ordinadors que entenen els nostres cossos molt millor que nosaltres. D’aquí a poques dècades, els algoritmes Big Data, informats per un corrent constant de dades biomètriques, podrien fer un seguiment de la nostra salut les 24 hores, 7 dies a la setmana. Podrien detectar els inicis mateixos de la grip, el càncer o la malaltia d’Alzheimer molt abans que nosaltres tinguem la sensació que ens passa res. Ens podrien recomanar tractaments adients, dietes i règims diaris, fets expressament per al nostre físic, ADN i personalitat singulars.

La gent gaudirà de la millor assistència sanitària de la història, però precisament per aquesta raó probablement estarà sempre malalta. Sempre hi ha alguna cosa que no rutlla en alguna banda del cos. Sempre hi ha alguna cosa que es pot millorar. En el passat, et senties perfectament sa mentre no experimentessis dolor o no patissis una discapacitat aparent, com ara anar coix. Però el 2050, gràcies als sensors biomètrics i els algoritmes Big Data, les malalties es podran diagnosticar i tractar molt abans que comportin dolor o discapacitat. Com a resultat, sempre estareu patint alguna «afecció mèdica» i seguireu aquesta o aquella recomanació algorítmica. Si refuseu fer-ho, potser la vostra assegurança mèdica quedarà invalidada o el vostre cap us farà fora; per què haurien de pagar ells el preu de la vostra obstinació?

Una cosa és continuar fumant malgrat les estadístiques generals que relacionen fumar amb el càncer de pulmó, i una altra de molt diferent continuar fent-ho malgrat una advertència concreta d’un sensor biomètric que acaba de detectar disset cèl·lules canceroses a la part superior del vostre pulmó esquerre. I si esteu disposats a desafiar el sensor, què fareu quan el sensor enviï l’advertència a la vostra agència d’assegurances, al vostre director de secció i a la vostra mare?

Qui tindrà el temps i l’energia d’enfrontar-se a totes aquestes malalties? El més probable és que donem instruccions al nostre algoritme de salut perquè s’encarregui de la majoria d’aquests problemes com li sembli millor. Com a molt, enviarà informes periòdics als nostres telèfons intel·ligents, per dir-nos que «disset cèl·lules cancerígenes han estat detectades i destruïdes». Els hipocondríacs potser es llegiran aquests informes com bons minyons, però la majoria de nosaltres els ignorarem, de la mateixa manera que ignorem aquells avisos tan molestos dels antivirus que apareixen en els nostres ordinadors.

El drama de prendre decisions

El que ja comença a passar en la medicina és possible que passi en cada cop més i més camps. La invenció clau és el sensor biomètric, que la gent pot portar al damunt o a l’interior dels seus cossos i que converteix els processos biològics en informació electrònica que els ordinadors poden emmagatzemar i analitzar. Amb prou dades biomètriques i prou potència de processament, els sistemes de processament de dades externs poden hackejar tots els vostres desitjos, decisions i opinions. Poden saber exactament qui sou.

La majoria de la gent no es coneix gaire bé. Quan jo tenia vint-i-un anys, em vaig adonar a la fi que era gai, després de molts anys de negació. Això no és gens excepcional. Molts homes gais es passen tota l’adolescència sense estar segurs de la seva sexualitat. Ara imagineu-vos la situació el 2050, quan un algoritme pot dir a qualsevol adolescent exactament en quin lloc es troba de l’espectre homo/heterosexual (i fins i tot el grau de mal·leabilitat d’aquesta posició). Potser l’algoritme et mostra imatges o vídeos d’homes i dones atractius, segueix els moviments dels teus ulls, la pressió sanguínia i l’activitat cerebral, i en cinc minuts produeix un número en l’escala de Kinsey.^[6] A mi m’hauria pogut estalviar anys de frustració. Potser vosaltres, personalment, no voldríeu fer-vos aquesta prova, però també és possible que us trobeu amb una colla d’amics a l’avorridíssima festa d’aniversari de la Michelle, i que algú faci el suggeriment que feu torns fent la prova amb aquest nou algoritme tan cool (amb tothom al voltant per veure els resultats… i fer-ne comentaris). Faríeu mitja volta?

I encara que la féssiu, i encara que us amaguéssiu de vosaltres mateixos i dels vostres companys de classe, no us podreu amagar d’Amazon, Alibaba o la policia secreta. Quan navegueu pel web, mireu YouTube o llegiu les vostres xarxes socials, els algoritmes us faran un seguiment discret, us analitzaran, i diran a Coca-Cola que si et volen vendre una beguda amb bombolles val més que facin servir l’anunci amb el noi sense samarreta en comptes de l’anunci amb la noia sense samarreta. Tu ni tan sols ho sabràs. Però ells ho sabran, i aquesta informació valdrà milers de milions.

Però, és clar, també és possible que tot això es faci obertament, i que la gent comparteixi de gust la seva informació per tal de rebre millors recomanacions i, amb el temps, per fer que l’algoritme prengui decisions en lloc d’ells. Comença amb coses senzilles, com ara decidir quina pel·lícula mirar. Quan t’asseus amb una colla d’amics per passar una vetllada tranquil·la davant del televisor, primer has de triar què vols veure. Cinquanta anys enrere no tenies elecció, però avui en dia —amb l’auge dels serveis de vídeo a la carta— hi ha milers de títols disponibles. Arribar a un acord pot ser força difícil, perquè mentre que a tu personalment t’agraden els thrillers de ciència-ficció, en Jack prefereix les comèdies romàntiques i la Jill vota per les pel·lícules franceses d’art i assaig. Pot ser perfectament que arribeu a un compromís i mireu una pel·lícula mediocre de sèrie B que us decep a tots.

Un algoritme us podria ajudar. Li podeu dir quines pel·lícules anteriors us han agradat de debò a cadascun de vosaltres, i basant-se en la seva enorme base de dades estadística l’algoritme pot trobar llavors la solució perfecta per al grup. Per desgràcia, un algoritme tan rudimentari la pot errar fàcilment, en particular perquè la tria personal és una manera notòriament poc fiable de calibrar les veritables preferències de la gent. Passa sovint que sentim molta gent lloar una pel·lícula com a obra mestra, ens sentim empesos a veure-la, i, malgrat que ens vam adormir a mitja pel·lícula, no volem semblar uns incultes i diem a tothom que va ser una experiència magnífica.^[7]

Aquests problemes, però, es poden solucionar si permetem que l’algoritme reculli dades en temps real sobre nosaltres quan estem veient una pel·lícula, en comptes de refiar-se de les nostres dubtoses tries personals. Per començar, l’algoritme pot fer el seguiment de quines pel·lícules hem vist senceres, i quines hem deixat de mirar a mitja pel·lícula. Encara que diguem a tothom que Allò que el vent s’endugué és la millor pel·lícula de tots els temps, l’algoritme sabrà que no hem passat mai de la primera mitja hora i no hem vist mai l’incendi d’Atlanta.

Però l’algoritme pot aprofundir molt més encara. Els enginyers desenvolupen actualment un programari que pot detectar les emocions humanes basant-se en els moviments dels nostres ulls i músculs facials.^[8] Afegiu una bona càmera al televisor, i aquest programari sabrà quines escenes ens fan riure, quines escenes ens posen tristos i quines escenes ens avorreixen. Tot seguit, connectem l’algoritme als sensors biomètrics, i l’algoritme sabrà de quina manera ha influït cada fotograma en el nostre ritme cardíac, pressió sanguínia i activitat cerebral. Mentre mirem, per exemple, Pulp Fiction de Tarantino, l’algoritme pot notar que l’escena de la violació ens ha provocat un deix gairebé imperceptible d’excitació sexual, que quan Vincent dispara accidentalment a la cara de Marvin hem rigut amb certa sensació de culpa, i que no hem entès l’acudit del Big Kahuna Burger però que hem rigut igualment per no semblar imbècils. Quan t’obligues a tu mateix a riure, utilitzes uns circuits cerebrals i uns músculs diferents que quan rius perquè una cosa és divertida de debò. Els éssers humans normalment no poden detectar la diferència. Però un sensor biomètric sí que podria.^[9]

La paraula televisió ve del grec tele, que vol dir ‘lluny’, i del llatí visio, ‘vista’. Es va concebre originàriament com un aparell que ens permet veure de lluny. Però aviat ens podria permetre de ser vistos de lluny. Com va preveure George Orwell a 1984, el televisor ens mirarà mentre nosaltres el mirem. Quan hàgim acabat de veure la filmografia sencera de Tarantino, potser ho oblidarem gairebé tot, el que hem vist. Però Netflix, o Amazon, o qui sigui el propietari de l’algoritme de la televisió, coneixerà el nostre tipus de personalitat i sabrà com prémer els nostres botons emocionals. Aquestes dades podrien permetre que Netflix i Amazon triessin les pel·lícules per nosaltres amb una precisió inquietant, però també els podrien permetre prendre per nosaltres les decisions més importants de la nostra vida: com ara què estudiar, on treballar i amb qui casar-nos.

És clar que Amazon no tindrà raó sempre. És impossible. Els algoritmes cometran errors repetidament per causa de dades insuficients, programació defectuosa, definicions d’objectius poc clares i la naturalesa caòtica de la vida.^[10] Però no cal que Amazon sigui perfecte. Només li cal ser millor, de mitjana, que nosaltres, els éssers humans. I això no és tan difícil, perquè la majoria de la gent no es coneix gaire, i la majoria de la gent comet uns errors terribles en les decisions més importants de les seves vides. Encara més que els algoritmes, els éssers humans pateixen de dades insuficients, programació defectuosa (genètica i cultural), definicions poc clares, i el caos de la vida en general.

Es podria fer una llista dels molts problemes que pateixen els algoritmes i treure la conclusió que la gent no se’n refiaran mai. Però això és com catalogar totes les mancances d’una democràcia i treure la conclusió que cap persona assenyada no donaria mai suport a un sistema com aquest. Winston Churchill, en una frase molt cèlebre, va dir que la democràcia és el pitjor sistema polític del món, tret de tots els altres. Equivocant-se o encertant-la, la gent podria arribar a les mateixes conclusions pel que fa als algoritmes Big Data: tenen molts inconvenients, però no tenim cap alternativa millor.

A mesura que els científics aconsegueixen una comprensió millor de la manera en la qual els éssers humans prenen decisions, la temptació de refiar-se dels algoritmes segurament s’incrementarà. Hackejar la presa de decisions humanes no tan sols farà els algoritmes Big Data més fiables, sinó que farà simultàniament els sentiments humans menys fiables. A mesura que els governs i les grans empreses aconsegueixin hackejar el sistema operatiu humà, quedarem exposats a un bombardeig de manipulacions, publicitat i propaganda de precisió. Manipular les nostres opinions i emocions podria ser tan fàcil que ens veurem obligats a refiar-nos dels algoritmes de la mateixa manera que un pilot que pateix un atac de vertigen ha d’ignorar el que li diuen els seus sentits i confiar cegament en la maquinària.

En alguns països i en algunes situacions, la gent potser no tindrà cap elecció i haurà d’obeir les decisions dels algoritmes Big Data. Però fins i tot en societats suposadament lliures, els algoritmes podrien guanyar autoritat perquè aprendrem per experiència a refiar-nos-en en cada cop més aspectes, i gradualment perdrem la nostra habilitat de prendre decisions per nosaltres mateixos. Penseu de quina manera, en només dues dècades, han arribat milers de milions de persones a confiar en l’algoritme de cerca de Google una de les tasques més importants de totes: buscar informació rellevant i de confiança. Ja no busquem informació. Ara, googlegem. Mentre ens refiem cada cop més de Google per trobar respostes, la nostra habilitat de buscar informació per nosaltres mateixos disminueix. Avui en dia, la «veritat» es defineix pels deu primers resultats d’una cerca de Google.^[11]

Això també està passant amb les habilitats físiques, com ara l’orientació i la navegació espacial. La gent demana a Google que els guiï. Quan arriben a una cruïlla, el seu instint potser els diu «gira a l’esquerra», però Google Maps diu «gira a la dreta». Al començament s’escolten el seu instint, giren a l’esquerra, queden encallats en un embús de trànsit, i es perden una reunió important. La pròxima vegada faran cas a Google, giraran a la dreta, i arribaran a temps. Aprenen per experiència a confiar en Google. En un any o dos, es refien cegament de qualsevol cosa que Google Maps els digui, i si els falla el telèfon intel·ligent no tenen ni idea de què fer.

El març de 2012, tres turistes japonesos a Austràlia van decidir fer una excursió a una petita illa, i van entrar amb el cotxe directament a l’oceà Pacífic. El conductor, Yuzu Noda, de vint-i-un anys, va dir després que tan sols havia seguit les instruccions del GPS i que «ens va dir que hi podíem anar en cotxe. No parava de dir que ens portaria cap a una carretera. Vam quedar encallats».^[12] En diversos incidents similars la gent va caure amb el cotxe en un llac, o va caure per un pont esfondrat, aparentment perquè seguien les instruccions del GPS.^[13] L’habilitat d’orientar-se i navegar per l’espai és com un múscul: o la fas servir o la perds.^[14] El mateix passa amb l’habilitat d’escollir cònjuge o professió.

Cada any milions de joves han de decidir què estudien a la universitat. És una decisió molt important i molt difícil. Estàs sota pressió per part dels teus pares, els teus amics i els teus professors, que tenen diferents interessos i opinions. També t’has d’enfrontar amb les teves pròpies pors i fantasies. El teu judici està enterbolit i manipulat per superproduccions de Hollywood, novel·les dolentes i campanyes publicitàries sofisticades. És particularment difícil prendre una decisió intel·ligent perquè no saps de debò què cal per tenir èxit en diferents professions, i no tens necessàriament una imatge realista dels teus punts forts i febles. Què cal per tenir èxit com a advocat? Com em comporto sota pressió? Soc un bon treballador en equip?

Una estudiant podria començar dret perquè té una imatge poc acurada de les seves habilitats, i una visió encara més distorsionada del que representa de fet ser advocat (no deixes anar discursos dramàtics ni crides «Protesto, senyoria!» tot el dia). Mentrestant, la seva amiga ha decidit fer realitat un somni infantil i estudiar ballet professional, tot i que no té l’estructura òssia ni la disciplina necessàries. Anys després, totes dues lamenten profundament les seves eleccions. En el futur, ens podríem refiar de Google perquè prengués aquestes decisions en comptes de fer-ho nosaltres. Google em podria dir que perdré el temps estudiant dret o estudiant ballet… però que podria ser un psicòleg o un lampista excel·lent (i molt feliç).^[15]

Un cop la IA prengui millors decisions que nosaltres sobre carreres i potser fins i tot sobre relacions sentimentals, el nostre concepte d’humanitat i de vida haurà de canviar. Els éssers humans estan acostumats a pensar en la vida com un drama ple de decisions. La democràcia liberal i el capitalisme de mercat lliure veuen l’individu com un agent autònom que pren decisions sobre el món constantment. Les obres d’art —siguin obres de Shakespeare, novel·les de Jane Austen o comèdies cursis de Hollywood— generalment giren al voltant d’un heroi que ha de prendre una decisió particularment crucial. Ser o no ser? Fer cas a la meva dona i matar el rei Duncan, o fer cas a la meva consciència i no matar-lo? Em caso amb el senyor Collins o amb el senyor Darcy? La teologia cristiana i musulmana també se centren de manera similar en el drama de la presa de decisions, amb l’argument que la salvació o la condemna eternes depenen de prendre la decisió correcta.

Què passarà amb aquesta visió de la vida a mesura que ens refiem cada cop més de la IA perquè prengui les nostres decisions? Ara mateix ens refiem que Netflix ens recomani pel·lícules i que Google Maps triï si girem a la dreta o a l’esquerra. Però quan comencem a comptar amb la IA per decidir què estudiar, on treballar, i amb qui casar-nos, la vida humana deixarà de ser un drama ple de decisions. Les eleccions democràtiques i els mercats lliures tindran ben poc sentit. També passaria el mateix amb la majoria de religions i d’obres d’art. Imagineu-vos Anna Karènina agafant el seu telèfon intel·ligent i preguntant a l’algoritme de Facebook si hauria de continuar casada amb Karenin o fugir amb el galant comte Vronski. O imagineu-vos la vostra obra preferida de Shakespeare amb totes les decisions crucials preses per l’algoritme de Google. Hamlet i Macbeth tindran vides molt més còmodes, però quina mena de vides seran, exactament? Tenim cap model que ens ajudi a trobar sentit a una vida així?

A mesura que l’autoritat canvia dels éssers humans als algoritmes, potser ja no veurem el món com el camp de joc d’uns individus autònoms que s’esforcen per fer les tries correctes. En canvi, potser percebrem l’univers sencer com un flux de dades, veurem els organismes com a poca cosa més que algoritmes bioquímics, i pensarem que la vocació còsmica de la humanitat és crear un sistema de processament de dades que ho abasti tot… i llavors, fusionar-nos-hi. Avui ja ens estem convertint en xips minúsculs a l’interior d’un sistema de processament de dades gegant que ningú entén de debò. Cada dia, jo absorbeixo una quantitat incomptable de bits de dades a través d’emails, piulades i articles; processo les dades, i transmeto nous bits a través de més emails, piulades i articles. No sé exactament quin lloc ocupo en el gran designi de les coses, ni de quina manera els meus bits de dades connecten amb els bits produïts per milers de milions d’altres éssers humans i ordinadors. No tinc temps d’esbrinar-ho, perquè estic massa enfeinat responent tots aquests emails.

El cotxe filosòfic

Algú podria objectar que els algoritmes no podran prendre mai decisions importants per nosaltres perquè les decisions importants generalment involucren una dimensió ètica, i els algoritmes no entenen l’ètica. Però no hi ha cap raó per la qual no puguem suposar que els algoritmes no seran capaços de superar l’ésser humà mitjà fins i tot en qüestions d’ètica. Avui en dia mateix, quan aparells com telèfons intel·ligents i vehicles autònoms prenen decisions que abans eren monopoli dels éssers humans, comencen a enfrontar-se amb la mateixa mena de problemes ètics que han perseguit els éssers humans durant mil·lennis.

Per exemple, suposem que dos nens corren al darrere d’una pilota i salten just davant d’un cotxe autopilotat. Basant-se en els seus càlculs llampec, l’algoritme que condueix el cotxe conclou que l’única manera d’evitar l’atropellament dels dos nens és girar cap al carril contrari, i arriscar-se a tenir una col·lisió amb un camió que circula en direcció contrària. L’algoritme calcula que en aquest cas hi ha una possibilitat del 70 % que el propietari del cotxe —que dorm plàcidament al seient del darrere— resulti mort. Què hauria de fer l’algoritme?^[16]

Els filòsofs fa mil·lennis que discuteixen sobre aquesta mena de «dilemes de la vagoneta» (se’n diuen «dilemes de la vagoneta» perquè els exemples de manual proposats en els debats filosòfics moderns fan referència a una vagoneta descontrolada que es precipita a tota velocitat per unes vies de tren, en comptes de fer referència a un cotxe autopilotat).^[17] Fins ara, aquestes discussions havien tingut un impacte vergonyosament petit en el comportament real, perquè en moments de crisi els éssers humans molt sovint obliden la seva visió filosòfica de les coses i fan cas de les seves emocions i els seus instints viscerals.

Un dels experiments més desagradables de la història de les ciències socials es va dur a terme el desembre de 1970 en un grup d’estudiants del Seminari Teològic de Princeton, que es formaven per esdevenir pastors de l’Església presbiteriana. Es va demanar a cada estudiant que s’afanyés a anar a una aula distant per fer-hi una xerrada sobre la paràbola del bon samarità, que explica que un jueu que anava de Jerusalem a Jericó va ser robat i apallissat per uns criminals, que el van deixar al marge del camí perquè morís, i que una estona després van passar per allà un sacerdot i un levita, però tots dos van ignorar l’home; per contra, un samarità —un membre d’una secta molt menyspreada pels jueus— es va aturar quan va veure la víctima, en va tenir cura i li va salvar la vida. La moral de la paràbola és que el mèrit de la gent s’hauria de jutjar pel seu comportament i no per la seva filiació religiosa.

Els joves i delerosos seminaristes van córrer cap a l’aula, mentre rumiaven pel camí la millor manera d’explicar la moral de la paràbola del bon samarità. Però els organitzadors de l’experiment van posar en el seu camí una persona mal vestida, mig ajaguda i estintolada en un portal, amb els ulls tancats. En el moment que li passava per davant cadascun dels seminaristes, la «víctima» tossia i gemegava d’una manera penosa. La majoria de seminaristes ni tan sols es van aturar a preguntar què li passava a l’home, i encara menys li van oferir ajuda. L’estrès emocional creat per la necessitat d’afanyar-se a arribar a l’aula va cancel·lar la seva obligació moral d’ajudar els desconeguts en dificultats.^[18]

Les emocions humanes s’imposen a les teories filosòfiques en moltíssimes altres situacions. Això fa que la història ètica i filosòfica del món sigui un relat depriment ple d’ideals meravellosos i comportaments menys que ideals. Quants cristians presenten l’altra galta, quants budistes aconsegueixen superar les obsessions egoistes i quants jueus estimen de debò els seus veïns com a ells mateixos? Aquesta és la manera en la qual la selecció natural ha modelat l’Homo sapiens. Com tots els mamífers, l’Homo sapiens utilitza les emocions per prendre ràpidament decisions de vida o mort. Hem heretat la nostra ràbia, la nostra por i la nostra luxúria de milions d’avantpassats, tots els quals van passar les proves de control de qualitat més rigoroses de totes: les de la selecció natural.

Per desgràcia, el que era bo per a la supervivència i la reproducció a la sabana africana fa un milió d’anys no necessàriament representa un comportament responsable a les carreteres del segle XXI. Els conductors humans distrets, furiosos i neguitosos maten més d’un milió de persones en accidents de trànsit cada any. Podem enviar tots els nostres filòsofs, profetes i sacerdots a predicar ètica a aquests conductors, però a la carretera les emocions dels mamífers i els instints de la sabana prendran sempre el control. En conseqüència, els seminaristes amb presses ignoraran la gent necessitada i els conductors en plena crisi atropellaran vianants desventurats.

Aquesta disjunció entre el seminari i la carretera és un dels problemes pràctics més grans de l’ètica. Immanuel Kant, John Stuart Mills i John Rawls poden seure en alguna universitat còmoda i agradable i discutir problemes teòrics d’ètica dies i dies… però les seves conclusions serien implementades per conductors estressats en una emergència, en dècimes de segon? Potser Michael Schumacher —el campió de Fórmula 1 que a vegades és considerat el millor pilot de cotxes de la història— té l’habilitat de pensar en filosofia mentre disputa una carrera, però la majoria de nosaltres no som Schumacher.

Els algoritmes informàtics, però, no han obtingut la seva forma a través de la selecció natural, i no tenen ni emocions ni instints viscerals. Per tant, en moments de crisi podrien seguir les directrius ètiques molt millor que no pas els éssers humans, sempre que puguem trobar la manera de codificar l’ètica en xifres i estadístiques precises. Si ensenyem a Kant, Mill i Rawls a escriure en codi, podrien programar amb molta cura el cotxe autopilotat en el seu còmode i agradable laboratori, i estar segurs que el cotxe seguirà les seves ordres a la carretera. De fet, tots els cotxes estaran conduïts per Michael Schumacher i Immanuel Kant al mateix temps.

Per tant, si programeu un cotxe autopilotat per aturar-se i ajudar els desconeguts en dificultats, ho farà plogui, nevi o caigui foc del cel (tret, és clar, que inseriu una clàusula d’excepció en cas de pluja, neu o foc celestial). De manera similar, si el vostre cotxe autopilotat està programat per girar cap al carril contrari per tal de salvar els dos nens que li han saltat al davant, ja us podeu jugar la vida que això és exactament el que farà. I això vol dir que quan dissenyin els seus cotxes autopilotats, Toyota o Tesla transformaran un problema teòric de la filosofia de l’ètica en un problema pràctic d’enginyeria.

És cert, els algoritmes filosòfics no seran mai perfectes. Encara es cometran errors, que tindran com a resultat ferides, morts i judicis extremament complicats. (Per primera vegada en la història podríem demandar un filòsof pels resultats desafortunats de les seves teories, perquè per primera vegada en la història es podrà demostrar una relació causal directa entre les idees filosòfiques i els esdeveniments de la vida real.) De tota manera, per tal de substituir els conductors humans, els algoritmes no caldrà que siguin perfectes. Només hauran de ser millors que els éssers humans. Com que els conductors humans maten cada any un milió de persones, no és pas una cosa tan difícil. Tot comptat i debatut, qui us estimaríeu més tenir al volant del cotxe del costat, un adolescent borratxo o l’equip Schumacher-Kant?^[19]

La mateixa lògica es pot aplicar no tan sols a la conducció, sinó a moltes altres situacions. Per exemple, les sol·licituds de feina. Al segle XXI, la decisió de contractar algú per a una feina la faran cada cop més els algoritmes. No ens podem refiar que la màquina imposi els estàndards ètics rellevants; això encara ho hauran de fer els éssers humans. Però un cop hàgim decidit un estàndard ètic per al mercat de treball —que no està bé discriminar la gent negra o les dones, per exemple— ens podrem refiar que les màquines implementin i mantinguin aquests estàndards millor que els éssers humans.^[20]

Un gestor humà pot saber o fins i tot estar d’acord que no és ètic discriminar la gent negra i les dones, però, és clar, quan una dona negra es presenta per a una feina, el gestor la discrimina inconscientment i decideix no contractar-la. Si permetem que un ordinador avaluï les sol·licituds de feina i el programem per ignorar completament la raça i el gènere, podem estar ben segurs que l’ordinador ignorarà aquests factors perquè els ordinadors no tenen subconscient. És clar que no serà gens fàcil, escriure el codi de programació per avaluar les sol·licituds de feina, i que sempre correm el perill que els enginyers hi programin, d’alguna manera, els seus propis prejudicis subconscients.^[21] Però un cop descobrim aquests errors, probablement serà més fàcil posar-hi solució que no pas solucionar les tendències racistes i misògines dels éssers humans.

Hem vist que l’auge de la intel·ligència artificial podria fer fora la majoria d’éssers humans del mercat de treball… inclosos els conductors i la policia de trànsit (quan els éssers humans conflictius siguin reemplaçats per algoritmes obedients, la policia de trànsit serà redundant). En canvi, potser hi haurà noves oportunitats de treball per als filòsofs, perquè les seves habilitats —fins ara sense gaire valor de mercat— tot d’una tindran una gran demanda. Per tant, si voleu estudiar alguna cosa que us garanteixi una bona feina en el futur, potser la filosofia no és una aposta tan forassenyada.

És clar que els filòsofs poques vegades es posen d’acord en el curs d’acció correcte. Pocs «dilemes de la vagoneta» s’han satisfet a la satisfacció de tots els filòsofs, i els pensadors conseqüencialistes com ara John Stuart Mill (que jutgen les accions per les conseqüències) mantenen unes opinions força diferents de les de deontòlegs com ara Immanuel Kant (que jutgen les accions per normes absolutes). Potser Tesla haurà de prendre posició en una qüestió tan espinosa com aquesta per tal de fabricar un cotxe?

Doncs potser Tesla ho haurà de deixar en mans del mercat. Tesla produirà dos models del cotxe autopilotat: el Tesla Altruista i el Tesla Egoista. En una emergència, l’Altruista sacrificarà el seu propietari en pro del bé comú, mentre que l’Egoista farà tot el que estigui en el seu poder per salvar el seu propietari, encara que hagi de matar els dos nens. Llavors els clients podran comprar el cotxe que encaixi millor amb la seva tendència filosòfica preferida. Si hi ha més gent que compri el Tesla Egoista, la culpa no podrà ser de Tesla. Al capdavall, el client sempre té raó.

Això no és cap acudit. En un estudi pioner de l’any 2015 es va presentar a diverses persones la perspectiva hipotètica d’un cotxe autopilotat a punt d’atropellar diversos vianants. La majoria van dir que, donat aquest cas, el cotxe hauria de salvar els vianants encara que el resultat fos la mort del seu propietari. Quan se’ls va preguntar si ells personalment comprarien un cotxe programat per sacrificar el seu propietari en nom del bé comú, la majoria van dir que no. Ells preferirien el Tesla Egoista.^[22]

Imagineu-vos la situació: us heu comprat un cotxe nou, però abans de poder començar a fer-lo servir heu d’obrir el menú de configuració i marcar diverses caselles. En cas d’accident, voleu que el cotxe sacrifiqui la vostra vida o que mati la família de l’altre vehicle? És una decisió que voleu haver de prendre? Penseu en les discussions que tindreu amb el vostre marit sobre quina casella s’ha de marcar.

Per tant, potser l’Estat hauria d’intervenir per regular el mercat i establir un codi ètic que fos vinculant per a tots els cotxes autopilotats? Alguns legisladors sens dubte se sentiran molt emocionats per tenir l’oportunitat, a la fi, de fer lleis que sempre es compleixin al peu de la lletra. Altres legisladors podrien sentir-se alarmats per una responsabilitat tan totalitària i sense precedents. Al cap i a la fi, al llarg de la història les limitacions de les forces de seguretat oferien una compensació benvinguda respecte dels prejudicis, errors i excessos dels legisladors. Va ser molt afortunat que les lleis contra l’homosexualitat i contra la blasfèmia només s’imposessin en part. De debò volem un sistema en el qual les decisions de polítics fal·libles siguin tan inexorables com la llei de la gravetat?

Dictadures digitals

La IA sovint espanta la gent perquè no confien que la IA es mantingui obedient. Hem vist massa pel·lícules de ciència-ficció sobre robots que es rebel·len contra els seus amos humans, corrent desfermats pels carrers i matant a tothom. Però l’autèntic problema amb els robots és exactament el contrari. Els hauríem de tenir por perquè probablement sempre obeiran els seus amos i no es rebel·laran mai.

L’obediència cega no té res de dolent, és clar, mentre els robots serveixin uns amos benignes. Fins i tot en la guerra, la utilització de robots assassins podria assegurar que per primera vegada en la història s’obeeixin les lleis de la guerra en el camp de batalla. Els soldats humans a vegades són empesos per les seves emocions a matar, saquejar i violar tot transgredint les lleis de la guerra. Generalment associem les emocions amb la compassió, l’amor i l’empatia, però en temps de guerra les emocions que prenen el control són sovint la por, l’odi i la crueltat. Com que els robots no tenen emocions, ens podem refiar que sempre seguiran al peu de la lletra la sequedat del codi militar i que no se’n desviaran mai empesos per pors i odis personals.^[23]

El 16 de març de 1968 una companyia de soldats americans va embogir al poble sud-vietnamita de My Lai i va massacrar uns quatre-cents civils. Aquest crim de guerra va ser resultat de la iniciativa local d’uns homes que havien estat immersos en una guerra de guerrilles a la jungla des de feia mesos. No responia a cap propòsit estratègic i contravenia tant el codi legal com la política militar dels Estats Units. Va ser culpa de les emocions humanes.^[24] Si els Estats Units haguessin desplegat robots assassins al Vietnam, la matança de My Lai mai no hauria passat.

De tota manera, abans que comencem a córrer per desenvolupar i desplegar robots assassins, ens hem de recordar a nosaltres mateixos que els robots sempre han reflectit i amplificat les qualitats del seu codi de programació. Si el codi és restrictiu i benigne, els robots probablement seran una gran millora respecte del soldat humà mitjà. Però si el codi és cruel i implacable, els resultats seran catastròfics. L’autèntic problema dels robots no és la seva pròpia intel·ligència artificial, sinó l’estupidesa i la crueltat naturals dels seus amos humans.

El juliol de 1995 tropes serbobosnianes van massacrar més de 8.000 musulmans bosnians al voltant de la ciutat de Srebrenica. A diferència de la matança improvisada de My Lai, els assassinats de Srebrenica van ser una operació prolongada i ben organitzada que reflectia la política serbobosniana de fer una «neteja ètnica» de musulmans a Bòsnia.^[25] Si els serbobosnians haguessin tingut robots assassins el 1995, segurament l’atrocitat hauria estat molt pitjor en comptes de millor. Ni un sol robot hauria dubtat ni un moment a dur a terme qualsevol ordre que rebés i no hauria perdonat la vida ni a un sol nen musulmà per cap sentiment de compassió, disgust o pura apatia.

Un dictador implacable armat amb aquests robots assassins no hauria de témer mai que els seus soldats se li giressin en contra, per molt despietades i forassenyades que fossin les seves ordres. Un exèrcit de robots segurament hauria escanyat la Revolució Francesa al seu bressol el 1789, i si el 2011 Hosni Mubàrak hagués tingut un contingent de robots assassins els hauria pogut enviar contra la població egípcia sense por de patir cap deserció. De la mateixa manera, un govern imperialista que tingués un exèrcit de robots podria disputar qualsevol guerra impopular sense tenir por que els seus robots perdessin la motivació, o que les seves famílies organitzessin protestes. Si els Estats Units haguessin tingut robots assassins a la guerra del Vietnam, la matança de My Lai potser s’hauria evitat, però la guerra hauria durat molts més anys perquè el govern nord-americà no hauria hagut de patir pels soldats desmoralitzats, les grans manifestacions en contra de la guerra o moviments de «robots veterans contra la guerra» (alguns ciutadans nord-americans encara s’haurien pogut oposar a la guerra, però sense la por de ser reclutats ells mateixos, el record d’haver comès atrocitats personalment o la pèrdua dolorosa d’un parent estimat, les protestes probablement haurien estat menys nombroses i menys compromeses).^[26]

Aquesta mena de problemes són molt menys rellevants per als vehicles civils autònoms, perquè cap fabricant de cotxes programarà maliciosament els seus vehicles per matar gent. Però els sistemes armamentístics autònoms són una catàstrofe imminent, perquè hi ha massa governs que tenen tendència a ser èticament corruptes, quan no són directament malvats.

El perill no es restringeix a matar màquines. Els sistemes de vigilància poden ser igual d’arriscats. En mans d’un govern benigne, uns poderosos algoritmes de vigilància podrien ser el millor que li ha passat mai a la humanitat. Però els mateixos algoritmes Big Data també podrien donar poder a un futur Gran Germà, de manera que acabaríem amb un règim de vigilància orwel·lià on tots els individus són vigilats sempre.^[27]

De fet, podríem acabar amb una cosa que ni tan sols Orwell va poder arribar a imaginar: un règim de vigilància total que segueixi no tan sols les nostres activitats i declaracions externes, sinó que fins i tot pot ficar-se sota la nostra pell per observar les nostres experiències interiors. Plantegeu-vos, per exemple, què podria fer el règim de Kim a Corea del Nord amb la nova tecnologia. En el futur, cada ciutadà de Corea del Nord podria estar obligat a portar un braçalet biomètric que controli tot el que faci i digui, a més de la pressió arterial i l’activitat cerebral. Gràcies a la nostra comprensió cada cop més gran del funcionament del cervell humà, i utilitzant els poders immensos de l’aprenentatge automàtic, el règim nord-coreà podria, per primera vegada en la història, calibrar què pensa en cada moment cadascun dels seus ciutadans. Si et mires una fotografia de Kim Jong-un i els sensors biomètrics capten els senyals inequívocs de la ràbia (alta pressió sanguínia, increment d’activitat a l’amígdala), l’endemà al matí ja seràs al gulag.

Cert, a causa del seu aïllament el règim nord-coreà podria tenir dificultats per desenvolupar sol la tecnologia necessària. De tota manera, la tecnologia es podria desenvolupar a nacions més ben orientades tecnològicament i ser copiada o comprada pels nord-coreans i altres dictadures endarrerides. Tant la Xina com Rússia milloren constantment les seves eines de vigilància, igual com fan diversos països democràtics, des dels Estats Units fins a la meva pàtria, Israel. Amb el sobrenom de «la nació emprenedora», Israel té un sector d’alta tecnologia vibrant i una indústria de ciberseguretat de primer nivell. Al mateix temps, també està enfrontat en un conflicte letal amb els palestins, i com a mínim alguns dels seus líders, generals i ciutadans estarien la mar de contents de crear un règim de vigilància total a Cisjordània tan bon punt tinguin la tecnologia necessària.

Avui en dia, sempre que els palestins fan una trucada de telèfon, pengen alguna cosa al Facebook o viatgen d’una ciutat a una altra, el més segur és que els monitoritzin els micròfons, les càmeres, els drons o el programari espia israelià. Les dades recollides són analitzades amb l’ajuda d’algoritmes Big Data. Això ajuda les forces de seguretat israelianes a detectar i neutralitzar amenaces potencials sense haver de desplegar massa parells de botes al territori. Els palestins poden administrar algunes ciutats i pobles de Cisjordània, però els israelians controlen el cel, les ones i el ciberespai. Per tant, fa falta una quantitat sorprenentment petita de soldats israelians per controlar amb efectivitat 2,5 milions de palestins a Cisjordània.^[28]

En un incident tragicòmic, l’octubre de 2017 un treballador palestí va penjar en el seu compte privat de Facebook una fotografia d’ell mateix al seu lloc de treball, al costat d’una excavadora. Al costat de la imatge va escriure «Bon dia!». Un algoritme automàtic va cometre un petit error quan va transliterar les lletres àrabs. En comptes de Ysabechhum! (que vol dir ‘Bon dia!’), l’algoritme va identificar les lletres com a Ydbachhum! (que vol dir ‘Feu-los mal!’). Amb la sospita que l’home podia ser un terrorista amb la intenció d’utilitzar una excavadora per atropellar gent, les forces de seguretat israelianes van arrestar-lo immediatament. El van alliberar quan van adonar-se que l’algoritme havia comès un error. Però l’apunt al Facebook es va esborrar igualment. Mai no es pot ser massa previngut.^[29] El que experimenten avui en dia els palestins a Cisjordània podria ser tan sols una prèvia primitiva del que acabaran experimentant milers de milions de persones a tot el planeta.

Al final del segle XX les democràcies normalment superaven les dictadures perquè les democràcies processaven millor les dades. La democràcia difon el poder de processar informació i prendre decisions entre molta gent i institucions, mentre que la dictadura concentra la informació i el poder en un lloc. Tenint en compte la tecnologia del segle XX, era ineficient concentrar massa informació i poder en un sol lloc. Ningú tenia l’habilitat de processar tota la informació prou de pressa i prendre les decisions correctes. Aquesta és part de la raó per la qual la Unió Soviètica va prendre decisions molt pitjors que no pas els Estats Units i per què l’economia soviètica anava molt més endarrere que la nord-americana.

Però aviat la IA podria fer tombar el pèndol cap a la direcció oposada. La IA fa possible processar una enorme quantitat d’informació de manera centralitzada. De fet, la IA podria fer que els sistemes centralitzats fossin molt més eficients que els sistemes difusos, perquè l’aprenentatge automàtic funciona millor com més gran és la quantitat d’informació que pot analitzar. Si es concentra tota la informació relativa a un miler de milions de persones en una base de dades, sense tenir en compte cap dret a la privacitat, es poden ensinistrar algoritmes molt millors que no pas si es respecta el dret a la intimitat individual i només es té a la base de dades informació parcial d’un milió de persones. Per exemple, si un govern autoritari ordena a tots els seus ciutadans que s’escanegin l’ADN i que comparteixin totes les seves dades mèdiques amb alguna autoritat central, tindria un immens avantatge en investigació genètica i mèdica davant les societats en les quals les dades mèdiques encara siguin estrictament privades. El principal defecte dels règims autoritaris del segle XX —l’intent de concentrar tota la informació en un sol lloc— podria convertir-se en el seu avantatge decisiu al segle XXI.

A mesura que els algoritmes ens arribin a conèixer tan bé, els governs autoritaris podrien obtenir el control absolut sobre els seus ciutadans, encara més que a l’Alemanya nazi, i la resistència contra aquests règims seria absolutament impossible. No tan sols el règim sabria exactament com us sentiu: us podria fer sentir el que volgués. El dictador potser no podria proporcionar als seus ciutadans assistència sanitària o igualtat, però els podria fer estimar-lo a ell i odiar els seus oponents. La democràcia en la seva forma actual no pot sobreviure la fusió de la biotecnologia i la infotecnologia. O la democràcia es reinventa amb èxit a ella mateixa en una forma radicalment nova, o els éssers humans acabaran vivint en «dictadures digitals».

Això no vol dir un retorn als dies de Hitler i Stalin. Les dictadures digitals seran tan diferents de l’Alemanya nazi com ho era l’Alemanya nazi de la França de l’Antic Règim. Lluís XIV era un autòcrata centralitzador, però no tenia la tecnologia per construir un estat totalitari modern. No patia cap oposició al seu govern, però en absència de ràdios, telèfons i trens tenia molt poc control sobre les vides quotidianes dels pagesos a remots pobles bretons, o fins i tot de la gent que vivia al cor de la ciutat de París. No tenia ni la voluntat ni l’habilitat de crear un gran partit, un moviment de la joventut que arribés a tot el país, o un sistema educatiu nacional.^[30] Van ser les noves tecnologies del segle XX les que van donar a Hitler tant la motivació com el poder per poder fer aquestes coses. No podem predir quines seran les motivacions i els poders de les dictadures digitals el 2084, però és molt poc probable que copiïn Hitler i Stalin. Als que es comencin a preparar per tornar a lluitar les batalles dels anys trenta potser els agafarà desprevinguts un atac des d’una direcció totalment diferent.

Fins i tot si la democràcia se les manega per adaptar-se i sobreviure, la gent podria ser víctima de noves menes d’opressió i discriminació. Avui en dia, cada cop més i més bancs, grans empreses i institucions utilitzen algoritmes per analitzar les dades i prendre decisions sobre nosaltres. Quan demaneu un préstec al vostre banc, és probable que la vostra sol·licitud la processi un algoritme en comptes d’un ésser humà. L’algoritme analitza un munt de dades sobre vosaltres i estadístiques sobre milions d’altres persones, i decideix si sou prou fiables per concedir-vos el préstec. Sovint, l’algoritme fa la feina millor que un gestor bancari humà. Però el problema és que si l’algoritme discrimina injustament contra determinada gent és difícil de saber. Si el banc no us vol concedir el préstec, i vosaltres pregunteu: «Per què?», el banc respon: «L’algoritme ha dit que no». Vosaltres pregunteu: «Per què ha dit que no, l’algoritme? Què em passa de dolent?», i el banc respon: «No ho sabem. Cap ésser humà entén aquest algoritme, perquè està basat en aprenentatge automàtic avançat. Però confiem en el nostre algoritme, i per això no li concedirem cap préstec».^[31]

Quan la discriminació es dirigeix contra grups sencers, com ara les dones o els negres, aquests grups es poden organitzar i protestar contra la seva discriminació col·lectiva. Però ara un algoritme podria discriminar en contra teva personalment, i tu no tindries ni idea de per què. Potser l’algoritme ha trobat alguna cosa que no li agrada en el teu ADN, la teva història personal o el teu compte de Facebook. L’algoritme no discrimina en contra teva perquè siguis una dona, o un afroamericà… sinó perquè ets tu. Hi ha alguna cosa específica de tu mateix que no agrada a l’algoritme. Tu no saps què és, i encara que ho sabessis no pots organitzar-te amb altra gent per protestar, perquè no hi ha ningú més que pateixi exactament el mateix prejudici. Només ets tu. En comptes de discriminació col·lectiva, al segle XXI ens podríem enfrontar amb un problema creixent de discriminació individual.^[32]

En els nivells més alts d’autoritat probablement continuarem tenint testaferros que ens donaran la il·lusió que els algoritmes només són consellers i que l’autoritat última encara està en mans humanes. No nomenarem una IA cancellera d’Alemanya o consellera delegada de Google. De tota manera, a les decisions preses pel canceller i el conseller delegat els donarà forma una IA. El canceller podrà triar entre diverses opcions, però totes aquestes opcions seran el resultat d’una anàlisi de Big Data i reflectiran de quina manera la IA veu el món, més que no pas de quina manera veiem el món els éssers humans.

Per agafar un exemple anàleg, avui en dia els polítics de tot el món poden triar entre diverses polítiques econòmiques diferents, però en la majoria de casos les diverses polítiques en oferta reflecteixen una visió capitalista de l’economia. Els polítics tenen la il·lusió de poder triar, però les decisions importants de veritat ja han estat preses molt de temps abans pels economistes, banquers i homes de negocis que han donat forma a les diverses opcions del menú. En un parell de dècades, els polítics potser trobaran que han de triar les opcions d’un menú redactat per una IA.

Intel·ligència artificial i estupidesa natural

Una bona notícia és que com a mínim durant les pròximes dècades no ens haurem d’enfrontar amb el malson de ciència-ficció que les IA adquireixin consciència i decideixin esclavitzar o anihilar la humanitat. Ens refiarem cada cop més dels algoritmes perquè prenguin decisions en comptes de fer-ho nosaltres, però és molt poc probable que els algoritmes comencin a manipular-nos conscientment. No tindran cap consciència.

La ciència-ficció té la tendència a confondre intel·ligència amb consciència, i de suposar que per tal d’igualar o ultrapassar la intel·ligència humana els ordinadors hauran de desenvolupar la consciència. L’argument bàsic de gairebé totes les pel·lícules i novel·les sobre IA gira al voltant del moment màgic en el qual un ordinador o un robot adquireix consciència. Un cop passa això, l’heroi humà s’enamora del robot, o el robot prova de matar tots els humans, o totes dues coses passen simultàniament.

Però en realitat no hi ha cap raó per suposar que la intel·ligència artificial adquirirà consciència, perquè la intel·ligència i la consciència són dues coses molt diferents. La intel·ligència és l’habilitat de resoldre problemes. La consciència és l’habilitat de sentir coses com ara alegria, amor i ràbia. Tenim tendència a confondre les dues coses perquè en els éssers humans i altres mamífers la intel·ligència va agafada de la mà amb la consciència. Els mamífers resolen la majoria de problemes amb els sentiments. Els ordinadors, per altra banda, resolen els problemes d’una manera molt diferent.

Senzillament, hi ha diversos camins diferents que condueixen a la intel·ligència superior, i tan sols alguns d’aquests camins exigeixen adquirir consciència. De la mateixa manera que els avions volen més de pressa que els ocells sense haver desenvolupat plomes, els ordinadors també podrien resoldre problemes molt millor que els mamífers sense haver desenvolupat mai sentiments. És veritat, una IA haurà d’analitzar acuradament els sentiments humans per tal de tractar les malalties humanes, identificar terroristes humans, recomanar parelles sentimentals i navegar per un carrer ple de vianants. Però ho pot fer sense tenir cap sentiment propi. Un algoritme no necessita sentir alegria, ràbia o por per tal de reconèixer les diferents pautes bioquímiques d’uns simis alegres, enrabiats o atemorits.

Evidentment, no és absolutament impossible que la IA desenvolupi sentiments propis. Encara no sabem prou coses sobre la consciència per estar-ne segurs. En general, hem de tenir en compte tres possibilitats:

1. La consciència està d’alguna manera lligada a la bioquímica orgànica de tal forma que mai no serà possible crear consciència en sistemes no orgànics.
2. La consciència no està lligada a la bioquímica orgànica, però està lligada a la intel·ligència de tal manera que els ordinadors podrien desenvolupar consciència, i els ordinadors hauran de desenvolupar la consciència si volen ultrapassar un llindar determinat d’intel·ligència.
3. No hi ha cap lligam essencial entre la consciència i la bioquímica orgànica o la intel·ligència superior. Per tant, els ordinadors podrien desenvolupar consciència… però no necessàriament. Podrien esdevenir superintel·ligents tot i tenir consciència zero.

En el nostre estat actual de coneixement no podem descartar cap d’aquestes opcions. Però precisament perquè sabem tan poc sobre la consciència, sembla poc probable que puguem programar ordinadors amb consciència d’aquí a poc temps. Per tant, malgrat el poder immens de la intel·ligència artificial, el seu ús en el futur previsible continuarà depenent fins a cert punt de la consciència humana.

El perill és que si invertim massa a desenvolupar la IA i massa poc a desenvolupar la consciència humana, la intel·ligència artificial molt sofisticada dels ordinadors potser només servirà per donar poder a l’estupidesa natural dels éssers humans. És molt poc probable que ens enfrontem a una rebel·lió robot en les properes dècades, però potser ens haurem d’enfrontar amb hordes de robots que saben com pressionar els nostres botons emocionals millor que la nostra mare i que utilitzaran aquesta habilitat per provar de vendre’ns alguna cosa, sigui un cotxe, un polític o una ideologia sencera. Els robots podrien identificar les nostres pors, odis i desitjos més profunds, i utilitzar aquestes palanques internes en contra nostra. Ja n’hem tingut un tast, d’això, en eleccions i referèndums a tot el món, en els quals els hackers han après a manipular votants individuals analitzant dades sobre ells i explotant els seus prejudicis existents.^[33] Mentre que els thrillers de ciència-ficció tenen tendència a les apocalipsis dramàtiques de foc i fum, en la realitat potser ens enfrontarem a una apocalipsi banal de clics al ratolí.

Per evitar aquests resultats, per cada dòlar i cada minut que invertim a millorar la intel·ligència artificial seria assenyat invertir un dòlar i un minut en el desenvolupament de la consciència humana. Per desgràcia, ara mateix no fem gran cosa per investigar i desenvolupar la consciència humana. Investiguem i desenvolupem les habilitats humanes principalment segons les necessitats immediates del sistema econòmic i polític, més que no pas segons les nostres pròpies necessitats a llarg termini com a éssers amb consciència. El meu cap vol que contesti els emails tan ràpidament com pugui, però té molt poc interès en la meva habilitat per assaborir i gaudir el menjar que consumeixo. En conseqüència, comprovo els meus emails fins i tot a l’hora de dinar, mentre perdo l’habilitat de fer atenció a les meves sensacions. El sistema econòmic em pressiona per expandir i diversificar la meva cartera d’inversions, però em dona zero incentius per expandir i diversificar la meva compassió. Per tant, m’esforço per entendre els misteris de la borsa, mentre que no faig gairebé cap esforç per entendre les causes profundes del patiment.

En això, els éssers humans som similars a altres animals domesticats. Hem criat vaques dòcils que produeixen una quantitat enorme de llet, però que en altres aspectes són molt inferiors als seus avantpassats salvatges. Són menys àgils, menys curioses i tenen menys recursos.^[34] Ara estem creant humans dòcils que produeixen unes quantitats enormes de dades i que funcionen com si fossin xips d’allò més eficients en un enorme mecanisme de processament de dades, però aquestes vaques de dades de cap manera no maximitzen el potencial humà. De fet, no tenim ni idea de quin és el potencial humà total, perquè sabem poquíssima cosa del pensament humà. I en canvi, amb prou feines invertim res en l’exploració del pensament humà, mentre que sí que ens concentrem a augmentar la velocitat de les nostres connexions a Internet i l’eficiència dels nostres algoritmes Big Data. Si no anem amb compte, acabarem amb éssers humans degradats que fan mal ús d’ordinadors millorats per escampar el caos damunt d’ells mateixos i del món.

Les dictadures digitals no són l’únic perill que ens espera. Juntament amb la llibertat, l’ordre liberal ha donat molt valor a la igualtat. El liberalisme sempre ha valorat la igualtat política, i gradualment s’ha anat adonant que la igualtat econòmica és gairebé igual d’important. Perquè sense una xarxa social de seguretat i un mínim d’igualtat econòmica, la llibertat no té sentit. Però de la mateixa manera que els algoritmes de Big Data podrien extingir la llibertat, també podrien crear simultàniament les societats més desiguals que hagin existit mai. Tota la riquesa i el poder es podrien concentrar en les mans d’una elit minúscula, mentre que la majoria de la gent patiria una cosa molt pitjor que l’explotació: la irrellevància.