Por que el futuro no nos necesita

Desde el momento en que me involucré en la creación de nuevas tecnologías, sus dimensiones éticas me han interesado, pero fue recién en el otoño de 1998 que tomé consciencia, con ansiedad, de lo grandes que son los peligros que nos esperan en el siglo XXI. Puedo situar en el tiempo el inicio de mi incomodidad, en el día en que conocí a Ray Kurzweil, el famoso inventor de la primera máquina de lectura para ciegos y de muchas otras cosas asombrosas.

Ray y yo éramos ambos oradores en la conferencia de George Gilder en Telecosm, y me encontré con él por casualidad en el bar del hotel luego de que nuestras sesiones hubieran terminado. Yo estaba sentado con John Searle, un filósofo de Berkeley que estudia la conciencia. Mientras hablábamos, Ray se acercó y empezó una conversación, cuyo tema me persigue hasta el día de hoy.

Yo me había perdido la charla de Ray y el panel de discusión posterior en el que habían estado Ray y John, y ahora ellos retomaron desde donde lo habían dejado, con Ray diciendo que los ritmos del avance de la tecnología iban a acelerarse y que nosotros íbamos a convertirnos en robots o a fusionarnos con robots o algo parecido, y John respondía que esto no podía pasar, porque los robots no podían tener conciencia.

Aunque había escuchado esa conversación otras veces, siempre había sentido que los robots sensibles pertenecían al reino de la ciencia ficción. Pero ahora, de alguien por quien sentía respeto, estaba escuchando un argumento fuerte de que eran una posibilidad a corto plazo. Me tomó por sorpresa, especialmente dada la probada habilidad de Ray de imaginar y crear el futuro. Yo ya sabía que nuevas tecnologías como la ingeniería genética y la nanotecnología estaban dándonos el poder de rehacer el mundo, pero un escenario realista y cercano de robots con inteligencia me descolocó.

Es fácil saturarse de esos adelantos. Casi todos los días oímos en las noticias algún tipo de avance tecnológico o científico. Pero ésta no era una predicción común. En el bar del hotel, Ray me dio una prueba de impresión de su libro que estaba por salir, The age of spiritual machines [La era de las máquinas espirituales]^[102], en el que esbozaba una utopía que él veía en el futuro: los humanos estarían cerca de obtener la inmortalidad a través de volverse una misma cosa con la tecnología robótica. Al leerlo, mi sensación de desagrado sólo se hizo más intensa; me sentía seguro de que él tenía que estar entendiendo los peligros, entendiendo la probabilidad de un resultado negativo por ese camino.

Todavía me sentí peor por un pasaje en que se describía un escenario distópico:

El nuevo desafío luddita

Primero imaginemos que los científicos informáticos tienen éxito en crear máquinas inteligentes que pueden hacer todo mejor que los seres humanos. Entonces, se puede esperar que todo el trabajo lo realicen vastos sistemas de máquinas altamente organizadas y que ya no sea necesario ningún esfuerzo humano. Una de dos cosas pueden ocurrir. Se le podría permitir a las máquinas tomar todas las decisiones por sí mismas sin supervisión humana, o bien se mantendría el control humano sobre las máquinas.

Si se les permite a las máquinas tomar todas las decisiones, no podemos hacer ninguna conjetura acerca de los resultados, porque es imposible adivinar cómo se comportarían tales máquinas. Solamente señalamos que el destino de la raza humana quedaría a merced de las máquinas. Se dirá que la raza humana no sería nunca tan tonta como para dejarle todo el poder a las máquinas. Pero no sugerimos ni que la raza humana entregaría el poder voluntariamente ni que las máquinas tomarían el poder por propia iniciativa. Lo que sugerimos es que la raza humana fácilmente podría dejarse llevar hasta una posición de dependencia tal que las máquinas no tendrían otra opción práctica que asumir todas sus decisiones. Al volverse la sociedad y los problemas que enfrenta más y más complejos, y las máquinas volverse más y más inteligentes, la gente dejará que las máquinas tomen más decisiones por ella, simplemente porque las decisiones que tomen las máquinas producirán mejores resultados que las decisiones tomadas por humanos. Eventualmente se alcanzará un punto en el que las decisiones imprescindibles para mantener funcionando el sistema serán tan complejas que excederán las capacidades de los seres humanos de hacerlo correctamente. En ese punto las máquinas tendrán el control efectivo. La gente sencillamente no podrá apagar las máquinas, porque dependerán tanto de ellas que apagarlas equivaldría a suicidarse.

Por el otro lado, es posible que el control humano sobre las máquinas sea retenido. En ese caso el hombre promedio tendría control sobre ciertas máquinas privadas, de su propiedad, como ser su auto o su computadora personal, pero el control sobre grandes sistemas de máquinas quedará en manos de una pequeña elite tal como sucede hoy, pero con dos diferencias. Gracias a técnicas más desarrolladas la elite contará con un mayor control sobre las masas; y debido a que el trabajo humano ya no será necesario las masas serán superfluas, una carga inútil para el sistema. Si la elite sencillamente es impiadosa podría decidir exterminar las masas humanas. Si es más humana podría emplear propaganda u otras técnicas psicológicas o biológicas para reducir los índices de natalidad hasta que la masa humana se extinga, dejándole el mundo a la elite. O, si la elite consiste en liberales [liberals] de corazón blando, podrían decidir interpretar el papel de buenos pastores del resto de la raza humana. Cuidarán de que las necesidades físicas de todos estén satisfechas, de que los chicos sean criados bajo condiciones psicológicas higiénicas, que todos tengan un sano hobby para entretenerse, y que cualquiera que se sienta insatisfecho reciba un «tratamiento» que lo cure de su «problema». Desde ya, la vida carecerá de sentido a tal extremo que la gente tendrá que ser reprogramada biológica o psicológicamente ya sea para removerles su necesidad del proceso de poder o para «sublimarles» su ansia de poder hacia algún hobby inofensivo. Estos seres humanos reprogramados podrían ser felices en esa sociedad, pero ciertamente no serán libres. Habrán sido reducidos al estatus de animales domésticos^[103].

En el libro no se descubre, hasta que se da vuelta la página, que el autor del fragmento es Theodore Kaczynski el Unabomber. No soy para nada un apologista de Kaczynski. Sus bombas mataron a tres personas durante una campaña de 17 años de terror e hirieron a muchas otras. Una de sus bombas hirió gravemente a mi amigo David Gelernter, uno de los más brillantes y visionarios científicos informáticos de nuestro tiempo. Como muchos de mis colegas, yo sentí que tranquilamente podía ser el siguiente blanco del Unabomber.

Los actos de Kaczynski fueron asesinos y, creo, dementes. Claramente es un luddita, pero decir esto no anula sus argumentos; tan difícil como me resulta a mí aceptarlo, ví cierto mérito en el razonamiento de esta cita en especial. Me sentí llamado a confrontarlo.

La visión distópica de Kaczynski describe consecuencias que no habían sido previstas, un problema que es muy conocido en el diseño y uso de tecnología, problema claramente relacionado a la ley de Murphy Cualquier cosa que pueda salir mal, saldrá mal. (De hecho, esta es la ley de Finagle, lo que en sí mismo muestra que Finagle tenía razón). Nuestro excesivo uso de antibióticos ha llevado a lo que puede ser el mayor de estos problemas hasta ahora: la aparición de bacterias resistentes a los antibióticos y mucho más peligrosas. Cosas similares pasaron cuando los intentos de eliminar a los mosquitos de la malaria usando DDT llevaron a que éstos adquirieran resistencia al DDT; al mismo tiempo, los parásitos de la malaria adquirieron genes resistentes a múltiples drogas.^[104]

El motivo de muchas de esas sorpresas parece evidente: los sistemas en cuestión son complejos, e involucran interacciones y relaciones de ida y vuelta entre muchos componentes. Cualquier cambio en uno de éstos sistemas se propagará en formas que son muy difíciles de predecir; esto es especialmente cierto cuando hay involucradas acciones humanas.

Empecé mostrándoles a amigos la cita de Kaczynski en La era de las máquinas espirituales: les daba el libro de Kurzweil, dejaba que leyeran el fragmento, y después miraba cómo reaccionaban al enterarse de quién lo había escrito. Por esa época, encontré el libro de Moravec Robot: Mere Machine to Trascendental Mind.^[105] Moravec es uno de los líderes en la investigación en robótica, y fue fundador del programa de investigación de robótica más grande del mundo, en la Universidad de Carnegie Mellon. Robot me dio más material para probar con mis amigos material que sorprendentemente apoyaba el argumento de Kaczynski. Por ejemplo:

El corto plazo (principios de década)

Las especies biológicas casi nunca sobreviven a encuentros con competidores superiores. Diez millones de años atrás, América del Norte y del Sur estaban separadas por un istmo de Panamá hundido. Sud América, como hoy Australia, estaba habitada por mamíferos marsupiales, incluyendo algunos con bolsas abdominales equivalentes de las ratas, ciervos y tigres. Cuando el istmo que conectaba el Sur con el Norte emergió, les tomó sólo algunos miles de años a las especies placentadas del norte, con metabolismos y sistemas nerviosos y reproductivos un poco más efectivos, desplazar y eliminar a casi todos los marsupiales del sur.

En un mercado totalmente libre, los robots superiores seguramente afectarían a los humanos como los placentados norteamericanos afectaron a los marsupiales de Sudamérica (y como los humanos han afectado a innumerables especies). Las industrias robóticas competirían entre ellas con vigor por materia, energía, y espacio, llevando eventualmente los precios más allá del alcance humano. Imposibilitados de afrontar las necesidades vitales, los humanos biológicos serían obligados a desaparecer.

Con seguridad se puede respirar tranquilos todavía, porque no vivimos en un mercado libre absoluto. Los gobiernos regulan los comportamientos, especialmente recaudando impuestos. Aplicados con juicio, los frenos gubernamentales podrían sostener a una población humana que viva con calidad de los frutos del trabajorobot, quizás por un largo tiempo.

Una distopía de manual y Moravec recién está empezando. Prosigue discutiendo cómo nuestra principal ocupación en el siglo XXI será «garantizar cooperación continua de las industrias de robots» mediante leyes que declaren que éstos deben ser «amigables»,^{[ 106]} y describiendo qué tan peligroso puede ser un ser humano «luego de convertirse en un robot superinteligente sin límites establecidos.» La visión de Moravec es que los robots eventualmente nos van a superar que los humanos se enfrentan abiertamente a la extinción.

Decidí que era hora de hablar con mi amigo Danny Hillis. Danny se hizo famoso como cofundador de Thinking Machines Corporation [Corporación de Máquinas Pensantes], que construyó una muy poderosa supercomputadora paralela. Pese a mi trabajo como Director Científico en Sun Microsystems, soy más arquitecto de computadoras que científico, y respeto los conocimientos de Danny sobre ciencia física y de la información más que los de cualquier otra persona que conozca. Danny también es un futurista muy influyente que piensa a largo plazo cuatro años atrás creó la Long Now Foundation [Fundación del Largo Presente], que está construyendo un reloj diseñado para durar 10.000 años, en un intento por llamar la atención acerca de lo patéticamente cortos que son los horizontes de tiempo por los que se preocupa nuestra sociedad. ^[107]

Así es que viajé a Los Ángeles nada más que para cenar con Danny y su esposa, Pati. Pasé por mi rutina de contarles las ideas y fragmentos que me resultaban tan chocantes. La respuesta de Danny en relación al escenario de Kurzweil de humanos fundiéndose con robots vino de inmediato, y me sorprendió. Dijo, sencillamente, que los cambios sucederían gradualmente, y que nos acostumbraríamos a ellos.

Pero supongo que no estaba sorprendido del todo. Había visto una cita de Danny en el libro de Kurzweil en la que decía: Quiero tanto a mi cuerpo como cualquiera, pero si puedo llegar a los 200 años con un cuerpo de silicona, lo voy a aceptar. Daba la sensación de estar tranquilo con la manera en que se daban las cosas y sus eventuales riesgos, mientras que yo no.

Mientras hablaba y pensaba sobre Kurzweil, Kaczynski y Moravec, de pronto me acordé de una novela que había leído unos 20 años antes La peste blanca, de Frank Herbert en la que un biólogo molecular se vuelve loco por el asesinato sin sentido de su familia. Para vengarse crea y dispersa una plaga nueva y contagiosa que mata ampliamente pero de manera selectiva. (Tenemos suerte de que Kaczynski era matemático, no biólogo molecular). También me vino a la mente el Borg de Star Trek, un enjambre de criaturas en parte biológicas y en parte robóticas con un enorme impulso destructivo. Las catástrofes Borg son materia prima de la ciencia ficción, entonces ¿por qué no me había angustiado antes por distopías robóticas como esa? ¿Por qué no había, además, otras personas preocupadas por estos escenarios de pesadilla?

Parte de la respuesta yace en nuestra actitud hacia lo nuevo en nuestra disposición a familiarizarnos rápido y a aceptar sin cuestionar. Acostumbrados a vivir con adelantos científicos que se dan casi como una rutina, todavía tenemos que hacernos la idea de que las tecnologías más seductoras del siglo XXI robótica, ingeniería genética y nanotecnología plantean una amenaza distinta que la de las tecnologías que han venido antes. Puntualmente, los robots, los organismos diseñados y la nanotecnología comparten un peligroso factor amplificador: pueden autoreplicarse.^[108] Una bomba se hace detonar una sola vez pero un robot puede volverse muchos, y rápidamente salirse de control.

Gran parte de mi trabajo en los últimos 25 años estuvo centrado en redes de computadoras, donde el envío y recepción de mensajes crea la posibilidad de replicaciones fuera de control. Pero mientras que la replicación en una computadora o una red de computadoras puede ser una gran molestia, a lo sumo cuelga una computadora o hace caer un servicio de redes. La autoreplicación sin controles en estas nuevas tecnologías conduce a riesgos mucho mayores: riesgo de daños sustanciales dentro del mundo físico.

Cada una de estas tecnologías, además, anuncia grandes promesas: la visión de semi-inmortalidad que Kurzweil ve en sus sueños robóticos nos transporta al futuro; la ingeniería genética podría pronto dar tratamientos, e incluso curas, para la mayoría de las enfermedades; y la nanotecnología y la nanomedicina pueden encargarse de todavía más enfermedades. Juntas podrían extender de manera significativa el promedio de nuestras expectativas de vida y mejorar su calidad. Sin embargo, con cada una de estas tecnologías, una serie de mínimos avances, importantes en sí mismos, conducen hacia una acumulación de gran poder e, inseparablemente, de gran peligro.

¿Qué era distinto en el siglo XX? Ciertamente, las tecnologías en que se basaban las armas de destrucción masiva (ADM) nucleares, biológicas, y químicas (NBQ) eran poderosas, y las armas eran una enorme amenaza. Pero fabricar armas nucleares requería, al menos por un tiempo, acceso tanto a materiales muy escasos, a veces inconseguibles, como a información altamente protegida; los programas de armas biológicas y químicas también tendían a requerir actividades a gran escala.

Las tecnologías del siglo XXI genética, nanotecnología, y robótica (GNR) son tan poderosas que pueden impulsar clases enteramente nuevas de accidentes y abusos. Todavía más peligroso: por primera vez estos accidentes y abusos están al alcance de individuos o grupos reducidos. No requerirán gran infraestructura ni materiales con complicaciones. El conocimiento bastará para poder usarlas.

Así, tenemos la posibilidad ya no sólo de armas de destrucción masiva sino de destrucción masiva habilitada por el conocimiento, siendo esta destructividad ampliada enormemente por el poder de la auto-replicación.

Yo creo que no es una exageración decir que estamos en el punto más elevado de la perfección del mal extremo, un mal cuya posibilidad va más allá de la que las armas de destrucción masiva le daban a los estados-nación, y que alcanza niveles sorprendentes y terribles de acumulación de poder en manos de individuos aislados.

Nada en la manera en que me ví relacionado con las computadoras me insinuaba que iba a tener que hacerme cargo de estos temas.

Mi vida ha estado impulsada por una profunda necesidad de hacer preguntas y hallar respuestas. Cuando tenía 3 años, ya leía, por lo que mi padre me llevó a la escuela, donde me senté en las rodillas del director y le leí un cuento. Empecé temprano la escuela, después me salteé un grado, y me fugué a través de los libros estaba increíblemente motivado para aprender. Hacía muchas preguntas, a menudo volviendo locos a los adultos.

En la adolescencia estaba muy interesado en la ciencia y la tecnología. Quería ser radio aficionado, pero no tenía plata para comprar el equipo. La radio y los operadores de radio eran la Internet de la época: muy adictiva, y bastante solitaria. Más allá de lo económico, mi madre bajó el pulgar no iba a ser radio aficionado; ya era demasiado antisocial.

A lo mejor no tenía tantos amigos íntimos, pero estaba lleno de ideas. En la secundaria, ya había descubierto a los grandes escritores de ciencia ficción. Me acuerdo en especial de «Have Spacesuit Will Travel» de Heinlein, y Yo, Robot de Asimov, con sus Tres Leyes de la Robótica. Me fascinaron las descripciones de los viajes en el espacio, y quería tener un telescopio para mirar las estrellas; dado que no tenía plata para comprar o hacer uno, sacaba libros de construcción de telescopios de la biblioteca y, en su lugar, leía sobre la manera en que se construían. Volaba en mi imaginación.

Los jueves a la noche mis padres iban al bowling, y los chicos nos quedábamos solos en la casa. Era la noche del Star Trek original de Gene Roddenberry, y el programa me causó una gran impresión. Terminé aceptando la noción de que los humanos tenían un futuro en el espacio, al estilo del Far West, con grandes héroes y aventuras. La visión de Roddenberry de los siglos venideros era una de valores morales firmes, basados en códigos como la Directiva Principal: no interferir en el desarrollo de civilizaciones menos avanzadas tecnológicamente. Esto era algo muy atrapante para mí: los que dominaban ese futuro eran humanos con ética, no robots, y yo hice propio el sueño de Roddenberry.

Me destaqué en matemáticas en la secundaria, y cuando estudiaba para ingeniería en la Universidad de Michigan, seguí el plan de estudios de la especialización en matemática. Resolver problemas matemáticos era un desafío interesante, pero cuando descubrí las computadoras encontré algo mucho mejor: una máquina en la cual tú podías poner un programa que intentaba resolver un problema, y luego la máquina rápidamente buscaba la solución. La computadora tenía nociones muy precisas de lo correcto/lo incorrecto, lo falso/lo verdadero. Eso era muy seductor.

Tuve suerte y pude conseguir empleo programando algunos de los primeros modelos de supercomputadoras, y descubrí el poder sorprendente de las grandes máquinas para simular diseños numéricamente avanzados. Cuando fui a la escuela de graduados en Berkeley a mediados de los ‘70, empecé a quedarme despierto hasta tarde, o toda la noche, inventando nuevos mundos dentro de las máquinas. Resolviendo problemas. Escribiendo el código que tanto pedía ser escrito.

En The Agony and the Ecstasy, la novela biográfica de Irving Stone sobre Miguel Ángel, Stone describe vivamente cómo Miguel Ángel sacaba las estatuas de la piedra, rompiendo el hechizo del mármol, esculpiendo con las imágenes de su mente.^[109] En mis momentos de mayor éxtasis, el software en la computadora se me aparecía de la misma manera. Una vez que me lo había imaginado, yo sentía que ya estaba ahí dentro, en la computadora, esperando a ser liberado. Pasar la noche despierto era un precio pequeño por liberarlo por darles forma concreta a las ideas.

Después de unos años en Berkeley empecé a entregar algo del software que había estado escribiendo un sistema instructivo de Pascal, utilitarios de Unix, un editor de texto llamado vi (que todavía es ampliamente usado, aunque suene raro, más de 20 años después) a otros que tenían minicomputadoras similares, PDP-11 y VAX. Estas aventuras de software eventualmente se convirtieron en la versión de Berkeley del sistema operativo Unix, que se convirtió en un «éxito-desastre» personal lo quería tanta gente que nunca terminé el doctorado. En cambio conseguí empleo trabajando para Darpa, poniendo el Berkeley Unix en Internet y arreglándolo para que fuera confiable y pudiera correr bien programas pesados para investigación. Todo esto era divertido y muy gratificante. Y, sinceramente, no ví robots por ahí, o en ningún lugar de los alrededores.

Igualmente, al empezar los ‘80, me estaba ahogando. Las entregas sucesivas de Unix eran muy exitosas, y mi proyecto personal consiguió dinero y algunos ayudantes, pero el problema en Berkeley era siempre el espacio de la oficina, más que el dinero no se contaba con el lugar que necesitaba el proyecto, así que cuando aparecieron los otros fundadores de Sun Microsystems me abalancé para unirme a ellos. En Sun, las largas horas siguieron en los días en que aparecían las primeras estaciones de trabajo y las computadoras personales, y he disfrutado de participar en la creación de microprocesadores avanzados y tecnologías de Internet como Java y Jini.

De todo esto, pienso que queda claro que no soy un luddita. Por el contrario, siempre estuve convencido del valor de la investigación científica de la verdad y de la capacidad de la buena ingeniería para aportar progreso material. La Revolución Industrial ha mejorado incalculablemente la vida de todos a lo largo del último par de siglos, y siempre esperé que mi carrera participara en la creación de soluciones valiosas para problemas reales, un problema a la vez.

No he sido defraudado. Mi trabajo ha tenido más impacto del que hubiera soñado y ha sido usado más ampliamente de lo que hubiera esperado. He pasado los últimos 20 años tratando de descubrir cómo hacer para que las computadoras sean tan confiables como quiero que sean (por ahora no están ni cerca), y cómo hacer para que sean fáciles de usar (algo que tuvo todavía menos éxito). Pese a algunos progresos, los problemas que quedan son todavía desafíos más grandes.

Pero mientras estaba al tanto de los dilemas morales en relación a las consecuencias tecnológicas de campos como la investigación de armas, no esperaba enfrentarme a estos temas en mi propio campo, o al menos no tan pronto.

A lo mejor lo que pasa es que suele ser difícil ver todo el panorama mientras estás en medio de los cambios. No llegar a entender las consecuencias de las invenciones mientras estamos en la ola de los descubrimientos y de los avances, parecería ser un error común en científicos y tecnólogos; nos hemos dejado llevar desde hace mucho por el sobrecogedor deseo de saber, que es natural a la aventura científica, sin detenernos a darnos cuenta de que el progreso hacia nuevas y más poderosas tecnologías puede cobrar vida propia.

Me he dado cuenta hace mucho que los grandes avances de la tecnología de la información vienen no del trabajo de científicos informáticos, de arquitectos de computadoras o de ingenieros eléctricos sino de investigadores de física. Los físicos Stephen Wolfram y Brosl Hasslacher me introdujeron, en los tempranos ‘80, a la teoría del caos y a los sistemas nolineales. Aprendí acerca de sistemas complejos de conversaciones con Danny Hillis, el biólogo Stuart Kauffman, el Nobel de Física Murray Gell-Mann y otros. Más recientemente, Hasslacher y el ingeniero eléctrico y físico mecánico Mark Reed han estado dándome un panorama de las posibilidades increíbles de la electrónica molecular.

En mi propio trabajo en el codiseño de tres arquitecturas de microprocesadores SPARC, picoJAVA, y MAJC, y como diseñador de sucesivas implementaciones a partir de éstos, he logrado familiarizarme en profundidad y sin mediaciones con la ley de Moore. La ley de Moore^[110] ha predicho correctamente el índice exponencial de mejoramiento de la tecnología de semiconductores. Hasta el año pasado yo creía que el índice de innovaciones predicho por la ley de Moore podía sostenerse como mucho hasta el 2010, momento en que empezarían a encontrarse limitaciones físicas. No era obvio para mí que iba a llegar una tecnología nueva justo a tiempo para sostener el ritmo de avance.

Pero debido a avances radicales que se dieron recientemente en áreas como la electrónica molecular en donde se reemplazan los transistores dispuestos litográficamente por átomos y moléculas individuales, y en el de las tecnologías de nanoescalas relacionadas a las anteriores, deberíamos estar preparados para cumplir o exceder el índice de progreso de la ley de Moore por otros 30 años. Para el 2030, es probable que podamos construir, en cantidad, máquinas un millón de veces más poderosas que las computadoras personales de hoy en día lo que es suficiente para implementar los sueños de Kurzweil y Moravec.

Al combinarse este enorme poder informático con los avances en manipulación de las ciencias físicas y el nuevo, y profundo, conocimiento de la genética, se está desatando un enorme poder transformador. Estas combinaciones abren la oportunidad de rediseñar completamente el mundo, para mejor o peor: los procesos de replicación y evolución que han estado confinados al mundo natural están por volverse reinos del quehacer humano.

Diseñando software y microprocesadores, yo nunca había tenido la sensación de que estaba diseñando una máquina inteligente. El software y el hardware son tan frágiles, y la capacidad de las máquinas de «pensar» se muestra tan ausente que, incluso como posibilidad, siempre me pareció muy alejada en el futuro.

Pero ahora, con la perspectiva de un poder de procesamiento de nivel humano en unos 30 años, una idea nueva surge sola: que podría estar trabajando para crear herramientas que van a permitir la creación de la tecnología que podría reemplazar a nuestra especie. ¿Cómo me siento al respecto? Muy incómodo. Habiendo luchado toda mi carrera para construir sistemas de software confiables, me parece a mí más que probable que este futuro no va a funcionar tan bien como alguna gente se imagina. Mi experiencia personal sugiere que tendemos a sobrevaluar nuestras habilidades para el diseño.

Dado el increíble poder de estas tecnologías novedosas, ¿no deberíamos estar preguntándonos cómo podemos coexistir mejor con ellas? ¿Y si nuestra propia extinción es contemplable como posibilidad por las consecuencias de nuestro desarrollo tecnológico, no deberíamos proceder con cuidado?

El sueño de la robótica es, primero, que las máquinas inteligentes puedan hacer el trabajo por nosotros, permitiéndonos tener vidas de ocio, devolviéndonos al Edén. Sin embargo, en su historia de estas ideas, Darwing among the Machines, George Dyson [Reading, Addison Wesley, 1997] advierte: «En el juego de la vida y la evolución hay tres jugadores en la mesa: seres humanos, naturaleza y máquinas. Estoy firmemente del lado de la naturaleza. Pero la naturaleza, sospecho, está del lado de las máquinas». Como hemos visto, Moravec está de acuerdo en la creencia de que podríamos llegar a no sobrevivir luego del encuentro con las especies robots superiores.

¿Qué tan pronto podría ser construido ese robot inteligente? Los avances anunciados en el poder de procesamiento de las computadoras parecen hacerlo posible para el 2030. Y una vez que ya existe un robot inteligente, queda un pequeño paso hacia una especie robot hacia un robot inteligente que puede hacer copias evolucionadas de sí mismo.

Un segundo sueño de la robótica es que gradualmente nos reemplacemos a nosotros mismos con nuestra tecnología robótica, consiguiendo una casi inmortalidad mediante la descarga^[111] de nuestras conciencias; es el proceso al que Danny Hillis piensa que nos iremos acostumbrando lentamente y que Ray Kurzweil describe con elegancia en «La era de las máquinas espirituales». (Estamos empezando a ver acercamiento a este tema en la implantación de dispositivos vinculados a computadoras dentro del cuerpo humano, como se muestra en la portada de Wired de febrero de 2000).

¿Pero si nos descargamos en nuestra tecnología, qué posibilidades hay de que después del proceso sigamos siendo nosotros, o incluso humanos?. Me parece a mí mucho más probable que una existencia robótica no fuera como una humana, de ninguna manera en que la entendemos, que los robots no serían de ninguna manera nuestros hijos, que por este camino nuestra humanidad seguramente se perdería.

La ingeniería genética promete: revolucionar la agricultura incrementando las producciones de trigo, reduciendo el uso de pesticidas; crear decenas de miles de nuevas especies de bacterias, plantas, virus y animales; reemplazar la reproducción, o mejorarla, con la clonación; crear curas para muchas enfermedades, incrementando nuestra expectativa y calidad de vida; y mucho, mucho más. Ahora sabemos con certeza que estos profundos cambios en las ciencias biológicas son inminentes y desafiarán todas nuestras nociones de lo que es la vida.

Tecnologías como la clonación humana, en particular, han generado preocupación por los profundos problemas éticos y morales a que nos enfrentan. Si, por ejemplo, fuéramos a remodelarnos en varias especies separadas y distintas, usando el poder de la ingeniería genética, entonces desestabilizaríamos la noción de igualdad que es la piedra fundamental de nuestra democracia.

Dado el increíble poder de la ingeniería genética, no es sorprendente que haya debates de envergadura en relación a la seguridad de su uso. Mi amigo Amory Lovins recientemente co-escribió, junto con Hunter Lovins, una nota de opinión que brinda una mirada ecológica en torno a éstos peligros. Entre sus preocupaciones se halla el hecho de que la nueva botánica vincula el desarrollo de las plantas a su éxito, no evolutivo, sino económico.^[112] La extensa carrera de Amory ha estado orientada a los recursos y la eficiencia energética a partir de una mirada de «sistema-total» sobre los sistemas humanos; esa mirada de sistema-total muchas veces encuentra soluciones simples, inteligentes, a lo que de otra manera se convierte en problemas tortuosos, y que también se aplica a nuestro tema.

Después de leer la nota de Lovins, leí un artículo de Gregg Easterbrook en la página editorial de The New York Times (19 de noviembre de 1999) acerca de los cereales modificados, bajo el título de Comida para el Futuro: Algún día el arroz vendrá con Vitamina A ya incorporada. A no ser que ganen los Ludditas.

¿Son ludditas Amory y Hunter Lovins? Ciertamente no. Creo que todos estamos de acuerdo en que el arroz dorado, con vitamina A incorporada, es algo bueno, si se desarrolla con cuidado y respeto por los eventuales peligros de mover genes a través de las fronteras de las especies.

La preocupación por los peligros inherentes a la ingeniería genética está empezando a aumentar, como lo refleja la nota de Lovins. El público en general está al tanto, e incómodo respecto a las comidas modificadas genéticamente, y parece rechazar la idea de que estas comidas deberían venderse sin identificarse como tales.

Pero la tecnología de ingeniería genética tiene ya mucho tiempo. Como señalan los Lovins, el USDA [Departamento de Agricultura de los Estados Unidos] lleva aprobados unos 50 cereales genéticamente modificados para venta libre; más de la mitad de los porotos de soja y un tercio del trigo del mundo contienen hoy genes provenientes de otras formas de vida.

Mientras que hay varios temas importantes relacionados a esto, mi mayor inquietud con respecto a la ingeniería genética es más concreta: que da poder —sea militar, accidentalmente, o en un acto terrorista deliberado— de crear una Peste Blanca.

Las diversas maravillas de la nanotecnología fueron imaginadas por primera vez por el ganador del Nobel de física Richard Feynman en un discurso que dio en 1959, publicado bajo el título de Hay bastante lugar en el fondo. El libro que causó una gran impresión en mí, a mediados de los ‘80, fue Engines of Creation de Eric Drexler,^[113] en el que describía con belleza cómo la manipulación de materia a un nivel atómico podría crear un futuro utópico de abundancia, donde casi todo podría fabricarse a bajo costo, y casi cualquier enfermedad o problema físico podría resolverse usando nanotecnología e inteligencia artificial.

Un libro posterior, Unbounding the Future: The Nanotechnology Revolution,^[114] que Drexler co-escribió, imagina algunos de los cambios que podrían tener lugar en un mundo en que tuviéramos «ensambladores» a nivel molecular. Los ensambladores podrían hacer posible energía solar a costos bajísimos, curas para el cáncer y el resfrío común por refuerzo del sistema inmunológico humano, limpieza esencialmente completa del medioambiente, supercomputadoras de bolsillo increíblemente baratas de hecho, cualquier producto sería fabricable a un costo no mayor que el de la madera, vuelos al espacio más accesibles que los vuelos transoceánicos de hoy en día, y recuperación de especies extinguidas.

Me acuerdo de sentirme muy bien respecto a la nanotecnología después de haber leído Engines of Creation. Como tecnólogo, me dio una sensación de calma o sea, la nanotecnología nos mostraba que era posible un progreso increíble y, de hecho, quizás inevitable. Si la nanotecnología era nuestro futuro, entonces no me sentía presionado a resolver tantos problemas en el presente. Llegaría al futuro de Drexler en el tiempo previsto; podía disfrutar más de la vida aquí y ahora. No tenía sentido, dada su visión, quedarse despierto toda la noche, todo el tiempo.

La visión de Drexler también llevó a bastante diversión. Cada tanto me ponía a describir las maravillas de las nanotecnología a otros que no habían oído hablar de ellas. Después de cansarlos con todas las cosas que describía Drexler yo les podía dar una tarea para el hogar inventada por mí: Usen nanotecnología para crear un vampiro; para mayor puntaje creen un antídoto.

Con estas maravillas venían claros peligros, de los cuales estaba al tanto. Como dije en una conferencia sobre nanotecnología en 1989, No podemos simplemente hacer nuestra ciencia y no preocuparnos por estos temas éticos.^[115] Pero mis conversaciones posteriores con físicos me convencieron de que la nanotecnología quizás ni siquiera llegara a funcionar o, por lo menos, no lo haría en los próximos tiempos. Poco después me mudé a Colorado, a un grupo de estudio que había armado, y el foco de mi trabajo cambió al software para Internet, específicamente a ideas que se convirtieron en Java y Jini.

Entonces, el verano pasado, Brosl Hasslacher me contó que la electrónica molecular a nanoescalas ya era posible. Éstas eran noticias muy nuevas para mí, y pienso que para mucha gente y cambiaron radicalmente mi opinión sobre la nanotecnología. Me llevaron de nuevo a Engines of Creation. Leyendo el libro de Drexler después de más de 10 años, me shockeó darme cuenta lo poco que me acordaba de la larga sección titulada Peligros y Esperanzas, que incluía una discusión acerca de cómo las nanotecnologías podían convertirse en motores de destrucción. De hecho, en mi relectura de este material hoy, quedé sorprendido por lo naïf que parecen algunas de las propuestas de seguridad de Drexler, y por lo mucho más grandes que juzgo ahora los peligros de lo que Drexler parecía hacerlo por entonces. (Habiendo anticipado y descrito muchos problemas técnicos y políticos de la nanotecnología, Drexler lanzó el Foresight Institute [Instituto para la Previsión] a fines de los ‘80 «para ayudar a preparar a la sociedad para las nuevas tecnologías de avanzada» sobre todo, la nanotecnología.)

El salto que permitiría el desarrollo de ensambladores parece factible dentro de los próximos 20 años. La electrónica molecular el nuevo subcampo de la nanotecnología en el que moléculas individuales son elementos de los circuitos debería madurar rápidamente y volverse enormemente lucrativo a lo largo de esta década, generando un gran incremento de inversiones en todas las nanotecnologías.

Desafortunadamente, como con la tecnología nuclear, es más fácil crear usos destructivos para la nanotecnología que usos constructivos.

La nanotecnología tiene claros usos militares y terroristas, y no se necesita ser suicida para liberar un dispositivo nanotecnológico masivamente destructivo tales dispositivos pueden construirse para ser destructivos selectivamente, afectando, por ejemplo, sólo una cierta área geográfica, o un grupo de personas genéticamente distintivas.

Una consecuencia inmediata del contrato faustiano por obtener el gran poder de la nanotecnología, es que corremos un grave riesgo el riesgo de que podríamos destruir la biosfera de la que depende toda la vida.

Como Drexler explica:

«Plantas» con «hojas» que no fueran más eficientes que las células solares de hoy en día, podrían prevalecer sobre las plantas reales, poblando la biosfera de un follaje inédito. Peor todavía, «bacterias» omnívoras podrían prevalecer sobre las bacterias reales: podrían desparramarse como polen por el aire, replicarse tranquilamente, y reducir la biosfera a polvo en cuestión de días. Algunos replicadores peligrosos fácilmente podrían ser demasiado resistentes, pequeños, y rápidos en su proliferación, como para detenerlos por lo menos si no nos preparamos. Tenemos bastantes problemas ya, controlando los virus y la mosca de la fruta.

Entre los conocedores de la nanotecnología, este peligro ha pasado a conocerse como el problema del fango gris. Aunque las masas de replicadores descontrolados no necesiten ser grises o viscosas, fango gris estaría enfatizando que los replicadores capaces de acabar con la vida podrían ser menos atractivos que cualquier especie de pasto común. Podrían ser superiores en un sentido evolutivo, pero esto no los hace más valiosos en sí mismos.

La amenaza del fango gris deja en claro una cosa: no nos podemos permitir cierto tipo de accidentes con ensambladores replicantes.

El fango gris sería sin duda un final deprimente para nuestra aventura como habitantes de la Tierra, mucho peor que el fuego o el agua, y sería un final que podría salir de un simple laboratorio.^[116]

Más que nada, es el poder destructivo de la auto-replicación en genética, nanotecnología y robótica (GNR) lo que debería obligarnos a hacer una pausa. La auto-replicación es el modus operandi de la ingeniería genética, que utiliza la maquinaria de la célula para replicar sus diseños, y es el peligro más importante subyacente al fango gris en nanotecnología. Historias de robots renegados como el Borg, replicándose o mutando para escapar de las imposiciones éticas de sus creadores, son bastante comunes en nuestros libros y películas de ciencia ficción. Incluso es posible que la auto-replicación sea algo más amplio de como la pensamos y, por eso, más difícil o incluso imposible de controlar.

Un artículo reciente de Stuart Kauffman en Nature titulado Auto-Replicación: hasta los péptidos lo hacen analiza el descubrimiento de que 32 peptoaminoácidos pueden auto-catalizar su propia síntesis. No sabemos hasta qué punto está extendida esta habilidad, pero Kauffman señala que podría dar pistas de «una vía hacia sistemas moleculares auto-reproductores, con bases mucho más amplias que el base par de Watson-Crick».^[117]

En verdad, hemos tenido avisos de los peligros inherentes al conocimiento y difusión de las tecnologías GNR de la posibilidad de que el conocimiento por sí mismo diera lugar a una destrucción masiva. Pero estos avisos no tuvieron demasiada prensa; los debates públicos han sido notoriamente inadecuados. Hablar de los peligros no da ganancias.

Las tecnologías nucleares, biológicas y químicas (NBQ) usadas en las armas de destrucción masiva del siglo XX eran y son más que nada militares, desarrolladas en laboratorios de gobiernos. En abierto contraste, las tecnologías GNR del siglo XXI tienen usos comerciales manifiestos y están siendo desarrolladas casi exclusivamente por empresas corporativas. En esta era de comercialismo triunfante, la tecnología con la ciencia tomada de la mano está entregando una serie de invenciones casi mágicas, que son de las más lucrativas que se han visto hasta ahora. Estamos lanzados a hacer realidad las promesas de estas nuevas tecnologías dentro de este sistema, ahora sin competencia, del capitalismo global y su multiplicidad de incentivos financieros y de presiones competitivas.

Este es el primer momento en la historia de nuestro planeta en que una especie, por sus propias acciones voluntarias, se ha convertido en una amenaza para sí misma así como para un vasto número de otras. Pudiera ser un proceso esperable, que sucediera en diversos mundos un planeta, recientemente formado, evoluciona plácidamente en la órbita de su estrella; la vida se forma lentamente; emerge la inteligencia que, al menos hasta cierto momento, es valiosa para la supervivencia; y entonces se inventa la tecnología. Se dan cuenta de que hay cosas como las leyes de la Naturaleza; de que estas leyes pueden revelarse mediante experimentos, y que el conocimiento de estas leyes puede usarse tanto para salvar vidas como para quitarlas, en ambos casos a una escala sin precedentes. La ciencia, reconocen, confiere poderes inmensos. En un instante crean dispositivos capaces de alterar el mundo. Algunas civilizaciones planetarias se abren del camino, ponen límites a lo que estaría bien hacer y lo que no, y siguen protegidas de peligros a través del tiempo. Otras, con menos suerte, o menos prudencia, perecen.

Ese es Carl Sagan, escribiendo en 1994, en Pale blue dot, un libro que describía su visión del futuro humano en el espacio.^[118] Recién ahora estoy dándome cuenta de lo profunda que era su visión, y de la manera en que lo echo y lo echaré de menos. Por su elocuencia, el aporte de Sagan era, sin ser menos, el del simple sentido común un atributo del que parecen carecer, junto al de la humildad, muchos de los voceros e impulsores de las tecnologías del siglo XXI.

Me acuerdo de cuando era chico que mi abuela estaba en contra del uso excesivo de antibióticos. Había trabajado como enfermera desde antes de la Primera Guerra Mundial y tenía la noción de sentido común de que tomar antibióticos, a menos que fueran absolutamente necesarios, era malo para uno.

No es que fuera una enemiga del progreso. Vio muchos progresos a lo largo de casi 70 años como enfermera; mi abuelo, diabético, se benefició enormemente de las mejoras en los tratamientos que se hicieron posibles a lo largo de su vida. Pero ella, como mucha otra gente, pensaría que es una gran arrogancia de nuestra parte estar, ahora, diseñando una «especie robótica capaz de reemplazarnos», cuando obviamente tenemos tantos problemas en hacer que funcionen cosas relativamente sencillas, y tantos problemas para manejarnos o hasta entendernos a nosotros mismos.

Me doy cuenta ahora de que ella tenía una noción o una comprensión del orden natural de la vida, y de la necesidad de vivir junto a ese orden, respetándolo. Este respeto conlleva una necesaria humildad de la que nosotros, en nuestra fiebre de comienzos del siglo XXI, carecemos peligrosamente. La visión de sentido común, basada en este respeto, suele tener razón, incluso antes de la evidencia científica. La evidente fragilidad e ineficiencias de los sistemas humanos que hemos construido debería obligarnos a hacer una pausa; ciertamente la fragilidad de los sistemas en los que he trabajado me ha tornado más humilde.

Deberíamos haber aprendido una lección de la fabricación de la primera bomba nuclear y de la carrera armamentística. No actuamos bien esa vez, y los paralelismos con nuestra situación actual son problemáticos. El esfuerzo por construir la primera bomba atómica fue liderado por el brillante físico J. Robert Oppenheimer. Oppenheimer no estaba interesado en la política pero tomó conciencia de lo que percibía como una amenaza para la civilización Occidental proveniente del Tercer Reich, una amenaza seguramente grave debido a la posibilidad de que Hitler obtuviera armas nucleares. Motivado por este temor, llevó a Los Álamos su poderoso intelecto, su pasión por la física y su habilidad de líder carismático, y condujo los esfuerzos rápidos y exitosos de un sorprendente grupo de brillantes seres para inventar la bomba.

Lo llamativo es cómo el trabajo prosiguió con tanta naturalidad después de que hubiera desaparecido el motivo inicial. En una reunión poco después del Día V-E con algunos físicos que sentían que quizás se debería detener la investigación, Oppenheimer argumentó que había que continuar. La razón que dio parece algo extraña: no por temor a grandes bajas en una invasión a Japón, sino porque las Naciones Unidas, que estaban próximas a formarse, debían tener prioridad en el conocimiento de las armas atómicas. Un motivo más probable por el que debía continuar el proyecto es el punto al que había llegado la primera prueba atómica, Trinity, estaba casi al alcance de la mano.

Sabemos que al preparar esta primera prueba atómica, los físicos procedieron pese a un gran número de posibles peligros. Se preocuparon inicialmente, en base a cálculos realizados por Edward Teller, de que una bomba atómica pudiera incendiar la atmósfera. Un nuevo cálculo redujo el peligro de destruir el mundo a una posibilidad de tres en un millón (Teller dice que luego pudo descartar por completo un eventual incendio atmosférico). Oppenheimer, sin embargo, estaba lo suficientemente preocupado por el resultado de Trinity como para hacer arreglos para una posible evacuación de la parte sur oeste del estado de Nuevo México. Y, por supuesto, estaba el peligro de disparar una carrera armamentística.

A lo largo del mes siguiente a esa primera, y exitosa, prueba, dos bombas destruyeron Hiroshima y Nagasaki. Algunos científicos sugirieron que la bomba sólo fuera exhibida, en lugar de arrojarla sobre ciudades japonesas decían que así se mejorarían las posibilidades para el control de armas luego de la guerra, pero no se los tuvo en cuenta. Con la tragedia de Pearl Harbor fresca todavía en la cabeza de los estadounidenses, hubiera sido muy difícil para el Presidente Truman ordenar una demostración de las armas en vez de usarlas como lo hizo el deseo de terminar rápidamente con la guerra y salvar las vidas que se hubieran perdido en cualquier invasión a Japón era demasiado fuerte. Y sin embargo la verdad era probablemente muy simple: como luego dijo el físico Freeman Dyson, La razón por la que se lanzó fue que nadie tuvo el coraje o la previsión de decir no.

Es importante darse cuenta de lo shockeados que estuvieron los físicos en los momentos posteriores a la bomba de Hiroshima, el 6 de agosto de 1945. Hablan de varios estados de emoción: primero, satisfacción porque la bomba funcionaba; después horror por todas las personas que habían muerto; después el sentimiento convencido de que bajo ninguna razón debía arrojarse otra bomba. Sin embargo, por supuesto, otra bomba fue arrojada, en Nagasaki, a sólo tres días del bombardeo de Hiroshima.

En noviembre de 1945, tres meses después de los bombardeos con armas atómicas, Oppenheimer se amparó en la actitud científica, diciendo, «No es posible ser científico a menos que se crea en que el conocimiento del mundo, y el poder que éste conlleva, es algo de valor intrínseco para la humanidad, y en que uno lo está usando para promover la difusión del conocimiento y está dispuesto a soportar las consecuencias».

Oppenheimer siguió adelante trabajando, junto a otros, en el informe Acheson-Lilienthal que, como describe Richard Rhodes en su reciente libro Visions of Technology, halló una manera de prevenir una carrera armamentística clandestina sin acudir a un gobierno mundial equipado con armas; su recomendación fue algo parecido a entregar el trabajo sobre armas nucleares a una agencia internacional.^[119]

Esta propuesta condujo al Plan Baruch, que fue enviado a las Naciones Unidas en junio de 1945, pero que nunca se adoptó (quizás porque, como Rhodes sugiere, Bernard Baruch insistió en recargar el plan de sanciones convencionales, haciéndolo así inviable, más allá de que casi con seguridad hubiera sido rechazado por la Rusia estalinista). Otros esfuerzos por promover avances serios hacia una internacionalización del poder nuclear para prevenir una carrera armamentística se detuvieron, ya sea ante la falta de acuerdo político y la desconfianza interna de EE.UU, o ante la desconfianza de los soviéticos. La oportunidad de evitar la carrera armamentística se perdió, y muy rápido.

Dos años después, en 1948, Oppenheimer pareció haber llegado a otra etapa en su pensamiento, diciendo que, en algún sentido muy básico que ninguna vulgaridad, ni broma, o sobreentendido pueden atenuar, los físicos han conocido el pecado; y este es un saber que no pueden perder.

En 1949 los soviéticos detonaron una bomba atómica. Para 1955, soviéticos y norteamericanos, ambos, habían probado bombas de hidrógeno aptas para ser lanzadas desde un avión. Y entonces empezó la carrera armamentística.

Hace 20 años, en el documental The Day After Trinity, Freeman Dyson repasó las actitudes científicas que nos llevaron al precipicio nuclear:

Lo he sentido yo mismo. El brillo seductor de las armas nucleares. Es irresistible si te acercas a ellas como científico. Sentir que está ahí en tus manos, liberar esta energía que alimenta a las estrellas, hacer que siga tus planes. Ejecutar estos milagros, elevar un millón de toneladas de rocas al cielo. Es algo que le da a las personas una ilusión de poder ilimitado, y es, en algún sentido, responsable de todos nuestros problemas esto, que podrías llamar arrogancia tecnológica, y que se apodera de las personas cuando ven lo que pueden hacer con sus mentes.^[120]

Ahora, como entonces, somos creadores de nuevas tecnologías y estrellas del futuro imaginado, impulsados —esta vez por grandes recompensas financieras y una competencia global— pese a los claros peligros, evaluando apenas lo que sería intentar vivir en un mundo que fuera el resultado realista de lo que estamos creando e imaginando.

En 1947, The Bulletin of the Atomic Scientist empezó a poner un Reloj de Fin de los Tiempos en su portada. Por más de 50 años, ha mostrado una estimación del peligro nuclear relativo que hemos enfrentado, reflejando las variaciones de las condiciones internacionales. Las manecillas del reloj se han movido 15 veces y hoy, detenidas a nueve minutos de la medianoche, reflejan el peligro real y continuo de las armas nucleares. La reciente inclusión de India y Pakistán en la lista de potencias nucleares ha incrementado la amenaza de fracaso de las metas de no proliferación, y esto se reflejó moviendo las agujas más cerca de la medianoche en 1998.

En nuestro tiempo, ¿a cuánto peligro nos enfrentamos, no ya de armas nucleares, sino de todas estas tecnologías? ¿Qué tan altos son los riesgos de extinción?

El filósofo John Leslie ha estudiado el tema y llegó a la conclusión de que el riesgo de extinción humana es al menos del 30 por ciento,^[121] mientras que Ray Kurzweil cree que tenemos una chance mejor que nunca de superar nuestros problemas, con la advertencia de que «siempre he sido acusado de optimista». No sólo no son alentadoras estas previsiones, sino que no incluyen la probabilidad de muchos resultados terroríficos que acercan la extinción.

Puestas ante estas evaluaciones, algunas personas muy serias ya están sugiriendo sencillamente dejar la Tierra lo más rápido posible. Podríamos colonizar la galaxia usando los modelos de Von Neumann, que van de sistema a sistema solar, replicándose cada vez. Este paso será necesario, ciertamente, en 5 mil millones de años (o antes si nuestro sistema solar recibe demasiado mal el impacto retardado de nuestra galaxia con la galaxia de Andrómeda en los futuros 3 mil millones de años), pero si leemos literalmente a Kurzweil y Moravec podría ser necesario a mediados de este siglo.

¿Cuáles son aquí las implicaciones morales? Si debemos dejar la Tierra así de rápido para que la especie pueda sobrevivir, ¿quién acepta la responsabilidad por el destino de aquellos (la mayoría de nosotros, después de todo) que sean dejados atrás? E incluso si nos dispersamos por las estrellas, ¿no es probable que nos llevemos nuestros problemas con nosotros, o que hallemos, luego, que nos han venido siguiendo? El destino de nuestra especie en la Tierra y nuestro destino en la galaxia aparecen ligados inextricablemente.

Otra idea es erigir una serie de escudos para defendernos ante cada una de las tecnologías peligrosas. La Iniciativa de Defensa Estratégica, propuesta por el gobierno de Reagan, fue un intento de diseñar un escudo de ese tipo contra la amenaza de ataque nuclear desde la Unión Soviética. Pero Arthur C. Clarke que colaboró en la discusión del proyecto, observaba: Aunque sería posible, a un gran costo, construir sistemas de defensa local que dejarían pasar «solamente» unos bajos porcentajes de mísiles enemigos, la idea más promocionada de un paraguas nacional no tenía sentido. Luis Álvarez, quizás el físico experimental más importante del siglo, me señaló que los defensores de tales propuestas eran «tipos muy inteligentes sin sentido común».

Clarke seguía: Mirando en mi muy a menudo nubosa bola de cristal, sospecho que una defensa total sería posible en un siglo, más o menos. Pero la tecnología involucrada generaría, como subproducto, armas tan terribles que nadie se molestaría por nada tan primitivo como mísiles balísticos.^[122]

En Engines of Creation, Eric Drexler proponía que construyéramos un escudo nanotecnológico activo una suerte de sistema inmunológico para la biosfera para defendernos de cualquier replicador peligroso, que pudiera escaparse de laboratorios o fuera creado maliciosamente. Pero el escudo que proponía sería enormemente peligroso en sí mismo nada evitaría que desarrollara problemas de autoinmunidad y atacara él mismo la biosfera.^[123]

Dificultades similares se aplican a la construcción de «escudos» contra la ingeniería genética y de robots. Estas tecnologías son demasiado poderosas para crear escudos contra ellas en los lapsos de tiempo en cuestión; incluso si fuera posible implementar escudos defensivos, los efectos colaterales de su desarrollo serían al menos tan peligrosos como las tecnologías de las que estamos tratando de protegernos.

Estas posibilidades son todas no deseables, impracticables o ambas cosas. La única alternativa realista que veo es la abstención: limitar el desarrollo de las tecnologías que son demasiado peligrosas, limitando nuestra búsqueda de ciertos tipos de conocimiento.

Sí, ya sé, el conocimiento es bueno, ya que es la búsqueda de nuevas verdades. Hemos estado en busca del conocimiento desde los tiempos antiguos. Aristóteles empezó su Metafísica con el sencillo enunciado: «Todos los hombres por naturaleza desean conocer.» Desde hace tiempo, como base de consenso en nuestra sociedad, hemos acordado respecto del valor del acceso abierto a la información, y reconocemos los problemas que conllevan los intentos de restringir su desarrollo y acceso. En tiempos recientes, hemos llegado a reverenciar el conocimiento científico.

Pero más allá de los sólidos antecedentes históricos, si el acceso abierto y el desarrollo ilimitado de los conocimientos nos colocan, de ahora en más, en claro peligro de extinción, entonces el sentido común demanda que reexaminemos incluso estas creencias básicas, sostenidas durante largo tiempo.

Fue Nietzsche quien nos advirtió, en el final del siglo XIX, que no sólo Dios ha muerto sino que «la fe en la ciencia, que pese a todo existe indudablemente, no puede deber su origen a un cálculo de utilidad; tiene que haber surgido a expensas del hecho de que la no-utilidad y peligrosidad de la ‘voluntad de saber’, de ‘saber a cualquier precio’ sea puesta a prueba constantemente». Es este peligro que ahora enfrentamos las consecuencias de nuestra búsqueda de verdad. La verdad que busca la ciencia ciertamente puede considerarse un sustituto peligroso de Dios si implicara ciertas posibilidades de llevarnos a la extinción.

Si pudiéramos ponernos de acuerdo, como especie, sobre lo que queremos, adónde fuimos encaminados, y por qué, entonces podríamos hacer mucho menos peligroso nuestro futuro entonces podríamos entender a qué podemos y deberíamos abstenernos. De otra manera, podemos con facilidad imaginar una carrera armamentística lanzándose en torno a las tecnologías GNR, como sucedió con las tecnologías NBQ en el siglo XX. Este es quizás el riesgo más importante, ya que una vez iniciada una carrera como esa, es muy difícil detenerla. Esta vez a diferencia de lo que pasaba durante el Proyecto Manhattan no estamos en guerra, enfrentando un enemigo implacable que amenaza nuestra civilización; estamos impulsados, en cambio, por nuestros hábitos, nuestros deseos, nuestro sistema económico y nuestra necesidad competitiva de saber.

Creo que todos deseamos que nuestro rumbo esté definido por nuestros valores colectivos, éticos y morales. Si hubiéramos logrado más sabiduría colectiva en los pasados miles de años, entonces un diálogo en este sentido resultaría más práctico, y los increíbles poderes que estamos por liberar no serían tan problemáticos.

Uno pensaría que seríamos llevados a ese diálogo movidos por nuestro instinto de preservación. Los individuos tienen claramente este deseo, sin embargo como especie, nuestro comportamiento parece no jugarnos a favor. Al resolver las amenazas nucleares, muchas veces nos hablamos de manera mentirosa a nosotros mismos, y a los demás, incrementando en gran medida los riesgos. Sea que esto estuviera motivado políticamente, o porque elegimos no pensar las proyecciones, o porque al enfrentarnos con amenazas tan graves actuamos con una falta de temor irracional, no lo sé, pero no nos llevó a un buen desenlace.

Las nuevas cajas de Pandora de la genética, la nanotecnología y la robótica están casi abiertas, pero pareciera que nosotros apenas nos damos cuenta. Las ideas no pueden ser vueltas a poner en una caja; a diferencia del uranio o el plutonio, no necesitan ser enterradas o tratadas químicamente, y pueden copiarse libremente. Una vez que salieron, salieron. Churchill destacó una vez, en una famosa frase, que los norteamericanos y sus líderes «invariablemente hacen lo correcto, una vez que examinaron todas las demás alternativas». En este caso, sin embargo, debemos actuar con mayor previsión, pues hacer lo correcto recién al final puede significar perder definitivamente la oportunidad de hacerlo.

Como dijo Thoreau, Nosotros no vamos montados en los rieles, son los rieles los que van montados en nosotros; y ésto es lo que debemos combatir en nuestros tiempos. La pregunta es, de hecho, ¿quién va a ser el que ponga el rumbo? ¿Sobreviviremos a nuestras tecnologías?

Estamos siendo arrojados a este nuevo siglo sin ningún plan, control o freno. ¿Hemos ido ya demasiado lejos en el camino como para cambiar el rumbo? Yo no lo creo, pero aún no estamos intentándolo, y la última oportunidad de retomar el control el punto de no retorno se acerca rápidamente. Tenemos nuestros primeros robots mascotas, así como técnicas de ingeniería genética disponibles en el mercado, y nuestra técnica a nanoescala mejora rápidamente. Mientras que el desarrollo de esas tecnologías procede a través de una serie de pasos, no es necesariamente el caso como sucedió en el Proyecto Manhattan y la prueba de Trinity de que el último paso en una tecnología de prueba sea largo y arduo. El salto que posibilite la auto-replicación salvaje en robótica, ingeniería genética o nanotecnología podría darse repentinamente, reviviendo la sorpresa que sentimos cuando supimos de la clonación de un mamífero.

Y sin embargo yo creo que tenemos una firme y sólida base para la esperanza. Nuestros intentos de lidiar con armas de destrucción masiva en el último siglo nos proveen un reluciente ejemplo de abstención para considerar: el abandono unilateral de EE.UU, sin prerrequisitos, del desarrollo de armas biológicas. Este abandono se basó en la toma de conciencia del hecho de que mientras que significaría un enorme esfuerzo crear estas terribles armas, podrían, a partir de entonces, ser fácilmente reproducidas y caer en manos de naciones hostiles o de grupos terroristas. La clara conclusión fue que desarrollar estas armas crearía peligros adicionales para nosotros, y que estaríamos más seguros si no las desarrollábamos. Hemos reafirmado nuestra abstención de las armas biológicas y químicas en la Convención sobre Armas Biológicas de 1972 (Biological Weapons Convention, BWC) y en la Convención sobre Armas Químicas de 1993 (Chemical Weapons Convention, CWC).^[124]

En cuanto al aún considerable riesgo de amenaza por armas nucleares, con el que hemos vivido por más de 50 años, el reciente rechazo del Senado al Tratado Extenso de Prohibición de Pruebas deja en claro que la abstención al uso de armas nucleares no será políticamente fácil. Pero tenemos una oportunidad única, con el fin de la Guerra Fría, de prevenir una carrera armamentística multipolar. Construir, a partir de la abstención de la BWC y la CWC, una abolición exitosa de las armas nucleares, podría ayudarnos a crear un hábito de abstención a las tecnologías peligrosas (de hecho, si reducimos a 100 el número de todas las armas nucleares en el mundo lo que sería equivalente al poder destructivo total de la Segunda Guerra Mundial, una meta considerablemente más sencilla podríamos eliminar este riesgo de extinción).^[125]

Supervisar la abstención será un problema difícil, pero no insuperable. Tenemos suerte de haber hecho ya mucho trabajo relevante en el marco de la BWC y otros tratados. Nuestra tarea más importante será aplicar esto a tecnologías que son naturalmente mucho más comerciales que militares. La necesidad fundamental aquí es de transparencia, pues la dificultad de supervisión es directamente proporcional a la dificultad de distinguir entre actividades para la abstención y actividades legítimas.

Francamente creo que la situación en 1945 era más simple que la que enfrentamos ahora: las tecnologías nucleares eran pasibles de ser razonablemente separadas entre sus usos comerciales y sus usos militares, y el monitoreo era ayudado por la naturaleza de las pruebas atómicas y la facilidad con que la radioactividad podía medirse. La investigación de aplicaciones militares podía realizarse en laboratorios nacionales como Los Álamos, con los resultados mantenidos bajo secreto tanto tiempo como fuera posible.

Las tecnologías GNR no se dividen abiertamente entre usos comerciales y militares; dado su potencial en el mercado, es difícil imaginar su desarrollo sólo en laboratorios nacionales. Con sus dilatados márgenes para el uso comercial, supervisar la abstención requerirá un régimen de supervisión similar al de las armas biológicas, pero en una escala sin precedentes. Ésto, inevitablemente, producirá tensiones entre nuestra privacidad individual, nuestro deseo de información registrada por copyright, y la necesidad de supervisión para protegernos a todos. Sin duda encontraremos grandes resistencias a esta pérdida de privacidad y de libertad de acción.

La supervisión de la abstención a ciertas tecnologías GNR deberá tener lugar en el ciberespacio tanto como en lugares físicos. El tema crítico será hacer aceptable la necesaria transparencia en un mundo de información basada en el derecho de propiedad, presumiblemente creando nuevas formas de protección de la propiedad intelectual.

Supervisar la aplicación también requerirá que científicos e ingenieros adopten un rígido código ético de conducta, similar al juramento hipocrático, y tengan el coraje personal de avisar cuando sea necesario, incluso en situaciones de alto costo para sí mismos. Ésto respondería al llamado que hizo 50 años después de Hiroshima el premio Nobel Hans Bethe, uno de los más destacados de los miembros sobrevivientes del Proyecto Manhattan, a que todos los científicos «cesen y desistan de trabajar en la creación, desarrollo, mejora y mantenimiento de armas nucleares y otras armas potenciales de destrucción masiva» ^[126] En el siglo XXI, esto requiere de vigilancia y responsabilidad personal de parte de aquellos que trabajen en tecnologías NBQ y GNR para evitar la implementación de armas de destrucción masiva y la destrucción masiva habilitada por el conocimiento.

Thoreau también dijo que «seremos ricos en proporción al número de cosas que nos podamos permitir dejar tranquilas». Todos queremos ser felices, pero pareciera importante preguntarnos si necesitamos asumir semejantes riesgos de destrucción total para conseguir todavía más conocimiento y más cosas; el sentido común nos dice que hay un límite para nuestras necesidades materiales y que cierto conocimiento es demasiado peligroso y es mejor dejarlo pasar.

Tampoco deberíamos perseguir una semi-inmortalidad sin considerar los costos, sin considerar los sensibles incrementos del riesgo de extinción. La inmortalidad, siendo quizás el original, ciertamente no es el único sueño utópico posible.

Hace poco tuve la suerte de conocer al distinguido escritor y catedrático Jacques Attali, cuyo libro Lignes d´horizons (Millenium, en la traducción al inglés) ayudó a inspirar el acercamiento de Java y Jini a la siguiente era de la computación ubicua.^[127] En su nuevo libro Fraternités, Attali describe la manera en que nuestros sueños de utopía han cambiado con el tiempo:

En el despertar de nuestras sociedades, los hombres veían su paso por la Tierra sólo como un laberinto de dolor, al final del cual se erguía una puerta que conducía, a través de la muerte, a la compañía de dioses y a la Eternidad. Con los hebreos y después los griegos, algunos hombres se animaron a liberarse de las demandas teológicas y soñar una Ciudad ideal donde la Libertad florecería. Otros, percibiendo la evolución de la sociedad de mercado, comprendieron que la libertad de algunos conllevaría la alienación de otros, y persiguieron la Igualdad.

Jacques me ayudó a entender cómo estas tres diferentes metas utópicas hoy coexisten en tensión en nuestra sociedad. Sigue adelante para describir una cuarta utopía, Fraternidad, cuya base es el altruismo. La Fraternidad en sí asocia la felicidad individual a la felicidad de los otros, haciéndose cargo de la promesa de autosustentamiento.

Esto cristalizó el problema que me producía el sueño de Kurzweil. Un acercamiento tecnológico a la Eternidad semi-inmortalidad a través de la robótica quizás no sea la utopía más deseable, y su búsqueda conlleva grandes peligros. Quizás debamos repensar nuestras elecciones utópicas.

¿Adónde podemos mirar para hallar una nueva base ética con que definir el rumbo? Las ideas del libro Ética para el Nuevo Milenio, del Dalai Lama, me han parecido muy útiles. Como a lo mejor se sabe, pero se recalca poco, el Dalai Lama afirma que la cosa más importante para nosotros es llevar nuestras vidas con amor y compasión por los otros, y que nuestras sociedades necesitan desarrollar nociones más fuertes de responsabilidad universal y acerca de nuestra interdependencia; propone un standard de conducta ética positiva para individuos y sociedades que parece consonante con la utopía de Fraternidad de Attali.

El Dalai Lama además afirma que debemos comprender qué es lo que hace feliz a la gente, y tomar conciencia de las firmes evidencias de que ni el progreso material ni la búsqueda de poder del conocimiento son la clave que hay límites para lo que la ciencia y la investigación científica solas pueden hacer.

Nuestra noción occidental de felicidad parece venir de los griegos, quienes la definieron como «el ejercicio de poderes vitales a lo largo de líneas de excelencia, en una vida que promueve su libertad».^[128]

Ciertamente, necesitamos encontrar desafíos consistentes y suficientes campos de libertad en nuestras vidas si vamos a ser felices en lo que sea que nos espera. Pero creo que debemos encontrar vías de escape alternativas para nuestras fuerzas creativas, más allá de la cultura del crecimiento económico perpetuo; este crecimiento ha sido una gran bendición por varios cientos de años, pero no nos ha dado una felicidad carente de impurezas, y ahora debemos elegir entre perseguir un crecimiento irrestricto y sin dirección a través de la ciencia y la tecnología y los claros peligros que acompañan a esto.

Ha pasado más de un año desde mi primer encuentro con Ray Kurzweil y John Searle. Veo a mi alrededor motivos de esperanza en las voces de cautela y renuencia y en aquellas personas que he descubierto que están tan preocupadas como yo acerca de nuestra predica actual. Tengo, también, un sentimiento de responsabilidad personal más profundo no por el trabajo que ya he realizado, sino por el trabajo que todavía podría realizar, en la confluencia de las ciencias.

Pero muchas otras personas que saben de los peligros todavía permanecen extrañamente en silencio. Si se las presiona, sueltan el ya conocido esto no es nada nuevo como si saber lo que podría pasar fuera suficiente responsabilidad. Me dicen, hay universidades llenas de investigadores de bioética que estudian estos temas todo el día. Dicen todo esto ya está escrito de antes, y por expertos. Se quejan, tus preocupaciones y argumentos ya son cosa vieja.

No sé dónde esconden su temor estas personas. Como arquitecto de sistemas complejos, entro a esta arena como no-profesional. ¿Pero esto debería desmerecer mis inquietudes? Estoy al tanto de cuánto se ha escrito al respecto, hablado al respecto y conferenciado al respecto, con tanta autoridad. ¿Pero esto quiere decir que le llegó a la gente? ¿Quiere decir que podemos olvidar los riesgos que nos esperan?

Saber no es una respuesta racional suficiente como para no actuar. ¿Podemos dudar de que el conocimiento se ha vuelto un arma que manipulamos contra nosotros mismos?

Las experiencias de los científicos atómicos muestran claramente la necesidad de asumir responsabilidad personal, el peligro de que las cosas vayan demasiado rápido y la manera en que un proceso puede cobrar vida propia. Podemos, como hicieron ellos, crear problemas insuperables en lapsos de tiempo casi nulos. Debemos realizar más trabajo de reflexión si no queremos ser sorprendidos de la misma manera y shockearnos con las consecuencias de nuestros inventos.

Mi trabajo personal sigue siendo el mejoramiento de la confiabilidad del software. El software es una herramienta, y como diseñador de herramientas debo luchar con los usos a los que se someten las herramientas que hago. Siempre he creído que hacer más confiable el software, dados sus múltiples usos, hará del mundo un lugar mejor y más seguro; si llegara a pensar lo contrario, estaría moralmente obligado a detener mi trabajo. Ahora puedo imaginar que un día así pueda llegar.

Todo esto no me enoja pero me deja, al menos, un poco melancólico. De aquí en más, el progreso, para mí, será de algún modo agridulce.

¿Recuerdan la hermosa penúltima escena de Manhattan donde Woody Allen está tirado en su sillón y le habla a un grabador? Relata una historia sobre personas que se crean a sí mismas problemas innecesarios, neuróticos, porque eso los mantiene alejados de afrontar otros problemas espeluznantes, sin solución, acerca del universo.

Se hace a sí mismo la pregunta, ¿Qué hace que valga la pena vivir la vida? y se responde lo que es importante para él: Groucho Marx, Willie Mays, el segundo movimiento de la sinfonía Júpiter, la grabación de «Potato Head Blues» de Louis Armstrong, las películas suecas, La Educación Sentimental de Flaubert, Marlon Brando, Frank Sinatra, las manzanas y peras de Cézanne, los cangrejos en «Sam Wo» y, por último, el desenlace: la cara de Tracy, su amor.

Cada uno de nosotros tiene sus cosas preciosas, y al cuidar de ellas localizamos la esencia de nuestra humanidad. A la larga, es debido a nuestra gran capacidad para cuidar y proteger que todavía soy optimista de que confrontaremos con los peligrosos temas que tenemos por delante.

Mi expectativa inmediata es la de participar en una discusión mucho más amplia sobre los temas tratados aquí, con gente proveniente de diversas prácticas, con un programa que no se predisponga a temer o favorecer a la tecnología por su misma razón de ser.

Para empezar, he presentado dos veces estos temas en eventos organizados por el Aspen Institute y además he propuesto que la Academia Americana de Artes y Ciencias los tome como una extensión de su trabajo en las Conferencias Pugwash. (Éstas se han realizado desde 1957 para discutir el control de armas, en especial de armas nucleares, y para formular políticas viables.)

Es una lástima que los encuentros Pugwash empezaran recién cuando el genio ya hubiera salido hace bastante de la botella unos 15 años tarde. Nosotros también estamos teniendo una salida retardada para confrontar con los temas de la tecnología del siglo XXI la prevención de la destrucción masiva habilitada por el conocimiento, y mayores retrasos se tornan inaceptables.

Así que todavía estoy investigando; hay muchas más cosas para aprender. Vayamos a tener éxito o a fracasar; vayamos a sobrevivir o a caer víctimas de estas tecnologías, no está decidido todavía. Me quedé despierto hasta tarde otra vez son casi las 6 AM. Estoy tratando de imaginar mejores respuestas, de romper el hechizo y liberarlas de la piedra.

Abril, 2000.