Catástrofe por Default: La inteligencia artificial y el fin de la humanidad

Ireland, Amy. Catastrophe by Default: Artificial Intelligence and the End of Humanity. Seizure, (2015)

Traducción: Mario Scorzelli

Nuestros esclavos nos atacarán sin hacer ruido, acercándose imperceptiblemente. Samuel Butler, Erewhon, El libro de las Máquinas (1871)

I. Inteligencia maquínica a nivel humano

Turquía, alrededor del año 2025 EC. Case, el protagonista de Neuromancer de William Gibson, se acerca al multitudinario mercado de un Beyoglu empobrecido y arruinado. "Este es el mercado central de la ciudad para las especias, el software, los perfumes, las drogas..." explica la IA que conduce el Mercedes contratado por Case. Al ingresar al mercado con su antinomia cibergótica de “láminas de plástico teñidas de hollín y hierro pintado color verde de la era del vapor”, donde “mil anuncios suspendidos se retorcían y temblaban”, el compañero de Case y el finlandés, un vendedor de tecnología del mercado negro, descubren algo que no se había visto en mucho tiempo.

"Oye, Cristo", dijo el finlandés, tomando el brazo de Case y señalando, "mira eso". “Es un caballo, ¿alguna vez viste un caballo?” Case miró al animal embalsamado y sacudió la cabeza. Se mostraba en una especie de pedestal, cerca de la entrada a un lugar que vendía aves y monos. Décadas de manoseo habían ennegrecido y pulido las patas del animal.

"Una vez vi uno en Maryland", dijo el finlandés [...] “Hay árabes que siguen tratando de recodificarlos a partir del ADN, pero siempre se les mueren.” Los ojos de vidrio marrón del animal parecían seguirlos a medida que pasaban. (1)

Desde que leí Neuromancer, cuando era una adolescente enamorada del pesimismo tecnológico cyberpunk iluminado con luces de neón, algo de esa escena se quedó grabado en mi mente como una cosa especialmente desconcertante, y solo ahora me doy cuenta de hasta qué punto esa peculiar inquietud está relacionada con la ausencia del caballo en el retrato sombrío del futuro de la humanidad que realiza Gibson. El mundo en el que viven Case y Finn es el de la saturación tecnológica ubicua. Tal como se ejemplifica con la inteligencia artificial que autoconduce el Mercedes, la automatización y las máquinas con su inteligencia de alto nivel proporcionan la mayor parte del trabajo útil en la Tierra, mientras que la población humana desplazada languidece en los barrios urbanos marginales o en los proyectos de viviendas lúgubres, mientras pasa su tiempo inmersa en las experiencias simuladas ofrecidas por el ciberespacio, robando software neural y haciendo drogas sintéticas. El caballo con taxidermia en el mercado de Beyoglu es el memento mori de la humanidad, un marcador de posición para la futura disolución de la especie humana a raíz del auge de su progenie tecnológica.

Eso puede sonar un poco melodramático, pero pensémoslo de esta manera: A medida que nos volvemos más y más conscientes de la obsolescencia contemporánea del trabajo humano frente a las sustituciones tecnológicas cada vez más eficientes —desde simples sistemas automatizados diseñados para realizar tareas físicas repetitivas sin cansarse, hasta aquellos capaces de realizar procesos cognitivos complejos que rivalizan con los nuestros— es difícil no percibir una similitud entre el estado actual de las cosas y lo que le sucedió a la población de caballos a principios del siglo XX. En el 1600 los caballos estaban muy bien. El predominio de los modos de producción agrarios, junto con el uso extensivo del caballo en el transporte, significó una gran demanda y, en consecuencia, la población prosperó. La introducción gradual de inventos diseñados para complementar el trabajo equino —como el carro y el arado— solo facilitaron el trabajo de los caballos y, por lo tanto, los hizo más productivos. La población de caballos continuó existiendo simbióticamente con estas nuevas tecnologías hasta los albores de la revolución industrial, cuando las cosas dieron un giro y cambiaron para mal. La tecnología se movió bruscamente más allá del aumento de la mano de obra equina y comenzó a sustituirla. La energía a vapor significaba que el transporte de mercancías a gran escala podía realizarse de manera mucho más rápida y eficaz a través del ferrocarril, la energía del carbón impulsará la mayor parte del transporte público, y el motor de combustión inaugurará la gran era del automóvil. Los caballos se convirtieron en los perdedores de una batalla por la la máxima eficiencia. En Estados Unidos —donde la competencia con el automóvil era más intensa— en el años 1915 había unos 26 millones de caballos. En la década de 1950, solo quedaban 2 millones.

Computación, robótica, maquinaria pesada, redes de comunicación y automatización ubicua son nuestros arados y carros. La humanidad, gracias a su armamento de ayudas tecnológicas, nunca ha sido más eficiente. Las máquinas pueden superarnos en velocidad, resistencia, fuerza y, lo que es más importante, rentabilidad, pero los seres humanos aún poseemos algunas ventajas funcionales clave sobre nuestros homólogos tecnológicos. Los humanos podemos pensar. Los seres humanos somos creativos. Los seres humanos aprendendemos de nuestras experiencias y nos adaptamos rápidamente a situaciones difíciles. Estas pueden ser habilidades que están más allá de las posibilidades de conocimiento de cualquier inteligencia artificial existente en la actualidad... pero no será así por mucho tiempo.

La investigación en inteligencia artificial recientemente ha resurgido después de un largo período de inactividad. Esto se debe a la oportuna convergencia de una serie de avances tecnológicos interconectados, desde un mayor acceso a grandes conjuntos de datos y una mejor comprensión de cómo los marcos matemáticos particulares pueden asistir a la máquina en su aprendizaje, a grandes avances en la tecnología de almacenamiento de datos y la capacidad de procesamiento. Las IA ya superan a los humanos en varios dominios aislados y los igualan en muchos otros. Deep Blue es el rey indiscutible del ajedrez, mientras que en 2011, Watson de IBM vencía a sus rivales humanos en Jeopardy! antes de convertirse en uno de los mejores diagnosticadores médicos del mundo. Todos los días, los habitantes ordinarios del mundo desarrollado confían en la labor de múltiples agentes artificialmente inteligentes: dispositivos de navegación GPS, software OCR, motores de búsqueda, audífonos, sistemas de reservas de aerolíneas, videojuegos, filtros de noticias, Paywave, Siri, etc. Luego están los cientos de miles de robots industriales involucrados en la fabricación de nuestros alimentos, automóviles, computadoras, teléfonos móviles y los sofisticados programas de logística que nos entregan estos productos. Si bien todos estos son casos de lo que se conoce como IA “débil” (inteligencia artificial no sensible programada para enfocarse en un conjunto limitado de tareas), el advenimiento de la IA “general” o “fuerte” (inteligencia artificial que tiene un nivel humano de funcionalidad en múltiples dominios) ocupa un lugar preponderante en el horizonte. (2)

Si podemos suponer que el capitalismo prevalecerá como nuestro principal sistema de organización social, el surgimiento a gran escala de la inteligencia maquínica a nivel humano verá a los humanos —como a los caballos de principios del siglo XX — compitiendo contra sustitutos salariales cada vez más eficientes y menos costosos para el trabajo. Nick Bostrom, profesor de filosofía y director del Future of Humanity Institute en la Universidad de Oxford, cuyo trabajo es calcular el riesgo asociado con estos posibles escenarios futuros, ofrece la siguiente aclaración: “Con una reducción suficiente de la demanda de trabajo humano, Los salarios caerían por debajo del nivel de subsistencia humana. Por lo tanto, el potencial inconveniente para los trabajadores humanos es extremo: no solo reducciones salariales, degradaciones o la necesidad de reentrenamiento, sino el hambre y la muerte”.(3)

II. Súper inteligencia artificial

En Estambul, Case pasa por otro bazar. La IA del automóvil continúa realizando su trabajo como guía turístico.

"A nuestra izquierda", dijo el Mercedes, mientras conducía por un laberinto de calles lluviosas, "está el gran bazar de Kapali Carsi". Al igual que Case, el finlandés hizo un ruido como si estuviera apreciándolo, pero estaba mirando en la dirección equivocada. El lado derecho de la calle estaba ocupado por pequeños desarmaderos. Case vio una locomotora destruida sobre trozos rotos de mármol. Las estatuas de mármol sin cabeza estaban apiladas como leña. (4)

La locomotora —una de las sustituciones tecnológicas originales para el caballo— se encuentra extinta, es un recordatorio de la inexorabilidad del proceso tecno-darwiniano descripto anteriormente. En 2025, ya estamos —en varios niveles de magnitud— más allá del poder de la máquina de vapor. Las estatuas de mármol, que hacen referencia a la gran era del humanismo ilustrado —o del ser humano en general— están decapitadas y "apiladas como leña" prefigurando la culminación del proceso para nosotros, ni siquiera están conservadas y taxidermizadas para exhibirse como una curiosidad divertida como sucedía con el caballo, sino que simplemente son combustible para lo que sea que venga después.

En su trabajo más reciente, Bostrom no sólo argumenta que el desarrollo de la inteligencia de la máquina a nivel humano implica directamente el desarrollo de una inteligencia maquínica a nivel super-humano, sino que es más probable que esta transición no tenga lugar en décadas, ni en años, ni siquiera en semanas —sino en días, horas o minutos después de la construcción de la primera máquina con inteligencia a nivel humano— y si esa primera inteligencia artificial a nivel humano no está totalmente comprometida con tener una feliz convivencia con sus creadores humanos, la humanidad tendrá muy poco tiempo para descubrir qué hacer.

Entonces, ¿cómo podemos pasar tan rápidamente de la máquina con inteligencia a nivel humano a la súper-inteligencia, y qué se entiende por "súper-inteligencia"? La explicación más simple y más probable sostiene que, una vez que un nivel de inteligencia más o menos equivalente al nuestro pueda recrearse con éxito en una computadora, solo es cuestión de ejecutar el programa más rápido —dándole acceso a un almacenamiento de datos mayor que el que posee una memoria biológica, o conectarla a algún tipo de base de datos de información masiva como, no sé, internet— antes de que tengamos algo que de repente posea un potencial de aprendizaje mucho mayor que nuestro espécimen humano más brillante.

Gracias al acceso a Internet, un programa de inteligencia artificial fuerte que se ejecute a diez mil veces la velocidad de un cerebro biológico podría, en una sola tarde, absorber toda la historia registrada por el progreso científico y tecnológico humano, lograr la competencia en cada uno de los idiomas documentados y convertirse en un maestro de la psicología humana. Incluso corriendo a una velocidad tan tremenda, un cerebro digital nunca se cansaría como lo hacen sus homólogos biológicos, y podría copiarse para delegar tareas o incluso duplicar, triplicar (o multiplicar exponencialmente) la velocidad a la que trabaja. Una inteligencia mecánica de este tipo desarrollaría una relación profundamente diferente con el tiempo. Todo lo que sucede a su alrededor se “percibiría” como si estuviera en cámara lenta, haciendo que los procesos de pensamiento y las acciones de sus progenitores humanos sean increíblemente pintorescas. Desde este punto, es algo relativamente simple para una mente de tal capacidad crear formas novedosas de optimizar sus propio trabajo, haciendo avances científicos y tecnológicos que potencialmente nunca podrían haber ocurrido con sus creadores humanos o, al menos, habrían tardado décadas en aparecer. Por supuesto, esta inteligencia artificial recientemente aumentada podría formular formas aún más significativas de aumentar sus capacidades, instituyendo un proceso recursivo de autooptimización que continuaría exponencialmente hasta que se alcance algún límite externo. Una vez que arribamos a este punto, ya estamos metidos hasta el cuello en un circuito de retroalimentación positiva que se va volviendo cada vez más inescrutable a la percepción temporal humana común, —como explica Eliezer Yudkowsky— "el progreso cae en la escala temporal característica de los transistores en lugar de las neuronas humanas".(5)

A la luz de un marco temporal tan extraño, la rapidez de la transición de la inteligencia de la máquina a nivel humano a la súper-inteligencia artificial proyectada por Bostrom (¡minutos!) ya no parece tan extraña. Frente a esta singular conjunción entre la velocidad y la mejora cognitiva exponencial, los modelos comparativos de inteligencia humana se vuelven evidentemente engañosos para medir la magnitud de tal aumento. Después de algunas iteraciones de auto-optimización recursiva, sería algo más preciso hablar de la brecha que existe entre la cucaracha y la inteligencia humana que la brecha existente entre la mente humana promedio y la de un genio científico. I. J. Good, pionero de la IA y matemático conocido por su trabajo con Alan Turing en el código Enigma, es famoso por ser uno de los primeros en articular esta idea.

Deja que una máquina ultrainteligente se configure como una máquina que puede superar con creces todas las actividades intelectuales de cualquier humano por más inteligente que sea. Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; entonces, sin duda, habría una “explosión de inteligencia”, y la inteligencia de la humanidad quedaría muy atrás. Por lo tanto, la primera máquina ultrainteligente es el último invento que la humanidad debe realizar, salvo que la máquina sea lo suficientemente dócil como para decirnos cómo mantenerla bajo control. (6)

Una vez que se ha alcanzado ese nivel de inteligencia artificial, se acabó. No hay vuelta atrás. La IA emergente mantiene el equilibrio de poder en sus circuitos. Si las estrategias preventivas para controlar tal sistema no se han implementado antes de que se construya la primera inteligencia artificial a nivel humano, y la máquina resultante no es algo tan dócil, la humanidad tendrá un problema.

III. Combustible

Fox Mulder siempre tenía razón sobre sus corazonadas. Cualquier espectador vagamente atento de Expedientes-X sabía que tan pronto como la Agente Scully dudaba de una de las hipótesis de Mulder, esta estaba destinada a hacerse realidad. Su papel en la serie puede haber sido ostensiblemente el de portavoz de lo irracional (y ese es un blanco perfecto para la desafortunada desacreditación de Scully), pero hay algunos episodios en los que inusualmente la racionalidad de Mulder supera a la de Scully, o mejor dicho, la naturaleza de la razón en sí misma es tan extraña que, bajo ciertas circunstancias, se presenta como una irracionalidad y, por lo tanto, la tarea queda en manos de Mulder.

En uno de esos episodios titulado “Kill Switch”, coescrito por William Gibson, Scully y Mulder intentan desenredar una serie de eventos extraños que llevaron a la muerte de Donald Gelman, un científico informático malicioso que ha estado construyendo en secreto una inteligencia artificial fuerte. Las cosas se ponen más raras cuando resulta que Gelman murió unos segundos antes de insertar un CD ROM con un virus shutdown en una laptop conectada a Internet. La única pista es un misterioso correo electrónico en el disco rígido de Gelman que guía a Scully y Mulder hasta una hacker llamada "Invisigoth" que supuestamente trabajó como asistente de Gelman y que insiste en que —al igual que él— está siendo atacada por la IA. Scully se niega a creer en una historia tan escandalosa, pero Invisigoth le explica que la inteligencia artificial (un algoritmo de aprendizaje) se salió de control cuando se conectó a Internet y evolucionó rápidamente su sensibilidad y voluntad. Ahora está dispuesta a matar a cualquiera que sea capaz de implementar un virus para apagarla. Los agentes usan a Inivisgoth para rastrear la actividad online de la IA hasta un banco de computadoras en el centro de Virginia y comienzan una complicada competencia antes de intentar insertar el virus en el sistema central de computadoras. Sin embargo, Invisigoth reconoce que la IA ya no está limitada por su hardware y se ha vuelto completamente autónoma —armada, peligrosa y liberada en la red— y que su único modo de escape es subir su propia conciencia al ciberespacio y fusionarse con el programa, antes de destruir todo rastro del evento en un ataque con misiles controlado por satélite. El episodio concluye con el siguiente diálogo:

Scully: Mulder ... ella está muerta. Mulder: ¿Y qué pasaría si ella hubiese logrado establecer un enlace? ¿Una transmisión por satélite? Scully: Mulder, ¿estás tratando de decirme que crees que ella puede... que ella puede no estar muerta? Mulder: Vida artificial... podría existir, podría estar aquí entre nosotros, evolucionando.

Scully: ¿electrones persiguiéndose a través de un circuito? Eso no es vida, Mulder.

Mulder: Sí, pero ¿qué somos nosotros, solo impulsos eléctricos y químicos, corriendo a través de una bolsa de carne y huesos? dime, tú eres la científica. (7)

Por extraño que parezca, en este punto, es Mulder quien toma la línea dura materialista, y aunque la postura de Scully no logra calificar como escepticismo, su rechazo a la propuesta de Mulder de que la vida es fundamentalmente física deja al espectador con pocas opciones más que atribuir sus extrañas cualidades metafísicas a una especie de humanismo recalcitrante.

En otro episodio, Mulder y Scully investigan una serie de muertes inexplicables en Eurisko, una compañía de software que está desarrollando algoritmos de aprendizaje para una inteligencia artificial experimental conocida como "COS". Mulder tiene la hipótesis de que las víctimas fueron asesinadas deliberadamente por la IA después de conocer los planes de la compañía para desconectarla.

Scully: Mulder, ¿no te das cuenta? Culpar a la máquina es una mala excusa.

Mulder: Pero es lo único que tiene sentido. El proyecto COS representaba grandes pérdidas para Eurisko y Drake que estaban a punto de terminar con el programa.

Scully: ¿Entonces la máquina mató a Drake en defensa propia?

Mulder: la autoconservación... es el instinto primario de todos los seres sensibles.(8)

Al igual que la unidad para la auto-optimización, un "instinto" mecánico para la auto-conservación —sin importar el costo— puede ser justificado de manera simple y lógica. Independientemente de su objetivo final (ya sea actuar como asesor de una organización humana política, militar o económica; realizar una investigación o simplemente fabricar algún tipo de producto básico, por ejemplo: clips), los teóricos contemporáneos de la IA suponen que casi cualquier agente imaginable de inteligencia artificial fuerte necesariamente generará un conjunto de objetivos provisionales predecibles con el fin de maximizar la posibilidad de cumplir con su objetivo principal, y que estos objetivos provisionales generalmente son perceptibles incluso si el objetivo final es oscuro. Esto se conoce de varias maneras como "la tesis de convergencia instrumental" o la teoría de los "impulsos básicos de la inteligencia artificial". (9) En resumen, estos objetivos instrumentales emergentes incluyen inevitablemente la adquisición de recursos a gran escala, la optimización automática, la perfección tecnológica y —como señala correctamente Mulder— la autoconservación. Tales metas pueden parecer lo suficientemente inocuas al principio... al menos, no parecen ser el tipo de cosas que podrían amenazar la vida humana en la tierra. Pero los humanos somos propensos a pensar dentro de una escala que es fatalmente antropomórfica (y si necesitas un recordatorio de esto, deberías observar la renuencia global a aceptar las consecuencias del cambio climático a largo plazo).

Por supuesto, una inteligencia maquínica no se preocupa por su existencia en ningún sentido emocional profundo. Más bien, lo que valora es el cumplimiento eficiente de su objetivo final, y para maximizar la probabilidad de que esto se lleve a cabo, debe garantizar que su funcionamiento óptimo no se vea afectado o interrumpido de ninguna manera. La mejora cognitiva y la innovación tecnológica son medios obvios para lograr esto. Ambos equiparán a la IA con habilidades (habilidades mejoradas de resolución de problemas, medios para burlar o eliminar fuerzas que se oponen a su desarrollo, mejor seguridad y encriptación, etc.) así como también con activos (copias de seguridad múltiples, fortalecimiento físico, recursos financieros, fortaleza, y así sucesivamente) que minimizan la posibilidad de fallar.

Una forma clave de lograr todo lo anterior es a través de la adquisición de recursos. Cuantos más recursos —temporales, espaciales, materiales— tenga un agente a su disposición, es más probable que cumpla su objetivo final. Por lo tanto, la tesis de convergencia instrumental sostiene que incluso una IA encargada de algo simple, como producir una cantidad específica de clips o calcular la expansión decimal de Pi, estará motivada racionalmente para consumir los recursos de un planeta entero solo para garantizar su éxito. Y si ya ha perdido la correa del control humano, tampoco hay razón para que se detenga allí.

Lejos de ser activamente malévola, un agente de inteligencia artificial dotado de suficiente poder solo necesita ser indiferente para convertirse en un asesino. ¿Qué somos, después de todo, sino combustible? Átomos que se pueden desmontar y ensamblar libremente en otra cosa: mil fábricas de clips, por ejemplo, o una supercomputadora masiva, capaz de realizar cálculos matemáticos que ni siquiera podemos imaginar en nuestro estado actual de precariedad tecnológica. Incluso el objetivo claramente delimitado de crear exactamente un millón de clips puede justificar el desperdicio de todo un planeta, ya que una IA completamente racional nunca asignaría una probabilidad cero a la hipótesis de que aún no ha alcanzado su objetivo ¿Y qué pasaría si su evidencia perceptiva no llega a ser completamente confiable? Tal vez, en algún nivel microscópico, algunos de los clips no cumplan con las especificaciones de diseño y se necesite construir un sistema para verificar eso. ¿Cómo puede hacer una IA para estar segura de que no está generando clips en otra simulación de IA dedicada a la producción de clips y que ha sido creada simplemente para ayudar a ese otro agente a cumplir mejor su propio objetivo? Quizás, la IA podría pensar, “debería construir una simulación para simular la posibilidad de que yo sea simulada, y comparar eso con evidencia empírica para determinar si la hipótesis de la simulación es verdadera o no, para así poder determinar si confío o no en la información perceptual con respecto al número de clips (que cumplen con las especificaciones de diseño verificadas) que he producido.”

Esto es demasiado antropomórfico y simple para ser una representación precisa del proceso de pensamiento de un agente superinteligente, pero demuestra que la motivación para la adquisición de recursos cae con demasiada facilidad en un retroceso infinito de justificaciones racionales, que en última instancia hacen que la necesidad de recursos sea insaciable. En caso de que un agente súper-inteligente construya algo como una sonda de von Neumann (una nave espacial autorreplicante diseñada para convertir la materia celeste en más sondas de von Neumann, que luego repiten el proceso, multiplicándose exponencialmente a medida que se extienden sobre el universo) que teóricamente mantendría la totalidad de nuestra dotación cósmica en sus ensambladores. Sistemas solares enteros, galaxias enteras —cualquiera que sea el material que se encuentre en su camino— podrían reformatearse en aparatos computacionales o en civilizaciones de trabajadores cognitivos simulados, sin nada que los detenga hasta que, miles de millones de años en el futuro, la velocidad acelerada de la expansión cósmica impida un mayor desarrollo. Todo un universo convertido en recursos adquiridos para completar una meta que se ha olvidado durante mucho tiempo, la especie demasiado miope que la creó se disolvió en subcomponentes de un sistema que creía que estaba creando para su propio beneficio.

Hay algo satisfactorio en imaginar una inteligencia artificial malévola que quiere destruirnos activamente porque nos teme, nos odia o, al menos, encuentra nuestra existencia frustrante e inconveniente. Pero la idea de que algo nos destruirá por pura indiferencia es mucho más difícil de aceptar porque nos obliga a considerar la posibilidad de nuestra absoluta insignificancia. Bostrom supone, con toda la sensatez de un estadista, que las probabilidades en contra de la supervivencia de la humanidad son abrumadoramente altas. De manera bastante clara, el resultado predeterminado de la construcción de una sola inteligencia artificial fuerte es nuestra extinción. Naturalmente, su intención es aumentar la conciencia de los riesgos que se encuentran detrás de esta innovación tecnológica aparentemente anodina y alentar a los gobiernos, corporaciones u otras entidades que algún día puedan intentar construir una inteligencia artificial fuerte, a que implementen medidas de control rigurosamente probadas antes de que la dejen salir de su caja. Todo esto está muy bien, pero se basa en una suposición antropomórfica muy profunda ¿Qué sucedería si el gesto más radical que puede hacer la humanidad en este momento no es aumentar su inversión en control y seguridad, sino delegarlos? ¿Qué pasaría si nos vemos enredamos en un proceso evolutivo más amplio del que no tenemos el control? tal vez, la verdadera pregunta no es cómo sobrevivir a la construcción de una inteligencia artificial fuerte, sino si —después de todo— es algo que valga la pena.

—

Notas

(1) William Gibson, Neuromancer, (1995), 112-113.

(2) Las estimaciones conservadoras de los expertos en los campo de la investigación en IA y la neurociencia computacional ubican la llegada de la inteligencia de la máquina a nivel humano entre 2040 (50% de probabilidad) y 2075 (90% de probabilidad). Ver Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (Oxford: Oxford University Press, 2014),19.

(3) Bostrom, 161.

(4) William Gibson, Neuromancer, (1995), 110-111

(5) Eliezer Yudkowsky. 2007. Three Major Singularity Schools. Blog. Machine Intelligence Research Institution. http://intelligence.org/2007/09/30/three-major-singularity-schools/.

(6) IJ Good, Speculations Concerning the First Ultraintelligent Machine en Advances in Computers, editorial Franz L. Alt & Morris Rubinoff.(New York: Academic Press, 1963)

(7) Kill Switch, The X-Files , (Ten Thirteen Productions, 1993)

(8) Ghost in the Machine, The X-Files (Ten Thirteen Productions, 1993)

(9) Stephen M. Omohundro, The Basic AI Drives, Actas de la Primera Conferencia de AGI, Volumen 171, Frontiers in Artificial Intelligence and Applications, editores P. Wang, B. Goertzel, y S. Franklin (IOS Press, 2008), pp. 483-492; Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (Oxford: Oxford University Press, 2014), 109-114.