De un tiempo a esta parte oímos hablar mucho de robots, inteligencia artificial, coches autónomos, los cambios que traerá la cuarta revolución industrial, en definitiva de como por enésima vez la automatización nos va a dejar sin trabajo a todos. Este es un tema muy interesante... del que no voy a hablar, al menos no hoy. Lo que me interesa es otro problema quizá menos del día a día pero que puede tener consecuencias muy graves: los "robots asesinos" o, por usar un nombre menos sensacionalista, la robotización de la guerra.
Está claro que lo mismo que se puede robotizar un puesto de trabajo en la industria, se puede robotizar un tanque o un avión de caza. No hablo aquí de drones controlados desde tierra, sino de auténticas armas autónomas. Naciones Unidas creó un grupo de trabajo para estudiar una posible prohibición de las armas autónomas a finales del año pasado, pero de hecho sus trabajos se han retrasado... por falta de fondos. Entretanto, el pasado 21 de agosto, el fundador de Tesla, Elon Musk, y otros 116 expertos y tecnólogos enviaron una petición a la ONU para que actúe urgentemente en este tema. A cualquiera se le ocurren bastantes motivos para una petición así; por citar uno, el hecho de que la guerra sea en principio más barata en términos de vidas de soldados puede hacerla mucho más atractiva, con terribles consecuencias para la población civil. Sin embargo, yo quiero llamar la atención sobre un aspecto que me parece bastante menos obvio, y que tiene que ver con mi campo de trabajo: los sistemas complejos.
El aspecto que me preocupa de estas armas autónomas es que, cuando hay muchas de ellas actuando a la vez, sus interacciones pueden conducir a un comportamiento colectivo que ni nos sospechamos. Y aquí es donde entran los robots buenos e inofensivos, a los que por desgracia les pasa lo mismo. Este es el tema de un trabajo publicado este año por un grupo de la Universidad de Oxford, que se supone que es la mejor del mundo: concretamente por M. Tsvetkova (ahora en la LSE), R. García-Gavilanes (ahora en Skyscanner), L. Floridi y T. Yasseri, del Oxford Internet Institute. El objetivo del trabajo son los robots, o bots, como se les suele llamar en el contexto de internet, que utilizan los editores de Wikipedia para mejorarla automáticamente. Así, como recoge la propia Wikipedia, los bots se utilizan para simplificar o automatizar tareas cuya realización manual resultaría muy tediosa. Estos bots, que no pensemos que son físicos sino que son programas de ordenador, se encargan de ir revisando la Wikipedia y por ejemplo, mover artículos de una categoría a otra que vean más apropiada de acuerdo a quién los ha programado, o verificar que siguen existiendo los enlaces de un artículo y en caso de que no eliminarlos. Como muestra el gráfico adjunto, no hay muchos bots en Wikipedia, pero su volumen de trabajo es importante:
El gráfico A muestra la proporción de bots entre los que editan artículos de Wikipedia o, mejor dicho, no lo muestra, porque su número es menos del 0.1% del total. Las distintas columnas corresponden a distintos idiomas de Wikipedia. Lo que el gráfico llama "vandals" es lo que normalmente denominamos "trolls" (vemos por ejemplo que en la Wikipedia en español hay un 25% de trolls), y los humanos son humanos normales. De ellos, solo los que tienen cierto nivel, definido en la política de Wikipedia, pueden crear bots. Pese a su escaso número, el gráfico B muestra que los bots trabajan mucho, y son responsables de un número de ediciones de artículos de Wikipedia que va del 10 al 50%. De estas ediciones, los autores de la investigación se fijan en los "reverts": cambios en artículo que consisten en deshacer cambios anteriores sin agregar nada, simplemente dejando el artículo como estaba. Los bots hacen menos reverts que los humanos y a su vez sus cambios son "revertidos" menos veces. En este tipo de edición es en la que se centra la investigación, por ser más fácilmente cuantificable y porque además es lo que suele ocurrir cuando hay "guerras" entre editores: dos o más personas o grupos de personas se dedican a eliminar los cambios de los otros una y otra vez.
Lo que encuentra la investigación es que los robots se enmiendan la plana mutuamente mucho: por ejemplo, en la Wikipedia inglesa, sobre un período de diez años, un bot borra lo que ha hecho otro unas 105 veces, mientras que en un humanos el promedio es 3 veces. La Wikipedia alemana tiene bots menos conflictivos (24 actuaciones sobre otros bots en promedio) mientras que la portuguesa es la más conflictiva (185 actuaciones en promedio), si bien esto se debe a que los bots portugueses editan más que los alemanes. De hecho, este alto número de interacciones "belicosas" se debe en general a que los bots son más trabajadores, y como hemos dicho antes y muestra la figura D, la proporción de sus ediciones que se "revierte" es menor que en humanos. Como ejemplo, pensemos dos bots. El bot 1 tiene instrucciones de ir recorriendo las páginas de Wikipedia en inglés y poner enlace a las palabras que encuentre que tienen contraparte en español, pero si una palabra es ambigua te manda a la página de desambiguación. El bot 2, por otro lado, hace lo mismo pero elige una página concreta y no la de desambiguación. Con estos dos programas ya tenemos pelea: Primero pasa el bot 1 y enlaza una palabra a una página. Pasa el bot 2, no le gusta lo que ha hecho el bot 1, y lo cambia. Pasa otra vez el bot 1 y lo revierte de nuevo de acuerdo a su criterio, y así sucesivamente durante años...
La consecuencia principal de todas estas "luchas" es que los bots, diseñados individualmente para mejorar Wikipedia, acaban generando guerras larguísimas y comportándose de manera altamente ineficiente. En el artículo se muestra que hay bots que se han estado corrigiendo una y otra vez durante años, sin que nadie lo advierta (obviamente, no los humanos, pero ni siquiera los propios bots que ni sufren ni padecen). Eso hace que lo que uno consulta en la Wikipedia en un artículo en el que haya una guerra de bots depende del momento en que lo consulte. Por otro lado, hay bots particularmente belicosos, como Xqbot, EmausBot, SieBot, y VolkovBot, todos ellos especializados en corregir enlaces entre Wikipedias de distintos idiomas. Además, aunque hay pocos artículos donde haya mucha pelea, aquellos en las que la hay suelen ser los mismos en distintos idiomas, como es el caso de Pervez Musharraf (antiguo presidente de Pakistan), Uzbekistan, Estonia, Bielorrusia, idioma árabe, Niels Bohr, o Arnold Schwarzenegger. Esto sugiere que muchas de las luchas entre bots ocurren entre distintos idiomas en vez de dentro de la Wikipedia en un idioma concreto. Como comparación, los editores humanos suelen enzarzarse en riñas en artículos sobre personalidades y entidades locales que normalmente son específicas de cada lengua de Wikipedia.
Vemos, pues, que estos bots, muy sencillos, ya están trayendo consigo mucha ineficiencia. Una ineficiencia que se debe, sobre todo, a que no hay un control o coordinación centrales, y por tanto como cada bot es hijo de quién lo ha programado, lo es también de su filosofía y manera de pensar, e interacciona con otros de manera que nadie ha previsto, y ni siquiera los propios editores que los programan pueden anticipar dado que cada uno trabaja por su cuenta. Si esto ya está llevando a un alto nivel de ineficiencia, no quiero ni pensar que ocurrirá si, como ha anunciado, la fundación Wikimedia, responsable de Wikipedia, introduce bots más sofisticados que hagan uso en serio de la inteligencia artificial. Para muestra baste un botón: el famoso chat entre dos bots (de hecho, dos instancias del mismo, CleverBot) diseñados para interaccionar con humanos, a los que les lleva un minuto enfadarse y retirarse la palabra.
Lo cual me lleva de vuelta a las armas autónomas. Hemos visto que los bots de Wikipedia, gente por demás más bien maja, se ven envueltos en conflictos que no terminan nunca. Wikipedia es en este sentido un remanso de paz si pensamos en otras redes sociales como Twitter, donde los bots son cualquier cosa menos buena gente, y se dedican a promover noticias falsas, a perseguir a usuarios humanos, y a cualquier tipo de cosa; por supuesto, también interaccionan y se pelean y como se puede figurar, querido lector, mucho más que en Wikipedia. Ahora pase usted de estas guerras del ciberespacio a la interacción entre entidades autónomas, que atacan y responden a otros ataques a personas y cosas, y seguramente toman represalias respondiendo a distintas programaciones, e imagínese hasta donde puede llegar la destrucción. Tal sistema complejo comparte los mismos principios, en particular la falta de una coordinación central, por lo que el comportamiento de un conjunto de armas autónomas es seguramente impredecible. Yo no sé usted, pero yo, sinceramente, prefiero que no me defiendan (y obviamente que no me ataquen) estas cosas. No es que los humanos me inspiren mucha confianza (y unos humanos menos que otros), pero sus ganas de guerrear (al menos en las luchas editoriales en Wikipedia) se acaban bastante antes...
Hay 18 comentarios
Tengo una pequeña duda: no aclaras demasiado hasta que punto es correcto comparar bots de la Wikipedia con robots de carácter bélico. ¿Podrías desarrollar un poco más este punto? Es decir, afirmas que comparten los mismos principios, pero me parece poca argumentación para una comparación tan extrema.
Gracias por el artículo.
Gracias por tu comentario, Pablo. Quizá no lo he expresado bien, pero la comparación es más en términos de "mira estos bots (los de Wikipedia), que son muy sencillitos y que además sólo pretenden ser útiles, la que pueden liar, así que imagina lo que pueden hacer robots mucho más complicados, con reglas de comportamiento complejas, y que están pensados para hacer pupita". Está claro que lo que hacen los bots de Wikipedia es otra cosa, pero es sólo un recordatorio de que en un sistema complejo (muchos agentes en interacción) el comportamiento resultante del sistema como un todo es impredecible a priori, y a más complejos los agentes, más impredecible. Y gracias de nuevo por leernos.
Estupenda reflexión sobre un tema muy interesante, y que ni siquiera estoy seguro de que haya sido tratado por la ciencia ficción. Muchas gracias.
Muchas gracias. En cuanto a la ciencia ficción, se me ocurren los drones de la serie de la Guerra de las Galaxias, pero la diferencia clave es que había una nave que los controlaba a todos de manera centralizada (y que es la que se cargan los rebeldes). No recuerdo nada sobre soldados o armas robóticos descentralizados...
Un tema interesantísimo y muy peligroso. La aplicación de la inteligencia artificial a la guerra puede dar además un poder enorme a grupos pequeños y con acceso a la alta tecnología. En resumen, cada vez es menos necesario el consenso de los gobernados para dominar por la fuerza.
Por lo que hace a la ciencia ficción, Philip K Dick ha tratado el tema en algunos de sus cuentos. En uno de ellos los robots, tras aniquilar al enemigo e incluso a los humanos de su propio bando, empiezan a luchar entre ellos.
Muchas gracias por tan clarificadora analogía. Y por contarnos esa "guerra intelectual" en activo.
Los robots militares son una realidad preocupante ya, bajo el control de humanos. Tanto telecontrolados, como pre-dirigidos. Como para pensar que puede significar un sistema autónomo realizando elecciones de forma autónoma en la decisión de la acción de combate. Aunque sospecho que ya existen sistemas capaces de ofrecer "orientación bélica" las decisiones siguen siendo humanas y por tanto más predecibles.
Quienes más invierten en el sector son los ejercitos. Luego aparecen los usos civiles.....algo frecuente en muchos campos. Pero en un mundo que no parece tener grandes objetivos comunes hacia el que caminar. Nada como fueron la pre-conquista (Incompleta) del espacio. O el estudio de los océanos. O el incompleto desarrollo de la fusión......
El modelo emprendedor y su deriva en casos de éxito en oligopolios tecnológicos....dispersa recursos materiales y humanos. Y solo queda, hacia objetivos más globales, las que aplican al campo militar......Nuestra única esperanza es que les demos un uso civil antes de explotarlo en el entorno que se investiga y desarrolla. O terminará por dolernos bastante.
Comparto la idea de prohibir y desarrollar un tratado de este tipo, sobre armas autónomas.
No seria mas correcto decir que ,hasta los propietarios de los robots buenos se pelean'.El articulo da a entender, y repite con frecuencia, que los bots y robots son autonomos y actuan por su cuenta, y esa independencia robotica esta mas lejos de ser real y lejos de suceder que la catalana
Gracias Antonio, pero no, no sería más correcto. Quizá lo incorrecto es el verbo "pelearse", pero los que se pelean en todo caso son robots, que son totalmente autónomos en el caso de Wikipedia. Y las armas autónomas de las que hablamos serían autónomas, como los coches que ya circulan y que no se venden por problemas que nada tienen que ver con que sean autónomos. Los robots autónomos ya están aquí.
?Son propietarios de si mismos eses robots y bots?.Si no lo son, no veo esa supuesta e ilusoria autonomia por nigun lado.Saludos cordiales.
Gracias Antonio, pero no entiendo qué tiene que ver la propiedad con la autonomía. Los bots son de quién los programa, sí, pero quién los programa los ha programado para tomar decisiones sin consultarle, o sea que son autónomos. Un perro es propiedad de una persona pero es un ente autónomo, si decide morder a alguien lo muerde (luego la responsabilidad legal es del dueño, pero ése es otro problema).
?Programados los robots para cualquier decision, tambien la de independizarse por completo (propietario de su mismo)de su
programador?.Un saludo.
Gracias Manolo, programados (los de Wikipedia) para recorrer las páginas y modificar lo que sus creadores quieren modificar. Si independizarse por completo quiere decir que el programador no los puede parar, la respuesta es no. Pero entre tanto, en el marco de su actuación, van tomando sus decisiones por su cuenta.
Los comentarios están cerrados.