Justicia: los límites de la inteligencia artificial... y humana

Creo que no exagero cuando digo que de un tiempo a esta parte tenemos a la inteligencia artificial (IA)  hasta en la sopa. En los medios, en tertulias, en artículos y congresos científicos se discute de todo lo que va a hacer la IA por nosotros, o de lo mala que es la IA porque servirá para controlarnos o para quitarnos trabajos. En este contexto, me parece importante aportar algo de rigor a esta conversación y, en particular, mostrar que la IA tiene sus límites y que no le podemos exigir que vaya más allá; de paso, veremos que nosotros también estamos limitados, por lo que es posible que la ayuda de la IA, bien utilizada, sea más importante de lo que parece.

Lo que voy a discutir hoy es un trabajo de Jon Kleinberg (uno de los investigadores más importantes en computación y en particular en el campo de la IA y sus límites), Sendhil Mullainathan y Manish Raghavan que demuestra que no es posible diseñar algoritmos justos para un cierto tipo de decisiones. Así de tajante; y precisamente porque es así de tajante, porque es un teorema matemático en realidad, es por lo que me parece un resultado valioso. Seamos precisos, pues. El trabajo se centra en un tipo de problemas bastante general: la toma de decisiones. Esto incluye, por ejemplo, las herramientas que se están usando en la justicia americana para asistir a los jueces cuando tienen que decidir si dejan en libertad bajo fianza, o condicional, o incondicional a los procesados. La más común es un algoritmo llamado COMPAS, sobre la que se viene discutiendo mucho recientemente tanto desde el punto de vista de su utilidad o precisión como sobre sus aspectos éticos. Otros casos que caen dentro de este tipo de problemas son las decisiones médicas: los médicos pueden usar algoritmos que les indican las probabilidades de que el enfermo tenga unas enfermedades u otras. Incluso la admisión de alumnos en las universidades americanas está siendo tratada con algoritmos de IA.

¿Qué características básicas definen estos problemas?  Primero, los algoritmos producen un número, llamémosle "factor de riesgo", que sirve a una instancia superior, típicamente una persona o un comité, para decidir sobre alguien. Segundo, la tarea que ejecuta el algoritmo es clasificar a las personas en función de alguna propiedad: van a reincidir en su crimen, tienen cierto tipo de cáncer, o están interesados en un producto (por ejemplo, para anuncios personalizados). Y tercero, esos factores de riesgo que proporciona el algoritmo son típicamente no binarios (es decir, no son "sí-no") sino estimaciones de la probabilidad de que la persona tenga la característica que nos interesa.

El problema es ahora garantizar que el algoritmo es "justo". ¿En qué sentido? Bueno, si aplicamos el algoritmo a dos o más clases de personas, separadas por atributos que no tienen que ver con lo que se decide, debería tratarlas a todas por igual. Por ejemplo, la justicia en Estados Unidos debe tratar por igual a blancos y negros, o los anunciantes deben tratar por igual a hombres y mujeres, digamos. ¿Y qué debemos pedir al algoritmo para considerarlo justo, para que cumpla esa igualdad de tratos entre grupos? Básicamente, necesitamos que cumpla tres condiciones (que se pueden presentar más formalmente, y aconsejo a los interesados en esa precisión el trabajo original; aquí voy a usar la presentación más introductoria contenida en el mismo artículo):

1. Buena calibración: si el algoritmo asigna a un grupo de personas una probabilidad x de tener la característica de interés, entonces aproximadamente una fracción x de ese grupo de personas deben tener la característica. Esto debe ser cierto por separado para cada grupo de personas: por ejemplo, una fracción x de los hombres y una fracción x de las mujeres para las que el algoritmo sugiere que tienen una probabilidad x de querer cierto producto debe quererlo realmente.

2. Balance en positivos: el factor de riesgo promedio que se asigna a las personas que tienen la característica debe ser independiente de su grupo. Si esto no se cumple, estaríamos asignando sistemáticamente a los positivos de un grupo menos probabilidad de serlo que a los del otro: por ejemplo, estaríamos diciendo sistemática que a igualdad de otras características un negro reincidirá más en el crimen que un blanco. Obviamente, esto no puede ocurrir, insisto, a igualdad de otra características.

3. Balance en negativos: lo mismo, pero al revés: el factor de riesgo promedio asignado a los que NO tienen la característica debe ser independiente del grupo. Como dicen Kleinberg y colaboradores, en el fondo estas dos condiciones de balance lo que pretenden es generalizar la idea de que las tasas de falsos positivos y falsos negativos sean las mismas en todos los grupos.

En definitiva, al pedir estas características lo que estamos haciendo es llamar justo a un algoritmo que ni subestime ni sobreestime la fracción de personas que tienen la característica de interés, y que la asigne a cada persona con la misma precisión, independientemente de a qué grupo pertenezca. Con esta noción ya formalizada, podemos establecer el resultado principal del trabajo:

Teorema: Un algoritmo de asignación de factores de riesgo que satisfaga las tres condiciones anteriores sólo es posible si el problema permite predicción perfecta (factores binarios de riesgo, solo están permitidos los valores 0 o 1) o si la característica de interés está presente en ambos grupos en fracciones idénticas de personas.

La demostración del teorema no es fácil, pero está disponible en el artículo, por lo que yo me voy a centrar en lo que al final nos importa: ¿Qué implicaciones tiene este resultado? Como discuten los autores del trabajo, su teorema establece que hay que hacer compromisos entre los distintos criterios que entran en nuestra definición de justicia, en prácticamente cualquier contexto e independientemente del método de asignación de riesgos, puesto que no se van a poder cumplir los tres. ¿Qué pasa entonces? Es fácil verlo con un ejemplo: supongamos que queremos determinar la probabilidad de que una persona tenga una enfermedad concreta, y supongamos que es más frecuente en mujeres que en hombres. El teorema nos dice que entonces al menos una de estas cosas indeseables es verdad: o bien el algoritmo sobreestima o subestima la probabilidad de tener la enfermedad para uno de los dos géneros, o el algoritmo da más falsos positivos o falsos negativos para uno de los dos géneros. O sea, lo que viene siendo fatal.

Así las cosas, excepto en esos casos tan especiales que menciona el teorema, cualquier procedimiento de asignación de riesgos puede criticarse por sesgado, ya que no puede ser justo. Pero aquí hay otro punto importante, que los agoreros anti-IA estarán pasando por alto mientras dicen "ya sabía yo que la IA era algo malo malísimo de la muerte": el teorema es válido para cualquier método de estimar riesgos, sea un algoritmo en un ordenador o... un comité de decisores humanos; el teorema no contiene ninguna hipótesis en este sentido y por tanto se aplica a todos los casos. Notemos, además, que tampoco importa de dónde vengan los datos con los que se haya entrenado al algoritmo ni cómo se han obtenido: el resultado es francamente muy general.

Obviamente, este no es el único problema de la IA ni mucho menos, pero es un resultado importante por lo riguroso, porque es cierto y no hay cuñado que lo discuta, y por tanto tenemos que vivir con él. No le podemos pedir peras al olmo de la IA, pero tampoco nos las podemos pedir a nosotros: no vamos a poder ser justos al 100% en nuestras decisiones de este tipo. ¿Quiere eso decir que tenemos que resignarnos con cualquier algoritmo basura? No, para nada; habrá que trabajar duro para ir disminuyendo sus sesgos, y ello exige, en primer lugar, transparencia absoluta: los algoritmos deben ser públicos al menos para todos aquellos afectados por sus decisiones, de manera que se pueda estudiar su grado de justicia o sesgo. En este sentido, puede ocurrir que el algoritmo que se utilice para una decisión vía IA, si es totalmente público, sea más transparente que la decisión de un grupo de personas, estando ambas sujetas a sesgos de acuerdo al teorema. Desde el punto de vista de la regulación, el Reglamento General de Protección de Datos europeo establece los derechos de los afectados por decisiones automáticas, si bien esa protección es mejorable. De casualidad, justo cuando escribo estas líneas la Comisión Europea ha publicado un white paper sobre IA en el que se discuten en detalle los problemas que debería abordar la futura regulación. La propuesta estadounidense, la Algorithmic Accountability Act, va más allá y propone obligar a las compañías a auditar sus algoritmos para comprobar su impacto y sesgos en relación a los distintos grupos de afectados, pero habrá que ver lo que se apruebe finalmente. En todo caso, la conclusión es la de siempre: hay que seguir estudiando, investigando y desarrollando mejores algoritmos, desde el convencimiento de que la IA y la inteligencia humana solo proporcionarán buenos resultados si van de la mano. Insisto: nosotros estamos igual de sesgados que los algoritmos, y ellos no pueden sustituir nuestras decisiones, pero nosotros no vamos a ser perfectos.

Para terminar, amigo lector, le dejo con dos sugerencias: Una, si quiere experimentar de verdad lo difícil que es este problema de asignación de riesgos, este artículo del MIT Technology Review le permitirá jugar de forma interactiva con el problema de decisiones judiciales, similar al ya mencionado COMPAS, y convencerse de que no hay manera de ser justo (cito textualmente: "Si se está frustrando, es con motivo: no hay solución"). Y dos, le recomiendo un trabajo muy reciente de alguien de gran predicamento en este blog como es Daron Acemoglu, junto con Pascual Restrepo, en el que discuten que quizá estamos investigando sobre la forma equivocada de IA, centrándonos más en la automatización y menos en convertirla en un complemento de nuestra actividad. Espero que disfrute ambas sugerencias.

 

Hay 4 comentarios
  • Inteligencia bajo mi sesgo representa la capacidad de resolver problemas complejos. Aunque en la especie humana a veces ocurre que resolvemos los problemas que nos interesan y los que no, los dejamos campar a sus anchas (aunque impliquen nuestra autodestrucción).

    Como especie “inteligente” estamos fracasando en resolver la crisis del cambio climático. De hecho, si hubiera voluntad y recursos el problema se subsanaría en unas décadas.
    La IA es un reflejo de nuestras prioridades, en el ámbito administrativo, militar o económico, etc.

    Por eso no es nada tranquilizador el uso y los recursos invertidos en su perfección.

    La IA no es en sí mala o buena, eso es un error de percepción. Un algoritmo es una propuesta de solución a un problema más o menos complejo, se trata de formalizar y aportar soluciones creativas y eficientes, aprovechando la capacidad de cálculo que nos provee cualquier sistema computacional.

    Hay algoritmos para uso militar, que ya hacen volar drones de forma autónoma, que despegan y aterrizan “solos”, y que pueden tener la posibilidad de decidir en qué momento actuar según el grado de precisión, eliminando el “factor humano” o la bendita “estupidez humana”, en la toma de decisiones.

    También se pueden emplear para armonizar y agilizar cuestiones administrativas, asesorar en medicina y orientar resultados estadísticos en estudios económicos.

    Creo que cifrar el progreso humano en el avance científico técnico es una mezcla de ingenuidad e ignorancia.

  • Si hablamos de diseñar algoritmos, hablamos de machine learning, no de IA, que hoy por hoy es una quimera, algo que suponemos que puede llegar a ser pero que ni es ni sabemos lo que pueda llegar a ser, si alguna vez, llega a ser. Es posible que alguien, algún día, pueda ver funcionar a todo trapo a la verdadera IA, que para serlo tiene que ser capaz de escapar al control humano y de crecer por sí misma. Dicho de manera, tiene que ser capaz de autoprogramarse para sus propios objetivos, no para los que le podamos fijar los humanos, que siempre estarán limitados por nuestras propias capacidades. En el ejemplo de los juicios, le pedimos que sea justa pero .... a partir de una serie de premisas que consideramos justas. ¿Y si en lugar de esas premisas, partimos de otras? Me temo que el teorema se desmorona y vuelta a empezar. De todas formas, gracias al autor por poner sobre la mesa un tema interesante.

  • Los criterios 2 y 3 como base de una definición de justicia son un sinsentido. Es fácil probarlo imaginando un algoritmo "perfecto" que asocia a cada individuo una probabilidad p idéntica a la que tiene éste de tener la característica en cuestión. En la terminología del artículo, que el score es igual al factor de riesgo.
    Entonces, el concepto de justicia no se estaría predicando del algoritmo sino del mundo subyacente que reparte el factor subyacente de manera desigual entre distintos grupos.
    Y, bueno, sí, ya sabemos que el mundo es injusto...

Los comentarios están cerrados.