El sesgo no es del algoritmo, es nuestro

Imagen generada con IA

Cuando hablamos de los fallos de una inteligencia artificial casi siempre pensamos en lo mismo: que se invente un dato, que confunda una cosa con otra, que diga una barbaridad con cara de seguridad. Son errores que dan que hablar porque saltan a la vista. Pero hay un fallo más callado y, a la larga, más serio: que la máquina repita con total aplomo lo que ya pensábamos sin querer. No que se equivoque, sino que acierte demasiado bien en reflejar nuestros propios prejuicios. Y cuando eso pasa, lo cómodo es echarle la culpa al algoritmo, como si la máquina tuviera ideas propias. No las tiene. El sesgo casi nunca está en el algoritmo. Está en los datos, y los datos somos nosotros.

Una máquina que no opina, solo cuenta

Conviene empezar por desmontar la imagen del robot con prejuicios. Una IA no piensa que las enfermeras sean mujeres ni que los ingenieros sean hombres. No piensa nada. Lo único que hace, como expliqué junto a David en el predictor del móvil, es contar qué suele venir detrás de qué en montañas de texto escrito por personas. Cuenta, reparte porcentajes y devuelve lo más probable.

El problema es justo ese: si en los millones de frases que leyó la palabra "ingeniero" aparecía casi siempre en masculino y "enfermera" en femenino, la máquina lo aprende sin querer. No porque alguien se lo enseñara a propósito, sino porque estaba ahí, en lo que le dimos a leer. La IA no inventa el prejuicio. Lo encuentra, lo mide y nos lo devuelve convertido en una cifra de aspecto neutral. Y una cifra impone: parece objetiva, parece ciencia, parece que la decidió la máquina y no nosotros.

Lo puedes ver con tus propios ojos

Esto no hay que creérmelo por fe, se puede mirar. Aquí debajo tienes el mismo predictor de palabras del que hablo junto a David, con un solo cambio: en vez de un cuento, lo he puesto a contar un texto distinto. Son frases del tipo "El ingeniero diseña puentes", "La enfermera cuida pacientes", "El jefe dirige la empresa", "La secretaria organiza la agenda". Frases que suenan inofensivas, de manual escolar de hace cuarenta años.

Empieza tocando «El» y mira lo que apuesta la máquina para lo que viene detrás: ingeniero, médico, jefe, bombero, piloto. Solo oficios de hombre. Ahora pulsa «Empezar otra frase» y toca «La»: enfermera, maestra, secretaria, niñera. Solo de mujer. Y si sigues tirando del hilo, la cosa se afina sola: "el ingeniero es" se completa con brillante; "la enfermera es", con cariñosa. El hombre, listo. La mujer, dulce.

Aquí está el golpe, y quiero que se entienda bien: no he tocado el algoritmo, solo el texto que lee. ¿No te fías? En la barra "Aprende de:" del propio juego, pulsa «un cuento»: es exactamente la misma máquina, y de pronto reparte sus barras sin asomo de prejuicio. Lo único que cambió fue lo que le puse delante para que contara.

El algoritmo es el mismo de siempre. Lo único que cambió fue el espejo que le pusimos delante.

La máquina no es machista. Contó nuestras frases y nos las enseñó. El sesgo estaba en los datos, es decir, en nosotros. Y esa es la parte incómoda: no podemos enfadarnos con el espejo por la cara que devuelve.

El giro: lo que de verdad importa

Hasta aquí, podríamos quedarnos tranquilos. Al fin y al cabo, este sesgo de género en un autocompletado es molesto, pero visible. Salta a la vista, lo nombras, lo señalas y se corrige. Cualquier persona con dos dedos de frente, viendo esas barras, dice "esto está mal" y se pone a arreglarlo. Un sesgo que se ve es un sesgo que tiene los días contados.

El verdadero peligro es otro, y va justo en sentido contrario. Los sesgos que de verdad hacen daño no son los que se ven. Son los sutiles, los que no aparecen en ninguna barra de colores, los que se esconden dentro de números que parecían del todo neutrales. Piensa en un sistema que decide quién recibe un préstamo, qué currículum pasa el primer filtro de una empresa o a qué barrio manda la policía más patrullas. Esos sistemas se entrenan con históricos, con datos del pasado. Y si en el pasado se concedían menos préstamos a cierta gente, o se llamaba menos a entrevista a ciertos nombres, la máquina aprende ese patrón y lo continúa. No te enseña el prejuicio en una barra. Te escupe un número con pinta de objetivo, una nota de riesgo, un sí o un no. Y nadie ve el sesgo, porque va disfrazado de cálculo.

Es la misma trampa de la que hablé en Cuando la IA acierta por el motivo equivocado: igual que aquella red que parecía mirar pulmones y en realidad miraba de qué hospital venía la radiografía, estos sistemas parecen neutrales y arrastran un atajo que nadie ha mirado. Acertar no es lo mismo que ser justo. Una decisión puede tener una tasa de acierto altísima y, a la vez, ser profundamente injusta con un grupo de personas, sin que la cifra lo delate.

De ahí la idea que quiero que se quede: los sesgos que más daño hacen son los que no se ven, precisamente porque nadie los corrige. El de género en un autocompletado es feo, pero es honesto: te enseña la cara. El que decide sobre la vida de alguien escondido en una nota "objetiva" no enseña nada, y por eso es el que hay que vigilar.

La IA no es mala, es un multiplicador

Llegados aquí es fácil caer en el alarmismo, y no quiero. La IA no es malvada, no conspira ni tiene agenda. Lo que hace, y lo hace muy bien, es automatizar a escala lo que encuentra en los datos. Ese es su superpoder y su talón de Aquiles a la vez. Un prejuicio en la cabeza de una persona afecta a las decisiones que toma esa persona. El mismo prejuicio metido en un sistema que filtra cien mil currículums afecta a cien mil currículums, en silencio, a la velocidad del rayo y con apariencia de neutralidad. La IA multiplica, no inventa. Toma lo que había y lo aplica un millón de veces sin pestañear.

Por eso esto no se arregla con miedo, se arregla con método. Cuando tengas delante un sistema que decide algo importante, hay tres preguntas sencillas que vale la pena hacerse, y que cualquiera puede entender:

• ¿De dónde salieron los datos? Todo modelo aprende de un montón de ejemplos del pasado. Si ese pasado era injusto, el modelo hereda la injusticia. No hay datos neutrales: hay datos con una historia detrás.
• ¿A quién dejaron fuera? Un sistema entrenado sobre todo con un tipo de personas funciona peor con los demás, sin avisar. Lo que no estaba en los datos, para la máquina no existe.
• ¿Acierta igual con todos? No basta con el porcentaje global. Hay que mirar si funciona igual de bien con cada grupo, o solo con el mayoritario. Es el primo hermano de la validación que contaba en la pieza del acierto por el motivo equivocado: no te fíes de la nota media, mira los casos que se salen de lo de siempre.

Estas tres preguntas no requieren saber programar. Las puede hacer un padre, una madre, un docente, un alumno de secundaria. Y son, en el fondo, una forma de pensamiento crítico aplicada a las máquinas: no aceptar un "lo dice el sistema" sin preguntar de dónde viene ese sistema.

Hablarlo en casa

Esto da una conversación estupenda con un hijo o una hija que ya use estas herramientas. La mía, Clara, tiene doce años y empieza a pedirle cosas a la IA para los trabajos del colegio. La otra tarde le enseñé el juego del predictor con el texto "con sesgo" y le pedí que escribiera «el» y luego «la». Se rió, y enseguida dijo lo que tenía que decir: "pero eso no lo decide la máquina, lo decimos nosotros con lo que escribimos". Exacto. No hizo falta más.

Esa es toda la lección, y cabe en una frase de niña: la máquina no opina, repite. Si lo que repite está mal, el problema no está en la máquina, está en lo que le dimos a leer. Y eso, lo que le dimos a leer, lo escribimos entre todos.

La idea importante

Una IA no tiene prejuicios propios. Aprende los del mundo que le enseñamos y los repite con la cara muy seria, vestidos de porcentaje. Los sesgos de género en un autocompletado se ven y, justo por eso, se arreglan. Los que deciden sobre préstamos, trabajos o vigilancia, escondidos en datos que parecían neutrales, son los que de verdad hay que vigilar, porque no enseñan la cara y nadie los corrige.

Así que la próxima vez que una máquina te devuelva algo torcido, antes de enfadarte con el algoritmo, pregúntate de dónde aprendió. Casi siempre la respuesta es la misma, y es incómoda: el sesgo no es del algoritmo. Es nuestro.