La red que quiso hacerlo todo a la vez: cómo aprende (de verdad) una inteligencia artificial
Llevaba tres días entrenando una inteligencia artificial para que jugara a las hormigas. Miles de partidas, cerebros que evolucionan, gráficas subiendo. Al final me senté a verla jugar, como quien va a la función de fin de curso. Y en dos minutos vi algo que ningún número me había contado: todas sus exploradoras iban en pelotón, como turistas detrás del paraguas del guía, dejando medio mapa sin pisar.
Esa tarde aprendí más yo mirando que la máquina computando. Pero empecemos por el principio.
Una red diminuta con un encargo imposible
El laboratorio es un juego de hormigueros que pronto estará en la sección de juegos: dos colonias, un mapa a oscuras, comida que se convierte en hormigas nuevas, y gana quien tumba el nido rival. Le dimos a una red neuronal minúscula (unos doscientos números, cabe en un tuit) el mando de cada hormiga, y la pusimos a aprender por evolución: juega, y las versiones que más ganan tienen descendencia.
El resultado fue humillante. Contra los dos rivales serios del juego perdía siete de cada ocho partidas. Y por más entrenamiento que le echábamos, no mejoraba.
El problema no era la falta de neuronas. Era que le habíamos pedido a un solo cerebro que fuera todo a la vez: recolectora paciente y asaltante agresiva, guardiana quieta y exploradora incansable.
Son oficios que se contradicen. Su solución fue la de cualquier alumno saturado: quedarse con una sola personalidad mediocre que no destacaba en nada.
Descomponer: el truco más viejo del pensamiento computacional
Lo que desatascó el proyecto no fue una red más grande, sino la idea que repetimos una y otra vez en este blog: descomponer el problema. En lugar de un cerebro para todo, cuatro cerebros pequeños y especialistas (exploradora, atacante, defensora, guerrera) y, por encima, una estratega que no sabe hacer nada, solo repartir: mirar la partida y decidir cuántas hormigas dedica a cada oficio en cada momento.
Cada especialista, además, entrenó con ruedines. A la atacante le dimos partidas trucadas con la despensa llena, porque su oficio no es recolectar sino llegar viva al nido enemigo. A la defensora, una paga de comida periódica para poder concentrarse en aguantar asedios. Igual que las sumas sin llevadas van antes que las sumas con llevadas: cada ejercicio enseña una sola cosa.
Y una regla que nos costó aprender: los exámenes tienen que ser honestos. Las primeras versiones presumían de notas altísimas en sus propias métricas de entrenamiento y luego perdían contra cualquiera. Estaban estudiando para el examen en vez de aprender: optimizaban el numerito que medíamos, no el ganar de verdad. La única nota que acabamos aceptando fue la partida completa contra rivales que la red no había visto nunca.
Con todo eso, la colonia pasó de perder casi siempre a ganarle dos de cada tres partidas al mejor algoritmo del juego. De farolillo rojo a subcampeona de la liga.
Y entonces llegó alguien y la miró jugar
Aquí viene la parte que no estaba en el guion. Cuando por fin me senté a ver a la campeona en acción, vi el pelotón de exploradoras. La causa era un detalle de fontanería que ningún entrenamiento podía arreglar, porque no estaba en los cerebros sino en sus piernas: todas calculaban la misma casilla como destino. Un arreglo de diez líneas (que cada una fuera a la frontera más cercana a ella misma, saltando las zonas que ya cubría una compañera) y la campeona mejoró más que en toda una tarde de entrenamiento.
Envalentonado, escribí mi propia estrategia en cuatro frases: veinte exploradoras como máximo, una defensora por cada cuatro, y todo el excedente al ataque en grupos de tres. Sin red neuronal en el puesto de mando: mis reglas dirigiendo a los mismos cuatro especialistas.
Mi estrategia de cuatro frases destronó a la campeona. Setenta y cinco victorias a veintiuna.
La máquina había computado millones de decisiones. Yo solo hice dos cosas que ella no sabe hacer: observar la partida entera y preguntarme por qué.
Lo que me llevo (y lo que puedes llevarte tú)
No es una historia de "la IA es tonta". La red aprendió de verdad, y contra mi estrategia ya está entrenando la revancha: esta espiral (la máquina aprende, la persona observa y responde, la máquina vuelve a aprender) es exactamente cómo progresan juntos humanos y algoritmos, en los videojuegos y fuera de ellos.
Es una historia sobre qué significa aprender. Todo lo que hizo despegar a la IA es lo mismo que hace despegar a un niño: partir el problema imposible en oficios posibles, practicar cada uno con ejercicios a su medida, y medirse con exámenes que no se puedan aprobar de memoria. Y todo lo que la hizo tropezar también nos suena: hacer trampas a la métrica, repetir lo que funcionó ayer, no levantar la vista del pupitre.
Si queréis verlo con vuestros hijos, el juego se puede jugar: elegid la colonia neuronal como rival y observadla un rato en silencio. Luego preguntad lo único que importa: ¿qué está haciendo mal, y qué regla le darías tú? Esa pregunta, que un niño de siete años puede responder mirando hormigas de colores, es el trabajo exacto que ningún ordenador hace solo.
Entrenar está al alcance de cualquier máquina. Mirar y preguntarse por qué sigue siendo nuestro.