En Atención es todo lo que necesitas, la demo tenía las flechas ya puestas: enseñaban el resultado, una atención ya aprendida. Pero ahí dejábamos una pregunta en el aire: ¿quién decide a dónde mirar? La respuesta es que nadie. Se aprende.
Aquí tienes el mecanismo de verdad, en pequeño. Le das un texto, y un mini-modelo intenta una sola cosa: adivinar la siguiente palabra. Al principio mira a todas las palabras por igual, así que falla. Cada fallo le dice cuánto se equivoca, y ajusta un poco a cuáles presta atención. Dale a Entrenar y míralo: las flechas, solas, dejan de mirar lo reciente y saltan al sujeto, la palabra que de verdad manda en el verbo, aunque quede lejos.
El texto de ejemplo está preparado para que la trampa sea inevitable: todas las frases comparten el trozo «que vi ayer», así que para acertar «duerme» o «duermen» no queda otra que volver la vista al principio. Cambia las frases por las tuyas y vuelve a entrenar: es el mismo descenso de gradiente que, con muchísimo más texto, hace funcionar a un modelo de lenguaje de verdad.
Y cuando ya ha aprendido, puedes pedirle que escriba sola: eliges una palabra, la máquina predice la siguiente, la añade y vuelve a empezar. Con tan poco texto solo sabe recombinar lo que vio, pero el mecanismo es exactamente ese: predecir la siguiente palabra una y otra vez. Eso es, en pequeño, lo que hace ChatGPT cuando te responde.