No os dejéis engañar: los LLM no razonan, según un artífice de AlphaGo

El artículo es una pieza de opinión firmada por Thore Graepel, catedrático de aprendizaje automático en el University College London y antiguo miembro clave del equipo de AlphaGo en Google DeepMind. Su argumento central es tan sencillo como incómodo para el sector: los grandes modelos de lenguaje (LLM) actuales, por más que generen cadenas de razonamiento aparentemente deliberadas, no razonan en el sentido en que lo hacía AlphaGo hace diez años, y esa carencia es precisamente lo que impide confiar en ellos para aplicaciones de alto riesgo como la medicina, la ingeniería o la investigación científica.

Graepel arranca recordando el episodio que lo marcó personalmente: la partida de marzo de 2016 en Seúl entre AlphaGo y Lee Sedol, uno de los grandes maestros del Go. En la segunda partida, el programa jugó el ahora célebre 'movimiento 37', una jugada tan extraña que varios comentaristas pensaron que se trataba de un fallo técnico. No lo era: AlphaGo terminó ganando esa partida y el encuentro completo por 4-1. Lee Sedol, impactado, llegó a declarar que había cambiado de opinión sobre la máquina: pensaba que AlphaGo se basaba en el cálculo de probabilidades y que 'era simplemente una máquina', pero tras ver esa jugada concluyó que 'sin duda, AlphaGo es creativa'.

Para contextualizar la hazaña, el autor recuerda que Deep Blue venció a Gari Kaspárov en 1997 mirando entre seis y ocho jugadas por adelantado y evaluando 200 millones de posiciones de ajedrez por segundo, apoyándose en reglas programadas a mano por humanos. El Go, sin embargo, es un juego muchísimo más complejo: el valor de una piedra depende de cómo evolucionen grupos y territorios a lo largo de decenas de movimientos, y calcular siquiera una fracción de los resultados posibles llevaría a un superordenador miles de millones de años. Por eso AlphaGo necesitaba 'intuir' de un vistazo quién iba ganando e incluso inventar jugadas que ningún humano había pensado antes.

Aquí llega el punto que Graepel considera más malentendido: la lectura habitual de que el movimiento 37 fue un simple destello de intuición de máquina es, según él, errónea. Lo que realmente permitió esa elección creativa fue la capacidad de razonamiento de AlphaGo, no su intuición en solitario. El sistema combinaba dos componentes. Por un lado, una red de políticas entrenada para adivinar qué jugada haría un humano fuerte; esta parte 'intuitiva' consideraba el movimiento 37 como algo intrascendente, con apenas una probabilidad de una entre diez mil de ser jugado por un experto humano. Lo que hizo que AlphaGo lo eligiera igualmente fue su maquinaria de búsqueda, que iba más allá de la plausibilidad inmediata y sopesaba explícitamente las consecuencias futuras de cada jugada candidata, construyendo y recorriendo un árbol de partida con miles de ramas, cada una representando un futuro posible.

Graepel traslada esta arquitectura a un marco conceptual muy conocido en ciencias del comportamiento: la distinción de Daniel Kahneman entre el Sistema 1 (rápido, instintivo, sin esfuerzo) y el Sistema 2 (lento, deliberativo, paso a paso). Según el autor, AlphaGo ofrecía una suerte de analogía mecánica de esa dualidad: sus redes neuronales aportaban las corazonadas ('esta jugada parece prometedora', 'esta posición parece ganada') y su módulo de búsqueda aportaba la deliberación, poniendo a prueba esas corazonadas frente a las posibles réplicas. Ninguna de las dos mitades funcionaba por separado: la intuición sola jamás habría elegido el movimiento 37, y la fuerza bruta de búsqueda sola se habría ahogado sin un filtro previo de jugadas plausibles.

Frente a ese diseño dual, el artículo sostiene que los modelos de lenguaje actuales operan de manera radicalmente distinta. Un LLM elige el siguiente token una y otra vez, lo cual equivale, en su analogía, a un Sistema 1 en acción: rápido, asociativo y sorprendentemente bueno completando patrones en casi cualquier tema sobre el que la gente escribe. Tras el lanzamiento de ChatGPT, la industria constató que la fluidez lingüística por sí sola no bastaba, y la respuesta fue dotar a los modelos de una suerte de deliberación mediante las llamadas 'cadenas de pensamiento' (chain of thought): en lugar de responder de inmediato, el modelo genera pasos intermedios que descomponen el problema y arrastran resultados parciales antes de comprometerse con una respuesta final. Graepel reconoce que las mejoras obtenidas con esta técnica son reales, sobre todo en matemáticas y programación, pero insiste en que no introduce un mecanismo de razonamiento genuinamente distinto: ese razonamiento intermedio sigue generándose con el mismo proceso de predicción de siguiente token, simplemente iterado más tiempo antes de fijar la respuesta.

El autor identifica tres carencias concretas que, a su juicio, impiden calificar lo que hacen los chatbots como 'razonamiento' en el sentido que reconocería un científico. La primera es que estos modelos no mantienen típicamente un estado epistémico explícito, persistente e inspeccionable: no existe un 'libro de cuentas' abierto que recoja las hipótesis que se están considerando, la confianza depositada en cada explicación, la evidencia que se está ponderando y las preguntas que quedan sin resolver, todo ello revisable sistemáticamente según llega nueva información. La segunda es que carecen de una separación limpia entre lo que el sistema sabe y cómo manipula ese conocimiento: conocimiento y razonamiento quedan entrelazados de forma inextricable en los pesos de la red neuronal, sin que exista un conjunto de creencias explícitamente representado de forma independiente. La tercera, respaldada según el artículo por investigación previa, es que las cadenas de pensamiento que exhiben los chatbots a menudo se fabrican a posteriori: el modelo llega a una respuesta por una vía pero informa de otra distinta, es decir, racionaliza después de decidir en lugar de decidir razonando.

Para Graepel esto no es un matiz académico, sino un problema práctico de primer orden en los ámbitos de mayor riesgo —medicina, ingeniería, investigación científica—, donde no solo importa qué concluye un sistema, sino cómo llega a esa conclusión. Pone como ejemplo el diagnóstico y el tratamiento médico: cuando se produce un error, es necesario poder identificar si falló el razonamiento del sistema, si se apoyó en evidencia inválida o si partió de supuestos incorrectos; y eso, según él, resulta imposible si el propio relato del razonamiento es una reconstrucción posterior y no un registro fiel del proceso.

El artículo contiene además una revelación personal relevante: Graepel afirma que esta convicción es la razón por la que dejó recientemente su puesto en Google DeepMind, con el objetivo de desarrollar un enfoque distinto para el razonamiento artificial, inspirado explícitamente en la arquitectura de AlphaGo. Propone que, igual que AlphaGo mantenía un árbol de partida con todas las variantes consideradas y las valoraciones de sus redes sobre cada posición, un sistema de razonamiento general debería mantener un 'estado epistémico' que represente qué se da por asentado, qué se pone en duda, qué se ha descartado y qué preguntas permanecen abiertas. El razonamiento, en esta visión, sería una secuencia de 'movimientos' que modifican ese estado epistémico para avanzar en el conocimiento y reducir la incertidumbre: deducir consecuencias, descomponer problemas y, de forma crucial, decidir qué pregunta formular, qué cálculo realizar o qué experimento ejecutar a continuación.

El autor admite que razonar sobre el mundo abierto es mucho más difícil que jugar al Go o al ajedrez, porque el estado actual de las cosas solo se conoce parcialmente, el conjunto de acciones disponibles es amplio y variable, y las consecuencias de las acciones son estocásticas o desconocidas. Aun así, sostiene que los avances recientes en LLM y otros modelos neuronales ya ofrecen capacidades aprovechables para este tipo de problemas: los LLM pueden sugerir formas de abordar un problema a partir de lo conocido y de los recursos disponibles, interactuar con herramientas vía API o código, y ayudar a evaluar si una afirmación está respaldada por la evidencia disponible. La pieza que Graepel considera indispensable para que el sistema sea honesto es que una parte independiente evalúe cada 'movimiento' de razonamiento según cuánto reduzca realmente la incertidumbre, actualizando las creencias solo cuando el cambio esté respaldado por evidencia; cumplidas esas reglas, el sistema podría acumular conocimiento certificado y mejorar su propia política de razonamiento aprendiendo de su experiencia pasada. Lo describe como 'el método científico con esteroides', orientado a producir conocimiento capaz de resistir el escrutinio.

El artículo cierra con una afirmación de principios: Graepel no cree que la confiabilidad de la inteligencia artificial se alcance simplemente agrandando el Sistema 1. Escalar los modelos afina la intuición, dice, pero no la vuelve más deliberativa. El movimiento 37 importó porque una máquina sostuvo una posición, sopesó futuros posibles y eligió la jugada que sus instintos artificiales habrían rechazado. Según el autor, la sociedad necesita ese tipo de movimientos creativos en campos como el descubrimiento de fármacos, los materiales, el clima o el diagnóstico médico —terrenos donde el tablero no se parece en nada a un tablero de Go y nadie entrega las reglas de antemano—, y esas aportaciones solo llegarán de sistemas cuyas conclusiones surjan de una secuencia auditable de evidencia, inferencia y revisión de creencias, en lugar de un relato convincente contado después de los hechos.

Conviene señalar que se trata de un artículo de opinión: su fuerza reside en la autoridad técnica y la experiencia directa del autor con AlphaGo, pero las propuestas sobre cómo construir ese 'estado epistémico' auditable para sistemas de razonamiento abierto quedan descritas en términos conceptuales, sin detalles de implementación, benchmarks o resultados experimentales concretos que el propio texto no ofrece.