Opinión: no os dejéis engañar, los LLM no razonan (según el exingeniero de AlphaGo)

El artículo es una columna de opinión firmada por Thore Graepel, catedrático de machine learning en el University College London y antiguo miembro clave del equipo de AlphaGo en Google DeepMind. Su punto de partida es personal: estuvo presente en Seúl en marzo de 2016 cuando AlphaGo jugó la célebre "jugada 37" contra Lee Sedol, uno de los mejores jugadores de Go de la historia. Aquella jugada parecía un error tan evidente que algunos comentaristas pensaron que se trataba de un fallo de programación; en realidad fue la clave de la victoria, y el propio Lee Sedol llegó a declarar que, tras verla, cambió de opinión sobre si la máquina era "solo" un cálculo de probabilidades: "AlphaGo es creativo", dijo.

Graepel usa esta anécdota para desmontar una lectura muy extendida: la de que la jugada 37 fue un destello de pura intuición de máquina. Según él, fue exactamente lo contrario: fue la capacidad de razonamiento de AlphaGo —no su intuición— la que permitió esa elección creativa, y esa capacidad de razonamiento es precisamente lo que, sostiene, falta en la IA actual basada en grandes modelos de lenguaje (LLM).

Para explicarlo, describe la arquitectura dual de AlphaGo. Por un lado está la "red de políticas", entrenada para imitar qué movimiento jugaría un humano fuerte; esta parte "intuitiva" consideraba la jugada 37 como poco prometedora, con apenas una probabilidad entre diez mil de ser jugada por un experto humano. Por otro lado está la maquinaria de búsqueda, que construye y explora explícitamente un árbol de juego con miles de ramas, cada una representando un futuro posible, y es esta deliberación la que acabó eligiendo la jugada. El autor traza un paralelismo con la conocida distinción psicológica (popularizada por Daniel Kahneman) entre un "sistema 1" rápido e intuitivo y un "sistema 2" lento y deliberativo: las redes neuronales de AlphaGo aportaban las corazonadas, y la búsqueda las sometía a prueba frente a las consecuencias futuras. Ninguna de las dos partes, subraya, habría bastado por sí sola: la intuición nunca habría elegido la jugada 37, y la fuerza bruta de búsqueda no habría sabido filtrar entre todas las opciones posibles sin las sugerencias de la red.

Como contraste histórico, menciona a Deep Blue, que en 1997 venció a Garri Kaspárov mirando entre seis y ocho jugadas por adelantado y evaluando 200 millones de posiciones de ajedrez por segundo, pero usando reglas programadas a mano por humanos. El Go, explica, es muchísimo más complejo: calcular siquiera una fracción de los resultados posibles exigiría a un superordenador miles de millones de años, de ahí la necesidad de que AlphaGo "sintiera" de un vistazo quién iba ganando e inventara jugadas que ningún humano había pensado antes.

El núcleo argumental del artículo es que los modelos de lenguaje actuales operan de un modo radicalmente distinto. Un LLM predice el siguiente token una y otra vez, lo que equivale, según Graepel, a un sistema 1 en acción: rápido, asociativo y sorprendentemente bueno completando patrones sobre casi cualquier tema. Poco después del lanzamiento de ChatGPT, el sector se dio cuenta de que la fluidez lingüística por sí sola no bastaba, y la respuesta fue introducir la "cadena de pensamiento" (chain of thought): hacer que el modelo genere pasos intermedios antes de responder. Esto ha producido mejoras reales, sobre todo en matemáticas y programación, pero el autor insiste en que no introduce un mecanismo de razonamiento genuinamente separado como el de AlphaGo: el razonamiento intermedio sigue siendo producido por el mismo proceso de predicción de siguiente token, simplemente iterado más tiempo antes de que el modelo se comprometa con una respuesta.

Graepel identifica tres carencias concretas que, a su juicio, impiden calificar lo que hacen los chatbots como "razonamiento" en el sentido en que lo entendería un científico. Primero, estos modelos no mantienen un estado epistémico explícito, persistente e inspeccionable: no existe un "libro de cuentas" abierto que recoja las hipótesis consideradas, el grado de confianza en cada explicación, la evidencia que se está sopesando y las preguntas que quedan sin resolver, y que se revise sistemáticamente a medida que llega nueva información. Segundo, no hay una separación limpia entre lo que el sistema sabe y cómo manipula ese conocimiento: conocimiento y razonamiento están entrelazados de forma indisoluble en los pesos de la red neuronal, sin un conjunto de creencias explícitamente representado e independiente. Tercero, y quizá lo más inquietante, la investigación ha demostrado que las cadenas de pensamiento que producen los chatbots a menudo se fabrican a posteriori: el modelo llega a una respuesta por un camino, pero informa de otro distinto, es decir, racionaliza después de decidir en lugar de decidir razonando.

El autor conecta esto con un problema práctico de gran calado: en aplicaciones de alto riesgo como la medicina, la ingeniería o la investigación científica, no basta con que un sistema llegue a una conclusión correcta; importa también cómo llega a ella. Cuando se producen errores —por ejemplo, en un diagnóstico o un tratamiento médico— es necesario poder identificar qué falló exactamente: si el razonamiento del sistema fue defectuoso, si se apoyó en evidencia inválida o si partió de supuestos incorrectos.

Es en este punto donde Graepel revela que dejó recientemente su puesto en Google DeepMind, precisamente porque cree que hace falta un enfoque nuevo del razonamiento automático, inspirado en la arquitectura de AlphaGo. Propone que, igual que AlphaGo mantiene un árbol de juego que registra todas las variantes y futuros posibles que ha considerado —cada jugada y posición anotada con los juicios de sus redes neuronales—, un sistema de razonamiento general debería mantener un "estado epistémico" que represente lo que da por asentado, lo que pone en duda, lo que ha descartado y qué preguntas permanecen abiertas. El razonamiento, en esta visión, sería una secuencia de "movimientos" que modifican ese estado epistémico para avanzar el conocimiento y reducir la incertidumbre: deducir consecuencias, descomponer problemas en partes y, de forma crucial, decidir qué pregunta formular, qué cálculo realizar o qué experimento llevar a cabo a continuación.

El propio autor reconoce que razonar sobre el mundo abierto es mucho más difícil que jugar al Go o al ajedrez: el estado actual de las cosas solo se conoce de forma parcial, el conjunto de acciones disponibles es amplio y variable, y las consecuencias de las acciones son estocásticas o desconocidas. Aun así, defiende que los avances recientes en LLM y otros modelos neuronales ya ofrecen piezas útiles para abordar este tipo de razonamiento general: los LLM pueden sugerir formas de abordar un problema a partir de lo que se sabe y de los recursos disponibles, pueden interactuar con herramientas a través de API o código, y pueden ayudar a evaluar si una afirmación está respaldada por la evidencia disponible.

Lo más importante, insiste, es que una parte independiente del sistema debe evaluar cada "movimiento" por cuánto reduce realmente la incertidumbre, actualizando las creencias del sistema solo cuando el cambio esté respaldado por evidencia. Una vez impuestas estas reglas, el modelo podría acumular conocimiento certificado y mejorar su propia política de razonamiento aprendiendo de experiencias de razonamiento pasadas. Graepel resume esta visión con una imagen llamativa: un sistema así funcionaría como "el método científico con esteroides", cuyo propósito sería producir conocimiento capaz de resistir el escrutinio.

El artículo cierra con una advertencia dirigida a toda la industria: no se llega a una inteligencia artificial digna de confianza simplemente haciendo más grande el "sistema 1". Escalar los modelos afina la intuición, pero no la convierte en deliberación. La jugada 37 importó, recuerda, porque una máquina sostuvo una posición, sopesó futuros posibles y eligió el movimiento que sus propios instintos artificiales habrían rechazado. Según Graepel, la sociedad necesita ese tipo de movimientos creativos y auditables en campos como el descubrimiento de fármacos, los materiales, el clima o el diagnóstico médico —ámbitos donde el "tablero" no se parece en nada al del Go y nadie nos entrega las reglas de antemano—. Esas intuiciones solo llegarán, concluye, de sistemas que razonen de verdad: sistemas cuyas conclusiones surjan de una secuencia auditable de evidencia, inferencia y revisión de creencias, y no de una historia convincente contada después de los hechos.