Test-Time Training: el modelo que cambia mientras lo usas

Por Turing Post.

Antes de entrar en materia, el boletín anuncia un cambio de formato: la sección 'AI 101' pasa a llamarse '∇ Guide' (nabla, el símbolo matemático que representa un gradiente) y se moverá al final de la semana. La idea es ir más allá de las explicaciones básicas de conceptos, modelos y técnicas de IA, conectándolas con el 'Almanac' de Turing Post.

El artículo arranca con un análisis del experimento de OpenAI sobre el problema de Navier-Stokes (uno de los Problemas del Milenio), que sirve como punto de partida para hablar de la etapa de inferencia o test-time. Un gráfico compara a GPT-6 Astra con el nuevo modelo interno de próxima generación de OpenAI en un conjunto de problemas matemáticos abiertos. Según el correo, ocurren dos cosas a la vez: el nuevo modelo parte de un nivel mucho más alto, y el cómputo adicional en tiempo de inferencia (test-time compute) sigue mejorando el rendimiento de ambos modelos. Parte del salto viene de entrenar un modelo más fuerte, y otra parte viene de darle más tiempo, más intentos y más cómputo tras recibir el problema. En la ejecución sobre Navier-Stokes, unos 10.000 agentes pasaron 88 horas explorando distintos enfoques, compartiendo hallazgos útiles entre ellos y mejorando el resultado mediante contexto, coordinación, herramientas y cómputo en tiempo de test.

A partir de ahí, el boletín plantea un cambio más amplio en la naturaleza de la inferencia: ha dejado de ser un modelo fijo que produce una única respuesta, para convertirse en un proceso activo que puede prolongarse durante horas y mejorar su camino hacia la solución. Pero, señalan, la mayor parte de esa mejora ocurre en el proceso que rodea al modelo. La pregunta que se hacen es qué pasa con la evolución del propio modelo durante la inferencia.

Aquí conectan con un artículo anterior de Turing Post (de hace más de un año) sobre test-time compute y test-time scaling, en el que ya identificaron el test-time training (TTT) como una de las direcciones posibles para mejorar el razonamiento de un modelo durante la inferencia. Según el correo, todavía no ha habido un 'boom' de TTT, pero se está llegando a un punto interesante en el que varios investigadores empiezan a explorarlo.

La distinción central que traza el artículo es esta: el test-time compute consiste en usar más computación durante la inferencia manteniendo fijos los pesos del modelo, mientras que el test-time training implica que el modelo sigue adaptándose o actualizándose a sí mismo durante la fase de test. El TTT cuestiona la idea tradicional de que el aprendizaje termina cuando un modelo se despliega, difuminando la línea entre entrenamiento e inferencia. Esto es especialmente útil cuando los datos cambian rápidamente, y por eso aportaría grandes beneficios a los 'world models' (modelos de mundo), centrados precisamente en adaptarse rápido a nuevos estados, acciones y entornos.

El episodio se estructura en varias secciones anunciadas en el índice: definiciones esenciales; qué es el test-time training y cómo funciona; estudios que marcan el TTT como tendencia emergente (incluyendo 'Test-Time Policy Optimization', TTPO, y 'Agentic Test-Time Training', aTTT); por qué el emparejamiento entre world models y TTT es tan importante; ejemplos de world models que usan TTT (como 'WAM-TTT: Test-Time Training While Watching Humans'); qué es la 'Test-time Mixture of World Models' (TMoW); limitaciones del enfoque; y una conclusión. El cuerpo del correo recibido desarrolla en detalle las dos primeras partes, mientras que el resto de secciones quedan anunciadas en el índice sin desarrollarse en el texto disponible.

En la parte de definiciones, el correo repasa los conceptos necesarios: el 'training time' (fase en la que el modelo aprende de un dataset actualizando sus parámetros) frente al 'inference' o 'test time' (fase en la que el modelo ya entrenado recibe datos nuevos y genera predicciones, tradicionalmente con los parámetros fijos). Define los parámetros del modelo como los pesos internos aprendidos en el entrenamiento, que el TTT actualiza también durante la inferencia. Explica la 'distribución de entrenamiento' (los patrones de los datos de entrenamiento) y la 'distribución de test' (los patrones de los datos nuevos que el modelo encuentra tras el despliegue), y el 'distribution shift' o cambio de distribución, es decir, la diferencia entre ambas —por ejemplo, una iluminación nueva, ruido en la imagen, un acento distinto o un sensor diferente—. También define el aprendizaje autosupervisado (aprender sin etiquetas humanas creando una tarea a partir de los propios datos, como reconstruir contenido enmascarado o predecir la rotación de una imagen), la 'tarea principal' (la predicción que el modelo debe hacer realmente, como reconocer un objeto, transcribir voz o predecir una secuencia), la 'tarea auxiliar' (la tarea autosupervisada usada para adaptar el modelo en tiempo de test, que no es la tarea final pero cuyas actualizaciones deben ayudar a completarla), la 'pérdida auxiliar' (la medida de error en esa tarea autosupervisada, usada como señal para actualizar el modelo), y la 'adaptación en tiempo de test' (el proceso de ajustar el modelo a los nuevos datos de test, del cual el TTT es una forma concreta mediante actualización de parámetros y aprendizaje autosupervisado).

Sobre qué es el test-time training en sí, el correo cita el paper de 2020 de Yu Sun y otros investigadores de la Universidad de California, Berkeley, titulado 'Test-Time Training with Self-Supervision for Generalization under Distribution Shifts', que describe el TTT como un enfoque amplio en el que un modelo se adapta mientras está siendo usado. La idea central es que la inferencia no tiene por qué ser pasiva: el entrenamiento puede continuar durante la inferencia para mejorar el rendimiento del modelo sobre datos completamente nuevos que encuentra al operar en el mundo real.

Sobre cómo funciona el TTT, el correo explica que el proceso comienza una vez que el modelo ya ha sido entrenado y desplegado, y su objetivo es dejar que el modelo se ajuste a los datos que tiene delante en ese momento (por ejemplo, una imagen subida por un usuario, un fotograma de la cámara de un robot, o un fragmento de voz grabada). El modelo necesita hacer una predicción sobre esa nueva entrada —su tarea principal— pero no conoce la respuesta correcta, por lo que no puede aprender de ella como lo haría con una tarea de entrenamiento etiquetada normal. Para resolver esto, el sistema de TTT crea una tarea separada y autosupervisada a partir de los mismos datos nuevos, llamada tarea auxiliar, cuya respuesta se puede generar automáticamente: como la respuesta se genera a partir de la propia entrada, el modelo ya la conoce y no necesita una etiqueta proporcionada por un humano. El texto del correo se interrumpe más adelante, antes de desarrollar el resto de secciones anunciadas en el índice.

Como contenido adicional, fuera del artículo principal, el correo menciona un episodio del canal de YouTube de Turing Post, 'Attention Span', dedicado al agente personal Muse de Meta. Según el texto, Meta le dio a Muse un grado notable de libertad, pero diseñó deliberadamente un aspecto del sistema para que fuera difícil de controlar por el propio agente: su propia autoridad. El episodio analiza la 'Muse Secure VM' y la arquitectura de seguridad que rodea al agente.