RSI: por qué la auto-mejora recursiva de la IA sigue estancada

Por Turing Post.

Este número inaugura el cambio de formato de la newsletter: la sección que antes se llamaba "AI 101" pasa a llamarse "∇ Guide" (nabla, el símbolo matemático del gradiente) y se publicará los viernes, conectando explicaciones de conceptos de IA con el "Almanac" de la publicación.

El tema central es la auto-mejora recursiva (Recursive Self-Improvement, RSI): la idea de que la IA puede ayudar a mejorar futuros sistemas de IA, que a su vez ayudarían a construir otros todavía mejores. Según el correo, ya se ha demostrado que la IA puede mejorar a la IA, pero eso no se ha traducido en una RSI sostenida, y el artículo explora por qué.

El análisis parte de un paper citado explícitamente: "What is Missing from AI Post-Training AI: An Empirical Analysis", elaborado por investigadores de la Universidad de Tsinghua y otras instituciones. El estudio examina agentes de IA que hacen post-entrenamiento de otros modelos, distinguiendo dos niveles de capacidad: la 'ejecución' (seguir un plan de entrenamiento ya existente: preparar datos, ajustar hiperparámetros, corregir errores, elegir el mejor checkpoint) y la 'estrategia' (cambiar el propio plan: cambiar de método de entrenamiento, añadir o quitar etapas, usar otro tipo de datos, redirigir el cómputo restante).

Los investigadores solo contabilizaron como 'experimento de entrenamiento' los casos en que el agente realmente actualizó los parámetros del modelo. Con ese criterio, los resultados muestran que los agentes ya tienen éxito entrenando modelos: en 1.338 trayectorias completaron 5.111 ejecuciones de entrenamiento y mejoraron el rendimiento medio en benchmarks del 10,4% al 23,0%. En HumanEval, por ejemplo, el rendimiento medio subió del 22,0% al 41,4%. Es decir, los agentes ya son capaces de preparar datos, lanzar entrenamientos, diagnosticar problemas técnicos, reparar ejecuciones fallidas e iterar durante horas.

La limitación principal, según el paper, aparece en el nivel estratégico: los agentes suelen fijar una estrategia de entrenamiento al principio y quedarse en ella, dedicando el resto del tiempo a pequeños ajustes. Solo en cerca del 2% de los casos probaron una estrategia distinta, incluso cuando los resultados sugerían que debían cambiar de enfoque. Curiosamente, el enfoque preferido dependía más del agente concreto que de la tarea: Claude Code tendía a elegir el ajuste fino supervisado de todos los parámetros (full-parameter SFT), mientras que Codex CLI prefería el ajuste fino eficiente en parámetros (parameter-efficient fine-tuning).

Los investigadores probaron tres posibles soluciones, y ninguna resolvió el problema de fondo:

1. Más experiencia (dar a los agentes memoria, habilidades útiles y retroalimentación) mejora solo la ejecución: en HumanEval el rendimiento subió del 22,0% al 62,8% (frente al 41,4% sin esta mejora), pero no hace que los agentes cambien de estrategia cuando deberían.

2. La guía humana ayuda a elegir un enfoque inicial distinto, pero una vez comienza el entrenamiento los agentes vuelven a quedarse atascados en ajustes locales menores.

3. Más cómputo de inferencia (entre 2 y 8 veces más) ayuda en tareas fáciles, pero apenas marca diferencia en las tareas más difíciles.

La conclusión de esta primera parte es que el problema no es falta de experiencia, de guía o de cómputo: la IA ya puede iterar para mejorar a la IA, pero iterar no es lo mismo que replantearse el enfoque. Los agentes actuales rara vez se detienen a pensar "quizá todo mi planteamiento esté equivocado"; carecen de una forma fiable de reconocer un error durante el proceso de iteración, por lo que corren el riesgo de seguir iterando en la dirección equivocada y quedarse atrapados en correcciones locales innecesarias. Esto, señala el artículo, no es solo un problema de post-entrenamiento, sino un obstáculo para la RSI en general.

La segunda sección, "Why Iteration Matters for RSI but Is Not Enough", profundiza en esta distinción: en la auto-mejora recursiva, la palabra clave es 'recursivo', porque los resultados de un ciclo de investigación se retroalimentan al siguiente, ayudando al sistema a elegir mejores opciones de mejora. Iterar significa repetir el bucle automatizado de investigación aprendiendo de cada intento: proponer una idea → implementarla → ejecutar un experimento → evaluar los resultados → revisar el plan → volver a intentarlo. Este bucle solo se vuelve recursivo cuando la IA usa lo aprendido para replantear la estrategia de la siguiente ronda (el método de entrenamiento, la configuración de datos, el proceso de evaluación o el pipeline de construcción del modelo). Según el correo, la mayoría de los agentes hoy completan este bucle solo a nivel de ejecución, mientras que el proceso más amplio de 'la IA mejorando a la IA' sigue siendo, en gran medida, lineal.

El índice del número anuncia además otras secciones —"Meta^n: A Layered Approach to Improving RSI", "Recuris: The Power of Memory in RSI", una conclusión titulada "Everything is a puzzle piece" y una lista de fuentes— cuyo contenido no llegó a incluirse en el cuerpo del correo recibido, por lo que no es posible resumir su contenido con precisión.

Como apunte adicional fuera del tema principal, el correo enlaza a un vídeo de YouTube del propio Turing Post sobre cómo NVIDIA pasó de estar cerca de desaparecer con su chip NV1 a encontrar en el deep learning el mercado para CUDA, enmarcándolo en su reportada adquisición de Hugging Face por 12.900 millones de dólares.