Los agentes de IA pueden 'memorizar' el examen: un estudio limita su autooptimización para evitarlo

Por DiarioBitcoin · 4 de octubre de 2026. Un artículo de investigación —titulado 'RRSI: Regularized Recursive Self-Improvement of Agent Harnesses' y probado con los modelos Gemini de Google— pone cifras a un problema que los equipos de IA agéntica llevan tiempo sospechando: cuando un agente se reescribe a sí mismo para mejorar sus resultados, puede acabar memorizando el examen en lugar de aprender a resolver tareas nuevas. El objeto de la optimización no es el modelo de lenguaje, sino el harness: el conjunto de prompts, herramientas, memoria y reglas que decide qué información recibe el modelo y cómo actúa en cada paso.

El método propuesto, bautizado RRSI, pone dos frenos a ese ciclo de autooptimización. Primero, limita cuántos cambios puede agrupar el agente en una sola propuesta —un presupuesto que se reduce con el tiempo, de cambios amplios al principio a ajustes pequeños y rastreables después—. Segundo, un 'crítico' descarta cualquier modificación que incluya nombres de tareas o soluciones atadas a un benchmark concreto, y solo acepta que el agente gaste más cómputo si esa inversión viene con una mejora de rendimiento medible. En los ocho benchmarks de programación, tareas de oficina y diseño de ingeniería con los que se probó —manteniendo el modelo congelado para aislar el efecto del harness—, RRSI ganó hasta 14,1 puntos en las tareas de entrenamiento y hasta 4,7 puntos en cinco benchmarks que no había visto nunca, además de consumir cerca de un 30% menos de tokens que la autooptimización sin regularizar. El salto más alto en tareas inéditas llegó en JobBench; dos de los métodos rivales, en cambio, rindieron por debajo del harness original en cuanto se les puso delante una tarea nueva, la señal clásica del sobreajuste.

El hallazgo más práctico puede ser otro: un harness optimizado con Gemini 3.5 Flash elevó la precisión de un modelo más débil, Gemini 3.1 Flash Lite, de 11,2 a 14,6 puntos en una prueba de programación sin tocar sus parámetros. Si ese resultado se confirma a mayor escala, el harness deja de ser un ajuste fino de un modelo concreto y pasa a ser un activo transferible: una capa de ingeniería que cualquier equipo con presupuesto más modesto podría heredar en lugar de entrenar desde cero.

En general, el dato de fondo importa más que el paper en sí: buena parte del progreso reciente en agentes no viene de modelos de lenguaje nuevos, sino de mejorar el harness que los rodea, el 'cómo se usa' por encima del 'qué tan listo es'. Es la misma lógica que lleva meses explicando las diferencias que vemos entre laboratorios en nuestros propios índices de calidad: el modelo importa, pero el andamiaje que lo envuelve —memoria, herramientas, reglas de recuperación de errores— explica buena parte de la distancia entre un agente que funciona en producción y uno que solo brilla en la demo.

Nuestra lectura es que este trabajo documenta, con método, algo que ya veníamos señalando desde el lado de los benchmarks: cuando la métrica se convierte en objetivo, deja de ser buena métrica. Lo que aquí se llama 'memorización del harness' es la versión agéntica de la saturación que ya vemos en pruebas de ciberseguridad o en Elos optimizados para votantes: un sistema que aprende a parecer bueno en lugar de serlo. La diferencia es que RRSI aporta algo más que una advertencia: una forma concreta de auditar el proceso de automejora, descartando atajos y exigiendo que cada gasto de cómputo se justifique con una ganancia real fuera del conjunto de entrenamiento.

La limitación que los propios autores reconocen importa: el estudio trabaja con modelos de pesos congelados, no con sistemas donde modelo y harness evolucionan a la vez, que es hacia donde apunta la frontera de la autooptimización agéntica. Aun así, la dirección es la correcta para nuestra tesis de fondo: si la IA agéntica va a asumir tareas cada vez más autónomas camino de la abundancia que defendemos a largo plazo, necesita antes mecanismos que distingan progreso real de apariencia de progreso. Un agente que solo aprende a aprobar el examen no libera tiempo humano, lo consume en vigilarlo. El código de RRSI está disponible en GitHub, lo que al menos permite que ese escrutinio no dependa solo de la palabra de quien lo construyó.