RSI en el post-entrenamiento: el bucle que ya está en producción

Por TheSequence · 22 de septiembre de 2026.

El artículo arranca con una provocación: hay que olvidarse de la imagen del agente que reescribe su propio código como el gran ejemplo de auto-mejora recursiva (RSI) en IA. Según el autor, el bucle de auto-mejora más importante económicamente no es ese, sino el pipeline de post-entrenamiento, que según afirma llevan dos años ejecutando a escala industrial todos los laboratorios de frontera.

El texto retoma el argumento de una entrega anterior de la newsletter: que 'la fábrica se automatizó antes que la oficina de diseño', y que la línea que separa ambos tipos de trabajo depende de si la tarea viene con una 'clave de respuestas' (un criterio objetivo de corrección) o no. En esta entrega, el autor dice querer mirar dentro de la parte de esa fábrica que más importa, porque ahí hay un bucle de auto-mejora que, según él, apenas recibe atención en la conversación sobre RSI, pese a ser el que realmente está produciendo los modelos actuales.

El bucle se describe de forma muy simple: un modelo genera muchas respuestas candidatas a un problema; algo (un evaluador) las califica; las buenas se convierten en datos de entrenamiento; el modelo se reentrena con ellas y mejora ligeramente su capacidad de producir buenas respuestas; y el proceso se repite.

El autor señala que este mismo bucle ha recibido distintos nombres según la época y el contexto: se llamó STaR en el paper de 2022 que lo formuló por primera vez de forma clara, se conoce como RLVR (aprendizaje por refuerzo con recompensas verificables) en el vocabulario de 2025, y simplemente 'post-entrenamiento' en el organigrama de los laboratorios. Para el autor, se trata del mismo mecanismo con distintos nombres, y es precisamente el que ha llevado a los modelos de frontera de ser simples chatbots a convertirse en agentes.

El cuerpo del correo recibido está incompleto: termina con la frase de transición 'Sourdough, not a screwdriver...' (aparentemente el inicio de la siguiente sección del análisis, posiblemente una metáfora sobre el proceso de entrenamiento como algo que se 'cultiva' de forma iterativa en lugar de construirse como una herramienta de una sola pieza), pero el desarrollo de esa idea no está incluido en el texto disponible.