Co-entrenamiento online de modelos borrador para acelerar la decodificación especulativa en RL post-training a gran escala

El post-training con aprendizaje por refuerzo (RL) se ha convertido en una fase decisiva para llevar a los grandes modelos de lenguaje hacia comportamientos de razonamiento más sofisticados, pero tiene un cuello de botella conocido: la generación de rollouts, es decir, las secuencias de texto que el modelo produce durante el entrenamiento y que luego se evalúan para calcular la señal de recompensa. Este artículo, un informe técnico publicado en arXiv por Zili Wang, Zhaopeng Qiu, Yuekai Zhang, Shuang Yu y Junjie Lai, aborda precisamente ese cuello de botella mediante decodificación especulativa (speculative decoding), una técnica ya establecida en el mundo de la inferencia que aquí se lleva al terreno, más exigente, del entrenamiento con RL a gran escala y contextos largos.

La decodificación especulativa funciona apoyándose en un modelo 'borrador' (draft) mucho más pequeño y rápido que propone varios tokens candidatos, los cuales el modelo grande (la política que se está entrenando) verifica en paralelo en lugar de generarlos uno a uno de forma autoregresiva. Cuantos más tokens propuestos acepta el modelo grande, mayor es la aceleración obtenida. El artículo señala que el co-entrenamiento online del draft —es decir, ir actualizando continuamente ese modelo pequeño a la par que evoluciona la política durante el RL— mejora su precisión predictiva y, por tanto, incrementa todavía más esas aceleraciones, en vez de usar un draft estático que se desincroniza progresivamente del modelo que está aprendiendo.

Sin embargo, escalar este co-entrenamiento a modelos grandes con contextos largos presenta dos obstáculos técnicos concretos que los autores identifican explícitamente. El primero tiene que ver con el paralelismo de contexto (context parallelism, CP), la técnica que permite repartir secuencias muy largas entre varias GPUs. Las implementaciones estándar de atención causal en paralelismo de contexto (como el zigzag ring attention) no soportan la llamada 'branch attention', un patrón de atención en árbol necesario para verificar simultáneamente varias ramas de tokens candidatos generados especulativamente. El segundo obstáculo surge en el paralelismo de pipeline (PP): las 'target features' —las representaciones intermedias del modelo grande que el draft necesita para entrenarse y alinearse con él— quedan repartidas entre distintas etapas del pipeline, lo que complica su transporte sin alterar el resto del proceso de entrenamiento.

Para resolver el primer problema, el equipo extiende el esquema de zigzag ring attention empaquetado y balanceado en carga, fusionando la atención de rama local por cada rango de GPU con la atención causal de la secuencia principal, de modo que ambos tipos de atención conviven dentro del mismo esquema de paralelismo de contexto sin romper su eficiencia. Para el segundo problema, proponen un mecanismo denominado TapChannel, que transporta esas características intermedias del modelo objetivo entre las distintas etapas del pipeline a través de una vía de comunicación separada, dejando intacto el planificador (schedule) habitual del pipeline y evitando así interferencias con el resto del entrenamiento.

Según los experimentos descritos en el abstract, los modelos borrador co-entrenados de esta forma logran seguir de cerca a la política base —es decir, mantienen una buena fidelidad predictiva pese a estar actualizándose constantemente— al tiempo que producen aceleraciones sustanciales tanto en la fase de generación de rollouts como en el proceso de entrenamiento de extremo a extremo, en escalas de modelo que llegan hasta los 122.000 millones de parámetros (122B). El diseño de paralelismo de contexto propuesto muestra, además, un escalado sólido en contextos de hasta 256.000 tokens, con ahorros de memoria significativos frente a trabajos previos, mientras que el mecanismo de transporte para paralelismo de pipeline (TapChannel) introduce solo una sobrecarga modesta.

El trabajo se enmarca en las categorías de aprendizaje automático (cs.LG) y computación distribuida, paralela y en clúster (cs.DC) de arXiv, fue enviado el 7 de septiembre de 2026, y los autores indican que el código está disponible públicamente, aunque el contenido descargado no especifica el enlace concreto del repositorio ni detalles adicionales de implementación más allá de lo resumido en el abstract.

Más allá de los detalles técnicos específicos, el artículo es representativo de una tendencia más amplia en la infraestructura de entrenamiento de modelos de lenguaje: a medida que el post-training con RL —especialmente el orientado a razonamiento extendido y contextos muy largos— se vuelve central en el desarrollo de modelos de frontera, optimizar el coste computacional de la fase de generación de rollouts deja de ser un problema exclusivo de la inferencia en producción y pasa a ser un factor crítico dentro del propio bucle de entrenamiento. Integrar técnicas de aceleración como la decodificación especulativa directamente en pipelines de RL distribuidos, resolviendo las fricciones específicas que introducen el paralelismo de contexto y el paralelismo de pipeline a gran escala, es el tipo de trabajo de ingeniería de sistemas que, sin ser tan visible como el lanzamiento de un nuevo modelo, condiciona directamente cuánto cuesta y cuánto tarda entrenar los modelos que sí acaban siendo noticia.