Looped Transformers: qué ocurre dentro del bucle y cuándo compensa otra pasada

Por Turing Post · Sat, 7 Nov 2026.

Turing Post presenta una guía de su serie AI 101 dedicada a los Looped Transformers (Transformers con bucle). El correo indica que ha habido un auge reciente de investigación sobre esta arquitectura y que siguen apareciendo nuevos trabajos. Según el texto, el motivo es que hay que repensar arquitecturas conocidas de IA para aprovechar todo su potencial, y en este caso ese potencial es la reutilización de capas. A medida que madura toda la pila de IA, sus fundamentos básicos deben responder a las exigencias de los nuevos sistemas.

El correo recuerda cómo funciona un Transformer convencional: la entrada atraviesa una secuencia de capas, normalmente cada una con sus propios pesos, hasta llegar a la salida. Hacer la pila más profunda da al modelo más transformaciones que realizar, pero también más parámetros que almacenar y entrenar. Cómputo y tamaño del modelo crecen juntos. Los Looped Transformers aflojan esa conexión: envían una representación oculta varias veces por las mismas capas, actualizándola en cada pasada. La ventaja es que el modelo puede hacer más trabajo sin añadir un nuevo conjunto de pesos por cada paso adicional. El texto advierte de que, aunque suene perfecto, no es tan sencillo.

La guía promete explicar qué son los Looped Transformers, qué sucede dentro del bucle, cómo optimizar y medir la eficiencia de un modelo con bucle en 2026 y, sobre todo, cuándo merece la pena otra pasada frente a su coste. El índice del episodio incluye: definiciones esenciales, qué circula por el bucle, el cambio de estado en cada pasada, por qué estos modelos cobraron importancia para los algoritmos, la profundidad adaptativa (decidir dónde gastar otra pasada), si el bucle realmente ahorra recursos, y qué ocurre con el hardware, la caché KV y otros parámetros.

Definiciones que ofrece el correo:

• Looped Transformer: Transformer que ejecuta el mismo bloque o pila de bloques varias veces, actualizando su estado oculto en cada pasada.

• Bloque Transformer: unidad con atención y red feed-forward, normalmente con conexiones residuales y normalización.

• Estado oculto: representación numérica de los tokens mientras el modelo los procesa; lo que viaja por el bucle son estas representaciones, no palabras recién generadas.

• Weight sharing (compartición de pesos): reutilizar los mismos parámetros en varias pasadas en lugar de almacenar un conjunto distinto para cada una.

• Bucle / recurrencia: una pasada por el bloque o pila compartidos; la salida se convierte en la entrada de otra pasada.

• Profundidad recurrente: número de veces que se ejecuta el bloque o pila compartidos. La terminología varía entre artículos: algunos usan «profundidad» para contar aplicaciones individuales de bloque.

• Input injection: volver a añadir o reintroducir la representación original de la entrada durante las pasadas repetidas, para que el modelo pueda seguir usándola mientras su estado oculto cambia.

• Profundidad adaptativa: dar a distintas entradas o tokens un número diferente de capas o pasadas, en lugar de un número fijo para todo.

• Profundidad efectiva: número total de aplicaciones de bloque. Por ejemplo, cuatro bloques repetidos ocho veces dan 32 aplicaciones; los bloques fuera del bucle se cuentan aparte.

• Full-stack looping: repetir toda la pila del Transformer.

• Middle-stack looping: repetir un grupo central de bloques entre bloques de entrada y salida que se ejecutan una sola vez.

Sobre qué viaja por el bucle, el correo explica que un Looped Transformer reutiliza un bloque (o una pila de bloques) a lo largo de varias pasadas. Cada bloque contiene componentes conocidos: atención, red feed-forward y conexiones residuales. El cambio arquitectónico distintivo es que la salida de la pila compartida pasa a ser su entrada en la siguiente pasada. La imagen que acompaña al texto muestra el diagrama de los Universal Transformers, donde bloques recurrentes de codificador y decodificador reutilizan atención y funciones de transición durante T pasos antes de producir las probabilidades de salida.

El correo incluye una comparación a igual profundidad efectiva. Un Transformer estándar tiene 24 bloques distintos con pesos propios, una sola pasada por la pila y 24 aplicaciones de bloque en total; el estado oculto, tras el bloque seis, pasa al bloque siete. El Looped Transformer del ejemplo tiene 6 bloques distintos, 4 pasadas por la pila y también 24 aplicaciones de bloque; tras el bloque seis, el estado oculto vuelve al bloque uno para otra pasada.

De ahí se derivan dos magnitudes: la profundidad única (unique depth), que cuenta los bloques distintos cuyos pesos almacena el modelo, y la profundidad efectiva (effective depth), que cuenta cuántas aplicaciones de bloque atraviesa la entrada. Para una pila totalmente repetida, la profundidad efectiva es el número de bloques únicos multiplicado por el número de pasadas; si el modelo tiene un inicio y un final sin repetir, esos bloques se cuentan una vez. El texto aclara que el modelo con bucle no equivale a un modelo convencional de 24 bloques, porque este último tiene más libertad para especializar cada profundidad. El objetivo del bucle es ganar cómputo adicional sin necesitar un conjunto nuevo de pesos para cada pasada.

El resto de la guía, incluidos el seguimiento del estado oculto por el bucle, los métodos para decidir cuándo parar, por qué una caché KV más pequeña puede permitir a una GPU atender más peticiones a la vez y los avances más importantes de 2026, queda reservado a suscriptores Premium y no aparece en el cuerpo del correo, por lo que no puede resumirse aquí.

Como extras, el correo enlaza el artículo anterior de la serie AI 101 («Test-Time Training – A Model That Changes While You Use It») y un vídeo de YouTube de Axiom Math sobre una «ciudad matemática» interactiva en 3D construida con 16 millones de líneas de código verificado.