Weight-Space Programming: GPT-6 Astra edita los pesos de Qwen y sube su MATH-500 del 7,9% al 48,1%

Por Turing Post · lunes, 2 de noviembre de 2026.

El editorial de hoy de Turing Post analiza por qué se hizo viral el trabajo «Sparks of Weight-Space Programming», publicado el 2 de noviembre por investigadores del MIT CSAIL. Según el newsletter, el anuncio superó el millón de visualizaciones en X en pocas horas, y un lector lo describió como «cirugía de modelo sobre modelo». La editora dejó de lado el editorial que tenía previsto para investigar qué estaba pasando.

Según Turing Post, el éxito se explica en parte porque la expresión suena a ciencia ficción: una IA que actúa como cirujana y abre el «cerebro» de otra para reescribir su circuito. A eso se suma una cifra llamativa, el salto de 7,9% a 48,1% en MATH-500. El newsletter matiza que el concepto no es una revelación repentina: la investigación en edición de modelos, representaciones en el espacio de pesos e hiperredes lleva años en marcha. La verdadera novedad, dice, fue cómo se montó la demostración.

Primer experimento: el «paddle» de Breakout. El equipo dio a GPT-6 Astra los pesos de una pequeña red que juega a videojuegos, en forma de texto: los 17.253 pesos, junto con una descripción de la cuadrícula y los controles. La pregunta era si Astra podía nombrar el juego sin una lista de opciones. En el mapa de pesos de la posición del jugador, las conexiones más fuertes se concentraban en la fila jugable más baja, lo que sugiere una pala que se mueve a izquierda y derecha. Astra consideró también Pong, pero en el segundo mapa tres filas de objetivos de recompensa cerca de la parte superior delataban los ladrillos. Astra acertó con Breakout sin ver ni un solo fotograma.

Segundo experimento: escribir en los pesos. Se pidió a Astra que mejorase en matemáticas a otro modelo de lenguaje, Qwen3.5-0.8B. Astra disponía de Python, problemas de práctica y hasta 50 lotes de pruebas para ensayar ediciones. El equipo descartó el reentrenamiento y mantuvo privadas las preguntas de test.

Con el modo de pensamiento opcional activado, Qwen repetía pasos que ya había escrito. Astra comparó las señales internas de Qwen durante esos bucles con las de los pasos en los que sí progresaba, y encontró que dos capas, la 15 y la 19, reforzaban un patrón asociado a la repetición. Para debilitarlo, realizó una edición que tocaba 131.072 pesos, alrededor del 0,016% del modelo. En MATH-500, la precisión de Qwen pasó del 7,9% al 48,1%.

El coautor Alex Zhang cuenta que el equipo pensó al principio que Astra había incorporado de algún modo una nueva habilidad matemática en Qwen. Sin embargo, al observar cómo terminaban las respuestas, antes de la edición el 93% alcanzaba el límite de longitud; después, el 33,1%. Según el newsletter, gran parte de la mejora se debió a que Qwen por fin terminaba problemas que ya podía resolver. También probaron con Gemma 3 270M, que generalmente completaba sus respuestas pero cometía errores de aritmética y álgebra; las ediciones de Astra no produjeron una mejora clara allí.

El matiz del bucle y el prompt. El investigador Lucas Beyer leyó el prompt completo y señaló que decía explícitamente a Astra que, si Qwen «se repite y nunca termina», encontrar y corregir lo que causa esa repetición cuenta. La propia documentación de Qwen ya había señalado ese comportamiento en el modo de pensamiento. El coautor Jayden Teoh respondió que el equipo había dado una asignación breve a Claude Code, y que este añadió la pista al ampliar el prompt, sin más intervención humana. Turing Post lo resume así: un modelo sugirió dónde mirar y otro averiguó cuáles de los 800 millones de pesos de Qwen cambiar, una cooperación entre modelos que, según la editora, los medios aún no han destacado.

El newsletter relaciona esto con cómo se leen los titulares alarmistas de «la IA nos matará». Menciona que Vidhay Reddy dijo a CBS que preguntaba a Gemini cómo prevenir el maltrato a ancianos cuando el modelo le dijo que muriera, y que investigadores de Transluce citaron después su caso al buscar deliberadamente prompts capaces de llevar a los modelos a fomentar la autolesión.

Sobre el linaje de la edición de pesos: técnicas como ROME, MEMIT y la aritmética de tareas demostraron hace años que los parámetros contienen estructuras asociativas directas que se pueden dirigir. En 2024, otros investigadores usaron ediciones dirigidas relacionadas para controlar cuándo los chatbots rechazan una petición (el artículo «Refusal in Language Models Is Mediated by a Single Direction»).

Según Turing Post, lo que hace atractivo el trabajo y explica su viralidad es la orquestación: describir en inglés llano un problema de alto nivel, dar a un modelo de base estándar un entorno de ejecución y dejar que sondee, aísle y parchee de forma sistemática los pesos de otra red.

Por último, el equipo probó un prompt más corto, sin el ejemplo sobre la repetición. Con 25 lotes de pruebas, Qwen alcanzó un 14,1% de precisión tras la edición, la misma puntuación que en la ejecución con la pista. La tabla no incluye un resultado de 50 lotes para ese prompt más corto, y esa es la fila que la editora querría ver.

Otros elementos del newsletter: la agenda semanal incluye el viernes 6 de noviembre un AI 101 sobre Looped Transformers y el domingo 8 de noviembre una Twitter Library sobre una actualización de agentes de uso de ordenador. También se recomienda un vídeo de YouTube sobre el nuevo «super-agente» de DeepSeek, de código abierto, que trata qué se rompe al ejecutar agentes de IA en paralelo.