Las redes neuronales ya son «limpias»: Goodfire sostiene que la polisemanticidad no se debía a la superposición

Aviso al lector: el texto disponible está cortado a mitad del primer apartado (el caso de las neuronas de gatos y coches). Lo que sigue resume solo la introducción y el resumen inicial del ensayo. No cubre las secciones sobre modelos de visión, modelos de lenguaje y la visión de conjunto, ni el artículo técnico complementario que el autor anuncia.

El ensayo es una hipótesis de trabajo informal de Nick Cammarata, de Goodfire, con contribuciones de Curt Tigges (investigación sobre neuronas de lenguaje) y Tarun Gogineni (edición). Su tesis central es que las redes neuronales ya son «limpias». Según el autor, los bloques de construcción legibles de una red son sus propios mecanismos: neuronas y circuitos. Por eso cree que el panorama de la interpretabilidad mecanicista puede ser mucho mejor de lo que él mismo temía.

Cammarata distingue dos enfoques. El primero es ciencia normal rápida sobre la propia red: mirar neuronas y circuitos, estudiar cómo se relacionan, observar el flujo de datos y ejecutar experimentos a escala agéntica para poner a prueba las explicaciones. El segundo parte de una lista de características hipotéticas e intenta extraerlas todas con objetivos de reconstrucción cada vez más sofisticados, como los autoencoders dispersos, normalmente ignorando la red original. Según el autor, el campo empezó con el primero y retrocedió al segundo porque las redes parecían nudos enmarañados.

La explicación dominante de esa maraña era la superposición. Planteaba que, cuando a una red se le acaban las neuronas, deja de agrupar cosas relacionadas y pliega cosas no relacionadas juntas, simplemente porque no interfieren entre sí. Si eso fuera cierto, lo que agrupa una neurona diría muy poco y habría que «desplegar» el nudo antes de estudiar nada. El ejemplo más célebre de polisemanticidad es una neurona de un modelo de imagen que respondía tanto a caras de gato como a frontales de coche. Además, la última capa de InceptionV1, el organismo modelo de los inicios del campo, parecía tan llena de mezclas arbitrarias que casi ninguna neurona era fácilmente interpretable.

El autor afirma que la superposición fue la explicación equivocada para InceptionV1. En su lectura, problemas arquitectónicos hicieron que las capas finales se desbordaran, y las herramientas de interpretabilidad débiles amplificaron el efecto y las hicieron parecer incoherentes. Después, cambios de arquitectura pensados para que las capas profundas aprendieran mejor tuvieron el efecto no previsto de hacerlas más interpretables. Con esas mejoras ordinarias, y sin cambiar el tamaño del modelo ni los datos, entre el 99 % y el 100 % de las neuronas de la última capa son fácilmente interpretables. Cammarata dice que es la primera red neuronal no trivial que siente que entiende en gran parte, y que ofrece una versión explorable. También entrenó versiones en un rango de tamaño de 300× y asegura que son legibles a toda escala. Con menos espacio, las neuronas no pliegan cosas dispares: cubren conceptos más gruesos, como una única neurona de «coche» para muchos tipos de coche. Con más espacio, esa neurona se diferencia en coches concretos.

El autor también revisa los ejemplos canónicos. El circuito de 2019, presentado en «Zoom In» como superposición, mostraba una característica de coche que parecía repartirse entre neuronas de perro no relacionadas. Cammarata cree ahora que no escondía nada, porque nada lee esa combinación: era generalización y composición ordinarias. Afirma que, hasta donde sabe, nadie ha publicado un segundo circuito con la forma adecuada. Sobre la neurona de gatos y coches (4e:55 de InceptionV1), su nueva lectura es que el rasgo compartido era una «V». Opina que los bigotes de la visualización engañaron porque la generalización ocurre dentro de patrones de alto nivel. La visualización de características busca subir la activación y arrastra todo lo que trae la ruta del gato, aunque la neurona no «quiera» esos rasgos. Para ver el patrón común hay que visualizar lo que tienen en común las entradas de la neurona, no la neurona aislada.

Para los modelos de lenguaje modernos, el ensayo contrasta cifras antiguas con estimaciones preliminares. En «Towards Monosemanticity» (Anthropic, 2023), con un modelo pequeño de una capa, la neurona mediana recibió un 0 sobre 14 en la rúbrica, es decir, el evaluador no podía formular ninguna hipótesis. El proyecto de interpretabilidad automatizada de OpenAI de 2023 encontró alrededor de un 1,7 % de neuronas interpretables con su medida más generosa. En auditorías preliminares de Qwen3-32B, Goodfire estima que cerca del 90 % de los polos de neurona tienen un trabajo principal, a menudo con pequeñas ramificaciones relacionadas. Otro ~7 % tendría dos trabajos relacionados, y solo ~2-4 % aún no se entiende. Una nota al pie advierte de que estas cifras dependen de cómo se fijen los umbrales de activaciones débiles, de la profundidad y de lo que se considere «una sola cosa». Para conjuntos pequeños y activaciones fuertes, habla de cerca de un 97 % de mezclas no arbitrarias. Añade que no cree que una puntuación única sea tan importante y que debe tomarse como un indicador aproximado. Según el autor, los modelos densos y los de mezcla de expertos se parecen, y obtuvo resultados similares en modelos de hasta billones de parámetros, como Kimi K3. Ese caso se tratará con más detalle en el artículo técnico complementario.

Lo que queda de polisemanticidad aparente sería sobre todo un motivo que llama generalización recursiva. Una neurona crece y echa ramificaciones, como una rama de árbol echa subramas. Por ejemplo, una neurona que detectaba «iy» pasó a detectar «diy» y luego «do it yourself», que ni siquiera contiene «iy». La idea apareció por primera vez en un apartado olvidado de «Multimodal Neurons» (2021). Ahora es más fácil observar el crecimiento de las neuronas durante el entrenamiento, y Cammarata dice que se sostiene en todo lo que ha visto. Incluso en la arquitectura original de InceptionV1, las neuronas menos legibles resultaron estar sobrecreciendo localmente hacia territorio adyacente y razonable. De ahí concluye que solo hay un principio de aprendizaje, no dos: la generalización, que resulta ser fractal. Por eso las explicaciones también pueden serlo: se empieza con una básica y se hace zoom cuando se quiere más detalle.

Para explicar por qué la brecha percibida fue tan grande, el autor apunta a varios problemas ordinarios que se sumaron. Los modelos explicadores de 2023 no podían ejecutar el ciclo de conjetura y prueba. Las métricas premiaban explicaciones que simulaban activaciones en lugar de las correctas. Nadie sabía qué motivos esperar en las neuronas de lenguaje, así que se buscaban cosas equivocadas. Y la mayoría de los estudios usaban modelos pequeños o simplificados. En esos modelos, dice, a la red de verdad se le acababa el espacio, y la superposición parecía la explicación natural. Pero una red con poco espacio no cambia de principio: sus neuronas se vuelven más amplias, y esas neuronas amplias suelen ser fáciles de descomponer cuando se sabe qué buscar.

El ensayo también describe un efecto de «inercia» o «crucigrama». Al principio, con una sola neurona incomprensible, casi nada ayuda, porque los circuitos solo explican una neurona en términos de otras aún no entendidas. A medida que el mapa se llena, cada pieza aporta pistas: sus conexiones, el ecosistema que la rodea y, en un modelo de mezcla de expertos, la especialización de su experto. Como ejemplo, el autor describe una neurona de «sensación de rectitud cuando una compra barata funciona mejor que la alternativa cara». Esas neuronas de sentimientos o señales sociales suelen dispararse sobre signos de puntuación como las comas, o sobre la palabra anterior al momento en que el sentimiento importa para predecir lo siguiente. Con ese conocimiento previo, las pruebas de pesos de entrada y salida, de su polo negativo, de la dirección en que mueve la generación al subirla y de marcas concretas apuntan al mismo sitio. El autor añade que esto también ayuda a depurar las herramientas. Con colegas encontró un régimen de doble negativo en neuronas SwiGLU que, hasta donde saben, nadie había notado y que una descomposición que mezcle muchas neuronas probablemente habría ocultado.

El autor sostiene incluso que entender toda la red puede ser más fácil que entender solo las partes que más importan. Pone dos razones. Es difícil saber cómo piensa una red hasta estudiarla de cerca: «engaño» es un marco inicial útil, pero sus componentes probablemente tengan microestructura relevante para la alineación que solo se ve mirando dentro. Y atacar un pequeño conjunto de mecanismos es como resolver una sola fila de un crucigrama vacío, donde sin los cruces es difícil saber si se acierta. Afirma que, al aplicar este proceso a redes convolucionales modernas, funcionó básicamente. Los agentes pueden mapear neuronas y circuitos, construir microscopios explorables, probar explicaciones a fondo y seguir cientos de miles de grafos de atribución. En su relato, la ciencia normal no se rompió en ningún momento. En modelos de lenguaje también ha funcionado hasta ahora, hasta billones de parámetros. Reconoce que esos modelos están lejos de estar resueltos por su tamaño, pero se declara optimista sobre escalar el proceso.

El argumento tiene cuatro pasos. Las redes usan un único principio de aprendizaje, así que no hay obstáculo para empezar a hacer ciencia ordinaria sobre ellas. Con modelos y herramientas modernos, esa ciencia va mejor de lo que se cree. El entendimiento se acumula y todo se facilita a medida que se llena el mapa. Como mínimo, los mecanismos propios de la red deberían formar parte del conjunto de herramientas. De forma muy especulativa, el autor añade que podrían ser casi todo lo que necesitamos. Lo enlaza con la «lección amarga» de Rich Sutton: quizá en interpretabilidad también gane la investigación ordinaria a gran escala frente a una descomposición ingeniosa nueva.

Conviene leer el ensayo como lo que se declara: una hipótesis de trabajo y un texto informal. Las cifras citadas son estimaciones preliminares y dependen de umbrales y definiciones, y el artículo técnico complementario con los detalles sobre neuronas de lenguaje aún no está en el material recibido.