Las redes neuronales no son «ya limpias»: por qué explicar una neurona exige más que ejemplos que encajan

El artículo, publicado en LessWrong por leogao, responde a un post reciente de Nick Cammarata. Cammarata sostenía que, durante años, la comunidad de interpretabilidad despachó demasiado rápido muchas neuronas como polisemánticas, cuando una búsqueda más atenta suele revelar un patrón simple detrás de los ejemplos que las activan. El autor acepta ese punto y cree que conviene actualizar las creencias en esa dirección: se sobreestimó la polisemanticidad. Pero sostiene que eso no basta para concluir que entendemos la mayor parte de lo que hacen las neuronas. Tampoco muestra que la interpretabilidad esté resuelta ni que sea mucho más fácil de lo previsto.

La primera idea central es que no está claro que exista un patrón simple para cada neurona. Incluso cuando lo hay y encaja con los ejemplos de activación, eso no prueba que la explicación sea correcta. El autor da un caso hipotético. Los ejemplos más activadores son frases sobre un perro que va en bicicleta. El percentil 20 superior contiene frases como «John iba en bicicleta mientras su perro lo seguía». Las activaciones más débiles hablan de perros sin bicicletas. ¿Podemos concluir que la neurona es monosemántica y significa «perros montando en bicicleta»? Según el autor, no. Explica que las impresiones que dan los ejemplos activadores pueden engañar sobre lo interpretable que es una neurona.

Señala dos razones. La primera es que la relación no es simétrica: que todos los ejemplos que activan la neurona encajen en el patrón no implica que todos los ejemplos que encajan en el patrón activen la neurona. Quizá la neurona solo se activa con perros en bicicleta en días soleados y nadie lo notó. Según el autor, esto fue un problema considerable en el trabajo de interpretabilidad automática (auto interp). En la práctica, dice, es muy habitual que una neurona que parece activarse con X solo lo haga con un subconjunto muy concreto de X, difícil de describir de forma compacta. Si se forzara a la neurona a activarse siempre con X, el modelo empeoraría. La segunda razón es que las magnitudes de activación pueden contener información importante. Puede ser crucial que la activación sea fuerte o débil. Si no sabemos predecir cuáles serán fuertes y cuáles débiles, quizá nos falte una parte grande de la explicación. La mejor conjetura del autor, a partir de los resultados que ha visto, es que ablacionar las activaciones pequeñas degrada bastante el rendimiento del modelo. Por eso no cree que se puedan ignorar sin más las activaciones débiles. Añade que espera poder compartir algo más concreto pronto, y que le sorprende que su resultado difiera del de Cammarata, por lo que merece la pena rastrear el origen de la divergencia.

En su nota al pie, el autor ilustra la dificultad con una neurona que se activa con «Colorado» y también con «Tornado» (la biblioteca de Python, no los tornados en general). Le cuesta imaginar una explicación monosemántica simple que cubra ambas cosas. Su experiencia general es que la mayoría de las neuronas son bastante inexplicables, incluso tras pensar mucho en explicaciones posibles.

La segunda parte propone cómo comprobar de verdad que se ha explicado una neurona: mediante puntuaciones de simulación. Si las cosas solo «parecen más o menos bien», no basta. Si no se puede simular la neurona sin degradar el modelo, no se la entiende realmente. Esto exige escribir una rúbrica (por ejemplo, un perro literalmente sobre una bicicleta puntúa 4,5, y un perro y una bicicleta sin que haya paseo puntúan 3,2). Después se compara esa rúbrica con las entradas y se sustituyen los valores reales de la neurona por los simulados. Si el proceso degrada mucho el modelo, la explicación era incorrecta.

El post de Cammarata sostiene que las puntuaciones de simulación son demasiado exigentes, porque obligan a explicar mucho material que no importa. El autor replica que esto es un efecto secundario de las puntuaciones basadas en correlación del artículo original de auto interp. A su juicio, se arregla casi por completo con dos cambios: (a) medir la divergencia KL en las salidas posteriores del modelo, y (b) puntuar sobre un conjunto de datos grande. La KL también evita elegantemente el problema de tener que agrupar las activaciones en intervalos con cuidado. Si no importa para el comportamiento del modelo en qué token de puntuación se guarda cierta información de nivel de frase, o qué intensidades de activación de la «neurona de Trump» corresponden a distintos tamaños de Trump, la KL no lo penaliza. Al contrario, si importa mucho, el autor ve justo exigir una explicación. Si la relación es simple pero poco interesante, la explicación no se complica demasiado. Si es compleja de una forma esencial para el funcionamiento, conviene saberlo.

Según el autor, si se hubiera aplicado esta metodología desde el principio, se habrían detectado algunas explicaciones polisemánticas malas. Por ejemplo, la explicación «coches y perros» que Cammarata usa como ejemplo de mala explicación polisemántica de la neurona de «objetos con forma de V» habría sido marcada como mala. No se activaría con muchísimos objetos en forma de V y se activaría erróneamente con perros redondos y coches. Admite que la métrica de KL de simulación no es perfecta, por ejemplo porque es difícil comparar modelos de distinto tamaño, y entiende los argumentos contra depender demasiado de métricas. Aun así, evita los dos modos de fallo descritos, que son muy difíciles de notar mirando ejemplos pero que importan mucho. Considera que la KL es más correcta que la variación de pérdida, porque sería «muy maldito» que se pudiera compensar un mal modelado de unas neuronas modelando otras de formas que mejoran la pérdida. Según su experiencia, esto no es hipotético. También advierte que cada neurona individual tiene un efecto muy pequeño sobre la red, por lo que los números absolutos serán minúsculos. Aun así, se pueden comparar explicaciones entre neuronas o ablacionar lotes grandes de neuronas a la vez.

La última sección recuerda que explicar neuronas es solo una parte de entender una red. Lo que se busca es entender cómo funcionan los modelos, lo que exige comprender la computación entre neuronas. Según el autor, eso es muy difícil y por ahora funciona poco. Los trabajos previos de circuitos entre neuronas siguen encontrando circuitos relativamente grandes y complicados, con mucha redundancia confusa, que no explican la mayor parte de la varianza del comportamiento del modelo. Su explicación actual es que los conceptos se almacenan en superposición y que los MLP hacen computación sobre esas características superpuestas, realizando más de un cálculo por neurona. Tiene esperanza de que se pueda desenredar todo, entender cómo funciona la computación en superposición y encontrar circuitos limpios y comprensibles. Pero recuerda que la interpretabilidad se ha atascado a menudo por falta de rigor, al centrarse en cosas llamativas que exageran el nivel real de comprensión. Concluye que corresponde al campo encontrar el equilibrio entre ejemplos cualitativos llamativos y argumentos rigurosos.

Los comentarios, de los que solo dispongo en parte, aportan matices. Un usuario analiza la neurona «Colorado» de Cammarata con los datos públicos de su visualizador. Dice que la activación de la biblioteca Tornado es pequeña (en torno al 8,6 % del máximo en un ejemplo). Afirma que la neurona se activa sobre todo con Colorado, las Rocosas y otras regiones montañosas, y también con diversos conceptos de Python. Propone que sea una «generalización recursiva» desde la conexión Colorado y software. Otro usuario replica que esa explicación no predice la combinación concreta de cargas. Otro apunta que la tokenización de «Colorado» y «Tornado» comparte el fragmento «ado», lo que sugeriría un origen basado en el texto. El primer usuario revisa después su postura tras mirar el tokenizador de Qwen3-32B. Concluye que la teoría de la similitud ortográfica queda en gran parte descartada y menciona una hipótesis de otra persona: la neurona actuaría como una «puerta de mundo». Es una hipótesis especulativa, que él mismo presenta como tal. Otros comentarios preguntan si se pueden entrenar explicadores de neuronas con la KL como recompensa. También preguntan si el mismo argumento vale para latentes de SAE, transcodificadores o características de crosscoder. La respuesta recibida es que sí. Un comentarista menciona intentos poco exitosos con ese protocolo, que atribuye a falta de destreza y de cómputo. El texto descargado se corta antes del final de los comentarios.