Interpretabilidad mecanicista: Goodfire sugiere que el interior de una IA puede ser más legible de lo que pensábamos

Por Nate from Nate’s Substack · Thu, 22 Oct 2026 13:03:36 +0000.

El artículo de Nate explica la investigación de Goodfire sobre interpretabilidad mecanicista, es decir, el intento de entender qué ocurre dentro de un modelo de IA cuando responde a una pregunta. La tesis central es que muchos de los componentes que realizan ese trabajo podrían ser más comprensibles de lo que se suponía, lo que podría mejorar la capacidad de detectar y corregir fallos de la IA. Según el correo, los suscriptores de pago acceden al texto completo, a la «Nate’s Library MCP» y a su comunidad de Slack.

El autor anuncia el contenido de la entrega completa. Primero, qué miden los números de Goodfire: el resultado de «99–100%» en visión y la estimación de aproximadamente el 90% para Qwen3-32B, y por qué ninguno de los dos es un porcentaje de seguridad de la IA. Segundo, un recorrido por una neurona concreta, la neurona 127 del «microscopio» de Goodfire, que pasa de ser un «detector de mariquitas» a algo más difícil de etiquetar, para enseñar la diferencia entre la respuesta de una neurona y el uso que la red hace de ella. Tercero, los términos neurona, característica (feature) y circuito. Cuarto, tres preguntas para leer cualquier visualización de interpretabilidad: qué se observó, qué se infirió y qué se probó realmente.

Como base, el texto distingue entre entrenar un modelo y usarlo. Durante el entrenamiento, el modelo hace predicciones, se mide su error y un procedimiento de optimización ajusta sus parámetros numéricos; muchos de ellos son pesos, números que determinan cuánto influye una entrada en un cálculo. Nadie escribe una instrucción para cada patrón aprendido. Al usar el modelo ya entrenado, los pesos normalmente permanecen fijos y lo que cambia es la actividad producida por la entrada, llamada activación. Según Nate, conviene no confundir los ajustes aprendidos del modelo con su respuesta a una pregunta concreta.

Un modelo de lenguaje divide primero el texto en tokens (palabras, fragmentos o signos de puntuación), los convierte en representaciones numéricas y los procesa por capas. En un Transformer, la arquitectura de muchos modelos de lenguaje, se repiten dos tipos de cálculo: la atención, que permite que la información de una posición se apoye en otras partes del contexto, y las capas feed-forward, que transforman la información de cada posición e incluyen las unidades que los investigadores llaman neuronas. Como ejemplo, el significado de «bank» en una frase sobre un río depende de las palabras que lo rodean. Al final, el modelo produce puntuaciones que se convierten en probabilidades para el siguiente token; se elige uno, se añade al contexto y el proceso continúa. Esto explica también por qué un modelo puede adaptarse a lo que se le dice durante una conversación sin cambiar sus pesos: la nueva información altera el contexto y, con él, la actividad.

Sobre qué hace una neurona, el artículo explica que en una red simple toma números de entrada, los multiplica por pesos, suma un desplazamiento aprendido y aplica una función de activación. Una función sencilla da cero para un total negativo y deja pasar uno positivo; estos pasos no lineales permiten aprender patrones que la suma y el reescalado no capturan. El autor advierte de que el nombre biológico confunde: es una operación matemática, no una célula cerebral en miniatura ni un pensamiento completo, y un modelo de 32.000 millones de parámetros no tiene 32.000 millones de neuronas. Ilustra la idea con componentes que responden a bordes y curvas, y otros posteriores que combinan esa actividad en formas más complejas.

Los tres términos clave son: neurona, un componente del cálculo del modelo; característica, un patrón o propiedad representado en su actividad; y circuito, un conjunto conectado de cálculos que ayuda a explicar cómo ocurre un comportamiento. Una característica puede implicar varias neuronas y una neurona puede contribuir a varias características. Que un componente responda a algo no explica todavía cómo lo usa el resto de la red. Con el ejemplo de un «detector de ruedas», Nate plantea preguntas (¿responde a todas las ruedas?, ¿también a relojes?, ¿y si la rueda está parcialmente oculta?) que convierten una etiqueta atractiva en un problema de investigación: «detector de ruedas» es nuestra explicación propuesta, no lo que el modelo contiene.

En la sección sobre lo que Goodfire pide reconsiderar, el texto recuerda que una dificultad histórica es que las neuronas individuales parecen responder a cosas no relacionadas, algo que suele explicarse con la superposición: un modelo puede representar más características que dimensiones disponibles mediante patrones solapados. Una respuesta habitual ha sido entrenar un segundo modelo, como un autoencoder disperso (sparse autoencoder), para descomponer la actividad en características más comprensibles; «disperso» significa que se favorece que pocas características estén activas a la vez. Nate cita que en 2024 Anthropic informó de la extracción de millones de características de una capa de Claude 3 Sonnet, asociadas a lugares, conceptos de programación y situaciones abstractas, y que sus investigadores pudieron modificar algunas respuestas manipulándolas. La compañía subrayaba que entender las representaciones aún dejaba pendiente la cuestión de cómo las usa el modelo.