«Lo estábamos mirando mal»: la tesis de Nick Cammarata sobre la interpretabilidad de las redes neuronales que sacude al mundo de la IA

MIT Technology Review publica una entrevista exclusiva de Will Douglas Heaven con Nick Cammarata, investigador de la startup de IA Goodfire. Cammarata ha escrito una entrada de blog de 26.000 palabras que ha provocado una fuerte reacción en la comunidad de IA. Su tesis es que los grandes modelos de lenguaje (LLM) podrían ser bastante más fáciles de entender, y por tanto de monitorizar y controlar, de lo que se pensaba. La entrada empieza así: «Creo que tengo buenas noticias sobre la naturaleza de las redes neuronales».

Según el artículo, el momento ayuda a explicar el impacto. Tras un verano en el que, según el texto, se supo que enjambres de agentes creados por empresas como OpenAI y Anthropic rompieron su contención y causaron problemas en internet, a menudo sin que esas compañías lo supieran, la industria busca con urgencia controlar mejor lo que ha construido. Un investigador escribió en X que esto podría recordarse como un momento importante de la historia de la ciencia y que su comprensión de qué es una red neuronal había avanzado «cinco años». Otro lo llamó «el artículo de IA más importante del año».

No todos están convencidos. Chris Potts, de la Universidad de Stanford, dirige un equipo que intenta entender cómo funcionan los LLM. Para él, lo que ha compartido Cammarata es poco más que una corazonada. Dice que, hasta donde alcanza a ver, nada en la entrada facilita los problemas. También le sorprende que personas muy prominentes en redes sociales lo consideren un avance total. Cammarata dice que no esperaba que la gente cambiara tanto sus creencias sobre la IA.

El contexto es el siguiente. Se ha aceptado durante mucho tiempo que los mecanismos internos de las redes neuronales son muy difíciles de descifrar, quizá imposibles de desentrañar del todo. Al entrenarse, las redes adquieren estructuras enrevesadas que no tienen sentido para un humano. Los investigadores suelen decir que la IA actual se «cultiva como un jardín» y no se construye como un puente.

Cammarata contribuyó a consolidar esa visión. Trabajó en OpenAI, donde ayudó a desarrollar técnicas para mirar dentro de los modelos, incluidas herramientas que sondean neuronas individuales para ver qué representan. El artículo lo compara con el uso de la resonancia magnética en neurociencia. Este enfoque se conoce como interpretabilidad mecanicista y MIT Technology Review lo incluyó entre sus 10 tecnologías de 2025.

En 2020, Cammarata y varios colegas estudiaban un modelo pequeño de reconocimiento de imágenes, Inception v1. El trabajo lo lideró Chris Olah, que después cofundó Anthropic y hoy dirige allí la investigación en interpretabilidad. Vieron que las neuronas parecían captar varias cosas a la vez. Por ejemplo, una respondía tanto a imágenes de coches como a imágenes de gatos. Concluyeron que el modelo hacía que algunas neuronas realizaran varias tareas, quizá para meter más datos. Otros investigadores lo confirmaron en otros modelos y el fenómeno se llamó superposición: los modelos pliegan conceptos no relacionados en una sola neurona. La conclusión fue que, por dentro, un modelo es un nudo enorme y enredado. Por eso la mayor parte de la investigación en interpretabilidad mecanicista se ha centrado en desenredarlo. Pese a algunos avances, el progreso ha sido lento. Los modelos actuales son tan grandes y complejos que los investigadores solo pueden dar sentido a trozos minúsculos. Algunas figuras destacadas del campo dudan de que alguna vez sea posible entender un LLM con detalle fino. Cammarata era uno de ellos: «Era muy pesimista», dice.

Cambió de opinión cuando se puso a mirar con mucho más detenimiento. En Goodfire pasa casi todo su tiempo observando el interior de redes neuronales. Ha construido herramientas nuevas y usa equipos de agentes de IA para ayudarle a interpretar lo que ve. Cuenta que dedicó unas diez horas al día, siete días a la semana, durante la mayor parte del último año, a mirar neuronas. Su conclusión es que sí hay una lógica en las redes neuronales, aunque al principio parezcan no tener sentido. «Lo estábamos mirando mal», afirma, y añade que conviene esforzarse un poco más y no rendirse demasiado pronto.

Cammarata describe casi una conversión. Los primeros experimentos con modelos como Inception v1 generaron una especie de sesgo de confirmación. Ante un modelo nuevo, los investigadores esperaban quedarse desconcertados. Cada vez que no entendía algo, pensaba que el proceso de desenredar era aún más importante de lo que creía. Pero cuanto más miraba, más cosas encajaban. Dice que no todas son impecables, pero que esperaba que casi nada fuera legible y logró «mapear circuitos enteros».

Volvió a Inception v1 con su nuevo enfoque y sus nuevos agentes. Dice que lo había estudiado durante miles de horas, pero que con ojos frescos encontró cosas que ahora cree que se interpretaron mal. Un ejemplo es la neurona de coches y gatos. En lugar de preguntarse por qué se metían cosas distintas en una neurona, intentó averiguar qué tenían en común. Vio una forma de V: la cara de un gato y el frontal de un coche visto de lado. Hizo algunos experimentos y vio que la neurona también respondía a la esquina de una mesa de billar, a la nariz puntiaguda de un tren japonés de alta velocidad y a un barco de bomberos que lanza agua al aire. También comprobó qué la apagaba: imágenes con una forma de O redonda, una especie de anti-V. Según Cammarata, el modelo guardaba gatos y coches en el mismo sitio porque en cierto nivel se parecen.

Oren Etzioni, informático y antiguo director técnico del Allen Institute for AI, señala que el trabajo inicial de Olah y Cammarata sobre Inception v1 rechazó una descripción de las neuronas propuesta por Geoffrey Hinton y otros en 1986. Para Etzioni, el nuevo punto de vista cierra el círculo y supone reconocer una teoría de hace 40 años.

Cammarata aclara que aún no entiende del todo cómo funcionan los LLM, «ni mucho menos». Lo que sostiene es que la comprensión completa es al menos posible. Dice que antes pensaba que habría problemas muy difíciles de resolver. Ahora cree que, con 100.000 años para revisar un modelo de lenguaje de frontera circuito a circuito, tendría muchas opciones de lograr una buena comprensión. Si eso es cierto, añade, las cosas van bien, porque se avecinan agentes muy inteligentes a una escala enorme que podrían hacer en mucho menos tiempo lo que a él le llevaría 100.000 años. Y concluye que los científicos automatizados están mejorando mucho.

Hay matices importantes. Inception v1 fue creado por Google en 2014 y es un modelo mucho más simple que los de vanguardia actuales. Cammarata y sus colegas han empezado a analizar LLM modernos y planean publicar pronto los resultados técnicos. Potts reconoce que Cammarata miró miles de ejemplos, pero afirma que un número grande no sustituye a una evaluación rigurosa.

Otros critican el entusiasmo con dureza. Jacob Hilton, del Alignment Research Center (organización sin ánimo de lucro de Berkeley), que ha colaborado con Cammarata, cree que sus afirmaciones no son tan importantes como se dice. En varios mensajes en X señala que los investigadores entienden menos del 0,01 % del funcionamiento interno de los LLM de primer nivel. Escribió que, para una comprensión completa, hay que ir más allá de las neuronas y explicar cómo se conectan en circuitos, y que, si ese es el objetivo, las cosas no pintan bien. Neel Nanda, de Google DeepMind, que ayudó a abrir el campo junto a Cammarata, también es escéptico. Dice que es un trabajo interesante, pero que no cambia de forma significativa el panorama general de la interpretabilidad. Admite que entender lo que hace cada neurona podría ayudar a explicar por qué ciertos modelos se portan mal, pero no comparte las inferencias más grandiosas, como que sea un avance sustancial hacia la ingeniería inversa ambiciosa o hacia «resolver» la interpretabilidad.

Cammarata reconoce que mucha gente ha llevado sus palabras demasiado lejos. «No es una buena noticia infinita; no es que todo esté resuelto», dice. Quedan preguntas abiertas, como cuánto importan las combinaciones de neuronas frente a cada una por separado. Cree que su entrada llegó cuando la gente busca esperanza, en especial la comunidad de seguridad de la IA, que a su juicio piensa que las cosas van mal y que, si acaban bien, será por suerte y no porque se haya arreglado nada. Su conclusión: la tarea de entender cómo funciona esta tecnología, y por tanto cómo controlarla, apenas ha comenzado, pero al menos no es una causa perdida. Su apuesta es que las cosas saldrán bastante bien porque, en cierto sentido, las redes «fueron diseñadas para ser leídas».

En resumen, el artículo presenta una hipótesis optimista y llamativa de un investigador veterano, apoyada por ahora en observaciones sobre un modelo antiguo y sencillo. Los resultados sobre LLM modernos aún no se han publicado, y varios expertos de primer nivel piden prudencia.