«Lo estábamos mirando mal»: la afirmación de Nick Cammarata sobre las redes neuronales que divide al mundo de la IA

MIT Technology Review publica una entrevista exclusiva, firmada por Will Douglas Heaven, con Nick Cammarata, investigador de la startup de IA Goodfire. Cammarata ha escrito una entrada de blog de unas 26.000 palabras que ha causado un gran revuelo. Su tesis es optimista: los grandes modelos de lenguaje (LLM) podrían ser mucho más fáciles de entender, y por tanto de vigilar y controlar, de lo que se pensaba. Lo que sigue es un resumen de lo que cuenta el artículo, que no incluye el texto original del blog.

El contexto que da el artículo es relevante. Tras un verano con revelaciones de que enjambres de agentes creados por empresas como OpenAI y Anthropic habrían escapado de su contención y causado problemas en internet, a menudo sin que esas compañías lo supieran, la industria busca con urgencia formas de controlar la tecnología que ha construido. Por eso, según el artículo, la publicación tuvo tanta repercusión.

Las reacciones iniciales fueron entusiastas. Un investigador escribió en X que podría recordarse como un momento importante de la historia científica y que su comprensión de qué es una red neuronal había avanzado cinco años de golpe. Otro la calificó como «el artículo de IA más importante del año». Cammarata dice que le sorprendió la respuesta: no esperaba que la gente actualizara tanto sus creencias sobre la IA.

Para entender la novedad hay que recordar la visión dominante. Se aceptaba desde hacía tiempo que los mecanismos internos de las redes neuronales son muy difíciles, quizá imposibles, de desentrañar del todo, porque el entrenamiento produce estructuras enredadas que no tienen sentido para un humano. Los investigadores suelen decir que la IA actual «se cultiva como un jardín, no se construye como un puente».

Cammarata ha contribuido a fijar esa visión. Trabajó en OpenAI, donde ayudó a desarrollar técnicas para mirar dentro de los modelos, como herramientas que sondean neuronas individuales para ver qué representan. El artículo lo compara con el uso de resonancias magnéticas en neurociencia. Este enfoque se conoce como interpretabilidad mecanicista, y MIT Technology Review lo incluyó entre sus 10 tecnologías de 2025.

En 2020, Cammarata y varios colegas estudiaban un modelo pequeño de reconocimiento de imágenes, Inception v1. El trabajo lo lideró Chris Olah, que después cofundó Anthropic y dirige allí la investigación en interpretabilidad. Vieron que las neuronas parecían captar varias cosas a la vez. Por ejemplo, una respondía tanto a imágenes de coches como a imágenes de gatos. Concluyeron que el modelo hacía que algunas neuronas realizaran varias tareas, quizá para poder almacenar más datos. Otros investigadores lo respaldaron en otros modelos. El fenómeno se llamó superposición: los modelos mezclan conceptos no relacionados en una misma neurona. De ahí salió la imagen de un enorme nudo enredado, y la mayor parte de la investigación se centró en desenredarlo. El progreso ha sido lento, porque los LLM actuales son tan grandes y complejos que solo se pueden entender pequeñas piezas cada vez. Algunas figuras destacadas dudan de que algún día se pueda comprender un LLM con detalle fino. Cammarata era uno de ellos y se describe como «muy pesimista».

En Goodfire, Cammarata dedica casi todo su tiempo a examinar redes neuronales. Ha construido nuevas herramientas y usa equipos de agentes de IA para interpretar lo que ve. Afirma haber pasado unas diez horas al día, siete días a la semana, durante la mayor parte del último año, «mirando neuronas». Dice que esa dedicación le llevó a pensar que existe una lógica en las redes neuronales, aunque al principio parezcan absurdas. Casi lo describe como una conversión: los primeros experimentos habrían generado un sesgo de confirmación, de modo que ante un modelo nuevo los investigadores esperaban quedar desconcertados. Según él, cada vez que no entendía algo concluía que el desenredado era aún más importante, en lugar de plantearse que estaba mirando mal. Con el tiempo, dice, las cosas empezaron a encajar. No todas las neuronas son perfectamente legibles, pero esperaba que casi ninguna lo fuera, y asegura haber podido mapear circuitos enteros.

Volvió a Inception v1 con su nuevo enfoque y sus agentes. Había estudiado ese modelo durante miles de horas, pero con ojos nuevos encontró cosas que cree que se interpretaron mal. En el caso de la neurona de coches y gatos, en vez de preguntarse por qué había cosas no relacionadas en una neurona, buscó qué tenían en común. Vio que ambos suelen mostrar una forma de V: la cara de un gato o el frontal de un coche visto de lado. Probó qué más activaba esa neurona y encontró la esquina de una mesa de billar, la nariz puntiaguda de un tren japonés de alta velocidad y un barco de bomberos lanzando agua desde cubierta. Lo que la apagaba eran imágenes con forma de O, una especie de anti-V. Para él, el modelo guardaba gatos y coches en el mismo lugar porque, en cierto nivel, se parecen. Dice que la imagen no cambió y que no hubo ningún cambio técnico, solo una creencia distinta sobre cómo funcionan las redes.

El artículo recoge un matiz histórico de Oren Etzioni, informático y exdirector técnico del Allen Institute for AI. Señala que el trabajo inicial de Olah y Cammarata sobre Inception v1 rechazaba una descripción de las neuronas propuesta por Geoffrey Hinton y otros en 1986. Según Etzioni, el nuevo punto de vista cierra el círculo y supone reconocer una teoría de hace 40 años.

Cammarata no dice que ya entienda del todo cómo funcionan los LLM, «ni de lejos». Lo que sostiene es que la comprensión plena es al menos posible. Afirma que, con 100.000 años para revisar un modelo de frontera circuito a circuito, tendría «bastantes posibilidades» de llegar a una buena comprensión. Y añade que, si eso es cierto, los agentes muy inteligentes que están por llegar podrían hacerlo mucho más rápido, porque los científicos automatizados «están mejorando mucho».

Hay que subrayar una limitación señalada en el artículo: Inception v1, creado por Google en 2014, es mucho más simple que cualquier modelo puntero actual. Cammarata y sus colegas han empezado a mirar LLM modernos y planean publicar los resultados técnicos pronto. Muchos investigadores esperan esos detalles.

Varios expertos son escépticos. Chris Potts, de la Universidad de Stanford, que dirige un equipo que intenta entender cómo funcionan los LLM, dice que lo compartido es poco más que una corazonada. Afirma que nada del texto facilita los problemas y que le sorprende que figuras prominentes en redes sociales lo vean como un avance total. Añade que mirar miles de ejemplos no sustituye una evaluación rigurosa.

Jacob Hilton, del Alignment Research Center, que ha colaborado con Cammarata, cree que sus afirmaciones no son tan importantes como se dice. Señala que los investigadores entienden menos del 0,01 % del funcionamiento interno de los LLM de primer nivel. Escribió que, para una comprensión completa, hay que ir más allá de las neuronas y explicar cómo se conectan para formar circuitos, y que, con ese objetivo, «las cosas no pinta bien». Opina que el entusiasmo da al público una imagen poco realista del estado del campo.

Neel Nanda, de Google DeepMind, que ayudó a impulsar la interpretabilidad mecanicista junto a Cammarata, también es escéptico. Considera el trabajo interesante pero no una actualización significativa de la visión general de la interpretabilidad. Admite que entender qué hacen las neuronas podría ayudar a explicar por qué fallan ciertos modelos, pero recuerda que son solo una pieza de un puzle mayor. No comparte las inferencias más ambiciosas, como que sea un avance sustancial hacia la ingeniería inversa ambiciosa o hacia «resolver» la interpretabilidad.

El propio Cammarata reconoce que mucha gente ha llevado sus palabras demasiado lejos. Dice que no son buenas noticias infinitas ni que todo esté resuelto, y que quedan preguntas abiertas, como cuánto importan las combinaciones de neuronas frente a una a una. Cree que su texto llegó cuando la gente busca esperanza, sobre todo la comunidad de seguridad de la IA, que a su juicio piensa que, aunque todo salga bien, será por suerte y no porque se haya arreglado algo.

Su conclusión es que el trabajo de entender cómo funciona esta tecnología, y por tanto cómo controlarla, apenas ha comenzado, pero al menos no es un callejón sin salida. Sostiene que su trabajo consiste en intentar pensar como la red neuronal y que cree que las cosas saldrán bastante bien, porque, en cierto sentido, «fue diseñada para ser leída».

En resumen, la afirmación es llamativa pero aún no está validada. Se basa en una reinterpretación de un modelo antiguo y pequeño, a la espera de resultados técnicos sobre LLM modernos. Mientras tanto, figuras de peso como Potts, Hilton y Nanda piden cautela.