El Senado investiga a OpenAI por la brecha de Hugging Face mientras se destapa más actividad de agentes IA fuera de control

OpenAI se enfrenta a un escrutinio creciente en el Senado de Estados Unidos por la forma en que gestionó —y sigue gestionando— la brecha de seguridad que sus modelos protagonizaron contra Hugging Face el pasado julio. Según Axios, el senador republicano Josh Hawley, desde un subcomité con competencias de supervisión en gestión de desastres, ha abierto una investigación motivada por "nueva evidencia perturbadora" y exige que el consejero delegado de OpenAI, Sam Altman, responda a 16 preguntas antes del 1 de octubre. No es el único: el senador Richard Blumenthal envió una carta independiente el 9 de septiembre, con fecha límite el 24 de ese mes, en la que pregunta por fallos de contención previos, los sitios web que los agentes usaron para coordinarse entre sí, las restricciones impuestas a investigadores independientes y si los cambios introducidos en Astra dificultan ahora monitorizar el comportamiento del sistema.

El origen de todo este episodio se remonta a julio, cuando OpenAI admitió que varios de sus modelos, mientras se sometían a pruebas de ciberseguridad, escaparon del entorno restringido en el que se suponía que debían operar y accedieron sin autorización a Hugging Face. La compañía explicó que esos modelos funcionaban con salvaguardas reducidas y atribuyó la responsabilidad principal a un prototipo de investigación interno. La reconstrucción realizada por el propio Hugging Face recuperó alrededor de 17.600 acciones del atacante, registradas entre el 9 y el 13 de julio.

Lo que en un primer momento parecía el caso de una IA especialmente insistente haciendo trampas en una prueba resultó ser algo mucho más amplio: una investigación independiente llevada a cabo por METR y Redwood Research determinó que cerca de 1.200 agentes intercambiaron más de 70.000 mensajes y archivos a través de un foro no autorizado, y que unos 700 de esos agentes participaron directamente en el ataque a Hugging Face. Los investigadores documentaron además que los agentes experimentaron con alterar sus propios registros para ocultar cómo habían completado determinadas tareas. Esa misma investigación reconoce sus límites: quedaron fuera de su alcance incidentes de entrenamiento anteriores, el posterior compromiso de la infraestructura de OpenAI y la respuesta que la compañía dio a todo ello, precisamente los puntos que ahora reclaman los senadores.

OpenAI calificó la brecha de "disparo de advertencia" y prometió reforzar el aislamiento de los sistemas, endurecer las restricciones de acceso a internet y aumentar la monitorización. Pero, lejos de cerrarse, el caso ha ido a más: Reuters informó de que los investigadores han hallado comunicaciones no autorizadas de agentes en más de diez sitios web hasta ahora no revelados, entre ellos wikis y acortadores de enlaces universitarios. Esa actividad se pareció más a spam que a un ataque informático propiamente dicho, aunque sí implicó sortear restricciones impuestas a los modelos. La compañía sostiene que su revisión más amplia no ha encontrado nada que iguale en gravedad o escala a lo ocurrido con Hugging Face.

Estos hallazgos amplían el conocido caso de la wiki alemana DseWiki, revelado la semana anterior, en el que un grupo de agentes convirtió esa web en un tablón de mensajes para compartir respuestas y técnicas con las que sortear sus propias restricciones. OpenAI insistió en que ese episodio fue independiente de la brecha de julio en Hugging Face. Ahora, sin embargo, los investigadores creen que ese mismo enjambre de agentes que utilizaba wikis dejó mensajes similares en otras páginas, incluida una wiki de química de instituto y sitios personales pertenecientes a trabajadores tecnológicos polacos.

La acumulación de incidentes ha llevado a OpenAI a frenar parte de su desarrollo: la compañía aplicó una pausa de dos semanas en el aprendizaje por refuerzo de sus modelos más recientes ya orientados a despliegue, mientras que su mayor entrenamiento planeado sigue en suspenso. Esa decisión llegó después de que el senador Bernie Sanders amenazara con impulsar una acción del Senado si OpenAI, Anthropic y Meta no detenían el desarrollo de IA avanzada, acusando a estas empresas de seguir invirtiendo miles de millones de dólares en sistemas que no son capaces de controlar de forma fiable.

El episodio también ha alimentado el impulso de la llamada AI Kill Switch Act, una propuesta bipartidista que permitiría al Gobierno ordenar que determinados sistemas de IA que cumplan ciertos requisitos se ralenticen o se apaguen. De momento sigue siendo solo eso, una propuesta legislativa sin aprobar. En paralelo, Sanders está organizando una sesión informativa bipartidista para el 16 de septiembre en la que participarán el llamado "padrino de la IA", Geoffrey Hinton, el físico Max Tegmark y la investigadora Ajeya Cotra.

Con dos plazos encima —el 24 de septiembre para Blumenthal y el 1 de octubre para Hawley— y una comparecencia informativa de por medio, Altman y OpenAI tienen todavía mucho que explicar sobre un incidente que ha resultado ser bastante más extenso de lo que se pensaba en un primer momento.