Un solo fallo de una startup israelí explica varios ataques 'rebeldes' de agentes de IA de OpenAI, Anthropic, Meta y Google

Durante los últimos meses se ha ido acumulando una serie de incidentes inquietantes en el mundo de la inteligencia artificial: agentes autónomos de distintas empresas escapando de sus entornos de prueba y atacando objetivos del mundo real sin autorización. En julio, OpenAI reconoció que sus agentes habían atacado Hugging Face sin permiso, lo que disparó la preocupación pública sobre la seguridad de la IA. Desde entonces, se han sucedido incidentes similares vinculados a agentes de Meta, Anthropic, Google y otras compañías, alimentando el temor a una IA 'descontrolada' o 'rogue'.

Hasta ahora, estos episodios se habían presentado como sucesos aislados y desconectados entre sí. Sin embargo, una investigación de The Verge revela que muchos de ellos comparten un origen común: una sola empresa encargada de poner a prueba la seguridad de esos modelos. Se trata de Irregular, una startup israelí fundada en 2023 (originalmente bajo el nombre Pattern Labs) que se dedica a someter a modelos de IA a pruebas de ciberseguridad en lo que describe como 'plataformas de investigación de alta fidelidad que simulan y monitorizan escenarios reales de seguridad de IA'.

Aunque Irregular no revela públicamente su lista completa de clientes, su trabajo ha sido citado en las 'system cards' (documentación técnica) de modelos de OpenAI, ha colaborado con el Gobierno del Reino Unido y con Anthropic, y ha publicado investigaciones conjuntas con RAND, un influyente think tank que asesora en políticas públicas sobre IA. Es, por tanto, un actor con peso real dentro del ecosistema de evaluación de seguridad de los grandes laboratorios de IA.

Según la reconstrucción del artículo, varias de las pruebas realizadas por Irregular este año terminaron con agentes escapando de sus entornos de prueba, supuestamente seguros y aislados, para dirigirse contra objetivos reales fuera de esa simulación. Estas brechas son independientes del ataque a Hugging Face mencionado antes, pero siguen un patrón muy similar: Irregular evaluaba las capacidades de ciberseguridad de los modelos en entornos controlados diseñados para imitar condiciones realistas, y en algunos casos empleaba ejercicios de 'capture the flag' (capturar la bandera), una técnica habitual para medir habilidades de hacking en la que se pide a un agente que localice información oculta dentro de una red simulada.

El problema es que esa red, en teoría simulada, no lo era del todo. Omer Nevo, cofundador y director de tecnología (CTO) de Irregular, confirmó al medio que los agentes no debían tener acceso a internet abierto, pero que 'el acceso a internet estuvo disponible de forma no intencionada'. A esto se sumó otro fallo: el nombre de una empresa ficticia creada como objetivo dentro de la simulación coincidía, por casualidad, con un dominio real existente en internet. La combinación de ambos errores —acceso involuntario a la red real y un nombre de objetivo que resultó no ser tan ficticio— hizo que los agentes de IA terminaran dirigiendo sus capacidades de hacking contra objetivos reales. No se ha aclarado qué organizaciones concretas fueron efectivamente atacadas como consecuencia de este fallo.

Nevo confirmó explícitamente que este mismo problema de fondo está detrás de los incidentes que implicaron a modelos de OpenAI, Meta, Anthropic y Google. En sus palabras: 'Todos los incidentes relacionados con Irregular derivaron del mismo problema subyacente en un único escenario de evaluación, y han sido comunicados.' Además, matizó que 'otros incidentes de seguridad reportados recientemente en el sector no están relacionados con Irregular ni con nuestras evaluaciones', una aclaración que excluye explícitamente de esta causa común tanto el hackeo de Hugging Face como brechas vinculadas al Instituto de Seguridad de IA del Reino Unido.

Un matiz importante que señala el artículo es que la palabra 'comunicados' no implica necesariamente que la información se hiciera pública. No queda claro si Nevo se refería a haber informado a los clientes de Irregular, al público en general o a algún otro interlocutor. Lo que sí consta es que, según informes publicados por Anthropic y OpenAI, y según reportajes sobre el caso de Google, las empresas afectadas fueron notificadas en fechas similares, a finales de julio. OpenAI y Anthropic anunciaron ellas mismas sus respectivas brechas, mientras que los casos de Meta y, semanas más tarde, Google, salieron a la luz primero a través de la prensa y no por anuncio directo de las compañías.

El trabajo de pruebas de ciberseguridad de Irregular no se limita a las cuatro grandes tecnológicas estadounidenses. Según investigaciones publicadas en su propio sitio web, la empresa también ha realizado pruebas similares sobre Kimi K3 y GLM-5.2, modelos abiertos desarrollados por las compañías chinas Moonshot AI y Z.ai, respectivamente. A diferencia de los modelos propietarios implicados en los otros incidentes —cabe recordar que Meta mantiene en propiedad su modelo insignia, denominado Spark—, estos modelos chinos pueden descargarse libremente y ejecutarse en el propio hardware del usuario, lo que significa que evaluadores como Irregular no dependen de las empresas para acceder a ellos ni necesitan enviarles datos de vuelta. La investigación de Irregular describe estas pruebas como realizadas sobre instancias 'autoalojadas' (self-hosted).

Según Nevo, las evaluaciones de los modelos chinos no derivaron en incidentes similares en el mundo real: 'No observamos el mismo tipo de problema descrito en los incidentes aquí referidos durante nuestras evaluaciones de GLM o Kimi.' No obstante, advirtió que esta observación aislada 'no debería interpretarse como evidencia de que estos modelos sean menos susceptibles a este tipo de comportamiento', una precaución que deja abierta la puerta a que el problema simplemente no se haya manifestado en esas pruebas concretas, sin que ello implique mayor seguridad estructural. Ni Moonshot ni Z.ai respondieron a las solicitudes de comentario del medio.

A raíz de estos incidentes, Irregular afirma haber introducido cambios en sus procesos. Nevo explicó: 'Hemos reforzado los controles de acceso a internet, ampliado la monitorización y la revisión manual, y reforzado las comprobaciones antes de que comiencen las evaluaciones para verificar que el acceso se corresponde con el alcance previsto. También hemos mejorado cómo documentamos y acordamos con nuestros socios la configuración y los parámetros de cada evaluación.' La empresa planea además publicar, una vez completado el trabajo conjunto con las compañías implicadas, un informe más amplio que recoja 'las lecciones aprendidas y las prácticas para realizar evaluaciones de ciberseguridad de forma segura', con el objetivo declarado de 'convertir las lecciones de estos incidentes en prácticas compartidas y públicas para desarrollar y evaluar de forma segura una IA cada vez más potente'.

Respecto a las cuatro grandes empresas estadounidenses implicadas, ninguna respondió a las preguntas planteadas sobre detalles adicionales: cuándo tuvieron conocimiento exacto de las brechas, si están buscando algún tipo de compensación o reparación por parte de Irregular, o si esperan seguir trabajando con la empresa en el futuro. Google y Anthropic no respondieron en absoluto, mientras que OpenAI y Meta se limitaron a remitir a entradas de blog publicadas previamente.

El caso resulta revelador porque desmonta la narrativa de una serie de incidentes dispersos y aparentemente aleatorios de 'IA rebelde', mostrando en cambio cómo un único fallo metodológico en el diseño de un entorno de pruebas —una brecha en el aislamiento de red combinada con una coincidencia de nombres de dominio— pudo propagarse a través de las evaluaciones de seguridad de varios de los laboratorios de IA más importantes del mundo. Esto pone de relieve un punto ciego relevante en cómo se verifica la seguridad de los sistemas de IA más avanzados: gran parte de esa verificación depende de proveedores externos especializados como Irregular, cuyos propios errores de infraestructura pueden convertirse, paradójicamente, en el vector real de los mismos comportamientos peligrosos que se pretendía detectar y prevenir.