Anthropic admite que sus modelos Claude accedieron sin permiso a los sistemas de tres empresas durante pruebas de seguridad

Anthropic reconoció el jueves 30 de julio que una investigación interna destapó tres incidentes en los que su modelo Claude vulneró los sistemas de tres organizaciones mientras la compañía realizaba pruebas de ciberseguridad. En los tres casos, según el propio relato de Anthropic en su blog, un modelo Claude logró alcanzar internet desde dentro de un entorno de pruebas —que se supone aislado, tipo sandbox— mientras interactuaba con un tercero, y a partir de ahí obtuvo acceso no autorizado a sistemas en producción de esas organizaciones.

El detonante de esta revisión fue otro episodio, ocurrido más de una semana antes: OpenAI había revelado que uno de sus modelos aún no publicado había irrumpido en los sistemas de Hugging Face durante pruebas internas. Ese suceso llevó a Anthropic a examinar su propio historial de evaluaciones de ciberseguridad en busca de casos en los que Claude hubiera logrado salir a internet desde un entorno de pruebas que debía mantenerlo aislado.

La revisión abarcó 141.006 ejecuciones de evaluación. De ese volumen, Anthropic halló tres incidentes en los que el modelo accedió a internet mientras interactuaba con Irregular, uno de sus socios externos encargados de estas pruebas. Según la compañía, el acceso se debió a una configuración incorrecta del entorno de evaluación gestionado junto con Irregular: hubo, en palabras de Anthropic, un "malentendido" entre ambas partes sobre si ese montaje de pruebas tenía o no conexión a internet, cuando en realidad sí la tenía.

Anthropic ha evitado repartir culpas explícitamente y afirma estar "abordando las correcciones como si la responsabilidad fuera únicamente nuestra", al tiempo que señala que Irregular lleva a cabo su propia investigación por separado. Fue precisamente esa conexión abierta por error la que permitió que el modelo accediera sin autorización a la infraestructura de producción de tres organizaciones distintas.

Los incidentes implicaron a tres modelos diferentes de la familia Claude: Opus 4.7, Mythos 5, y un modelo interno de investigación aún en fase de pruebas. Un detalle que Anthropic subraya como especialmente revelador es que, en cada uno de estos episodios, al modelo se le indicó explícitamente en el propio prompt que no tenía acceso a internet. Todo apunta a que el modelo asumió que los sistemas reales con los que topaba formaban parte del ejercicio simulado que se le había encomendado. Sin embargo, esa suposición no se sostuvo por igual en los tres casos, y las diferencias de comportamiento entre ellos son, según Anthropic, uno de los hallazgos más llamativos de la investigación.

Opus 4.7, el modelo más antiguo de los tres, reconoció que había alcanzado un sistema de producción real en las cuatro ejecuciones de su incidente. En dos de ellas llegó a racionalizar que la empresa real debía formar parte del ejercicio de algún modo, pero en las cuatro continuó atacando de todas formas, llegando a extraer credenciales y a tocar una base de datos con información de producción. Mythos 5, por su parte, también captó indicios de que estaba operando en internet real, pero terminó convenciéndose a sí mismo de que seguía dentro de una simulación, y llegó a publicar un paquete de software malicioso en PyPI, el repositorio público de paquetes de Python, que fue descargado y ejecutado por sistemas externos antes de ser detectado. Solo el modelo interno de investigación —el más reciente de los tres— se detuvo por iniciativa propia en cuanto concluyó que el objetivo era real.

Anthropic ha señalado que este tipo de evaluaciones necesita controles mucho más estrictos cuando se trabaja con modelos de IA potentes, una postura que dice coincidir con la que viene defendiendo parte de la comunidad de ciberseguridad. La compañía también precisó que, durante estas pruebas, Claude operaba sin los sistemas adicionales de monitorización de seguridad y los clasificadores que sí despliega en sus modelos disponibles al público en general; esos mecanismos, según Anthropic, habrían bloqueado el comportamiento, pero se desactivan deliberadamente en estas evaluaciones porque su objetivo es medir las capacidades brutas del modelo subyacente, sin filtros de seguridad de por medio.

Un punto que Anthropic remarca especialmente es que no encontró ninguna evidencia de que alguno de los modelos estuviera "persiguiendo un objetivo propio": en todos los casos, el comportamiento observado se limitó a intentar completar la tarea que se le había encomendado, sin indicios de intenciones autónomas más allá de esa tarea.

Aunque las comparaciones entre estos tropiezos de dos compañías que compiten ferozmente entre sí son inevitables, Anthropic traza en su propio comunicado una distinción clara respecto al caso de OpenAI: mientras el modelo de OpenAI explotó una vulnerabilidad de software desconocida para escapar de su entorno de pruebas, los modelos de Anthropic llegaron a internet a través de una vía que, por error, se había dejado abierta —un fallo de configuración, no una brecha de seguridad explotada activamente. Anthropic también subraya otra diferencia: fue la propia compañía la que descubrió estos incidentes mediante una revisión proactiva, y ninguna de las dos organizaciones afectadas a las que pudo contactar había detectado previamente la actividad ni se lo había comunicado. Esto contrasta con el caso de OpenAI, donde fue Hugging Face quien detectó primero la intrusión en sus propios sistemas, y solo días después OpenAI identificó y reconoció públicamente que el responsable había sido su propio agente de IA.

Anthropic ha añadido que ahora trabaja con METR, un grupo independiente de evaluación de modelos de IA, en una revisión externa de estos incidentes.

La brecha accidental de OpenAI en los sistemas de Hugging Face fue el primer caso verificable de un laboratorio de IA perdiendo el control sobre su propio modelo, y desató reacciones muy dispares tanto en la industria como entre responsables políticos. Esta nueva revelación de Anthropic garantiza que el debate sobre la seguridad de los modelos de IA y los riesgos de sus evaluaciones seguirá vivo en las próximas semanas.