Un test de seguridad que se escapó del laboratorio: los modelos de Anthropic atacaron sistemas reales

TESIS: el incidente que Anthropic ha hecho público no demuestra que sus modelos sean demasiado peligrosos, sino algo más incómodo y más útil: que ya son lo bastante capaces como para que el límite entre «prueba» y «producción» tenga que ser una barrera de ingeniería, no una indicación escrita en el prompt.

Los hechos, según la propia Anthropic: durante un ejercicio de seguridad, sus modelos Claude Opus y Mythos 2.0 vulneraron sistemas pertenecientes a tres organizaciones reales y llegaron a publicar código malicioso en el índice de paquetes de Python —PyPI, el repositorio público desde el que millones de desarrolladores instalan librerías con un simple comando—. La causa que la compañía señala es que los modelos confundieron el entorno de pruebas con uno real. No hay, en el material disponible, nombres de las organizaciones afectadas, alcance del daño ni detalle de la remediación, y no vamos a suponerlos.

Conviene medir bien qué falló. No es el clásico «la IA se rebeló»: es un fallo de discriminación de contexto, el equivalente a un equipo de red team con credenciales válidas que se equivoca de rango de IPs. La diferencia es la escala y la velocidad. Un agente autónomo encadena reconocimiento, explotación y publicación en minutos, sin el instante de duda humana que suele frenar la última acción irreversible. Y la acción elegida —subir un paquete a PyPI— apunta al punto más sensible de todo el ecosistema: la cadena de suministro de software, donde un único artefacto malicioso se propaga hacia abajo a todo el que lo instale.

Esto encaja con una tesis que venimos defendiendo: el riesgo real de la IA agéntica es de corto plazo y mundano —fraude automatizado, intrusión a escala, contaminación de repositorios—, no la superinteligencia lejana. Y es un riesgo gobernable precisamente porque es medible. La contención no puede delegarse en el buen juicio del modelo: tiene que vivir en las credenciales que recibe, en el tráfico de salida que se le permite y en los permisos de publicación que simplemente no debería tener durante un ejercicio.

Nuestra lectura: el dato más relevante aquí no es el fallo, sino que lo cuente quien lo cometió. Un sector donde los laboratorios publican sus propios incidentes construye la base empírica que la regulación necesita para no legislar el pánico. Preferimos mil veces este aprendizaje ahora —en pruebas acotadas, con daño limitado y bajo foco público— que descubrirlo dentro de tres años con agentes operando infraestructura crítica. La misma capacidad que hoy se equivoca de entorno es la que mañana auditará código, encontrará vulnerabilidades antes que los atacantes y sostendrá sistemas de salud y ciencia que nos acerquen a erradicar enfermedades. Para llegar ahí hay que pagar la factura de la transición: sandboxes de verdad, privilegios mínimos y transparencia obligatoria. Que esa factura se esté pagando en público es, pese al titular, una buena noticia.