Anthropic propone que un juez federal pueda frenar modelos de IA peligrosos: buena idea, siempre que no la redacte solo la industria

Anthropic ha llevado al Capitolio un borrador de ley sobre seguridad de la IA. Permitiría al Gobierno de EE. UU. bloquear el despliegue de modelos considerados capaces de causar daños graves. La iniciativa la adelantó Politico el 16 de octubre, citando a tres personas al tanto de las conversaciones. Después la recogió Reuters. Por ahora es solo una propuesta. No hay ningún indicio público de que algún legislador vaya a presentarla formalmente. Según Reuters, ni Anthropic ni el Departamento de Comercio respondieron de inmediato a las peticiones de comentarios.

El listón es deliberadamente alto. Según el relato de Reuters sobre el borrador, la intervención federal solo sería posible si un modelo amenaza con causar más de 1.000 millones de dólares en daños económicos, o con matar o herir gravemente a más de 50 personas. Además, la amenaza tendría que encajar en una de tres categorías: desarrollo o liberación de armas biológicas, sistemas de IA que escapan al control de sus desarrolladores y ciberataques. No cubre los sesgos, el empleo ni la desinformación. Es una ley pensada para lo catastrófico, no para los daños cotidianos.

El mecanismo tiene tres piezas. Primera, auditores externos registrados en el Departamento de Comercio evaluarían de forma periódica a las empresas y a sus modelos más capaces. Las propias compañías podrían pagar esas auditorías, siempre que la remuneración no dependa de las conclusiones. Segunda, si un auditor detecta un riesgo que cumple los criterios, tendría 72 horas para avisar a Comercio. Tercera, Comercio no podría suspender un modelo por su cuenta: tendría que pedirlo ante el Tribunal de Distrito federal de Washington D. C., y sería un juez quien ordenase la suspensión. El borrador también impediría que otros departamentos, agencias o cargos federales paren por su cuenta el desarrollo, el despliegue o el uso interno de modelos dentro de este marco.

Esa última cláusula es la clave de la propuesta. Tiene una lectura favorable: da seguridad jurídica, evita que cualquier agencia actúe de forma arbitraria y deja la decisión más grave en manos de un juez, con el control de garantías que eso implica. Tiene también una lectura preocupante: concentra todo el poder de freno en un único procedimiento, estrecho y difícil de activar, que ha diseñado una empresa del sector. Lo mismo ocurre con las auditorías pagadas por el auditado. Funcionan si la independencia se cumple de verdad. Si no, repiten el modelo de las agencias de calificación antes de 2008, cuando el emisor pagaba al evaluador. El texto prohíbe vincular el pago al resultado, pero el diablo estará en cómo se haga cumplir.

Nuestra lectura: la propuesta va, en lo esencial, en la dirección que defendemos. Es gobernanza basada en evidencia, centrada en la capacidad real y no en el pánico. Encaja con lo que venimos diciendo sobre seguridad: el riesgo de corto plazo que hay que gobernar es el uso dual (biología, ciberataques, agentes fuera de control), no una superinteligencia abstracta. También continúa lo que analizamos con Mythos 6: los modelos de frontera ya se tratan como activos estratégicos, y era cuestión de tiempo que alguien propusiera un "botón de pausa" con garantías legales. Lo que pedimos es que el Congreso use este borrador como punto de partida, no como texto final. Las cifras de los umbrales, quién acredita a los auditores y el alcance de la cláusula que limita a otras agencias deberían decidirse en un debate público. No deberían salir de reuniones privadas con quien va a ser regulado.

A largo plazo, este tipo de marcos son los que permiten acelerar con confianza. Si la sociedad sabe que existe un freno creíble para los casos extremos, será más fácil aceptar los modelos que prometen avances en medicina, ciencia y productividad. La duda está en la redacción: una ley así puede servir para proteger al público o para proteger a las empresas que ya están dentro del mercado.