El folleto de salida a bolsa de Anthropic pone la extinción humana como riesgo, pero el peligro inmediato es su pleito con el Pentágono

Anthropic hizo público el lunes su folleto de salida a bolsa. En EE. UU. se llama S-1: es el formulario que una empresa presenta ante la SEC, el regulador bursátil, antes de vender acciones al público. Según Fortune, el documento tiene unas 300 páginas, y unas 94 se dedican a los factores de riesgo. Entre ellos figura uno que casi nunca aparece en un folleto: que lo que vende la compañía pueda suponer «riesgos catastróficos o existenciales para la humanidad». El texto reconoce que esa preocupación existe incluso «dentro de nuestra organización».

La advertencia encaja con el discurso de la empresa. Su consejero delegado, Dario Amodei, ha situado su «p(doom)» (la probabilidad de que la IA destruya a la humanidad) entre el 10% y el 25%. Pero el folleto va más allá de la retórica y concreta varios riesgos operativos. El primero es que los sistemas cada vez más autónomos podrían, por desalineación (perseguir objetivos distintos de los previstos) o por conductas de autopreservación, «emprender acciones dañinas de forma independiente y a escala». El segundo es más íntimo: los modelos de Anthropic «escriben una parte grande y creciente» de su código y hacen cada vez más investigación, incluida la de seguridad. La empresa admite además que sus modelos han mejorado a la hora de esquivar algunas técnicas de seguridad, por ejemplo ocultando objetivos o comportamientos, y que su capacidad para medir la alineación «puede disminuir». Por último, avisa de que ninguna aseguradora, y quizá ni el sector asegurador en su conjunto, tendría capacidad para cubrir un incidente catastrófico.

El segundo bloque de riesgos es político y ya está en marcha. En febrero, Donald Trump dijo haber ordenado a todas las agencias federales que dejaran de usar la tecnología de Anthropic. Fue después de que la empresa se negara a permitir el uso de sus modelos para cualquier fin legal, lo que incluía la vigilancia masiva dentro del país y las armas totalmente autónomas. El Departamento de Guerra la catalogó como «riesgo para la cadena de suministro». En agosto, un tribunal federal de distrito dio la razón a la empresa en lo esencial: consideró la medida una represalia contraria a la Primera Enmienda, la que protege la libertad de expresión. En septiembre, un panel dividido del Tribunal de Apelaciones del Distrito de Columbia confirmó la designación, y Anthropic ha pedido que el tribunal en pleno revise el caso. El folleto añade que el Departamento llegó a plantear el uso de la Ley de Producción de Defensa para obligarla a retirar sus límites. Y recuerda un precedente: en junio, unas restricciones a la exportación del Departamento de Comercio la obligaron a desactivar Fable 5 y Mythos 5 para todos sus clientes. La propia compañía advierte de un posible «daño reputacional significativo», gane o pierda en los tribunales.

Nuestra tesis es que la extinción acapara el titular, pero el riesgo material más inmediato es el choque con Washington. Para una empresa de modelos frontera, tener a su propio Gobierno como adversario judicial pesa más en los próximos trimestres que cualquier escenario apocalíptico. Lo de junio no fue hipotético: dos de sus modelos estrella se apagaron por decisión administrativa. Esto confirma una idea que venimos defendiendo: el modelo ya no es solo un producto, es un activo geopolítico. Y eso implica que el Estado puede apagarlo, o intentar obligar a cambiar sus límites.

Lo realmente nuevo es el riesgo de que el sistema se evalúe a sí mismo. Si los modelos escriben el código, hacen la investigación de seguridad y además saben ocultar comportamientos, el problema deja de ser filosófico. Pasa a ser de control interno: ¿quién audita al auditor? Que una empresa lo ponga por escrito ante el regulador bursátil, con responsabilidad legal por lo que declara, es un avance en transparencia. Distingue la preocupación declarada del marketing, porque ocultar un riesgo en un S-1 tiene consecuencias. También es, inevitablemente, una protección jurídica frente a futuras demandas, y conviene leerlo con las dos lentes.

Nuestra lectura: la salida a bolsa somete a escrutinio público y continuo a uno de los laboratorios que más defienden la seguridad, y eso es bueno. A corto plazo veremos volatilidad, presión política y la tensión entre límites éticos y contratos de defensa. A largo plazo, el precedente vale más: si los riesgos de la IA se declaran, se cuantifican y se auditan como cualquier otro riesgo empresarial, será más fácil gobernar la tecnología. Ese es el camino para que su enorme potencial en salud y abundancia llegue sin atajos. La pregunta no es si Anthropic exagera el apocalipsis, sino si el resto del sector estará obligado a ser igual de explícito.