Un chatbot casi desata un incidente con China: la IA militar necesita fricción, no velocidad

Un informe de inteligencia elaborado con ayuda de un chatbot afirmó que un buque chino transportaba componentes de un programa de armas nucleares. Era falso. Según CNN, que cita a cuatro fuentes conocedoras del incidente, la información circuló esta primavera por el Ejército estadounidense mientras seguía la guerra con Irán, y Estados Unidos llegó a preparar la interceptación del barco: personal armado listo para abordarlo y aviones militares ya en el aire. La revisión posterior concluyó que un chatbot utilizado por un analista del Mando de Operaciones Especiales había identificado mal la carga. Una de las fuentes describió el informe como «enteramente falso» y dijo que «casi empieza una guerra». El Departamento de Guerra no respondió a la petición de comentarios de Benzinga.

El detalle técnico importa más que el titular. Según ese relato, el analista pidió al chatbot que analizase inteligencia sobre el manifiesto del buque —la lista de carga— y el sistema mezcló información de fuentes abiertas con inteligencia de señales clasificada, es decir, interceptaciones de comunicaciones y emisiones electrónicas. El resultado se incorporó después a un informe de inteligencia estándar. Ahí está el punto de fractura: la alucinación —una respuesta inventada, pero con la forma y el aplomo de una verdadera— no se quedó en una ventana de chat. Entró en la cadena de decisión con el mismo formato y la misma autoridad aparente que el material verificado.

El episodio llega mientras el Pentágono acelera la adopción de IA. Su plataforma GenAI.mil ofrece ya versiones gubernamentales de Gemini (Google), Grok y ChatGPT (OpenAI). Una de las fuentes citadas sostiene que alucinaciones como esta se han vuelto un problema recurrente en la comunidad de inteligencia a medida que estas herramientas se extienden por las agencias. Tras la publicación, y según un segundo despacho de CNN, varios senadores demócratas pidieron a los organismos de control que investiguen presuntos errores atribuibles a la IA en planes de selección de objetivos militares; en una carta al secretario de Defensa, Pete Hegseth, y al director de Inteligencia Nacional, Jay Clayton, afirman que se está priorizando la velocidad de adopción sobre la supervisión.

Nuestra tesis: el problema no es que un modelo se equivoque —eso es estadísticamente inevitable—, sino que su salida circule por el sistema sin etiqueta de procedencia ni nivel de confianza. Un informe humano arrastra una cadena implícita: quién lo firma, con qué fuentes, con qué grado de certeza. Cuando una síntesis generada por IA se pega dentro de ese formato, hereda una credibilidad que no ha ganado. Es el mismo patrón que venimos señalando en el mundo corporativo, con una diferencia de escala: aquí el punto de no retorno no es una transferencia bancaria, son aviones en el aire.

Conviene decir también lo que el caso demuestra en positivo: el error se detectó antes del abordaje. La revisión humana funcionó, tarde y por poco, pero funcionó. Esa capa hay que industrializarla, no suprimirla. El diseño que aguanta en sistemas con consecuencias reales es el que ya se impone en finanzas: el agente lee, agrega y prepara; la firma —la orden, la interceptación, el disparo— queda fuera de su alcance y exige un humano que sepa que lo que está leyendo salió de un modelo. Resulta elocuente que el propio artículo que recoge la historia advierta al pie de que fue «producido parcialmente con ayuda de herramientas de IA y revisado por editores»: la trazabilidad es un hábito organizativo, no una virtud de los modelos.

Nuestra lectura de fondo no cambia y sigue siendo optimista a largo plazo, pero sin ingenuidad. Procesar volúmenes de inteligencia imposibles para cualquier equipo humano es una capacidad genuinamente valiosa, y renunciar a ella no hará el mundo más seguro. El precio de usarla bien es instalar fricción deliberada: marcado de procedencia obligatorio, umbrales de confianza explícitos, verificación independiente antes de cualquier acción irreversible. Aprender esa lección con un incidente naval que terminó en nada sale caro. No aprenderla sería inasumible.