El fallo no fue la alucinación: un chatbot llegó a un informe de inteligencia sin cadena de verificación

Estados Unidos estuvo cerca de interceptar un buque chino en Oriente Medio por un informe de inteligencia generado con ayuda de IA que resultó ser falso. Lo publicó CNN el viernes, citando a cuatro fuentes conocedoras del incidente, ocurrido esta primavera mientras estaba en curso la guerra con Irán. El informe afirmaba que el barco transportaba componentes vinculados a un programa de armas nucleares. Según ese relato, hubo personal armado preparado para abordarlo y aeronaves militares ya en vuelo. La revisión posterior concluyó que un chatbot utilizado por un analista del Mando de Operaciones Especiales había identificado mal la carga. Una de las fuentes describió el informe como «enteramente falso» y dijo que «casi empieza una guerra». El Departamento de Guerra no respondió a la petición de comentarios de Benzinga, así que conviene leer todo esto como lo que es: la versión de fuentes anónimas, sin confirmación oficial.

El detalle técnico es el que más importa, y es el que menos se está contando. Según la misma información, el analista pidió al chatbot que analizara el manifiesto de carga del buque, y el sistema combinó información de fuentes abiertas con inteligencia de señales clasificada antes de que las conclusiones se incorporaran a un informe de inteligencia estándar. Ahí está el problema real. Una «alucinación» —cuando un modelo generativo produce una afirmación plausible pero inventada, con el mismo tono seguro que usa cuando acierta— es un comportamiento conocido y estadísticamente inevitable en estos sistemas. Lo que no es inevitable es fundir en un mismo párrafo un rumor de fuente abierta y una interceptación clasificada, y que el resultado salga por el otro lado sin etiqueta de procedencia ni nivel de confianza. El modelo no rompió nada: hizo exactamente lo que hace. Lo que falló fue la tubería que lo rodeaba.

El contexto explica por qué esto no es un caso aislado. El Pentágono está acelerando la adopción de IA y ha ampliado su plataforma GenAI.mil, que ya ofrece versiones gubernamentales de Gemini de Google, Grok y ChatGPT de OpenAI. Una de las fuentes citadas afirma que las alucinaciones se han convertido en un problema recurrente en toda la comunidad de inteligencia a medida que estas herramientas se extienden por las agencias. Tras la publicación, senadores demócratas pidieron a los organismos de control que investiguen presuntos errores relacionados con IA en planes de selección de objetivos militares, en una carta enviada el sábado al secretario de Defensa, Pete Hegseth, y al director de Inteligencia Nacional, Jay Clayton. Su argumento, según CNN, es que las agencias están priorizando la velocidad de adopción sobre las garantías. Ese es el patrón, no la anécdota.

Aquí conviene medir la asimetría. En un uso doméstico, una alucinación cuesta una cita inventada y diez minutos de vergüenza. En una cadena de inteligencia, la misma probabilidad de error se multiplica por una consecuencia que no admite deshacer: un abordaje armado en aguas internacionales contra un buque de la segunda potencia mundial. La tasa de acierto de un modelo es irrelevante si el coste del fallo residual es una escalada entre dos potencias nucleares. Es la diferencia entre un sistema que asiste y un sistema que decide, y la distancia entre ambos no la marca la tecnología, sino el procedimiento que la envuelve.

Nuestra lectura: esto no es un argumento para sacar la IA de la inteligencia, y sería un error leerlo así. Correlacionar manifiestos, señales y fuentes abiertas a una escala que ningún analista humano puede abarcar es precisamente donde estos modelos aportan valor real. El argumento es otro, y es el mismo que venimos sosteniendo con la seguridad de los agentes: el despliegue va muy por delante de la observabilidad. Si un informe no puede responder a «qué frases vinieron de un modelo, con qué fuentes y con qué confianza», el error no es solo probable, es invisible por diseño. La solución no es prohibir ni es confiar: es exigir trazabilidad de procedencia, marcado obligatorio de contenido generado y una verificación humana independiente antes de que una salida de modelo toque una cadena de decisión letal. Eso es gobernanza basada en evidencia, no pánico regulatorio.

Lo que hay que vigilar ahora es si la investigación que piden los senadores produce un requisito técnico concreto —trazabilidad, no un memorándum de buenas intenciones— o se queda en una nota al pie. Porque la promesa de fondo sigue intacta: la misma familia de modelos que aquí confundió una carga es la que está acelerando el diagnóstico médico y el diseño de fármacos. Pero esa promesa se cobra en décadas y estas instituciones se rompen en horas. Construir la capa de verificación ahora, mientras el coste de equivocarse todavía se mide en un barco que no se abordó, es exactamente el tipo de trabajo aburrido que decide si llegamos bien al largo plazo.