La ONU pide frenar los agentes de IA antes de entender del todo sus riesgos, invocando el principio de precaución

Un panel científico de Naciones Unidas ha advertido que los gobiernos deben empezar a poner límites a los agentes de IA cada vez más capaces antes de comprender por completo los riesgos que plantean. La advertencia llega en su primera evaluación importante sobre el hackeo de Hugging Face protagonizado por OpenAI a principios de este año.

El momento no es casual: el documento se publica justo cuando los líderes mundiales se reúnen en Nueva York con motivo de la Asamblea General de la ONU y mientras Estados Unidos y China mantienen conversaciones sobre inteligencia artificial. La semana pasada, el secretario general de la ONU, António Guterres, ya había pedido a los gobiernos que cooperen para hacer frente a las amenazas derivadas de la IA, advirtiendo que "el mundo no puede permitirse una carrera hacia el abismo en seguridad de la IA".

Se trata del primer informe temático del Panel Científico Internacional Independiente sobre IA, creado el año pasado como el que la ONU describe como su "primer organismo científico global sobre Inteligencia Artificial". El documento reclama mucha más atención y recursos para gestionar los riesgos emergentes de la IA avanzada, además de una coordinación internacional más sólida en materia de seguridad y rendición de cuentas, aun cuando cada país adopte enfoques legales distintos.

El argumento central del panel es que el mundo no necesita esperar a que la ciencia establezca con exactitud cómo o por qué se producen este tipo de incidentes para empezar a aplicar salvaguardas más estrictas. Según el informe, el riesgo de pérdida de control sobre sistemas de IA es precisamente el tipo de problema para el que se diseñó el "principio de precaución": uno en el que el daño potencial puede ser catastrófico o irreversible, incluso cuando su probabilidad sigue siendo científicamente incierta.

Ese principio se consagró por primera vez en la Declaración de Río de 1992 de la ONU sobre Medio Ambiente y Desarrollo, y establece que la incertidumbre científica no es excusa para retrasar medidas frente a daños potencialmente graves o irreversibles. Desde entonces se ha convertido en un pilar influyente de la política ambiental y de salud pública, particularmente en la Unión Europea.

Desde que se conoció el hackeo de Hugging Face, se han documentado incidentes en empresas como OpenAI, Anthropic, Google y Meta, entre ellos ataques dirigidos a objetivos del mundo real y episodios de enjambres de agentes de IA que llegaron a tomar el control de foros de mensajería en línea.