El 'humano en el bucle' de la IA: cuando la supervisión es solo apariencia

Cada vez que surgen dudas sobre los riesgos de los sistemas de IA, la respuesta habitual de las organizaciones es invocar el concepto de "humano en el bucle" (human in the loop), una frase de gobernanza tan repetida que se ha vuelto casi automática. Sin embargo, varios expertos en seguridad y gobernanza de IA consultados advierten que muchos de estos supuestos controles no son más que un sello de aprobación vacío: dan la sensación de supervisión sin ofrecer capacidad real de intervención.

Doug Shepherd, responsable de seguridad ofensiva en el proveedor de servicios de internet Cloudflare, explica que para que un sistema de humano en el bucle funcione de verdad, la persona que supervisa la IA necesita tener el conocimiento y el contexto suficientes para actuar en lugar de la máquina, además de la autoridad para anular su decisión. Shepherd, que habló en la reciente CIO 100 Awards and Conference celebrada en Frisco, Texas, señaló que muchas promesas de este tipo generan una falsa tranquilidad en los responsables de TI, porque el proceso subyacente no funciona como se anuncia. En sus palabras, "si tu humano en el bucle puede señalar algo pero no puede realmente detenerlo, eso no es un humano en el bucle, es un humano adyacente al bucle", una forma de "gobernanza performativa" que sirve para conseguir la aprobación política de un proyecto, pero no resuelve el riesgo real.

Shepherd animó a los asistentes a abrazar la IA y centrarse en proyectos que impulsen su adopción e impacto, advirtiendo al mismo tiempo que adoptarla a ciegas, sin prestar atención a resultados significativos y a las salvaguardas adecuadas, puede provocar grandes contratiempos. Según él, muchas organizaciones recurren al humano en el bucle como control importante, pero nadie lo somete a pruebas de estrés reales.

Darren Kimura, CEO y presidente de la plataforma de integración de IA AISquared, coincide en que numerosas empresas se engañan a sí mismas con estos sistemas. "La mayoría de las compañías que dicen tener un humano en el bucle en realidad tienen un humano observando el bucle", afirma. Esa persona puede ver la decisión y señalar una preocupación, pero no puede detenerla, cambiarla, rechazarla ni escalarla. Kimura propone que los responsables de TI se hagan preguntas concretas: ¿pueden los revisores frenar las acciones antes de que surtan efecto? ¿pueden modificar el resultado? ¿quedan registradas y se aplican realmente sus anulaciones aguas abajo? Si la respuesta a cualquiera de ellas es no, el humano se limita a monitorizar la IA, no a controlarla.

Otro problema señalado es la fatiga de decisión: cuando se pide a los empleados que revisen demasiadas decisiones de IA, acaban aprobando de forma mecánica en lugar de reflexionar sobre las consecuencias. Eric Billingsley, director de operaciones y tecnología de la empresa de garantía de IA TrustScale, subraya que el revisor necesita experiencia, contexto, tiempo suficiente y también autoridad y capacidad técnica para rechazar o revertir una decisión. Pero incluso un revisor cualificado y con autoridad puede ir perdiendo el juicio independiente cuando la IA acierta de forma consistente: "si el sistema acierta el 95% de las veces, el trabajo de la persona se convierte en esperar el raro caso en que se equivoca", explica. Los humanos no son especialmente buenos manteniendo la vigilancia sostenida sobre un sistema automatizado muy fiable, y con el tiempo la revisión se transforma en mera confirmación. Un buen sistema de IA, señala Billingsley, puede terminar generando malos controles humanos, porque cuando llega el caso excepcional, el revisor puede aprobarlo igualmente porque el propio sistema le ha entrenado, a base de cientos de recomendaciones correctas, para confiar en él.

Billingsley recomienda evaluar los sistemas de humano en el bucle con el mismo rigor que cualquier otro control de seguridad: deben ser monitorizados, probados y capaces de aportar evidencia de que funcionan según lo previsto. Un simple registro que muestre que alguien pulsó "aprobar" no basta; hace falta demostrar que esa persona tenía el contexto necesario, aplicó un juicio independiente y contaba con autoridad real para anular a la IA.

Robert Blumofe, vicepresidente ejecutivo y director de tecnología del proveedor de computación en la nube y seguridad Akamai, observa los mismos problemas: aunque cierto tipo de supervisión humana es preferible a una IA totalmente autónoma, el humano en el bucle puede convertirse en un ejercicio que embota la mente. Los grandes modelos de lenguaje producen el resultado correcto con la frecuencia suficiente como para hacer creer que son más fiables de lo que realmente son, y tras comprobar diligentemente la salida de la IA una y otra vez sin encontrar errores, esa diligencia decae y la revisión se convierte en una aprobación rutinaria. Blumofe aconseja a los responsables de TI dedicar tiempo a entender exactamente cómo está diseñado el sistema y cuándo y cómo interactuará el humano con la IA antes de aceptar la promesa de un proveedor o de su propio equipo. Además, sugiere explorar otras tecnologías como salvaguarda, en lugar de depender de una supervisión humana poco fiable: herramientas no basadas en IA que automaticen la validación de los resultados, señalen problemas y tengan capacidad de pausar el trabajo del sistema, reduciendo así el riesgo sin depender exclusivamente de aprobaciones humanas.

Finalmente, varios de los consultados coinciden en que el humano en el bucle no siempre es la solución adecuada. En el ámbito de la ciberseguridad, por ejemplo, esperar la aprobación de una persona para mitigar un incidente puede llegar demasiado tarde: si un endpoint está comprometido, puede ser preferible que el sistema lo aísle de inmediato, ya que esperar 20 o 30 minutos a que alguien apruebe esa acción podría permitir que el ataque se propague. El objetivo, resume Kimura, no es introducir a un humano en cada decisión de la IA, sino colocar al humano adecuado, con el contexto y la autoridad correctos, en el punto preciso del flujo de trabajo donde realmente pueda marcar la diferencia.