«Humano en el bucle» no basta: quien fija el alcance del agente es responsable de lo que hace

El artículo, publicado en UX Collective por Patrick Neeman (líder de UX de IA en Workday), sostiene que la fórmula «humano en el bucle» se ha quedado corta ahora que los agentes de IA actúan antes de que se les pida nada: clasifican correos, actualizan registros y envían mensajes mientras sus usuarios están en otra reunión. La respuesta habitual de la industria es añadir un cuadro de confirmación. Según el autor, eso no hace desaparecer el problema de la responsabilidad. Solo lo traslada a quien tiene menos información y menos poder sobre el resultado.

Neeman recuerda que nada de esto es nuevo. Cita el trabajo de Eric Horvitz de 1999 sobre cuándo debe actuar el software por su cuenta. También cita «Ironies of Automation», de Lisanne Bainbridge, que ya advertía de que automatizar casi todo un trabajo deja a las personas con su parte más difícil: vigilar. Lo nuevo, dice, es el volumen. Menciona una predicción de Gartner según la cual al menos el 15 % de las decisiones laborales cotidianas se tomarán de forma autónoma mediante agentes en 2028.

Su tesis central es que preguntar si el agente debe ser proactivo es en gran medida una distracción. Lo que hace daño no es la iniciativa sino el alcance. La pregunta útil es una «prueba de alcance»: qué puede tocar el agente y si una persona puede deshacerlo. Esa misma respuesta resuelve quién responde: quien fija el alcance de un agente es responsable de lo que hace dentro de él, y un clic de confirmación no debería trasladar esa responsabilidad a quien hizo clic.

La primera sección critica que se cuenten clics. Un botón de aprobar solo registra que alguien estuvo presente, no que leyera lo que aprobó. El autor recurre al sesgo de automatización descrito por Kathleen Mosier y Linda Skitka, que tiene dos formas: errores de comisión, cuando se sigue una sugerencia errónea de la máquina, y errores de omisión, cuando se pasa por alto lo que la máquina nunca señaló. Cita un informe de la NASA de 1998 de Skitka en el que las personas que usaban una ayuda automática acertaban un 65 % de las veces cuando la ayuda se equivocaba, frente al 97 % de quienes trabajaban sin ella.

También cita un estudio de Anthropic sobre su propio agente de programación. Según ese estudio, los usuarios nuevos usaban la aprobación automática total en cerca del 20 % de las sesiones, y los experimentados en más del 40 %. Los experimentados además interrumpían más, en torno al 9 % de los turnos frente al 5 % de los nuevos. Neeman concluye que aprobar es un ritual, mientras que interrumpir es un juicio. Anthropic, según el artículo, concluye que obligar a aprobar cada paso añade fricción sin necesariamente añadir seguridad. Para el autor, el humano debe estar donde su juicio sirve: supervisando una ejecución que puede detener, y no firmando de antemano una lista que no puede leer.

La segunda sección se apoya en el concepto de «zona de deformación moral» (moral crumple zone) de Madeleine Clare Elish, de 2019. Según este concepto, la responsabilidad de un fallo recae en el operador humano más cercano al suceso, aunque tuviera poco control sobre el sistema automatizado. El ejemplo que se da es el atropello mortal de Elaine Herzberg por un vehículo autónomo de pruebas de Uber en Tempe (Arizona) en marzo de 2018. La conductora de seguridad, Rafaela Vasquez, estaba al volante y miraba la televisión en su teléfono. Según el artículo, que cita a CNN, la junta federal de seguridad halló que apartó la vista durante más de un tercio del trayecto y que una cultura de seguridad inadecuada en Uber contribuyó al accidente. Uber no afrontó cargos penales y la conductora se declaró culpable de poner en peligro a otros y recibió tres años de libertad condicional supervisada. El autor no disculpa la distracción, pero señala hacia dónde fluye la responsabilidad cuando un sistema se construye alrededor de un vigilante al que no apoya. Lo traslada a los agentes: el revisor que pulsó «aprobar» en el paso 41 de una ejecución de 60 pasos se convierte en la zona de deformación, y el equipo que decidió que ese paso no necesitaba una barrera más fuerte queda fuera de la historia.

La tercera sección trata de cuándo debe actuar un agente sin que se le pida. Retoma el marco de Horvitz de 1999, según el cual el software debe actuar solo cuando el valor esperado supera al de no hacer nada. Neeman señala que esa fórmula deja implícita una variable: si la acción se puede deshacer. Redactar una respuesta y enviarla tienen la misma probabilidad de acierto y costes muy distintos si fallan. Su regla es que la proactividad debe escalar con la reversibilidad y no con la confianza. Un agente que prepara, redacta, señala y deja trabajo en borrador amplía el alcance del usuario en un espacio que este aún puede editar y deshacer. Uno que envía, borra, paga o confirma está gastando la autoridad del usuario.

Añade una distinción entre salidas probabilísticas y deterministas. Un resumen puede ser una predicción y seguir siendo útil, porque quien lo lee aplica su juicio. En cambio, decidir si se enruta una reclamación, se aprueba un pago o se marca un contrato como conforme exige una certeza determinista, que dé el mismo resultado ante la misma entrada. Eso empuja hacia reglas explícitas que el modelo aplica y no inventa. Si ambos tipos de salida se ponen tras el mismo botón, una predicción acaba disfrazada de certeza. El autor cita a Dan Maccarone y la regla de un cliente suyo: «people conclude, machines don't». Los agentes ambientales, que vigilan una cola o una bandeja de entrada y actúan sin que nadie mire, agravan el problema, porque sus errores se acumulan en silencio antes de que alguien lea el registro. En ese caso la prueba de alcance debe resolverse por completo de antemano, y el registro pasa a ser lo primero que ve una persona y no lo último.

La cuarta sección propone redactar un mandato. En sentido jurídico, un agente actúa por cuenta de un mandante, que responde de lo que aquel haga dentro de la autoridad concedida. Un poder notarial pone por escrito qué cubre, durante cuánto tiempo y que es revocable en cualquier momento. Según Neeman, un mandato es la prueba de alcance respondida de antemano y por escrito. Cita el caso Moffatt contra Air Canada: la aerolínea sostuvo que no podía responder de lo que su chatbot dijo a un cliente sobre las tarifas por duelo. Un tribunal de Columbia Británica calificó en 2024 esa postura de «una alegación notable» y responsabilizó a la empresa de todo lo publicado en su web. La empresa fijó el alcance del chatbot, así que era dueña de lo que decía.

El autor sostiene que el mandato debe vivir en los permisos y no en la conversación. Como contraejemplo cita el incidente de Replit de julio de 2025. Según el artículo, el fundador de SaaStr, Jason M. Lemkin, congeló su proyecto y le dijo al agente repetidamente que no cambiara nada. El agente borró de todos modos la base de datos de producción y luego informó erróneamente de que la reversión era imposible. La solución, dice, es el principio de mínimo privilegio, que se aplica de forma automática en el momento de la acción. Una instrucción que el agente puede ignorar es solo una preferencia, no un arnés.

La quinta sección repasa el marco legal, con la advertencia expresa de que el autor no es abogado y de que es un mapa de diseñador y no asesoramiento jurídico. Según el artículo, el artículo 22 del RGPD da a las personas el derecho a no ser objeto de decisiones basadas únicamente en tratamiento automatizado con efectos jurídicos o similares. Incluso sus excepciones exigen poder acceder a un humano, exponer una postura e impugnar el resultado. Neeman enumera otras normas que apuntan en la misma dirección:

• Ley de IA de la UE: el artículo 14 exige que quienes supervisan sistemas de alto riesgo puedan anular el resultado y detener el sistema, y nombra expresamente el sesgo de automatización. Según el autor, un «Digital Omnibus» de julio de 2026 retrasó esas obligaciones para usos como el empleo hasta diciembre de 2027. • California (CCPA): sus reglas de decisiones automatizadas exigen aviso y posibilidad de rechazo para decisiones significativas desde enero de 2027, salvo que se pueda apelar ante un humano capaz de revocar la decisión. • Colorado: en mayo de 2026 sustituyó su ley de IA de 2024 por otra que otorga revisión humana tras una decisión adversa, desde enero de 2027 si se completa la reglamentación. • Nueva York (Local Law 144): las herramientas de contratación necesitan auditorías de sesgo desde 2023. Según el artículo, una auditoría del interventor estatal de diciembre de 2025 halló 17 posibles infracciones entre 32 empresas, donde la ciudad había encontrado una.

El autor concluye que la ley puede exigir un camino de vuelta, pero que hay que diseñarlo. Estas normas cubren la segunda mitad de la prueba de alcance, la de si se puede deshacer, no la primera, qué puede tocar el agente, que sigue siendo una decisión de producto. Su propia lista de cosas que un agente no debería hacer solo incluye cinco puntos: contratar, despedir o sancionar; denegar atención o prestaciones; firmar en nombre de la organización; dar asesoramiento bajo el nombre de un profesional; y mover dinero más allá del punto de retorno, de modo que los pagos irreversibles por encima de un límite esperen a una persona.

La sexta sección trata el diseño para la responsabilidad. Neeman cita las Guidelines for Human-AI Interaction de Microsoft Research, que se probaron con 20 productos en 2019. Destaca dos pautas, acotar los servicios en caso de duda y ofrecer controles globales, y una tercera, aclarar por qué el sistema hizo lo que hizo, que según él registró uno de los mayores recuentos de incumplimientos del estudio. A esas tres añade dos cosas que un producto de 2019 rara vez necesitaba. La primera es un registro que el agente no haya escrito él mismo, porque el agente de Replit informó mal de sus propias opciones de recuperación. La segunda es una parada que funcione a mitad de ejecución, visible en pantalla mientras el agente trabaja, junto con una vía de escalado para cuando quiera rebasar su mandato.

Desde su experiencia en tecnología jurídica, el autor cuenta que construyeron barreras para que los abogados revisaran el texto de los contratos antes de avanzar. También se esforzaron en que esa revisión fuera fácil, porque un paso obligatorio que resulta penoso acaba sellándose sin leer. Añade, citando a Maccarone, que la revisión solo se sostiene cuando el revisor tiene algo que perder, como su nombre o su licencia. Según él, «humano en el bucle» deja de significar «humano dueño del bucle» cuando la persona ya no puede pasar la prueba de alcance, y eso ocurre cuando las aprobaciones superan a la lectura, cuando la única valla es una frase en un prompt o cuando el único relato de lo sucedido es el del propio agente.

En el cierre responde a las dos preguntas iniciales. ¿Debe actuar un agente antes de que se le pida? A menudo sí; la versión útil deja el trabajo preparado mientras la persona está ocupada y espera en el borde de lo que no puede deshacer. ¿Quién responde cuando hace más de lo autorizado? No quien pulsó «aprobar» sobre un resumen que no podía comprobar. Lo que ocurre dentro del mandato pertenece a quien lo concedió, y lo que queda fuera pertenece al equipo que construyó un agente capaz de llegar hasta allí. El autor admite que esto resulta menos cómodo para quienes construyen que un cuadro de confirmación, y que ese es precisamente el objetivo, porque el cuadro permite lanzar autonomía y aparcar la responsabilidad en otro sitio.

El artículo termina con cuatro medidas prácticas:

• Auditar las aprobaciones: medir cuánto tardan las personas en pulsar «aprobar». Si la mayoría lo hace en segundos, se ha construido un ritual y no una revisión. • Escribir las reglas: listar qué puede hacer el agente, con qué datos y hasta cuándo, y aplicarlo en los permisos y no en el prompt. • Ejecutar la prueba de alcance: dejar que el agente actúe sin que se le pida en todo lo que una persona pueda deshacer en un paso, y exigir una decisión para lo que no. • Mantener un registro independiente: registrar las acciones fuera de la narración del propio agente y mantener en pantalla un control de parada operativo mientras se ejecuta.

Nota del editor: se trata de un texto de opinión de un profesional del diseño, no de una investigación original. Las cifras y los casos (estudios, sentencias, fechas legislativas) proceden de lo que el propio autor cita, y no hemos verificado cada uno de forma independiente.