AM-Bench: cómo se comportan los agentes de IA ante tareas incompletas o ambiguas, según modelo y harness

Aviso previo: el material recibido es únicamente la página de resumen (abstract) del artículo en arXiv, no el texto completo. Por eso este análisis se limita a lo que dice el abstract y no entra en detalles de metodología, tablas de resultados ni cifras concretas por modelo o harness.

El trabajo, titulado «AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses», fue enviado a arXiv el 13 de octubre de 2026 (categoría cs.AI). Lo firman Kaiyu Huang, Yiting Li, Angyang Gu, Pinjia He, Minchen Yu y Qingjiang Shi.

El punto de partida es que las especificaciones ambiguas o incompletas dificultan tanto la ejecución como la aclaración de la tarea por parte de los agentes basados en modelos de lenguaje. Según los autores, la forma en que los agentes responden a esas lagunas de información está poco caracterizada, tanto entre modelos distintos como entre distintos «harnesses», es decir, los entornos de ejecución que envuelven al modelo.

AM-Bench se construye a partir de 48 tareas adaptadas de Terminal-Bench 2.0 y Harness-Bench. Cada tarea incluye una referencia totalmente especificada y seis variantes que abarcan objetivos, contexto y restricciones ambiguos o ausentes. Los autores evalúan todas las combinaciones de cinco modelos y cuatro harnesses, con un total de 20.160 ejecuciones.

Los resultados descritos en el abstract apuntan a déficits de ejecución distintos según el tipo de laguna:

• Las lagunas en el objetivo dificultan que la tarea llegue a completarse. • Las lagunas en el contexto aumentan el consumo de tokens. • Las lagunas en las restricciones debilitan el cumplimiento, aunque no necesariamente impiden completar la tarea.

Además, en los tres dominios la información ausente reduce el éxito más que la información ambigua.

Otra conclusión relevante es que estos efectos alteran las comparaciones entre sistemas. Las ventajas observadas con información completa no tienen por qué mantenerse cuando faltan datos, y las clasificaciones dependen de la combinación modelo × harness y del criterio de evaluación elegido: finalización, éxito o consistencia entre repeticiones.

Por último, los autores estiman, a partir de las peticiones de aclaración observadas y de ejecuciones equivalentes con especificación completa, que pedir aclaraciones podría recuperar trabajo sin terminar, pero dejaría sin resolver la mayoría de las violaciones de restricciones.

De ahí extraen dos recomendaciones: evaluar conjuntamente modelo y harness bajo distintas condiciones de información, y aclarar de forma dirigida los requisitos pendientes antes de ejecutar acciones que dependan de ellos. Para apoyar investigaciones futuras, publican un repositorio del proyecto AM-Bench, cuya dirección no figura en el texto recibido.

En conjunto, el artículo sugiere que medir agentes solo con tareas completamente especificadas puede dar una imagen engañosa de su rendimiento real. Para valorar sus conclusiones habría que revisar el texto completo, que no se ha podido analizar aquí.