Microsoft Design: por qué evaluar la IA exige devolver la voz al usuario, no solo a otro modelo

El artículo de Microsoft Design recoge una conversación con tres investigadores de UX de Microsoft AI —Christopher Monier y Chuck Kwong, ambos Principal UX Researchers, y Wendy Wang, responsable del equipo de investigación de UX de Copilot— que construyeron juntos un programa de evaluación de calidad de respuestas para Copilot. Su punto de partida es una distinción que parece simple pero es difícil de aplicar en la práctica: las evaluaciones automáticas (un modelo juzgando a otro modelo) pueden determinar si una respuesta cumple criterios predefinidos, pero solo las personas usuarias pueden decir si esa respuesta realmente les sirvió. Devolver esa voz humana al proceso de evaluación es, según los tres, el verdadero trabajo pendiente.

Cada uno llegó a este problema por un camino distinto. Chuck cuenta que llegó a Microsoft AI sin saber siquiera qué era una evaluación, y que todo arrancó de una pregunta ingenua —¿por qué no vemos el producto como lo ven los usuarios?— y de un estudio sencillo: pedir a personas que compararan las respuestas de Copilot con las de otros productos de IA ante el mismo prompt y que explicaran qué les parecía bueno, malo, útil o frustrante. El resultado fue revelador: la brecha entre lo que los equipos internos consideraban una buena respuesta y lo que realmente preferían los usuarios era mucho mayor de lo esperado. Chris, por su parte, partía de una sensación difusa de que algo no encajaba entre un producto y otro, entre un modelo y otro, y sospechaba que las herramientas clásicas de investigación UX podían ayudar a explicar esa ambigüedad. Wendy lo vivió desde dentro del proceso de construcción: todo equipo que crea IA arrastra supuestos sobre cómo debe ser una buena respuesta —su tono, su forma, su personalidad—, supuestos que las conversaciones cualitativas con usuarios reales desmontaban una y otra vez. La calidad dependía del contexto del usuario y del objetivo real detrás del prompt, que casi nunca queda explícito en el propio prompt; contenido que el equipo habría descartado como fuera de tema resultaba a veces ser la parte más útil de la respuesta; una frase concreta, o una referencia a algo dicho antes en la conversación, podía cambiar por completo el registro emocional del usuario. Por eso el trabajo se convirtió en definir con precisión qué es "bueno", pero partiendo del contexto humano y no de las creencias previas de quienes construyen el producto.

Si evaluar es medir calidad, la parte difícil es decidir qué dimensiones de esa calidad hay que medir y, sobre todo, cuáles no puede juzgar una máquina. Chris extrae sus dimensiones de esas mismas conversaciones cualitativas, prestando atención no solo a lo que la gente dice que le importa, sino a los valores subyacentes que se leen entre líneas. Una constante que aparece una y otra vez: aunque los usuarios quieren que la IA les ahorre tiempo al crear documentos, les preocupa profundamente perder su propio punto de vista y acabar produciendo "trabajos genéricos". Chris suele terminar con entre cinco y ocho dimensiones —nunca controles de calidad genéricos— y prioriza la evaluación humana precisamente para aquello que solo una persona puede juzgar. Pone como ejemplo la precisión factual: un modelo puede comprobar mecánicamente si una afirmación es correcta, pero solo un usuario puede decir si, en el contexto de la estrategia y la filosofía de su empresa, esa afirmación es realmente relevante. Como resume él mismo, se puede tener una IA juzgando la precisión factual de otra IA, pero no se puede tener una IA juzgando si algo importa de verdad a una persona en el mundo real; casi por definición, eso no es posible.

Para Wendy, el trabajo no termina en la propia evaluación. Una vez recogidos los datos, su equipo los convierte en "golden data sets": ejemplos concretos que anclan qué aspecto tiene una buena y una mala respuesta, y que después sirven de semilla para conjuntos mucho más amplios evaluados por máquinas. Igual de importante, dice, fue construir un vocabulario compartido: una taxonomía de "patrones de pérdida" (loss patterns). Calificar una respuesta de "genérica" o "superficial" puede ser acertado, pero no sirve como lenguaje común entre equipos de ciencia de datos, ingeniería y producto. Cuando cada patrón nombrado significa lo mismo para todos, se convierte en una fuerza unificadora enorme. Con las evaluaciones bien construidas, la investigación de UX no se limita a entregar hallazgos: permanece en el bucle, como puente hacia el usuario, a través de la iteración de prompts, la construcción de conjuntos de datos y el diseño mismo de las evaluaciones.

Preguntados por si los investigadores aportan algo que los científicos de datos no pueden aportar, los tres respondieron que sí, aunque por razones distintas. Chuck lo plantea como una voz ausente más que como una reivindicación gremial: ninguna disciplina debería poseer o liderar en solitario las evaluaciones, porque es un esfuerzo inherentemente multidisciplinar; pero muchos equipos de IA construyen sus marcos apoyándose en "LLM como juez" o en anotadores expertos, y lo que de verdad falta es la voz del usuario. Los investigadores aportan además la capacidad de medición necesaria para convertir conceptos subjetivos como la confianza, la utilidad o la inteligencia percibida en señales que los equipos puedan evaluar de verdad. Chris coincidió "al cien por cien": no hay nada mágico en ser investigador como persona, un científico de datos podría hacer este trabajo; lo distinto es el método. Las evaluaciones centradas en el humano incorporan, según él, todo lo que nos hace humanos: las imperfecciones, las inconsistencias. Su ejemplo favorito es pedir a los propios usuarios que escriban sus prompts, porque la mayoría de la gente no sabe prompear bien —está cansada, ocupada, distraída— y omite contexto relevante. Si se generan prompts perfectos con otra IA y se evalúa sobre ellos, se pierde la realidad de cómo interactúan las personas con la IA; la única forma de cerrar la brecha entre lo que el usuario escribió en la caja de texto y lo que en realidad tenía en la cabeza es preguntar sistemáticamente a personas reales que usan el producto. Wendy señaló un riesgo distinto: en el afán de rigor, los equipos tienden a sobre-sistematizar —turnos únicos, jueces fijos, el mismo conjunto controlado de consultas— y con ello diluyen el tipo de aprendizaje que podrían obtener, porque pierden el porqué humano detrás de los datos. Su solución, tomada directamente de la práctica investigadora, es tratar la conversación entera como estímulo de estudio: pensar en una conversación como un prototipo o un concepto, diseccionarla en sus componentes y dejar que eso guíe el aprendizaje. De ahí nacieron las evaluaciones multiturno de su equipo, en las que las personas interactúan con la IA y evalúan todo el intercambio, no una respuesta aislada.

Sobre si el campo converge hacia un enfoque común, los tres coincidieron en un "un poco sí, un poco no", con una advertencia compartida sobre la caducidad de cualquier marco. Chuck ve todavía a muchos equipos construyendo sus propios marcos por separado, pero percibe el nacimiento de una ciencia de la medición en la intersección entre evaluación de IA, investigación de UX y psicometría, centrada en entender de forma sistemática cómo las personas perciben, experimentan y extraen valor de la IA. Chris lo describe como buenas prácticas y puntos de referencia que efectivamente emergen, pero que nunca se quedan quietos: que una evaluación fuera útil hace seis meses no significa que siga siendo relevante hoy, porque la frontera tecnológica avanza y las expectativas de los usuarios avanzan con ella. Wendy fue más tajante sobre la vida útil de estos marcos: se quedan obsoletos en apenas tres meses porque el gusto de la gente por la IA ya ha evolucionado para entonces. La convergencia que de verdad merece la pena perseguir, concluyen, no es un sistema fijo —cualquier sistema quedará desfasado el próximo trimestre—, sino la práctica de mantenerse calibrado con hacia dónde se dirige el gusto del usuario. Esto se aplica también a la propia taxonomía de Wendy: las definiciones de patrones de pérdida se revisan y se añaden nuevas a medida que cambian las expectativas, para que el lenguaje compartido siga vigente en lugar de convertirse en otro artefacto que describe los problemas del trimestre pasado.

Un tema recurrente en la conversación es que "evaluar la IA" es en realidad varios problemas distintos bajo un mismo nombre. Chuck traza la distinción más nítida: evaluar un modelo no es lo mismo que evaluar la experiencia de producto completa en la que ese modelo se inserta. Lo segundo es mucho más difícil, explica, por la cantidad de variables de confusión que entran en juego: los elementos visuales alrededor de la respuesta, el proceso de incorporación (onboarding), otras funciones del producto, el flujo de varias etapas del que el modelo es solo una parte. Los flujos de trabajo agénticos lo complican todavía más, porque el sector todavía no se ha puesto de acuerdo sobre cómo evaluar correctamente todo ese proceso de principio a fin, y algunas etapas que el usuario nunca llega a ver igualmente condicionan la experiencia final. Evaluar el modelo en solitario es más manejable y da resultados más accionables; evaluar la experiencia completa merece un enfoque mucho más cuidadoso, con diseños de estudio capaces de aislar qué está causando realmente un problema. Chris añadió una tendencia de fondo que está cambiando cómo se evalúan las experiencias: a medida que la IA se incorpora a más y más productos, su naturaleza probabilística hace que la diversidad de experiencias que puede tener la gente se dispare de forma exponencial. Evaluar la amplitud y la profundidad de esas experiencias resulta clave para entender por qué se mueven métricas como la retención o el compromiso; y se muestra optimista sobre el papel de la investigación de UX, porque entender por qué la gente usa realmente algo es el núcleo mismo de esa disciplina, y cuanta más diversidad de experiencias exista, más preguntas de ese tipo habrá que responder. Para Wendy, la distinción se traduce en para qué sirve, en el fondo, una evaluación: puntuar una respuesta dice si esa respuesta concreta fue buena; los mismos datos, leídos de otra manera, dicen qué intentaba hacer realmente la persona, y ahí es donde están las ideas de producto. A veces el usuario solo quiere una respuesta rápida y nada más; otras veces está lidiando con una situación difícil de su vida; otras, solo intenta desbloquear un paso dentro de un flujo de trabajo complicado. Son trabajos distintos con definiciones de éxito distintas, y verlos reflejados en los datos genera ideas nuevas sobre qué debería ser el producto, no solo ajustes cosméticos a nivel de respuesta.

El artículo cierra señalando que, desde tres perspectivas muy distintas dentro de Microsoft AI, aparece siempre la misma figura central: el usuario, cuya respuesta a la pregunta de qué es "genuinamente bueno" sigue evolucionando al mismo ritmo que la propia tecnología. Se anuncia además que se trata de una entrega de una serie de Microsoft Design sobre cómo distintos equipos están rediseñando su forma de trabajar en torno a la IA, con una próxima entrega centrada en otro grupo de investigadores y otro rincón de esta práctica en plena transformación.