Autoevaluación de 8 habilidades de AI PM: del saber al hacer, con evals, agentes, RAG y costes

El artículo, publicado en Medium por Shailesh Sharma, propone una autoevaluación de 10 minutos para product managers que aspiran a puestos de AI PM. Su tesis central es que el problema de la mayoría no es de conocimiento, sino de práctica: han leído sobre IA, pero han hecho poco. Según el autor, un certificado no muestra esa diferencia, pero una entrevista la deja ver en unos dos minutos.

El texto arranca con un ejemplo ficticio: una PM con cinco años de experiencia en una app de préstamos de Bengaluru, que ha completado tres cursos de IA y sabe explicar RAG y agentes. En la entrevista le preguntan cómo supo que una función de IA era lo bastante buena para lanzarla. Ella habla de tests A/B, pero la entrevistadora preguntaba por evals, que nunca ha escrito.

Cómo puntuarse. Cada habilidad se valora de 1 a 5: 1, nunca lo he hecho; 2, conozco la idea pero no la he aplicado; 3, lo he hecho una vez con ayuda; 4, lo hago solo en mi trabajo; 5, podría enseñarlo. La regla es puntuar lo que se ha hecho, no lo que se ha leído. Un 4 exige un trabajo que se pueda enseñar; si solo se vio un vídeo, es un 2.

Tres habilidades que el puesto actual ya entrena. El autor advierte de que, por resultar familiares, los PM suelen sobrevalorarlas. La primera es elegir problemas donde la IA encaja. La prueba es poder nombrar una idea de IA descartada por los datos, el coste o el riesgo de error; lo importante es saber cuándo no usar IA. La segunda son las métricas y experimentos de IA: para una función concreta, nombrar una métrica de calidad, una de adopción, una de negocio y un guardrail, y saber cuándo basta una evaluación offline y cuándo hace falta un test A/B. La tercera es lanzar y comunicar trabajo de IA: explicar calidad, riesgo y coste a un directivo en cinco minutos y tener un plan para cuando el modelo falle en producción, con alternativa y alguien que pueda revertir. En el ejemplo, la PM obtiene 3,3, 3,7 y 4,3 respectivamente.

Tres habilidades que añade el trabajo en IA. Aquí está, según el autor, la brecha de práctica. La primera es definir calidad y escribir evals: crear un conjunto con casos comunes, casos límite y casos «nunca» (respuestas que jamás deben darse) y tomar una decisión de lanzar o no a partir de los resultados. Sostiene que incluso los PM que conocen la IA suelen puntuar más bajo aquí, porque los evals se escriben, no se leen. La segunda es RAG y recuperación: ante una respuesta errónea de un bot RAG, saber distinguir si la recuperación trajo el fragmento equivocado o si el modelo interpretó mal el correcto, porque eso decide qué arregla el equipo. La tercera son los agentes y herramientas: haber construido o especificado un agente que use al menos una herramienta y decidir dónde necesita una verificación humana antes de actuar. En el ejemplo: 1,7, 2,3 y 2,0.

Dos habilidades que deciden si la función sobrevive a la revisión de presupuesto. El autor afirma que muchas funciones de IA funcionan en la demo y mueren en una reunión con finanzas. La primera es coste y latencia: calcular el coste por consulta a partir de los tokens y el precio por millón de tokens, y nombrar tres formas de reducirlo con el riesgo de calidad de cada una. Ilustra con un asistente de préstamos con 2 lakh (200.000) consultas diarias: una diferencia de 50 paise por consulta equivale a 30 lakh de rupias al mes. La segunda es estrategia y precios de IA: saber dónde está el foso defensivo más allá del modelo (datos, flujo de trabajo o distribución) y cómo el coste por usuario condiciona el precio. En el ejemplo, ambas obtienen 2,7.

Por qué la media engaña. Sumando todo, la PM del ejemplo saca 2,8 sobre 5, lo que parece un nivel aceptable. Pero sus tres mejores notas corresponden a lo que entrenó su antiguo puesto (comunicar, métricas, elegir problemas) y las más bajas a evals, agentes y RAG, es decir, las habilidades de construcción. Es, dice el autor, el perfil que suele tener dificultades en entrevistas: fuerte para hablar de IA, débil para hacerla. Recomienda ignorar la media, ordenar las ocho habilidades de menor a mayor y centrarse en las dos últimas.

Qué hacer esta semana. No intentar arreglar las ocho, sino dos y volver a puntuarse tras cuatro a seis semanas. Si el hueco son los evals: elegir una función de IA (propia o de uso diario, como la búsqueda de una app de comercio rápido), escribir 20 casos de prueba (comunes, límite y «nunca»), definir qué debe incluir una buena respuesta, ejecutarlos, marcar aprobado o fallado y decidir si se lanzaría. Según el autor, eso lleva de un 1 a un 3 y da una respuesta real a la pregunta de la entrevista. Si el hueco son los agentes: construir con Claude un agente de una sola herramienta (por ejemplo, uno que lea un CSV de tickets de soporte y redacte un resumen semanal), anotar cada paso que dio y decidir qué no debe hacer nunca sin preguntar. Esa última parte, afirma, es la que interesa a los entrevistadores: cualquiera hace que un agente funcione, pero el PM decide dónde debe detenerse. Si las dos notas más bajas no suben, concluye, es que se volvió a leer en lugar de construir.

Nota del editor sobre la naturaleza del texto. El artículo tiene un componente promocional claro: ofrece una hoja de puntuación gratuita con 24 afirmaciones y promociona su cohorte de pago «AI PM Builder Cohort», además de otros cursos del autor. Las puntuaciones del ejemplo son ilustrativas y el artículo no aporta datos empíricos que respalden sus afirmaciones sobre entrevistas. Aun así, el marco es práctico: ofrece criterios concretos y comprobables para distinguir conocimiento de experiencia, y su énfasis en evals, RAG, agentes y economía unitaria coincide con lo que suele exigirse hoy en roles de producto de IA.