Skillgrade y el momento en que las 'habilidades' de los agentes de IA empiezan a necesitar tests unitarios

Por GitHub · 10 de julio de 2026.

Minko Gechev, ingeniero conocido en el ecosistema Angular de Google, ha publicado Skillgrade, una herramienta de código abierto (licencia MIT, ya con varios cientos de estrellas) que resuelve un problema muy concreto: cómo saber si un agente de IA realmente descubre y usa correctamente una 'Agent Skill' —el archivo SKILL.md y los recursos asociados que Claude Code, Gemini CLI, Codex u otros agentes cargan para especializarse en una tarea—. Hasta ahora, comprobar que una skill funciona era un ejercicio manual y poco riguroso: se escribía la instrucción, se probaba a mano con el agente de turno y se confiaba en que siguiera funcionando igual la próxima vez.

Skillgrade convierte eso en un proceso reproducible. Define tareas en un archivo eval.yaml, las ejecuta en un sandbox (Docker por defecto, o local para entornos de CI) contra el agente que se elija —Gemini, Claude, Codex, OpenCode o cualquier CLI propia vía un adaptador genérico—, y puntúa el resultado con dos tipos de 'graders': uno determinista, que ejecuta un script y comprueba hechos objetivos (¿existe el archivo?, ¿el contenido es correcto?), y otro basado en un juez LLM que evalúa la transcripción de la sesión contra una rúbrica cualitativa (¿siguió el flujo de trabajo esperado?, ¿fue eficiente?). Ambas puntuaciones se combinan con pesos configurables en una nota final, y la herramienta ofrece presets —smoke, reliable, regression— según cuántos intentos (trials) se quieran correr para estimar la tasa de acierto. También se integra en pipelines de CI, fallando la build si la tasa de éxito cae por debajo de un umbral.

El dato de contexto importa tanto como la herramienta en sí: apenas un punto y cero comentarios en Hacker News. No es una noticia de gran repercusión, y conviene no inflarla. Pero es exactamente el tipo de señal temprana que conviene rastrear, porque apunta a una tendencia de fondo que ya veníamos anotando en Zendoric: a medida que los agentes dejan de ser demos y se convierten en piezas de producción —con skills, plugins, MCP, permisos y presupuestos de tokens—, emerge alrededor de ellos una capa de ingeniería de fiabilidad que hasta ahora no existía. Primero llegó el control de gasto y permisos (FinOps de agentes); ahora llega el testing. Es el mismo patrón que vivió el software convencional hace veinte años: cuando una pieza se vuelve crítica, deja de bastar con que 'funcione en mi máquina' y empieza a exigir suites de pruebas, sandboxes reproducibles e integración continua.

Nuestra lectura es que esto es una buena noticia, aunque modesta. Las 'skills' se están consolidando como la unidad de empaquetado con la que los agentes adquieren capacidades específicas —una especie de plugin para LLMs—, y un ecosistema de plugins sin manera de verificar que siguen funcionando tras cada actualización de modelo es un ecosistema frágil. Herramientas como Skillgrade reducen ese riesgo: permiten detectar regresiones cuando cambia de versión el modelo subyacente, comparar qué agente ejecuta mejor una skill concreta, y sustituir la fe ciega en el prompt por evidencia medible. Es la misma filosofía que aplicamos en nuestros propios índices de calidad frente al marketing de los proveedores: medir, no dar por hecho.

Dicho esto, conviene no perder de vista la limitación estructural: una parte del sistema de calificación depende de otro LLM haciendo de juez, lo que traslada el problema de fiabilidad un nivel más arriba —¿quién audita al evaluador?—. Es un límite conocido de toda la industria de evals, no un defecto exclusivo de esta herramienta, y probablemente seguirá resolviéndose a base de graders deterministas cuando sea posible y rúbricas más estrictas cuando no. A corto plazo, herramientas así seguirán siendo nicho, usadas por equipos que ya construyen agentes en serio; a medio plazo, si la adopción de skills como formato estándar continúa creciendo -como parece- esta capa de testing dejará de ser opcional. Y ese es, en el fondo, el tipo de trabajo poco vistoso -sandboxes, rúbricas, CI- que separa un ecosistema de agentes que promete de uno en el que de verdad se puede confiar.