SkillWire propone medir si una 'skill' de agente de código sirve de verdad, no solo cuántas estrellas tiene

Por Hacker News (SkillWire) · 30 de octubre de 2026.

SkillWire es un catálogo buscable de «skills» para agentes de programación, presentado como un «Show HN» en Hacker News. Una skill es una carpeta de instrucciones y archivos de apoyo (con un SKILL.md) que un agente como Codex o Claude Code puede cargar para una tarea concreta. En el momento de publicar, la entrada de Hacker News tenía 2 puntos y ningún comentario: es un proyecto muy temprano, y conviene tratarlo así.

Según la propia web, el catálogo permite filtrar por categoría, entorno de ejecución (harness) y evidencia de evaluación. Los recuentos de instalaciones proceden de skills.sh y las estrellas son las del repositorio de origen. Permite armar una «pila» de hasta diez carpetas públicas y descargarla en un ZIP con los bytes originales, hashes de archivos y las líneas que hayan activado advertencias. Según el sitio, SkillWire no ejecuta los archivos descargados. Además, publica «Research picks» (selección del 28 de octubre de 2026) que, afirma, no se ordenan por estrellas ni por pago.

Lo más distintivo es el flujo de prueba pareada. El usuario elige una skill, congela la tarea, el evaluador, los ajustes y el orden de los brazos, y ejecuta dos veces el mismo proyecto desechable en local: con la skill y sin ella. Después juzga las salidas a ciegas (A/B, con empate o «no puedo juzgar» como resultados válidos) antes de revelar qué brazo tenía la skill. Todo corre con la suscripción del usuario; según el sitio, no usa claves de API ni servicio de evaluación alojado.

La web también documenta sus propios resultados, y aquí está la sustancia. Según SkillWire, en una primera familia de diez pares con una skill de TDD (desarrollo guiado por pruebas) fijada, la tarea se superó 8 de 10 veces con la skill y 7 de 10 sin ella. El cuerpo de la skill se vio en una sola traza de herramienta; en nueve lecturas no pudo observarse, así que el uso interno es desconocido. Además, la referencia congelada aceptaba un carácter DEL ASCII donde la tarea pedía rechazarlo, de modo que el propio sitio califica esa familia de discutida. Cita también un benchmark anterior (SkillsBench) donde la skill se abrió solo en 3 de 8 tareas y no se detectó mejora distinta del ruido. Son datos de la propia web, sin verificar de forma independiente, y la propia web advierte de que no deben combinarse ni leerse como prueba general.

**Nuestra lectura.** La tesis: el ecosistema de skills tiene un problema de medición antes que de oferta. Hoy se elige por estrellas e instalaciones, que miden popularidad, no utilidad. Que un catálogo admita abiertamente que su 8 de 10 frente a 7 de 10 no constituye una afirmación de beneficio es poco habitual y es exactamente la actitud que pedimos al evaluar modelos: medir antes que creer el marketing.

Hay también un ángulo de seguridad. Una skill puede incluir scripts que se ejecutan con los permisos del agente; por eso es sensato que SkillWire recomiende revisar licencia y advertencias y probar en un proyecto desechable sin credenciales. Enlaza con una idea que defendemos: según los agentes ganan capacidad de actuar, la confianza (procedencia, permisos, auditoría) pasa a ser tan importante como el modelo.

Límites claros: una sola tarea por prueba no generaliza, el proyecto es nuevo y sin tracción visible, y el catálogo mostraba «0 entradas» en la captura que analizamos, probablemente por la carga dinámica, así que no podemos valorar su cobertura real. En general, si estas pruebas pareadas locales se popularizan, las skills podrían pasar de ser folclore de repositorio a componentes con evidencia. Es una pieza pequeña de la transición hacia agentes fiables: poco vistosa, pero de las que hacen que la abundancia de software que prometemos a largo plazo llegue con garantías.