UC San Diego crea un centro para evaluar agentes de IA con herramientas abiertas: poco dinero, pregunta clave

Por UC San Diego Today · 28 de octubre de 2026.

La Universidad de California en San Diego ha anunciado el Center for Principled Agentic Intelligence (CPAi), un centro interdisciplinar que estudiará cómo entender, evaluar y confiar en los agentes de IA, es decir, sistemas que planifican y ejecutan series de acciones para lograr un objetivo, en lugar de limitarse a responder a una petición concreta.

El centro es una alianza entre la Halıcıoğlu School of Data Science and Computing y la School of Arts and Humanities. Según la universidad, nace con 1 millón de dólares de financiación a tres años, repartidos entre sus dos líneas de investigación, más 250.000 dólares en recursos de computación en un clúster compartido. Contará con profesorado, investigadores posdoctorales, académicos visitantes y colaboradores de otras universidades y de la industria.

Trabajará sobre tres principios. Alineamiento: si un sistema se comporta como quieren sus desarrolladores y usuarios. Confianza: evidencia verificable de que funciona de forma fiable. Responsabilidad: la rendición de cuentas de quienes construyen y despliegan la IA y sus efectos en la sociedad.

La primera iniciativa, «AI Alignment and Society», está codirigida por Mikhail Belkin y Eddy Keming Chen. Según la universidad, abordará cómo evaluar el alineamiento cuando un sistema puede superar a quienes lo evalúan, cómo someter a prueba rigurosa las afirmaciones sobre seguridad y qué prácticas de entrenamiento pueden introducir más riesgos.

La segunda, «Agentic AI System Evaluation», la codirigen Tauhidur Rahman, Lily Weng, Haojian Jin y Rose Yu. Planea construir un banco de pruebas de código abierto que simule tareas del mundo real para analizar cómo y por qué falla un agente, si opera dentro de límites definidos, si su comportamiento es auditable y si rinde de forma fiable en tareas complejas de varios pasos. El objetivo declarado es que estas herramientas estén al alcance de investigadores y otras organizaciones, y no solo de las empresas que desarrollan los sistemas.

**Nuestra lectura.** La cifra es modesta: 1 millón de dólares en tres años apenas cubre un puñado de investigadores, frente a los cientos de miles de millones que mueve el cómputo de los grandes laboratorios. El centro no va a competir en capacidad ni en escala. Su valor potencial está en otro sitio: en la independencia.

Hoy gran parte de la evidencia sobre seguridad y fiabilidad de los agentes la producen las mismas compañías que los venden. Es el problema clásico del examinador que corrige su propio examen. Un banco de pruebas abierto, mantenido por una universidad, puede convertirse en un estándar de referencia que cualquier cliente, regulador o competidor pueda ejecutar. Es la misma lógica que reclamamos con la gobernanza de agentes: registros auditables y evaluadores independientes, no solo políticas y promesas.

También importa la mezcla de disciplinas. Incluir filosofía y humanidades junto a la ciencia de datos es una forma de reconocer que «alineado con qué» es tanto una pregunta de valores como técnica. Es una apuesta razonable, aunque conviene exigirle resultados concretos: sin métricas publicadas y herramientas utilizables, un centro así se queda en declaración de intenciones. Por ahora la universidad describe objetivos, no resultados.

Para el corto plazo, la pregunta que plantea el centro es incómoda y justa: ¿cómo se verifica a un sistema que puede ser más capaz que su evaluador? Si no hay respuesta antes de que los agentes asuman tareas críticas, la supervisión humana será nominal. Y de cara al largo plazo, la abundancia que prometen estos sistemas, con medicina y ciencia aceleradas, solo será sostenible si podemos fiarnos de ellos con pruebas, no por fe. Iniciativas pequeñas pero abiertas como esta son parte de la infraestructura de confianza que esa transición necesita.