Anastasios Angelopoulos (Arena) sobre Chatbot Arena, evaluación de IA y el futuro de los rankings de modelos

Por TheSequence.

Este número de la serie de entrevistas The Sequence Chat recoge una conversación con Anastasios Angelopoulos, cofundador y CEO de Arena, la compañía que evolucionó a partir del proyecto de investigación Chatbot Arena. Angelopoulos explica que su trayectoria en IA ha sido no lineal: empezó trabajando en la intersección de IA y medicina, donde llegó a la conclusión de que uno de los problemas más importantes para desplegar IA en el sector médico es la fiabilidad. Eso le llevó a cursar un doctorado en Berkeley centrado en los fundamentos teóricos de la fiabilidad de la IA, proceso durante el cual participó en varios proyectos, entre ellos Chatbot Arena, que terminó convirtiéndose en Arena. Según describe, ahora están construyendo una empresa de evaluación de IA que mide el rendimiento y la fiabilidad de la IA en flujos de trabajo reales de todos los sectores económicamente relevantes.

Sobre el origen de Chatbot Arena, Angelopoulos cuenta que nació como un proyecto paralelo dentro del Berkeley SkyLab. La intención original era reunir evidencia de que el modelo LLM open source de Berkeley, Vicuna, era mejor que modelos competidores, incluido uno de Stanford. Aunque esos modelos rendían de forma similar en benchmarks tradicionales, al chatear con ellos quedaba claro que Vicuna era superior, lo que dio lugar al 'Battle Mode' y a la idea de calificación por preferencia humana en comparaciones por pares (pairwise). Angelopoulos señala que hoy la plataforma ha ido mucho más allá de las preferencias humanas: clasifica a los modelos también por tasas de finalización de tareas, tasas de alucinación y otras métricas. Lo que hace única a Arena, dice, es su capacidad de ordenar modelos según su utilidad real para personas reales durante flujos de trabajo reales, apoyándose en una base de decenas de millones de visitantes mensuales.

Preguntado sobre Arena-Rank y las asunciones estadísticas detrás del pipeline de clasificación, explica que las puntuaciones en Arena representan la utilidad de los modelos para esa base de usuarios. Bajo las asunciones estadísticas estándar que emplean, cuando dos intervalos de confianza se solapan, eso indica que los dos modelos son estadísticamente indistinguibles a partir de los datos disponibles; es la clave para interpretar diferencias pequeñas de puntuación entre modelos.

Sobre cómo combinar preferencia humana y veracidad sin esconder un juicio de valor en la ponderación, Angelopoulos sostiene que no existe un método universal para clasificar modelos. La metodología de Arena adopta una postura centrada en las personas, tratando de premiar a los modelos que benefician a los usuarios. La preferencia humana es un aspecto importante de ese beneficio, pero en Arena controlan factores como el estilo y la verbosidad de las respuestas, e incorporan la factualidad como otra señal más que puede mejorar la utilidad de los modelos para las personas.

Respecto a la reciente versión de Agent Arena, que introduce categorías de tareas, coste por tarea y una frontera de rendimiento-coste, Angelopoulos considera que, dado que los modelos difieren en su consumo de tokens por tarea, medir el coste por tarea completada tiende a ser más informativo que el precio por token. Afirma que su metodología aleatorizada garantiza que el leaderboard se mantenga justo entre tareas de distinta dificultad, ya que cada modelo recibe, en promedio, tareas de la misma dificultad.

Sobre el riesgo de que los laboratorios optimicen directamente para escalar en Arena (la ley de Goodhart), responde que el propósito de Arena es medir la utilidad real de la IA para las personas, y que al hacerlo se incentiva a los laboratorios a desarrollar modelos que beneficien a la humanidad. Se declara satisfecho de que los laboratorios intenten escalar en el leaderboard, porque eso representa la utilidad real que millones de usuarios experimentan en Arena; su filosofía es que si al escalar en el ranking los laboratorios producen modelos más útiles para la comunidad global y diversa de Arena, eso es positivo para el mundo.

Sobre AutoEval, el sistema que otorga a los modelos nuevos una puntuación desde el primer día antes de que lleguen suficientes votos humanos, indica que recalibran continuamente el modelo de AutoEval de forma semanal para asegurar que siempre refleje las preferencias más recientes.

Preguntado sobre si la idea de un único 'mejor modelo' empieza a desmoronarse a medida que los modelos se vuelven más agénticos, multimodales y de enrutamiento dinámico, Angelopoulos adelanta que Arena va a ir mucho más allá de clasificar solo modelos: los harnesses (arneses o entornos de ejecución) y las herramientas también deberán formar parte de la conversación de clasificación, y promete más novedades de Arena sobre estos temas próximamente.

Sobre la transición de Chatbot Arena de proyecto de investigación en Berkeley a empresa que sirve a laboratorios de modelos y empresas, señala que el principal cambio ha sido disponer de muchos más recursos para cumplir su misión, sin que haya habido ningún cambio en el nivel de apertura y neutralidad de Arena: mantienen un fuerte componente de investigación académica y afirma que la ciencia sigue estando en su ADN.

Al preguntarle por los problemas más difíciles y no resueltos en la frontera de la evaluación de IA, menciona que hay muchísimos retos, desde cuestiones de ciencias sociales —como definir adecuadamente qué es la 'utilidad'— hasta cuestiones técnicas, como construir evaluaciones personalizadas que den estimaciones granulares del rendimiento de un modelo a nivel individual. Lo describe como un área de investigación rica con muchas formas de contribuir.

En la sección final, más personal, Angelopoulos ofrece una predicción deliberadamente contraria a lo que cree que pensaría el 90% de los lectores: las recientes mejoras en el rendimiento de los laboratorios chinos le hacen pensar que estos podrían terminar superando a todos los laboratorios estadounidenses dentro del próximo año, una predicción que califica de controvertida pero a la que da más de un 50% de probabilidad.

Finalmente, al preguntarle por su matemático o científico de la computación favorito, cita a Vladimir Vovk como la figura más influyente en su formación: dice haber seguido su trabajo sobre predicción conforme (conformal prediction) desde su primer año de doctorado, y que fue así, siguiendo su obra, como aprendió estadística. Menciona también a Emmanuel Candes, cuyo trabajo sobre compressed sensing le inspiró desde sus años de estudiante universitario, y se declara afortunado de haber podido interactuar con ambos en persona.