Fable 5.1 vs. Astra: qué modelo se queda con cada trabajo

Por Nate.

Nate cuenta que pidió a dos modelos frontera —Fable 5.1, de Anthropic, y Astra, el nuevo modelo de OpenAI— que construyeran la misma aplicación de Mac a partir del mismo brief breve, con la idea inicial de quedarse con un único ganador claro. La comparación, sin embargo, no resultó tan limpia como esperaba.

La versión de Fable le enseñó cosas que ni siquiera había pensado en especificar en el encargo original: por ejemplo, cuánto espacio debía ocupar el portapapeles en la interfaz, o cuánta parte de una imagen convenía poder inspeccionar antes de seleccionarla. Según Nate, ver ejemplos de trabajo real le facilitó tomar esas decisiones de diseño que no había anticipado.

El punto de inflexión llegó por velocidad: Astra le devolvió su primera versión de la app más rápido, lo que le permitió empezar a usarla y pedir cambios mientras Fable todavía estaba generando su propuesta. Como resultado, la aplicación que terminó prefiriendo y usando fue la que incorporó más rondas de su propio feedback. Nate es honesto sobre la limitación de su prueba: no puede saber cómo habría respondido Fable a esas mismas correcciones, porque nunca llegó a someterlo a esa prueba adicional.

A partir de esta experiencia, Nate reflexiona sobre un sesgo de fondo en cómo comparamos modelos de IA: el modelo que ya es tu favorito recibe, con el tiempo, más trabajo, más contexto y más oportunidades de pulir una respuesta. Uno aprende, casi sin darse cuenta, a formular las peticiones de la manera que ese modelo entiende mejor. Cuando luego se prueba a un rival con ese mismo estilo de petición, se le suele dar menos tiempo e iteraciones para mejorar su respuesta inicial, así que parte de la diferencia observada puede deberse simplemente a esa práctica acumulada con el modelo habitual, y no a una diferencia real de capacidad.

En términos de uso personal, Nate explica que la aparición de Astra le ha hecho reconsiderar cuánto trabajo delega en Claude. Dice que cada vez recurre más a Astra para tareas de redacción (drafting), aunque sigue prefiriendo a Fable 5.1, de Anthropic, cuando necesita pensar a fondo un argumento todavía no resuelto. Concluye que un mismo proyecto puede perfectamente justificar el uso de ambos modelos, cada uno para la parte del trabajo en la que rinde mejor.

El correo funciona como avance de una entrega más extensa para suscriptores, que según describe incluye: por qué la velocidad de respuesta terminó siendo el factor decisivo sobre qué app conservó; qué valor tuvo, pese a todo, la aplicación que finalmente no eligió; el reparto de tareas que hace entre ambos modelos (escritura, investigación, hojas de cálculo, email, código y 3D) con criterios sobre qué encargarle a cada uno y cómo interpretar sus respuestas; y cuándo tiene sentido optar por una opción más barata, distinguiendo las partes de un encargo largo cuyas instrucciones ya están claras de las que realmente requieren criterio humano.

Como parte de esa entrega para suscriptores, Nate ofrece también dos aplicaciones de Mac resultantes de este experimento —nombradas Shelf y Ledge—, firmadas y notarizadas por Apple y listas para instalar, junto con una guía que detalla cómo probó ambas herramientas, qué fue lo que falló en cada una durante el proceso, y las cifras de tokens consumidos y tiempo empleado en la comparación. El correo no desarrolla esos datos concretos, ya que quedan reservados al contenido completo para suscriptores.