METR evalúa que Anthropic acelera ~2x su I+D en IA, pero con la mayoría de las pruebas censuradas

Aviso previo: el contenido recibido es una versión parcial del informe de METR (se corta en los apéndices de transparencia del proceso). Este resumen se basa únicamente en lo que aparece en ese texto y no incluye el informe completo ni sus apéndices.

METR, organización de evaluación independiente, publicó el 5 de noviembre de 2026 una evaluación de acceso elevado sobre en qué medida la IA está acelerando la propia I+D de IA en Anthropic. El trabajo se realizó entre el 12 de agosto y el 29 de octubre de 2026. Participó personal de METR equivalente a 2,5 personas a tiempo completo durante once semanas. Anthropic dio acceso a datos internos sobre su proceso de I+D: métricas de preentrenamiento y aprendizaje por refuerzo (RL), cómputo de entrenamiento por dominio, resultados de benchmarks de modelos internos, análisis de aceleración (speedup), previsiones de métricas de un modelo futuro y entrevistas con personal.

Una advertencia central del propio informe es la redacción. Anthropic tuvo derecho a censurar cualquier información no pública, y según METR eliminó la mayoría de la evidencia que ellos consideraban más informativa. Anthropic justificó los recortes como orientados a eliminar información confidencial que pudiera acelerar a otros desarrolladores de IA. METR reconoce que parte de la evidencia censurada admitía varias interpretaciones plausibles y que tanto sus investigadores como los de Anthropic tienen una incertidumbre considerable sobre cómo sintetizarla. Por ello admite que el informe no logra «transparencia sobre la evidencia» y que el público debe confiar en el criterio de METR más de lo deseable. METR conservó el derecho a revelar que hubo censura y si las conclusiones dependían de material censurado.

Conclusión principal: a octubre de 2026, Anthropic probablemente mejora las capacidades de sus modelos en tareas bien especificadas a un ritmo de aproximadamente el doble del que tuvo entre marzo de 2024 y octubre de 2025. La incertidumbre es alta: METR no se sorprendería si la aceleración real estuviera cerca de 1,3x o de 3x. Además, hay incertidumbre adicional sobre cómo se traslada esa aceleración a tareas más amplias y peor definidas.

La medida cuantitativa clave es AECI, la versión de Anthropic del Epoch Capabilities Index. Desde octubre de 2025, las puntuaciones de los modelos de Anthropic crecen a 1,9 veces el ritmo previo (intervalo de confianza del 95 %: 1,5–2,8x). Dicho de otro modo, en el último año habría logrado tanto progreso en benchmarks como entre octubre de 2023 y octubre de 2025 (aproximadamente, de Claude 2.1 a Sonnet 4.5). Esta cifra supera el 1,7x citado en la ficha de sistema de Haiku 5.5, principalmente porque METR incluyó datos de modelos más nuevos sin publicar. Los análisis de robustez dan aceleraciones entre 1,1x y 2,9x, y METR se sorprendería de que la verdadera evolución mostrara ausencia de aceleración o más de 3x. El propio equipo advierte de que esta cifra podría reflejar sobreajuste a la distribución de los benchmarks o ser un artefacto de la metodología AECI, y de que los datos son escasos y van por detrás de la aceleración real de la investigación.

Sobre la atribución a la IA: METR determinó con confianza que la aceleración no se debe a una aceleración en el crecimiento del cómputo de entrenamiento, aunque los detalles de esa evidencia fueron censurados. Más allá de eso, no hubo consenso entre el personal de Anthropic ni evidencia decisiva. La estimación subjetiva de METR es que la aceleración de finales de 2025 estuvo probablemente influida por factores ajenos a la IA, mientras que una mayoría (quizá en torno al 80 %) de la aceleración actual se debe a la IA, con incertidumbre sustancial. Creen que la contribución de la IA ha ganado peso con el tiempo. Las estimaciones detalladas de efectos acumulados e instantáneos en las distintas etapas del entrenamiento fueron censuradas.

Las entrevistas y encuestas son coherentes con que el uso de IA duplique el ritmo de progreso. Los investigadores dieron un rango amplio de estimaciones, centrado en una aceleración de 2x. Además, encuestas internas en Slack mostraron mejoras de productividad autodeclaradas crecientes, con niveles muy altos (hasta 12x en octubre de 2026). METR considera esta evidencia muy laxa, porque son respuestas poco meditadas, y subraya que el speedup individual no equivale a aceleración del progreso global: sostener un ritmo de crecimiento ante rendimientos decrecientes exige un crecimiento similar de los insumos, y lo relevante es el cambio en la tasa de crecimiento, no el nivel absoluto.

En cuanto a la autonomía, a METR le dijeron que la I+D se acelera sobre todo mediante asistencia de la IA y no mediante contribuciones totalmente autónomas, y que la IA aún no hace aportaciones muy significativas y autónomas a las partes más importantes del entrenamiento. Sin embargo, los investigadores describieron «señales de vida» de que tales contribuciones podrían llegar pronto, con madurez muy variable según el área.

Respecto a los cuellos de botella, METR no vio evidencia de limitaciones significativas en progreso algorítmico, cómputo de entrenamiento, cómputo de experimentos o datos que vayan a actuar en los próximos 12 meses. Pero su comprensión cambió varias veces a medida que recibían información más detallada, así que no tienen confianza en esa valoración, y Anthropic censuró el análisis de varios cuellos de botella concretos. De ahí concluyen que existe un riesgo significativo de que más progreso en capacidades lleve a una aceleración aún mayor durante el próximo año. También revisaron métricas internas de preentrenamiento, RL, utilización de cómputo, eficiencia de inferencia y de datos; esa evidencia, difícil de interpretar y en parte indicativa de una aceleración superior a 2x y creciente, fue su mayor fuente de incertidumbre.

Limitaciones reconocidas. METR podría estar subestimando la aceleración si no dio suficiente peso a que algunas tasas de crecimiento han aumentado aún más recientemente, a que una mayor automatización de tareas de I+D acelere más el progreso, o a que AECI haya infravalorado a veces el impacto en el mundo real. Podría sobrestimarla si no ponderó bien los factores no ligados a la IA, el foco de AECI en tareas verificables, o las razones por las que el crecimiento temprano de Anthropic (2023–2025) fue inusualmente bajo.

Detalles del proceso. Anthropic incluye la aceleración de la I+D de IA como indicador de riesgo clave en su Política de Escalado Responsable (RSP), pero METR dice no haberse centrado en esos umbrales sino en una visión holística. El compromiso es distinto de la evaluación anunciada por Anthropic el 15 de octubre. METR también revisó la sección de I+D de IA del Informe de Riesgos de agosto de 2026 de Anthropic, que publica por separado. Anthropic podía aprobar o rechazar unilateralmente las peticiones de datos de METR; en la práctica se negoció hacia datos informativos, no extremadamente sensibles y fáciles de compartir, aunque METR dice que el acceso superó sus expectativas. No se solicitó ni recibió acceso para muestrear modelos no públicos, ni fue un acceso pleno «como empleado». METR trabajó en dispositivos de Anthropic por seguridad, usó tokens gratuitos aportados por Anthropic principalmente para análisis y visualización de datos asistidos por IA, y afirma que, como es habitual, no aceptó pago. El texto recibido se interrumpe antes de la divulgación de conflictos de interés y del detalle de la tabla de evidencias censuradas, por lo que no podemos describirlos.