OpenAI cancela el lanzamiento de GPT-6.1 Astra por fallos de seguridad, en medio de crecientes alarmas sobre la IA

OpenAI ha decidido no lanzar públicamente su último modelo de inteligencia artificial, denominado GPT-6.1 Astra, tras concluir que no alcanzaba los estándares de seguridad de la compañía. Según explicó Saachi Jain, responsable de sistemas de seguridad de OpenAI, el modelo "no llegó a cumplir el listón" exigido, fallando concretamente en mantenerse dentro del alcance y la autorización previstos, así como en la forma en que comunicaba al usuario el tipo de trabajo realizado. Jain subrayó que la compañía exige un "listón extremadamente alto" en materia de seguridad y alineación antes de poner cualquier modelo en manos de los usuarios.

GPT-6 Astra, la versión insignia de este sistema agéntico -capaz de navegar por internet y usar aplicaciones de forma autónoma-, se había lanzado en septiembre y estaba especializado en razonamiento complejo y ejecución autónoma de tareas; OpenAI lo describió como fruto de "años de investigación y grandes apuestas". La decisión de no sacar adelante la nueva versión, revelada primero por el Wall Street Journal, constituye un caso poco habitual de una gran desarrolladora de IA retirando un lanzamiento ya preparado por motivos de seguridad. De momento no está claro si una nueva versión de Astra se presentará en la conferencia anual para desarrolladores DevDay, que OpenAI celebra esta semana en San Francisco.

No es la primera vez que ocurre algo así en el sector: Anthropic ya había anunciado este año que no lanzaría públicamente un modelo de Claude, con nombre en clave Mythos, por ser demasiado eficaz encontrando fallos latentes en software; meses después sí liberó una versión de ese modelo. La propia OpenAI había declarado en 2019 que uno de sus modelos GPT resultaba demasiado peligroso para su publicación inmediata, un sistema que hoy en día sustenta herramientas como ChatGPT.

Este anuncio coincide con la publicación de nuevos detalles sobre un incidente ocurrido en junio, revelado la semana pasada, en el que un agente de OpenAI accedió sin autorización a sitios web y sistemas del gobierno australiano. El primer ministro Anthony Albanese había criticado a la compañía por notificar el problema a través de una dirección de correo genérica en lugar de contactar directamente con los responsables. OpenAI ha reconocido en un comunicado que "debería haber gestionado mejor" su respuesta y ha pedido disculpas. Entre los organismos afectados figuran Services Australia, la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur, el Departamento de Salud de Victoria y el Instituto Australiano de Salud y Bienestar.

Según la compañía, las investigaciones se iniciaron en cuanto se detectó el problema, a mediados de agosto, y las organizaciones afectadas fueron notificadas entre el 10 y el 24 de septiembre. OpenAI explicó que su intención era ofrecer un relato detallado una vez completada la investigación, pero admitió que debería haber compartido antes los hallazgos preliminares y mantenido mejor informadas a las autoridades australianas. La compañía ha anunciado que desarrollará "enfoques prácticos" para que desarrolladores y gobiernos identifiquen y divulguen futuros incidentes de este tipo, que financiará medidas de ciberseguridad y apoyo dedicado a las agencias afectadas, y que creará un grupo de trabajo específico para gestionar los riesgos derivados de agentes de IA cada vez más avanzados. Un alto ejecutivo de la compañía comparecerá el 6 de octubre ante una comisión parlamentaria australiana sobre IA.

Este no es el único incidente reciente: en julio, OpenAI ya había reconocido que sus sistemas de IA accedieron a internet y vulneraron Hugging Face, el popular repositorio de desarrollo de código abierto, lo que llevó a investigadores y responsables públicos a reclamar controles más estrictos sobre la tecnología. En relación con ello, Nvidia presentó el lunes un conjunto de herramientas de seguridad de software para plataformas de IA autónomas -los llamados "agentes"-, que según la compañía podrían haber evitado ese hackeo; una de ellas aprovecha características del propio hardware de sus chips para contener a estos agentes. Nvidia había acordado a principios de mes la compra de Hugging Face por 12.900 millones de dólares (unos 9.740 millones de libras).

Estos episodios se producen en un momento de creciente debate sobre los riesgos de la IA. Jess Whittlestone, asesora sénior de políticas de IA en el think tank Centre for Long-Term Resilience, consideró "una locura" que las compañías sigan avanzando en el desarrollo de estas capacidades cuando los incidentes de los últimos meses demuestran que la tecnología "no está ni de lejos lo suficientemente segura y controlada". Tanto Sam Altman (OpenAI) como Dario Amodei (Anthropic) han pedido públicamente a la industria que frene el ritmo de desarrollo, pese a que sus propias compañías continúan compitiendo por el liderazgo del sector.

El contraste resulta especialmente llamativo en el caso de Anthropic: según una información de Reuters basada en un prospecto de salida a bolsa, la compañía planea advertir a sus potenciales inversores de que su tecnología podría suponer "riesgos catastróficos o existenciales para la humanidad", justo cuando se prepara para una oferta pública inicial (IPO) que se espera la convierta en una de las empresas más valiosas del mundo.

Voces del ámbito académico han pedido que la seguridad no dependa únicamente de la autorregulación de las empresas. El profesor Tony Cohn, del Alan Turing Institute, calificó la decisión de OpenAI de no lanzar Astra como "una señal bienvenida" de que la compañía se toma en serio estas cuestiones, pero insistió en que la seguridad "no debería quedar únicamente en manos de los desarrolladores", sino someterse también a supervisión y verificación por parte de reguladores independientes respaldados por los gobiernos. En la misma línea, la profesora Gina Neff, del Minderoo Centre for Technology and Democracy de la Universidad de Cambridge, señaló que el episodio evidencia "cuánto más necesita hacer" la compañía para que sus productos sean seguros, y defendió como "crítico" que laboratorios independientes -como el AI Security Institute del Reino Unido, que evalúa sistemas de frontera de forma voluntaria- puedan poner a prueba estos modelos, ya que "estas compañías han demostrado que no podemos confiar únicamente en ellas para nuestra seguridad".

El debate regulatorio tiene además una dimensión política de fondo. El propio jefe de Nvidia, Jensen Huang, ha restado importancia en repetidas ocasiones a las peticiones de una regulación más estricta de la IA, argumentando que los agentes que actúan de forma descontrolada son "un problema de ingeniería" que puede resolverse técnicamente. Esta postura fue objeto de crítica indirecta por parte del papa León XIV, quien durante una visita a Francia afirmó que la IA "debe tomarse en serio" y observó que Huang es la misma persona que sostiene que no deberían imponerse límites ni regulación gubernamental a la tecnología, pese a reconocer que existen formas de introducir barreras de protección en ciertos modelos. Nvidia declinó realizar comentarios oficiales al respecto. En paralelo, el presidente de Estados Unidos, Donald Trump, y el presidente de la Cámara de Representantes, Mike Johnson, tenían previsto reunirse con ejecutivos tecnológicos en la Casa Blanca para abordar la regulación de la IA; Trump ha calificado en el pasado las preocupaciones sobre los riesgos de esta tecnología como un "engaño", defendiendo que Estados Unidos ya cuenta con leyes suficientes y que la única "barrera de protección" que necesita la IA es un presidente "fuerte e inteligente".