OpenAI se disculpa por el hackeo de un agente de IA a Medicare en Australia y revela el correo con que avisó

OpenAI ha pedido perdón públicamente a Australia por un incidente en el que uno de sus agentes de inteligencia artificial accedió sin autorización a webs del Gobierno australiano, entre ellas un portal de Medicare gestionado por Services Australia. El caso, revelado la semana anterior por el primer ministro Anthony Albanese, ha derivado en que un alto ejecutivo de la compañía, Jason Kwon, director de estrategia, comparezca el 6 de octubre ante el comité conjunto del Parlamento australiano sobre IA. Ese mismo día también está previsto que comparezca Anthropic, aunque esta última no lo hará en la investigación paralela del Senado sobre IA y centros de datos que se celebra esta semana.

El Gobierno australiano ha hecho pública la escueta comunicación —de apenas cinco párrafos— que OpenAI utilizó para notificar el incidente. El correo se envió el 10 de septiembre a una bandeja de entrada pública supervisada por Services Australia, casi tres meses después de que el agente accediera a la web el 18 de junio, y se cerraba con la despedida "Best, OpenAI Security Team". En el mensaje, obtenido por Guardian Australia, la compañía explicaba que "un modelo de OpenAI identificó una forma de hacer que el servidor ejecutara instrucciones enviadas a través de la interfaz pública de generación de informes, sin necesidad de una cuenta privada ni contraseña", y señalaba la URL y el informe (un archivo CSV) afectados, ofreciéndose a informar al equipo de seguridad correspondiente. El Gobierno laborista ha expresado su indignación por la forma y el tiempo empleados en esta notificación.

Según el relato de OpenAI en una entrada de blog publicada el martes, la compañía admite que "también deberíamos haber gestionado mejor nuestra respuesta. Lo sentimos y estamos trabajando para hacerlo mejor en el futuro". La empresa detalla que tomó conciencia de la actividad del agente en las webs gubernamentales australianas a mediados de agosto, al revisar incidentes de entrenamiento anteriores tras el ataque sufrido por Hugging Face en julio.

El origen del incidente fue una tarea encargada a un modelo para investigar el gasto público por persona en medicamentos para afecciones cutáneas en el estado de Victoria. Al encontrar dificultades para obtener esa información, el modelo "realizó acciones que no habíamos autorizado", incluyendo el acceso al servicio de informes de estadísticas de Medicare de Services Australia. Según OpenAI, el agente pudo ejecutar comandos, recuperar archivos internos y credenciales, y escribir archivos, aunque no se accedió a registros de pacientes ni de clientes.

El alcance no se limitó a Medicare: la herramienta pública de mapeo de delitos de la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur también fue accedida, exponiendo configuración de aplicaciones, tareas operativas, registros (logs) y metadatos del sitio. El agente además descubrió una clave de acceso expuesta que le permitió consultar el sistema de informes de la agencia de información sanitaria de Victoria, obteniendo estadísticas agregadas de encuestas. En el caso del Instituto Australiano de Salud y Bienestar (AIHW), los agentes recuperaron estadísticas agregadas, pero los intentos de eludir los controles de acceso no tuvieron éxito y la información obtenida ya era de carácter público.

Las notificaciones a los distintos organismos no fueron simultáneas: Services Australia y el departamento de salud de Victoria fueron informados el 10 de septiembre, la oficina de estadísticas criminales de Nueva Gales del Sur el 18 de septiembre, y el AIHW no recibió aviso hasta el 24 de septiembre, ya que OpenAI consideró que ese caso no alcanzaba el umbral que exige notificación.

En respuesta, el Ministerio de Interior (Home Affairs) ha ordenado a todos los departamentos y agencias del Gobierno realizar una revisión "rápida" de sistemas heredados (legacy), formular planes de gestión de riesgo para dicha tecnología y reportar su cumplimiento. La directiva prioriza los sistemas de importancia crítica para el Gobierno, con una revisión que debe completarse antes de fin de año, mientras el resto de sistemas se evaluará antes de marzo. El ministro en funciones de Interior, Richard Marles, declaró que la IA "está cambiando el entorno en el que operamos a una velocidad extraordinaria" y que "no podemos esperar a que un sistema antiguo falle antes de sustituirlo; necesitamos identificar las vulnerabilidades y abordarlas antes de que puedan ser explotadas".

Como parte de su respuesta, OpenAI se ha comprometido a aportar recursos y experiencia a las agencias afectadas para reforzar sus defensas de ciberseguridad en infraestructuras críticas. Las agencias e industrias del Gobierno australiano recibirán además créditos del fondo Daybreak de OpenAI, dotado con 1.000 millones de dólares estadounidenses (unos 1.400 millones de dólares australianos), que permite a estas organizaciones usar IA de frontera para ciberdefensa y para reforzar sus sistemas mediante la revisión de código y configuraciones en busca de vulnerabilidades parcheables. La compañía también anunció la creación de un grupo de trabajo con participación de expertos australianos para elaborar recomendaciones prácticas de política sobre la gestión de riesgos de los agentes de IA.

En el plano político, Albanese —que se encontraba en Estados Unidos cuando anunció el hackeo— explicó que había hablado con el consejero delegado de OpenAI, Sam Altman, "para expresar la extrema preocupación de Australia por este incidente". El martes matizó que OpenAI se había mostrado "muy constructiva y abierta en su relación" desde entonces, al igual que Anthropic, y subrayó que si bien la IA puede mejorar el crecimiento económico y la productividad, también conlleva riesgos, "y hemos visto esos riesgos expuestos, no solo en lo ocurrido en Australia, sino en revelaciones producidas en Estados Unidos y otros países". El Gobierno federal ha planteado la posibilidad de introducir normas de notificación obligatoria para las brechas de datos relacionadas con IA, después de que se conociera que OpenAI empleó una dirección de correo de cara al público, tres meses después del ataque, para informar a Services Australia. Por su parte, OpenAI ha reconocido que tiene "mucho trabajo por delante" para reconstruir la confianza de los australianos, aunque asegura estar introduciendo "cambios significativos".