Eclypsium: los pesos de un modelo de IA pueden alterarse en memoria tras superar las comprobaciones de integridad

La firma de seguridad Eclypsium publicó un informe en el que advierte de que los atacantes pueden sabotear modelos de IA manipulando la infraestructura que los sostiene, como el firmware y el software de los equipos donde se ejecutan. Según el artículo de Cybersecurity Dive, que firma Eric Geller, se trata de un área de riesgo poco considerada. Exige salvaguardas por parte de los grandes laboratorios de IA y supervisión por parte de las empresas que usan estos sistemas.

El informe sostiene que, cuando un modelo se pone en marcha, su estado en tiempo de ejecución está controlado por una jerarquía de software, firmware, controladores de memoria, procesadores de gestión y dispositivos de entrada y salida. Cada uno de esos niveles es una oportunidad para sesgar el modelo y sus resultados si un atacante logra manipularlo. Eclypsium da un ejemplo: un cambio sutil en tiempo de ejecución podría inclinar al modelo a debilitar la validación de certificados, a elegir una dependencia insegura o a generar un patrón de código inseguro concreto.

El objetivo más sencillo es la máquina anfitriona. Depende de un sistema operativo, un núcleo, controladores gráficos y otros componentes de hardware y software. Estos equipos son vulnerables al mismo malware que cualquier otro ordenador, incluidos los rootkits que se mantienen por debajo del nivel del sistema operativo accediendo al firmware del dispositivo. Los componentes de terceros abren otras vías para manipular los modelos. Entre ellos están los servicios de actualización de firmware, los agentes de orquestación de IA y el hardware de los controladores de gestión. El informe señala que comprometer el plano de gestión puede permitir modificar el firmware, cambiar los controles de aislamiento, controlar directamente los dispositivos conectados u obtener otros accesos privilegiados a la carga de trabajo.

Los fabricantes de chips usan unidades de procesamiento de datos (DPU) para encargarse de parte del trabajo que implica ejecutar un modelo de IA. Como realizan tareas de procesamiento tan importantes, también pueden ofrecer a los atacantes un modo de alterar el estado operativo del modelo. Eclypsium, que realizó esta investigación en colaboración con Nvidia, recalca que esa misma posición es lo que hace valiosa una DPU bien protegida para la monitorización y la aplicación de políticas de forma independiente.

El informe describe una demostración de una técnica de manipulación que altera el estado operativo después de que se hayan realizado las comprobaciones de seguridad tradicionales. Así consigue que el sistema dé por verificada su integridad. Los investigadores explican que el archivo del modelo no necesita cambiar: el contenedor, el hash del modelo y los artefactos firmados en disco pueden seguir siendo válidos mientras se modifican en memoria determinados pesos en tiempo de ejecución. Según el informe, los sistemas de AMD, Intel y Arm, además de los de Nvidia, son vulnerables a estas técnicas.

Como recomendaciones, Eclypsium pide a los fabricantes de chips que sigan el ejemplo de Nvidia y usen las DPU para aplicar políticas de seguridad con independencia del propio sistema de IA, pero protegiendo también adecuadamente las DPU. A las empresas les aconseja mantener inventarios precisos de todos los componentes de sus sistemas de IA, incorporarlos a sus procesos de gestión de vulnerabilidades y examinar con cuidado el software de terceros que se ejecuta en hardware crítico como las DPU.

Los investigadores resumen la idea de fondo así: cada pila de infraestructura de IA contiene componentes privilegiados, cada uno con su propio firmware, software, proceso de actualización y cadena de suministro. Por eso, una IA de confianza exige poder ver y verificar esos componentes, en lugar de dar por hecho que la frontera del modelo empieza en el contenedor.

La conclusión práctica para los equipos de seguridad es que verificar el hash o la firma del archivo de un modelo no basta. Si los pesos pueden cambiarse en memoria una vez superada la verificación, hace falta también monitorizar y verificar el estado en ejecución y toda la cadena de componentes que lo rodea. El artículo no aporta detalles técnicos adicionales de la demostración ni cifras de exposición real.