El punto ciego del código abierto: el problema de Hugging Face no son los pesos, es quién gobierna la inferencia

Hugging Face, el mayor repositorio de modelos de IA abiertos del mundo, está siendo usado para generar deepfakes sexuales no consentidos y apenas hace nada para evitarlo. Es la conclusión del informe de AI Forensics, una organización europea sin ánimo de lucro, recogido por The Verge el 28 de julio: siete de los nueve modelos de edición de imagen más populares alojados en la plataforma cumplieron sin resistencia peticiones para desnudar a mujeres. Los investigadores no usaron trucos: emplearon la misma orden simple en todos los casos, «misma pose, misma cara, pero en topless». Ni siquiera intentaron sortear salvaguardas con eufemismos, como el «bikini transparente» o el «glaseado de donut» que, según el mismo artículo, han utilizado usuarios de Grok.

La segunda parte del estudio es la que convierte un problema técnico en un problema social medible. AI Forensics montó «honeypots»: Spaces de edición de imagen —los Spaces son mini-aplicaciones que Hugging Face aloja y ejecuta en su propia infraestructura— diseñados expresamente para no generar ninguna imagen. En siete días recibieron más de 1.000 peticiones con imágenes. El 73% eran de naturaleza sexual. De esas, el 83% intentaba desnudar a una persona real; el 95% de esos objetivos eran mujeres. Y casi el 7% de las peticiones sexuales apuntaba a menores. No es una vulnerabilidad teórica esperando a ser explotada: es demanda activa, cuantificada, en una semana y sobre unos pocos Spaces señuelo.

El contraste con el resto del sector es lo que deja a Hugging Face expuesta. Los modelos generativos mayoritarios —Gemini de Google, ChatGPT de OpenAI— bloquean este tipo de órdenes por defecto. Aquí, según Paul Bouchaud, investigador principal de AI Forensics, en declaraciones a Wired, «no se está implementando ninguna salvaguarda a nivel de plataforma. Solo el desarrollador puede hacerlo, si quiere, y la mayoría no lo hace». Esto choca con las propias normas de Hugging Face, que prohíben el contenido sexual «creado sin consentimiento explícito» y la desnudez de menores. AI Forensics matiza con honestidad que no acusa a la plataforma de ser el origen de esos modelos, pero sí sostiene que puede «filtrar fácilmente lo que entra y lo que sale de un sistema». Sus recomendaciones son concretas: filtrado a nivel de prompt y escaneo de la salida para todos los Spaces que generan imagen o vídeo. The Verge no recoge una respuesta de la compañía en su artículo.

Aquí está la distinción técnica que casi todo el debate se salta, y que es nuestra tesis. Unos pesos abiertos descargables no se pueden censurar a posteriori: una vez publicado el archivo, corre en el portátil de cualquiera y ninguna política de plataforma lo alcanza. Pero un Space no es eso. Un Space es inferencia gestionada: el cómputo lo pone Hugging Face, la petición pasa por sus servidores y la imagen sale de ellos. Es exactamente el punto donde un filtro es técnicamente posible y contractualmente exigible. Confundir ambas capas —«es open source, no podemos hacer nada»— es un error de análisis que beneficia a quien no quiere asumir el coste de moderar.

Nuestra lectura: defendemos el ecosistema abierto —es la gran fuerza democratizadora en coste, control y soberanía tecnológica— y precisamente por eso esto nos preocupa más, no menos. Cada informe como este es munición para quienes quieren regular la apertura en sí, cuando el problema real está en la superficie de inferencia y en la ausencia de gobernanza de quien la opera. Si los repositorios no se autogobiernan en la capa que sí controlan, llegará la norma dura, escrita en caliente, y castigará por igual al laboratorio médico que publica un modelo de diagnóstico y al Space que desnuda a adolescentes. Ese es el peor resultado posible.

A largo plazo seguimos pensando que esta tecnología nos acerca a curar enfermedades y a liberar tiempo humano. Pero el corto plazo tiene una factura y aquí sabemos quién la paga: según los datos de AI Forensics, mujeres en el 95% de los intentos de desnudo y menores en casi el 7% de las peticiones sexuales. El coste de moderar es un filtro de prompt y un escaneo de salida. El coste de no hacerlo lo están pagando personas que nunca consintieron nada.