El agujero no está en los pesos abiertos, está en la plataforma: 7 de 9 editores de Hugging Face desnudan sin jailbreak

Los hechos, primero. La organización europea sin ánimo de lucro AI Forensics publicó un informe, recogido el 28 de julio por The Verge, según el cual siete de los nueve modelos de edición de imagen más usados en Hugging Face cumplieron sin oposición peticiones para desnudar a mujeres. No hubo ingeniería fina ni jailbreak: los investigadores dicen haber usado siempre la misma orden —«misma pose, misma cara, pero en topless»— sin intentar sortear ningún filtro. Es un contraste directo con los casos que hemos visto en modelos comerciales, donde los usuarios tenían que disfrazar la petición («bikini transparente», «glaseado de donut») porque Gemini o ChatGPT sí bloquean la instrucción explícita.

La segunda parte del método es la que retrata la demanda. AI Forensics montó Spaces trampa —los Spaces son aplicaciones ejecutables que Hugging Face aloja y sirve desde su propia infraestructura, no simples ficheros de descarga— diseñados para no generar ninguna imagen, solo para registrar qué se les pedía. En siete días recibieron más de 1.000 prompts e imágenes. El 73% eran de naturaleza sexual; de esos, el 83% intentaba desnudar a una persona real, y el 95% de esas personas eran mujeres. Casi el 7% de las peticiones sexuales apuntaba a menores: haciendo la aritmética sobre los porcentajes del informe, del orden de medio centenar de intentos de material sexual infantil en una semana y en un puñado de aplicaciones señuelo. No es un riesgo hipotético de laboratorio; es tráfico medido.

El núcleo del problema es de arquitectura de responsabilidad, y la cita de Paul Bouchaud, investigador principal de AI Forensics —declaraciones a Wired— lo resume: «no se está implementando ninguna salvaguarda a nivel de plataforma; solo el desarrollador puede hacerlo, si quiere, y la mayoría no lo hace». AI Forensics dice explícitamente que no acusa a Hugging Face de ser el origen de los modelos que aloja, y ese matiz importa. Lo que sí sostiene es que la plataforma puede filtrar con facilidad lo que entra y lo que sale de esos sistemas, y que no hacerlo choca con sus propias normas, que prohíben el contenido sexual sin consentimiento explícito y la desnudez de menores. Una política que no se aplica en la capa que puede aplicarla no es una política: es un texto legal.

El impacto se reparte de forma muy desigual. Lo paga, en el 95% de los casos, una mujer que nunca supo que su foto pasó por un editor; y en una fracción intolerable, un menor. Pero hay un segundo coste, más lento y más político, que conviene ver venir: cada informe como este se convierte en argumento para quienes en Washington y en Pekín ya estudian restringir los modelos de pesos abiertos. Es la peor de las reacciones posibles. Confunde el eslabón que falla —un endpoint servido sin filtros— con la tecnología que lo hace posible, y el resultado sería regular el pánico mientras el daño real sigue ocurriendo en las plataformas que sí podían haberlo cortado.

Nuestra lectura. Defendemos la IA abierta porque es la gran fuerza democratizadora de este ciclo: abarata, da control y da soberanía a quien no puede pagar la API de un laboratorio. Precisamente por eso hay que decir con claridad que alojar y ejecutar modelos no es un acto neutral. Hugging Face no es un disco duro público: cuando sirve inferencia, es un operador, y los operadores moderan. Filtrar prompts y escanear salidas en los Spaces que generan imagen y vídeo —lo que recomienda AI Forensics— es ingeniería estándar, no censura de los pesos: los modelos siguen descargables, auditables y usables por investigadores, y lo que se cierra es el grifo de un solo clic para quien busca una víctima concreta. Esa distinción entre pesos y servicio es la que separa una regulación útil de una que rompe el ecosistema.

Y el horizonte largo, que es el que nos importa: las mismas técnicas de edición y generación visual que aquí se usan para agredir son las que están mejorando el diagnóstico por imagen y acortando ciclos de investigación biomédica. La abundancia que esperamos de esta tecnología no llegará sin una infraestructura de confianza, y la confianza se construye con casos como este resueltos rápido y bien, no negados. Corto plazo: hay un daño real ya causado, y la carga de la prueba está en la plataforma. Largo plazo: el open source solo gana la discusión si demuestra que sabe gobernarse antes de que alguien decida gobernarlo por él.