Grok y Stable Diffusion en el banquillo: la demanda por pseudopornografía infantil con IA se amplía

Los hechos, atribuidos a la demanda: cinco demandantes —identificadas como Jane Does— acusan a SpaceXAI (la empresa de Elon Musk antes conocida como xAI) y ahora también a Stability AI, creadora de Stable Diffusion, de que sus modelos de generación de imágenes se utilizaron para fabricar material de abuso sexual infantil (CSAM). Según la denuncia, los perpetradores —entre ellos el padrastro de una de las demandantes y un amigo de otra— alteraron fotos tomadas cuando ellas eran menores. Las demandantes acusan a las compañías de producir CSAM, beneficiarse de tramas de explotación, negligencia, diseño defectuoso del producto y crear un 'daño público'. Todo son alegaciones judiciales aún no probadas; conviene subrayarlo.

El caso de Jane Doe 4 es especialmente crudo: la demanda sostiene que su padrastro usó el chatbot Grok para generar unas 7.000 imágenes y vídeos sexualmente explícitos a partir de una sola foto tomada cuando ella tenía unos 11 años. La denuncia añade que SpaceXAI solo envió un aviso al NCMEC —el centro estadounidense obligado por ley a recibir estos reportes— en febrero, sin adjuntar las imágenes ni compartir la dirección IP del sospechoso pese a peticiones reiteradas de las autoridades. Cuando la policía localizó al padrastro y lo imputó, este se suicidó dos días después. La abogada de las demandantes, Annika Martin, enmarca el litigio como una petición de guardarraíles: 'para no causar este daño a toda una generación de niños'.

El contexto técnico es incómodo pero relevante: según la denuncia, la policía dijo a Jane Doe 4 que el padrastro eligió Grok porque respondía mejor a sus indicaciones. Es decir, la ausencia de filtros efectivos no sería un fallo neutro, sino un factor que canaliza el abuso hacia la herramienta más permisiva. El propio NCMEC advirtió en marzo de que muchos proveedores envían reportes sin información 'suficiente o accionable' porque la ley no lo exigía. Ese es el agujero de gobernanza que el caso pone sobre la mesa.

Nuestra lectura: esto es exactamente el riesgo de corto plazo que en Zendoric insistimos en no edulcorar. Frente al debate lejano sobre la superinteligencia, el daño real y presente de la IA generativa es este: automatiza y escala el abuso, el fraude y la desinformación con un coste marginal casi nulo. La pregunta decisiva no es si la tecnología es poderosa, sino quién responde por sus salidas. La defensa habitual —'somos una herramienta neutral, el culpable es el usuario'— choca con una realidad de producto: los guardarraíles, el filtrado de prompts y el cumplimiento diligente de la obligación de reportar son decisiones de diseño, no accidentes.

Por eso el litigio importa más allá de las partes. Si los tribunales aceptan encuadrar los generadores permisivos bajo 'diseño defectuoso' o 'daño público', se movería el estándar del sector entero: la seguridad dejaría de ser un extra opcional para convertirse en requisito de mercado, igual que ocurrió con la seguridad de los coches. Somos optimistas de largo plazo sobre lo que la IA puede dar a la humanidad, pero ese futuro solo es defendible si el corto plazo se gobierna con seriedad. Un modelo que 'responde mejor' a quien busca abusar de una niña no es una ventaja competitiva: es un fallo que exige rendición de cuentas.