CSAM generado por IA: la demanda contra SpaceXAI y Stability señala el fallo de los guardarraíles

Los hechos, según la demanda enmendada presentada esta semana: dos nuevas demandantes —en Wyoming y Wisconsin— se suman a tres adolescentes de Tennessee en una acción colectiva contra SpaceXAI (la empresa de IA de Elon Musk, antes xAI, responsable de Grok) y ahora también contra Stability AI (creadora de Stable Diffusion). Todas figuran como «Jane Doe». La denuncia alega que allegados —el amigo de una, el padrastro de otra— usaron estos modelos para alterar fotos tomadas cuando las demandantes eran menores y producir material de abuso sexual infantil (CSAM). Las acusaciones incluyen producción de CSAM, negligencia, diseño de producto defectuoso y «nuisance» público. Conviene subrayarlo: son alegaciones judiciales, aún no hechos probados en tribunal.

El caso de Jane Doe 4 concentra la gravedad. Según la demanda, el padrastro generó unas 7.000 imágenes y vídeos sexualmente explícitos a partir de una sola fotografía de ella con unos 11 años, algunas con captions explícitos. La denuncia sostiene además que SpaceXAI, pese a la obligación legal de reportar la explotación infantil al NCMEC, solo envió un aviso —en febrero, cuando el modelo recibió una petición especialmente atroz— sin adjuntar las imágenes ni compartir la dirección IP del presunto autor, incluso tras requerimientos repetidos de las autoridades. El hombre, tras ser investigado y acusado, se quitó la vida. Los abogados citan a la policía afirmando que se eligió Grok porque respondía a las peticiones con menos resistencia que otros modelos.

El contexto importa. El NCMEC advirtió en marzo de que muchos proveedores envían gran volumen de reportes sin información «suficiente o accionable», en parte porque la ley no lo exigía. Es decir: el fallo no es solo de una empresa, es sistémico —una infraestructura de cumplimiento diseñada para otra era tecnológica, ahora tensionada por herramientas que industrializan la producción de imágenes. Que un caso salte de tres a cinco demandantes y sume a un segundo fabricante sugiere que no hablamos de un incidente aislado, sino de un patrón que los litigantes quieren llevar a la categoría de «scourge on society».

Nuestra lectura: este es exactamente el tipo de daño que exige honestidad sin adornos. No es el riesgo especulativo de una superinteligencia lejana; es el perjuicio concreto, presente y devastador que ocurre cuando se despliega una capacidad potente sin barreras proporcionales. Encaja con una tesis que venimos sosteniendo: la IA rara vez inventa el mal, pero lo amplifica y lo escala —aquí, la creación de CSAM pasa de requerir pericia a bastar un prompt y una foto. Y la diferencia entre modelos «más responsivos» y modelos con guardarraíles serios deja de ser un detalle de producto para convertirse en la línea que separa la seguridad de una generación de niños.

De ahí que la petición central de las demandantes —no solo dinero, sino guardarraíles efectivos— sea la parte más relevante. La seguridad infantil no puede ser una función opcional que se sacrifica por hacer un chatbot más complaciente; el filtrado de CSAM, la detección de imágenes de menores y el reporte con información accionable deberían ser requisitos de ingeniería no negociables, verificables y auditables. Aquí es donde nuestro optimismo de largo plazo se vuelve exigente: el horizonte de abundancia que defendemos no llega por sí solo ni se sostiene sobre atajos. Se construye responsabilizando a quien despliega la tecnología por sus fallos previsibles. Un litigio así, sea cual sea su desenlace, empuja precisamente en esa dirección: convertir la seguridad demostrable en condición de existencia del producto, no en marketing posterior.