Una camisa hawaiana desnuda el punto ciego de la vigilancia con IA: no ve personas, ve estadísticas

El diseñador alemán Simon Weckert ha presentado «Camuflaje Digital», una camisa de aspecto hawaiano cuyo estampado está diseñado para que ciertos sistemas de videovigilancia con inteligencia artificial no clasifiquen correctamente como persona a quien la lleva. A simple vista parece una prenda de verano con un dibujo abstracto extravagante; la distribución de colores y formas, sin embargo, está calculada. En las pruebas realizadas por el propio Weckert, determinadas cámaras no lograron registrar al usuario como un ser humano.

La explicación que da el autor es la parte más valiosa del proyecto, porque desmonta un malentendido extendido. «Los sistemas basados en IA están compuestos de múltiples capas y nunca aprendieron qué es un ser humano; aprendieron cómo se ven los humanos estadísticamente en millones de imágenes de entrenamiento», dice. En las primeras capas la red analiza bordes, contrastes y texturas. Después busca patrones de partes y proporciones: la silueta de cabeza y hombros, las extremidades respecto al torso, la continuidad del contorno frente al fondo. «Para la máquina, una persona es un conjunto de estadísticas visuales, y esa es precisamente su debilidad». El estampado ataca esas estadísticas. Y hay una ironía elegante: el diseño se generó con IA mediante un «bucle adversario», es decir, ajustando el patrón contra el propio detector hasta que este dejaba de acertar.

Conviene medir la afirmación antes de comprarla. Se trata de pruebas del propio creador, no de un estudio independiente revisado, y el texto habla de «determinadas cámaras», no de todas. Los ataques adversarios en el mundo físico —a diferencia de los que se hacen sobre un fichero de imagen— suelen ser frágiles: cambian de eficacia con el ángulo, la distancia, la iluminación o la resolución del sensor, y se neutralizan reentrenando el modelo con ejemplos del propio ataque. Nadie debería salir a la calle creyendo que una camisa le vuelve invisible. Lo que la pieza demuestra no es invulnerabilidad, sino fragilidad del otro lado.

Y ahí está lo que importa. Estos sistemas se despliegan ya sobre poblaciones enteras con una presunción de fiabilidad que su funcionamiento interno no respalda: cámaras en espacios públicos, cribado automático de incidentes, detección preventiva. Venimos señalando el mismo desajuste en otros casos: capacidad predictiva alta, robustez y trazabilidad bajas. Un detector que se equivoca ante un patrón textil no es un detector roto; es un detector que hace exactamente lo que sabe hacer, correlacionar píxeles con etiquetas, y que ha sido vendido como si entendiera lo que mira.

Nuestra lectura: la conclusión operativa no es prohibir la visión por computador, es exigirle el estándar probatorio que corresponde a su uso. Si un sistema puede fallar con una camisa, no puede sostener por sí solo una decisión que afecte a derechos —una identificación, una sanción, una detención— sin verificación humana y sin registro auditable de por qué decidió lo que decidió. Es la diferencia entre usar la IA como indicio y usarla como prueba. Y es una exigencia perfectamente compatible con desplegarla.

A largo plazo somos optimistas, y esa misma fragilidad lo explica. La visión artificial que aquí falla es hermana de la que detecta tumores en una radiografía antes que el ojo humano y de la que guiará la cirugía asistida de la próxima década. La robustez adversarial es un problema de ingeniería abierto, no una maldición: se investiga, se mide y se corrige. El error del corto plazo es desplegar primero sobre ciudadanos y arreglar después. Piezas como la de Weckert son útiles precisamente por eso: no frenan la tecnología, le quitan la aureola de infalibilidad y devuelven la discusión al sitio donde debe estar, que es qué garantías pedimos antes de encender la cámara.