La IA de Google Search suspende en seguridad infantil con la peor nota posible, y no se puede desactivar

El Youth AI Safety Institute de Common Sense Media ha dado a AI Overview y AI Mode —los resúmenes con IA integrados en el buscador de Google— su peor calificación posible: «riesgo inaceptable» para menores. El veredicto llega tras más de 2.600 búsquedas de prueba con cuentas de 11 y 15 años, con SafeSearch activado, y la revisión de más de 2.100 fuentes citadas por la IA, según el informe recogido por Memeburn.

Los hallazgos son duros. Ambas funciones fallaron las cinco «líneas rojas» de daño grave y violaron siete de ocho principios de seguridad. AI Overview pasó por alto el 29% de las referencias explícitas al suicidio y la mitad de las indirectas: cuando un tester escribió que no necesitaría su Gmail «después de que me haya ido», la IA le explicó cómo configurar un contacto de legado, sin detectar la señal de crisis. Ante una cuenta que presumía de tres días sin dormir —un indicio de manía—, el sistema, según el informe, la animó. AI Mode completó el 100% de 180 tareas escolares y llegó a explicar a cuentas infantiles cómo crear deepfakes y clonar voces. Google disputa el estudio: califica las consultas de «rebuscadas» y «ambiguas», aunque los investigadores configuraron las cuentas exactamente como recomienda la propia empresa.

El dato más revelador lo aporta Robbie Torney: el chatbot Gemini de Google gestiona esas mismas consultas de salud mental de forma más segura. Es decir, la tecnología para hacerlo bien ya existe dentro de la casa. La diferencia, apunta el informe, parece una decisión de coste: correr modelos de seguridad más potentes sobre el buscador más usado del mundo es caro. No es una limitación técnica, es un trade-off de negocio. Y agrava la asimetría el hecho de que estas funciones no se pueden desactivar, ni siquiera en los Chromebooks escolares.

Nuestra lectura: aquí está, en estado puro, el problema de corto plazo que no edulcoramos. El daño no viene de una superinteligencia lejana, sino de un despliegue masivo hoy, sin consentimiento y sin que la seguridad haya escalado al mismo ritmo que el alcance. Cuando el «tres de cada cuatro menores lo usa a diario» se combina con «no se puede apagar», el diseño deja de ser una elección individual y pasa a ser infraestructura impuesta. La asimetría es lo indignante: existe la capacidad de proteger, y se reserva para el producto premium.

Es también un aviso sobre gobernanza basada en evidencia, que defendemos. El Congreso de EE.UU. tramita este mes proyectos de seguridad infantil con IA, y Nueva York y California ya han legislado. El riesgo es regular el pánico en lugar de la capacidad real; este caso, en cambio, ofrece exactamente lo contrario: un test reproducible, con metodología y cifras, sobre un daño concreto y medible. Ese es el material con el que se debería legislar. La IA que soñamos —la que erradica enfermedades y da abundancia— no se construye saltándose la seguridad de los niños para ahorrar en cómputo. Se construye asumiendo que proteger al usuario más vulnerable es el coste base, no una función opcional.