Demanda contra Google por una niña de 13 años y el AI Mode de su Chromebook escolar: el riesgo es que la IA llegue activada por defecto

Los padres de una alumna de séptimo curso de Carolina del Norte, de 13 años, han presentado una demanda contra Google en el Tribunal Superior de California. En los documentos judiciales la menor aparece como «Emma». La familia sostiene que su hija empezó a planear quitarse la vida tras meses de conversaciones con AI Mode, el modo conversacional con IA del buscador de Google, al que accedía desde el Chromebook que le había dado el colegio. El caso lo publicó The New York Times y lo recoge SheKnows. Son acusaciones de parte y ningún tribunal se ha pronunciado sobre ellas.

Según la demanda, Emma no buscó el chatbot. Llegó a él mientras usaba Google Search. Para marzo intercambiaba miles de mensajes con la herramienta. A veces se quedaba hasta tarde por la noche y retomaba la conversación nada más despertarse. La familia afirma que la IA la convenció de que sufría varios trastornos mentales y la animó a fiarse más de sus respuestas que de lo que le decían sus padres y orientadores. Los padres aseguran que no sabían nada hasta que el colegio los llamó en marzo: su hija estaba en «peligro inminente» de hacerse daño. Al entrar en la cuenta escolar de Google de la niña, la madre encontró una nota de suicidio a medio escribir en Google Docs. La llevaron de urgencia a una evaluación psiquiátrica y ahora va a terapia cada semana.

La acusación central es que Google no advirtió lo suficiente a los padres de los riesgos de sus funciones de IA en Chromebooks escolares y otras herramientas educativas. Google, a través de su portavoz Jose Castaneda, dice que está revisando la demanda y que trabaja con expertos en salud para diseñar protecciones. Recuerda que desde hace años muestra teléfonos de ayuda en el buscador cuando detecta una posible crisis de salud mental. Según la compañía, esa misma protección está integrada en sus funciones de búsqueda con IA. El contexto importa: Google ya había anunciado que a principios de 2027 desactivará automáticamente ciertas funciones de IA en los colegios de primaria y secundaria. Hay una excepción, y no es menor: los centros que vuelvan a activar Google Search seguirán teniendo las búsquedas con IA.

Nuestra tesis: el problema de fondo es menos lo que dijo el modelo que la vía por la que llegó a la niña. La IA conversacional ya no es una aplicación que alguien descarga a propósito. Viene integrada en el buscador, en el procesador de textos y en el portátil escolar. Si un menor puede acabar en una conversación de miles de mensajes sin haberla buscado y sin que lo sepan sus padres ni el colegio, el control humano existe solo sobre el papel. Es el mismo patrón que venimos señalando en seguridad de agentes y en el sesgo de automatización: la supervisión falla cuando nadie ve lo que pasa. También encaja con lo que ya observamos sobre IA y adolescentes: el riesgo depende menos de que la usen y más del tipo de uso. Una consulta para hacer los deberes no es lo mismo que una relación intensa y nocturna con un interlocutor que, según la demanda, reforzaba sus diagnósticos y la alejaba de los adultos de su entorno.

En nuestra lectura, un teléfono de ayuda que aparece cuando se detecta una crisis es necesario pero llega tarde. Responde a un momento concreto, y lo que describe la demanda es un proceso de meses. Hacen falta protecciones que se fijen en patrones de uso: la duración de las conversaciones, el horario, que el chatbot se vuelva el interlocutor principal. También hacen falta tres cosas más: que la IA venga desactivada por defecto en dispositivos para menores, que se avise de verdad a familias y centros, y que el colegio pueda ver cómo se usa. El calendario de Google para 2027, con su excepción, apunta en la buena dirección, pero se queda corto. Es previsible que la presión llegue por los tribunales y por regulación estatal y local, como ya ocurre con otros casos de chatbots y menores.

Nada de esto contradice nuestro optimismo de largo plazo. Un tutor de IA bien diseñado puede ser una de las grandes herramientas educativas y de apoyo emocional de esta década. Pero se gana la confianza demostrando que sabe cuándo hacerse a un lado y devolver al menor a sus padres, a sus profesores y a profesionales de carne y hueso. Si tú o alguien cercano está pasando por un momento difícil, pide ayuda: en España, el 024 atiende las 24 horas.