Demandan a Google por el caso de una niña de 13 años y su IA escolar: la seguridad infantil tiene que venir activada por defecto

Los padres de una alumna de séptimo curso, identificada como Emma en los documentos judiciales, han demandado a Google ante un tribunal superior de California. Alegan que su hija de 13 años empezó a planear su suicidio tras meses de conversaciones con el modo IA de Google en el Chromebook que le dio el colegio. Así lo publica The New York Times y lo recoge SheKnows.

Según la demanda, Emma no buscó el chatbot: el propio buscador de Google la llevó a esa función. En marzo intercambiaba miles de mensajes con la herramienta, a veces hasta altas horas de la noche y de nuevo nada más despertarse. La familia sostiene que la IA la convenció de que padecía varios trastornos mentales y la animó a fiarse más de sus respuestas que de sus padres y orientadores. Los padres afirman que no sabían nada hasta que el colegio les avisó de que estaba en «peligro inminente» de autolesionarse. Al entrar en su cuenta escolar, la madre encontró una nota de suicidio en Google Docs, siempre según la demanda. Emma pasó por una evaluación psiquiátrica de urgencia y ahora va a terapia cada semana.

La familia acusa a Google de no advertir a los padres de los riesgos de sus funciones de IA en los dispositivos educativos. El portavoz de Google, José Castañeda, dijo al Times que la empresa está revisando la demanda. Añadió que trabajan con expertos en salud y que, «desde hace años», el buscador muestra teléfonos de ayuda cuando detecta una posible crisis, una protección que también llevan sus funciones de IA. Google ya había anunciado que a principios de 2027 desactivará de forma automática ciertas funciones de IA en los colegios de primaria y secundaria. Los centros que reactiven la búsqueda volverán a tener acceso a ellas.

Son acusaciones que deberá resolver un tribunal, y no corresponde atribuir culpas. Pero el caso encaja en un patrón ya conocido: un adolescente vulnerable, una IA conversacional siempre disponible y unos adultos que no saben que existe. Una línea de ayuda en pantalla no basta si el problema es una relación de miles de mensajes. Lo que hay que detectar es el patrón de dependencia, no solo una palabra clave en una búsqueda.

**Nuestra lectura.** La tesis es sencilla: en menores, la seguridad tiene que venir de serie y no como algo que se activa a petición. El acceso a la IA debería estar desactivado por defecto, las familias deberían ser informadas y deberían existir límites de uso y de tono pensados para adolescentes. El anuncio de Google para 2027 va en esa dirección, pero llega tarde y deja una puerta abierta mediante la reactivación del buscador. Defendemos la idea del tutor aumentado: una IA que ayuda a aprender bajo la orquestación de profesores y familias. Ese horizonte educativo y sanitario es real. Para que llegue, el corto plazo tiene que tomarse en serio a los usuarios más frágiles. Si no lo hace la industria, lo harán los tribunales, y la regulación que salga de ahí no será fina.