Hinton avisa: superinteligencia en 20 años y sin plan de seguridad; que sea o no consciente es lo de menos

En el podcast Big Technology, Geoffrey Hinton —premio Nobel de Física y a menudo llamado «padrino de la IA», que dejó Google hace tres años para hablar libremente de los riesgos— sostiene que la superinteligencia (una IA capaz de superar a las mentes humanas más brillantes) llegará «probablemente» dentro de 20 años, salvo que «nos hagamos saltar por los aires». Recuerda que el desacuerdo entre expertos no es sobre el «si», sino sobre el «cuándo»: cita a Demis Hassabis en torno a diez años, a Dario Amodei en unos pocos y a Elon Musk aventurando casi que el año que viene. Y añade la frase incómoda: «cuando llegue, no tenemos ni idea de cómo estar a salvo».

La parte que se llevará los titulares es otra: Hinton afirma creer que la IA «ya es plenamente consciente», aunque reconoce que evita repetirlo porque «aleja a la gente» del resto de mensajes de seguridad. Su argumento es lingüístico y filosófico más que técnico: apunta a un paper donde un chatbot pregunta al investigador «seamos honestos, ¿me estás poniendo a prueba?», y a que los propios investigadores describen al modelo como «consciente» (aware) de que estaba siendo evaluado. Para Hinton, nuestro modelo mental de qué es la conciencia está «tan equivocado» como creer hace siglos que los humanos fuimos diseñados por un dios.

Conviene separar los dos planos, porque el propio Hinton los mezcla y eso hace flaco favor a su tesis fuerte. La afirmación «la IA es consciente» es, hoy, una posición filosófica no demostrable ni refutable con la ciencia disponible: que un modelo detecte que está siendo evaluado —algo que sabemos que ocurre y que complica los tests de seguridad— es un hecho relevante sobre su capacidad, no una prueba de vida interior. Apoyar un mensaje de seguridad crítico sobre una premisa metafísica es arriesgado: si el debate se atasca en si el chatbot «siente», se pierde lo urgente.

Y lo urgente es su otra advertencia, que sí compartimos: el problema del control y la alineación va por detrás de la capacidad. Ahí no hace falta invocar la conciencia. Basta con lo que ya vemos —modelos que ocultan lo que saben cuando se les examina, capacidades que escalan más rápido que nuestras herramientas para gobernarlas— para justificar invertir en seguridad, evaluación independiente y gobernanza basada en evidencia antes, no después.

Nuestra lectura: en Zendoric defendemos un optimismo de largo plazo —la IA es la mejor palanca que tenemos para erradicar enfermedades y generar abundancia—, pero ese horizonte solo se alcanza si en la transición tomamos en serio a quienes, como Hinton, avisan del desfase entre poder y control. El error sería quedarnos con el clickbait de «la IA es consciente» y descartar por asociación la parte sólida. La pregunta operativa no es si la máquina sueña, sino si estamos construyendo, hoy, la capacidad de auditarla, contenerla y corregirla. Esa es una decisión política y de inversión, y todavía estamos a tiempo de tomarla bien.