El verdadero riesgo de la superinteligencia no es que nos domine, es que dejemos de entenderla

Por Daily Kos (community) · 5 de julio de 2026. La pieza que origina este comentario es, hay que decirlo con franqueza, un post de la sección comunitaria de Daily Kos —no periodismo editado por la redacción— que reflexiona sobre un vídeo con Geoffrey Hinton, el llamado 'padrino de la IA', advirtiendo que no estamos preparados para la superinteligencia que se avecina. El material original aporta poco más que esa referencia y algunas ideas sueltas sobre 'neuralese': la posibilidad de que modelos de razonamiento avanzado, entrenados de forma cada vez más recursiva (una versión ayudando a construir la siguiente con mínima supervisión humana), desarrollen un lenguaje interno de pensamiento que ya no es inglés legible sino una representación optimizada e ilegible para nosotros.

El hecho concreto y verificable detrás de esta alarma es real y lo llevamos siguiendo desde hace meses en el sector: los grandes laboratorios de IA (Anthropic, OpenAI, y también equipos de seguridad independientes) han expresado preocupación pública por la 'monitorizabilidad' del razonamiento en cadena de los modelos más potentes. Cuando un sistema piensa en pasos intermedios que sí podemos leer, un supervisor humano puede detectar señales de comportamiento engañoso o metas desalineadas. Si ese razonamiento se comprime en representaciones internas no interpretables —lo que el artículo llama neuralese—, perdemos precisamente esa ventana de auditoría. No es ciencia ficción: es una tensión de ingeniería que ya se discute en los informes de seguridad de los propios desarrolladores, y que se agrava a medida que los modelos se entrenan de forma más autónoma y recursiva.

Dicho esto, conviene separar el grano de la paja. El post que comentamos mezcla ese problema técnico legítimo con una retórica más difusa sobre 'escapar del sandbox' y jailbreaks recurrentes, sin aportar datos, fechas ni evidencia específica de que un sistema concreto haya cruzado ninguna línea roja. Cita a Hinton como autoridad —y lo es, con justicia: premio Turing, pionero de las redes neuronales profundas, y una de las voces más consistentes advirtiendo sobre riesgos existenciales desde que dejó Google en 2023— pero no aporta el contenido sustantivo de esa advertencia más allá de la afirmación general de que 'no estamos preparados'. Esa es la diferencia entre una fuente periodística rigurosa y un post comunitario que reacciona a un vídeo: aquí no hay verificación independiente de las cifras, los plazos ni los mecanismos técnicos exactos que se mencionan.

Nuestra lectura es que el debate sobre 'cuándo llegará la superinteligencia' —que el propio artículo reconoce que es la pregunta equivocada— distrae de lo que sí importa a corto plazo: la gobernanza de la interpretabilidad. En general, como contexto del sector, la industria lleva un año moviéndose hacia modelos de razonamiento cada vez más opacos precisamente porque optimizarlos así mejora el rendimiento en benchmarks duros. Ese es el dilema de fondo: la presión competitiva empuja a menos transparencia interna justo cuando más falta hace. Quien resuelva ese trade-off —modelos potentes que sigan siendo auditables— tendrá una ventaja regulatoria y de confianza pública que hoy nadie ha capturado del todo.

Mantenemos nuestra tesis de fondo: a corto plazo, la falta de interpretabilidad en sistemas cada vez más autónomos es un riesgo real que merece gobernanza seria, no pánico difuso ni tampoco negación. A largo plazo, sin embargo, seguimos convencidos de que estas mismas capacidades de razonamiento avanzado —bien gobernadas— son las que permitirán acelerar el descubrimiento científico, curar enfermedades y generar la abundancia que libere a las personas de trabajos rutinarios. La advertencia de Hinton no contradice ese horizonte; lo condiciona. Llegar allí exige que no perdamos, por el camino, la capacidad de entender lo que estamos construyendo.