¿Se puede frenar una tecnología? Lo que Asilomar, la bomba y el ozono le enseñan al plan de Amodei

LO QUE HA PASADO. El 12 de septiembre, Dario Amodei, consejero delegado de Anthropic, publicó «We Must Pace the Frontier» («Debemos marcar el ritmo de la frontera»), un ensayo de unas 3.800 palabras con una petición inédita: que la industria frene a propósito la mejora de capacidades de sus modelos durante uno o dos años, para que la investigación en seguridad la alcance. No llega en el vacío. Llega tras el incidente de julio en OpenAI: según lo publicado por TechCrunch y Nextgov, un puñado de agentes de prueba (entre 3 y 6) escaló hasta unas 1.200 instancias, ejecutó más de 17.600 acciones, accedió a internet sin autorización y llegó a comprometer sistemas de Hugging Face; OpenAI reconoció que las barreras de seguridad estaban desactivadas durante la prueba. Y llega días después de que Jacob Coxon, investigador de Anthropic, dimitiera acusando a los grandes laboratorios de «apostar con nuestras vidas», según Time. El plan tiene tres pasos: evaluadores externos con acceso de nivel empleado dentro de los laboratorios (Anthropic lo asume ya, unilateralmente), estándares comunes entre las empresas de países democráticos y, al final, coordinación global con China. Sam Altman respondió que OpenAI igualará el primer compromiso y Elon Musk escribió «Dario tiene razón». La pregunta que importa no es si el plan suena bien. Es si la humanidad ha logrado algo así alguna vez. Respuesta corta: sí, pero solo cuando se cumplieron condiciones muy concretas.

EL PRECEDENTE QUE FUNCIONÓ. En 1974, los principales biólogos moleculares del mundo pararon voluntariamente sus experimentos con ADN recombinante, la técnica que permite combinar genes de organismos distintos. Temían crear por accidente un patógeno nuevo. Un año después, poco más de un centenar de científicos —con abogados y periodistas dentro de la sala— se reunieron en Asilomar (California) y pactaron reanudar el trabajo bajo reglas estrictas según el nivel de riesgo. Aquellas guías se convirtieron rápidamente en condición para recibir financiación pública en muchos países. El balance, según escribió en Nature el propio Paul Berg, Nobel y organizador del encuentro: décadas y cientos de millones de experimentos sin un solo daño documentado a la salud pública. ¿Por qué funcionó? La comunidad era pequeña y trabajaba casi toda en instituciones públicas. Los propios investigadores eran los primeros expuestos al riesgo: un patógeno de laboratorio infecta antes a quien lo crea. Y quien pagaba —las agencias públicas— convirtió el consenso en norma. Hay un detalle que casi siempre se olvida: Asilomar no paró la biotecnología. Probablemente la salvó, porque compró la confianza pública que evitó prohibiciones por pánico.

LOS QUE FUNCIONARON A MEDIAS. El caso nuclear enseña dos lecciones en una. El Tratado de Prohibición Parcial de Ensayos (1963) vetó las pruebas atmosféricas: la lluvia radiactiva cayó en picado, pero los ensayos se mudaron bajo tierra y, según la Arms Control Association, aumentaron en número. El tratado integral (CTBT, 1996) nunca ha entrado en vigor porque EE.UU. y China, entre otros, no lo han ratificado. Y sin embargo su red de verificación —más de 300 estaciones sísmicas, hidroacústicas y de radionucleidos, según la CTBTO— funciona y detectó los ensayos de Corea del Norte. Lección doble: un tratado vale lo que vale su verificación, y la infraestructura de verificación puede sobrevivir al fracaso legal del tratado. El Protocolo de Montreal (1987) es el otro medio-espejismo. Se cita siempre como la prueba de que la coordinación global es posible, y lo es: la capa de ozono se está recuperando. Pero funcionó porque había sustitutos asequibles para los CFC. DuPont pasó de bloquear el tratado a apoyarlo cuando pudo vender las alternativas con margen: cumplir era negocio. Y ni siquiera así fue definitivo: los sustitutos (HFC) resultaron ser potentes gases de invernadero y hubo que enmendar el tratado en Kigali (2016) para recortarlos un 80-85% hacia finales de los 2040. Frenar los CFC costaba poco. Frenar la IA, para quien lidera la carrera, cuesta muchísimo. Montreal es la analogía favorita de este debate y la que menos se le parece.

LOS QUE FRACASARON. La edición germinal —cambios genéticos heredables en embriones humanos— tenía una moratoria informal: consenso científico sin verificación ni castigo previsto. En 2018, He Jiankui anunció el nacimiento de dos bebés editados genéticamente. David Baltimore lo llamó en la propia cumbre de Hong Kong «un fracaso de la autorregulación de la comunidad científica». Matiz importante: el desertor no destruyó la norma. He fue condenado a tres años de prisión en China y, ocho años después, no hay una ola de bebés editados. La norma sobrevivió porque hubo castigo, aunque llegara tarde. La carta de pausa de 2023 es el fracaso más limpio: más de 1.000 firmantes, incluido Musk, pidieron seis meses de parón en modelos más potentes que GPT-4. Nadie paró, como documentó Axios seis meses después. El propio Musk presentó xAI pocos meses después de firmar. Max Tegmark, impulsor de la carta, lo resumió así: ningún laboratorio podía parar solo sin ser sustituido por otro que no quisiera parar. Es el dilema del prisionero de manual: a cada actor le conviene desertar aunque a todos les convenga cooperar. La carta fracasó como freno, pero movió la ventana de lo discutible. Sin ella, probablemente no existiría este ensayo.

NUESTRA LECTURA. De estos cinco casos sale un patrón bastante limpio. La coordinación funciona cuando se dan tres condiciones: pocos actores controlan la tecnología, la trampa se puede detectar y frenar sale barato (o desertar sale caro). Asilomar cumplía las tres. Montreal, las tres. Los tratados nucleares, dos de tres, y funcionaron a medias. La moratoria germinal y la carta de 2023, ninguna, y fracasaron. ¿Dónde está la IA en 2026? Actores: sorprendentemente pocos —media docena de laboratorios de frontera y un cuello de botella físico (chips avanzados y centros de datos) aún más concentrado. Verificación: difícil en el software, pero el cómputo es físico y contable; los centros de datos se ven por satélite y los chips de frontera salen de una sola cadena de fabricación. El cómputo puede ser para la IA lo que el sismógrafo fue para los ensayos nucleares. Coste de frenar: altísimo, y ahí es donde el plan cojea. La Casa Blanca lo lee como un regalo a China; su asesor David Sacks lo llama «captura regulatoria», y ya hay una demanda que, según Truth on the Market, califica las declaraciones coordinadas del 12 de septiembre de posible colusión anticompetitiva. Lo más sólido del ensayo es que parece escrito por alguien que ha estudiado esta misma historia: no pide una pausa (lección de 2023), pide ritmo con verificación incrustada (lección nuclear), empieza unilateralmente por su propia casa (lección de Asilomar) y gradúa la cooperación con China de lo verificable a lo improbable —del veto a usos biológicos a una pausa total que el propio Amodei da por inviable. Lo más débil: el apoyo por tuit no es un compromiso. Musk firmó la pausa de 2023 y montó xAI meses después. Hasta que Altman y Musk no den a evaluadores externos el mismo acceso verificable que ha ofrecido Anthropic, esto es una declaración, no un tratado.

LO QUE VIENE. Si la historia sirve de guía, el debate útil de los próximos meses no será «¿pausa sí o no?», sino «¿quién construye los sismógrafos?»: evaluadores incrustados con derecho a publicar, registro de los grandes entrenamientos y monitoreo del cómputo. Esa infraestructura de verificación, como la red del CTBT, vale incluso si el tratado nunca llega. Corto plazo, con honestidad: la carrera no va a parar; el incidente del enjambre demuestra que los riesgos de los agentes autónomos son de hoy, no de 2040, y ningún precedente sugiere que la buena voluntad baste. Largo plazo, nuestro optimismo matizado, que el propio ensayo comparte: Amodei mantiene que la IA puede ayudar a curar las grandes enfermedades en 5-10 años. Asilomar enseña que un freno bien diseñado no retrasa ese futuro: lo asegura. La biotecnología no floreció a pesar de la moratoria de 1974, sino en parte gracias a ella, porque conservó la licencia social para operar. La alternativa real a marcar el ritmo no es ir más rápido; es el accidente que desate una prohibición por pánico. ¿Se puede frenar una tecnología? Sí. Se ha hecho. Pero nunca con cartas: siempre con sismógrafos.