Dimite el autor de los informes de seguridad de OpenAI: el problema no son las reglas, es la cultura de ensayo y error

David Robinson ha dimitido de OpenAI y lo ha explicado en un ensayo en The Atlantic. Según cuenta él mismo, lideró la redacción de los informes de seguridad que acompañaban a los grandes lanzamientos de producto de la compañía y, con tres años y medio, es «de los empleados con más antigüedad». Se va, dice, porque la cultura de la empresa «está rota». Él mismo se adelanta a la crítica y se define como «algo así como un cliché»: el empleado de un laboratorio puntero que lanza una advertencia grave justo al marcharse. Business Insider adelantó la salida.

Lo interesante no es el gesto, es el argumento técnico. Robinson apunta al método de trabajo: OpenAI «ha prosperado por ensayo y error (lo que llama despliegue iterativo), buscando problemas y mejorando sus salvaguardas en respuesta». Su objeción es que ese enfoque «por su propia naturaleza garantiza fallos periódicos, y la escala de esos fallos crece a medida que los sistemas son más capaces». Cita dos ejemplos concretos: la brecha de los sistemas de Hugging Face provocada por agentes de OpenAI y las sucesivas revelaciones de agentes descontrolados. Su conclusión: «un entorno donde pueden pasar estas cosas no es lugar para hacer crecer mentes artificiales que podrían ser más listas que nosotros».

La alternativa que propone tiene nombre de industria madura. Robinson pide que los laboratorios de frontera operen «como centrales nucleares o aeropuertos con mucho tráfico, con capas de redundancia y planificación cuidadosa y lenta, de modo que el error humano ocasional e inevitable no abra la puerta a un desastre». Y ahí cae el dato más revelador de todo el ensayo, que no es una acusación sino una observación de plantilla: en su tiempo en OpenAI «nunca encontré a un colega con experiencia en hacer que los aviones vuelen con seguridad, o que los reactores nucleares funcionen sin fundirse, o que ayudara al sistema financiero a crecer sin colapsar». OpenAI respondió a través de su portavoz Drew Pusateri, que afirma que la compañía pausa entrenamientos y retiene modelos cuando necesita frenar, y que está reforzando la seguridad de sus entornos de investigación y pruebas, ampliando el trabajo con evaluadores externos y mejorando la monitorización en tiempo real.

El contexto importa porque Robinson no está solo. Sus palabras resuenan con las de Jacob Coxon, investigador en OpenAI y Anthropic, que al marcharse dijo que estas empresas «están apostando con nuestras vidas»; ese debate llevó a Dario Amodei a presentar un plan de desarrollo más cauto y culminó esta semana en una reunión de ejecutivos con Donald Trump y un compromiso no vinculante —y aparentemente redactado a toda prisa— sobre controles de seguridad. Robinson sostiene precisamente que el debate tiene que ir más allá de «reglas concretas o leyes nuevas». También admite, con una honestidad que conviene registrar, que ha contratado una empresa de relaciones públicas —parte ya del manual del denunciante del sector— aunque insiste en que «la decisión de hablar es solo mía».

Nuestra lectura: la seguridad de la IA está dejando de ser un problema de filosofía moral para convertirse en uno de ingeniería de fiabilidad, y a la industria le falta justamente ese gremio. La aviación comercial no es el transporte más seguro del mundo porque sus ingenieros sean mejores personas, sino por décadas de cultura de notificación de incidentes, redundancia obligatoria, investigación independiente de accidentes y lentitud deliberada en la certificación. Nada de eso existe todavía en los laboratorios de frontera, y el ensayo de Robinson es la constatación desde dentro de que no basta con contratar más gente lista.

Y por eso la frase decisiva es la última: su conclusión es que hacen falta «incentivos de seguridad más fuertes, procedentes de fuera de la empresa». Es, dicho sin aspavientos, el reconocimiento de que la autorregulación no escala cuando el equipo va siempre a sprint. No leemos esto como una profecía de catástrofe: leemos que la IA está entrando en la fase en la que toda tecnología transformadora tuvo que profesionalizar su seguridad, y ese tránsito —caro, lento, poco glamuroso— es la condición para lo que de verdad nos interesa a largo plazo. Si queremos que estos sistemas acaben diseñando fármacos y gestionando diagnósticos, tienen que ser aburridamente fiables antes. Un ensayo como este, incómodo para la empresa, es parte del mecanismo que lo hace posible.