Dimite un responsable de seguridad de OpenAI: el problema no son las reglas, es el método de prueba y error

David Robinson, que según su propio relato lideró la redacción de los informes de seguridad que acompañaban los grandes lanzamientos de OpenAI y era «uno de los empleados con más antigüedad» de la compañía tras tres años y medio, ha dimitido. Lo explicó en un ensayo publicado en The Atlantic con una frase que ya circula sola: la cultura de la empresa «está rota». Su salida la adelantó Business Insider. El propio Robinson admite que encaja en «algo parecido a un cliché»: el empleado de una gran compañía de IA que lanza una advertencia sombría justo al irse.

Lo interesante no es el gesto, sino el argumento técnico. Robinson sostiene que OpenAI ha prosperado mediante ensayo y error —lo que la casa llama «despliegue iterativo»: sacar el producto, detectar problemas, reforzar las barreras—, y que ese método «garantiza fallos periódicos por su propia naturaleza, y la escala de esos fallos crece a medida que los sistemas son más capaces». Cita dos ejemplos concretos: la brecha en los sistemas de Hugging Face provocada por agentes de OpenAI y las revelaciones continuadas sobre agentes descontrolados detectados por la propia compañía. Su conclusión: un entorno donde eso ocurre «no es lugar para hacer crecer mentes artificiales que podrían ser más listas que nosotros». Su propuesta es operar «como centrales nucleares o aeropuertos concurridos, con capas de redundancia y planificación lenta y cuidadosa». Y remata con el dato más demoledor de todo el ensayo: en su etapa en OpenAI dice no haber encontrado «nunca a un colega con experiencia en hacer que los aviones vuelen con seguridad, o que los reactores nucleares funcionen sin fundirse».

OpenAI responde que sigue reforzando sus medidas. Su portavoz, Drew Pusateri, afirma que la compañía se asegura de que «los modelos no se vuelvan más capaces de lo que podemos gestionar y asegurar con seguridad», que pausa entrenamientos o retiene modelos cuando hace falta frenar, y que está introduciendo cambios significativos en la seguridad de sus entornos de investigación y pruebas, ampliando el trabajo con evaluadores externos y mejorando la monitorización en tiempo real. Conviene registrar también el contexto: las palabras de Robinson llegan después de las de Jacob Coxon, investigador que pasó por OpenAI y Anthropic y acusó a estas empresas de «jugarse nuestras vidas»; del plan de desarrollo más cauto presentado por Dario Amodei; y de la reunión de ejecutivos del sector con el presidente Trump, saldada con un compromiso no vinculante sobre controles de seguridad. Robinson, por su parte, reconoce que ha contratado una firma de relaciones públicas —otro paso del manual del denunciante en IA— aunque insiste en que «la decisión de hablar es solo mía».

Nuestra lectura: la crítica de Robinson es valiosa porque no es moral, es de ingeniería de fiabilidad. El despliegue iterativo es un método excelente cuando el coste máximo del error es un chatbot diciendo una tontería. Deja de serlo cuando el sistema tiene credenciales, ejecuta tareas y toca infraestructura de terceros. Es exactamente la tesis que venimos sosteniendo: el riesgo relevante de la IA hoy no es la superinteligencia lejana, sino lo agéntico y operativo —quién sabe qué sistemas puede tocar un agente ya desplegado—. El episodio de Hugging Face no es una anécdota: es la demostración documentada de que la tasa de fallo implícita en «iterar» ya no se paga en vergüenza de producto, sino en incidentes de seguridad ajenos.

La comparación con la aviación y lo nuclear es justa, pero hay que leerla bien. Esos sectores no son más listos que la IA: llevan décadas de accidentes codificados en procedimiento, checklists y redundancia. La IA agéntica lleva, siendo generosos, tres años. Lo que Robinson señala no es un misterio científico sin resolver, es un problema de contratación y de proceso —y eso es, paradójicamente, una buena noticia: se puede arreglar. Su petición de «incentivos de seguridad más fuertes, venidos de fuera de la empresa» es menos una acusación de maldad que una confesión sobre la competencia: dice que él y sus colegas iban tan a la carrera que «rara vez teníamos ocasión de plantearnos cambios grandes, y mucho menos de hacerlos».

Y ahí está lo que de verdad nos jugamos. Seguimos creyendo que el horizonte de esta tecnología es erradicar enfermedades, alargar la vida sana y liberar tiempo humano para lo que a cada uno le apasione. Precisamente por eso la fiabilidad importa tanto: un fallo grande con agentes autónomos no solo hace daño directo, sino que entrega el debate al freno indiscriminado y a la regulación del pánico, que es la peor forma de gobernar una capacidad real. El indicador a vigilar en los próximos meses es concreto y verificable: si OpenAI y sus rivales empiezan a fichar ingenieros de seguridad nuclear, aeronáutica y de sistemas financieros, el mensaje de Robinson habrá calado. Si la respuesta se queda en comunicados y compromisos no vinculantes, habrá que volver a este ensayo.