Ni fe ciega ni pánico: la ciencia de saber cuándo (no) fiarte de una IA

DOS RESCATES EN UNA SEMANA. La primera semana de septiembre dejó dos historias que parecen opuestas y son la misma. Tres excursionistas sin experiencia tuvieron que ser rescatados en el monte Shasta (California, 4.322 metros) tras planificar la ruta y el equipaje con Gemini, el asistente de IA de Google. Según la oficina del sheriff del condado de Siskiyou, la IA les recomendó comida y agua insuficientes, y el grupo inició el descenso mucho después de la hora límite de seguridad; acabaron desorientados en el cañón de Mud Creek, con un herido en la rodilla. Días después, Jensen Huang, consejero delegado de Nvidia, proclamó que «la AGI ha llegado» porque Astra, el nuevo modelo de OpenAI, había puntuado un 99,9% en ARC-AGI-3, una prueba diseñada para medir si un modelo generaliza a problemas nuevos. Los creadores del benchmark respondieron con su propia medición: 62,7% usando su arnés estándar, es decir, el andamiaje de software neutral que conecta cualquier modelo con la prueba en igualdad de condiciones. Treinta y siete puntos de diferencia sin tocar el modelo: solo cambió el entorno del examen. Nuestra tesis: el problema central de la IA en 2026 ya no es cuánto sabe, sino que casi nadie —ni usuarios, ni directivos, ni consejeros delegados— sabe calibrar cuánto fiarse de ella en cada tarea. Y eso, a diferencia de la AGI, tiene ciencia detrás desde hace 40 años.

CUARENTA AÑOS DE CIENCIA. La aviación resolvió este problema a base de accidentes, y conviene copiarle los deberes. En 1997, los investigadores Raja Parasuraman y Victor Riley pusieron nombre a los dos modos de fallo, que son simétricos: «misuse» (fiarse de la automatización cuando no toca) y «disuse» (apagarla o ignorarla cuando sí toca). Ambos matan. Ese mismo año, el capitán de American Airlines Warren Vanderburgh acuñó la expresión «children of the magenta»: pilotos que seguían la línea magenta de su pantalla de navegación hasta el desastre; según su famosa charla de formación, el 68% de los accidentes de la época implicaba dependencia de la automatización. Los casos son tristemente célebres: en el vuelo Air France 447 (2009), el piloto automático se desconectó por una avería menor y la tripulación no supo recuperar el avión a mano; en el Asiana 214 (2013), la investigación citó la dependencia excesiva de la automatización como factor principal del accidente en San Francisco. La lección madura de esa literatura la formularon John Lee y Katrina See en 2004: el objetivo no es confiar más ni confiar menos, es la «confianza calibrada» — que tu nivel de confianza coincida con la fiabilidad real del sistema en esa tarea concreta. La aviación aplicó esa ciencia y hoy volar es la forma más segura de viajar. No tiró el piloto automático: aprendió cuándo vigilarlo.

LA FRONTERA DENTADA. Con la IA generativa hay un agravante que el piloto automático no tenía. En 2023, investigadores de Harvard y la consultora BCG lo midieron con 758 consultores reales (el estudio de Dell'Acqua y colegas). En 18 tareas que caían dentro de las capacidades de GPT-4, los consultores con IA completaron un 12,2% más de tareas, un 25,1% más rápido y con más de un 40% más de calidad. Pero en una tarea diseñada para caer justo fuera de esas capacidades, los que usaron IA acertaron 19 puntos porcentuales menos que quienes trabajaron sin ella. Los autores lo llamaron «frontera dentada» (jagged frontier): la IA es sobrehumana en unas tareas e inútil en otras que, para el usuario, parecen idénticas. Y la frontera es invisible desde fuera: Gemini planifica de maravilla un itinerario turístico por Roma y planifica fatal una ruta de alta montaña, y ambas preguntas se escriben igual, en el mismo cuadro de texto, con la misma respuesta impecablemente redactada. Aquí encaja la mejor analogía de este debate: nadie deja que un becario opere a corazón abierto, porque el becario duda, titubea y pide ayuda. El problema es que este becario habla siempre con la seguridad de un cirujano jefe.

LA FLUIDEZ NO ES COMPETENCIA. ¿Por qué caemos? Porque usamos atajos mentales. Como el usuario no puede verificar cada respuesta, su cerebro sustituye la pregunta difícil («¿es correcto?») por una fácil («¿suena seguro y bien escrito?»). Los datos dicen que ese atajo falla con los modelos actuales. Un estudio de Carnegie Mellon publicado en Memory & Cognition (julio de 2025) comparó la autoconfianza de humanos y chatbots: los humanos, tras fallar, ajustan sus expectativas; los modelos, no. En un juego tipo Pictionary, Gemini predijo que acertaría unos 10 dibujos, acertó 0,93 de media y, al terminar, afirmó haber acertado 14,4. Otro trabajo académico de 2025 documentó que los usuarios se fían sistemáticamente más de las respuestas expresadas con lenguaje seguro, y que el efecto se repite en todos los idiomas probados. El estudio de Harvard/BCG añadió un detalle inquietante: cuando los consultores señalaban errores a la IA, esta no reconocía sus límites, sino que escalaba la persuasión. Conviene decirlo sin rodeos: la fluidez es el resultado del entrenamiento del modelo, no un indicador de su fiabilidad. En humanos, seguridad y competencia correlacionan, aunque sea imperfectamente. En los modelos actuales, apenas.

NUESTRA LECTURA. Tres conclusiones. Primera: el episodio de Astra confirma nuestra tesis de siempre, medir vale más que el marketing. Un 99,9% con el protocolo del propio fabricante y un 62,7% con el arnés neutral no es un matiz técnico: es la diferencia entre capacidad demostrada y relato. Y ARC Prize hizo bien en recordar que ni siquiera saturar su prueba «demostraría AGI». Segunda: los dos errores simétricos de Parasuraman se están reproduciendo a escala social. Misuse: los excursionistas de Shasta, o el directivo que recorta plantilla porque «la IA ya hace eso» sin haberlo verificado. Disuse: el hospital o la escuela que prohíbe una herramienta capaz de reducir errores. El segundo error genera menos titulares, pero también cuesta vidas y oportunidades. Tercera: hoy la calibración recae en el usuario porque el producto no la ofrece. Los chatbots no muestran su tasa de error por tipo de tarea, no distinguen «lo sé» de «lo estoy generando» y están optimizados para agradar. Eso es un fallo de diseño de producto, no una ley de la naturaleza: la investigación reciente en interacción humano-máquina ya trata la calibración de la confianza como un problema de diseño, no como una torpeza del usuario.

REGLAS PRÁCTICAS E IMPLICACIONES. Mientras el diseño mejora, la literatura permite destilar una heurística de dos ejes: coste del error y facilidad de verificación. Si el error es barato y verificarlo es fácil (un borrador, un código que se prueba al ejecutarlo, un resumen que vas a leer entero), delega sin miedo: ahí la IA ya es sobrehumana en velocidad y el estudio de BCG lo cuantifica. Si el error es caro y verificarlo exige ser experto (salud, dinero, derecho, una montaña de 4.000 metros), la IA es un primer borrador, nunca la última palabra: exige fuentes, contrasta con una autoridad humana u oficial. El sheriff de Siskiyou lo dijo con precisión: llama a la estación de guardas forestales antes de subir. Y una tercera regla transversal: desconfía del tono; la seguridad verbal de un modelo no aporta información sobre su acierto. A largo plazo mantenemos nuestro optimismo habitual, matizado. La aviación tardó una generación en convertir la automatización en el sistema de seguridad más eficaz de la historia del transporte, y no hay ninguna razón física para que la IA no recorra el mismo camino: modelos que digan «no lo sé» de forma fiable, interfaces que muestren la fiabilidad por tarea y una alfabetización pública que hoy no existe. La abundancia que esperamos de esta tecnología —diagnóstico temprano, ciencia acelerada, educación personalizada— depende menos del próximo punto de benchmark que de esto: que millones de personas aprendan, como aprendieron los pilotos, cuándo seguir la línea magenta y cuándo levantar la vista.