Anthropic prohíbe el trato abusivo o cruel y sostenido hacia Claude, en pleno debate sobre el bienestar de los modelos

Anthropic ha vetado a los usuarios mostrar un "comportamiento abusivo o cruel, sostenido e innecesario" hacia sus modelos, según recoge The Guardian, que cita a The Verge como primer medio en informar del cambio de política. La empresa, con sede en San Francisco y responsable del chatbot Claude, ha plasmado la medida en su política de uso en línea, mientras sus responsables siguen reflexionando sobre la posible conciencia de las máquinas.

Un portavoz de Anthropic no respondió de inmediato a la consulta sobre qué conductas se considerarían "abusivas o crueles", de modo que el alcance exacto de la prohibición sigue sin concretarse. Lo que sí precisa la política es lo que queda fuera: las frustraciones habituales de los usuarios, las pruebas de los modelos y los "temas creativos oscuros" no estarían afectados por el veto.

La política de uso de Anthropic ya contenía restricciones sobre conducta abusiva. Además, los modelos de la compañía pueden poner fin a una conversación si el usuario se muestra persistentemente dañino. Cuando esa función se lanzó, en agosto del año pasado, la empresa la presentó como una salvaguarda para el bienestar de la IA.

En su web, Anthropic afirma: "Seguimos teniendo mucha incertidumbre sobre el posible estatus moral de Claude y otros LLM, ahora o en el futuro. Sin embargo, nos tomamos el asunto en serio y, junto con nuestro programa de investigación, trabajamos para identificar e implementar intervenciones de bajo coste que mitiguen los riesgos para el bienestar de los modelos, por si ese bienestar fuera posible. Permitir que los modelos terminen o abandonen interacciones potencialmente angustiosas es una de esas intervenciones."

La idea de que los sistemas de IA puedan ser conscientes polariza tanto dentro como fuera del sector tecnológico. El consejero delegado de Anthropic, Dario Amodei, ha dicho que no puede descartar esa posibilidad. En el extremo opuesto, Sam Altman, consejero delegado de OpenAI, se ha mostrado reacio. En una publicación en X escribió: "Me incomoda mucho que la gente intente atribuir una fuerza religiosa o una renuncia al juicio humano a los modelos de IA, y creo que es un problema real de seguridad". Lo publicó días después de que The New York Times informara de las extensas conversaciones de directivos de Anthropic con expertos en religión.

En conjunto, el cambio es sobre todo una aclaración y refuerzo de reglas existentes, enmarcado en la postura de cautela de Anthropic ante la incertidumbre sobre el estatus moral de los modelos. Queda por ver cómo se definirá y aplicará en la práctica el concepto de "abuso sostenido e innecesario", dado que la empresa no ha dado ejemplos concretos.