El CEO de Anthropic: Claude no es adecuado para aplicaciones militares, espera firmar términos más claros

El CEO de Anthropic, Dario Amodei, concedió una entrevista a Zanny Minton Beddoes, editora en jefe de The Economist, en la que explicó por qué Anthropic se opone a ciertos términos en los contratos con el Pentágono. Considera que la postura de Anthropic no solo se basa en valores democráticos, sino también en la preocupación de si los modelos de IA existentes son lo suficientemente confiables para su uso en defensa militar y quién debería tener finalmente el control de estos. Amodei también expresó su deseo de entablar un diálogo con el gobierno para discutir la firma de términos más claros en las regulaciones de IA.

Amodei: Claude aún no puede convertirse en un modelo de automatización militar completa

Tras insistir en que Claude no debe usarse para vigilancia masiva ni armas autónomas, la administración de Trump ordenó prohibir a las agencias federales utilizar las herramientas de modelos proporcionadas por la compañía. Actualmente, Claude ha sido etiquetado por Estados Unidos como proveedor de riesgos en IA. Amodei afirmó que el modelo principal de Anthropic, Claude, todavía no está preparado para aplicaciones militares completamente automatizadas. Como proveedor privado de IA, considera que no es fácil explicar a los clientes gubernamentales cómo usar los modelos de manera adecuada, pero cree que estas medidas de seguridad son necesarias.

Amodei aclaró que Anthropic firmó un contrato de alcance limitado con el Pentágono, y actualmente ese acuerdo no presenta problemas. Sin embargo, están preocupados por el uso futuro y la expansión del alcance. La automatización militar total podría crear un escenario en el que una IA controle millones de drones sin seguir las normativas militares tradicionales, y si no se establecen límites, sería imposible controlarlo.

¿Cómo puede Anthropic justificar que limitar el uso de armas sea razonable?

En su conversación con The Economist, Amodei explicó que las razones para restringir que Claude dirija drones en armas totalmente automáticas se basan en dos puntos: la falta de fiabilidad de Claude y la ausencia de un marco de supervisión humana (vídeo 0:00-0:18, 5:48-5:58).

Falta de fiabilidad de Claude: Amodei comparó la capacidad de Claude con la de un piloto de avión que debería publicar que ciertos métodos de pilotaje podrían ser inseguros (vídeo 0:05-0:49).

Falta de un marco de supervisión humana: También expresó su preocupación por la ausencia de regulaciones humanas para gestionar un ejército de drones, lo que podría permitir que una sola persona controle millones de armas sin asumir responsabilidades militares tradicionales (vídeo 5:48-6:55).

¿Cómo manejar las diferencias de opinión sobre la inteligencia artificial militar?

A través de su entrevista con The Economist, Amodei manifestó su esperanza de que Anthropic y el gobierno puedan abordar de manera más detallada las discrepancias en la aplicación de la IA. Enfatizó que los proveedores de IA y las autoridades deben discutir la fiabilidad de los modelos existentes y las regulaciones de gobernanza para gestionar los riesgos potenciales. Considera que los proveedores tienen la responsabilidad de aclarar en qué niveles de madurez se encuentran sus modelos en aplicaciones de alto riesgo.

Amodei propuso firmar primero un contrato limitado que cubra casos de uso consensuados, para que ambas partes puedan establecer normas operativas antes de expandir su aplicación a tareas más controvertidas. Actualmente, es necesario abrir un diálogo para encontrar un punto de consenso y equilibrio, que ni otorgue demasiado poder a las empresas privadas ni concentre el poder gubernamental de manera inalterable.

El nombre de Anthropic proviene de “antropología”, reflejando la intención de sus fundadores: crear una empresa de IA centrada en las personas. Esta convicción ha hecho que Amodei sea uno de los pocos CEO de alta tecnología que se atreve a desafiar públicamente al gobierno de EE. UU. y a señalar que China está robando la tecnología de Claude. Cómo Anthropic logrará equilibrar sus principios con las necesidades de seguridad nacional será un punto clave en el desarrollo de la militarización de la IA. ¿Cómo se resolverá este estancamiento en la frontera entre soberanía tecnológica y ética? El mundo está atento.

Este artículo, titulado “CEO de Anthropic: Claude no es adecuado para uso militar, espera firmar términos más claros”, fue publicado originalmente por ABMedia.