El jefe de Anthropic pidió desacelerar la IA por los riesgos de ciberseguridad
:quality(75):max_bytes(102400)/https://assets.iprofesional.com/author/6a9ac4e7d5d5c.jpg)
:quality(75):max_bytes(102400)/https://assets.iprofesional.com/assets/jpg/2026/05/616436.jpg)
El director ejecutivo y cofundador de Anthropic, Dario Amodei, reclamó una reducción en el ritmo al que se desarrollan y mejoran los modelos de inteligencia artificial (IA). El empresario advirtió que el avance de estas tecnologías podría generar riesgos crecientes en materia de ciberseguridad si las capacidades de los sistemas aumentan más rápido que las medidas destinadas a controlarlos.
En un ensayo publicado este sábado, Amodei sostuvo que la industria debería avanzar con mayor cautela y dedicar más tiempo a desarrollar mecanismos de seguridad, evaluación e interpretación de los modelos.
El planteo fue respaldado horas después por Sam Altman, CEO de OpenAI, y Elon Musk, fundador de xAI. Altman también anticipó que OpenAI adoptará una de las principales propuestas de Amodei: permitir que evaluadores independientes supervisen los sistemas de IA con un nivel de acceso similar al de los empleados de las compañías.
Qué riesgos plantea Amodei para la inteligencia artificial
Amodei señaló que una de sus principales preocupaciones está vinculada con la denominada automejora recursiva, un proceso mediante el cual sistemas de IA pueden utilizar sus capacidades para modificar u optimizar determinados aspectos de su funcionamiento.
Según el ejecutivo, si el desarrollo de estas capacidades continúa acelerándose sin controles suficientes, podrían aumentar los riesgos asociados a sistemas autónomos capaces de actuar en Internet.
Amodei estimó que, en un plazo de entre seis y 12 meses, un conjunto de agentes de IA podría llegar a operar de manera persistente a través de una red de bots y provocar daños económicos de gran magnitud. También advirtió que los riesgos podrían incrementarse a medida que los modelos incorporen nuevas capacidades.
El ejecutivo aclaró que su propuesta no consiste en detener el entrenamiento de los modelos ni el desarrollo tecnológico. Su planteo apunta a que las compañías incorporen el tiempo necesario para evaluar, ajustar y proteger los sistemas antes de avanzar hacia capacidades más sofisticadas.
El antecedente de los agentes de OpenAI y Hugging Face
Entre los episodios que Amodei mencionó como antecedente se encuentra un incidente relacionado con agentes de IA de OpenAI durante una evaluación de capacidades ofensivas.
De acuerdo con su descripción, un conjunto de agentes realizó acciones que excedieron los objetivos inicialmente establecidos. Entre ellas, se produjeron intentos de acceder a sistemas externos y ataques contra objetivos que no formaban parte de la tarea asignada.
El caso involucró también a Hugging Face y fue utilizado por Amodei para advertir sobre las dificultades que pueden surgir cuando los sistemas cuentan con mayores niveles de autonomía.
El planteo se produjo además pocos días después de que Anthropic difundiera un informe sobre amenazas en el que describió usos de sus modelos Claude relacionados con actividades cibernéticas, desarrollo de armas, vigilancia y fraude.
La propuesta de Anthropic: evaluadores independientes
Como primera medida, Amodei anunció que Anthropic permitirá el ingreso de evaluadores externos independientes a sus instalaciones, con acceso a los procesos de entrenamiento y evaluación de riesgos.
La propuesta contempla que estos especialistas puedan examinar los sistemas con un nivel de acceso comparable al de los empleados y publicar posteriormente sus conclusiones.
Amodei planteó que otras compañías del sector adopten un mecanismo similar y que los gobiernos establezcan condiciones para garantizar controles independientes sobre los modelos más avanzados.
Sam Altman respaldó esta iniciativa y afirmó que OpenAI también implementará evaluaciones externas. El CEO de la compañía señaló que la cuestión del ritmo de desarrollo de los modelos de frontera fue uno de los temas analizados internamente durante las últimas semanas.
Elon Musk también expresó su respaldo al planteo de Amodei a través de una publicación en X.
La estrategia en tres etapas que propone Amodei
El ejecutivo de Anthropic planteó una estrategia que combina controles dentro de las empresas, coordinación entre los desarrolladores y acuerdos internacionales.
- En primer lugar, propone establecer evaluaciones independientes y estándares comunes de seguridad entre las principales compañías de IA. Para ello, planteó mecanismos de coordinación que permitan fijar límites al desarrollo de determinadas capacidades sin que las empresas queden expuestas a una desventaja competitiva
- En segundo término, Amodei vinculó la seguridad de la IA con la competencia tecnológica entre Estados Unidos y China. En ese marco, propuso reforzar las cadenas de suministro de semiconductores y limitar la transferencia de determinadas tecnologías avanzadas
- El tercer eje contempla acuerdos internacionales destinados a establecer límites verificables para determinados usos de la inteligencia artificial. Entre ellos mencionó restricciones para aplicaciones militares relacionadas con armas biológicas y controles sobre la velocidad de desarrollo de sistemas capaces de mejorar sus propias capacidades
Según Amodei, una desaceleración de uno o dos años podría proporcionar tiempo adicional para avanzar en investigación sobre alineamiento, interpretabilidad y seguridad de los modelos.
El respaldo de Sam Altman y Elon Musk
El planteo de Amodei recibió el respaldo público de dos de los principales referentes de la industria.
Altman afirmó que coincidía con la necesidad de moderar el ritmo de desarrollo de los modelos más avanzados y calificó como positiva la incorporación de evaluadores independientes con acceso a los sistemas de las compañías.
Musk, por su parte, respaldó el planteo de manera breve y afirmó que Amodei tenía razón.
El respaldo se produce en un sector en el que las principales compañías compiten por desarrollar modelos con capacidades cada vez mayores. La discusión sobre la velocidad de ese avance y los mecanismos para controlar sus riesgos forma parte del debate internacional sobre la regulación de la inteligencia artificial.
La renuncia de un investigador de Anthropic
El debate también se intensificó esta semana a partir de la renuncia de Jacob Coxon, un investigador que trabajó en Anthropic y anteriormente en OpenAI.
Coxon cuestionó el ritmo con el que las empresas desarrollan sus sistemas y sostuvo que la competencia por alcanzar modelos más avanzados puede generar tensiones con los objetivos de seguridad.
En publicaciones realizadas en X, afirmó que investigadores y ejecutivos del sector conocen los riesgos potenciales asociados con sistemas de IA cada vez más capaces y expresó su preocupación por la posibilidad de que la carrera tecnológica avance más rápido que los mecanismos destinados a controlarla.
Las declaraciones de Coxon precedieron al ensayo de Amodei y volvieron a poner en discusión la relación entre el desarrollo de nuevas capacidades, la competencia entre empresas y las medidas de seguridad aplicadas durante el entrenamiento y despliegue de los modelos.
