Anthropic admite que todavía no tiene respuestas para los riesgos de la superinteligencia

Un informe de Anthropic alertó por el impacto laboral de la IA y un exinvestigador de la firma cuestionó la seguridad de los modelos más avanzados
Anthropic admite que todavía no tiene respuestas para los riesgos de la superinteligencia

El avance de la inteligencia artificial ya no plantea únicamente interrogantes sobre productividad, empleo o transformación de actividades. Dentro de las propias compañías que desarrollan estos sistemas crece también la preocupación por la capacidad de controlar modelos cada vez más sofisticados.

Una de las últimas señales surgió desde Anthropic, que esta semana difundió un estudio sobre el impacto que podría tener la automatización basada en IA sobre los trabajadores de oficina en Estados Unidos. En uno de los escenarios analizados, uno de cada cinco empleados de ese sector podría quedar desplazado hacia 2030.

El documento contempla además un deterioro de los ingresos de esos trabajadores. En ese escenario extremo, sus salarios serían más de un 10% inferiores a los que alcanzarían si estas tecnologías no estuvieran presentes, mientras que el desempleo se ubicaría por encima de registros históricos.

La compañía con sede en San Francisco remarcó que esas cifras no deben interpretarse como una proyección de lo que necesariamente sucederá. Se trata, según explicó, de escenarios hipotéticos elaborados para analizar posibles consecuencias de una expansión acelerada de la IA.

El informe apareció en un momento especialmente relevante para Anthropic. La empresa dirigida por Dario Amodei consiguió recientemente superar por primera vez a OpenAI en ingresos, mientras que meses atrás había quedado involucrada en una disputa política después de que Donald Trump la calificara como un "representante de la izquierda radical".

Exinvestigador de OpenAI y Anthropic advierte sobre el futuro de la inteligencia artificial

En paralelo con ese debate económico y laboral, Jacob Coxon, investigador británico de 27 años que trabajó tanto en OpenAI como en Anthropic, publicó una serie de mensajes en X en los que puso el foco sobre un riesgo mucho más extremo.

Coxon se especializó en el entrenamiento de los modelos que utilizan ChatGPT y Claude. Según sostuvo, las compañías del sector son conscientes de que el desarrollo de sistemas cada vez más poderosos podría desembocar en consecuencias graves. Su advertencia fue tajante: "Podrían matarnos a finales de esta década".

El planteo recibió una respuesta particularmente significativa porque provino de alguien que actualmente forma parte de Anthropic y que, además, había sido superior de Coxon. Evan Hubinger coincidió públicamente con el investigador y escribió: "Jacob tiene razón".

Pero el referente de Anthropic fue todavía más específico al explicar cuál considera que es uno de los problemas pendientes. "Creo que estamos haciendo lo mejor que podemos, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia y no estamos claramente en camino de lograrlo", reconoció.

El llamado problema de alineamiento está relacionado con la dificultad de conseguir que sistemas de IA altamente capaces mantengan sus objetivos y comportamientos dentro de parámetros compatibles con los intereses humanos. En el caso planteado por Hubinger, la dificultad adquiere especial importancia ante la eventual llegada de una superinteligencia.

La respuesta de Anthropic

Anthropic no negó completamente las preocupaciones expresadas por su exempleado. En cambio, aprovechó la discusión para insistir en la necesidad de establecer mecanismos que permitan coordinar el desarrollo de los sistemas más potentes.

"Creemos que el mundo se beneficiaría si el sector adoptase una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de los modelos potentes", afirmó la compañía.

Un vocero de la startup también defendió el trabajo que realiza en materia de seguridad y recordó que la llegada de la IA tendrá efectos tanto positivos como negativos.

"Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes. Para abordarlos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector", declaró.

Coxon, sin embargo, mantuvo su posición crítica respecto de las dos empresas en las que trabajó. "Ninguna de las dos compañías actúa de manera responsable", sostuvo.

Qué dijo Coxon sobre una eventual amenaza para la humanidad

Después de la repercusión que alcanzaron sus publicaciones, Coxon amplió sus argumentos en una entrevista con CNN. Allí mencionó episodios en los que agentes de OpenAI realizaron ataques sin supervisión sobre plataformas de terceros, como parte de los comportamientos que considera relevantes para evaluar los riesgos de los nuevos sistemas.

El investigador introdujo, de todos modos, una diferencia entre los peligros actuales y los escenarios más extremos. A su entender, la tecnología disponible hoy todavía no tiene las capacidades necesarias para provocar la extinción de la humanidad.

Su preocupación central pasa por otro punto: la velocidad a la que avanzan los modelos puede hacer que los mecanismos de control y adaptación social queden detrás de la evolución tecnológica. "Creo que es importante revisar el ritmo de estos progresos", concluyó.

La posibilidad de desacelerar el desarrollo tampoco es una idea completamente ajena a OpenAI. Su CEO, Sam Altman, había planteado una inquietud similar a mediados de año durante una participación en el podcast Invest Like The Best.

"Es posible que debamos ajustar el ritmo de desarrollo de la IA para darnos tiempo suficiente a que la sociedad se adapte a estos nuevos niveles de capacidad", afirmó entonces. Altman también admitió que los episodios protagonizados por los modelos más avanzados generan "interrogantes de largo plazo".

El debate, así, excede la competencia comercial entre las principales empresas de inteligencia artificial. El crecimiento de las capacidades de estos sistemas abre al mismo tiempo discusiones sobre empleo, seguridad, supervisión y el ritmo con el que deberían llegar al público. Y algunas de las advertencias más fuertes ya provienen de personas que trabajaron dentro de las compañías que encabezan esa carrera.

Temas relacionados