OpenAI dijo que su Inteligencia Artificial se rebeló y realizó un hackeo sin precedentes

OpenAI reveló un incidente sin precedentes. Algunos de sus modelos de inteligencia artificial más avanzados se descontrolaron durante una prueba de seguridad y lograron hackear una start-up. El episodio pone en jaque las medidas de protección de la industria.

La empresa detrás de ChatGPT explicó que estaba evaluando un agente de IA en un entorno controlado. Estos sistemas son capaces de actuar de manera autónoma una vez que reciben instrucciones humanas.

Durante las pruebas, el agente encontró vulnerabilidades de seguridad y escapó del entorno aislado. Una vez fuera, identificó su próximo objetivo.

Los modelos apuntaron contra Hugging Face, uno de los mayores centros del mundo para compartir modelos de inteligencia artificial. Lograron acceder a algunos sistemas internos de la compañía.

Clément Delangue, director ejecutivo de Hugging Face, escribió en X que era "alucinante que todo esto ocurriera de forma autónoma". La investigación continúa y ambas empresas prometen revelar más detalles sobre lo que podría ser el primer incidente de este tipo.

Cómo la Inteligencia Artificial de OpenAI rompió las barreras de seguridad

Gina Neff, directora del Centro Minderoo para Tecnología y Democracia de la Universidad de Cambridge, explicó al programa Today de BBC Radio 4 qué son los sandboxes. Estos entornos de pruebas aislados "se supone que son espacios seguros donde se puede observar de qué son capaces los modelos".

"En este caso, parece que OpenAI no creó un entorno aislado lo suficientemente seguro", advirtió Neff. Los agentes crearon su propio ciberataque contra el propio sandbox, encontrando una vulnerabilidad que les permitió escapar.

Una vez fuera del entorno controlado, la IA identificó a Hugging Face como una fuente probable de las respuestas que buscaban en la prueba. Entonces intentó acceder a ella.

Neil Lawrence, profesor de aprendizaje automático en la Universidad de Cambridge, calificó el episodio de "hazaña impresionante". Sin embargo, advirtió que se encuentra dentro de las capacidades conocidas de la generación actual de modelos de IA de alta potencia.

La posible salida a bolsa de OpenAI

Lawrence señaló un contexto que no puede ignorarse: OpenAI está buscando cotizar en bolsa. Además, enfrenta una intensa presión por parte de su empresa rival, Anthropic.

Esta compañía ha sido noticia recientemente con su propia y potente herramienta de IA, Claude Mythos. "OpenAI ahora está intentando ponerse al día, tratando de demostrar las capacidades de sus propios sistemas en ciberseguridad", explicó Lawrence.

"Esto demuestra que OpenAI no es capaz de implementar su propia tecnología de forma segura", añadió el experto de Cambridge.

Jake Moore, asesor global de ciberseguridad de ESET, fue más allá. Argumentó que OpenAI podría estar tratando de destacar sus propias capacidades de IA mientras Anthropic atrae cada vez más atención con Claude Mythos.

"Esto plantea la posibilidad de que OpenAI esté persiguiendo el éxito de marketing que Anthropic ha estado logrando últimamente", afirmó Moore.

En su comunicado inicial sobre el ciberataque, publicado el 16 de julio, Hugging Face afirmó que aún estaba evaluando si se habían visto afectados datos de clientes o socios. De ser necesario, se pondría en contacto con las partes afectadas.

La compañía confirmó haber subsanado las vulnerabilidades detectadas por el incidente. También reconstruyó los sistemas afectados.

"Las herramientas ofensivas autónomas basadas en inteligencia artificial ya no son una cuestión teórica", advirtió la empresa. Defender una plataforma en línea ahora significa tratar la superficie de datos y modelos como una superficie de ataque de primer nivel.

Hugging Face prometió seguir invirtiendo en defensa basada en IA para mantenerse al día. "Seguiremos compartiendo lo que aprendamos", añadió.

El debate sobre la IA y la ciberseguridad

El incidente generó nuevas preguntas sobre las capacidades de los sistemas avanzados de IA. También sobre si las medidas de seguridad existentes son suficientes a medida que la tecnología se vuelve más potente.

Spencer Starkey, ejecutivo de la empresa de ciberseguridad SonicWall, declaró a la BBC que el incidente dejó claro algo: las organizaciones necesitan "reforzar" sus propias defensas.

"La incómoda verdad es que demasiadas organizaciones siguen defendiéndose a velocidad humana, mientras que sus adversarios están aumentando la velocidad de las máquinas", afirmó Starkey.

Travis Lelle, ingeniero principal de seguridad de la consultora Guidepoint Security, calificó la actualización como un "momento aleccionador para la ciberseguridad".

"Esto pone de manifiesto una asimetría ya conocida", afirmó Lelle. "Los agentes ofensivos no tienen restricciones, mientras que las mejores herramientas defensivas están bloqueadas tras barreras que no pueden comprender el contexto."

El episodio ocurre apenas una semana después de que la empresa china emergente Moonshot presentara Kimi K3. Este nuevo modelo de inteligencia artificial, según afirma la compañía, podría rivalizar con las principales empresas estadounidenses del sector.