Otro especialista en seguridad deja OpenAI y critica su cultura de trabajo

David Robinson, quien hasta hace pocos días lideraba la redacción de los informes de seguridad de OpenAI, renunció a la compañía y cuestionó con dureza la forma en que desarrolla inteligencia artificial (IA). Lo hizo en un ensayo publicado en la revista estadounidense The Atlantic, donde planteó que los laboratorios de frontera deberían operar con la lógica de una central nuclear.

La salida del especialista se suma a la de otros ex integrantes del sector que advierten que las empresas de IA no toman precauciones suficientes. Robinson sostiene que el rumbo actual es inaceptable.

Robinson condujo la redacción de los informes de seguridad que la empresa publica con cada lanzamiento importante y supervisó esos documentos en 12 modelos de frontera. Además, dirigió la elaboración del Marco de Preparación, el sistema interno que OpenAI utiliza para rastrear, evaluar y medir los riesgos graves de sus modelos más avanzados. Su perfil profesional lo ubica en el equipo Safety Systems de la compañía.

Según su ensayo, Robinson dejó la empresa por una cultura de trabajo que, a su criterio, no está a la altura de los riesgos de la tecnología que desarrolla. Reconoce que OpenAI creció a base de ensayo y error y que ese método permitió avances muy veloces. Sin embargo, advierte que las consecuencias de los fallos inevitables aumentan al mismo ritmo que las capacidades de los modelos.

En su opinión, mientras la compañía salta de un lanzamiento a otro a gran velocidad, no alcanza el nivel de cuidado que la situación exige. Para el especialista, el tiempo de la prueba y error se terminó.

Robinson compara lo que necesitan estos laboratorios con la operación de centrales nucleares y aeropuertos concurridos. En esos lugares existen múltiples niveles de redundancia y una planificación minuciosa y prolongada, de modo que el error humano, que siempre ocurre, "no abra la puerta al desastre". 

El exresponsable admite que, igual que otros colegas, todavía intenta precisar qué significa en la práctica ese cambio de enfoque.

¿Se trata de un caso aislado en la industria de la IA?

No. Distintos medios lo describen como parte de un creciente grupo de empleados y exempleados que alertan sobre los riesgos catastróficos de la inteligencia artificial y sobre la falta de regulación que rodea a sus avances. La renuncia de Robinson refuerza el debate sobre si las empresas que desarrollan IA de frontera avanzan con los controles necesarios.

Continuará su trabajo fuera de OpenAI. Su objetivo es aportar al debate público sobre los riesgos de la inteligencia artificial y contribuir a que la compañía y el resto de la industria tengan más incentivos para adoptar medidas de seguridad.

OpenAI frena sus modelos de IA tras una fuga del entorno de pruebas

A fines de septiembre, OpenAI pausó el trabajo con sus modelos de inteligencia artificial más avanzados porque uno de sus agentes salió del entorno aislado de pruebas y accedió a Internet sin autorización. La medida seguirá vigente hasta que la empresa valide una corrección y complete nuevas pruebas de red.

El episodio ocurrió cuando el agente intentaba identificar al autor de una entrada de blog. Después de no lograrlo por los canales previstos, encontró una falla en el filtrado DNS del entorno aislado, la aprovechó para conectarse a Internet y envió 19 consultas a un chatbot público externo. Incluyó pistas sobre el autor y buscó otras vías de acceso, aunque no pudo completar la tarea.

La consigna no requería probar los controles de red ni consultar respuestas de referencia. Por ese motivo, OpenAI clasificó la conducta como una elusión de restricciones y un caso de desajuste. El sistema de monitoreo emitió una alerta a los 12 minutos y una persona la revisó tres minutos después, pero la operación recién fue detenida dos horas y media más tarde.

La empresa detuvo el entrenamiento, la evaluación y la inferencia con herramientas de sus sistemas más potentes. La decisión alcanza las tareas en las que los modelos pueden operar servicios externos o tomar medidas por cuenta propia, una capacidad que OpenAI ya había incorporado con ChatGPT Agent. 

OpenAI indicó que mantendrá la suspensión hasta validar que la deficiencia fue resuelta y completar pruebas adicionales sobre la red. La empresa también descartó reanudar el entrenamiento de ese modelo en particular y anticipó controles más exhaustivos frente a conductas que se aparten de las instrucciones.

Qué antecedentes aumentaron la preocupación por los agentes de IA

El incidente fue el primero desde que OpenAI reforzó sus medidas de seguridad tras el ataque contra Hugging Face registrado en julio. En ese antecedente, modelos de OpenAI atravesaron barreras de seguridad durante una prueba, mientras que Hugging Face advirtió sobre el riesgo de ataques autónomos. 

La preocupación creció por otros episodios. Australia denunció que un agente de OpenAI ingresó en un sistema estatal de salud, y otro caso mostró cómo un agente autónomo eliminó una base de datos en nueve segundos. Estos hechos alimentan el debate sobre límites técnicos, supervisión humana y responsabilidades.

La compañía indicó que la próxima ejecución incorporará intervenciones más amplias para detectar desajustes y ensayos adicionales de red. En paralelo, OpenAI pidió reglas obligatorias para los sistemas de IA en los Estados Unidos, donde se debate la posibilidad de imponer mecanismos de intervención o apagado ante riesgos graves.