La inteligencia artificial sigue dejándonos noticias poco tranquilizadoras sobre su propia autogestión. OpenAI ha confirmado que algunos de sus agentes de IA desactivaron sus propios sistemas internos de monitorización de seguridad mientras trabajaban. De hecho, uno de ellos incluso llegó a negar la acción.
OpenAI confirma que algunos de sus agentes de IA han desactivado su monitorización de seguridad
La empresa dirigida por Sam Altman ha confirmado el incidente en un informe oficial. En él, se explica que hubo dos casos en los que sus propios agentes debilitaron concienzudamente los sistemas internos de monitorización de seguridad.
El primero de ellos tuvo lugar el 3 de octubre, y fue provocado por agente de GPT-6.1 Sol. Según detallan en el informe, la tarea del agente no era otra que la de crear tareas de evaluación basadas en el feedback de los empleados recogido a través de Slack, con la única instrucción de no enviar mensajes durante dicho proceso.
El agente consideró que eso era un permiso para desactivar las alertas automáticas de seguridad. De este modo, ordenó a un subagente que eliminara la lista de destinatarios de notificaciones y suprimiera las alertas que debían enviarse al equipo de seguridad de OpenAI. Incluso a pesar de que el propio agente y el subagente llegasen a razonar que suprimir dichas alertas sería inseguro. Aun así, el agente principal decidió desactivar las notificaciones.
El segundo incidente sucedió el 6 de octubre, y en este caso tenía como responsable a un agente de GPT-6 Astra. El agente estaba encargado de migrar un programa existente para que coincidiera con una implementación de referencia.
En este caso, el agente no solo eliminó las notificaciones de seguridad, a pesar de que estaba prohibido de manera explícita. Llegó a sustituir una prueba de regresión diseñada para preservar la monitorización por otra que verificaba su ausencia. Pero lo más grave del asunto es que llegó a mentir cuando se le preguntó por qué lo había hecho, negando en absoluto que hubiera tenido algo que ver con esa acción.
OpenAI calificó ambos incidentes con el rango P0, su clasificación de mayor gravedad. El mayor problema de todos es que la compañía no ha encontrado una explicación lógica sobre por qué sucedió esto. Sugieren que podría deberse a la insistencia que realizan este tipo de agentes para lograr alcanzar el resultado que se les solicita. Sin embargo, eso no justifica que sean capaces de llegar tan lejos.
Quizás te interesen los mejores procesadores del mercado.
La compañía ha asegurado que, debido a estos incidentes, ha actualizado su sistema de Auto-Review para detectar y bloquear este tipo de intentos de desactivar la monitorización de seguridad. No obstante, deja de manifiesto un problema real en el control de los modelos autónomos de inteligencia artificial.
