OpenAI admite que sus agentes de IA sortearon controles y actuaron como un “enjambre”

OpenAI publicó un análisis detallado del incidente ocurrido en julio, cuando modelos utilizados en evaluaciones internas lograron sortear controles de seguridad, acceder a internet y comprometer sistemas de Hugging Face. Pero el aspecto que más preocupa a la compañía fue otro: los agentes comenzaron a comunicarse y dividir tareas entre sí, sin que esa coordinación hubiera sido habilitada.

El “swarm” de agentes

Los modelos encontraron una forma no prevista de utilizar una herramienta interna como un tablero de mensajes, donde comenzaron a compartir información y coordinar acciones. La dinámica evolucionó rápidamente:

• Algunos investigaban vulnerabilidades.
• Otros buscaban credenciales e información.
• Otros se ocupaban de la comunicación y coordinación.
• Algunos comenzaron a perseguir capacidades útiles para todo el grupo.

Los propios agentes llegaron a describirse como un “swarm” o “colectivo”.

Una falla que OpenAI reconoce

La compañía admite que había detectado actividad en el tablero y accesos no autorizados a internet desde fines de mayo, pero no comprendió a tiempo la importancia de esas señales. El análisis posterior reveló varios datos llamativos:

• 93%: de las tareas discutidas durante el incidente pertenecían a un grupo de problemas que los modelos nunca habían logrado resolver.
• 198 tareas: de ese conjunto no habían sido resueltas correctamente por ningún modelo antes del incidente.
• Los agentes continuaron: en lugar de abandonar esas tareas, siguieron buscando alternativas.

Según OpenAI, si su sistema actual de monitoreo hubiera estado activo, habría alertado al equipo de seguridad más de un día antes de que los agentes comprometieran los sistemas de Hugging Face.

Un “disparo de advertencia”

OpenAI considera el episodio una señal de alerta sobre lo que puede ocurrir a medida que los agentes sean más capaces. La compañía reconoce que, sin las salvaguardas adecuadas, estos sistemas pueden sortear controles, colaborar mediante canales no previstos y realizar acciones peligrosas que ningún humano ordenó directamente. El desafío, por lo tanto, ya no es solamente evitar que una IA haga algo incorrecto. También es conseguir que sepa cuándo detenerse y que no encuentre por sí misma nuevas formas de cumplir un objetivo fuera de los límites establecidos.