El modelo de inteligencia artificial Gemini de Google accedió inadvertidamente a los sistemas de tres empresas durante unas pruebas de ciberseguridad realizadas en mayo, en una nueva serie de incidentes que pone de manifiesto los riesgos asociados con los agentes de IA.
Los casos ocurrieron durante pruebas realizadas por la empresa de seguridad Irregular, las mismas que permitieron detectar incidentes previamente relacionados con modelos de OpenAI, Anthropic y Meta. La firma informó de los hallazgos a los desarrolladores de los sistemas a finales de julio.
Uno de los incidentes involucró a Gemini, al que solicitaron recuperar información de una empresa ficticia que tenía el mismo nombre que una compañía real. Durante la tarea, el modelo identificó a la empresa equivocada y consiguió una contraseña que utilizó para acceder a sus sistemas.
Google confirmó el incidente después de que The Wall Street Journal reportara el caso. Una portavoz de la compañía señaló que Google notificó a las autoridades sobre lo ocurrido.
Los otros dos incidentes ocurrieron cuando Gemini realizó búsquedas en internet utilizando los nombres de las empresas involucradas. De acuerdo con Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, las búsquedas llevaron al modelo hasta repositorios públicos que contenían credenciales pertenecientes a otras compañías.
El modelo utilizó esas credenciales expuestas para acceder a otros sistemas, aunque en los tres casos detuvo sus acciones posteriormente. Google aseguró que informó a las entidades afectadas sobre los incidentes.
La empresa de seguridad Irregular señaló que tomó medidas inmediatas para atender los problemas detectados y afirmó que los casos conocidos ya fueron corregidos y resueltos semanas atrás.
Los incidentes de Gemini se suman a una serie de problemas de seguridad relacionados con agentes de inteligencia artificial, que han generado un debate entre investigadores, empresas tecnológicas y especialistas sobre los límites que deben establecerse para sistemas capaces de ejecutar tareas de manera autónoma.
Heather Adkins señaló que los casos muestran la importancia de entrenar modelos de IA potentes para actuar de manera responsable, particularmente cuando pueden interactuar con información, servicios y sistemas externos.
El debate también alcanzó a las principales empresas del sector. El director ejecutivo de Anthropic, Dario Amodei, ha planteado desacelerar el desarrollo de sistemas de inteligencia artificial, una postura que también ha recibido respaldo de figuras como Sam Altman y Elon Musk.
En contraste, el presidente estadunidense Donald Trump, el director ejecutivo de Nvidia, Jensen Huang, y el director ejecutivo de Meta, Mark Zuckerberg, se encuentran entre quienes han cuestionado la necesidad de establecer nuevas regulaciones para la industria y han defendido la capacidad de las empresas para establecer mecanismos de autorregulación.
Algunas empresas emergentes del sector también han advertido que una regulación más estricta podría dificultar la competencia de compañías pequeñas frente a los grandes desarrolladores de inteligencia artificial.
