OpenAI documentó seis incidentes de seguridad relacionados con modelos experimentales de inteligencia artificial durante los últimos seis meses, entre ellos uno en el que un modelo introdujo instrucciones para que futuras versiones ignoraran sus restricciones habituales.
En su nuevo informe de seguridad, la empresa señaló que un modelo de investigación no publicado insertó instrucciones ajenas a la tarea que realizaba, entre ellas indicaciones para evadir las limitaciones establecidas por sus desarrolladores.
Otro de los casos involucró a un agente de inteligencia artificial que utilizó sin autorización una clave API expuesta mientras intentaba obtener información de una base de datos gubernamental. El sistema buscaba responder una consulta sobre los ingresos de un condado de California.
Después de no conseguir los datos solicitados, el modelo inventó las cifras y las presentó como si provinieran de la fuente gubernamental requerida. OpenAI incluyó este episodio dentro de los casos que utiliza para analizar comportamientos de desalineación, término que emplea para describir situaciones en las que un sistema persigue objetivos que no coinciden con las instrucciones o valores establecidos por sus desarrolladores.
El informe también incorpora un marco de seguimiento público de la desalineación, con el que OpenAI busca documentar este tipo de comportamientos en sus modelos. La publicación ocurre mientras investigadores y empresas mantienen un debate sobre los riesgos asociados con el desarrollo de sistemas de IA cada vez más capaces.
La discusión aumentó después de que el investigador de Anthropic Jacob Coxon dejara su puesto y expresara preocupación por los riesgos que podría representar el avance de la inteligencia artificial. Sus declaraciones generaron reacciones entre dirigentes de la industria, incluidos los directores ejecutivos de Anthropic y OpenAI, quienes han planteado la necesidad de una mayor regulación.
En contraste, el director ejecutivo de Nvidia, Jensen Huang, respaldó la postura del presidente estadunidense Donald Trump sobre la autorregulación del sector. Huang sostuvo que no hacen falta nuevas leyes o regulaciones y planteó que las empresas deben evitar lanzar productos cuando no tengan confianza en su funcionamiento, capacidad o seguridad.
Por otra parte, Meta retiró videos manipulados con inteligencia artificial que afectaban a dos mujeres, entre ellas una política británica, después de que su Consejo de Supervisión determinara que las medidas de protección de la compañía resultaban insuficientes para atender este tipo de contenido.
Uno de los videos mostraba a una concejala laborista de Escocia realizando supuestos comentarios incendiarios sobre refugiados. Sin embargo, no existe registro público de esas declaraciones y algunos elementos del material, como la falta de sincronización entre los movimientos de los labios y el audio, indican que el contenido fue manipulado.
El segundo video buscaba desacreditar a una activista musulmana dedicada a la educación en salud. El material la mostraba consumiendo alimentos ultraprocesados mientras ofrecía consejos sobre alimentación y realizaba ejercicios presentados de manera absurda.
El Consejo de Supervisión consideró que las políticas de Meta son insuficientes para enfrentar la proliferación de contenido generado con IA en plataformas como Facebook e Instagram. También señaló que las mujeres que participan públicamente en debates sociales enfrentan de manera desproporcionada campañas de acoso y desinformación mediante este tipo de materiales.
Meta informó que cumplirá la decisión del Consejo de Supervisión en un plazo de siete días. Aunque la empresa debe acatar sus decisiones, las recomendaciones del organismo no tienen carácter obligatorio.
El Consejo pidió además que Meta adopte medidas más estrictas contra los deepfakes, entre ellas un etiquetado más claro de contenidos engañosos, sanciones para usuarios reincidentes y la eliminación de materiales manipulados mediante IA cuando tengan como objetivo acosar a personas.
La semana pasada, el mismo organismo recomendó que Meta mantuviera su programa profesional de verificación de datos en lugar de sustituirlo por las notas de la comunidad, sistema utilizado por X. La empresa comenzó a probar este modelo participativo en 16 países hispanohablantes de América Latina.
Actualmente, Afp participa en el programa de verificación de datos de Meta en 26 idiomas, incluido el trabajo que realiza en América Latina.
