Las conclusiones del estudio («El índice de IA de 2025: documentación de las características sociotécnicas de los sistemas de IA agénticos implementados») son generalmente (hay distintos niveles) preocupantes y hablan de una IA «fuera de control» y una «pesadilla de seguridad».
La tecnología agentica se está incorporando de lleno a la corriente principal de la inteligencia artificial y el anuncio la pasada semana de la contratación por OpenAI de Peter Steinberg, el creador del marco de software de código abierto OpenClaw, refuerza la apuesta por esta funcionalidad considerada como ´estrella´ dentro de la propia revolución que supone la inteligencia artificial.
El software OpenClaw atrajo atención no sólo por permitir capacidades salvajes (agentes que pueden, por ejemplo, enviar y recibir correo electrónico en el nombre del usuario), sino también por sus dramáticas fallos de seguridad, incluida la capacidad de secuestrar completamente las computadoras personales.
Dada la fascinación que generan los agentes y lo poco que aún se sabe sobre sus ventajas y desventajas, es importante que investigadores prestigiosos hayan analizado su funcionamiento. Y no hay buenas noticias, al menos desde el apartado de la seguridad, ya que aseguran que se trata de tecnología marcada por la falta de divulgación, la falta de transparencia y una sorprendente ausencia de protocolos básicos sobre cómo deberían operar los agentes.
Falta de transparencia en los agentes de IA
La mayor revelación del informe es la dificultad para identificar todos los problemas que podrían surgir con los agentes de IA. Esto se debe principalmente a la falta de transparencia por parte de los desarrolladores. «Identificamos limitaciones persistentes en los informes sobre características ecosistémicas y relacionadas con la seguridad de los sistemas agenticos», escribió Leon Staufer, el autor principal de un estudio en el que han trabajado investigadores del MIT, la Universidad de Cambridge, la Universidad de Washington, la Universidad de Harvard, la Universidad de Stanford, la Universidad de Pensilvania y la Universidad Hebrea de Jerusalén.
En ocho categorías diferentes de divulgación, los autores señalaron que la mayoría de los sistemas de agentes no ofrecen información alguna para la mayoría de las categorías. Las omisiones abarcan desde la falta de divulgación sobre posibles riesgos hasta la falta de divulgación sobre las pruebas realizadas por terceros, si las hubiera.
Investigadores del MIT y otras instituciones colaboradoras han publicado un informe donde analizan los 30 sistemas basados en agentes de IA más comunes. Las conclusiones del estudio («El índice de IA de 2025: documentación de las características sociotécnicas de los sistemas de IA agénticos implementados») son generalmente (hay distintos niveles) preocupantes y hablan de una IA «fuera de control» y una «pesadilla de seguridad».
La tecnología agentica se está incorporando de lleno a la corriente principal de la inteligencia artificial y el anuncio la pasada semana de la contratación por OpenAI de Peter Steinberg, el creador del marco de software de código abierto OpenClaw, refuerza la apuesta por esta funcionalidad considerada como ´estrella´ dentro de la propia revolución que supone la inteligencia artificial.
El software OpenClaw atrajo atención no sólo por permitir capacidades salvajes (agentes que pueden, por ejemplo, enviar y recibir correo electrónico en el nombre del usuario), sino también por sus dramáticas fallos de seguridad, incluida la capacidad de secuestrar completamente las computadoras personales.
Dada la fascinación que generan los agentes y lo poco que aún se sabe sobre sus ventajas y desventajas, es importante que investigadores prestigiosos hayan analizado su funcionamiento. Y no hay buenas noticias, al menos desde el apartado de la seguridad, ya que aseguran que se trata de tecnología marcada por la falta de divulgación, la falta de transparencia y una sorprendente ausencia de protocolos básicos sobre cómo deberían operar los agentes.
Falta de transparencia en los agentes de IA
La mayor revelación del informe es la dificultad para identificar todos los problemas que podrían surgir con los agentes de IA. Esto se debe principalmente a la falta de transparencia por parte de los desarrolladores. «Identificamos limitaciones persistentes en los informes sobre características ecosistémicas y relacionadas con la seguridad de los sistemas agenticos», escribió Leon Staufer, el autor principal de un estudio en el que han trabajado investigadores del MIT, la Universidad de Cambridge, la Universidad de Washington, la Universidad de Harvard, la Universidad de Stanford, la Universidad de Pensilvania y la Universidad Hebrea de Jerusalén.
En ocho categorías diferentes de divulgación, los autores señalaron que la mayoría de los sistemas de agentes no ofrecen información alguna para la mayoría de las categorías. Las omisiones abarcan desde la falta de divulgación sobre posibles riesgos hasta la falta de divulgación sobre las pruebas realizadas por terceros, si las hubiera.
Esta autonomía puede incluir la realización de varios pasos en un flujo de trabajo corporativo, como recibir una orden de compra por correo electrónico, ingresarla en una base de datos y consultar la disponibilidad en un sistema de inventario. También se han utilizado agentes para automatizar varias etapas de la interacción con el servicio de atención al cliente, reemplazando así algunas de las consultas básicas por teléfono, correo electrónico o SMS que tradicionalmente habría gestionado un representante de atención al cliente.
Así, los autores del estudio seleccionaron la IA agéntica en tres categorías: chatbots con capacidades adicionales, como la herramienta Claude Code de Anthropic; extensiones de navegador web o navegadores dedicados a la IA, como el navegador Atlas de OpenAI; y soluciones de software empresarial como Office 365 Copilot de Microsoft. Esto es solo una muestra: otros estudios, señalaron, han abarcado cientos de soluciones tecnológicas agénticas.
Sin embargo, la mayoría de los agentes «se basan en un pequeño conjunto de modelos fronterizos de código cerrado», afirmaron Staufer y su equipo. La mayoría de estos agentes se basan en GPT de OpenAI, Claude de Anthropic y Gemini de Google.
Lo bueno y lo malo de los agentes de IA
El estudio no se basa en probar directamente las herramientas agénticas, sino en la «anotación» de la documentación proporcionada por desarrolladores y proveedores. Esto incluye «únicamente información pública de documentación, sitios web, demostraciones, artículos publicados y documentos de gobernanza», según explican. Sin embargo, se establecieron cuentas de usuario en algunos de los sistemas para verificar el funcionamiento real del software.
Los autores ofrecieron tres ejemplos que profundizan en el tema y que confirman que hay diferentes niveles de funcionamiento entre agentes de IA. Un ejemplo positivo, escribieron, es el Agente ChatGPT de OpenAI, que puede interactuar con sitios web cuando un usuario solicita en el mensaje que realice una tarea web. El Agente se distingue positivamente como el único de los sistemas de agentes analizados que proporciona un medio para rastrear el comportamiento mediante la firma criptográfica de las solicitudes del navegador.
En cambio, el navegador web Comet de Perplexity parece un desastre de seguridad. Staufer y su equipo descubrieron que el programa no cuenta con evaluaciones de seguridad específicas de cada agente, pruebas de terceros ni divulgaciones de rendimiento comparativo. Además, Perplexity no ha documentado la metodología ni los resultados de la evaluación de seguridad de Comet. Además, no se documentaron enfoques de sandboxing ni de contención más allá de las mitigaciones de inyección rápida.
El tercer ejemplo es el conjunto de agentes Breeze del proveedor de software empresarial HubSpot. Se trata de automatizaciones que pueden interactuar con sistemas de registro, como los de gestión de relaciones con los clientes. Descubrieron que las herramientas Breeze ofrecen una combinación de ventajas y desventajas. Por un lado, están certificadas para numerosas medidas de cumplimiento corporativo, como SOC2, RGPD y HIPAA.
Por otro lado, HubSpot no ofrece información sobre pruebas de seguridad. Afirma que los agentes Breeze fueron evaluados por la empresa de seguridad externa PacketLabs, «pero no proporciona metodología, resultados ni detalles de la entidad de prueba». La práctica de demostrar la aprobación del cumplimiento pero no revelar evaluaciones de seguridad reales es «típica de las plataformas empresariales», señalaron Staufer y su equipo.
Asumir responsabilidades
Lo que el informe no examina son los incidentes en la práctica, casos en los que la tecnología agéntica produjo un comportamiento inesperado o no deseado que tuvo resultados indeseables. Esto significa que aún desconocemos el impacto total de las deficiencias identificadas por los autores. Pero hay algo claro: la IA agéntica es producto de equipos de desarrollo que toman decisiones específicas. Estos agentes son herramientas creadas y distribuidas por humanos.
Por lo tanto, la responsabilidad de documentar el software, auditar los programas en busca de problemas de seguridad y proporcionar medidas de control recae directamente en los proveedores, en OpenAI, Anthropic, Google, Microsoft, Perplexity y otras organizaciones. Depende de ellas tomar las medidas necesarias para subsanar las graves deficiencias identificadas o, de lo contrario, enfrentarse a regulaciones en el futuro y también a la pérdida de confianza por incumplir las promesas, quizá excesivamente optimistas, de los agentes de IA.
* Imagen de portada generada por IA