La realidad de los agentes de IA: ¿La gobernanza está avanzando al mismo ritmo?

Gartner predice que, para 2027, el 40 % de las empresas tendrá que reducir el nivel de autonomía o retirar agentes autónomos después de enfrentar importantes problemas de gobernanza tras algún incidente en producción. Lo más revelador no es la estadística en sí, sino el orden en que ocurre: la brecha solo se hace evidente después de que el agente ya ha actuado.

La mayoría de las organizaciones ya cuenta con políticas de IA, marcos de gestión de riesgos y responsabilidades definidas. Sin embargo, estos mecanismos fueron diseñados para una era en la que la IA hacía recomendaciones. Los copilotos sugieren textos y las personas deciden si los envían.

Los agentes son diferentes. Los agentes actúan. Recuperan datos, interactúan con software empresarial, se comunican con otros sistemas y ejecutan flujos de trabajo de varios pasos sin esperar la intervención humana. La pregunta ya no es si tu empresa tiene una política de IA, sino si esa política sigue siendo efectiva cuando el sistema que regula comienza a actuar por su cuenta.

Cuando solo tienes dos o tres agentes en fase de prueba, es fácil hacer seguimiento de quién es responsable de ellos y a qué pueden acceder. Pero, a medida que los equipos comienzan a implementarlos en diferentes unidades de negocio y plataformas, la visibilidad disminuye rápidamente, las responsabilidades se fragmentan y deja de estar claro qué puede hacer cada agente o qué reglas se aplican.

Imagina un agente estándar de servicio al cliente. Consulta los datos de un cliente, obtiene su historial de transacciones de una base de datos secundaria, actualiza un caso y activa un reembolso. Por separado, cada paso tiene sentido.

Pero ¿qué pasa si ese reembolso supera un límite financiero que normalmente requeriría la aprobación de un gerente? ¿Y si los datos de la transacción provienen de un sistema interno al que el agente nunca debió tener acceso? En muchos casos, nadie lo detecta hasta la auditoría mensual. Para entonces, el daño ya está hecho.

Como señala Gartner, las empresas suelen abordar la gobernanza de agentes como si fuera un interruptor: o están completamente restringidos o se confía plenamente en ellos. Ninguno de los dos extremos funciona. Los agentes más simples terminan excesivamente restringidos, lo que lleva a equipos de ingeniería frustrados a desarrollar soluciones por fuera de los canales establecidos. Mientras tanto, los agentes con mayor autonomía operan con muy pocas restricciones, y es ahí donde surgen esos problemas inesperados en producción.

Cuando un sistema de IA simplemente apoya la toma de decisiones humanas, una persona sigue formando parte del proceso. Revisa el contexto, verifica la recomendación frente a las políticas de la empresa y decide si se debe proceder.

Con un agente, esta dinámica cambia por completo. El punto de control deja de estar antes de cada acción y pasa al diseño de los límites dentro de los cuales opera el agente.

La gobernanza ya no puede limitarse a evaluar la calidad de los resultados de un modelo. Las organizaciones deben decidir:

• ¿A qué datos y sistemas puede acceder este agente?
• ¿Qué acciones específicas tiene permitido realizar?
• ¿Quién es responsable de su comportamiento?

Esto se vuelve aún más complejo cuando los agentes comienzan a interactuar con otros agentes. La cadena de responsabilidades debe mantenerse en cada interacción. Esto no significa eliminar la supervisión humana, sino determinar dónde es realmente necesaria la intervención, qué se puede delegar de forma segura y qué mecanismos de control deben incorporarse cuando un agente opera con un mayor nivel de autonomía.

Cuando los agentes finalmente llegan a producción, hay tres aspectos que importan por encima de todo:

1. Visibilidad
   No puedes gobernar lo que no puedes ver. Las organizaciones necesitan un registro actualizado de cada agente en producción: quién es responsable, a qué herramientas y datos puede acceder y cuál es su nivel de autonomía. Debe ser un inventario dinámico, integrado directamente en el proceso de despliegue, y no una hoja de cálculo que se intenta reconstruir después de un incidente.

2. Responsabilidad
   Los agentes operan en zonas grises entre tecnología, datos, seguridad, riesgos y las diferentes unidades de negocio. Alguien debe asumir la responsabilidad por cada decisión que toma un agente, y esa responsabilidad debe quedar claramente definida antes de su puesta en producción.

Regla general: deja de permitir que los agentes operen con cuentas de servicio compartidas. Cuando una cuenta de servicio genérica genera un problema, los registros no permiten identificar claramente al responsable. Los agentes necesitan sus propias identidades.

Abordar este desafío no significa descartar el marco de gestión de riesgos que ya tienes. Las políticas actuales son una excelente base; solo necesitas identificar dónde la autonomía de los agentes introduce nuevos riesgos. En los sectores regulados, esto ya no es opcional. Regulaciones como la Ley de IA de la UE (EU AI Act) y DORA parten del supuesto de que puedes establecer con claridad qué hacen tus sistemas de IA, quién es responsable de ellos y cómo se controlan.

Y, sobre todo, este es tanto un desafío de ingeniería como de políticas. Las decisiones de gobernanza solo son efectivas si se aplican activamente en el entorno donde realmente opera el agente.

El objetivo no es frenar la innovación con capas de burocracia, sino establecer las condiciones adecuadas para escalar: mantener una visibilidad clara, definir responsabilidades y alinear los controles con el nivel de riesgo real de cada agente. Aplica una gobernanza proporcional, integra las reglas directamente en el entorno de ejecución y evitarás tener que reaccionar a último momento para detener un agente.