État des lieux des agents d’IA: La gouvernance suit-elle le rythme?

Gartner prédit que, d'ici 2027, 40 % des entreprises devront réduire l'autonomie de certains de leurs agents ou complètement les mettre hors service parce qu'elles se heurteront à un important obstacle en matière de gouvernance à la suite d’incidents survenus en production. Ce qui frappe le plus, ce n'est pas la statistique elle-même, mais la séquence des événements : la faille ne devient visible qu’une fois que l’agent a déjà agi.

La plupart des entreprises disposent déjà de politiques sur l'IA, de cadres de gestion des risques et de responsabilités bien définies. Toutefois, ces mécanismes ont été conçus pour une époque où l'IA faisait surtout des recommandations : les copilotes proposent du texte, puis les humains cliquent sur « envoyer ».

Les agents sont différents. Les agents, eux, agissent. Ils récupèrent des données, interagissent avec des logiciels d'entreprise, communiquent avec des systèmes tiers et exécutent des flux de travaux en plusieurs étapes sans attendre qu'un humain les guide à chaque instant. La question n'est plus de savoir si votre entreprise a une politique en matière d'IA, mais plutôt de savoir si cette politique tient toujours lorsque le système qu'elle encadre commence à prendre des mesures de façon autonome.

Lorsqu'il n'y a que deux ou trois agents en phase d'essai, il est facile de savoir qui en est responsable et à quelles ressources ils peuvent accéder. Néanmoins, à mesure que les équipes commencent à en déployer dans différentes unités d'affaires et sur plusieurs plateformes, la visibilité diminue rapidement, les responsabilités deviennent fragmentées et il devient difficile de savoir précisément ce qu'un agent a le droit de faire ou quelles règles s'appliquent.

Prenons l'exemple d'un agent de service à la clientèle standard. Il consulte les renseignements d'un client, récupère un historique de transactions depuis une base de données secondaire, met à jour un dossier et déclenche un remboursement. Pris séparément, chaque geste semble logique.

Or, que se passe-t-il si ce remboursement dépasse un seuil financier qui exigerait normalement l'approbation d'un gestionnaire? Et si les données relatives à la transaction provenaient d'un système interne auquel l'agent n'était jamais censé avoir accès? Dans bien des cas, personne ne s'en rend compte avant l’audit mensuel. À ce stade, le mal est déjà fait.

Comme le souligne Gartner, les entreprises ont souvent tendance à traiter la gouvernance des agents comme un interrupteur : soit le contrôle est total, soit l'agent est accordé une confiance absolue. Aucun de ces deux extrêmes ne fonctionne. Les agents simples finissent par être trop restreints, ce qui pousse les équipes d'ingénierie frustrées à se tourner vers le développement parallèle. Pendant ce temps, les agents hautement autonomes sont insuffisamment encadrés, ce qui est à l’origine des mauvaises surprises qui survienennt en production.

Lorsqu'un système d'IA ne fait qu'appuyer la prise de décision humaine, il reste toujours une personne dans la boucle. Elle examine le contexte, compare les recommandations aux politiques de l'entreprise et décide s'il faut aller de l'avant.

Avec un agent, cette dynamique change complètement. Le point de contrôle n'est plus situé avant chaque action, mais dans la conception même des limites à l'intérieur desquelles l'agent est autorisé à fonctionner.

La gouvernance ne peut plus se limiter à évaluer la qualité des résultats produits par un modèle. Les organisations doivent déterminer :

• À quelles données et à quels systèmes cet agent peut-il accéder?

• Quelles actions précises est-il autorisé à effectuer?

• Qui est personnellement responsable de son comportement?

La situation devient encore plus complexe lorsque des agents commencent à faire appel à d'autres agents. La chaîne de responsabilisation doit rester intacte à chaque transfert. Il ne s’agit pas pour autant d'éliminer toute supervision humaine, mais plutôt de déterminer où une intervention est réellement nécessaire, ce qui peut être délégué de façon sécuritaire et quelles mesures de protection doivent directement être intégrées aux systèmes lorsque l'agent fonctionne avec un niveau d'autonomie plus élevé.

Lorsque les agents passent à la mise en production, trois éléments deviennent prioritaires :

1. Visibilité
   On ne peut pas gouverner ce qu'on ne peut pas voir. Les entreprises ont besoin d'un registre à jour de tous leurs agents en production : qui en est responsable, à quels outils et à quelles données ils ont accès et quel est leur niveau d'autonomie. Il doit s'agir d'un inventaire dynamique, intégré directement au pipeline de déploiement, et non d'une simple feuille de calcul qu'on tente de reconstituer après chaque incident.

2. Responsabilisation
   Les agents évoluent dans les zones grises entre la technologie, les données, la sécurité, la gestion des risques et les unités d'affaires. Chaque décision prise par un agent doit avoir un responsable clairement identifié et cette responsabilité doit être établie avant la mise en production.
   
   Règle d'or : cessez de faire fonctionner vos agents via des comptes de service partagés. Si un compte de service générique devient incontrôlable, vos journaux ne permettront pas de savoir clairement qui en est responsable. Chaque agent doit disposer de sa propre identité.

3. Contrôle
   Plus l'autonomie est grande, plus les limites doivent être clairement définies. Toutes les actions ne nécessitent pas le même niveau d'encadrement : certaines peuvent être exécutées de façon entièrement autonome, certaines nécessitent une étape d'approbation humaine, certaines exigent une surveillance étroite et d'autres devraient être complètement bloquées. Surtout, ces règles devraient être appliquées dans les portées de vos API et dans vos autorisations d'accès, et non seulement dans un document de politique rédigé au format PDF perdu sur une page intranet.

Prendre le contrôle de cette réalité ne veut pas dire abandonner votre cadre de gestion des risques actuel. Vos politiques existantes constituent une excellente base; il vous faut simplement déterminer où l'autonomie de vos agents introduit de nouveaux risques. Dans les secteurs réglementés, cette démarche n’est plus facultative. Des réglementations comme le Règlement (UE) 2024/1689 et le Règlement sur la résilience opérationnelle numérique (DORA) partent du principe qu'une entreprise est en mesure d'expliquer clairement ce que font ses systèmes d'IA, qui en est responsable et comment ils sont contrôlés.

Il est crucial de comprendre qu’il s’agit autant d'un défi en matière d'ingénierie que d'un défi de politique organisationnelle. Les décisions en termes de gouvernance n'ont de valeur que si elles sont activement appliquées là où un agent s’exécute réellement.

L'objectif n'est pas d'étouffer l'innovation sous des couches de bureaucratie, mais plutôt de mettre en place les conditions propices à l'évolution : maintenir une visibilité claire, établir des responsabilités précises et adapter les mécanismes de contrôle au niveau de risque réel de chaque agent. Appliquez une gouvernance proportionnelle, intégrez les règles directement dans votre environnement d'exécution, et vous éviterez d'avoir à vous précipiter pour actionner le bouton d’arrêt d’urgence.