Comment les entreprises peuvent-elles passer des politiques de gouvernance de l’IA à leur application concrète ?




Une entreprise peut évaluer un système d’IA, vérifier qu’il répond aux exigences de gouvernance et autoriser sa mise en production. Mais l’approbation d’un système ne signifie pas que toutes ses actions sont autorisées : cette validation ne lui donne pas automatiquement le droit d’exécuter toutes les opérations dont il est capable.
Lors de mes échanges avec des responsables des risques, de la conformité, de la gouvernance de l’IA et des technologies au sein d’institutions financières européennes, un problème revient régulièrement : le cadre de gouvernance existe, l’évaluation a été réalisée, et pourtant personne ne peut affirmer avec certitude ce que le système est réellement autorisé à faire une fois opérationnel.
La plupart des grandes entreprises disposent déjà de politiques d’IA, de processus de gestion des risques et de responsabilités clairement définies. Ces dispositifs constituent une base pour déterminer les usages acceptables et les conditions dans lesquelles les systèmes peuvent fonctionner. Le défi consiste à garantir que ces conditions continuent de s’appliquer lorsque les agents passent à l’action, en particulier lorsque leurs capacités ou leur environnement d’exploitation évoluent.
Que se passe-t-il après l’approbation d’un système d’IA ?
Prenons l'exemple d'un agent IA chargé d'assister un centre de services d’une entreprise. Il a été autorisé à consulter les informations relatives aux incidents, à accéder aux bases de connaissances internes et à mettre à jour les dossiers d’assistance.
Supposons maintenant que cet agent reçoive une demande de modification d’une configuration en production. L’entreprise dispose d’une politique exigeant une autorisation supplémentaire, car une modification incorrecte pourrait perturber des services critiques.
La décision de gouvernance est claire. Mais le système empêche-t-il réellement l’agent d’effectuer cette modification sans autorisation ?
Une instruction demandant à l’agent de respecter les politiques de l’entreprise ne constitue pas une restriction techniquement applicable. Cette exigence doit être intégrée aux contrôles qui encadrent l’exécution de l’action. Les instructions s’inscrivent dans le contexte du modèle, où elles peuvent être mal interprétées, remplacées par des instructions ultérieures ou manipulées via le contenu traité par l’agent. Un contrôle qui doit s’appliquer doit se situer en dehors du modèle, au point d’exécution de l’action : au niveau de l’outil, de l’API ou des autorisations d’accès.
Cette distinction est particulièrement importante pour les agents capables de sélectionner des outils et des séquences d’actions lors de l’exécution. Une évaluation porte sur l’usage prévu, les capacités connues et les conditions de fonctionnement attendues. Elle reste pertinente, mais les autorisations, les applications connectées ou les responsabilités peuvent évoluer après l’approbation. Toute modification affectant les risques ou les restrictions approuvés nécessite un réexamen.
Cette problématique se retrouve partout où des agents interviennent. Dans le secteur bancaire, un agent autorisé à répondre aux demandes des clients et à mettre à jour leurs coordonnées devient un système différent dès lors qu’il peut initier un paiement, modifier une limite de crédit ou clôturer un compte. L’évaluation ne couvrait pas ces actions : les contrôles doivent garantir que l’agent ne puisse pas les effectuer tant qu’elles n’ont pas été évaluées et autorisées.
Qu’est-ce qui change lorsque la gouvernance devient opérationnelle ?
La solution ne consiste pas à imposer une validation humaine pour chaque action effectuée par un agent. Les entreprises doivent distinguer les activités en fonction de leurs conséquences potentielles. Une gouvernance qui bloque tout échoue aussi sûrement qu’une gouvernance qui ne bloque rien. Elle empêche la création de valeur et l’entreprise se retrouve avec un assistant coûteux plutôt qu’un véritable agent autonome.
Appliquer des contrôles en fonction du risque
La récupération d’informations autorisées sur un incident et la modification d’une configuration de production comportent des risques différents. La première peut s’effectuer dans le cadre des autorisations établies. La seconde pourrait affecter la disponibilité du système et s’avérer difficile à annuler.
L’organisation doit déterminer quelles actions l’agent peut effectuer de manière autonome, lesquelles nécessitent une autorisation et lesquelles doivent rester interdites. Une politique définit l’exigence. Le contrôle technique correspondant garantit son application lorsque l’action est tentée. C’est précisément à cette étape intermédiaire, lorsqu’il faut traduire une exigence rédigée à l’intention des personnes en un contrôle applicable par un système, que de nombreuses organisations rencontrent le plus de difficultés.
La politique figure dans un document géré par le service de conformité, tandis que l’autorisation est définie dans une configuration technique relevant de l’équipe d’ingénierie. Le lien entre les deux est rarement documenté, et encore moins maintenu à jour.
Surveiller l’activité et examiner les exceptions
Supposons qu’un agent tente à plusieurs reprises d’effectuer une modification de configuration nécessitant une autorisation.
Le contrôle semble empêcher l’action, mais ces tentatives répétées soulèvent une autre question : les instructions, les autorisations et les responsabilités attribuées à l’agent reflètent-elles toujours son rôle initial ?
La surveillance permet d’identifier ces comportements récurrents. L’équipe responsable peut ensuite déterminer si le système nécessite une révision de ses instructions, une modification de ses autorisations ou une nouvelle évaluation de gouvernance.
Un contrôle peut donc empêcher une action non autorisée tout en révélant un décalage entre le comportement attendu et le comportement réel du système.
Utiliser les preuves pour évaluer l’efficacité des contrôles
Un journal opérationnel peut indiquer qu’une modification de configuration a été bloquée. Cela ne suffit pas à lui seul à établir si l’exigence de gouvernance appropriée a été appliquée.
L’organisation doit également savoir quelle restriction s’est appliquée, si une autorisation était requise et quel en a été le résultat.
L’analyse des preuves opérationnelles au regard des exigences approuvées permet de déterminer si le contrôle a fonctionné comme prévu et si ses restrictions restent adaptées à l’évolution des conditions de fonctionnement de l’agent. Ces preuves sont particulièrement utiles lorsqu’elles sont produites automatiquement pendant le fonctionnement du système, plutôt que reconstituées a posteriori pour un audit. Si chaque action bloquée ou autorisée est déjà associée à l’exigence qui l’encadre, la vérification devient une simple lecture, et non une analyse approfondie.
Comment cette approche permet-elle de mettre en pratique une IA responsable ?
Les principes d’une IA responsable, tels que la responsabilité et le contrôle humain, doivent se traduire par des mesures concrètes après le déploiement. Une exigence d’intervention humaine doit préciser quelles actions nécessitent une approbation, à quel moment cette intervention doit avoir lieu et qui est chargé d’examiner les exceptions. Il ne s’agit plus seulement d’une question de principe. L’AI Act européen considère la gestion des risques comme un processus continu tout au long du cycle de vie du système (article 9). Il exige que les systèmes d’IA à haut risque puissent faire l’objet d’une supervision humaine efficace (article 14) et que leur fonctionnement soit enregistré (article 12). Il prévoit également que les fournisseurs assurent une surveillance des systèmes après leur mise sur le marché (article 72). La norme ISO/IEC 42001 exige la même rigueur en matière de système de gestion. Chacune de ces obligations soulève, dans la pratique, la question de ce qui se passe après l’approbation.
Les équipes chargées des risques et de la conformité sont responsables de ces exigences, tandis que les équipes d’IA, de data et d’ingénierie les appliquent au sein des systèmes qu’elles exploitent. Le jugement humain reste indispensable pour déterminer les niveaux de risque acceptables et décider quand les modalités de supervision doivent évoluer. Dans les secteurs réglementés, cette approche correspond au modèle bien connu des trois lignes de défense, appliqué à un nouveau type d’acteur : les équipes responsables de l’exploitation des agents constituent la première ligne, les équipes chargées des risques et de la conformité la deuxième, et l’audit interne, qui doit disposer de preuves vérifiables plutôt que de simples déclarations auxquelles il faudrait se fier, la troisième.
Par où les entreprises doivent-elles commencer ?
Étendre la gouvernance aux opérations ne nécessite pas de remplacer les cadres existants. Un bon point de départ consiste à sélectionner un système d’IA déjà en production et une exigence de gouvernance ayant une incidence significative sur ses actions. Commencer par un seul système permet de comprendre les mécanismes nécessaires, mais ne constitue pas une finalité. Les institutions avec lesquelles je travaille disposent de centaines, parfois de plus d’un millier, de cas d’usage de l’IA en production. Le lien entre les exigences, les contrôles et les preuves doit donc pouvoir être reproduit de manière cohérente pour chacun d’entre eux. Ce qui peut être réalisé manuellement pour un seul système ne le sera plus lorsque l’organisation devra gérer son cinq-centième cas d’usage.
Trois questions permettent d'orienter la démarche :
- Où l’exigence est-elle appliquée ? Le système concerné dispose-t-il des mécanismes nécessaires pour la faire respecter ?
- Qui examine les exceptions ou les modifications ? Les responsabilités restent-elles clairement définies après le déploiement ?
- Quelles preuves sont disponibles ? L’organisation peut-elle démontrer que le contrôle a fonctionné comme prévu ?
Les réponses permettent d’identifier les domaines dans lesquels la gouvernance existante est efficace et ceux qui nécessitent une supervision supplémentaire. Pour les entreprises qui développent leur utilisation de l’IA, la gouvernance opérationnelle aide à déterminer quelles activités peuvent être exécutées de manière autonome, lesquelles nécessitent toujours une autorisation et à quel moment l’évolution des conditions nécessite un réexamen.
Les politiques et les évaluations restent les fondations de la gouvernance. Leurs exigences doivent également continuer à encadrer les actions que les systèmes d’IA sont autorisés à effectuer pendant leur fonctionnement.
C’est cette logique qui guide notre approche de la gouvernance de l’IA chez GFT : définir les exigences applicables à chaque système d’IA, les appliquer là où l’action est exécutée, et accumuler des preuves fiables sur lesquelles les auditeurs, les régulateurs et les entreprises peuvent s’appuyer. Les outils technologiques jouent un rôle important, mais le changement est avant tout une question d’approche : passer d’une gouvernance conçue comme une étape de validation à une gouvernance intégrée au fonctionnement même des systèmes.
Cela soulève une nouvelle question : lorsqu’un contrôle bloque une action, l’entreprise est-elle capable de remonter jusqu’à la décision de gestion des risques qui a justifié sa mise en place ? C’est le sujet que nous aborderons dans le prochain article de cette série.


