Como as empresas podem transformar a governança da IA de uma política em prática?




Uma empresa pode avaliar um sistema de IA, confirmar se ele atende aos requisitos de governança e aprová-lo para produção. Mas “aprovado” não é sinônimo de “permitido”: essa aprovação não autoriza automaticamente todas as ações que o sistema pode realizar.
Em minhas conversas com líderes das áreas de risco, compliance, governança de IA e tecnologia em instituições financeiras europeias, essa é a lacuna que surge com mais frequência: a estrutura existe, a avaliação foi feita e, ainda assim, ninguém consegue afirmar com segurança o que o sistema realmente tem permissão para fazer uma vez que esteja em operação.
A maioria das empresas consolidadas já possui políticas de IA, processos de risco e responsabilidades definidas. Esses elementos fornecem uma base para determinar o uso aceitável e as condições sob as quais os sistemas operam. O desafio é garantir que essas condições continuem a se aplicar quando um agente age, especialmente à medida que suas capacidades ou ambiente operacional se alteram.
O que acontece depois que um sistema de IA é aprovado?
Considere um agente de IA que presta suporte a uma central de atendimento corporativa. Ele foi autorizado a recuperar informações sobre incidentes, consultar bases de conhecimento internas e atualizar registros de serviços.
Agora, suponha que o agente receba uma solicitação para alterar uma configuração de produção. A organização possui uma política que exige autorização adicional, pois uma alteração incorreta poderia interromper serviços críticos.
A decisão de governança é clara. Mas será que o sistema impede que o agente faça a alteração sem aprovação?
Uma instrução dizendo ao agente para seguir a política da empresa não é uma restrição aplicável. A exigência precisa estar refletida nos controles que regem a ação. As instruções residem no contexto do modelo, onde podem ser mal interpretadas, substituídas por instruções posteriores ou manipuladas por meio do conteúdo que o agente processa. Um controle que deve ser mantido precisa estar fora do modelo, no ponto em que a ação é executada: a ferramenta, a API ou a permissão.
Isso é particularmente importante para agentes que podem selecionar ferramentas e sequências de ações em tempo de execução. Uma avaliação analisa o uso pretendido, os recursos conhecidos e as condições operacionais esperadas. Ela continua relevante, mas as permissões, os aplicativos conectados ou as responsabilidades podem mudar após a aprovação. Alterações que afetem os riscos ou as restrições aprovadas exigem uma revisão adicional.
O mesmo padrão se repete onde quer que os agentes operem. No setor bancário, um agente aprovado para responder a consultas de consumidores e atualizar dados de contato torna-se um sistema diferente no momento em que pode iniciar um pagamento, ajustar um limite de crédito ou encerrar uma conta. A avaliação não abrangeu essas ações; os controles devem garantir que o agente não possa realizá-las até que isso ocorra.
O que muda quando a governança passa a ser operacional?
A solução não é exigir aprovação humana para cada ação do agente. As empresas precisam distinguir entre as atividades de acordo com suas possíveis consequências. Uma governança que bloqueia tudo fracassa tão certamente quanto uma que não bloqueia nada; ela simplesmente falha em gerar valor, e a empresa acaba tendo um assistente caro em vez de um agente.
Aplique controles de acordo com o risco
A recuperação de informações autorizadas sobre incidentes e a alteração de uma configuração de produção apresentam riscos diferentes. A primeira pode ser realizada dentro das permissões estabelecidas. A segunda pode afetar a disponibilidade do sistema e ser difícil de reverter.
A organização deve decidir quais ações o agente pode realizar de forma independente, quais exigem autorização e quais permanecem proibidas. Uma política estabelece o requisito; o controle técnico relevante o aplica quando a ação é tentada. A etapa intermediária, traduzir um requisito escrito para pessoas em um controle que um sistema possa aplicar, é onde a maioria das organizações apresenta maior fragilidade. A política está em um documento sob responsabilidade da área de Compliance; a permissão está em uma configuração sob responsabilidade da Engenharia; e o mapeamento entre as duas raramente é documentado, muito menos mantido.
Monitore a atividade e analise as exceções
Suponha que o agente tente repetidamente uma alteração de configuração que exija aprovação.
O controle parece estar impedindo a ação, mas as tentativas repetidas levantam outra questão: as instruções, permissões e responsabilidades atribuídas ao agente ainda refletem a função pretendida?
O monitoramento fornece informações sobre esse padrão. A equipe responsável pode então determinar se o sistema precisa de instruções revisadas, permissões diferentes ou uma análise mais aprofundada da governança.
Um controle pode impedir uma ação não autorizada e, ao mesmo tempo, revelar uma incompatibilidade entre o comportamento esperado e o real.
Use evidências para avaliar os controles
Um registro operacional pode mostrar que uma alteração de configuração foi bloqueada. Isso, por si só, não determina se o requisito de governança correto foi aplicado.
A organização também precisa saber qual restrição foi aplicada, se era necessária autorização e qual foi o resultado.
A análise das evidências operacionais em relação ao requisito aprovado ajuda a determinar se o controle funcionou conforme o esperado e se suas restrições permanecem adequadas à medida que as condições operacionais do agente mudam. Evidências desse tipo são mais úteis quando são geradas como um subproduto da operação, em vez de serem reconstruídas posteriormente para uma auditoria. Se cada ação bloqueada ou autorizada já contiver a identificação do requisito que a regulamentou, a análise se torna uma questão de leitura, e não de investigação forense.
Como isso se traduz na prática em termos de IA responsável?
Princípios de IA responsável, como a prestação de contas e a supervisão humana, precisam ter um significado prático após a implantação. Um requisito para a intervenção humana deve estabelecer quais ações precisam de aprovação, quando essa intervenção ocorre e quem analisa as exceções. Isso não é mais apenas uma questão de princípio. A Lei de IA da UE trata a gestão de riscos como um processo contínuo ao longo do ciclo de vida do sistema (Artigo 9), exige que os sistemas de alto risco possam ser supervisionados efetivamente por pessoas (Artigo 14) e que seu funcionamento seja registrado (Artigo 12), além de esperar que os fornecedores monitorem os sistemas após sua colocação no mercado (Artigo 72). A norma ISO/IEC 42001 exige a mesma disciplina em termos de sistema de gestão. Cada uma dessas obrigações é, na prática, uma questão sobre o que acontece após a aprovação.
As equipes de Risco e Compliance são responsáveis por esses requisitos, enquanto as equipes de IA, Dados e Engenharia os aplicam nos sistemas que operam. O julgamento humano continua sendo necessário para determinar o risco aceitável e decidir quando a supervisão deve mudar. Em setores regulamentados, esse é o conhecido modelo das três linhas de defesa aplicado a um novo tipo de ator: as equipes que operam o agente são a primeira linha, Risco e Compliance são a segunda, e a Auditoria Interna precisa de evidências que possa testar, em vez de narrativas nas quais tenha que confiar.
Por onde as empresas devem começar?
Estender a governança à operação não requer a substituição das estruturas existentes. Um ponto de partida útil é escolher um sistema de IA em produção e um requisito de política que afete significativamente suas ações. Começar com um é uma forma de aprender a mecânica, não o estado final. As instituições com as quais trabalho têm centenas, em alguns casos mais de mil, casos de uso de IA em produção, e a cadeia que vai do requisito ao controle e às evidências precisa ser repetível em todos eles. O que é feito manualmente para um sistema não será feito de forma alguma para o quinhentésimo.
Três perguntas ajudam:
- Onde o requisito é aplicado? O sistema relevante ofaz valer?
- Quem analisa exceções ou alterações? A responsabilidade fica clara após a implantação?
- Que evidências estão disponíveis? A organizaçãoconsegue determinar se o controle funcionou conforme o esperado?
As respostas mostram onde a governança existente é eficaz e onde é necessária maior supervisão. Para empresas que estão ampliando a adoção da IA, a governança operacional ajuda a determinar quais atividades podem prosseguir de forma autônoma, onde a autorização continua sendo necessária e quando mudanças nas condições exigem revisão.
Políticas e avaliações continuam sendo a base. Seus requisitos também devem continuar a reger o que os sistemas de IA têm permissão para fazer durante a operação.
Essa é a lógica por trás da abordagem da GFT à governança de IA: prescrever os requisitos para cada sistema de IA, aplicá-los onde a ação ocorre e permitir que as evidências se acumulem, formando uma base de confiança para auditores, reguladores e para o próprio negócio. As ferramentas são importantes, mas a mudança é principalmente de mentalidade: da governança como um filtro para a governança como uma camada operacional.
Isso levanta a próxima questão: quando um controle bloqueia uma ação, a empresa consegue rastreá-lo até a decisão de risco que o justificou? Esse é o tema do próximo artigo desta série.


