AI Governance e adozione consapevole dell’AI per generare vero ROI

In quest’ottica, l'AI Governance non è solo una questione di mera compliance normativa, ma la chiave per sbloccare il valore reale dell'intelligenza artificiale, a livello di business. 

Come accennato in un precedente articolo, uno degli aspetti più complessi della questione è proprio il rapporto tra AI Governance e Data Governance, due discipline in strettissima comunicazione, sia dal punto di vista dei processi che delle persone e delle tecnologie, ma con obiettivi diversi. Se la Data Governance mette a fuoco il dato, la sua provenienza, qualità, gestione e ciclo di vita, l'AI Governance, invece, si concentra sugli utilizzatori del dato, ossia i modelli di intelligenza artificiale, relativamente al loro utilizzo nell'organizzazione e alla maturità dell'organizzazione stessa nell'uso dell'AI.  

È uno shift dalla sorgente all'utilizzatore. Il punto di contatto, e potenziale barriera, tra i due mondi è il dato stesso: una disciplina lo gestisce, l'altra lo consuma. Far dialogare queste due facce della governance è fondamentale per evitare silos che non si parlano, con processi duplicati, strumenti incompatibili e responsabilità frammentate. 

Un aspetto critico della AI Governance è il livello di rischio dei sistemi, che dipende dall'ambito di applicazione dell'AI e dalle sue finalità. Se un'organizzazione non ha la capacità di tracciare questi elementi, l'ultimo in particolare, si trova di fronte a un enorme problema di compliance normativa: non sa quali dati i diversi sistemi consumano e se vengono utilizzati in modo corretto. 

Su questo si innesta poi una componente più etica e “antropologica” dell'uso dei dati. Se costruisco un sistema di AI per l'erogazione di mutui, devo monitorare che non presenti bias di età, genere o provenienza geografica. Ma se alimento il modello con un dataset già biased, avrò inevitabilmente bias anche nell'output. 

Come garantire l’equità di accesso a servizi la cui erogazione o validazione dipende da LLM? La correzione del bias non viene fatta sul modello, ma deve partire dal dato stesso. Facciamo un esempio concreto: se temo un bias di età, devo verificare che il dataset sia bilanciato, ossia che rappresenti una popolazione varia senza sbilanciamenti nel campione. Se ho considerato solo giovani che hanno ottenuto il mutuo, rischio che il modello discrimini la fascia d’età più alta in fase di erogazione. 

In alcuni casi è possibile intervenire tecnicamente per ribilanciare il dataset togliendo parte del campione sovrarappresentato o aggiungendo dati in modo sintetico, tramite una tecnica chiamata data augmentation, per colmare il gap e rendere il dataset equamente rappresentativo di segmenti di popolazione altrimenti esclusi.

Un altro esempio del possibile uso della tecnica di data augmentation è quello dei sistemi antifrode sui bonifici: se il modello impara distinguendo le transazioni lecite da quelle fraudolente ma i bonifici leciti sono migliaia di volte più numerosi di quelli fraudolenti, come si può insegnare alla macchina a riconoscere pattern fraudolenti? Ancora una volta, attraverso l’aggiunta di dati sintetici: generando esempi che arricchiscono il campione minoritario in modo ponderato e corretto, senza compromettere la qualità del modello.

Se da un lato bisogna favorire l'adozione degli strumenti giusti, dall'altro bisogna sfavorire attivamente l'uso di strumenti sbagliati e non regolamentati. Questo fa parte della compliance non solo normativa, come risposta a leggi esterne, ma anche interna alle organizzazioni: la violazione di regolamentazioni aziendali che dovrebbero esistere ma spesso, soprattutto nelle PMI, ancora non ci sono. 

Con l'avanzare della tecnologia, le persone tendono a cercare autonomamente nuovi strumenti per essere più rapide ed efficienti nella propria produttività quotidiana. Per le imprese è difficile stare al passo e monitorare l'utilizzo di tool esterni da parte dei singoli dipendenti. Da qui nasce il fenomeno della Shadow AI: ciascuno procede in autonomia, spesso inconsapevole dei rischi di alimentare un modello pubblico con dati aziendali - o personali - delicati e sensibili.  

La soluzione è costruire una filiera di strumenti certificati che l'azienda mappa, approva e mette a disposizione. Ma non basta: serve anche garantire che gli strumenti approvati vengano utilizzati correttamente, senza compromettere privacy e compliance. 

In GFT abbiamo affrontato questa sfida internamente istituendo un comitato tecnologico presidiato dal CTO, con una rete di AI Ambassador che si occupano di mappatura degli strumenti, definizione di linee guida di utilizzo e monitoraggio continuo. È un tema di cultura e conoscenza: le persone devono essere formate non solo per best practice, ma perché è una richiesta regolatoria, dato che l'AI Act stesso lo impone esplicitamente. 

Oggi stanno emergendo strumenti per verificare l'utilizzo corretto delle piattaforme AI. Ad esempio, esistono tool che interrogano i principali chatbot pubblici per risalire alla presenza di contenuti aziendali al loro interno. Il rischio è concreto: quando un modello come GPT si riaddestra, utilizza tutti i dati che gli sono stati forniti. Tra un anno, contenuti sensibili caricati oggi potrebbero riemergere come fonti. 

Dunque, l'adozione consapevole e correttamente guidata è la sfida maggiore: infatti, se in genere gli strumenti vengono riconosciuti come validi e interessanti, e se ne percepisce il valore teorico, farli adottare in modo sistematico e consapevole è più complesso. Creare use case e strumenti ad hoc è positivo ma se poi non vengono integrati organicamente nei processi, non ci sarà ritorno sull'investimento. Questo andrà a generare un circolo vizioso di mancata adoption e mancato ROI, che a loro volta andranno a diminuire i fondi per progetti successivi, diventando di fatto un freno all’innovazione dell’impresa sul lungo periodo. 

Per superare questa barriera, abbiamo identificato tre pilastri fondamentali: 

1. Trasparenza e fiducia - Gli utilizzatori finali, a prescindere dal ruolo, devono avere chiari l'obiettivo, le funzionalità e il valore degli strumenti di AI da implementare. E devono essere accompagnati nell'uso costante e corretto dei tool attraverso formazione continua, documentazione chiara, supporto accessibile. 

2. Monitoraggio del ROI - Dall'inizio alla fine dell'iniziativa si deve verificare che le performance dei modelli siano in linea con le aspettative e che il valore generato finale renda il piano di ritorno dell'investimento sostenibile e credibile.  

3. Scalabilità e integrazione - Gli strumenti devono essere pensati per processi target o core, non come esercizi tecnici. E, soprattutto, devono essere facilmente accessibili e utilizzabili: se non sono semplici, non verranno adottati dal personale

Infine, ma non per importanza, c’è la difficoltà nel trovare metriche che riescano a mappare la bontà e il ritorno sull’investimento dei progetti AI. Come avere un reale presidio delle performance dei modelli di AI generativa? Nell'AI tradizionale, come nel machine learning supervisionato, misurare le performance era più semplice, in quanto processo deterministico che passa da KPI numerici, oggettivi e confrontabili. Con la Generative AI è tutto più complesso: è meno deterministica, la valutazione dell'output è spesso soggettiva, basti pensare alla qualità dei testi prodotti da diversi chatbot. Non solo, c’è anche un tema di rapida obsolescenza: la tecnologia avanza così velocemente che, stabilite le performance di un modello, questo viene aggiornato con una nuova versione da valutare da capo. 

Sono stati creati anche strumenti basati su dati pubblici per valutare le performance dei modelli, ma hanno limiti evidenti: usano input semplici e generici, non specifici per settore e non di stampo enterprise. E, soprattutto, sono dataset esterni, che non tengono conto del contesto interno della singola organizzazione. 

In GFT abbiamo sviluppato un asset proprietario che consente ai clienti di misurare, in modo oggettivo e specifico per il contesto, le performance dei modelli di Generative AI. È una metodologia proprietaria, per ora applicabile all'ambito del coding, con uno strumento customizzabile che raccoglie metriche per certificare le performance dei modelli rispetto a benchmark di riferimento pubblici e al codice delle digital property del cliente stesso. 

Lo abbiamo testato con un player nazionale del settore banking per valutare sia modelli open e pubblici sia modelli che il cliente aveva on-premise. L'obiettivo era misurare due requisiti funzionali: la capacità di generare test in automatico e con quale qualità, e la capacità di risolvere il debito tecnico, ossia il rientro delle vulnerabilità rilevate dall'analisi statica del codice. 

Queste valutazioni ci hanno aiutato a rilevare concretamente l'efficienza che il cliente poteva aspettarsi dall'introduzione dell'intelligenza artificiale generativa nel suo contesto. Da qui, lo abbiamo supportato nella scelta del modello più performante rispetto a quello in uso: il cliente sta ora valutando l'integrazione di Wynxx, lo strumento di GFT basato su AI generativa a supporto del ciclo di vita del software, per trasformare la delivery in una “fabbrica AI-augmented” in modo più efficiente e sicuro. 

Questo approccio è un esempio concreto di come lavorare su trasparenza, ROI e adozione: certificare performance e potenzialità dell'iniziativa a priori, non a posteriori. Il concetto di ROI della soluzione AI deve essere parte di tutta la filiera, ma come si può saperlo se non si sono misurate le performance che il sistema può dare? Serve sempre una prova di valore prima dell'investimento su larga scala.