Agenci AI w praktyce: czy nadzór nadąża za ich rozwojem?




Gartner przewiduje, że do 2027 roku 40% organizacji będzie musiało ograniczyć autonomię swoich agentów AI lub całkowicie wycofać ich z użytku. Powodem będą poważne braki w nadzorze, które ujawnią się po wystąpieniu problemów w środowisku produkcyjnym. Najbardziej niepokojąca jest tu kolejność zdarzeń: luka wychodzi na jaw dopiero wtedy, gdy agent zdążył już podjąć działanie.
Większość organizacji ma już polityki dotyczące AI, zasady zarządzania ryzykiem i określone zakresy odpowiedzialności. Mechanizmy te powstały jednak z myślą o AI, która podpowiada rozwiązania. Asystent proponuje treść, a człowiek klika „wyślij”.
Agenci AI samodzielnie podejmują działania. Pobierają dane, korzystają z aplikacji biznesowych, komunikują się z innymi systemami i realizują wieloetapowe procesy bez konieczności angażowania człowieka na każdym kroku. Nie wystarczy więc sprawdzić, czy organizacja ma politykę dotyczącą AI. Trzeba ustalić, czy zawarte w niej zasady sprawdzą się również wtedy, gdy system zacznie działać samodzielnie.
Na etapie testowania dwóch lub trzech agentów łatwo ustalić, kto za nich odpowiada i do jakich zasobów mają dostęp. Gdy jednak kolejne zespoły uruchamiają agentów w różnych jednostkach biznesowych i na różnych platformach, coraz trudniej zachować pełny obraz sytuacji. Odpowiedzialność się rozmywa, a zakres dozwolonych działań i obowiązujące zasady przestają być jasne.
Gdy luki w nadzorze ujawniają się w środowisku produkcyjnym
Rozważmy typowego agenta AI wspierającego obsługę klienta. Odczytuje dane klienta, pobiera historię transakcji z dodatkowej bazy danych, aktualizuje dokumentację sprawy i zleca zwrot środków. Każdy z tych kroków rozpatrywany osobno wydaje się uzasadniony.
Co jednak, jeśli kwota zwrotu przekracza próg wymagający zatwierdzenia przez przełożonego? Albo jeśli historia transakcji pochodzi z systemu wewnętrznego, do którego agent w ogóle nie powinien mieć dostępu? W wielu przypadkach problem zostaje zauważony dopiero podczas comiesięcznego audytu. Do tego czasu szkoda już powstała.
Jak wskazuje Gartner, organizacje często stosują wobec agentów jedno z dwóch skrajnych podejść: albo maksymalnie ograniczają ich działanie, albo pozostawiają im pełną swobodę. Żadne z tych rozwiązań się nie sprawdza. Nadmierne ograniczenia nakładane na prostych agentów frustrują zespoły inżynierskie i skłaniają je do rozwijania rozwiązań poza oficjalnymi procesami. Z kolei agenci o dużej autonomii podlegają zbyt słabej kontroli. To właśnie wtedy pojawiają się nieprzewidziane problemy w środowisku produkcyjnym.
Dlaczego agenci AI wymagają innego podejścia
Gdy system AI jedynie wspiera podejmowanie decyzji, człowiek pozostaje bezpośrednio zaangażowany w ten proces. Sprawdza kontekst, ocenia zgodność rekomendacji z zasadami organizacji i decyduje o dalszym działaniu.
W przypadku agenta AI ten model zasadniczo się zmienia. Zamiast kontrolować każde działanie przed jego wykonaniem, trzeba wcześniej określić granice, w których agent może działać samodzielnie.
Nadzór nie może już ograniczać się do oceny jakości wyników modelu. Organizacja musi ustalić:
- Do jakich danych i systemów agent może mieć dostęp?
- Jakie konkretnie działania może podejmować?
- Kto ponosi odpowiedzialność za jego działanie?
Sytuacja komplikuje się jeszcze bardziej, gdy agenci zaczynają zlecać zadania innym agentom. Przy każdym takim przekazaniu musi być jasne, kto odpowiada za dalszy przebieg procesu. Nadzór człowieka nadal jest potrzebny. Trzeba jednak precyzyjnie ustalić, kiedy jego interwencja jest konieczna, jakie zadania można bezpiecznie powierzyć agentowi i jakie zabezpieczenia muszą zostać wbudowane w system przy wyższym poziomie autonomii.
Trzy filary działania agentów w środowisku produkcyjnym
Po uruchomieniu agentów w środowisku produkcyjnym kluczowe znaczenie mają trzy elementy.
- Widoczność
Skuteczny nadzór wymaga pełnego obrazu działających agentów. Organizacja potrzebuje aktualnego wykazu wszystkich agentów w środowisku produkcyjnym, wraz z informacją o tym, kto za nich odpowiada, do jakich narzędzi i danych mają dostęp oraz jaki jest ich poziom autonomii. Taki wykaz powinien być aktualizowany na bieżąco, bezpośrednio w procesie wdrażania. Odtwarzanie tych informacji w arkuszu kalkulacyjnym dopiero po incydencie jest niewystarczające. - Odpowiedzialność
Działanie agentów obejmuje obszary technologii, danych, bezpieczeństwa, ryzyka i biznesu, między którymi granice odpowiedzialności bywają niejasne. Każda decyzja podejmowana przez agenta musi mieć jednoznacznie przypisaną osobę odpowiedzialną. Należy to ustalić jeszcze przed uruchomieniem agenta w środowisku produkcyjnym.
Podstawowa zasada: agenci nie powinni korzystać ze współdzielonych kont usługowych. Gdy nieprawidłowe działanie zostaje zapisane pod wspólnym kontem, logi nie pozwalają jednoznacznie ustalić, który agent za nie odpowiada. Każdy agent potrzebuje własnej tożsamości w systemie.
- Kontrola
Im większa autonomia, tym precyzyjniej trzeba określić granice działania. Nie wszystkie czynności wymagają takich samych zabezpieczeń. Część może być wykonywana w pełni autonomicznie, część wymaga zatwierdzenia przez człowieka, inne potrzebują wzmożonego monitorowania, a niektóre należy całkowicie zablokować. Zasady te muszą być egzekwowane poprzez zakresy uprawnień API i uprawnienia dostępu. Sam zapis w dokumencie PDF dostępnym w intranecie nie zapewni kontroli.
Przygotowanie do wdrażania agentów AI na dużą skalę
Uporządkowanie nadzoru nad agentami nie wymaga odrzucenia dotychczasowego modelu zarządzania ryzykiem. Obowiązujące polityki stanowią dobry punkt wyjścia. Trzeba jednak ustalić, w których obszarach autonomia agentów wprowadza nowe ryzyka. W sektorach regulowanych jest to już konieczność. Regulacje takie jak unijny akt w sprawie sztucznej inteligencji (AI Act) i rozporządzenie DORA zakładają, że organizacja potrafi jednoznacznie określić, co robią jej systemy AI, kto za nie odpowiada i jak są kontrolowane.
To wyzwanie dotyczy w równym stopniu rozwiązań inżynierskich i zasad organizacyjnych. Ustalenia dotyczące nadzoru są skuteczne tylko wtedy, gdy są egzekwowane bezpośrednio w środowisku, w którym działa agent.
Celem jest stworzenie warunków do bezpiecznego rozwijania i wdrażania agentów na większą skalę, bez obciążania innowacji zbędną biurokracją. Wymaga to pełnego obrazu ich działania, jasno przypisanej odpowiedzialności i zabezpieczeń dostosowanych do rzeczywistego ryzyka. Nadzór proporcjonalny do ryzyka oraz zasady wbudowane w środowisko wykonawcze pomagają uniknąć sytuacji, w której jedynym wyjściem pozostaje awaryjne wyłączenie agenta.


