Tak. Największe ryzyko wynika z wprowadzania do publicznych narzędzi treści dokumentów, danych osobowych, informacji poufnych, kodu źródłowego, konfiguracji i szczegółów incydentów oraz z nadawania integracjom AI nadmiernych uprawnień. Ryzyko można istotnie ograniczyć przez stosowanie zatwierdzonych usług enterprise, klasyfikację informacji, DLP, ograniczenia konektorów, jasną procedurę oraz szkolenia.
Wyciek nie musi oznaczać publicznego opublikowania danych. Może polegać na zapisaniu promptu w infrastrukturze dostawcy, wykorzystaniu treści do ulepszania modelu, udostępnieniu podprocesorowi, transferze poza EOG, pozostawieniu danych w logach albo nieuprawnionym odtworzeniu informacji przez użytkownika mającego dostęp do konektora lub pamięci systemu. Szczególnie niebezpieczne są narzędzia instalowane jako rozszerzenia przeglądarki i aplikacje posiadające dostęp do poczty, dysków i komunikatorów.
Generatywna AI może również tworzyć podatny kod, błędne reguły zapory, niebezpieczne polecenia administracyjne lub przekonujące, ale nieprawdziwe interpretacje zdarzeń. W cyberbezpieczeństwie powinno się więc zakazać wykonywania wygenerowanych poleceń bez weryfikacji, wprowadzić review kodu oraz wymagać testowania rekomendowanych zmian w kontrolowanym środowisku.
Rekomendowany model obejmuje: rejestr dozwolonych narzędzi i zastosowań, kategorie danych zabronionych, obowiązek anonimizacji lub pseudonimizacji, rozwiązanie enterprise z wyłączonym użyciem danych do trenowania, umowę powierzenia, kontrolę transferów, DLP/CASB/SSE, ograniczenie wtyczek, logowanie, cykliczne testy i procedurę zgłaszania przypadkowego ujawnienia. Zakaz bez zapewnienia bezpiecznej alternatywy zwykle zwiększa zjawisko shadow AI.
W sektorze publicznym szczególne znaczenie ma załącznik nr 4 do UKSC. Dla podmiotu ważnego będącego podmiotem publicznym wskazuje on jako możliwy dodatkowy element SZBI określanie i kontrolowanie zasad korzystania z ogólnodostępnych usług dużych generatywnych modeli AI. Przepis nie tworzy samodzielnego, powszechnego zakazu, ale wyraźnie potwierdza potrzebę objęcia tego obszaru governance.
