TL; DR
„Zarządzanie ryzykiem związanym ze sztuczną inteligencją” to termin opisujący dwie przeciwstawne dyscypliny, które mają tę samą nazwę. Zarządzanie ryzykiem generowanym przez sztuczną inteligencję to nie to samo, co wykorzystanie sztucznej inteligencji do zarządzania ryzykiem. Większość organizacji stosuje jedno, a drugie jest im sprzedawane, ale nie raportuje prawidłowo żadnego z nich.
- Zarządzanie ryzykiem GenAI jest problemem odkrywczym, zanim stanie się problemem zarządzania. Nie można zarządzać majątkiem, którego nigdy się nie policzyło, a inwentarz często znajduje się w
.mcp/servers.jsonplik, którego nikt nie otwierał od czasu jego powstania commitprzetrząsać. - Sztuczna inteligencja w zarządzaniu ryzykiem spełnia trzy zadania. Korelacja, wyjaśnienie i objętość. Nie radzi sobie z podejmowaniem decyzji, dlatego sztuczna inteligencja proponuje coś, co deterministycznie sprawdza, zanim ktokolwiek to zobaczy.
- Te dwie dyscypliny zbiegają się w jednym punkcie. Sztuczna inteligencja, którą wdrażasz do zarządzania ryzykiem, sama w sobie jest zasobem sztucznej inteligencji, z modelem, dostępem do narzędzi i uprawnieniami. Powinna znaleźć się w Twoim ekwipunku.
- Zacznij od liczenia, a nie od pisania zasad. Polityka sporządzona przed ujawnieniem opisuje wyimaginowany majątek. Trzy liczby na jednym slajdzie przebijają schemat, którego nikt nie jest w stanie zweryfikować.
Dlaczego „zarządzanie ryzykiem związanym ze sztuczną inteligencją” oznacza teraz dwie różne rzeczy?
Wpisz frazę w dowolne pole wyszukiwania, a otrzymasz dwie zupełnie różne biblioteki.
Jeden jest o ryzyko, jakie stwarza sztuczna inteligencja: nieprzewidywalne zachowanie modeli, agenci z większymi uprawnieniami niż ktokolwiek zamierzał, błędy w wysyłaniu kodu generowane na dużą skalę, organy regulacyjne pytające, co uruchamiasz. Nazwij to zarządzaniem ryzykiem GenAI.
Drugi dotyczy Sztuczna inteligencja jako narzędzie funkcji ryzyka: modele sortujące alerty, podsumowujące narażenie, opracowujące działania naprawcze, wyjaśniające ustalenia osobie, która nie czyta śladów stosu. Nazwijmy to sztuczną inteligencją w zarządzaniu ryzykiem.
Mają wspólną nazwę, linię budżetową i często slajd, i nie należą do tej samej dyscypliny. Jedna jest defensywna i pyta, co może pójść nie tak. Druga jest operacyjna i pyta, co możemy przestać robić ręcznie. CISKto je myli, ten kończy z polityką zarządzania, która nie redukuje obciążenia pracą i programem automatyzacji, którego ryzyka nikt nie ocenił.
Nazwanie podziału nie jest pedanterią. To najszybszy sposób, aby dowiedzieć się, który z tych dwóch projektów faktycznie finansuje Twoja organizacja.
Co obejmuje zarządzanie ryzykiem GenAI?
Trzy warstwy, a tylko jedna z nich jest modelem.
- Co pisze sztuczna inteligencja. Wygenerowany kod jest narażony na te same klasy podatności, co kod tworzony przez człowieka, i dociera do użytkowników szybciej, niż jest to możliwe w procesie weryfikacji. Ta warstwa skupia na sobie niemal całą uwagę, ponieważ jest najbardziej znana.
- Do czego podłączona jest sztuczna inteligencja. Pliki umiejętności, pliki reguł, konfiguracje serwera MCP, zakresy narzędzi, poświadczenia, z którymi agent pracuje. Zwykły tekst, commitJest on analizowany jak dokumentacja, przeglądany jak dokumentacja i definiuje, do czego asystent ma dostęp. To warstwa, która decyduje, jak daleko sięga udany atak, i jest niewidoczna dla wszystkich, którzy testują model za pośrednictwem jego punktu końcowego.
- Co przyciąga sztuczna inteligencja. Zależności, modele, zestawy danych, narzędzia zewnętrzne. Atakujący nie muszą już naruszać zabezpieczeń administratora, skoro mogą zarejestrować nazwę pakietu wymyśloną przez agenta. Badania zaprezentowane na konferencji USENIX Security w 2025 roku wygenerowały 2.23 miliona próbek kodu w 16 modelach i wykazały, że 19.7% rekomendowanych pakietów nie istniało, generując ponad 205 000 unikalnych, halucynacyjnych nazw.
Każdy program zarządzania ryzykiem GenAI, który obejmuje tylko pierwszą warstwę, generuje czysty raport i niezmieniony profil ryzyka. OWASP Top 10 dla aplikacji LLM jest skonstruowany wokół tej rzeczywistości: nadmierna agencja plasuje się blisko szczytucisponieważ jest to raczej problem z okablowaniem, a nie z modelem.
A wszystkie trzy warstwy zależą od czegoś bardziej nudnego niż którakolwiek z nich. Musisz wiedzieć, jaką sztuczną inteligencję posiadasz. Odkrycie nie jest wstępnym krokiem do zarządzania ryzykiem GenAI, to podstawa reszty i to właśnie na niej większość programów po cichu się zatrzymuje.
Do czego właściwie nadaje się sztuczna inteligencja w zarządzaniu ryzykiem?
Odłóżmy na bok kwestie marketingowe, a szczera odpowiedź będzie ograniczona, ale wartościowa. Sztuczna inteligencja w zarządzaniu ryzykiem ma swoje miejsce w trzech obszarach.
- Korelacja. Sześć narzędzi generuje sześć wersji tego samego odkrycia w sześciu poziomach ważności. Stwierdzenie, że jest to ten sam problem, w tym samym komponencie, z jedną przyczyną źródłową, to żmudna praca nad wzorcami, którą ludzie wykonują powoli i niespójnie.
- Wyjaśnienie. Różnica między odkryciem a rozwiązaniem problemu zazwyczaj leży w zrozumieniu. Wyjaśnienie, które wskazuje ścieżkę exploita, komponent, którego dotyczy problem, i promień rażenia, zmienia zgłoszenie, które ktoś zamyka jako „nie do naprawienia”, w zgłoszenie, które ktoś faktycznie rozwiązuje.
- Tom. Kiedy agent programistyczny produkuje tysiąc plików tygodniowo, proces weryfikacji przestaje być kontrolą, a staje się kolejką. Nic, co ludzkie, nie jest w stanie tego zmienić i żadne zatrudnienie tego nie zmieni.
Sztuczna inteligencja w zarządzaniu ryzykiem nie radzi sobie dobrze z podejmowaniem decyzji. Model proponujący niezweryfikowane rozwiązanie to obciążenie ubrane w funkcję. Wzorzec, który się sprawdza, to rozumowanie sztucznej inteligencji połączone z analizą deterministyczną: sztuczna inteligencja proponuje, a coś nieprobabilistycznego weryfikuje propozycję pod kątem zgodności z polityką, możliwości wykorzystania i wpływu na zmiany, zanim ktokolwiek ją zobaczy.
Istnieje druga, mniej oczywista korzyść. Ta sama inteligencja, która klasyfikuje wyniki Twojego własnego skanera, może również klasyfikować wyniki innych. Jeśli warstwa sztucznej inteligencji (AI) znajduje się ponad narzędziami, które już kupiłeś, zamiast je zastąpić, AI w zarządzaniu ryzykiem staje się dodatkiem do Twojego stosu, a nie projektem migracji, co zazwyczaj stanowi różnicę między programem rozpoczynającym się w tym kwartale a tym rozpoczynającym się w przyszłym roku.
Gdzie sztuczna inteligencja w zarządzaniu ryzykiem zawodzi?
Trzy tryby awarii, wszystkie wspólne.
- Pewność siebie bez pochodzenia. Podsumowanie ryzyka wygenerowane przez sztuczną inteligencję jest czytelne i nie zawiera żadnych informacji. Gdy audytor pyta, jak wygenerowano liczbę, odpowiedź „model tak powiedział” nie jest prawdziwa. Każdy wynik programu zarządzania ryzykiem wymaga prześledzenia ścieżki prowadzącej do ustalenia, pliku i wiersza.
- Automatyka bez bramy. Pokusa posiadania sprawnego agenta polega na tym, by pozwolić mu naprawiać błędy. Wszystko, co trafia do kodu produkcyjnego, powinno zostać zatwierdzone przez osobę na etapie pull request. To nie jest nieśmiałość, to jest pozycja, Ustawa UE o sztucznej inteligencji Popycha cię w każdym kierunku, w rozłożonym w czasie harmonogramie, który już raz się przesunął. Budowa punktu zatwierdzenia kosztuje teraz projektcisModernizacja w ramach audytu kosztuje kwartał.
- Pomiar adopcji zamiast ekspozycji. „Nasz zespół codziennie korzysta ze sztucznej inteligencji do zarządzania ryzykiem” to statystyka użytkowania. Nie mówi ona nic o tym, czy ryzyko spadło.
W jaki sposób te dwie dyscypliny się łączą?
Oto część, której prawie nikt jeszcze nie pokazuje na slajdzie.
Sztuczna inteligencja, którą wdrażasz w celu zarządzania ryzykiem, sama w sobie jest zasobem sztucznej inteligencji. Ma jeden lub kilka modeli. Ma dostęp do narzędzi. Odczytuje kod źródłowy, wyniki badań, a często również poufne informacje. Działa na podstawie danych uwierzytelniających. Może łączyć się z serwerem MCP. Jeśli inwentarz zarządzania ryzykiem GenAI go nie zawiera, inwentarz jest błędny, a luka znajduje się w najbardziej uprzywilejowanym systemie, jaki posiadasz.
To sprawia, że te dwie dyscypliny stanowią jeden program. Sztuczna inteligencja bezpieczeństwa trafia do tego samego inwentarza, co sztuczna inteligencja zainstalowana przez programistów. Ma status zatwierdzenia. Ma wyznaczonego właściciela. Jest kontrolowana pod kątem zakresu, rejestrowana i blokowana. pull request dokładnie tak jak wszystko inne, co ma dostęp do zapisu w twoich repozytoriach.
Organizacje, które traktują sztuczną inteligencję w zarządzaniu ryzykiem jako zakup narzędzia, a nie wdrożenie, odkryją to podczas pierwszego audytu, co będzie dla nich niewygodną rozmową. Organizacje, które traktują to jako jedno i drugie, otrzymują jeden inwentarz, jeden model ryzyka i jedną odpowiedź, gdy zarząd zada pytanie.
Jak wygląda działający model operacyjny zarządzania ryzykiem oparty na sztucznej inteligencji?
Sześć możliwości, każda z wyznaczonym właścicielem i dowodem na to, że działa.
| Zdolność | Co obejmuje | Kto jest właścicielem? | Co to dowodzi? |
|---|---|---|---|
| Odkrycie AI | Modele, agenci, zestawy danych, serwery MCP, narzędzia kodowania, w tym sztuczna inteligencja zabezpieczająca | Lider ds. bezpieczeństwa aplikacji | A inwentarz na żywo ze stanem zatwierdzenia dla każdego zasobu |
| Wykrywanie ryzyka przez sztuczną inteligencję | Ścieżki szybkiego wstrzyknięcia, niebezpieczne granice agentów, złośliwe umiejętności i pliki reguł | Lider ds. bezpieczeństwa aplikacji | Wyniki mapowane na uznane ramy, z plikiem i linią |
| Kontrola łańcucha dostaw | Zależności pobierane przez sztuczną inteligencję przed powstaniem podpisu | Lider ds. bezpieczeństwa aplikacji | Werdykt przesiewowy za pakiet, za tydzień |
| Triaż wspomagany sztuczną inteligencją | Korelacja, wyjaśnienie, priorytetyzacja we wszystkich narzędziach | Operacje bezpieczeństwa | Zmniejszenie liczby ustaleń docierających do programisty |
| Brama ludzka | Zatwierdzenie wszystkiego, co dociera do kodu produkcyjnego | Lider platformy lub DevOps | Procent autorstwa agenta pull requests z osobą zatwierdzającą |
| Raportowanie | Postawa skierowana w górę | CISBiuro O | Eksportowalny AI-BOM i trzy liczby, na podstawie których zarząd może działać |
Ludzie zapominają o pierwszym i drugim zdaniu. bezpieczeństwo AI należy do twojego ekwipunku.
Jak zacząć
Nie z polisą. Polisy sporządzone przed ujawnieniem opisują wyimaginowany majątek.
Zlicz, jakie sztuczna inteligencja (AI) jest uruchomiona w Twoim oprogramowaniu, w tym sztuczną inteligencję wprowadzoną przez Twój zespół ds. bezpieczeństwa. Opublikuj liczbę wewnętrznie, nie podając źródła, ponieważ podawanie konkretnych osób na tym etapie prowadzi do nielegalnego wykorzystania i niszczy uzyskaną widoczność. Następnie uzgodnij zatwierdzoną listę, która odzwierciedla rzeczywiste potrzeby Twoich zespołów, i ogranicz dostęp do niewielkiej liczby rzeczy, których nie da się odzyskać w przypadku awarii: złośliwej zależności, aktywnych danych uwierzytelniających, niezatwierdzonego modelu wykorzystującego dane regulowane.
Organizacje, które będą borykać się z zarządzaniem ryzykiem związanym ze sztuczną inteligencją w 2027 roku, to nie te, które działały szybko. To te, które spędziły 2026 rok na opracowywaniu polityki dotyczącej sztucznej inteligencji i nigdy niczego nie policzyły.
To jest pozycja Xygeni został zbudowany wokół: jednego inwentarza obejmującego sztuczną inteligencję zainstalowaną przez Twoich programistów i wprowadzoną przez Twój zespół ds. bezpieczeństwa, jednego modelu ryzyka stosowanego do Twoich ustaleń i tych generowanych przez inne Twoje narzędzia oraz osoby zatwierdzającej wszystko, co dociera do kodu produkcyjnego.
Dwie dyscypliny, jeden inwentarz. Im szybciej przestaną być oddzielnymi programami z oddzielnymi właścicielami, tym szybciej którykolwiek z nich zacznie działać.
FAQ
Czy zarządzanie ryzykiem związanym ze sztuczną inteligencją jest tym samym, co zarządzanie sztuczną inteligencją?
Zarządzanie ustala zasady: kto może z czego korzystać, na jakich warunkach i po uzyskaniu jakich zezwoleń. Zarządzanie ryzykiem związanym ze sztuczną inteligencją to działanie operacyjne polegające na ustaleniu, co faktycznie działa, zmierzeniu narażenia na ryzyko i jego ograniczeniu. Zarządzanie bez zarządzania ryzykiem prowadzi do polityki, której nikt nie może zweryfikować. Zarządzanie ryzykiem bez zarządzania prowadzi do ustaleń, na podstawie których nikt nie ma prawa działać. W większości organizacji ten pierwszy element jest znacznie bardziej rozpowszechniony niż ten drugi.
Czy możemy wykorzystać sztuczną inteligencję do zarządzania ryzykiem, zanim rozwiążemy problem zarządzania ryzykiem GenAI?
Tak, i większość zespołów tak zrobi, ponieważ presja operacyjna jest natychmiastowa, a presja zarządcza kwartalna. Warunkiem jest inwentaryzacja sztucznej inteligencji bezpieczeństwa od pierwszego dnia, a nie dodawanie jej później. Dodanie jednego zasobu do inwentaryzacji jest banalnie proste. Rekonstrukcja osiemnastu miesięcy nieudokumentowanego dostępu dla audytora już nie.
Do jakich ram powinien być dostosowany program zarządzania ryzykiem związanym ze sztuczną inteligencją?
Ramy zarządzania ryzykiem NIST AI to najszerzej akceptowany słownik, a jego cztery funkcje: rządzenie, mapowanie, mierzenie i zarządzanie zapewniają strukturę, którą zarząd rozpozna. Połącz go z pracą OWASP GenAI dla warstwy technicznej, ponieważ NIST podpowiada, jakie rezultaty należy osiągnąć, a OWASP pokazuje, jak faktycznie wyglądają ataki. Żaden z nich nie powie Ci, co liczyć, co pozostaje Twoim priorytetem.cisjonowy.
Czy sztuczna inteligencja w zarządzaniu ryzykiem redukuje zatrudnienie?
Nie w zespołach, które dobrze z niego korzystają. Zmienia to sposób, w jaki zespół spędza dzień. Korelacja, selekcja i wyjaśnienia w pierwszym szkicu przenoszą się do modelu, a ludzki czas do de.cisJony, które niosą ze sobą konsekwencje: co jest blokowane, jakie ryzyko jest akceptowane i przez kogo, oraz które ustalenia faktycznie zagrażają produkcji. Jeśli Twój biznesplan opiera się na redukcji zatrudnienia, program zazwyczaj jest oceniany na podstawie niewłaściwego wskaźnika w ciągu dwóch kwartałów.
