Słownik bezpieczeństwa Xygeni
Słownik pojęć związanych z bezpieczeństwem rozwoju i dostarczania oprogramowania

Czym jest MLSecOps?

TL; DR #

MLSecOps (Machine Learning Security Operations) to praktyka uwzględniania zabezpieczeń na każdym etapie cyklu życia uczenia maszynowego: zbieranie danych, szkolenie, walidacja, pakowanie, wdrażanie i monitorowanie. Istnieje, ponieważ logika modelu jest wyuczona, a nie zapisana, więc dane treningowe, artefakt modelu i punkt końcowy wnioskowania stają się zasobami bezpieczeństwa, do których skanowania kodów nigdy nie zaprojektowano. MLSecOps działa w ramach uczenia maszynowego. pipeline co DevSecOps zrobił dla oprogramowania pipeline:przenosi sterowanie w górę rzeki, przypisuje pochodzenie każdemu artefaktowi i traktuje model jak coś, co można zatruć, ukraść lub po cichu przeprogramować, zanim trafi do produkcji.

Czym jest MLSecOps? Definicja robocza #

Zapytaj dziesięć zespołów inżynierskich, czym jest MLSecOps, a otrzymasz dwa rodzaje odpowiedzi. Jedna grupa opisuje dodatkowe skanowanie przykręcone do istniejącego MLOps. pipelineDrugie opisuje coś bliższego prawdy: ponowne przemyślenie tego, co uznaje się za atut bezpieczeństwa, gdy część logiki oprogramowania ma charakter statystyczny, a nie pisemny.

Druga grupa ma rację i oto dlaczego. Klasyczne bezpieczeństwo aplikacji opiera się na wygodnym założeniu: zachowanie systemu jest zakodowane w kodzie źródłowym, który można odczytać, przejrzeć, przeskanować i poprawić. System uczenia maszynowego łamie to założenie u podstaw. Jego zachowanie wynika z danych pobieranych podczas szkolenia, wag serializowanych do binarnego artefaktu oraz interfejsu, który odpowiada na pytania każdego, kto ma do niego dostęp. Żadna z tych trzech rzeczy nie jest kodem i wszystkie trzy są podatne na ataki.

A więc definicja robocza: MLSecOps to dziedzina zajmująca się zabezpieczaniem danych, modeli, pipelinei obsługi infrastruktury tworzącej system uczenia maszynowego w sposób ciągły, przez cały cykl życia, a nie w formie przeglądu przed uruchomieniem. Łączy trzy dotychczas odrębne praktyki: inżynierię uczenia maszynowego, operacje bezpieczeństwa i kulturę automatyzacji DevOps.

Rozróżnienie, które ma znaczenie w praktyce: skaner podatności sprawdza, czy funkcja jest podatna na atak. MLSecOps pyta, czy zbiór danych, który ukształtował model scoringu kredytowego, został zmodyfikowany sześć miesięcy temu, czy wstępnie wytrenowane wagi pobrane z publicznego huba są tymi podpisanymi przez wydawcę oraz czy punkt końcowy predykcji ujawnia własne dane treningowe, jedno zapytanie po drugim.

Znaczenie MLSecOps podzielone na trzy części #

Najjaśniejszym sposobem na zrozumienie znaczenia MLSecOps jest rozłożenie tego słowa na części, ponieważ każda jego trzecia część niesie ze sobą prawdziwy sens. commitment.

  • ML. Zasób podlegający ochronie nie jest aplikacją. Jest to pipeline który generuje model, a także sam model i dane, które go ukształtowały. Zestawy danych, magazyny cech, a nieebooks, zadania szkoleniowe, punkty kontrolne, rejestry i punkty końcowe wnioskowania — wszystko to mieści się w zakresie.
  • Sec. Bezpieczeństwo jest własnością pipeline, a nie bramka na końcu. Modelowanie zagrożeń odbywa się przed pierwszym przebiegiem treningowym, a nie po zapisaniu karty modelu.
  • Ups. Kontrole są zautomatyzowane, ciągłe i obserwowalne. Model, który był bezpieczny w momencie udostępnienia, może stać się niebezpieczny z powodu dryfu, ponownego szkolenia lub zmiany w pobieranych danych, dlatego jednorazowa ocena jest oceną wygasłą.

Podsumowując, znaczenie MLSecOps, do którego dąży większość zespołów, przedstawia się następująco: traktuj dane i modele jako najwyższej klasy zasoby bezpieczeństwa, stosując tę ​​samą rygorystyczną zasadę, jaką stosujesz do kodu i zależności. Nie więcej rygoru. Tego samego rygoru, którego większość organizacji nigdy nie przekroczyła poza repozytorium.

Co chroni MLSecOps? Widok cyklu życia #

Każdy program MLSecOps ostatecznie mapuje się na cykl życia uczenia maszynowego, ponieważ to właśnie tam integrują się elementy sterujące. Większość zespołów rozpoczyna pracę na etapie pakowania i wdrażania, ponieważ te etapy najbardziej przypominają oprogramowanie. Wcześniejsze etapy to miejsca, w których zachodzą trwałe ataki i to właśnie one są niczyją własnością.

Etap cyklu życiaPodstawowe pytanie bezpieczeństwaRyzyko reprezentatywne
Zbieranie danychSkąd pochodzą te dane i kto mógł na nie wpływać?Zatruwanie, zbieranie danych z niepewnych źródeł, niepotwierdzone dane osobowe
Przygotowanie i etykietowanie danychKto dotykał danych i czy zmiana została odnotowana?Manipulacja etykietami, manipulacja poufnymi informacjami, ciche dryfowanie schematu
SzkoleniaCzy środowisko szkoleniowe jest godne zaufania?Nie skompromitowaneebooks, wyciek danych uwierzytelniających, nadużycie infrastruktury GPU
Walidacja Czy model jest odporny na awarie w czasie ataku, a nie tylko pod obciążeniem?Brak testów przeciwstawnych, ocena wyłącznie w oparciu o testy porównawcze
Opakowanie i rejestrCzy ten artefakt to ten, który zbudowaliśmy, niezmodyfikowany?Ataki serializacji modeli, wagi bez znaku, manipulacje rejestrem
Wdrażanie i obsługaKto może składać zapytania, jak często i w jakich celach?Ekstrakcja modelu, nadużywanie interfejsu API wnioskowania, wyczerpanie kosztów
Monitorowanie i przekwalifikowanieCzy to się zmieniło i czy my to zmieniliśmy?Dryf, zatrucie pętlą sprzężenia zwrotnego, ciche ponowne wprowadzenie błędnego zestawu danych

Większość zespołów rozpoczyna pracę od etapu pakowania i wdrażania, ponieważ te etapy najbardziej przypominają oprogramowanie. Na wcześniejszych etapach dochodzi do trwałych ataków i to właśnie na nich nikt nie ma kontroli.

Jak MLSecOps zabezpiecza sztuczną inteligencję #

To jest pytanie ukryte za pytaniem. Zrozumienie, czym jest MLSecOps w teorii, jest łatwe. Wiedza o tym, jak MLSecOps zabezpiecza sztuczną inteligencję w rzeczywistej organizacji, sprowadza się do czterech pętli sterowania, które wzajemnie się wzmacniają. Uruchom jedną w izolacji, a otrzymasz pole wyboru. Uruchom wszystkie cztery, a otrzymasz program.

1. Inwentaryzacja i pochodzenie: dowiedz się, co istnieje i skąd pochodzi #

Nie możesz zabezpieczyć modelu, o którym nie wiedziałeś, że jest w produkcji, a sztuczna inteligencja cieni to stan domyślny większości organizacji inżynierskich, a nie wyjątek. Pierwsza pętla to odkrywanie: każdy model, zbiór danych, framework, nieebook, punkt końcowy wnioskowania i pipeline, a także relacje między nimi. Pochodzenie jest powiązane z inwentarzem. Dla każdego artefaktu zanotuj, kto go wyprodukował, z jakich źródeł, z jakim kodem i dołącz weryfikowalny podpis. ML-BOM jest czytelnym dla maszyny wyrazem tego i artefaktem, o który audytor ostatecznie poprosi.

2. Integralność: spraw, aby manipulacja była wykrywalna, a nie tylko mało prawdopodobna #

Druga pętla chroni łańcuch od danych do wdrożonego artefaktu. Sumy kontrolne i podpisy na zestawach danych i wagach. Niezmienne ślady audytu w procesie etykietowania i wstępnego przetwarzania. Bezpieczne formaty serializacji, ponieważ klasyczne Format pickle w Pythonie wykonuje dowolny kod podczas ładowania, co zmienia „pobierz wstępnie wytrenowany model” w „uruchom program obcego użytkownika”. Zbuduj integralność w procesie szkolenia pipeline samo w sobie, więc zadanie, które wytworzyło artefakt, można poświadczyć, a nie zakładać. To właśnie tutaj MLSecOps i software supply chain security przestańcie być sąsiadami i stańcie się tą samą dyscypliną.

3. Walidacja adwersarna: przetestuj tryb awarii, a nie tylko jej dokładność #

Model, który osiąga 97% w odłożonym zestawie testowym, nadal może być niezawodnie oszukany przez dane wejściowe, których człowiek nie zauważyłby, że zostały zmodyfikowane. Trzecia pętla dodaje ocenę antagonistyczną do procesu wydawania: testowanie unikania, odporność na zatrucie, wnioskowanie o przynależności i sondy ekstrakcyjne oraz ustrukturyzowany mechanizm tworzenia czerwonych zespołów AI. Wynikiem nie jest wynik pozytywny lub negatywny, jest to model doA, który osiąga 97% w odłożonym zestawie testowym, nadal może być niezawodnie oszukany przez dane wejściowe, których człowiek nie zauważyłby, że zostały zmodyfikowane. Trzecia pętla dodaje ocenę antagonistyczną do procesu wydawania: testowanie unikania, odporność na zatrucie, wnioskowanie o przynależności i sondy ekstrakcyjne oraz ustrukturyzowany mechanizm tworzenia czerwonych zespołów AI. Taksonomia, na której należy to przeprowadzić, to NIST AI 100-2e2025, który kataloguje klasy ataków i sposoby ich łagodzenia. Wynikiem nie jest wynik pozytywny lub negatywny, lecz udokumentowany zestaw warunków, w których model zachowuje się nieprawidłowo, a które zespół następnie decyduje o zaakceptowaniu, złagodzeniu lub zablokowaniu.

4. Monitorowanie i reagowanie w czasie wykonywania: załóż, że ocena wygasa #

Czwarta pętla monitoruje wdrożony system. Anomalie częstotliwości zapytań sygnalizujące ekstrakcję. Dystrybucje wejściowe, które nie przypominają już danych treningowych. Dryft wyjściowy. Wzorce dostępu do rejestru modeliCo najważniejsze, łączy się z rzeczywistą ścieżką reagowania na incydenty, ponieważ „model zachowujący się dziwnie” wymaga właściciela, zbioru uruchomień i celu wycofania, dokładnie tak samo jak w przypadku naruszone usługi.

Krótka wersja tego, w jaki sposób MLSecOps zabezpiecza sztuczną inteligencję: to tworzy ML pipeline audytowalny, umożliwia wykrycie manipulacji, czyni awarię przeciwnika kryterium zwolnienia i sprawia, że ​​zachowanie modelu jest monitorowanym sygnałem, a nie założeniem. Nic na tej liście nie jest egzotyczne. Wszystko jest… standard praktyka w inżynierii oprogramowania, która nigdy nie przekroczyła granicy nauki o danych.

MLSecOps kontra MLOps kontra DevSecOps kontra bezpieczeństwo AI #

Te cztery terminy są zamieniane miejscami w materiałach dostawców, co utrudnia rozmowy o zakupach bardziej niż to konieczne. Praktyczne rozdzielenie:

SemestrDo czego jest optymalizowanyAktywa podstawowe
MLOpsSzybkość i niezawodność dostarczania modeliPipelines, eksperymenty, wdrożenia
DevSecOpsBezpieczeństwo wbudowane w dostarczanie oprogramowaniaKod, zależności, CI/CD, infrastruktura
Operacje MLBezpieczeństwo wbudowane w dostarczanie MLDane, artefakty modelu, szkolenie pipelines, punkty końcowe wnioskowania
Bezpieczeństwo AISzeroki zakres obejmujący wszelkie ryzyko związane ze sztuczną inteligencjąWszystko powyżej, plus systemy generatywne i agentowe

MLSecOps ma się do MLOps tak, jak DevSecOps do DevOps: ten sam cykl życia, przy czym bezpieczeństwo jest właściwością pipeline zamiast audytu na końcu. I granica z generatywnym Bezpieczeństwo AI warto to powiedzieć wprost, ponieważ to właśnie tam powstaje najwięcej nieporozumień. MLSecOps koncentruje się na budować i szkolić strona: jak model jest wytwarzany, pakowany i obsługiwany. Bezpieczeństwo generatywnej sztucznej inteligencji koncentruje się na posługiwać się strona: monity, agenci, dostęp do narzędzi i zachowanie modelu podczas wnioskowania. Organizacja, która dostraja i wdraża własne modele, potrzebuje obu tych elementów, a także jednego modelu ryzyka dla obu, w przeciwnym razie skończy z dwiema kolejkami i brakiem priorytetu.

StatusJak go używać
NIST AI 100-2e2025, Taksonomia uczenia maszynowego w warunkach antagonistycznychOstateczna wersja, marzec 2025Słownictwo referencyjne dotyczące ataków i łagodzenia skutków. Standardumieść na nim swój język zagrożenia
Ramy zarządzania ryzykiem NIST AI i profil GenAIOpublikowany, stabilnyZarządzanie i język na poziomie zarządu
NIST SP 800-218AOstateczny, lipiec 2024Bezpieczne dostosowanie praktyk programistycznych dla systemów AI
ATLAS MITROWYStabilny, stale aktualizowanyModelowanie zagrożeń z udokumentowanymi, rzeczywistymi przypadkami
OWASP Machine Learning Security Top 10Projekt, aktywnie utrzymywanyNajbardziej przystępna taksonomia ryzyka, szczególnie dla uczenia maszynowego. Opisz ją jako wersję roboczą.
OWASP Top 10 dla aplikacji LLM 2025Opublikowano w listopadzie 2024 r., wersja stabilnaDla połowy majątku generatywnego
CycloneDX ML-BOM (ECMA-424)Opublikowany standardFormat, do którego można eksportować inwentarz sztucznej inteligencji
ISO / IEC 42001Opublikowany system zarządzania standardŚcieżka certyfikacji systemu zarządzania AI: zarządzanie zamiast kontroli technicznej

W kwestii regulacji, uczciwe podejście jest ograniczone. Obowiązki dotyczące dokumentacji technicznej wynikające z unijnej ustawy o sztucznej inteligencji (AI Act) oraz obowiązki dotyczące zestawienia materiałów wynikające z ustawy o cyberodporności (Cyber ​​Resilience Act) tworzą realne wymagania dowodowe, a utrzymywany inwentarz ML pomaga je spełnić. Żadne z nich nie wymienia listy materiałów ML-BOM. Każdy, kto twierdzi, że przepisy tego wymagają, wyprzedza tekst.

Od definicji do programu #

Ramy regulują słownictwo. Nie mogą jednak rozwiązać dystansu między wiedzą, że pochodzenie modelu ma znaczenie, a możliwością udowodnienia tego popołudnia, co pipeline Wygenerowano artefakt, który obecnie obsługuje predykcje w środowisku produkcyjnym. Ta odległość zmniejsza się w przewidywalnej kolejności. Odkryj wszystkie zasoby sztucznej inteligencji i uczenia maszynowego w swoich repozytoriach. pipelines i środowiska programistyczne, w tym te, których nikt nie zadeklarował. Powiąż pochodzenie i integralność z artefaktami, które mają znaczenie. Uczyń awarię przeciwnika kryterium wydania, a nie przedmiotem badań. Następnie monitoruj, ponieważ każda ocena traci ważność w momencie ponownego szkolenia systemu.

Xygeni Działa w obszarze oprogramowania tej sekwencji, co jest częścią, którą większość programów MLSecOps odkłada na później i o którą większość audytorów pyta w pierwszej kolejności. Ciągłe odkrywanie zasobów AI w repozytoriach, pipelinei środowiska programistyczne, z automatycznie generowaną listą AI-BOM przy każdym skanowaniu. Wykrywanie złośliwego oprogramowania w pakietach i zależnościach pipelines wciąga, zanim powstanie dla nich podpis. Zbuduj integralność ponad pipelines, które generują Twoje artefakty. Oraz pojedynczy, priorytetyzowany widok ryzyka obejmujący ustalenia dotyczące sztucznej inteligencji i wnioski dotyczące aplikacji, którymi już zarządzasz, dzięki czemu praca trafia do jednej kolejki, a nie do czwartej. Zaplanuj demo aby zobaczyć swój własny inwentarz sztucznej inteligencji.

FAQ – Czym jest MLSecOps w krótkich odpowiedziach #

Czym w skrócie jest MLSecOps?

Wbudowywanie zabezpieczeń na każdym etapie cyklu życia uczenia maszynowego zamiast weryfikacji modelu przed jego uruchomieniem. Chroni to dane, z których model się uczy, artefakt, w który się przekształca, oraz punkt końcowy, który go obsługuje.

Jakie znaczenie ma MLSecOps dla zespołu, który korzysta wyłącznie z modeli innych firm?

Większość z nich nadal obowiązuje. Odziedziczasz ryzyko związane ze wszystkim, czego nie wytrenowałeś: niepodpisanymi wagami, niebezpiecznymi formatami serializacji, niezweryfikowanym pochodzeniem oraz niewidocznym ujawnieniem licencji i zbiorów danych. Konsumpcja przesuwa nacisk na inwentaryzację, weryfikację pochodzenia i kontrolę zależności, a nie na ich odwrócenie.

Czym MLSecOps różni się od MLOps?

MLOps optymalizuje niezawodne i powtarzalne dostarczanie modeli. MLSecOps zakłada, że ​​przeciwnik jest zainteresowany pipeline, danych i artefaktu, i odpowiednio tworzy kontrole. Jedna to dyscyplina wydajności, druga bezpieczeństwa, działające w tym samym cyklu życia.

Czy MLSecOps ma znaczenie tylko wtedy, gdy trenujemy własne modele?

Nie. Dostrajanie, pobieranie pipelines i konsumpcja modeli stron trzecich powodują narażenie na MLSecOps. Kluczowe pytanie nie brzmi, czy trenujesz, ale czy model wpływa na decisza które odpowiada Twoja firma.

W jaki sposób MLSecOps zabezpiecza sztuczną inteligencję przed zatruciem?

Poprzez pochodzenie i integralność, a nie samo wykrywanie. Zarejestrowane pochodzenie danych, zahaszowane i podpisane zestawy danych, kontrola dostępu do etykietowania oraz walidacja adwersarna przed awansem. Zatrucie jest trudne do wykrycia w modelu i znacznie łatwiejsze do ograniczenia u źródła.

Zacznij za darmo

Rozpocznij za darmo.
Nie wymagamy karty kredytowej.

Rozpocznij jednym kliknięciem:

Informacje te zostaną bezpiecznie zapisane zgodnie z Regulamin oraz Polityka Prywatności

Zrzut ekranu aplikacji