Што такое бяспека штучнага інтэлекту? Бяспека штучнага інтэлекту — гэта практыка абароны мадэляў, агентаў, набораў дадзеных і інфраструктуры штучнага інтэлекту, ад якіх залежыць праграмнае забеспячэнне, ад рызык, унікальных для таго, як сістэмы штучнага інтэлекту ствараюцца, навучаюцца і працуюць. Ён ахоплівае выяўленне кожнага выкарыстоўванага актыву штучнага інтэлекту, выяўленне спецыфічных для штучнага інтэлекту ўразлівасцяў, такіх як імгненнае ўкараненне і небяспечная паводзіны агента, а таксама выкананне палітык, якія спыняюць небяспечныя дзеянні штучнага інтэлекту, перш чым яны прычыняць шкоду. Гэта асноўная бяспека штучнага інтэлекту, гэта значыць, што астатняя частка гэтага глосарыя распакоўваецца.
У адрозненне ад традыцыйнай бяспекі праграм, якая абараняе код, залежнасці і інфраструктуру, бяспека штучнага інтэлекту абараняе новы клас актываў: мадэлі, падказкі, агенты і пратаколы міжмашыннай сувязі, якія іх злучаюць. Па меры таго, як штучны інтэлект пераходзіць ад функцыі да самога ланцужка паставак праграмнага забеспячэння, ён становіцца асобным, неабходным узроўнем абароны.
Значэнне бяспекі штучнага інтэлекту: кароткае вызначэнне #
Найпрасцей кажучы, значэнне бяспекі штучнага інтэлекту заключаецца ў наступным: абараняючы штучны інтэлект гэтак жа, як і код, але з выкарыстаннем набору кампанентаў і паводзін, для якіх звычайныя інструменты ніколі не былі створаны.
Карысны спосаб аддзяліць паняцце ад агульнай кропкі блытаніны: Бяспека са штучным інтэлектам — гэта не тое ж самае, што «штучны інтэлект у бяспецы». Штучны інтэлект у бяспецы азначае выкарыстанне штучнага інтэлекту для паляпшэння існуючай працы ў галіне бяспекі, напрыклад, мадэлі штучнага інтэлекту, якая ацэньвае выяўленыя ўразлівасці. Бяспека штучнага інтэлекту, наадварот, азначае абарону самога штучнага інтэлекту: файлаў мадэлі, навучальных дадзеных, агентаў, падказак і сервераў, якія дазваляюць інструментам штучнага інтэлекту выконваць дзеянні. Абодва з'яўляюцца слушнымі спосабамі выкарыстання штучнага інтэлекту, але яны адказваюць на розныя пытанні.
Чаму гэта важна #
Каманды распрацоўшчыкаў праграмнага забеспячэння ўкаранілі памочнікаў кадавання на аснове штучнага інтэлекту, аўтаномных агентаў і Пратакол мадэльнага кантэксту (МКП) тэмпамі, якія апярэдзілі інструменты, прызначаныя для іх абароны. Некалькі прычын, па якіх гэты зрух стварыў новую паверхню для нападу:
Залежнасці ад штучнага інтэлекту могуць быць атручаныя або выдуманыя. Памочнікі па распрацоўцы праграм штучнага інтэлекту часам рэкамендуюць пакеты, якіх не існуе, — гэта шаблон, вядомы як «slopsquatting», які зламыснікі могуць папярэдне зарэгістраваць і выкарыстоўваць у якасці зброі.
Код, згенераваны штучным інтэлектам, мае свой уласны профіль рызыкі. Незалежны бенчмаркінг генерацыі кода штучнага інтэлекту паказаў, што значная доля кода, напісанага штучным інтэлектам, уводзіць распаўсюджаныя шаблоны ўразлівасцяў, нават калі базавая мадэль здольная і добра навучаная.
Агенты і серверы MCP — гэта новая, у значнай ступені некантралюемая інфраструктура. Агенты могуць чытаць файлы, выклікаць інструменты і выконваць дзеянні ад імя распрацоўшчыка. Калі інструкцыі агента, файлы правілаў або падлучаныя серверы MCP будуць зменены, агент можа быць накіраваны супраць сістэмы, якую ён павінен быў абараняць.
Канфігурацыя штучнага інтэлекту цяпер з'яўляецца паверхняй для атакі. Файлы навыкаў, файлы правілаў і шаблоны падказак звычайна разглядаюцца як дакументацыя, а не як артэфакты, звязаныя з бяспекай. Зламыснікі ўжо паказалі, што схаваныя інструкцыі, убудаваныя ў гэтыя файлы, могуць прымусіць памочніка штучнага інтэлекту ствараць узламаны код без якіх-небудзь бачных слядоў у яго адказе.
Што гэта ахоплівае #
Поўная праграма бяспекі штучнага інтэлекту звычайна ахоплівае тры функцыі:
1. Discovery (інвентарызацыя штучнага інтэлекту) #
Перш чым што-небудзь можна будзе абараніць, гэта трэба знайсці. Бяспека штучнага інтэлекту пачынаецца з пастаяннага выяўлення кожнага актыву штучнага інтэлекту ў рэпазіторыях арганізацыі і pipelines: мадэлі, фрэймворкі штучнага інтэлекту, наборы дадзеных, канчатковыя кропкі вываду, агенты, інструменты кадавання штучнага інтэлекту і серверы MCP, да якіх яны падключаюцца. Гэты інвентар звычайна адлюстроўваецца ў выглядзе машыначытэльнай спецыфікацыі матэрыялаў штучнага інтэлекту (AI-BOM), эквівалентнай спецыфікацыі матэрыялаў праграмнага забеспячэння для штучнага інтэлекту (SBOM).
2. Выяўленне (рызыка штучнага інтэлекту) #
Пасля таго, як актывы штучнага інтэлекту вядомыя, служба бяспекі штучнага інтэлекту выяўляе характэрныя для іх рызыкі, у тым ліку:
- Хуткае ўпырскванне і хуткая ўцечка з сістэмы, дзе ненадзейны кантэнт маніпулюе паводзінамі мадэлі штучнага інтэлекту
- Небяспечная канфігурацыя MCP, дзе падлучаны інструмент або сервер могуць быць атручаныя або імітаваны
- Празмерная свабода дзеянняў, дзе агенту дазваляецца дзейнічаць за межамі сваіх магчымасцей без кантролю з боку чалавека
- Раскрыццё сакрэтаў у файлах штучнага інтэлекту, дзе ключы API або ўліковыя дадзеныя прасочваюцца праз канфігурацыю, якая выкарыстоўваецца інструментамі штучнага інтэлекту
- Уразлівыя або галюцынаваныя залежнасці ад штучнага інтэлекту, у тым ліку прысяданні на сядзенні
Гэтыя катэгорыі рызыкі адпавядаюць апублікаваным, правераным супольнасцю структурам, у прыватнасці, OWASP Top 10 для заявак на атрыманне магістра права (LLM).
3. Прымусовае выкананне (Guardrails) #
Апошні ўзровень спыняе небяспечную паводзіну штучнага інтэлекту перад яго выкананнем: блакіроўка ўсталёўкі шкоднаснага пакета, праверка файла навыкаў або правілаў перад тым, як яму давераць, або перахоп дзеянняў агента, якія парушаюць палітыку. Менавіта тут бяспека штучнага інтэлекту пераходзіць ад бачнасці да актыўнай абароны.
Асноўныя рызыкі бяспекі штучнага інтэлекту, вызначэнне #
| Тэрмін | Што гэта значыць |
|---|---|
| Хуткая ін'екцыя | Шкоднасныя інструкцыі, схаваныя ў змесце, які апрацоўвае мадэль штучнага інтэлекту, прымушаючы яе дзейнічаць супраць свайго прызначэння |
| Прысяданні на кукішках | Зламыснікі рэгіструюць падробленыя пакеты, якія супадаюць з назвамі, якія мадэль штучнага інтэлекту, верагодна, галюцынавала і рэкамендавала. |
| Рызыка МКП | Уразлівасці ў серверах Model Context Protocol, якія дазваляюць агентам штучнага інтэлекту выклікаць знешнія інструменты, у тым ліку атручванне інструментаў і неаўтэнтыфікаваны доступ. |
| Празмерная свабода дзеянняў | Агенту штучнага інтэлекту нададзена больш аўтаноміі або доступу, чым патрабуецца для яго задачы |
| Бэкдор для файлаў правілаў/навыкаў | Схаваныя сімвалы або інструкцыі, размешчаныя ў файлах канфігурацыі, якія кіруюць памочнікам па кадаванні са штучным інтэлектам, не адлюстроўваючыся ў яго бачным выніку |
| ШІ-BOM | Машыначытэльны пералік актываў штучнага інтэлекту арганізацыі, які выкарыстоўваецца для аўдыту і кіравання рызыкамі |
Структуры бяспекі штучнага інтэлекту і Standards #
Ён заснаваны на невялікай колькасці апублікаваных standards, а не таксанамія якога-небудзь асобнага пастаўшчыка:
- Топ-10 OWASP для падачы заявак на атрыманне магістра права (LLM) (2025)Найбольш шырока згадваны спіс рызык прымянення штучнага інтэлекту, які ахоплівае аператыўнае ўкараненне, раскрыццё канфідэнцыйнай інфармацыі, рызыкі ланцужка паставак і іншае.
- NIST SP 800-218A: рэкамендацыі па бяспечных практыках распрацоўкі праграмнага забеспячэння, адаптаваных для генератыўнага штучнага інтэлекту і базавых мадэляў двайнога выкарыстання.
- AI-SPM і AI TRiSM ад Gartner: вызначаныя аналітыкамі катэгорыі для кіравання станам бяспекі штучнага інтэлекту і больш шырокай дысцыпліны кіравання даверам, рызыкамі і бяспекай штучнага інтэлекту.
Разам гэта дае арганізацыям агульны слоўнік для разумення таго, што насамрэч азначае «бяспечны штучны інтэлект», замест таго, каб спадзявацца толькі на маркетынгавыя азначэнні.
Бяспека штучнага інтэлекту ў параўнанні з падобнымі тэрмінамі #
- Бяспека штучнага інтэлекту супраць AppSecAppSec абараняе код праграмы і яе залежнасці. Ён абараняе мадэлі штучнага інтэлекту, агентаў і канфігурацыю, спецыфічную для штучнага інтэлекту, для праверкі якіх інструменты AppSec не былі створаны.
- Бяспека штучнага інтэлекту супраць кіравання штучным інтэлектамКіраванне вызначае палітыку і дазволы, якія арганізацыя патрабуе для выкарыстання штучнага інтэлекту. Яно забяспечвае выкананне і правярае, ці дзейнічаюць гэтыя палітыкі на практыцы на ўзроўні кода і агента.
- Бяспека штучнага інтэлекту супраць MLSecOpsMLSecOps факусуецца на забеспячэнні бяспекі жыццёвага цыклу машыннага навучання (навучанне, дадзеныя, разгортванне мадэлі). Ён шырэйшы і ахоплівае агентаў, памочнікаў кадавання і пратаколы, якія злучаюць іх з рэальнымі сістэмамі.
Як Xygeni падыходзіць да бяспекі штучнага інтэлекту
#
Ксігені Прадукт AI Security прымяняе тую ж мадэль выяўлення, выяўлення і прымусовага выканання непасрэдна да жыццёвага цыклу распрацоўкі праграмнага забеспячэння. Ён пастаянна стварае інвентар штучнага інтэлекту ва ўсіх рэпазіторыях, выяўляе характэрныя для штучнага інтэлекту рызыкі, такія як імгненнае ўкараненне і небяспечная канфігурацыя MCP, і адносіць кожную выяўленую рызыку да топ-10 OWASP для прыкладанняў LLM, таму каманды бяспекі і інжынераў працуюць з адной AI-BOM і адным выглядам рызык, замест таго, каб здагадвацца, што штучны інтэлект ужо працуе ў іх кодзе.
Часта задаваныя пытанні #
Бяспека штучнага інтэлекту — гэта абарона мадэляў штучнага інтэлекту, агентаў, дадзеных і інфраструктуры, якая іх злучае, ад рызык, характэрных для таго, як сістэмы штучнага інтэлекту пабудаваны і працуюць.
Не. Кібербяспека — гэта агульная дысцыпліна, якая ахоплівае ўсе лічбавыя рызыкі. Бяспека штучнага інтэлекту — гэта спецыялізаванае падмноства кібербяспекі, якое сканцэнтравана на спецыфічных для штучнага інтэлекту рэсурсах і рэжымах збояў, такіх як імгненнае ўкараненне або небяспечная паводзіны агента.
Любая арганізацыя, распрацоўшчыкі якой выкарыстоўваюць памочнікаў па кадаванні са штучным інтэлектам, чые прадукты ўбудоўваюць мадэлі штучнага інтэлекту або чые працоўныя працэсы ўключаюць аўтаномныя агенты і серверы MCP. Цяпер гэта ўключае большасць каманд распрацоўшчыкаў праграмнага забеспячэння, незалежна ад памеру.
