Большасць каманд бяспекі могуць назваць свой стэк AppSec адным дыханнем: SAST, SCA, DAST, сканаванне сакрэтаў. Калі папрасіць тую ж каманду назваць свой стэк штучнага інтэлекту, звычайна атрымаецца толькі паціснуць плячыма, атрымаць некалькі інструментаў, набытых у спешцы, і адсутнасць агульнай лексікі для разумення таго, што значыць «ахоплена». AI TRiSM існуе менавіта для таго, каб ліквідаваць гэты прабел, даючы кіраўнікам па бяспецы і рызыках адзіную структуру для кіравання штучным інтэлектам гэтак жа, як яны ўжо кіруюць праграмамі.
У гэтым глосарыі тлумачыцца, што такое AI TRiSM, што азначае абрэвіятура, якія яе асноўныя прынцыпы і дзе яна ўпісваецца ў рэальную, працуючую праграму бяспекі штучнага інтэлекту, а не ў слайд.
Значэнне AI TRiSM: простае вызначэнне #
AI TRiSM азначае Кіраванне даверам, рызыкамі і бяспекай у сферы штучнага інтэлектуГэта фрэймворк, першапачаткова прадстаўлены Gartner, для кіравання надзейнасцю, справядлівасцю, бездакорнасцю і бяспекай сістэм штучнага інтэлекту на працягу ўсяго іх жыццёвага цыклу, ад дадзеных і мадэляў, на якіх яны пабудаваны, да праграм і агентаў, якія выкарыстоўваюць іх у вытворчасці.
Значэнне AI TRiSM лепш за ўсё разумець як пашырэнне шаблону, які каманды бяспекі ўжо ведаюць. Воблака прынесла CSPM. Дадзеныя прынеслі DSPM. ШІ прыносіць AI TRiSM, агульную катэгорыю, пабудаваную на той жа логіцы: вы не можаце абараніць або кіраваць тым, што вы спачатку не выявілі, не ацанілі і не кантралявалі пастаянна, а сістэмы ШІ ўводзяць рызыкі, на якія традыцыйныя сістэмы AppSec і кіравання ІТ ніколі не былі прызначаны.
Што яно спрабуе вырашыць? #
Каб сапраўды адказаць на пытанне, што такое AI TRiSM, трэба разгледзець праблему, на якую ён рэагуе. Сістэмы штучнага інтэлекту даюць збоі спосабамі, якія не ўпісваюцца ў агульнапрынятае... База дадзеных CVE:
- Мадэль можа быць тэхнічна «надзейнай» і ўсё роўна даваць прадузяты, ненадзейны або ілжывы вынік.
- Мадэль можа карэктна паводзіць сябе падчас тэставання і ўсё роўна быць незаўважна пашкоджанай атручанымі дадзенымі навучання або пошуку.
- Агент штучнага інтэлекту можа мець дзеючыя ўліковыя дадзеныя і ўсё роўна выконваць дзеянні, якія ніколі не ўхваляў чалавек.
- Ідэальна прапатчанае прыкладанне ўсё яшчэ можа перадаваць канфідэнцыйныя дадзеныя праз падказку, сістэмнае паведамленне або файл з пераразмеркаваным доступам, які штучны інтэлект ніколі не павінен быў бачыць.
Ні адзін з іх не адпавядае старой мадэлі «знайсці ўразлівы радок кода, залатаць яго, і ўсё». AI TRiSM быў вызначаны ранейcisтаму што давер, рызыка і бяспека ў сістэмах штучнага інтэлекту патрабавалі ўласнай структуры, якая разглядала б мадэль, дадзеныя і агента як аб'екты першага класа для кіравання, а не як пабочныя эфекты прыкладання вакол іх.
Асноўныя слупы AI TRiSM #
Большасць падыходаў да TRiSM з выкарыстаннем штучнага інтэлекту, у тым ліку ўласная распрацоўка Gartner, абапіраюцца на чатыры ўзаемазвязаныя слупкі:
- Тлумачнасць і маніторынг мадэліадсочванне таго, як мадэль робіць дэcisіёны, назіранне за дрэйфам, зрушэннем і зніжэннем дакладнасці з цягам часу, а таксама здольнасць растлумачыць вынік, калі хтосьці пытаецца, чаму мадэль сказала тое, што сказала.
- ModelOps: кіраванне жыццёвым цыклам мадэляў у прадукцыйнай вытворчасці, у тым ліку кіраванне версіямі, кантроль доступу і аперацыйная дысцыпліна, якая прадугледжвае веданне таго, якая мадэль дзе працуе і чаму.
- Бяспека прыкладанняў штучнага інтэлектуабарона паверхні для атак, спецыфічнай для штучнага інтэлекту, у тым ліку ад імгненных ін'екцый, атручвання дадзеных і мадэляў, небяспечных інтэграцый плагінаў і інструментаў, а таксама ад несанкцыянаваных паводзін агентаў.
- недатыкальнасць прыватнага жыцця: забеспячэнне таго, каб дадзеныя, якія выкарыстоўваюцца для навучання, тонкай налады і падказак сістэм штучнага інтэлекту, не пранікалі ў канфідэнцыйную або рэгуляваную інфармацыю ні ў саму мадэль, ні праз яе адказы.
Разуменне таго, што такое AI TRiSM на практыцы, азначае прызнанне таго, што гэтыя чатыры слупы працуюць толькі разам. Мадэль, якую можна цалкам растлумачыць, але якая небяспечная, усё роўна з'яўляецца праблемай. Бяспечная мадэль без бачнасці адхіленняў або прадузятасці ўсё яшчэ некіравальная. Унёсак AI TRiSM заключаецца ў тым, каб разглядаць усе чатыры як адну звязаную дысцыпліну, а не як чатыры асобныя бэклогі, якія належаць чатыром асобным камандам.
Чаму значэнне AI TRiSM выходзіць за рамкі адпаведнасці #
Існуе спакуса падаць прынцыпы AI TRiSM у «іншы пункт кіравання», але значэнне AI TRiSM — гэта аперацыйнае, а не толькі рэгулятыўнае. Арганізацыі, якія прымаюць прынцыпы AI TRiSM, звычайна спрабуюць адказаць на тры канкрэтныя пытанні, на якія яны пакуль не могуць адказаць:
- Які ў нас насамрэч штучны інтэлект? Мадэлі, наборы дадзеных, агенты, MCP-серверы і інструменты кадавання штучнага інтэлекту назапашваюцца ў камандах хутчэй, чым хто-небудзь іх адсочвае, ствараючы ценявы штучны інтэлект гэтак жа, як калісьці гэта рабілі ценявыя ІТ.
- Што яно робіць, і ці мае гэта дазвол? Агент з празмернымі дазволамі або неўхваленым убудовай можа выконваць рэальныя дзеянні, а не проста генераваць тэкст, што значна павышае рызыку «несанкцыянаваных паводзін» у параўнанні з няправільным адказам чат-бота.
- Ці можам мы гэта даказаць, калі патрабаванні рэгулявання запатрабуюць? Такія структуры, як патрабаванні да тэхнічнай дакументацыі Закона ЕС аб штучным інтэлекце і агульныя абавязацельствы па пераліку матэрыялаў для праграмнага забеспячэння, усё часцей патрабуюць ад арганізацый дэманстрацыі сваёй працы, а не проста заяўлення аб тым, што штучны інтэлект «апрацоўваецца».
Вось тут значэнне AI TRiSM ператвараецца ў практыку AI TRiSM: спачатку выяўленне, потым ацэнка рызык, потым забеспячэнне выканання, і ўсё гэта бесперапынна, а не як штогадовы аўдыт.cise.
Як Xygeni ўпісваецца ў карціну AI TRiSM? #
AI TRiSM — гэта вялікі комплекс інструментаў, і ніводзін з іх не ахоплівае ўсе чатыры яго асноўныя складнікі асобна. Дзе Ксігені Большасць арганізацый унікаюць у першую чаргу аспекту выяўлення і бяспекі: разумення таго, што насамрэч існуе штучны інтэлект, і забеспячэння яго бяспекі пасля яго з'яўлення.
Інвентарызацыя штучнага інтэлекту Xygeni пастаянна выяўляе рэсурсы штучнага інтэлекту па ўсім свеце. SDLC, мадэлі, фрэймворкі, наборы дадзеных, агенты, MCP-серверы і інструменты кадавання штучнага інтэлекту, і адлюстроўвае іх у граф жывых сувязяў, падмацаваны ШІ-BOM што дае камандам па захаванні адпаведнасці і бяспецы доказную базу, якую, на думку штучнага інтэлекту TRiSM, існуе. Акрамя гэтай інвентарызацыі Бяспека штучнага інтэлекту Xygeni ацэньвае рызыку кожнага актыву (хуткае ўвядзенне, небяспечныя канфігурацыі MCP, раскрыццё канфідэнцыйных дадзеных, слабыя бакі вектара і ўбудавання) у адпаведнасці з Топ-10 OWASP для падачы заявак на атрыманне магістра права (LLM), і DevAI непасрэдна ўжывае палітыку на канчатковым пункце распрацоўшчыка, блакуючы небяспечную паводзіны агента перад яго выкананнем. Калі ваша арганізацыя спрабуе ўкараніць AI TRiSM, і сумленны адказ на пытанне «які ў нас ёсць штучны інтэлект» усё яшчэ «мы не цалкам упэўненыя», то варта спачатку ліквідаваць гэтую прабелу ў выяўленні.
Часта задаваныя пытанні #
AI TRiSM расшыфроўваецца як кіраванне даверам, рызыкамі і бяспекай штучнага інтэлекту (AI Trust, Risk and Security Management), гэта структура для рэгулявання надзейнасці, рызык і бяспекі сістэм штучнага інтэлекту на працягу ўсяго іх жыццёвага цыклу.
Ён выкарыстоўваецца, каб даць арганізацыям структураваны спосаб выяўлення сваіх актываў штучнага інтэлекту, маніторынгу паводзін мадэлі на прадмет зрушэння і зрушэння, абароны спецыфічных для штучнага інтэлекту паверхняў атакі, такіх як імгненнае ўвядзенне і атручванне дадзеных, а таксама абароны прыватнасці дадзеных, якія паступаюць праз сістэмы штучнага інтэлекту.
Не, хоць яны цесна звязаны. AI-SPM (AI Security Posture Management — кіраванне станам бяспекі штучнага інтэлекту) звычайна разглядаецца як арыентаваны на бяспеку сегмент, які знаходзіцца ў больш шырокім аб'екце AI TRiSM, падобна таму, як CSPM знаходзіцца ў больш шырокай дыскусіі аб кіраванні воблакам.
У большасці арганізацый гэта ахоплівае каманды бяспекі, навукі аб дадзеных і адпаведнасці патрабаванням разам, паколькі ніводная каманда не валодае мадэлямі, дадзенымі, якія ляжаць у іх аснове, і рэгулятыўнымі абавязацельствамі адносна іх адначасова.
Паколькі ўкараненне штучнага інтэлекту апярэджвае кіраванне штучным інтэлектам. Мадэлі, агенты і інструменты кадавання штучнага інтэлекту цяпер убудаваныя ва ўсё SDLCі такія правілы, як Закон ЕС аб штучным інтэлекце, пачынаюць патрабаваць дакументацыі і бачнасці рызык, якія забяспечвае AI TRiSM.
