Што такое атручэнне дадзенымі?

Кожная каманда бяспекі навучана сачыць за кодам падчас яго адпраўкі. Амаль ніхто не навучаны сачыць за дадзенымі па меры іх паступлення, і менавіта гэтая сляпая зона выкарыстоўваецца пры атручванні дадзеных. Да таго часу, як атручаная мадэль дасягае прадукцыйнай версіі, уразлівасць ніколі не была ў праверцы кода. Яна была ў наборы дадзеных, які ніхто не аўдытаваў некалькі месяцаў таму.

У гэтым глосарыі тлумачыцца, што такое атручванне дадзеных, як атакі атручвання дадзеных працякаюць на практыцы, чаму атручванне дадзеных з дапамогай штучнага інтэлекту стала адной з найбольш хуткарослыя рызыкі ў эпоху штучнага інтэлекту SDLC, і як выглядае сапраўдная абарона ад яго.

Значэнне атручвання дадзеных #

Атручванне дадзеных — гэта наўмыснае маніпуляванне дадзенымі, якія выкарыстоўваюцца для навучання, дапрацоўкі або ўдасканалення мадэлі штучнага інтэлекту, каб мадэль вучылася няправільным рэчам, паводзіла сябе так, як хоча зламыснік, або ўцечкавала інфармацыю, якую ніколі не павінна раскрываць. Замест таго, каб атакаваць мадэль пасля разгортвання, зламыснік атакуе неапрацаваны матэрыял, з якога мадэль пабудавана.

Асноўная ідэя атручвання дадзеных простая і трывожная: мадэль штучнага інтэлекту вартая даверу толькі настолькі, наколькі даныя, з якіх яна атрымала веды. Калі гэтыя дадзеныя пашкоджаныя, прадузятыя або забіякаваныя яшчэ да пачатку навучання, ніякая праверка кода, тэставанне або маніторынг выканання не выявіць асноўны недахоп, таму што мадэль працуе менавіта так, як яе (зламысна) навучылі.

Атручванне дадзеных штучным інтэлектам супраць уразлівасцяў традыцыйнага праграмнага забеспячэння #

Традыцыйная бяспека прыкладанняў мяркуе, што небяспека знаходзіцца ў кодзе: няправільная функцыя, неабноўленая бібліятэка, няправільна настроены сервер. Атручванне дадзеных штучным інтэлектам цалкам парушае гэтае меркаванне. Няма ўразлівых радкоў кода, якія можна было б знайсці, таму што пашкоджанне адбылося ў навучальным наборы, наборы дадзеных для тонкай налады або індэксе пошуку задоўга да таго, як быў напісаны які-небудзь код або разгорнута якая-небудзь мадэль.

Вось чаму атручэнне дадзеных штучным інтэлектам надзвычай цяжка выявіць з дапамогай старых інструментаў. SAST сканер чытае код. Сканер залежнасцей чытае маніфесты пакетаў. Ні адзін з іх не чытае шматгігабайтны навучальны корпус або вектарную базу дадзеных, поўную ўбудаваных дакументаў, што загадзя...cisдзе атручванне дадзеных штучным інтэлектам наносіць шкоду. Даследчыкі бяспекі і адказна раскрываюць інфармацыю. Іншыя спачатку выяўляюць і выкарыстоўваюць зламыснікі ў якасці зброі, што з'яўляецца сцэнарыем, які прычыняе найбольшую шкоду.

Як насамрэч працуюць атакі атручвання дадзеных? #

Атакі з мэтай атручвання дадзеных звычайна прымаюць адну з некалькіх формаў:

• Атручэнне дадзеных навучання: зламыснік устаўляе маніпуляваныя, няправільна пазначаныя або шкоднасныя прыклады ў набор даных, які выкарыстоўваецца для навучання мадэлі з нуля або для дакладнай налады існуючай, прымушаючы яе вывучаць схаваную прадузятасць або паводзіны бэкдора.
• Перагортванне этыкетак: больш тонкая версія вышэйзгаданага, дзе зламыснік змяняе толькі пазнакі на невялікай падмностве навучальных прыкладаў, ціха скажаючы тое, што мадэль вучыцца звязваць з чым.
• RAG і кантэкстнае атручэннеУ сістэмах генерацыі з дапоўненым пошукам зламыснік падсоўвае атручаныя дакументы ў базу ведаў або вектарнае сховішча, з якога мадэль атрымлівае дадзеныя падчас выканання, таму мадэль упэўнена паўтарае ілжывую або маніпуляваную інфармацыю, як быццам гэта правераны факт.
• Трыгеры бэкдора: зламыснік убудоўвае пэўная заканамернасць у навучальных дадзеных так што мадэль паводзіць сябе нармальна амаль ва ўсіх выпадках, але стварае выбраны зламысніком вынік у момант з'яўлення схаванай трыгернай фразы або ўводу.
• Атручэнне ланцужкоў паставак: зламыснік кампраметуе публічны або агульны набор даных, кантрольная кропка папярэдне навучанай мадэлі або ўбудаванне pipeline вышэй па плыні, каб кожная каманда, якая цягне з яе ніжэй па плыні, атрымала ў спадчыну атруту, нават не дакранаючыся да першапачатковай атакі.

Усе гэтыя атакі атручвання дадзеных аб'ядноўвае пэўная адлегласць часу. Шкода наносіцца яшчэ да таго, як мадэль адкажа рэальнаму карыстальніку, таму фраза «яшчэ да таго, як яна напіша хаця б радок кода» так загадзя апісвае гэтую пагрозу.cisэлі: мадэль скампраметавана ў сваёй аснове, а не на выхадзе.

Як зламыснікі пашкоджваюць мадэль штучнага інтэлекту, перш чым яна напіша хоць радок кода? #

Кожная атака атручвання дадзеных, апісаная вышэй, мае адну і тую ж перавагу ў часе: кампраметацыя адбываецца вышэй па плыні працэсу, задоўга да таго, як мадэль згенеруе хоць адзін вынік, які ўбачыць карыстальнік. Няма ўразлівай функцыі для выпраўлення і няма шкоднаснага праграмнага забеспячэння. commit злавіць у аглядзе, бо мадэль яшчэ нічога не напісала. Яна толькі навучылася, і тое, што яна навучылася, ужо няправільна.

Вось што адрознівае атручэнне дадзеных штучным інтэлектам ад уразлівасцей, якія навучаюць шукаць каманды бяспекі праграм. Мадэль з бэкдорам выглядае ідэнтычна чыстай пры праверцы кода. Яна праходзіць праверку pull request агляд. Ён кампілюецца, разгортваецца і правільна адказвае на большасць запытаў, аж да таго часу, пакуль канкрэтная ўмова, якую ўстанавіў зламыснік, нарэшце не з'явіцца ў прадукцыйнай версіі. Да таго часу пытанне ўжо не ў тым, «які код гэта ўвёў», а ў тым, «якія дадзеныя зрабілі і як далёка ў мінулае гэта сыходзіць».

Чаму атручванне дадзеных штучным інтэлектам становіцца ўсё большай прыярытэтнай задачай? #

Атручэнне дадзеных штучным інтэлектам больш не з'яўляецца тэарэтычнай праблемай. Яно афіцыйна прызнана LLM04: Атручэнне дадзеных і мадэляў у топ-10 OWASP для прыкладанняў LLM, разам з рызыкай імгненнага ўвядзення і рызыкай ланцужка паставак як адна з вызначальных пагроз эры генератыўнага штучнага інтэлекту. Тры тэндэнцыі павышаюць яго ўвагу кожнай каманды бяспекі:

• Шкода нябачная, пакуль не будзе актывавана. Атручаная мадэль можа прайсці ўсе функцыянальныя тэсты і паводзіць сябе ідэальна на працягу месяцаў, пакуль канкрэтная трыгерная ўмова, створаная зламыснікам, нарэшце не з'явіцца ў прадукцыйнай версіі.

• Пакаленне з дапоўненым пошукам ёсць усюды. Любая сістэма, якая дазваляе мадэлі атрымліваць жывы кантэкст з дакументаў, вікі, заявак або вектарнай базы дадзеных, мае новую, неаўдытаваную ўваходную паверхню, і гэтая паверхня — менавіта тая мэта, на якую накіраваны атакі атручвання дадзеных.

• Наборы дадзеных цяпер з'яўляюцца актывамі ланцужка паставак. Каманды рэгулярна выцягваюць папярэдне навучаныя мадэлі, убудаванні і публічныя наборы даных з знешніх крыніц гэтак жа, як яны выцягваюць пакеты з адкрытым зыходным кодам, і, як і ўзламаны пакет, узламаны набор даных можа ціха перанесці атаку ў кожную каманду, якая яго выкарыстоўвае.

Выяўленне і абарона ад атручвання дадзеных #

Паколькі атручванне дадзеных адбываецца вышэй за ўзровень самой мадэлі, абарона таксама павінна пачынацца вышэй за ўзровень:

• Сачыце за анамальнымі крыніцамі дадзеных, а не толькі за анамальным кодам. Выяўленне паводзін і анамалій павінна распаўсюджвацца на месцы паступлення дадзеных pipeline, не спыняцца на мяжы сховішча.

• Ведайце кожны набор даных у pipeline. Немагчыма правесці аўдыт рызыкі атручвання ў наборы даных, пра існаванне якога вы не ведаеце. Першай лініяй абароны з'яўляецца пастаяннае адкрыццё набораў даных для навучання, ацэнкі і пошуку.

• Прасачыць ланцужок дзеянняў ад набору дадзеных да мадэлі і вываду. Адлюстраванне шляху, які праходзіць набор даных у мадэль, а ад мадэлі да агента, канчатковай кропкі або інструмента кадавання, ператварае «мы атрымалі дрэнны вынік» у «мы дакладна ведаем, які набор даных яго ўвёў».

• Уважліва вывучайце крыніцы пошуку, а не толькі навучальныя наборы. У сістэмах RAG вектарнае сховішча і база ведаў патрабуюць тых жа праверак цэласнасці, што і навучальныя дадзеныя, бо атручванне кантэксту адбываецца падчас запыту, а не падчас навучання.

Як Xygeni дапамагае ліквідаваць прабел у галіне атручвання дадзенымі? #

Абарона ад атручвання дадзенымі пачынаецца з бачнасці, якой большасць арганізацый проста не маюць. Ксігеніs AI Inventory пастаянна выяўляе кожны актыў штучнага інтэлекту па ўсім SDLC, уключаючы наборы дадзеных, якія ляжаць у аснове гэтага: навучальныя дадзеныя, наборы ацэнкі і крыніцы RAG або пошуку, і адлюстроўвае іх у граф суадносін у рэжыме рэальнага часу, які праходзіць ад набору дадзеных да мадэлі і да канчатковай кропкі да агента да сервера MCP да інструмента кадавання. Менавіта гэты графік ператварае падазроную мадэль у пытанне, якое можна адсачыць: які набор дадзеных паслужыў для гэтага і адкуль ён узяўся.

Акрамя гэтага інвентара, Xygeni's Бяспека AI выяўляе слабыя бакі вектара і ўбудавання, у тым ліку атручаны кантэкст пры пошуку і RAG pipelineс, выраўнаваны па Топ-10 OWASP для заявак на атрыманне магістра права (LLM). Замест таго, каб спадзявацца на наяўнасць чыстых крыніц навучання і пошуку мадэлі, Xygeni разглядае іх як частку паверхні атакі гэтак жа, як і код, залежнасці і... pipelineКалі вы не можаце адказаць на пытанне «якія дадзеныя навучылі гэту мадэль і ці можам мы гэта даказаць», гэта менавіта той прабел, які варта запоўніць, перш чым інцыдэнт з атручваннем дадзеных штучным інтэлектам прымусіць задаць гэтае пытанне.

Часта задаваныя пытанні #