AI భద్రతా ప్రమాదాలు: AI వ్యవస్థలను సురక్షితంగా ఉంచడానికి DevSecOps బృందాలు తప్పక తెలుసుకోవలసిన విషయాలు
AI భద్రతాపరమైన ప్రమాదాలు ఇకపై మోడల్ ప్రవర్తన లేదా డేటా గోప్యతకు మాత్రమే పరిమితం కాలేదు. ఈ రోజుల్లో, అవి సాఫ్ట్వేర్ను వ్రాసే, సమీక్షించే, నిర్మించే మరియు విడుదల చేసే విధానాన్ని కూడా ప్రభావితం చేస్తున్నాయి. AI కోడింగ్ సాధనాలు, ఏజెంటిక్ AI వ్యవస్థలు మరియు AI-ఆధారిత వర్క్ఫ్లోలు రంగంలోకి ప్రవేశిస్తున్న కొద్దీ... SDLCDevSecOps బృందాలు ఒక కొత్త రకమైన ప్రమాదాన్ని ఎదుర్కొంటున్నాయి: వేగవంతమైన కోడ్, వేగవంతమైన ఆటోమేషన్ మరియు వేగవంతమైన తప్పులు.
అయితే, దీని అర్థం బృందాలు AI వినియోగాన్ని తగ్గించాలని కాదు. దానికి బదులుగా, AI-సహాయక అభివృద్ధి వేగానికి సరిపోయే భద్రతా నియంత్రణలు వారికి అవసరం. ఈ గైడ్లో, మేము అత్యంత ముఖ్యమైన AI భద్రతా ప్రమాదాలు, అవి వాస్తవ ఇంజనీరింగ్ వర్క్ఫ్లోలలో ఎలా కనిపిస్తాయి, మరియు కోడ్, డిపెండెన్సీలు, సీక్రెట్లు మొదలైన వాటిలో బృందాలు వాటి ప్రభావాన్ని ఎలా తగ్గించవచ్చో వివరిస్తాము. pipelineలు, మరియు ఏజెంట్లు.
AI ముప్పుల స్వరూపాన్ని ఎలా మారుస్తుందనే దానిపై విస్తృతమైన అవలోకనం కోసం, మా గైడ్ను చూడండి. ఏఐ సైబర్సెక్యూరిటీ.
AI భద్రతాపరమైన ప్రమాదాలు ఏమిటి?
నిజమైన సిస్టమ్లలో కృత్రిమ మేధస్సును రూపకల్పన చేసేటప్పుడు, శిక్షణ ఇచ్చేటప్పుడు, అనుసంధానించేటప్పుడు లేదా ఉపయోగించేటప్పుడు కనిపించే బలహీనతలు, ముప్పులు లేదా వైఫల్య రీతులను AI భద్రతా ప్రమాదాలు అంటారు. ఈ ప్రమాదాలు మోడల్లు, డేటా, ప్రాంప్ట్లు, APIలు, కోడ్ మొదలైనవాటిని ప్రభావితం చేయగలవు. pipelineలు, మరియు వాటిని అనుసంధానించే సాధనాలు.
మా AI మరియు సైబర్ భద్రతపై NCSC మార్గదర్శకాలు సురక్షితమైన మరియు విశ్వసనీయమైన AI వ్యవస్థలకు సైబర్ భద్రత ఒక ప్రధాన అవసరం అని వివరిస్తుంది. అదేవిధంగా, NIST AI రిస్క్ మేనేజ్మెంట్ ఫ్రేమ్వర్క్ పరిపాలన, కొలత మరియు ఆచరణాత్మక నియంత్రణల ద్వారా AI ప్రమాదాన్ని నిర్వహించడానికి సంస్థలకు ఒక నిర్మాణాన్ని అందిస్తుంది.
DevSecOps బృందాలకు, సమస్య మరింత నిర్దిష్టంగా ఉంటుంది. AI ఇప్పుడు సాఫ్ట్వేర్ డెలివరీ చైన్లో ఒక భాగం. ఇది కోడ్ రాస్తుంది, డిపెండెన్సీలను సూచిస్తుంది, కాన్ఫిగరేషన్ను రూపొందిస్తుంది, APIలను కాల్ చేస్తుంది మరియు కొన్నిసార్లు స్వయంప్రతిపత్తితో పనిచేస్తుంది. ఫలితంగా, AI భద్రతాపరమైన రిస్క్లను తప్పనిసరిగా సిస్టమ్ లోపలే నిర్వహించాలి. SDLCమోడల్ లేయర్లో మాత్రమే కాదు.
ఇప్పుడు AI భద్రతాపరమైన ప్రమాదాలు ఎందుకు భిన్నంగా ఉన్నాయి
సాంప్రదాయ సైబర్ సెక్యూరిటీ ప్రమాదాలు సాధారణంగా మానవులు రాసిన కోడ్, హాని కలిగించే ప్యాకేజీలు, బలహీనమైన ఆధారాలు లేదా తప్పుగా కాన్ఫిగర్ చేయబడిన మౌలిక సదుపాయాల నుండి వస్తాయి. ఆ ప్రమాదాలు ఇప్పటికీ ఉన్నాయి. అయితే, AI అవి ఎంత త్వరగా కనిపిస్తాయో మరియు వాటిని గుర్తించడం ఎంత కష్టమో మారుస్తుంది.
AI రూపొందించిన కోడ్ సరిగ్గా కనిపించినప్పటికీ, అది అధికార తనిఖీలలో విఫలం కావచ్చు. ఒక AI కోడింగ్ సహాయకుడు హాని కలిగించే ప్యాకేజీని సూచించవచ్చు. ఒక ఏజెంటిక్ వర్క్ఫ్లో తప్పుడు సాధనాన్ని పిలవవచ్చు, తప్పుడు ఫైల్ను యాక్సెస్ చేయవచ్చు లేదా ఒక లాగ్లోని రహస్యాన్ని బహిర్గతం చేయవచ్చు. దీనికి అదనంగా, AI వ్యవస్థలు తరచుగా సందర్భం, ప్రాంప్ట్లు, కనెక్టర్లు మరియు బాహ్య సాధనాలపై ఆధారపడతాయి, ఇది భద్రత విఫలమవడానికి మరిన్ని అవకాశాలను సృష్టిస్తుంది.
మా LLM అప్లికేషన్లకు OWASP టాప్ 10 తక్షణ ఇంజెక్షన్, సున్నితమైన సమాచార బహిర్గతం, సరఫరా గొలుసు సమస్యలు మరియు అధిక ఏజెన్సీ వంటి ప్రమాదాలను ఇవి హైలైట్ చేస్తాయి. ఈ వర్గాలు ఉపయోగకరంగా ఉంటాయి, ఎందుకంటే అవి AI ప్రవర్తనను నిజమైన అప్లికేషన్ భద్రతా సమస్యలతో అనుసంధానిస్తాయి.
మరో మాటలో చెప్పాలంటే, AI భద్రతాపరమైన ప్రమాదాలు కేవలం మోడల్కు మాత్రమే సంబంధించినవి కావు. అవి మోడల్ చుట్టూ ఉన్న పూర్తి వ్యవస్థకు సంబంధించినవి.
DevSecOps బృందాలకు ప్రధాన AI భద్రతా ప్రమాదాలు
డెవలప్మెంట్, యాప్సెక్ మరియు ఇతర విభాగాలలో AIని ఉపయోగించినప్పుడు ఎదురయ్యే అత్యంత ముఖ్యమైన నష్టాలు కింద ఇవ్వబడ్డాయి. CI/CD పనులకూ.
1. AI- రూపొందించిన కోడ్ బలహీనతలు
AI కోడింగ్ సాధనాలు పనిచేసే, కానీ సురక్షితం కాని కోడ్ను రూపొందించగలవు. ఉదాహరణకు, అవి సరైన పారామిటరైజేషన్ లేకుండా SQL క్వెరీలను సృష్టించవచ్చు, ఇన్పుట్ ధ్రువీకరణను దాటవేయవచ్చు లేదా బలహీనమైన ప్రమాణీకరణ తర్కాన్ని అమలు చేయవచ్చు.
ఇలా జరగడానికి కారణం, అనేక AI వ్యవస్థలు శిక్షణా డేటా ఆధారంగా సంభావ్య కోడ్ నమూనాలను రూపొందిస్తాయి. అయితే, సంభావ్య కోడ్ ఎల్లప్పుడూ సురక్షితమైన కోడ్ కాదు. ఆచరణలో, పబ్లిక్ రిపోజిటరీలలో అసురక్షిత ఉదాహరణలు సర్వసాధారణంగా ఉండటం వల్ల, మోడల్ వాటిని పునరుత్పత్తి చేయవచ్చు.
సాధారణ ఉదాహరణలు:
- SQL ఇంజెక్షన్
- క్రాస్-సైట్ స్క్రిప్టింగ్
- తప్పిపోయిన అధికార తనిఖీలు
- బలహీనమైన సెషన్ నిర్వహణ
- అసురక్షిత డీసీరియలైజేషన్
- CSRF రక్షణ లోపించడం
అందువల్ల, AI రూపొందించిన కోడ్ ఉత్తీర్ణత సాధించే వరకు దానిని విశ్వసనీయం కానిదిగా పరిగణించాలి. SAST, విధాన తనిఖీలు మరియు సమీక్ష.
అంతర్గత లింక్ సూచన: ఈ విభాగాన్ని మీ పోస్ట్కు అనుసంధానించండి AI SAST.
2. సరఫరా గొలుసు మరియు ఆధారపడటం వల్ల కలిగే నష్టాలు
AI సాధనాలు కేవలం కోడ్ను రూపొందించడమే కాదు. అవి ప్యాకేజీలు, వెర్షన్లు, స్క్రిప్ట్లు మరియు ఇన్స్టాలేషన్ ఆదేశాలను కూడా సూచిస్తాయి. ఇది AI సిఫార్సుల నుండి సాఫ్ట్వేర్ సరఫరా గొలుసు ప్రమాదానికి ఒక ప్రత్యక్ష మార్గాన్ని సృష్టిస్తుంది.
ఉదాహరణకు, ఒక AI సాధనం ఈ క్రింది వాటిని సూచించవచ్చు:
- పాత ప్యాకేజీ
- టైపోస్క్వాటెడ్ డిపెండెన్సీ
- భ్రాంతికరమైన ప్యాకేజీ పేరు
- అనుమానాస్పద ఇన్స్టాల్ స్క్రిప్ట్లతో కూడిన ప్యాకేజీ
- దుర్బలమైనప్పటికీ విస్తృతంగా ఉపయోగించబడుతున్న గ్రంథాలయం
అంతేకాకుండా, AI సాధనాలు సృష్టించే అవకాశం ఉన్న ప్యాకేజీ పేర్లను నమోదు చేయడం ద్వారా దాడి చేసేవారు ఈ ప్రవర్తనను దుర్వినియోగం చేయవచ్చు. ఈ ప్రమాదాన్ని తరచుగా స్లోప్స్క్వాటింగ్ అని పిలుస్తారు. ఇది మోడల్ హాలూసినేషన్ను ప్యాకేజీ సరఫరా గొలుసు దాడిగా మారుస్తుంది.
ఈ ప్రమాదాన్ని తగ్గించడానికి, జట్లకు అవసరం SCA, మాల్వేర్ గుర్తింపు, డిపెండెన్సీ పాలసీ అమలు, మరియు రీచబిలిటీ విశ్లేషణ. వారు ఎక్స్ప్లాయిటబిలిటీ సిగ్నల్స్ను కూడా ఉపయోగించాలి, అవి: ఈపీఎస్ఎస్ మరియు క్రియాశీల దోపిడీ నిఘా నుండి CISతెలిసిన దుర్వినియోగం చేయబడిన బలహీనతల జాబితా.
3. AI వర్క్ఫ్లోలలో రహస్యాల బహిర్గతం
రహస్యాల బహిర్గతం అనేది అత్యంత ఆచరణాత్మకమైన AI భద్రతా ప్రమాదాలలో ఒకటి. డెవలపర్లు తరచుగా AI సాధనాలలో సందర్భాన్ని అతికిస్తారు. ఆ సందర్భంలో API కీలు, టోకెన్లు, ఆధారాలు, URLలు లేదా అంతర్గత కాన్ఫిగరేషన్ ఉండవచ్చు.
అంతేకాకుండా, AI రూపొందించిన కోడ్లో నిజమైనవిగా కనిపించే ప్లేస్హోల్డర్లు ఉండవచ్చు, లేదా అంతకంటే దారుణంగా, రహస్యాలను తిరిగి సోర్స్ ఫైల్లలోకి కాపీ చేయవచ్చు. pipeline స్క్రిప్ట్లు, లేదా లాగ్లు. రహస్యాలు గిట్ చరిత్రలోకి ప్రవేశించిన తర్వాత లేదా CI/CD లాగ్లు, అసలు ఫైల్ విడుదలైన చాలా కాలం తర్వాత కూడా దుర్వినియోగానికి గురయ్యేలా ఉంటాయి. commit.
సాధారణంగా బహిర్గతమయ్యే ప్రదేశాలు:
- ప్రాంప్ట్ చరిత్ర
- జనరేట్ చేయబడిన కోడ్
- Git commits
- CI/CD చిట్టాలు
- IaC ఫైళ్లు
- కంటైనర్ చిత్రాలు
- భాగస్వామ్య కార్యస్థలాలు
ఈ కారణంగా, జట్లు IDE-స్థాయి స్కానింగ్ను కలపాలి, pre-commit తనిఖీలు, రిపోజిటరీ చరిత్ర స్కాన్లు, CI/CD లాగ్ స్కానింగ్ మరియు ఆటోమేటిక్ రద్దు.
అంతర్గత లింక్ సూచన: ఈ విభాగాన్ని మీ సీక్రెట్స్ సెక్యూరిటీ ఉత్పత్తికి లేదా సంబంధిత కంటెంట్కు అనుసంధానించండి.
4. AI ఏజెంట్ మరియు సాధనాల దుర్వినియోగం
ఏజెంట్ AI ఇది ఒక కొత్త రకమైన ప్రమాదాన్ని పరిచయం చేస్తుంది, ఎందుకంటే ఏజెంట్లు కేవలం చర్యలను సూచించడమే కాకుండా, వాటిని స్వయంగా చేపట్టగలరు.
ఒక AI ఏజెంట్ షెల్ కమాండ్లను అమలు చేయవచ్చు, ఫైల్లను సవరించవచ్చు, APIలను కాల్ చేయవచ్చు, తెరవవచ్చు pull requestsCI వర్క్ఫ్లోలను సవరించడం లేదా క్లౌడ్ సేవలతో పరస్పర చర్య చేయడం. ఇది ఉత్పాదకతలో భారీ లాభాలను సృష్టించినప్పటికీ, తప్పుల ప్రభావ పరిధిని కూడా పెంచుతుంది.
కీ ప్రమాదాలు ఉన్నాయి:
- అసురక్షిత షెల్ ఎగ్జిక్యూషన్
- అధిక-అనుమతి పొందిన API కీలు
- అనధికార కోడ్ మార్పులు
- MCP లేదా API కనెక్టర్ తప్పుగా కాన్ఫిగర్ చేయబడింది
- అనుమతించబడిన పరిధికి వెలుపల సాధనం కాల్స్
- పనికి అవసరమైన దానికంటే ఎక్కువ పర్యావరణ ప్రాప్యత
అధిక ఏజెన్సీకి సంబంధించిన OWASP LLM టాప్ 10 వర్గం ఇక్కడ ప్రత్యేకంగా వర్తిస్తుంది. ఒక ఏజెంట్కు అవసరానికి మించి యాక్సెస్ ఉన్నట్లయితే, ఒక తప్పుడు ఆదేశం, ప్రాంప్ట్ ఇంజెక్షన్ లేదా రాజీపడిన టూల్ ఒక నిజమైన భద్రతా సంఘటనగా పరిణమించవచ్చు.
5. CI/CD మరియు Pipeline ప్రమాదాలు
AI- రూపొందించిన కోడ్ చివరికి చేరుకుంటుంది pipelineఆ దశలో, రిస్క్ సోర్స్ కోడ్ నుండి బిల్డ్లు, ఆర్టిఫ్యాక్ట్లు, సీక్రెట్లు, డిపెండెన్సీలు మరియు డిప్లాయ్మెంట్ వర్క్ఫ్లోలలోకి మారుతుంది.
ఉదాహరణకు, AI సహాయంతో జరిగే మార్పు ఈ క్రింది విధంగా ఉండవచ్చు:
- అసురక్షిత నిర్మాణ దశను జోడించండి
- GitHub Actions వర్క్ఫ్లోను సవరించండి
- ఇన్స్టాల్ చేసేటప్పుడు హానికరమైన ప్యాకేజీని లాగండి
- బిల్డ్ లాగ్లలో రహస్యాలను ముద్రించండి
- భద్రతా నియంత్రణను నిలిపివేయండి
- డిప్లాయ్మెంట్ లాజిక్ను మార్చండి
పర్యవసానంగా, CI/CD AI వినియోగానికి భద్రత అత్యవసరం అవుతుంది. Pipeline guardrails అసురక్షిత పద్ధతులు ఉత్పత్తి దశకు చేరకముందే వాటిని నిరోధించాలి. మరింత లోతైన సమాచారం కోసం, మా కంటెంట్ను చూడండి. CI/CD భద్రతా మరియు software supply chain security.
6. డేటా లీకేజ్ మరియు ప్రాంప్ట్ ఇంజెక్షన్
ప్రాంప్ట్ ఇంజెక్షన్ అనేది బాగా తెలిసిన AI భద్రతా ప్రమాదాలలో ఒకటి, కానీ దీనిని తరచుగా తప్పుగా అర్థం చేసుకుంటారు. ఇది కేవలం చాట్బాట్ సమస్య మాత్రమే కాదు. ఇది బాహ్య ఇన్పుట్ను స్వీకరించి, ఆపై చర్యలను నిర్దేశించడానికి ఆ ఇన్పుట్ను ఉపయోగించే ఏదైనా AI వర్క్ఫ్లోను ప్రభావితం చేయగలదు.
ఉదాహరణకు, ఒక హానికరమైన సమస్య వివరణ, README ఫైల్, సపోర్ట్ టికెట్ లేదా డిపెండెన్సీ డాక్యుమెంటేషన్ పేజీలో రహస్య సూచనలు ఉండవచ్చు. ఒకవేళ AI ఏజెంట్ ఆ కంటెంట్ను చదివి, దానిని అనుసరిస్తే, దాడి చేసే వ్యక్తి టూల్ కాల్స్, కోడ్ మార్పులు లేదా డేటా యాక్సెస్ను ప్రభావితం చేయవచ్చు.
డేటా లీకేజ్ కూడా ఇలాంటి మార్గాల్లోనే జరగవచ్చు. ఆ మోడల్ సున్నితమైన సందర్భాన్ని బహిర్గతం చేయవచ్చు, ప్రైవేట్ ఫైళ్లను సంగ్రహించవచ్చు లేదా రహస్య డేటాను బాహ్య సేవలకు పంపవచ్చు. అందువల్ల, AI వ్యవస్థలకు సత్వర ఫిల్టరింగ్, అవుట్పుట్ నియంత్రణలు, సాధనాలపై పరిమితులు మరియు అవి ఏ డేటాను యాక్సెస్ చేయగలవు అనే దానిపై స్పష్టమైన హద్దులు అవసరం.
ప్రపంచవ్యాప్తంగా AI భద్రతా ప్రమాదాలు SDLC
సాఫ్ట్వేర్ జీవితచక్రంలోని వివిధ దశలలో AI భద్రతాపరమైన ప్రమాదాలు తలెత్తుతాయి. కేవలం తుది అప్లికేషన్ను మాత్రమే కాకుండా, ప్రతి దశను సురక్షితం చేయడమే కీలకం.
| SDLC స్టేజ్ | AI భద్రతా ప్రమాదం | ఉదాహరణ | సిఫార్సు చేయబడిన నియంత్రణ |
|---|---|---|---|
| ఇక్కడ | అసురక్షిత AI- రూపొందించిన కోడ్ | ఒక AI కోడింగ్ సహాయకుడు అసురక్షిత ప్రమాణీకరణ తర్కాన్ని సూచిస్తుంది. | రియల్-టైమ్ SAST మరియు సురక్షిత కోడింగ్ ఫీడ్బ్యాక్. |
| Commit | రహస్యాల బహిర్గతం | జనరేట్ చేయబడిన కోడ్లో టోకెన్ కనిపిస్తుంది లేదా commit చరిత్ర. | రహస్యాల గుర్తింపు, pre-commit తనిఖీలు, మరియు స్వయంచాలక రద్దు. |
| Pull Request | పాలసీ బైపాస్ | రూపొందించిన కోడ్ సమీక్ష లేకుండా యాక్సెస్ నియంత్రణ నియమాలను మారుస్తుంది. | PR guardrails మరియు విధాన అమలు. |
| బిల్డ్ | దురుద్దేశపూర్వక ఆధారపడటం | AI సూచించిన ప్యాకేజీ అనుమానాస్పద ఇన్స్టాల్ ప్రవర్తనను కలిగి ఉంది. | SCA, మాల్వేర్ గుర్తింపు, మరియు డిపెండెన్సీ పాలసీ తనిఖీలు. |
| CI/CD | Pipeline తారుమారు | ఏజెంట్ వర్క్ఫ్లో ఫైల్లను లేదా డిప్లాయ్మెంట్ స్క్రిప్ట్లను సవరిస్తాడు. | CI/CD భద్రతా తనిఖీలు మరియు అసాధారణతలను గుర్తించడం. |
| రన్టైమ్ | ప్రాంప్ట్ ఇంజెక్షన్ లేదా డేటా లీకేజ్ | బాహ్య ఇన్పుట్ కారణంగా AI వర్క్ఫ్లో సున్నితమైన సందర్భాన్ని వెల్లడిస్తుంది. | తక్షణ నియంత్రణలు, ప్రాప్యత పరిమితులు మరియు పర్యవేక్షణ. |
AI భద్రతా ప్రమాదాలు vs సాంప్రదాయ సైబర్సెక్యూరిటీ ప్రమాదాలు
సాంప్రదాయ సైబర్ సెక్యూరిటీ ఇప్పటికీ ముఖ్యమైనదే. అయితే, ఏఐ కొత్త ప్రవర్తనా సరళిని జోడిస్తుంది, దీనికి భిన్నమైన నియంత్రణలు అవసరం.
| <span style="font-family: Mandali; ">సబ్జెక్ట్ </span> | సాంప్రదాయ సైబర్ సెక్యూరిటీ రిస్క్ | AI భద్రతా ప్రమాదం |
|---|---|---|
| కోడ్ | మానవులు రాసిన బలహీనతలు. | అధిక వేగంతో AI- రూపొందించిన అసురక్షిత నమూనాలు. |
| సమన్వయాలు | తెలిసిన హాని కలిగించే ప్యాకేజీలు. | భ్రాంతి కలిగించే, హానికరమైన, లేదా అసురక్షితమైన AI సూచించిన ప్యాకేజీలు. |
| సీక్రెట్స్ | ఆధారాలు పొరపాటున commitడెవలపర్లచే టెడ్ చేయబడింది. | ప్రాంప్ట్లు, రూపొందించిన కోడ్ లేదా లాగ్లలోకి రహస్యాలు కాపీ చేయబడ్డాయి. |
| పరికరములు | డెవలపర్ సాధనాలను మాన్యువల్గా దుర్వినియోగం చేయడం. | టూల్స్ లేదా APIలను దుర్వినియోగం చేసే స్వయంప్రతిపత్తి గల ఏజెంట్లు. |
| Pipelines | తప్పుగా కాన్ఫిగర్ చేయబడింది CI/CD పనులకూ. | ఏజెంట్ ద్వారా రూపొందించబడిన వర్క్ఫ్లో మార్పులు లేదా అసురక్షిత ఆటోమేషన్. |
వాస్తవ ప్రపంచ AI భద్రతా ప్రమాద ఉదాహరణలు
AI భద్రతా ప్రమాదం అనేది సిద్ధాంతపరమైనది కాదు. అనేక బహిరంగ ఫ్రేమ్వర్క్లు మరియు పరిశోధనా ప్రయత్నాలు ఇప్పుడు ఈ సమస్యలను మరింత అధికారికంగా పర్యవేక్షిస్తున్నాయి.
మా MIT AI రిస్క్ రిపోజిటరీ వివిధ కారణాలు మరియు డొమైన్లలో 1,700 కంటే ఎక్కువ AI రిస్క్లను జాబితా చేస్తుంది. అదే సమయంలో, OWASP ప్రాంప్ట్ ఇంజెక్షన్, సున్నితమైన సమాచార బహిర్గతం, సరఫరా గొలుసు బలహీనతలు మరియు అధిక ఏజెన్సీతో సహా LLM అప్లికేషన్ రిస్క్ల కోసం ఆచరణాత్మక వర్గాలను అందిస్తుంది.
DevSecOps బృందాలకు, అత్యంత సంబంధిత ఉదాహరణలు తరచుగా సాఫ్ట్వేర్ డెలివరీలో కనిపిస్తాయి:
- హానికరమైన కోడ్ను సూచించే AI సాధనాలు
- వర్క్ఫ్లో ఫైల్లను సవరించే AI ఏజెంట్లు
- సరఫరా గొలుసు బహిర్గతతను పరిచయం చేసే AI- రూపొందించిన ఆధారాలు
- ప్రాంప్ట్లు, లాగ్లు లేదా వాటి ద్వారా రహస్యాలు బయటకు రావడం commits
- ఆమోదించబడిన పరిధికి వెలుపల ఏజెంటిక్ వర్క్ఫ్లోలు టూల్స్ను పిలుస్తున్నాయి
సంక్షిప్తంగా, AI వ్యవస్థలు కోడ్, ఆధారాలు, ప్యాకేజీలను తాకగలిగినప్పుడు AI భద్రతా ప్రమాదాలు మరింత తీవ్రమవుతాయి. pipelineలు, లేదా మౌలిక సదుపాయాలు.
ఆచరణలో AI భద్రతా ప్రమాదాలను ఎలా తగ్గించాలి
AI భద్రతా ప్రమాదాలను తగ్గించడానికి ఉత్తమ మార్గం, AI-సహాయక అభివృద్ధిని ఒక భాగం వలె పరిగణించడం. SDLCఅంటే ముందుగానే స్కాన్ చేయడం, తరచుగా ధృవీకరించడం మరియు డెవలపర్లు వాస్తవంగా పనిచేసే చోట విధానాలను అమలు చేయడం.
1. IDEలో AI- రూపొందించిన కోడ్ను స్కాన్ చేయండి
డెవలపర్లు AI రూపొందించిన కోడ్ను వ్రాస్తున్నప్పుడు లేదా ఆమోదిస్తున్నప్పుడు భద్రతా ఫీడ్బ్యాక్ను చూడగలగాలి. ఇది కాంటెక్స్ట్ స్విచింగ్ను తగ్గిస్తుంది మరియు సమస్యలు Gitకు చేరకముందే వాటిని పరిష్కరించడంలో సహాయపడుతుంది.
వా డు:
- SAST IDEలో
- ఇన్లైన్ దుర్బలత్వ వివరణలు
- సురక్షిత పరిష్కార సూచనలు
- విధాన-అవగాహనతో కూడిన నివారణ
ఇది ముఖ్యంగా AI కోడింగ్ అసిస్టెంట్లకు చాలా ముఖ్యం, ఎందుకంటే వాటిలో అసురక్షిత సూచనలు త్వరగా కోడ్బేస్లోకి ప్రవేశించే అవకాశం ఉంటుంది.
2. బిల్డ్ చేయడానికి ముందు డిపెండెన్సీలను ధృవీకరించండి
AI సూచించిన డిపెండెన్సీలను ఇన్స్టాల్ చేయడానికి లేదా విడుదల చేయడానికి ముందు తప్పనిసరిగా ధృవీకరించాలి. అందువల్ల, బృందాలు డెవలప్మెంట్ సమయంలో డిపెండెన్సీ నియంత్రణలను అమలు చేయాలి మరియు CI/CD.
వా డు:
- SCA
- మాల్వేర్ గుర్తింపు
- టైపోస్క్వాటింగ్ గుర్తింపు
- EPSS స్కోరింగ్
- చేరుకోగల విశ్లేషణ
- పాలసీ ఆధారిత బ్లాకింగ్
ఇది కేవలం సిద్ధాంతపరమైన నష్టభయాన్ని కాకుండా, నిజమైన నష్టభయాన్ని సూచించే ప్యాకేజీలకు ప్రాధాన్యత ఇవ్వడానికి సహాయపడుతుంది.
3. రహస్యాలను స్వయంచాలకంగా గుర్తించి, రద్దు చేయండి
సీక్రెట్స్ స్కానింగ్ కేవలం సోర్స్ కోడ్ను మాత్రమే కాకుండా, అంతకంటే ఎక్కువ విషయాలను కవర్ చేయాలి. AI-సహాయక వర్క్ఫ్లోలు అనేక చోట్ల క్రెడెన్షియల్స్ను బహిర్గతం చేయగలవు.
వా డు:
- Pre-commit స్కానింగ్
- రిపోజిటరీ చరిత్ర స్కానింగ్
- Pipeline లాగ్ స్కానింగ్
- IaC స్కానింగ్
- కంటైనర్ ఇమేజ్ స్కానింగ్
- స్వయంచాలక రద్దు
ఫలితంగా, జట్లు వ్యాధి సోకడానికి మరియు దానిని అదుపులోకి తీసుకురావడానికి మధ్య పట్టే సమయాన్ని తగ్గిస్తాయి.
4. అమలు చేయండి Guardrails in CI/CD
Guardrails ఒక మార్పు కొనసాగించడానికి తగినంత సురక్షితమైనదా కాదా అని నిర్ణయించుకోవాలి. నివేదించడం ఉపయోగకరమే, కానీ తీవ్రమైన ప్రమాదం ఉన్నప్పుడు నిరోధించడం అవసరం.
Guardrails కవర్ చేయాలి:
- కొత్త క్లిష్టమైన బలహీనతలు
- సీక్రెట్స్
- హానికరమైన ఆధారాలు
- పిన్ చేయని లేదా విశ్వసనీయత లేని ప్యాకేజీలు
- అసురక్షిత వర్క్ఫ్లో మార్పులు
- మిస్సింగ్ SBOMs
- విధాన ఉల్లంఘనలు
అదనంగా, జట్లు అవసరమైనప్పుడు రిపోర్ట్-ఓన్లీ మోడ్తో ప్రారంభించి, ఆత్మవిశ్వాసం పెరిగేకొద్దీ బ్లాకింగ్ వైపు వెళ్లాలి.
5. ఏజెంటిక్ టూల్ ప్రవర్తనను పర్యవేక్షించండి
ఏజెంటిక్ AI సిస్టమ్లకు పరిశీలన అవసరం. ఒకవేళ ఏజెంట్ ఫైళ్లను సవరించగలిగితే, బిల్డ్లను ట్రిగ్గర్ చేయగలిగితే, లేదా APIలను కాల్ చేయగలిగితే, అది ఏమి చేసిందో, ఎప్పుడు చేసిందో, మరియు ఆ చర్య ఊహించినదేనా కాదా అనే విషయాలు బృందాలకు తెలియాలి.
మానిటర్:
- టూల్ కాల్స్
- వర్క్ఫ్లో ఫైల్ మార్పులు
- రిపోజిటరీ రైట్ యాక్టివిటీ
- నెట్వర్క్ గమ్యస్థానాలు
- రహస్యాల యాక్సెస్
- Pull request సృష్టి
- Pipeline ట్రిగ్గర్స్
ఈ పారదర్శకత లేకపోతే, ఏజెంట్ స్వయంప్రతిపత్తిని నమ్మడం కష్టమవుతుంది.
AI భద్రతా ప్రమాదాలను తగ్గించడంలో Xygeni ఎక్కడ సహాయపడుతుంది
Xygeni పూర్తి సాఫ్ట్వేర్ డెలివరీ చైన్ అంతటా AI-సహాయక అభివృద్ధిని సురక్షితం చేయడంపై దృష్టి పెడుతుంది. AI రిస్క్ను ఒక ప్రత్యేక వర్గంగా పరిగణించకుండా, ఇది కోడ్, డిపెండెన్సీలు, సీక్రెట్లు, pipelineలు, మరియు వ్యాపార సందర్భం.
ఉదాహరణకి:
- SAST అసురక్షితమైన AI- రూపొందించిన కోడ్ను ముందుగానే గుర్తించడంలో సహాయపడుతుంది.
- SCA డిపెండెన్సీలను ధృవీకరించి, హానికరమైన ప్యాకేజీలను గుర్తిస్తుంది.
- రహస్యాల భద్రత రిపోజిటరీలలో బహిర్గతమైన ఆధారాలను గుర్తిస్తుంది మరియు pipelines.
- CI/CD సెక్యూరిటీ అసురక్షిత మార్పులు ముందుకు సాగక ముందే విధానాలను అమలు చేస్తుంది.
- క్రమరహిత గుర్తింపు అభివృద్ధి మరియు డెలివరీ వర్క్ఫ్లోలలో అసాధారణ ప్రవర్తనను గుర్తిస్తుంది.
- ASPM కనుగొన్న విషయాలను ఒకే రిస్క్ వీక్షణగా అనుసంధానించడం వలన, బృందాలు ముఖ్యమైన వాటికి ప్రాధాన్యత ఇవ్వగలవు.
ఇది ముఖ్యం, ఎందుకంటే AI భద్రతా ప్రమాదాలు స్వభావరీత్యా బహుళ-స్థాయిలలో ఉంటాయి. ఒక బలహీనమైన డిపెండెన్సీ, బహిర్గతమైన టోకెన్ మరియు అసురక్షిత వర్క్ఫ్లో మార్పు అనేవి వేర్వేరు సాధనాలలో విడివిడిగా కనిపించవచ్చు. అయితే, అవి కలిసి చాలా పెద్ద దాడి మార్గాన్ని సూచించగలవు.
తెలుసుకోవలసిన AI భద్రతా ప్రమాద నిర్వహణ ఫ్రేమ్వర్క్లు
అనేక ఫ్రేమ్వర్క్లు జట్లు తమ పనిని క్రమబద్ధీకరించుకోవడానికి సహాయపడతాయి.
మా NIST AI రిస్క్ మేనేజ్మెంట్ ఫ్రేమ్వర్క్ సంస్థలకు AI ప్రమాదాలను మ్యాప్ చేయడానికి, కొలవడానికి, నిర్వహించడానికి మరియు నియంత్రించడానికి సహాయపడుతుంది. ఇది నాయకత్వం, అనుపాలన మరియు ప్రమాద కార్యక్రమాలకు ఉపయోగపడుతుంది.
మా LLM అప్లికేషన్లకు OWASP టాప్ 10 ఇది AppSec బృందాలకు మరింత ఆచరణాత్మకమైనది, ఎందుకంటే ఇది ప్రాంప్ట్ ఇంజెక్షన్, సున్నితమైన డేటా బహిర్గతం, సరఫరా గొలుసులోని లోపాలు మరియు అధిక ఏజెన్సీ వంటి సాంకేతిక ప్రమాదాలకు నేరుగా అనుసంధానించబడి ఉంటుంది.
మా NCSC AI మరియు సైబర్ సెక్యూరిటీ మార్గదర్శకత్వం AI సంస్థాగత సైబర్ రిస్క్ను ఎలా మారుస్తుందో అర్థం చేసుకోవాల్సిన భద్రతా నాయకులకు ఇది ఉపయోగపడుతుంది.
ఈ వనరులన్నీ కలిసి ఒక స్పష్టమైన విషయాన్ని తెలియజేస్తున్నాయి: AI భద్రతను వ్యక్తులు, ప్రక్రియలు, వ్యవస్థలు మరియు సాఫ్ట్వేర్ డెలివరీ వర్క్ఫ్లోలన్నింటిలోనూ నిర్వహించాలి.
చెక్లిస్ట్: AI భద్రతా ప్రమాదాలను ఎలా తగ్గించాలి
ఈ చెక్లిస్ట్ను ఆచరణాత్మక ప్రారంభ బిందువుగా ఉపయోగించండి.
| నియంత్రణ ప్రాంతం | ఏం చేయాలి | వై ఇట్ మాటర్స్ |
|---|---|---|
| AI- రూపొందించిన కోడ్ | రన్ SAST IDE, PR మరియు CI/CD pipeline. | అసురక్షిత కోడ్ ఉత్పత్తి దశకు చేరకుండా నిరోధిస్తుంది. |
| సమన్వయాలు | ఉపయోగించండి SCA, మాల్వేర్ గుర్తింపు, EPSS, మరియు రీచబిలిటీ. | ప్రమాదకరమైన AI సూచించిన ప్యాకేజీలను నిరోధిస్తుంది. |
| సీక్రెట్స్ | స్కాన్ commitలు, లాగ్లు, చరిత్ర, IaCమరియు కంటైనర్లు. | గుర్తింపు పత్రాల బహిర్గతం మరియు దుర్వినియోగాన్ని తగ్గిస్తుంది. |
| CI/CD | అమలు చేయండి pipeline guardrails మరియు విధాన గేట్లు. | అసురక్షిత బిల్డ్లు మరియు డిప్లాయ్మెంట్లను నిలిపివేస్తుంది. |
| ఏజెంటిక్ సాధనాలు | టూల్ కాల్స్, API యాక్సెస్ మరియు వర్క్ఫ్లో మార్పులను పర్యవేక్షించండి. | మితిమీరిన స్వేచ్ఛను మరియు అనూహ్య ప్రవర్తనను పరిమితం చేస్తుంది. |
| ప్రమాద నిర్వహణ | ఉపయోగించండి ASPM వివిధ పొరలలోని ఫలితాలను పరస్పరం అనుసంధానించడానికి. | జట్లు నిజమైన వ్యాపార నష్టాలపై దృష్టి పెట్టడానికి సహాయపడుతుంది. |
కీ టేకావేస్
- AI భద్రతాపరమైన ప్రమాదాలు ఇప్పుడు కోడ్, డిపెండెన్సీలు, సీక్రెట్లను ప్రభావితం చేస్తున్నాయి, pipelineలు, మరియు ఏజెంట్లు.
- సాంప్రదాయ AppSec సాధనాలు ఇప్పటికీ అవసరమే, కానీ వాటిని ముందుగానే మరియు మరింత సందర్భోచితంగా అమలు చేయాలి.
- AI రూపొందించిన కోడ్ను ధృవీకరించే వరకు విశ్వసనీయం కానిదిగా పరిగణించాలి.
- AI ఏజెంట్ వర్క్ఫ్లోలకు అవసరం guardrails, అనుమతులు, మరియు పరిశీలనశీలత.
- DevSecOps బృందాలకు అంతటా ఏకీకృత దృశ్యమానత అవసరం SDLC AI ప్రమాదాన్ని సమర్థవంతంగా నిర్వహించడం.
తరచుగా అడిగే ప్రశ్నలు: AI భద్రతాపరమైన ప్రమాదాలు
AI భద్రతాపరమైన ప్రమాదాలు ఏమిటి?
AI భద్రతా ప్రమాదాలు అంటే AI వ్యవస్థలను నిర్మించేటప్పుడు, అనుసంధానించేటప్పుడు లేదా ఉపయోగించేటప్పుడు తలెత్తే ముప్పులు లేదా బలహీనతలు. అవి మోడల్లు, డేటా, ప్రాంప్ట్లు, కోడ్, డిపెండెన్సీలు, APIలు మరియు ఇతర అంశాలను ప్రభావితం చేయగలవు. pipelines.
DevSecOps బృందాలకు AI భద్రత విషయంలో ఎదురయ్యే అతిపెద్ద ప్రమాదాలు ఏమిటి?
అతిపెద్ద ప్రమాదాలలో అసురక్షిత AI- రూపొందించిన కోడ్, హాని కలిగించే డిపెండెన్సీలు, రహస్యాల బహిర్గతం, ప్రాంప్ట్ ఇంజెక్షన్, అధిక ఏజెంట్ అనుమతులు మరియు అసురక్షితమైనవి ఉన్నాయి. CI/CD ఆటోమేషన్.
AI భద్రతా ప్రమాదాలు సాంప్రదాయ సైబర్సెక్యూరిటీ ప్రమాదాల కంటే ఎందుకు భిన్నంగా ఉంటాయి?
AI వ్యవస్థలు కోడ్ను రూపొందించగలవు, డిపెండెన్సీలను సూచించగలవు, టూల్స్ను పిలవగలవు మరియు స్వయంప్రతిపత్తితో పనిచేయగలవు. ఫలితంగా, రిస్క్లు వేగంగా మరియు వ్యవస్థలోని మరిన్ని పొరలలో కనిపిస్తాయి. SDLC.
జట్లు AI భద్రతా ప్రమాదాలను ఎలా తగ్గించగలవు?
AI- రూపొందించిన కోడ్ను స్కాన్ చేయడం, డిపెండెన్సీలను ధృవీకరించడం, రహస్యాలను గుర్తించడం, అమలు చేయడం ద్వారా జట్లు ప్రమాదాన్ని తగ్గించుకోగలవు. CI/CD guardrailsఏజెంట్ ప్రవర్తనను పర్యవేక్షించడం మరియు కనుగొన్న విషయాలను పరస్పరం అనుసంధానించడం ద్వారా ASPM.
AI రూపొందించిన కోడ్ సురక్షితమేనా?
AI రూపొందించిన కోడ్ డిఫాల్ట్గా సురక్షితం కాదు. అది ప్రొడక్షన్కు వెళ్లే ముందు సమీక్షించబడాలి, స్కాన్ చేయబడాలి, పరీక్షించబడాలి మరియు ధృవీకరించబడాలి.
ముగింపు ఆలోచనలు: AI భద్రతా ప్రమాదాలు అవసరం SDLC-స్థాయి నియంత్రణలు
AI సాఫ్ట్వేర్ రిస్క్ యొక్క వేగాన్ని మరియు స్వరూపాన్ని మారుస్తుంది. ఇది బృందాలు వేగంగా నిర్మించడానికి సహాయపడుతుంది, కానీ అదే సమయంలో అసురక్షిత కోడ్, బహిర్గతమైన రహస్యాలు, అసురక్షిత డిపెండెన్సీలు మరియు ప్రమాదకరమైన ఆటోమేషన్ డెలివరీ చైన్లోకి ప్రవేశించడానికి కొత్త మార్గాలను కూడా పరిచయం చేస్తుంది.
అందువల్ల, AI భద్రతను కేవలం మోడల్ గవర్నెన్స్ లేదా పాలసీ పత్రాలతో మాత్రమే నిర్వహించలేము. దీనికి వ్యవస్థ లోపల ఆచరణాత్మక నియంత్రణలు అవసరం. SDLC: IDE ఫీడ్బ్యాక్, SAST, SCA, రహస్యాల గుర్తింపు, CI/CD guardrails, అసాధారణ గుర్తింపు, మరియు ASPM-స్థాయి సహసంబంధం.
AI భద్రతాపరమైన ప్రమాదాలను చక్కగా నిర్వహించే బృందాలు, AI వినియోగాన్ని అడ్డుకునేవి కావు. బదులుగా, దాని చుట్టూ సరైన భద్రతా పొరను నిర్మించేవే అవి అవుతాయి.
