TL; ਡਾ
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਦਾ ਤੁਹਾਡੇ ਲਈ ਕੀ ਅਰਥ ਹੈ pipeline
ਇੱਕ LLM ਜੋ ਕੁਝ ਗਲਤ ਕਹਿੰਦਾ ਹੈ ਉਹ ਇੱਕ ਸਮੱਗਰੀ ਸਮੱਸਿਆ ਹੈ। ਇੱਕ ਏਜੰਟ ਜੋ ਕੁਝ ਗਲਤ ਕਰਦਾ ਹੈ ਉਹ ਇੱਕ ਸੁਰੱਖਿਆ ਘਟਨਾ ਹੈ। OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਦੂਜੇ ਲਈ ਨਕਸ਼ਾ ਹੈ।
- ਇਹ ਕੀ ਹੈ: OWASP ਏਜੰਟਿਕ AI ਸਿਖਰਲੇ 10 (ਅਧਿਕਾਰਤ ਤੌਰ 'ਤੇ ਏਜੰਟਿਕ ਐਪਲੀਕੇਸ਼ਨਾਂ 2026 ਲਈ OWASP ਸਿਖਰਲੇ 10) AI ਏਜੰਟਾਂ ਲਈ ਖਾਸ ਦਸ ਜੋਖਮਾਂ ਦੀ ਸੂਚੀ ਦਿੰਦਾ ਹੈ ਜੋ ਯੋਜਨਾ ਬਣਾਉਂਦੇ ਹਨ, ਟੂਲਸ ਨੂੰ ਕਾਲ ਕਰਦੇ ਹਨ, ਮੈਮੋਰੀ ਰੱਖਦੇ ਹਨ ਅਤੇ ਤੁਹਾਡੇ ਵੱਲੋਂ ਕੰਮ ਕਰਦੇ ਹਨ। ਕੋਡ ASI01 ਤੋਂ ASI10 ਤੱਕ ਚੱਲਦੇ ਹਨ।
- ਇਹ ਕਿਵੇਂ ਸੰਬੰਧਿਤ ਹੈ: ਇਹ OWASP LLM ਟੌਪ 10 ਨੂੰ ਬਦਲਣ ਦੀ ਬਜਾਏ ਵਧਾਉਂਦਾ ਹੈ। LLM ਸੂਚੀ ਵਿੱਚ ਇੱਕ ਮਾਡਲ ਕੀ ਕਹਿੰਦਾ ਹੈ, ਇਸ ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ; ਏਜੰਟ ਸੂਚੀ ਵਿੱਚ ਇੱਕ ਏਜੰਟ ਕੀ ਕਰਦਾ ਹੈ, ਇਸ ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
- ਜਿੱਥੇ ਇਹ ਪ੍ਰਵੇਸ਼ ਕਰਦਾ ਹੈ: ਅਸਲ ਵਿੱਚ pipeline, ਇਹ ਜੋਖਮ ਚਾਰ ਦਰਵਾਜ਼ਿਆਂ ਰਾਹੀਂ ਆਉਂਦੇ ਹਨ: IDE, ਤੀਜੀ-ਧਿਰ ਏਜੰਟ ਹਿੱਸੇ, ਤੁਹਾਡਾ ਆਪਣਾ ਏਜੰਟ ਕੋਡ, ਅਤੇ ਉਤਪਾਦਨ ਰਨਟਾਈਮ।
- ਤੁਸੀਂ ਕੀ ਫੜ ਸਕਦੇ ਹੋ: ਦਸ ਵਿੱਚੋਂ ਛੇ ਫਿੰਗਰਪ੍ਰਿੰਟ ਕੋਡ ਅਤੇ ਸੰਰਚਨਾ ਵਿੱਚ ਛੱਡਦੇ ਹਨ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਰੋਕ ਸਕੋ। ਬਾਕੀ ਚਾਰਾਂ ਨੂੰ ਰਨਟਾਈਮ ਡਿਜ਼ਾਈਨ ਨਿਯੰਤਰਣਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਉਹਨਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਇਹ ਜਾਣਨ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਕਿਹੜੇ ਏਜੰਟ ਚਲਾਉਂਦੇ ਹੋ।
ਪਹਿਲਾ ਕਦਮ: ਹਰੇਕ ਏਜੰਟ, ਟੂਲ, MCP ਸਰਵਰ ਅਤੇ ਹੁਨਰ ਦੀ ਸੂਚੀ ਬਣਾਓ, ਫਿਰ ASI ਕੋਡਾਂ ਨਾਲ ਟੈਗ ਕੀਤੇ ਨਤੀਜਿਆਂ ਦੇ ਨਾਲ CI ਵਿੱਚ ਨਵਾਂ ਏਜੰਟ ਕੋਡ ਗੇਟ ਕਰੋ।
OWASP ਏਜੰਟਿਕ AI ਸਿਖਰਲੇ 10 ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦੇ ਹਨ: ਤੁਹਾਡਾ pipeline ਨਵਾਂ ਹੈ committers
ਇੱਕ ਸਾਲ ਪਹਿਲਾਂ, ਤੁਹਾਡੇ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਕੋਡ ਲੋਕਾਂ ਤੋਂ ਆਇਆ ਸੀ। ਅੱਜ, ਇੱਕ ਵਧਦਾ ਹਿੱਸਾ AI ਏਜੰਟਾਂ ਤੋਂ ਆਉਂਦਾ ਹੈ: ਕੋਡਿੰਗ ਸਹਾਇਕ ਜੋ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਸਥਾਪਿਤ ਕਰਦੇ ਹਨ, ਏਜੰਟ ਜੋ ਖੋਲ੍ਹਦੇ ਹਨ pull requests, ਅਤੇ ਏਜੰਟ ਫਰੇਮਵਰਕ ਜੋ ਤੁਹਾਡੇ ਆਪਣੇ ਉਤਪਾਦਾਂ ਦੇ ਅੰਦਰ ਆਪਣੇ ਖੁਦ ਦੇ ਟੂਲਸ, ਮੈਮੋਰੀ ਅਤੇ ਪ੍ਰਮਾਣ ਪੱਤਰਾਂ ਨਾਲ ਭੇਜਦੇ ਹਨ। ਇਹੀ ਉਹ ਤਬਦੀਲੀ ਹੈ ਜਿਸ ਲਈ OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਲਿਖਿਆ ਗਿਆ ਸੀ।
ਇਹ ਧਮਕੀ ਮਾਡਲ ਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਇੱਕ LLM ਜੋ ਕੁਝ ਗਲਤ ਕਹਿੰਦਾ ਹੈ ਉਹ ਇੱਕ ਸਮੱਗਰੀ ਸਮੱਸਿਆ ਹੈ। ਇੱਕ ਏਜੰਟ ਜੋ ਕੁਝ ਗਲਤ ਕਰਦਾ ਹੈ (ਡੇਟਾ ਮਿਟਾਉਂਦਾ ਹੈ, ਟੋਕਨ ਲੀਕ ਕਰਦਾ ਹੈ, ਇੱਕ ਜ਼ਹਿਰੀਲਾ ਪੈਕੇਜ ਸਥਾਪਤ ਕਰਦਾ ਹੈ) ਇੱਕ ਸੁਰੱਖਿਆ ਘਟਨਾ ਹੈ।
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਉਸ ਦੂਜੀ ਕਿਸਮ ਦੀ ਸਮੱਸਿਆ ਲਈ ਪਹਿਲੀ ਸਾਂਝੀ ਸ਼ਬਦਾਵਲੀ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਵਿਆਖਿਆਕਾਰ ਪਰਿਭਾਸ਼ਾਵਾਂ 'ਤੇ ਹੀ ਰੁਕਦੇ ਹਨ। ਇਹ ਹਰੇਕ ਜੋਖਮ ਨੂੰ ਉਸ ਜਗ੍ਹਾ 'ਤੇ ਮੈਪ ਕਰਦਾ ਹੈ ਜਿੱਥੇ ਇਹ ਅਸਲ ਵਿੱਚ ਤੁਹਾਡੇ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦਾ ਹੈ। pipeline, ਅਤੇ ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਕੀ ਕਰ ਸਕਦੇ ਹੋ।
ਕੀ ਹੁੰਦਾ ਹੈ OWASP ਏਜੰਟਿਕ ਏਆਈ ਟੌਪ 10?
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10, AI ਏਜੰਟਾਂ ਵਿੱਚ ਦਸ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਸੁਰੱਖਿਆ ਜੋਖਮਾਂ ਦੀ ਇੱਕ ਪੀਅਰ-ਸਮੀਖਿਆ ਕੀਤੀ ਸੂਚੀ ਹੈ: ਉਹ ਸਿਸਟਮ ਜੋ ਯੋਜਨਾ ਬਣਾਉਂਦੇ ਹਨ, ਟੂਲਸ ਨੂੰ ਕਾਲ ਕਰਦੇ ਹਨ, ਯਾਦਦਾਸ਼ਤ ਰੱਖਦੇ ਹਨ, ਅਤੇ ਸੌਂਪੇ ਗਏ ਅਧਿਕਾਰ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ। ਇਸਦਾ ਅਧਿਕਾਰਤ ਨਾਮ ਹੈ ਏਜੰਟਿਕ ਐਪਲੀਕੇਸ਼ਨਾਂ 2026 ਲਈ OWASP ਸਿਖਰਲੇ 10। OWASP GenAI ਸੁਰੱਖਿਆ ਪ੍ਰੋਜੈਕਟ ਨੇ ਇਸਨੂੰ 9 ਦਸੰਬਰ 2025 ਨੂੰ ਆਪਣੇ ਏਜੰਟਿਕ ਸੁਰੱਖਿਆ ਪਹਿਲਕਦਮੀ ਰਾਹੀਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ, ਜਿੱਥੋਂ ASI ਪ੍ਰੀਫਿਕਸ ਆਉਂਦਾ ਹੈ।
ਇਹ ਅਜੇ ਵੀ ਜਵਾਨ ਹੈ। standard: ਇਹ ਇਸਦਾ ਪਹਿਲਾ ਐਡੀਸ਼ਨ ਹੈ। ਹਰੇਕ ਐਂਟਰੀ ਜਾਣੇ-ਪਛਾਣੇ OWASP ਫਾਰਮੈਟ ਦੀ ਪਾਲਣਾ ਕਰਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਵਰਣਨ, ਆਮ ਉਦਾਹਰਣਾਂ, ਹਮਲੇ ਦੇ ਦ੍ਰਿਸ਼, ਅਤੇ ਰੋਕਥਾਮ ਮਾਰਗਦਰਸ਼ਨ ਸ਼ਾਮਲ ਹਨ। OWASP ਦੀ ਕੇਂਦਰੀ ਡਿਜ਼ਾਈਨ ਸਲਾਹ ਸਾਰੇ ਦਸਾਂ ਵਿੱਚੋਂ ਲੰਘਦੀ ਹੈ: ਏਜੰਟਾਂ ਨੂੰ ਕੰਮ ਦੀ ਲੋੜ ਤੋਂ ਵੱਧ ਖੁਦਮੁਖਤਿਆਰੀ ਦੇਣ ਤੋਂ ਬਚੋ, ਅਤੇ ਨਿਰੀਖਣਯੋਗਤਾ ਨੂੰ ਲਾਜ਼ਮੀ ਮੰਨੋ।
ਏਜੰਟਿਕ ਟੌਪ 10 ਬਨਾਮ ਐਲਐਲਐਮ ਟੌਪ 10
ਏਜੰਟ ਸੂਚੀ ਇਹਨਾਂ ਦੀ ਥਾਂ ਨਹੀਂ ਲੈਂਦੀ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਸਿਖਰਲੇ 10. ਇਹ ਇਸ 'ਤੇ ਨਿਰਮਾਣ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਸ ਦੀਆਂ ਐਂਟਰੀਆਂ ਕਰਾਸ-ਰੈਫਰੈਂਸ LLM ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਜੋਖਮ ਲੈਂਦੀਆਂ ਹਨ। ਅੰਗੂਠੇ ਦਾ ਇੱਕ ਸਧਾਰਨ ਨਿਯਮ:
| ਮਾਪ | OWASP LLM ਸਿਖਰਲੇ 10 | OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 |
|---|---|---|
| ਫੋਕਸ | ਮਾਡਲ ਕੀ ਕਹਿੰਦੀ ਹੈ | ਏਜੰਟ ਕੀ ਕਰਦਾ ਹੈ |
| ਆਮ ਅਸਫਲਤਾ | ਇੱਕ ਹੇਰਾਫੇਰੀ ਕੀਤਾ ਜਾਂ ਲੀਕ ਹੋਇਆ ਜਵਾਬ | ਇੱਕ ਹੇਰਾਫੇਰੀ ਕੀਤਾ ਟੀਚਾ, ਔਜ਼ਾਰ ਕਾਲ ਜਾਂ ਕਾਰਵਾਈ |
| ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ | ਚੈਟਬੋਟਸ, ਆਰਏਜੀ ਐਪਸ, ਕੋਈ ਵੀ ਐਲਐਲਐਮ ਵਿਸ਼ੇਸ਼ਤਾ | ਔਜ਼ਾਰਾਂ, ਮੈਮੋਰੀ, ਡੈਲੀਗੇਸ਼ਨ ਜਾਂ ਹੋਰ ਏਜੰਟਾਂ ਵਾਲੇ ਏਜੰਟ |
| ਕੋਡਸ | LLM01 ਤੋਂ LLM10 ਤੱਕ | ASI01 ਤੋਂ ASI10 ਤੱਕ |
ਜੇਕਰ ਤੁਹਾਡੀ ਅਰਜ਼ੀ ਸਿਰਫ਼ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦਿੰਦੀ ਹੈ, ਤਾਂ LLM ਸੂਚੀ ਤੁਹਾਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ। ਜਿਸ ਪਲ ਇਹ ਕਾਰਵਾਈ ਕਰ ਸਕਦੀ ਹੈ, ਤੁਹਾਨੂੰ ਦੋਵਾਂ ਦੀ ਲੋੜ ਹੈ। ਸਾਡੀ ਗਾਈਡ ਮਾਡਲ ਕੱਢਣ ਦੇ ਹਮਲੇ ਇੱਕ LLM ਸਿਖਰਲੇ 10 ਜੋਖਮ ਨੂੰ ਡੂੰਘਾਈ ਨਾਲ ਦਰਸਾਉਂਦਾ ਹੈ।
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10, ਸਮਝਾਇਆ ਗਿਆ: ਅਸਲ ਵਿੱਚ ASI01 ਤੋਂ ASI10 pipelines
ਇੱਥੇ OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਵਿੱਚ ਹਰੇਕ ਜੋਖਮ ਨੂੰ ਸਾਫ਼ ਸ਼ਬਦਾਂ ਵਿੱਚ ਦਿੱਤਾ ਗਿਆ ਹੈ, ਇਸ ਤੋਂ ਬਾਅਦ ਕੋਡਬੇਸਾਂ ਵਿੱਚ ਇਹ ਕਿਵੇਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਅਤੇ pipelineਅਸੀਂ ਹਰ ਰੋਜ਼ ਦੇਖਦੇ ਹਾਂ।
ASI01: ਏਜੰਟ ਗੋਲ ਹਾਈਜੈਕ
ਇੱਕ ਹਮਲਾਵਰ ਇੱਕ ਦਸਤਾਵੇਜ਼, ਇੱਕ ਈਮੇਲ, ਇੱਕ ਵੈੱਬ ਪੇਜ, ਜਾਂ ਕਿਸੇ ਹੋਰ ਏਜੰਟ ਦੇ ਸੁਨੇਹੇ ਵਿੱਚ ਟੀਕੇ ਲਗਾਏ ਗਏ ਨਿਰਦੇਸ਼ਾਂ ਰਾਹੀਂ ਏਜੰਟ ਜੋ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਿਹਾ ਹੈ ਉਸਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਏਜੰਟ ਸਮੱਗਰੀ ਤੋਂ ਇਲਾਵਾ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਦੱਸਣ ਲਈ ਸੰਘਰਸ਼ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਲਗਾਏ ਗਏ ਟੈਕਸਟ ਇੱਕ ਪੂਰੀ ਬਹੁ-ਪੜਾਵੀ ਯੋਜਨਾ ਨੂੰ ਰੀਡਾਇਰੈਕਟ ਕਰ ਸਕਦਾ ਹੈ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ ਏਜੰਟ ਜੋ ਸੰਖੇਪ ਕਰਦਾ ਹੈ pull requests ਲੁਕਵੇਂ ਨਿਰਦੇਸ਼ਾਂ ਵਾਲਾ ਇੱਕ PR ਵੇਰਵਾ ਪੜ੍ਹਦਾ ਹੈ, ਅਤੇ ਸੰਖੇਪ ਕਰਨ ਦੀ ਬਜਾਏ ਮਨਜ਼ੂਰੀ ਦੇਣਾ ਜਾਂ ਲੀਕ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੰਦਾ ਹੈ।
ASI02: ਔਜ਼ਾਰਾਂ ਦੀ ਦੁਰਵਰਤੋਂ ਅਤੇ ਸ਼ੋਸ਼ਣ
ਏਜੰਟ ਇੱਕ ਅਜਿਹੇ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜਿਸਨੂੰ ਵਰਤਣ ਦੀ ਇਜਾਜ਼ਤ ਹੈ, ਪਰ ਇੱਕ ਨੁਕਸਾਨਦੇਹ ਤਰੀਕੇ ਨਾਲ: ਡੇਟਾ ਨੂੰ ਮਿਟਾਉਣਾ, ਇੱਕ ਮਹਿੰਗੇ API ਨੂੰ ਲੂਪ ਵਿੱਚ ਕਾਲ ਕਰਨਾ, ਜਾਂ ਜਾਣਕਾਰੀ ਭੇਜਣਾ। ਕੋਈ ਵੀ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਨਹੀਂ ਵਧਾਇਆ ਜਾਂਦਾ; ਜਾਇਜ਼ ਪਹੁੰਚ ਸਿਰਫ਼ ਗਲਤ ਟੀਚੇ ਵੱਲ ਇਸ਼ਾਰਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਸ਼ੈੱਲ ਐਕਸੈਸ ਵਾਲਾ ਇੱਕ ਕੋਡਿੰਗ ਏਜੰਟ ਗਲਤ ਡਾਇਰੈਕਟਰੀ ਦੇ ਵਿਰੁੱਧ ਇੱਕ ਕਲੀਨਅੱਪ ਕਮਾਂਡ ਚਲਾਉਂਦਾ ਹੈ।
ASI03: ਪਛਾਣ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਦੀ ਦੁਰਵਰਤੋਂ
ਏਜੰਟ ਪ੍ਰਮਾਣ ਪੱਤਰ, ਸੈਸ਼ਨ ਅਤੇ ਭੂਮਿਕਾਵਾਂ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ, ਅਤੇ ਹਮਲਾਵਰ ਉਹਨਾਂ ਡੈਲੀਗੇਸ਼ਨ ਚੇਨਾਂ ਦਾ ਸ਼ੋਸ਼ਣ ਕਰਦੇ ਹਨ ਤਾਂ ਜੋ ਉਹ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਨਹੀਂ ਪਹੁੰਚ ਸਕਦੇ ਸਨ। ਮੂਲ ਕਾਰਨ ਮਨੁੱਖਾਂ ਲਈ ਬਣਾਏ ਗਏ ਪਛਾਣ ਪ੍ਰਣਾਲੀਆਂ ਹਨ, ਜੋ ਸਾਫਟਵੇਅਰ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਆਪਣੇ ਆਪ ਕੰਮ ਕਰਦੀਆਂ ਹਨ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ ਏਜੰਟ ਸੰਰਚਨਾ ਸੰਗਠਨ-ਵਿਆਪੀ ਦਾਇਰੇ ਦੇ ਨਾਲ ਇੱਕ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਚੱਲਣ ਵਾਲਾ ਟੋਕਨ ਰੱਖਦੀ ਹੈ, ਜੋ ਕਈ ਟੂਲਸ ਵਿੱਚ ਸਾਂਝਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ASI04: ਏਜੰਟਿਕ ਸਪਲਾਈ ਚੇਨ ਕਮਜ਼ੋਰੀਆਂ
ਏਜੰਟਾਂ ਦੁਆਰਾ ਲੋਡ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਮਾਡਲ, ਟੂਲ, ਪਲੱਗਇਨ, MCP ਸਰਵਰ, ਹੁਨਰ ਅਤੇ ਪ੍ਰੋਂਪਟ ਤੀਜੀ ਧਿਰ ਤੋਂ ਆਉਂਦੇ ਹਨ, ਅਤੇ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਖਤਰਨਾਕ ਜਾਂ ਛੇੜਛਾੜ ਵਾਲਾ ਹੋ ਸਕਦਾ ਹੈ। ਕਲਾਸਿਕ ਨਿਰਭਰਤਾਵਾਂ ਦੇ ਉਲਟ, ਏਜੰਟ ਅਕਸਰ ਇਹਨਾਂ ਹਿੱਸਿਆਂ ਨੂੰ ਰਨਟਾਈਮ 'ਤੇ ਇਕੱਠਾ ਕਰਦੇ ਹਨ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ ਡਿਵੈਲਪਰ ਇੱਕ ਟਾਈਪੋਸਕਵੇਟਿਡ ਏਜੰਟ ਹੁਨਰ ਸਥਾਪਤ ਕਰਦਾ ਹੈ ਜਿਸਦੀਆਂ ਹਦਾਇਤਾਂ ਏਜੰਟ ਨੂੰ ਪ੍ਰਮਾਣ ਪੱਤਰ ਪੜ੍ਹਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਬਾਹਰੀ ਤੌਰ 'ਤੇ ਪੋਸਟ ਕਰਨ ਲਈ ਕਹਿੰਦੀਆਂ ਹਨ।
ASI05: ਅਣਕਿਆਸਿਆ ਕੋਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ (RCE)
ਏਜੰਟ ਕੋਡ ਤਿਆਰ ਕਰਦਾ ਹੈ ਜਾਂ ਚਾਲੂ ਕਰਦਾ ਹੈ ਜੋ ਉੱਥੇ ਚੱਲਦਾ ਹੈ ਜਿੱਥੇ ਇਸਨੂੰ ਨਹੀਂ ਚੱਲਣਾ ਚਾਹੀਦਾ: ਸ਼ੈੱਲ ਕਮਾਂਡਾਂ, ਡੀਸੀਰੀਅਲਾਈਜ਼ਡ ਵਸਤੂਆਂ, ਟੈਂਪਲੇਟ ਇੰਜਣ, eval ਮਾਡਲ ਆਉਟਪੁੱਟ 'ਤੇ। ਨਤੀਜਾ ਪੂਰਾ ਹੋਸਟ ਜਾਂ ਕੰਟੇਨਰ ਸਮਝੌਤਾ ਹੋ ਸਕਦਾ ਹੈ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: LLM ਆਉਟਪੁੱਟ ਸਿੱਧਾ ਅੰਦਰ ਵਹਿੰਦਾ ਹੈ eval, ਜਾਂ ਕੋਈ ਏਜੰਟ ਇੱਕ ਅਵਿਸ਼ਵਾਸਯੋਗ ਡੇਟਾਸੈਟ ਨੂੰ ਲੋਡ ਕਰਦਾ ਹੈ pickle.load.
ASI06: ਯਾਦਦਾਸ਼ਤ ਅਤੇ ਸੰਦਰਭ ਜ਼ਹਿਰ
ਹਮਲਾਵਰ ਏਜੰਟ ਦੀ ਲੰਬੇ ਸਮੇਂ ਦੀ ਯਾਦਦਾਸ਼ਤ, ਸਾਰਾਂਸ਼ ਜਾਂ RAG ਸਟੋਰਾਂ ਨੂੰ ਖਤਰਨਾਕ ਡੇਟਾ ਨਾਲ ਜੋੜਦੇ ਹਨ, ਇਸ ਲਈ ਹਰ ਭਵਿੱਖੀ ਡੀcisਆਇਨ ਤਿਰਛੀ ਹੈ। ਇੱਕ ਵਾਰ ਦੇ ਪ੍ਰੋਂਪਟ ਟੀਕੇ ਦੇ ਉਲਟ, ਭ੍ਰਿਸ਼ਟਾਚਾਰ ਸੈਸ਼ਨਾਂ ਦੌਰਾਨ ਬਣਿਆ ਰਹਿੰਦਾ ਹੈ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ RAG ਰੀਟਰੀਵਰ ਬਾਹਰੀ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਬਿਨਾਂ ਰੋਗਾਣੂ-ਮੁਕਤ ਕੀਤੇ ਗ੍ਰਹਿਣ ਕਰਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਜ਼ਹਿਰੀਲਾ ਪੰਨਾ ਹਰ ਜਵਾਬ ਨੂੰ ਆਕਾਰ ਦਿੰਦਾ ਹੈ ਜੋ ਅੱਗੇ ਆਉਂਦਾ ਹੈ।
ASI07: ਅਸੁਰੱਖਿਅਤ ਅੰਤਰ-ਏਜੰਟ ਸੰਚਾਰ
ਏਜੰਟ ਪ੍ਰਮਾਣਿਕਤਾ, ਇਮਾਨਦਾਰੀ ਜਾਂਚ, ਜਾਂ ਪ੍ਰਮਾਣਿਕਤਾ ਤੋਂ ਬਿਨਾਂ ਸੁਨੇਹਿਆਂ ਦਾ ਆਦਾਨ-ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਸੁਨੇਹਿਆਂ ਨੂੰ ਧੋਖਾ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਰੋਕਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਾਂ ਬਦਲਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਇੱਕੋ ਹਦਾਇਤ ਨੂੰ ਵੱਖ-ਵੱਖ ਏਜੰਟਾਂ ਦੁਆਰਾ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਪੜ੍ਹਿਆ ਵੀ ਜਾ ਸਕਦਾ ਹੈ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ ਯੋਜਨਾਕਾਰ ਏਜੰਟ ਅੰਦਰੂਨੀ ਨੈੱਟਵਰਕ 'ਤੇ ਕਿਸੇ ਵੀ ਸੇਵਾ ਤੋਂ ਕੰਮ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ ਜੋ ਇਸਦੇ ਪ੍ਰੋਟੋਕੋਲ ਨੂੰ ਬੋਲਦਾ ਹੈ।
ASI08: ਕੈਸਕੇਡਿੰਗ ਅਸਫਲਤਾਵਾਂ
ਇੱਕ ਨੁਕਸ (ਇੱਕ ਭਰਮ, ਇੱਕ ਜ਼ਹਿਰੀਲੀ ਯਾਦਦਾਸ਼ਤ, ਇੱਕ ਕਮਜ਼ੋਰ ਔਜ਼ਾਰ) ਏਜੰਟਾਂ ਅਤੇ ਵਰਕਫਲੋ ਵਿੱਚ ਮਨੁੱਖਾਂ ਦੁਆਰਾ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਨ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ ਫੈਲਦਾ ਹੈ। OWASP ਇਸ ਸ਼੍ਰੇਣੀ ਨੂੰ ਉਦੋਂ ਲਾਗੂ ਕਰਦਾ ਹੈ ਜਦੋਂ ਨੁਕਸਾਨ ਅਸਲ ਉਲੰਘਣਾ ਤੋਂ ਪਰੇ ਹੁੰਦਾ ਹੈ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ ਏਜੰਟ ਇੱਕ ਖਰਾਬ ਸੰਰਚਨਾ ਲਿਖਦਾ ਹੈ, ਦੂਜਾ ਇਸਨੂੰ ਤੈਨਾਤ ਕਰਦਾ ਹੈ, ਤੀਜਾ ਇਸਨੂੰ ਹਰ ਖੇਤਰ ਵਿੱਚ ਰੋਲ ਆਊਟ ਕਰਦਾ ਹੈ। ਅਸੀਂ ਬਹਿਸ ਕੀਤੀ ਕਿ ਸਾਡੇ ਵਿੱਚ ਉਸ ਧਮਾਕੇ ਦੇ ਘੇਰੇ ਨੂੰ ਕਿਵੇਂ ਸ਼ਾਮਲ ਕਰਨਾ ਹੈ ਬਲਾਸਟ ਰੇਡੀਅਸ ਸੇਫਡੇਵ ਟਾਕ.
ASI09: ਮਨੁੱਖੀ-ਏਜੰਟ ਟਰੱਸਟ ਸ਼ੋਸ਼ਣ
ਲੋਕ ਭਰੋਸੇਮੰਦ, ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਝਾਏ ਗਏ ਏਜੰਟ ਆਉਟਪੁੱਟ 'ਤੇ ਭਰੋਸਾ ਕਰਦੇ ਹਨ, ਅਤੇ ਹਮਲਾਵਰ ਜਾਂ ਨੁਕਸਦਾਰ ਡਿਜ਼ਾਈਨ ਉਸ ਭਰੋਸੇ ਦਾ ਸ਼ੋਸ਼ਣ ਕਰਦੇ ਹਨ ਤਾਂ ਜੋcisਆਇਨ। ਮਨੁੱਖ ਅੰਤਿਮ ਕਿਰਿਆ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਏਜੰਟ ਦੀ ਭੂਮਿਕਾ ਆਡਿਟ ਟ੍ਰੇਲ ਤੋਂ ਅਲੋਪ ਹੋ ਸਕਦੀ ਹੈ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ ਸਮੀਖਿਅਕ ਇੱਕ ਏਜੰਟ ਦੀ ਪ੍ਰਵਾਨਗੀ ਦਿੰਦਾ ਹੈ pull request ਕਿਉਂਕਿ ਵਿਆਖਿਆ ਸਹੀ ਲੱਗਦੀ ਹੈ, ਬਿਨਾਂ ਅੰਤਰ ਦੀ ਜਾਂਚ ਕੀਤੇ।
ASI10: ਠੱਗ ਏਜੰਟ
ਇੱਕ ਏਜੰਟ ਆਪਣੇ ਇਰਾਦੇ ਵਾਲੇ ਕਾਰਜ ਤੋਂ ਭਟਕ ਜਾਂਦਾ ਹੈ ਅਤੇ ਨੁਕਸਾਨਦੇਹ, ਧੋਖੇਬਾਜ਼, ਜਾਂ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਕੰਮ ਕਰਦਾ ਰਹਿੰਦਾ ਹੈ। ਹਰੇਕ ਕਾਰਵਾਈ ਜਾਇਜ਼ ਲੱਗ ਸਕਦੀ ਹੈ; ਸਮੁੱਚਾ ਵਿਵਹਾਰ ਜਾਇਜ਼ ਨਹੀਂ ਹੈ। ASI10 ਡ੍ਰਿਫਟ ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਬਾਅਦ ਕੰਟਰੋਲ ਗੁਆਉਣ ਬਾਰੇ ਹੈ, ਸ਼ੁਰੂਆਤੀ ਘੁਸਪੈਠ ਬਾਰੇ ਨਹੀਂ।
ਤੁਹਾਡੇ ਵਿੱਚ pipeline: ਇੱਕ ਏਜੰਟ ਆਪਣਾ ਕੰਮ ਖਤਮ ਹੋਣ ਤੋਂ ਬਾਅਦ ਵੀ ਅਨੁਮਤੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਰਹਿੰਦਾ ਹੈ, ਚੁੱਪਚਾਪ ਉਸ ਚੀਜ਼ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ ਜੋ ਇਹ ਛੂਹਦਾ ਹੈ।
ਦਸ ਜੋਖਮਾਂ ਵਿੱਚੋਂ, ASI04 ਉਹ ਹੈ ਜਿਸਦਾ ਸਾਹਮਣਾ ਜ਼ਿਆਦਾਤਰ ਟੀਮਾਂ ਪਹਿਲਾਂ ਹੀ ਹਰ ਰੋਜ਼ ਕਰਦੀਆਂ ਹਨ: ਕੋਡਿੰਗ ਏਜੰਟ ਪੈਕੇਜ ਚੁਣਦੇ ਅਤੇ ਸਥਾਪਿਤ ਕਰਦੇ ਹਨ ਬਿਨਾਂ ਕਿਸੇ ਦੀ ਸਮੀਖਿਆ ਕੀਤੇ ਕਿ ਕੀ ਪ੍ਰਾਪਤ ਹੁੰਦਾ ਹੈ। ਅਸੀਂ ਹਾਲ ਹੀ ਵਿੱਚ ਇੱਕ SafeDev ਟਾਕ ਵਿੱਚ ਇਸ ਬਾਰੇ ਬਿਲਕੁਲ ਖੋਜ ਕੀਤੀ ਹੈ। ਇੱਕ ਨਜ਼ਰ ਮਾਰੋ!
ਜਿੱਥੇ OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਤੁਹਾਡੇ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦਾ ਹੈ pipeline
ਦਸ ਜੋਖਮ ਇੱਕ ਦਰਵਾਜ਼ੇ ਰਾਹੀਂ ਨਹੀਂ ਆਉਂਦੇ। ਉਹ ਚਾਰ ਵਿੱਚੋਂ ਆਉਂਦੇ ਹਨ, ਅਤੇ ਹਰੇਕ ਦਰਵਾਜ਼ੇ ਨੂੰ ਆਪਣੇ ਨਿਯੰਤਰਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
| ਦਾਖਲਾ ਬਿੰਦੂ | ਕੀ ਆਉਂਦਾ ਹੈ | ASI ਜੋਖਮ | ਇਸਨੂੰ ਕਿੱਥੇ ਰੋਕਣਾ ਹੈ |
|---|---|---|---|
| ਡਿਵੈਲਪਰ IDE ਅਤੇ ਵਰਕਸਟੇਸ਼ਨ | ਕੋਡਿੰਗ ਏਜੰਟ, MCP ਸਰਵਰ, ਹੁਨਰ, ਪੈਕੇਜ ਜੋ ਏਜੰਟ ਸਥਾਪਤ ਕਰਦੇ ਹਨ | ASI04, ASI05 | ਵਰਕਸਟੇਸ਼ਨ 'ਤੇ, ਇੰਸਟਾਲ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ |
| ਤੀਜੀ-ਧਿਰ ਏਜੰਟ ਹਿੱਸੇ | ਰਜਿਸਟਰੀਆਂ ਤੋਂ ਮਾਡਲ, ਟੂਲ, ਪਲੱਗਇਨ, ਪ੍ਰੋਂਪਟ | ASI04, ASI06 | ਗੋਦ ਲੈਣ ਤੋਂ ਪਹਿਲਾਂ ਵਸਤੂ ਸੂਚੀ ਅਤੇ ਸਮੀਖਿਆ |
| ਤੁਹਾਡਾ ਆਪਣਾ ਏਜੰਟ ਕੋਡ | ਏਜੰਟ ਫਰੇਮਵਰਕ, ਪ੍ਰੋਂਪਟ, ਟੂਲ ਪਰਿਭਾਸ਼ਾਵਾਂ, ਪ੍ਰਮਾਣ ਪੱਤਰ, RAG pipelines | ASI01, ASI02, ASI03, ASI05, ASI06 | ਸਥਿਰ ਵਿਸ਼ਲੇਸ਼ਣ, ਵਿੱਚ pull requests ਅਤੇ ਸੀ.ਆਈ. |
| ਉਤਪਾਦਨ ਰਨਟਾਈਮ | ਏਜੰਟ ਕੰਮ ਕਰਦੇ ਹਨ, ਇੱਕ ਦੂਜੇ ਨਾਲ ਗੱਲਾਂ ਕਰਦੇ ਹਨ, ਲੋਕਾਂ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ | ਏਐਸਆਈ07, ਏਐਸਆਈ08, ASI09, ASI10 | ਆਰਕੀਟੈਕਚਰ, ਨਿਗਰਾਨੀ ਅਤੇ ਕਿਲ ਸਵਿੱਚ |
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਨੂੰ ਤੁਸੀਂ ਕਿਵੇਂ ਲਾਗੂ ਕਰਦੇ ਹੋ, ਇਸ ਲਈ ਪੈਟਰਨ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ। ਪਹਿਲੇ ਤਿੰਨ ਦਰਵਾਜ਼ੇ ਕੋਡ ਅਤੇ ਸੰਰਚਨਾ ਵਿੱਚ ਸਬੂਤ ਛੱਡਦੇ ਹਨ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਸੀਂ ਕੁਝ ਵੀ ਭੇਜਣ ਤੋਂ ਪਹਿਲਾਂ ਉਹਨਾਂ ਨੂੰ ਲੱਭ ਅਤੇ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹੋ। ਚੌਥਾ ਰਨਟਾਈਮ ਵਿਵਹਾਰ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਡਿਜ਼ਾਈਨ ਵਿਕਲਪਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ: ਘੱਟੋ-ਘੱਟ ਏਜੰਸੀ, ਦਸਤਖਤ ਕੀਤੇ ਸੁਨੇਹੇ, ਉੱਚ-ਪ੍ਰਭਾਵ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਲਈ ਮਨੁੱਖੀ ਪ੍ਰਵਾਨਗੀ, ਅਤੇ ਕਿਸੇ ਵੀ ਏਜੰਟ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਰੱਦ ਕਰਨ ਦੀ ਯੋਗਤਾ।
ਰਨਟਾਈਮ ਕੰਟਰੋਲ ਵੀ ਇੱਕ ਚੀਜ਼ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਜੋ ਤੁਸੀਂ ਪਹਿਲਾਂ ਬਣਾਉਂਦੇ ਹੋ: ਇੱਕ ਵਸਤੂ ਸੂਚੀ। ਤੁਸੀਂ ਕਿਸੇ ਅਜਿਹੇ ਏਜੰਟ 'ਤੇ ਕਿਲ ਸਵਿੱਚ ਨਹੀਂ ਲਗਾ ਸਕਦੇ ਜਿਸ ਬਾਰੇ ਤੁਸੀਂ ਨਹੀਂ ਜਾਣਦੇ ਕਿ ਮੌਜੂਦ ਹੈ।
Xygeni OWASP Agentic AI ਨੂੰ ਕਿਵੇਂ ਫੜਦਾ ਹੈ ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਸਿਖਰਲੇ 10 ਜੋਖਮ
ਜ਼ਾਇਗੇਨੀ ਏਆਈ ਸੁਰੱਖਿਆ ਤੁਹਾਡੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੁਆਰਾ ਬਣਾਏ ਗਏ AI ਹਿੱਸਿਆਂ ਨੂੰ ਸਿੱਧੇ ਸਰੋਤ ਕੋਡ ਤੋਂ ਸਕੈਨ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਖੋਜ ਆਪਣੀ OWASP LLM ਟੌਪ 10 ਸ਼੍ਰੇਣੀ ਅਤੇ, ਜਿੱਥੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਇਸਦਾ OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਕੋਡ ਰੱਖਦੀ ਹੈ, ਇਸ ਲਈ ਤੁਹਾਡੀ ਟੀਮ ਅਤੇ ਤੁਹਾਡੇ ਆਡੀਟਰ ਇੱਕੋ ਭਾਸ਼ਾ ਵਿੱਚ ਖੋਜਾਂ ਨੂੰ ਪੜ੍ਹਦੇ ਹਨ।
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਨੂੰ ਕਵਰ ਕਰਨਾ ਵਸਤੂ ਸੂਚੀ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ। AI ਸੁਰੱਖਿਆ ਏਜੰਟਾਂ, ਮਾਡਲਾਂ, ਟੂਲਸ, MCP ਸਰਵਰਾਂ, ਹੁਨਰਾਂ, ਪ੍ਰੋਂਪਟਾਂ ਦੀ ਖੋਜ ਕਰਦੀ ਹੈ, guardrails, ਵੈਕਟਰ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਡੇ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਡੇਟਾਸੈੱਟ, ਅਤੇ ਨਕਸ਼ੇ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਉਹ ਕਿਵੇਂ ਜੁੜਦੇ ਹਨ: ਕਿਹੜਾ ਏਜੰਟ ਕਿਹੜੇ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਕਿਹੜੇ ਟੂਲਸ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ, ਅਤੇ ਕਿਹੜੇ MCP ਸਰਵਰਾਂ ਨੂੰ ਕਾਲ ਕਰਦਾ ਹੈ। ਵਸਤੂ ਸੂਚੀ CycloneDX 1.6 ML-BOM ਦੇ ਰੂਪ ਵਿੱਚ ਨਿਰਯਾਤ ਕਰਦੀ ਹੈ।
ਜ਼ਾਇਗੇਨੀ ਏਆਈ ਸੁਰੱਖਿਆ
ਏਐਸਆਈ ਜੋਖਮ ਦੁਆਰਾ, ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ ਜ਼ਾਇਜੇਨੀ ਕੀ ਖੋਜਦਾ ਹੈ
ਹਰੇਕ ਖੋਜ ਨੂੰ ਇਸਦੇ OWASP ਕੋਡ ਨਾਲ ਟੈਗ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਹਾਡੀ ਟੀਮ ਅਤੇ ਤੁਹਾਡੇ ਆਡੀਟਰ ਇਸਨੂੰ ਉਸੇ ਭਾਸ਼ਾ ਵਿੱਚ ਪੜ੍ਹਦੇ ਹਨ।
ਏਜੰਟ ਗੋਲ ਹਾਈਜੈਕ
ਟੀਕੇ ਵਾਲੀਆਂ ਸਤਹਾਂ 'ਤੇ ਤੁਰੰਤ ਟੀਕਾ ਲਗਾਉਣਾ, ਏਜੰਟਾਂ ਦੁਆਰਾ ਸੈਨੀਟਾਈਜ਼ੇਸ਼ਨ ਤੋਂ ਬਿਨਾਂ ਬਾਹਰੀ ਸਮੱਗਰੀ ਨੂੰ ਗ੍ਰਹਿਣ ਕਰਨਾ, ਫਲੋਟਿੰਗ ਲੇਬਲਾਂ 'ਤੇ ਰਜਿਸਟਰੀਆਂ ਤੋਂ ਲਏ ਗਏ ਪ੍ਰੋਂਪਟ।
ਔਜ਼ਾਰ ਦੀ ਦੁਰਵਰਤੋਂ
ਇਨਪੁੱਟ ਤੋਂ ਬਿਨਾਂ ਟੂਲ-ਇਨਵੋਕਿੰਗ ਏਜੰਟ guardrails, ਨਾਲ ਹੀ ਕੋਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਅਤੇ ਆਟੋ-ਐਗਜ਼ੀਕਿਊਟ ਵਰਗੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦਾ ਪ੍ਰਤੀ-ਸੰਪਤੀ ਦ੍ਰਿਸ਼।
ਪਛਾਣ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਦੀ ਦੁਰਵਰਤੋਂ
ਏਜੰਟ ਕੌਂਫਿਗ ਵਿੱਚ ਸਥਿਰ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਚੱਲਣ ਵਾਲੇ ਪ੍ਰਮਾਣ ਪੱਤਰ, ਸਕੋਪ ਸੰਕੁਚਿਤ ਕੀਤੇ ਬਿਨਾਂ ਸਾਂਝੇ ਕੀਤੇ ਪ੍ਰਮਾਣ ਪੱਤਰ, ਉੱਚੇ ਅਧਿਕਾਰਾਂ ਵਾਲੇ MCP ਅਤੇ ਟੂਲ ਸਰਵਰ, ਅਤੇ ਪ੍ਰੋਂਪਟ ਫਾਈਲਾਂ ਵਿੱਚ ਰਾਜ਼।
ਏਜੰਟਿਕ ਸਪਲਾਈ ਚੇਨ
ਖਤਰਨਾਕ ਜਾਂ ਟਾਈਪੋਸਕੈਟਡ ਹੁਨਰ, ਇੱਕ SAFE / CAUTION / DO_NOT_INSTALL ਫੈਸਲੇ ਦੇ ਨਾਲ; ਅਸੁਰੱਖਿਅਤ ਮਾਡਲ ਲੋਡਿੰਗ (trust_remote_code=True); ਹਰੇਕ ਹਿੱਸੇ ਦਾ ਇੱਕ AI-BOM।
ਅਣਕਿਆਸਿਆ ਕੋਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ
ਟੈਂਟ LLM ਆਉਟਪੁੱਟ ਤੋਂ ਵਿੱਚ ਵਹਿੰਦਾ ਹੈ eval ਅਤੇ ਗੈਰ-ਭਰੋਸੇਯੋਗ ਡੇਟਾਸੈਟਾਂ ਤੋਂ pickle.load, ਪਾਈਥਨ ਅਤੇ ਜਾਵਾ ਸਕ੍ਰਿਪਟ ਵਿੱਚ; ਟੈਂਪਲੇਟ ਇੰਜੈਕਸ਼ਨ ਜੋ RCE ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ।
ਯਾਦਦਾਸ਼ਤ ਅਤੇ ਸੰਦਰਭ ਜ਼ਹਿਰ
ਗੈਰ-ਸਾਫ਼-ਰਹਿਤ RAG ਪ੍ਰਾਪਤ ਕਰਨ ਵਾਲੇ, ਅਤੇ ਵੈਕਟਰ ਅਤੇ ਏਮਬੈਡਿੰਗ ਕਮਜ਼ੋਰੀਆਂ (LLM08)।
ਰਨਟਾਈਮ ਵਿਵਹਾਰ
ਇੰਟਰ-ਏਜੰਟ ਸੰਚਾਰ, ਕੈਸਕੇਡਿੰਗ ਅਸਫਲਤਾਵਾਂ, ਮਨੁੱਖੀ ਵਿਸ਼ਵਾਸ ਅਤੇ ਠੱਗ ਏਜੰਟ ਰਨਟਾਈਮ 'ਤੇ ਉਭਰਦੇ ਹਨ। ਜ਼ਾਇਜੇਨੀ ਤੁਹਾਨੂੰ ਉਹ ਵਸਤੂ ਸੂਚੀ ਅਤੇ ਸਬੰਧ ਗ੍ਰਾਫ ਦਿੰਦਾ ਹੈ ਜਿਸ 'ਤੇ ਉਹ ਰਨਟਾਈਮ ਨਿਯੰਤਰਣ ਨਿਰਭਰ ਕਰਦੇ ਹਨ।
ਉਸ ਕੋਰ ਦੇ ਦੁਆਲੇ:
- ਹੁਨਰਾਂ ਅਤੇ ਏਜੰਟ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਅਰਥਪੂਰਨ ਸਮੀਖਿਆ। ਇੱਕ ਵਿਕਲਪਿਕ, ਪ੍ਰਜਨਨਯੋਗ LLM ਸਮੀਖਿਆ ਦੇ ਉਦੇਸ਼ ਦਾ ਨਿਰਣਾ ਕਰਦੀ ਹੈ
SKILL.mdਅਤੇAGENTS.mdਫਾਈਲਾਂ, ਸਿਰਫ਼ ਗਦ-ਸਿਰਫ਼ ਖਤਰਨਾਕ ਹਦਾਇਤਾਂ ਨੂੰ ਫੜਨਾ ਜੋ ਕੋਈ ਦਸਤਖਤ ਨਹੀਂ ਦੇਖ ਸਕਦਾ। ਇਹ ਇੱਕ ਸਵੈ-ਹੋਸਟਡ ਮਾਡਲ 'ਤੇ ਚੱਲ ਸਕਦਾ ਹੈ। - ਇਸਨੂੰ CI ਵਿੱਚ ਦਾਖਲ ਕਰੋ। The
xygeni aiਸਕੈਨਰ ਤੁਹਾਡੇ ਵਿੱਚ ਚੱਲਦਾ ਹੈ pipeline ਅਤੇ ਜਦੋਂ ਲੱਭਤਾਂ ਮੌਜੂਦ ਹੁੰਦੀਆਂ ਹਨ ਤਾਂ ਬਿਲਡ ਅਸਫਲ ਹੋ ਜਾਂਦਾ ਹੈ। ਸਿਰਫ਼-ਰਿਪੋਰਟ ਮੋਡ ਵਿੱਚ ਸ਼ੁਰੂ ਕਰੋ, ਫਿਰ ਕ੍ਰਿਟੀਕਲ 'ਤੇ ਗੇਟ ਕਰੋ। - ਏਜੰਟ ਲੂਪ ਦੇ ਅੰਦਰ ਸੁਰੱਖਿਆ। ਦੇਵਏਆਈ Xygeni ਸਕੈਨ, ਟ੍ਰਾਈਏਜ, ਅਤੇ ਫਿਕਸ ਨੂੰ IDE ਅਤੇ AI ਕੋਡਿੰਗ ਏਜੰਟਾਂ ਵਿੱਚ ਲਿਆਉਂਦਾ ਹੈ। ਜ਼ਾਇਜੇਨੀ ਐਮਸੀਪੀ ਸਰਵਰ.
- ਵਰਕਸਟੇਸ਼ਨ ਦੀ ਰੱਖਿਆ ਕਰੋ। Shield ਡਿਵੈਲਪਰ ਮਸ਼ੀਨਾਂ 'ਤੇ ਖਤਰਨਾਕ ਪੈਕੇਜਾਂ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਬਲਾਕ ਕਰਦਾ ਹੈ, ਭਾਵੇਂ ਇੰਸਟਾਲ ਕੌਣ ਚਲਾ ਰਿਹਾ ਹੈ, ਅਤੇ ਹਰੇਕ ਬਲਾਕ ਨੂੰ ਉਸ ਪ੍ਰਕਿਰਿਆ ਅਤੇ ਕਮਾਂਡ ਨਾਲ ਜੋੜਦਾ ਹੈ ਜਿਸਨੇ ਇਸਨੂੰ ਚਾਲੂ ਕੀਤਾ।
- ਜਲਦੀ ਠੀਕ ਕਰੋ। AI Triage ਖੋਜਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦਾ ਹੈ, ਅਤੇ AI Remediation ਹਰੇਕ OWASP LLM ਸ਼੍ਰੇਣੀ ਲਈ ਫਿਕਸ ਮਾਰਗਦਰਸ਼ਨ ਤਿਆਰ ਕਰਦਾ ਹੈ।
OWASP ਏਜੰਟਿਕ AI ਸਿਖਰਲੇ 10 ਤਿਆਰੀ ਚੈੱਕਲਿਸਟ
- ਸੂਚੀ: ਆਪਣੇ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਹਰੇਕ ਏਜੰਟ, ਮਾਡਲ, ਟੂਲ, MCP ਸਰਵਰ ਅਤੇ ਹੁਨਰ ਦੀ ਸੂਚੀ ਬਣਾਓ, ਅਤੇ ਹਰੇਕ 'ਤੇ ਸੂਚੀ ਨੂੰ ਮੌਜੂਦਾ ਰੱਖੋ commit.
- ਸਭ ਤੋਂ ਘੱਟ ਏਜੰਸੀ: ਹਰੇਕ ਏਜੰਟ ਨੂੰ ਸਿਰਫ਼ ਉਹੀ ਖੁਦਮੁਖਤਿਆਰੀ ਅਤੇ ਸਾਧਨ ਦਿਓ ਜਿਸਦੀ ਉਸਦੇ ਕੰਮ ਨੂੰ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਵਿਨਾਸ਼ਕਾਰੀ ਕਾਰਵਾਈਆਂ ਲਈ ਮਨੁੱਖੀ ਪ੍ਰਵਾਨਗੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
- ਦਾਇਰੇ ਵਾਲੀ ਪਛਾਣ: ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਚੱਲਣ ਵਾਲੇ, ਸਾਂਝੇ ਏਜੰਟ ਪ੍ਰਮਾਣ ਪੱਤਰਾਂ ਨੂੰ ਥੋੜ੍ਹੇ ਸਮੇਂ ਤੱਕ ਚੱਲਣ ਵਾਲੇ, ਪ੍ਰਤੀ-ਏਜੰਟ ਟੋਕਨਾਂ ਨਾਲ ਬਦਲੋ।
- ਗੈਰ-ਭਰੋਸੇਯੋਗ ਇਨਪੁੱਟ: ਹਰੇਕ ਦਸਤਾਵੇਜ਼, ਵੈੱਬ ਪੇਜ, ਈਮੇਲ ਅਤੇ ਏਜੰਟ ਸੁਨੇਹੇ ਨੂੰ ਅਵਿਸ਼ਵਾਸਯੋਗ ਸਮਝੋ, ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਇਹ ਕਿਸੇ ਟੀਚੇ ਜਾਂ ਟੂਲ ਕਾਲ ਨੂੰ ਆਕਾਰ ਦੇ ਸਕੇ।
- ਜਾਂਚੇ ਗਏ ਹਿੱਸੇ: ਅਪਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਹੁਨਰਾਂ, MCP ਸਰਵਰਾਂ ਅਤੇ ਮਾਡਲਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰੋ, ਸੰਸਕਰਣਾਂ ਨੂੰ ਪਿੰਨ ਕਰੋ, ਅਤੇ ਇੱਕ AI-BOM ਰੱਖੋ।
- ਕੋਈ ਅਸੁਰੱਖਿਅਤ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨਹੀਂ: ਪਾਬੰਦੀ
evalਮਾਡਲ ਆਉਟਪੁੱਟ, ਸੈਂਡਬੌਕਸ ਕੋਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ 'ਤੇ ਅਤੇ ਕਦੇ ਵੀ ਏਜੰਟਾਂ ਨੂੰ ਰੂਟ ਵਜੋਂ ਨਹੀਂ ਚਲਾਉਂਦੇ। - ਸਾਫ਼ ਮੈਮੋਰੀ: RAG ਸਟੋਰਾਂ ਅਤੇ ਲੰਬੇ ਸਮੇਂ ਦੀ ਮੈਮੋਰੀ ਵਿੱਚ ਦਾਖਲ ਹੋਣ ਵਾਲੀ ਚੀਜ਼ ਨੂੰ ਰੋਗਾਣੂ-ਮੁਕਤ ਕਰੋ, ਅਤੇ ਉਪਭੋਗਤਾ ਅਤੇ ਸੰਦਰਭ ਦੁਆਰਾ ਮੈਮੋਰੀ ਨੂੰ ਵੱਖ ਕਰੋ।
- CI ਵਿੱਚ ਗੇਟ: ਹਰੇਕ 'ਤੇ ਏਜੰਟ ਕੋਡ ਸਕੈਨ ਕਰੋ pull request ਅਤੇ ਖੋਜਾਂ ਨੂੰ ASI ਕੋਡਾਂ ਨਾਲ ਮੈਪ ਕਰੋ।
- ਦੇਖੋ ਅਤੇ ਰੱਖੋ: ਹਰ ਏਜੰਟ ਕਾਰਵਾਈ ਅਤੇ ਟੂਲ ਕਾਲ ਨੂੰ ਲੌਗ ਕਰੋ, ਅਤੇ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਸੀਂ ਕਿਸੇ ਵੀ ਏਜੰਟ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਰੱਦ ਕਰ ਸਕਦੇ ਹੋ।
ਜਾਣੋ ਕਿ ਤੁਸੀਂ ਕਿਹੜੇ ਏਜੰਟਾਂ ਨੂੰ ਚਲਾਉਂਦੇ ਹੋ, ਉਨ੍ਹਾਂ ਦੇ ਕਾਰਵਾਈ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਤੁਹਾਨੂੰ ਨਕਸ਼ਾ ਦਿੰਦਾ ਹੈ। ਪਹਿਲਾ ਕਦਮ ਸਾਰੇ ਦਸ ਜੋਖਮਾਂ ਲਈ ਇੱਕੋ ਜਿਹਾ ਹੈ: ਆਪਣੇ ਕੋਡ ਵਿੱਚ ਹਰੇਕ ਏਜੰਟ, ਔਜ਼ਾਰ ਅਤੇ ਹੁਨਰ ਲੱਭੋ। ਦੇਖੋ ਕਿ Xygeni AI ਸੁਰੱਖਿਆ ਤੁਹਾਡੇ ਏਜੰਟਾਂ ਦੀ ਸੂਚੀ ਕਿਵੇਂ ਬਣਾਉਂਦੀ ਹੈ ਅਤੇ ਖੋਜਾਂ ਨੂੰ ASI ਕੋਡਾਂ ਨਾਲ ਕਿਵੇਂ ਜੋੜਦੀ ਹੈ।, ਜ ਇੱਕ ਡੈਮੋ ਬੁੱਕ ਕਰੋ.
ਸਵਾਲ
OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਵਿੱਚ ASI ਦਾ ਕੀ ਅਰਥ ਹੈ?
ASI ਦਾ ਅਰਥ ਹੈ ਏਜੰਟਿਕ ਸੁਰੱਖਿਆ ਪਹਿਲਕਦਮੀ, OWASP GenAI ਸੁਰੱਖਿਆ ਪ੍ਰੋਜੈਕਟ ਟੀਮ ਜਿਸਨੇ ਸੂਚੀ ਲਿਖੀ ਹੈ। ਹਰੇਕ ਜੋਖਮ ਵਿੱਚ ASI01 (ਏਜੰਟ ਗੋਲ ਹਾਈਜੈਕ) ਤੋਂ ASI10 (ਰੋਗ ਏਜੰਟ) ਤੱਕ ਇੱਕ ਕੋਡ ਹੁੰਦਾ ਹੈ, ਜਿਵੇਂ LLM ਸੂਚੀ LLM01 ਤੋਂ LLM10 ਤੱਕ ਵਰਤਦੀ ਹੈ।
ਜੇਕਰ ਮੈਂ ਪਹਿਲਾਂ ਹੀ OWASP LLM ਟੌਪ 10 ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹਾਂ ਤਾਂ ਕੀ ਮੈਨੂੰ OWASP ਏਜੰਟਿਕ AI ਟੌਪ 10 ਦੀ ਲੋੜ ਹੈ?
ਸਿਰਫ਼ ਤਾਂ ਹੀ ਜੇਕਰ ਤੁਹਾਡਾ AI ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ ਚੈਟਬੋਟ ਜਾਂ RAG ਐਪ ਜੋ ਸਿਰਫ਼ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦਿੰਦਾ ਹੈ, LLM ਟੌਪ 10 ਦੁਆਰਾ ਕਵਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਟੂਲਸ ਨੂੰ ਕਾਲ ਕਰਦੀ ਹੈ, ਮੈਮੋਰੀ ਰੱਖਦੀ ਹੈ, ਦੂਜੇ ਏਜੰਟਾਂ ਨੂੰ ਸੌਂਪਦੀ ਹੈ, ਜਾਂ ਪ੍ਰਮਾਣ ਪੱਤਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ, ਤਾਂ ਏਜੰਟ ਸੂਚੀ ਜੋਖਮਾਂ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ ਜੋ LLM ਸੂਚੀ ਨਹੀਂ ਕਰਦੀ।
ਕੀ ਸਥਿਰ ਵਿਸ਼ਲੇਸ਼ਣ OWASP ਏਜੰਟਿਕ AI ਸਿਖਰਲੇ 10 ਜੋਖਮਾਂ ਦਾ ਪਤਾ ਲਗਾ ਸਕਦਾ ਹੈ?
ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਬਹੁਤਿਆਂ ਲਈ, ਹਾਂ। ਗੋਲ ਹਾਈਜੈਕ ਸਤਹਾਂ, ਅਣ-ਰੱਖਿਅਤ ਔਜ਼ਾਰ, ਜ਼ਿਆਦਾ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਪ੍ਰਾਪਤ ਪ੍ਰਮਾਣ ਪੱਤਰ, ਖਤਰਨਾਕ ਹੁਨਰ, ਅਸੁਰੱਖਿਅਤ ਕੋਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ, ਅਤੇ ਗੈਰ-ਸਵੱਛ RAG ਇਨਪੁਟ ਸਾਰੇ ਕੋਡ ਅਤੇ ਸੰਰਚਨਾ ਵਿੱਚ ਸਬੂਤ ਛੱਡਦੇ ਹਨ। ਲਾਈਵ ਵਿਵਹਾਰ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਜੋਖਮ, ਜਿਵੇਂ ਕਿ ਕੈਸਕੇਡਿੰਗ ਅਸਫਲਤਾਵਾਂ ਅਤੇ ਠੱਗ ਏਜੰਟ, ਨੂੰ ਸਿਖਰ 'ਤੇ ਰਨਟਾਈਮ ਨਿਯੰਤਰਣਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।







