TL; ਡਾ #
LLM ਸੁਰੱਖਿਆ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ 'ਤੇ ਬਣੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਹਮਲਿਆਂ ਤੋਂ ਬਚਾਉਣ ਦਾ ਅਭਿਆਸ ਹੈ ਜੋ ਮਾਡਲ ਭਾਸ਼ਾ ਦੀ ਵਿਆਖਿਆ ਕਿਵੇਂ ਕਰਦਾ ਹੈ, ਇਹ ਕਿਸ ਨਾਲ ਜੁੜਿਆ ਹੋਇਆ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਕੀ ਕਰਨ ਦੀ ਆਗਿਆ ਹੈ। ਇਹ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ ਕਿਉਂਕਿ ਇੱਕ ਭਾਸ਼ਾ ਮਾਡਲ ਡੇਟਾ ਤੋਂ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਵੱਖ ਨਹੀਂ ਕਰ ਸਕਦਾ: ਹਰ ਚੀਜ਼ ਉਸੇ ਸੰਦਰਭ ਵਿੰਡੋ ਵਿੱਚ ਆਉਂਦੀ ਹੈ, ਇਸ ਲਈ ਮਾਡਲ ਦੁਆਰਾ ਪੜ੍ਹਿਆ ਜਾਣ ਵਾਲਾ ਕੋਈ ਵੀ ਟੈਕਸਟ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਇੱਕ ਹੁਕਮ ਹੁੰਦਾ ਹੈ। 2026 ਵਿੱਚ ਪਰਿਭਾਸ਼ਿਤ ਤਬਦੀਲੀ ਇਹ ਹੈ ਕਿ ਟੀਚਾ ਹੁਣ ਇੱਕ ਅਜਿਹਾ ਮਾਡਲ ਬਣਾਉਣਾ ਨਹੀਂ ਹੈ ਜਿਸਨੂੰ ਮੂਰਖ ਨਹੀਂ ਬਣਾਇਆ ਜਾ ਸਕਦਾ। ਇਹ ਇੱਕ ਅਜਿਹਾ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣਾ ਹੈ ਜੋ ਮਾਡਲ ਨੂੰ ਮੂਰਖ ਬਣਾਉਣ 'ਤੇ ਵੀ ਕਾਬੂ ਵਿੱਚ ਰਹਿੰਦਾ ਹੈ। ਇਸ ਲਈ ਅਨੁਸ਼ਾਸਨ ਸਿਰਫ਼ ਪ੍ਰੋਂਪਟ ਫਿਲਟਰਿੰਗ ਦੀ ਬਜਾਏ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ, ਟੂਲ ਐਕਸੈਸ, ਆਉਟਪੁੱਟ ਹੈਂਡਲਿੰਗ ਅਤੇ ਬਲਾਸਟ ਰੇਡੀਅਸ 'ਤੇ ਕੇਂਦ੍ਰਤ ਕਰਦਾ ਹੈ।
ਐਲਐਲਐਮ ਸੁਰੱਖਿਆ ਕੀ ਹੈ? #
LLM ਸੁਰੱਖਿਆ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਸਮੱਗਰੀ ਸਮੱਸਿਆ ਵਜੋਂ ਪੇਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ: ਮਾੜਾ ਟੈਕਸਟ ਅੰਦਰ ਜਾਂਦਾ ਹੈ, ਮਾੜਾ ਟੈਕਸਟ ਬਾਹਰ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਟੈਕਸਟ ਨੂੰ ਫਿਲਟਰ ਕਰੋ। ਉਹ ਵਰਣਨ ਓਨਾ ਚਿਰ ਬਚਦਾ ਹੈ ਜਿੰਨਾ ਚਿਰ ਮਾਡਲ ਨੂੰ ਡੇਟਾਬੇਸ ਨਾਲ ਜੋੜਨ ਵਿੱਚ ਲੱਗਦਾ ਹੈ। ਅਸਲ ਐਕਸਪੋਜ਼ਰ ਉਹ ਨਹੀਂ ਹੈ ਜੋ ਮਾਡਲ ਪੜ੍ਹਦਾ ਹੈ, ਇਹ ਉਹ ਹੈ ਜਿਸ ਤੱਕ ਮਾਡਲ ਪਹੁੰਚ ਸਕਦਾ ਹੈ।
ਇੱਥੇ ਢਾਂਚਾਗਤ ਮੁੱਦਾ ਹੈ। ਇੱਕ ਰਵਾਇਤੀ ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ, ਕੋਡ ਅਤੇ ਇਨਪੁਟ ਨੂੰ ਆਰਕੀਟੈਕਚਰ ਦੁਆਰਾ ਹੀ ਵੱਖ ਕੀਤਾ ਜਾਂਦਾ ਹੈ: ਪ੍ਰੋਗਰਾਮ ਕੰਪਾਇਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਇਨਪੁਟ ਇੱਕ ਪੈਰਾਮੀਟਰ ਰਾਹੀਂ ਆਉਂਦਾ ਹੈ, ਅਤੇ ਦੋਵਾਂ ਵਿਚਕਾਰ ਸੀਮਾ ਰਨਟਾਈਮ ਦੁਆਰਾ ਲਾਗੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇੱਕ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਦੀ ਅਜਿਹੀ ਕੋਈ ਸੀਮਾ ਨਹੀਂ ਹੁੰਦੀ। ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ, ਉਪਭੋਗਤਾ ਦਾ ਸੁਨੇਹਾ, ਇੱਕ ਪ੍ਰਾਪਤ ਕੀਤਾ ਦਸਤਾਵੇਜ਼, ਇੱਕ ਵੈੱਬ ਪੇਜ ਦੀ ਸਮੱਗਰੀ, ਇੱਕ ਟੂਲ ਤੋਂ ਜਵਾਬ, ਅਤੇ ਇੱਕ ਈਮੇਲ ਜੋ ਏਜੰਟ ਨੂੰ ਸੰਖੇਪ ਕਰਨ ਲਈ ਕਿਹਾ ਗਿਆ ਸੀ, ਸਾਰੇ ਇੱਕੋ ਸੰਦਰਭ ਵਿੰਡੋ ਵਿੱਚ ਟੋਕਨਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਪਹੁੰਚਦੇ ਹਨ। ਮਾਡਲ ਉਹਨਾਂ ਦਾ ਭਾਰ ਕਰਦਾ ਹੈ। ਇਹ ਉਹਨਾਂ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਨਹੀਂ ਕਰਦਾ ਹੈ।
ਇਸ ਲਈ ਕਾਰਜਸ਼ੀਲ ਪਰਿਭਾਸ਼ਾ: LLM ਸੁਰੱਖਿਆ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨ, ਬਣਾਉਣ ਅਤੇ ਚਲਾਉਣ ਦਾ ਅਨੁਸ਼ਾਸਨ ਹੈ ਤਾਂ ਜੋ ਗੈਰ-ਭਰੋਸੇਯੋਗ ਇਨਪੁਟ ਅਣਅਧਿਕਾਰਤ ਕਾਰਵਾਈ ਦਾ ਕਾਰਨ ਨਾ ਬਣ ਸਕੇ, ਅਤੇ ਇਸ ਲਈ ਜਦੋਂ ਇਹ ਹੁੰਦਾ ਹੈ ਤਾਂ ਨਤੀਜੇ ਸੀਮਤ ਹੁੰਦੇ ਹਨ। ਇਹ ਮਾਡਲ, ਪ੍ਰੋਂਪਟ ਲੇਅਰ, ਮਾਡਲ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਣ ਵਾਲਾ ਡੇਟਾ, ਉਹ ਟੂਲ ਜਿਨ੍ਹਾਂ ਨੂੰ ਇਹ ਕਾਲ ਕਰ ਸਕਦਾ ਹੈ, ਉਹ ਆਉਟਪੁੱਟ ਜੋ ਇਹ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਉਹ ਪਛਾਣ ਜਿਸਦੇ ਅਧੀਨ ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ, ਨੂੰ ਫੈਲਾਉਂਦਾ ਹੈ।
ਉਹ ਆਖਰੀ ਧਾਰਾ ਉਹ ਹਿੱਸਾ ਹੈ ਜਿਸਨੂੰ ਟੀਮਾਂ ਘੱਟ ਸਮਝਦੀਆਂ ਹਨ। ਇੱਕ LLM ਆਪਣੇ ਆਪ ਵਿੱਚ ਇੱਕ ਬੁਰਾ ਵਾਕ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ LLM ਇੱਕ ਡੇਟਾਬੇਸ, ਇੱਕ ਭੁਗਤਾਨ API, ਅਤੇ ਇੱਕ ਸ਼ੈੱਲ ਨਾਲ ਜੁੜਿਆ ਹੋਇਆ ਇੱਕ ਬੁਰਾ ਵਾਕ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਚਲਾਉਂਦਾ ਹੈ।
ਐਲਐਲਐਮ ਸੁਰੱਖਿਆ ਦਾ ਅਰਥ, ਇਸਦੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਟੁੱਟਿਆ ਹੋਇਆ #
LLM ਸੁਰੱਖਿਆ ਅਰਥ ਵਿੱਚ ਜਾਣ ਦਾ ਸਭ ਤੋਂ ਸਪੱਸ਼ਟ ਰਸਤਾ ਤਿੰਨ ਚੀਜ਼ਾਂ ਨੂੰ ਵੱਖ ਕਰਨਾ ਹੈ ਜੋ ਲੋਕ ਇਸ ਵਾਕੰਸ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਆਪਸ ਵਿੱਚ ਉਲਝਾਉਂਦੇ ਹਨ।
- ਮਾਡਲ ਸੁਰੱਖਿਆ। ਮਾਡਲ ਦੇ ਆਪਣੇ ਗੁਣ: ਇਸਨੇ ਕੀ ਯਾਦ ਰੱਖਿਆ, ਇਹ ਕੀ ਪ੍ਰਗਟ ਕਰੇਗਾ, ਇਹ ਵਿਰੋਧੀ ਵਾਕਾਂਸ਼ਾਂ ਦੇ ਅਧੀਨ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਕੀ ਤੁਸੀਂ ਜੋ ਵਜ਼ਨ ਚਲਾ ਰਹੇ ਹੋ ਉਹ ਪ੍ਰਕਾਸ਼ਕ ਦੁਆਰਾ ਜਾਰੀ ਕੀਤੇ ਗਏ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਹੋਸਟ ਕੀਤੇ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ ਤਾਂ ਇਹ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਵਿਰਾਸਤ ਵਿੱਚ ਮਿਲਦਾ ਹੈ, ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਠੀਕ ਕਰਦੇ ਹੋ ਤਾਂ ਇਹ ਤੁਹਾਡੇ ਲਈ ਹੁੰਦਾ ਹੈ।
- ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ. ਮਾਡਲ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਵਾਇਰਿੰਗ: ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ, ਪ੍ਰਾਪਤੀ pipelines, ਟੂਲ ਅਤੇ ਫੰਕਸ਼ਨ ਪਰਿਭਾਸ਼ਾਵਾਂ, ਏਜੰਟ ਅਨੁਮਤੀਆਂ, ਆਉਟਪੁੱਟ ਹੈਂਡਲਿੰਗ, ਅਤੇ ਪਛਾਣ ਜਿਸ ਦੇ ਤਹਿਤ ਸਿਸਟਮ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਜ਼ਿਆਦਾਤਰ ਅਸਲ ਘਟਨਾਵਾਂ ਰਹਿੰਦੀਆਂ ਹਨ, ਅਤੇ ਇਹ ਉਹ ਪਰਤ ਹੈ ਜਿਸਨੂੰ ਇੱਕ ਟੀਮ ਅਸਲ ਵਿੱਚ ਨਿਯੰਤਰਿਤ ਕਰਦੀ ਹੈ।
- ਕਾਰਜਸ਼ੀਲ ਸੁਰੱਖਿਆ। ਸਮੇਂ ਦੇ ਨਾਲ ਕੀ ਹੁੰਦਾ ਹੈ: ਨਿਗਰਾਨੀ, ਦੁਰਵਰਤੋਂ ਦਾ ਪਤਾ ਲਗਾਉਣਾ, ਲਾਗਤ ਅਤੇ ਦਰ ਸੀਮਾਵਾਂ, ਘਟਨਾ ਪ੍ਰਤੀਕਿਰਿਆ, ਅਤੇ ਇਹ ਤੱਥ ਕਿ ਇੱਕ ਮਾਡਲ ਸੰਸਕਰਣ, ਇੱਕ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ, ਜਾਂ ਇੱਕ ਜੁੜਿਆ ਹੋਇਆ ਟੂਲ ਬਿਨਾਂ ਕਿਸੇ ਦੇ ਟਿਕਟ ਦਾਇਰ ਕੀਤੇ ਬਦਲ ਸਕਦਾ ਹੈ।
ਇਕੱਠੇ ਮਿਲ ਕੇ, LLM ਸੁਰੱਖਿਆ ਜਿਸਦਾ ਅਰਥ ਹੈ ਕਿ ਜ਼ਿਆਦਾਤਰ ਪ੍ਰੈਕਟੀਸ਼ਨਰ ਇਕੱਠੇ ਹੁੰਦੇ ਹਨ ਇਹ ਹੈ: ਮੰਨ ਲਓ ਕਿ ਮਾਡਲ ਆਖਰਕਾਰ ਉਹੀ ਕਰੇਗਾ ਜੋ ਹਮਲਾਵਰ ਨੇ ਇਸਨੂੰ ਕਰਨ ਲਈ ਕਿਹਾ ਹੈ, ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਈਨ ਕਰੇਗਾ ਕਿ ਇਹ ਬਚ ਸਕੇ। "ਮਾਡਲ ਨੂੰ ਹੇਰਾਫੇਰੀ ਤੋਂ ਰੋਕਣਾ" ਨਹੀਂ। ਹੇਰਾਫੇਰੀ ਨੂੰ ਰੋਕੋ। ਉਹ ਉਲਟਾ ਇਸ ਖੇਤਰ ਵਿੱਚ ਸਭ ਤੋਂ ਲਾਭਦਾਇਕ ਵਿਚਾਰ ਹੈ, ਅਤੇ ਇਹ ਮੌਜੂਦਾ OWASP ਮਾਰਗਦਰਸ਼ਨ ਦਾ ਥੀਸਿਸ ਵੀ ਹੈ।
#
ਜ਼ਿਆਦਾਤਰ ਟੀਮਾਂ ਪਹਿਲਾਂ ਪ੍ਰੋਂਪਟ ਲੇਅਰ ਨੂੰ ਇੰਸਟ੍ਰੂਮੈਂਟ ਕਰਦੀਆਂ ਹਨ, ਕਿਉਂਕਿ ਇਹ ਦਿਖਾਈ ਦੇਣ ਵਾਲੀ ਹੈ। ਉਹ ਪਰਤਾਂ ਜੋ ਇੱਕ ਸ਼ਰਮਨਾਕ ਜਵਾਬ ਨੂੰ ਇੱਕ ਘਟਨਾ ਵਿੱਚ ਬਦਲ ਦਿੰਦੀਆਂ ਹਨ ਉਹ ਟੂਲ ਅਤੇ ਪਛਾਣ ਹਨ, ਅਤੇ ਉਹ ਸੰਰਚਨਾ ਹਨ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਨਹੀਂ।
OWASP LLM ਸਿਖਰਲੇ 10 2026: ਕੀ ਹੋਇਆ ਅਤੇ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ #
OWASP GenAI ਸੁਰੱਖਿਆ ਪ੍ਰੋਜੈਕਟ ਨੇ ਅਗਸਤ 2026 ਵਿੱਚ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ 2026 ਲਈ ਸਿਖਰਲੇ 10 ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ, ਅਤੇ ਇਹ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਸਾਂਝੀ ਬੇਸਲਾਈਨ ਦੇ ਸਭ ਤੋਂ ਨੇੜੇ ਦੀ ਚੀਜ਼ ਹੈ। 2026 ਐਡੀਸ਼ਨ ਵੀ ਪਹਿਲਾ ਹੈ ਜਿਸ ਵਿੱਚ ਸਿਰਫ਼ ਮਾਹਿਰਾਂ ਦੀ ਰਾਏ ਦੀ ਬਜਾਏ ਅਸਲ ਘਟਨਾਵਾਂ ਦੇ ਸੰਗ੍ਰਹਿ ਦੇ ਵਿਰੁੱਧ ਕਮਿਊਨਿਟੀ ਵੋਟ ਨੂੰ ਤੋਲਿਆ ਗਿਆ ਹੈ।
ਤਿੰਨ ਹਰਕਤਾਂ ਨੂੰ ਛੋਟੀਆਂ-ਛੋਟੀਆਂ ਗੱਲਾਂ ਦੀ ਬਜਾਏ ਸੰਕੇਤਾਂ ਵਜੋਂ ਪੜ੍ਹਨਾ ਚਾਹੀਦਾ ਹੈ।
- ਤੁਰੰਤ ਟੀਕਾ ਪਹਿਲੇ ਨੰਬਰ 'ਤੇ ਰਿਹਾ। ਇਸ ਲਈ ਨਹੀਂ ਕਿ ਬਚਾਅ ਅਸਫਲ ਰਹੇ, ਸਗੋਂ ਇਸ ਲਈ ਕਿਉਂਕਿ ਮੂਲ ਕਾਰਨ ਆਰਕੀਟੈਕਚਰਲ ਹੈ। ਹਦਾਇਤਾਂ ਅਤੇ ਗੈਰ-ਭਰੋਸੇਯੋਗ ਡੇਟਾ ਅਜੇ ਵੀ ਇੱਕ ਸੰਦਰਭ ਵਿੰਡੋ ਸਾਂਝਾ ਕਰਦੇ ਹਨ, ਅਤੇ ਕੋਈ ਪੂਰਾ ਹੱਲ ਮੌਜੂਦ ਨਹੀਂ ਹੈ। ਇਸਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨ ਲਈ ਇੱਕ ਸਥਾਈ ਸਥਿਤੀ ਵਜੋਂ ਸਮਝੋ, ਨਾ ਕਿ ਪੈਚ ਦੀ ਉਡੀਕ ਕਰ ਰਹੇ ਬੱਗ ਵਜੋਂ।
- ਬਹੁਤ ਜ਼ਿਆਦਾ ਏਜੰਸੀ ਛੇਵੇਂ ਤੋਂ ਤੀਜੇ ਸਥਾਨ 'ਤੇ ਪਹੁੰਚ ਗਈ। ਇਹ ਘਟਨਾ ਰਿਕਾਰਡ ਵਿੱਚ ਆਉਣ ਵਾਲੀ ਏਜੰਟਿਕ ਤਬਦੀਲੀ ਹੈ। ਜਦੋਂ ਮਾਡਲ ਆਉਟਪੁੱਟ ਆਟੋਨੋਮਸ ਨਾਲ ਕਮਾਂਡਾਂ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ, API ਨੂੰ ਕਾਲ ਕਰਦਾ ਹੈ, ਜਾਂ ਸਿਸਟਮਾਂ ਨੂੰ ਲਿਖਦਾ ਹੈ, ਤਾਂ ਇੱਕ ਹੇਰਾਫੇਰੀ ਇੱਕ ਸਮੱਗਰੀ ਸਮੱਸਿਆ ਬਣਨਾ ਬੰਦ ਕਰ ਦਿੰਦੀ ਹੈ ਅਤੇ ਇੱਕ ਅਧਿਕਾਰ ਸਮੱਸਿਆ ਬਣ ਜਾਂਦੀ ਹੈ।
- ਗਲਤ ਆਉਟਪੁੱਟ ਹੈਂਡਲਿੰਗ ਪੰਜਵੇਂ ਤੋਂ ਦਸਵੇਂ ਸਥਾਨ 'ਤੇ ਆ ਗਈ, ਅਤੇ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਲੀਕੇਜ ਨੂੰ ਲੁਕਵੇਂ ਸੰਦਰਭ ਐਕਸਪੋਜ਼ਰ ਵਿੱਚ ਵਧਾ ਦਿੱਤਾ ਗਿਆ। ਫੀਲਡ ਨੇ ਮਾਡਲ ਦੇ ਟੈਕਸਟ ਨੂੰ ਪ੍ਰਾਇਮਰੀ ਜੋਖਮ ਸਤਹ ਵਜੋਂ ਮੰਨਣਾ ਬੰਦ ਕਰ ਦਿੱਤਾ ਹੈ ਅਤੇ ਮਾਡਲ ਦੁਆਰਾ ਪਹੁੰਚੀ ਹਰ ਚੀਜ਼ ਨੂੰ ਜੋਖਮ ਸਤਹ ਵਜੋਂ ਮੰਨਣਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ ਹੈ।
LLM ਸੁਰੱਖਿਆ ਅਭਿਆਸ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ? #
LLM ਸੁਰੱਖਿਆ ਕੀ ਹੈ ਇਹ ਜਾਣਨਾ ਇੱਕ ਗੱਲ ਹੈ। ਇਸਨੂੰ ਚਲਾਉਣ ਲਈ ਚਾਰ ਕੰਟਰੋਲ ਲੂਪ ਹਨ, ਅਤੇ ਉਹ ਕਿਸੇ ਉਤਪਾਦ ਸ਼੍ਰੇਣੀ ਦੀ ਬਜਾਏ ਉੱਪਰਲੇ ਹਮਲੇ ਦੀ ਸਤ੍ਹਾ 'ਤੇ ਮੈਪ ਕਰਦੇ ਹਨ।
1. ਵਸਤੂ ਸੂਚੀ: ਇਸਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ LLM ਸਤ੍ਹਾ ਲੱਭੋ #
ਤੁਸੀਂ ਉਸ ਚੀਜ਼ ਨੂੰ ਨਿਯੰਤਰਿਤ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜੋ ਕਿਸੇ ਨੇ ਐਲਾਨ ਨਹੀਂ ਕੀਤਾ। ਮਾਡਲ, API ਕੁੰਜੀਆਂ, ਪ੍ਰੋਂਪਟ ਅਤੇ ਪ੍ਰੋਂਪਟ ਟੈਂਪਲੇਟ, ਏਜੰਟ ਪਰਿਭਾਸ਼ਾਵਾਂ, MCP ਸਰਵਰ, ਪ੍ਰਾਪਤੀ pipelines, ਅਤੇ ਤੁਹਾਡੇ ਡਿਵੈਲਪਰਾਂ ਦੁਆਰਾ ਪਹਿਲਾਂ ਹੀ ਸਥਾਪਿਤ ਕੀਤੇ ਗਏ AI ਕੋਡਿੰਗ ਟੂਲ। ਸ਼ੈਡੋ AI ਆਮ ਸਥਿਤੀ ਹੈ, ਅਪਵਾਦ ਨਹੀਂ, ਅਤੇ ਵਸਤੂ ਸੂਚੀ ਉਸ ਤੋਂ ਲਗਾਤਾਰ ਵੱਡੀ ਹੁੰਦੀ ਹੈ ਜਿਸਨੂੰ ਲੋਕ ਪੜ੍ਹ ਸਕਦੇ ਹਨ। ਇਹ ਲੂਪ ਪੈਦਾ ਕਰਦਾ ਹੈ ਏਆਈ-ਬੌਮ, ਜੋ ਕਿ ਇੱਕ ਆਡੀਟਰ ਆਖਰਕਾਰ ਮੰਗੇਗਾ।
2. ਸੀਮਤ ਕਰੋ: ਮਾਡਲ ਨੂੰ ਚਲਾਕ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਧਮਾਕੇ ਦੇ ਘੇਰੇ ਨੂੰ ਛੋਟਾ ਕਰੋ #
ਸਭ ਤੋਂ ਘੱਟ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਟੂਲਸ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ, ਸਿਰਫ਼ ਉਪਭੋਗਤਾਵਾਂ 'ਤੇ ਹੀ ਨਹੀਂ। ਹਰੇਕ ਟੂਲ ਨੂੰ ਉਸ ਸਭ ਤੋਂ ਛੋਟੀ ਸਮਰੱਥਾ ਤੱਕ ਸੀਮਤ ਕਰੋ ਜੋ ਕੰਮ ਕਰਦੀ ਹੈ। ਹਰੇਕ ਏਜੰਟ ਨੂੰ ਇੱਕ ਸਾਂਝੇ ਸੇਵਾ ਖਾਤੇ ਦੀ ਬਜਾਏ ਉਸਦੀ ਆਪਣੀ ਪਛਾਣ ਦਿਓ। ਨਾ ਬਦਲੀਆਂ ਜਾਣ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ ਲਈ ਮਨੁੱਖੀ ਪ੍ਰਵਾਨਗੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਹਰੇਕ ਟੂਲ ਜਵਾਬ ਨੂੰ ਅਵਿਸ਼ਵਾਸਯੋਗ ਇਨਪੁਟ ਵਜੋਂ ਸਮਝੋ, ਕਿਉਂਕਿ ਇੱਕ ਹਮਲਾਵਰ ਜੋ ਇੱਕ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦਾ ਹੈ ਜਿਸਨੂੰ ਏਜੰਟ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਉਸ ਟੈਕਸਟ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦਾ ਹੈ ਜੋ ਮਾਡਲ ਹਦਾਇਤ ਵਜੋਂ ਪੜ੍ਹੇਗਾ। ਇਹ ਲੂਪ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਏਜੰਸੀ ਨੂੰ ਅਸਲ ਵਿੱਚ ਸੰਬੋਧਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਇਸ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦਾ ਕੰਮ ਨਹੀਂ ਹੈ।
3. ਟੈਸਟ: ਇੱਕ ਰੀਲੀਜ਼ ਮਾਪਦੰਡ ਦੇ ਤੌਰ 'ਤੇ ਵਿਰੋਧੀ ਮੁਲਾਂਕਣ #
ਸਟਰਕਚਰਡ ਏਆਈ ਲਾਲ ਟੀਮਿੰਗ ਤੈਨਾਤ ਸੰਰਚਨਾ ਦੇ ਵਿਰੁੱਧ, ਨਾ ਕਿ ਇਕੱਲਤਾ ਵਿੱਚ ਮਾਡਲ ਦੇ ਵਿਰੁੱਧ: ਸਿੱਧਾ ਅਤੇ ਅਸਿੱਧਾ ਟੀਕਾ, ਪ੍ਰਾਪਤੀ ਦੁਆਰਾ ਡੇਟਾ ਐਕਸਫਿਲਟਰੇਸ਼ਨ, ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਐਕਸਟਰੈਕਸ਼ਨ, ਟੂਲ ਦੁਰਵਰਤੋਂ ਚੇਨ, ਅਤੇ ਬੇਅੰਤ ਖਪਤ। ਨਤੀਜੇ ਦਰਾਂ ਹਨ, ਸਿੰਗਲ ਸ਼ੋਸ਼ਣ ਨਹੀਂ, ਇਸ ਲਈ ਆਉਟਪੁੱਟ ਸ਼ਰਤਾਂ ਦਾ ਇੱਕ ਦਸਤਾਵੇਜ਼ੀ ਸਮੂਹ ਹੈ ਜਿਸਨੂੰ ਟੀਮ ਸਵੀਕਾਰ ਕਰਨ, ਘਟਾਉਣ ਜਾਂ ਬਲਾਕ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕਰਦੀ ਹੈ। ਇਸਨੂੰ ਪ੍ਰਤੀ ਰੀਲੀਜ਼ ਚਲਾਓ, ਆਦਰਸ਼ਕ ਤੌਰ 'ਤੇ ਪ੍ਰਤੀ pull request ਜੋ ਇੱਕ ਪ੍ਰੋਂਪਟ, ਇੱਕ ਟੂਲ ਪਰਿਭਾਸ਼ਾ, ਜਾਂ ਇੱਕ ਅਨੁਮਤੀ ਨੂੰ ਬਦਲਦਾ ਹੈ।
4. ਧਿਆਨ ਦਿਓ: ਸੰਰਚਨਾ ਦੇ ਵਹਿਣ ਨੂੰ ਮੰਨੋ #
ਟੀਕੇ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ, ਅਸਧਾਰਨ ਟੂਲ-ਕਾਲ ਕ੍ਰਮ, ਆਉਟਪੁੱਟ ਪੈਟਰਨ ਜੋ ਐਕਸਫਿਲਟਰੇਸ਼ਨ ਦਾ ਸੁਝਾਅ ਦਿੰਦੇ ਹਨ, ਅਤੇ ਖਪਤ ਦੇ ਵਾਧੇ ਲਈ ਨਿਗਰਾਨੀ ਕਰੋ। ਸੰਰਚਨਾ 'ਤੇ ਹੀ ਨਜ਼ਰ ਰੱਖੋ, ਕਿਉਂਕਿ ਇੱਕ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ, ਇੱਕ ਨਿਯਮ ਫਾਈਲ, ਜਾਂ ਇੱਕ MCP ਸੰਰਚਨਾ ਨੂੰ ਇੱਕ ਵਿੱਚ ਬਦਲਿਆ ਜਾ ਸਕਦਾ ਹੈ। pull request ਜਿਸਨੂੰ ਸਮੀਖਿਅਕ ਦਸਤਾਵੇਜ਼ ਵਜੋਂ ਪੜ੍ਹਦੇ ਹਨ। ਇਸ ਸਭ ਨੂੰ ਇੱਕ ਮਾਲਕ ਅਤੇ ਇੱਕ ਰੋਲਬੈਕ ਟੀਚੇ ਦੇ ਨਾਲ ਇੱਕ ਘਟਨਾ ਮਾਰਗ ਨਾਲ ਜੋੜੋ।
ਐਲਐਲਐਮ ਸੁਰੱਖਿਆ ਦਾ ਛੋਟਾ ਰੂਪ: ਸਤ੍ਹਾ ਲੱਭੋ, ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰਾਂ ਨੂੰ ਘਟਾਓ, ਅਸਫਲਤਾ ਮੋਡ ਦੀ ਜਾਂਚ ਕਰੋ, ਅਤੇ ਸੰਰਚਨਾ ਵੇਖੋ। ਪ੍ਰੋਂਪਟ ਫਿਲਟਰਿੰਗ ਇਸਦੇ ਅੰਦਰ ਬੈਠਦੀ ਹੈ, ਅਤੇ ਇਹ ਆਪਣੇ ਆਪ ਵਿੱਚ ਚਾਰਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਕਮਜ਼ੋਰ ਹੈ।
ਜਿੱਥੇ LLM ਸੁਰੱਖਿਆ ਖਤਮ ਹੁੰਦੀ ਹੈ ਅਤੇ ਹੋਰ ਅਨੁਸ਼ਾਸਨ ਸ਼ੁਰੂ ਹੁੰਦੇ ਹਨ #
ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਦੱਸਣਾ ਯੋਗ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਸ਼ਬਦ ਵਿਕਰੇਤਾ ਸਮੱਗਰੀ ਵਿੱਚ ਇੱਕ ਦੂਜੇ ਦੇ ਬਦਲੇ ਵਰਤੇ ਜਾਂਦੇ ਹਨ। LLM ਸੁਰੱਖਿਆ ਵਰਤੋਂ ਵਾਲੇ ਪਾਸੇ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ: ਪ੍ਰੋਂਪਟ, ਪ੍ਰਾਪਤੀ, ਏਜੰਟ, ਟੂਲ ਪਹੁੰਚ, ਅਤੇ ਅਨੁਮਾਨ 'ਤੇ ਮਾਡਲ ਵਿਵਹਾਰ। ਐਮਐਲਸੈਕਓਪਸ ਬਿਲਡ ਅਤੇ ਟ੍ਰੇਨ ਸਾਈਡ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ: ਸਿਖਲਾਈ ਡੇਟਾ, ਮਾਡਲ ਆਰਟੀਫੈਕਟਸ, pipelines, ਅਤੇ ਉਤਪਤੀ। AI ਸੁਰੱਖਿਆ ਦੋਵਾਂ ਉੱਤੇ ਛੱਤਰੀ ਹੈ। ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਉਹ ਅਨੁਸ਼ਾਸਨ ਹੈ ਜਿਸ ਤੋਂ ਤਿੰਨੋਂ ਵਿਰਾਸਤ ਵਿੱਚ ਮਿਲਦੇ ਹਨ, ਅਤੇ ਇਸੇ ਕਾਰਨ ਕਰਕੇ LLM ਖੋਜਾਂ ਹਰ ਚੀਜ਼ ਵਾਂਗ ਹੀ ਤਰਜੀਹੀ ਕਤਾਰ ਵਿੱਚ ਹੁੰਦੀਆਂ ਹਨ, ਨਾ ਕਿ ਇੱਕ ਵੱਖਰੇ ਟੂਲ ਵਿੱਚ।
ਇਸ ਹਫ਼ਤੇ ਦੇ ਜਵਾਬ ਦੇਣ ਵਾਲੇ ਸਵਾਲਾਂ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰੋ #
ਜ਼ਿਆਦਾਤਰ LLM ਸੁਰੱਖਿਆ ਪ੍ਰੋਗਰਾਮ ਗਲਤ ਸਵਾਲ 'ਤੇ ਰੁਕ ਜਾਂਦੇ ਹਨ। ਟੀਮਾਂ ਬਹਿਸ ਕਰਦੀਆਂ ਹਨ ਕਿ ਕਿਹੜਾ ਗਾਰਡਰੇਲ ਪਹੁੰਚ ਅਪਣਾਉਣੀ ਹੈ ਜਦੋਂ ਕਿ ਕਮਰੇ ਵਿੱਚ ਕੋਈ ਵੀ ਇਹ ਨਹੀਂ ਕਹਿ ਸਕਦਾ ਕਿ ਕੋਡਬੇਸ ਵਿੱਚ ਕਿੰਨੇ ਏਜੰਟ ਮੌਜੂਦ ਹਨ, ਹਰੇਕ ਕਿਹੜੇ ਟੂਲ ਕਾਲ ਕਰ ਸਕਦਾ ਹੈ, ਜਾਂ MCP ਸਰਵਰ ਨੂੰ ਕਿਸਨੇ ਮਨਜ਼ੂਰੀ ਦਿੱਤੀ ਜੋ ਇੱਕ ਵਿੱਚ ਆਇਆ ਸੀ। pull request ਚਾਰ ਮਹੀਨੇ ਪਹਿਲਾਂ ਅਤੇ ਦਸਤਾਵੇਜ਼ ਵਜੋਂ ਸਮੀਖਿਆ ਕੀਤੀ ਗਈ ਸੀ। ਇਹ ਖੋਜ ਸਵਾਲ ਨਹੀਂ ਹਨ। ਉਨ੍ਹਾਂ ਕੋਲ ਜਵਾਬ ਹਨ, ਅਤੇ ਜਵਾਬ ਇਸ ਸਮੇਂ ਤੁਹਾਡੇ ਭੰਡਾਰਾਂ ਵਿੱਚ ਪਏ ਹਨ।
ਤਿੰਨ ਸਵਾਲ ਕਿਸੇ ਵੀ ਚੀਜ਼ ਤੋਂ ਪਹਿਲਾਂ ਜਵਾਬ ਦੇਣ ਦੇ ਯੋਗ ਹਨ। ਕਿਹੜੇ ਪ੍ਰੋਂਪਟ, ਏਜੰਟ ਪਰਿਭਾਸ਼ਾਵਾਂ, ਅਤੇ MCP ਸੰਰਚਨਾਵਾਂ ਤੁਹਾਡੇ ਕੋਡ ਵਿੱਚ ਰਹਿੰਦੀਆਂ ਹਨ। ਹਰ ਇੱਕ ਕਿਸ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ: ਕਿਹੜੇ ਟੂਲ, ਕਿਹੜਾ ਡੇਟਾ, ਕਿਸਦੀ ਪਛਾਣ। ਅਤੇ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕਿਹੜੀਆਂ ਇਜਾਜ਼ਤਾਂ ਕੋਈ ਨਹੀਂ ਦੇਵੇਗਾ ਜੇਕਰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ, ਇੱਕ ਵਾਰ ਵਿੱਚ, ਇੱਕ ਮੀਟਿੰਗ ਵਿੱਚ ਪੁੱਛਿਆ ਜਾਵੇ। ਤੀਜਾ ਸਵਾਲ ਅਸੁਵਿਧਾਜਨਕ ਹੈ, ਕਿਉਂਕਿ ਬਹੁਤ ਜ਼ਿਆਦਾ ਏਜੰਸੀ ਲਗਭਗ ਕਦੇ ਵੀ ਡੀ ਨਹੀਂ ਹੁੰਦੀ।cisਆਇਨ। ਇਹ ਇਕੱਠਾ ਹੁੰਦਾ ਹੈ, ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਸੁਵਿਧਾਜਨਕ ਸਕੋਪ, ਅਤੇ ਇਹ ਹੁਣ ਖੇਤਰ ਵਿੱਚ ਤੀਜੇ ਦਰਜੇ ਦਾ ਜੋਖਮ ਹੈ।
ਜ਼ਾਇਗੇਨੀ ਬਿਨਾਂ ਕਿਸੇ ਸਰਵੇਖਣ ਦੇ ਪਹਿਲੇ ਦੋ ਦੇ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। ਹਰੇਕ AI ਸੰਪਤੀ ਦੇ ਤੁਹਾਡੇ ਭੰਡਾਰਾਂ ਵਿੱਚ ਨਿਰੰਤਰ ਖੋਜ: ਮਾਡਲ, ਫਰੇਮਵਰਕ, ਡੇਟਾਸੈੱਟ, ਇਨਫਰੈਂਸ ਐਂਡਪੁਆਇੰਟ, ਏਜੰਟ, MCP ਸਰਵਰ, ਹੁਨਰ, ਪ੍ਰੋਂਪਟ, guardrails, ਅਤੇ ਤੁਹਾਡੇ ਡਿਵੈਲਪਰਾਂ ਦੁਆਰਾ ਕਿਸੇ ਨੂੰ ਦੱਸੇ ਬਿਨਾਂ ਸਥਾਪਿਤ ਕੀਤੇ ਗਏ AI ਕੋਡਿੰਗ ਟੂਲ। ਇੱਕ ਸਮਰਪਿਤ AI ਸਕੈਨਰ ਜੋ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ, ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ, ਟੂਲ ਇੰਜੈਕਸ਼ਨ, ਪ੍ਰਾਪਤੀ ਰਾਹੀਂ ਡੇਟਾ ਲੀਕੇਜ, ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਬਾਈਪਾਸ ਅਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਏਜੰਸੀ ਲਈ ਵਿਸ਼ੇਸ਼ ਅਸਫਲਤਾਵਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਹਰੇਕ ਨੂੰ OWASP LLM ਟੌਪ 10, ਏਜੰਟਿਕ ਐਪਲੀਕੇਸ਼ਨ ਟੌਪ 10 ਅਤੇ MCP ਟੌਪ 10 ਨਾਲ ਮੈਪ ਕੀਤਾ ਗਿਆ ਹੈ, ਅਤੇ ਕੋਡ ਦੀ ਸਹੀ ਲਾਈਨ ਵੱਲ ਇਸ਼ਾਰਾ ਕੀਤਾ ਗਿਆ ਹੈ ਜੋ ਐਕਸਪੋਜ਼ਰ ਬਣਾਉਂਦਾ ਹੈ। ਦੇਵਏਆਈ IDE ਵਿੱਚ, ਅਸੁਰੱਖਿਅਤ ਤਬਦੀਲੀਆਂ ਨੂੰ ਰੋਕਣ ਤੋਂ ਪਹਿਲਾਂ pipeline ਚੱਲਦਾ ਹੈ। ਇੱਕ ਆਡਿਟ-ਤਿਆਰ AI-BOM, ਅਤੇ ਇੱਕ ਤਰਜੀਹੀ ਜੋਖਮ ਦ੍ਰਿਸ਼ਟੀਕੋਣ AI ਖੋਜਾਂ ਅਤੇ ਤੁਹਾਡੇ ਦੁਆਰਾ ਪਹਿਲਾਂ ਤੋਂ ਪ੍ਰਬੰਧਿਤ ਐਪਲੀਕੇਸ਼ਨ ਖੋਜਾਂ ਵਿੱਚ।
ਤੀਜੇ ਸਵਾਲ ਦਾ ਜਵਾਬ ਤੁਸੀਂ ਦੇਣਾ ਹੈ। ਇੱਕ ਡੈਮੋ ਬੁੱਕ ਕਰੋ ਅਤੇ ਆਪਣੀ ਖੁਦ ਦੀ ਵਸਤੂ ਸੂਚੀ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰੋ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ – MLSecOps ਕੀ ਹੈ, ਛੋਟੇ ਜਵਾਬਾਂ ਵਿੱਚ #
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ 'ਤੇ ਬਣੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਉਹਨਾਂ ਹਮਲਿਆਂ ਤੋਂ ਬਚਾਉਣਾ ਜੋ ਭਾਸ਼ਾ ਨੂੰ ਸ਼ੋਸ਼ਣ ਵਜੋਂ ਵਰਤਦੇ ਹਨ। ਕਿਉਂਕਿ ਮਾਡਲ ਡੇਟਾ ਤੋਂ ਨਿਰਦੇਸ਼ ਨਹੀਂ ਦੱਸ ਸਕਦਾ, ਇਸ ਲਈ ਇਹ ਪੜ੍ਹਿਆ ਜਾਣ ਵਾਲਾ ਕੋਈ ਵੀ ਟੈਕਸਟ ਇੱਕ ਹੁਕਮ ਵਜੋਂ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਬਚਾਅ ਮਾਡਲ ਨੂੰ ਕੀ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਹੈ, ਇਸ ਨੂੰ ਸੀਮਤ ਕਰਨ ਬਾਰੇ ਹੈ, ਨਾ ਕਿ ਇਸਨੂੰ ਕੀ ਪੜ੍ਹਨ ਦੀ ਇਜਾਜ਼ਤ ਹੈ, ਇਸ 'ਤੇ ਨਜ਼ਰ ਰੱਖਣ ਦੀ ਬਜਾਏ।
ਇਸਦਾ ਜ਼ਿਆਦਾਤਰ ਹਿੱਸਾ ਅਜੇ ਵੀ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਜੋ ਹਿੱਸਾ ਲਾਗੂ ਹੁੰਦਾ ਹੈ ਉਹ ਉਹ ਹਿੱਸਾ ਹੈ ਜਿਸਨੂੰ ਤੁਸੀਂ ਨਿਯੰਤਰਿਤ ਕਰਦੇ ਹੋ। ਤੁਸੀਂ ਪ੍ਰਦਾਤਾ ਦੀ ਮਾਡਲ ਸੁਰੱਖਿਆ ਨੂੰ ਵਿਰਾਸਤ ਵਿੱਚ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋ, ਪਰ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ, ਪ੍ਰਾਪਤੀ pipeline, ਟੂਲ ਪਰਿਭਾਸ਼ਾਵਾਂ, ਏਜੰਟ ਅਨੁਮਤੀਆਂ, ਅਤੇ ਆਉਟਪੁੱਟ ਹੈਂਡਲਿੰਗ ਸਭ ਤੁਹਾਡੇ ਹਨ। ਇਹੀ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਘਟਨਾਵਾਂ ਵਾਪਰਦੀਆਂ ਹਨ।
ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਹੀਂ, ਅਤੇ 2026 OWASP ਐਡੀਸ਼ਨ ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਨਿਰਦੇਸ਼ ਅਤੇ ਅਵਿਸ਼ਵਾਸਯੋਗ ਡੇਟਾ ਅਜੇ ਵੀ ਇੱਕ ਸੰਦਰਭ ਵਿੰਡੋ ਨੂੰ ਸਾਂਝਾ ਕਰਦੇ ਹਨ ਬਿਨਾਂ ਕਿਸੇ ਪੂਰੀ ਫਿਕਸ ਦੇ। ਕਮੀ ਦਰ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ। ਕੰਟੇਨਮੈਂਟ ਨਤੀਜੇ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ, ਇਸੇ ਕਰਕੇ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਡਿਜ਼ਾਈਨ ਫਿਲਟਰਿੰਗ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ।
ਇੱਕ ਅਜਿਹਾ ਸਿਸਟਮ ਜੋ ਕੰਮ ਦੀ ਲੋੜ ਤੋਂ ਵੱਧ ਖੁਦਮੁਖਤਿਆਰੀ ਨਾਲ, ਵਧੇਰੇ ਅਨੁਮਤੀਆਂ ਦੇ ਨਾਲ, ਵਧੇਰੇ ਕਾਰਵਾਈਆਂ ਕਰ ਸਕਦਾ ਹੈ। OWASP ਤਿੰਨ ਮੂਲ ਕਾਰਨਾਂ ਦਾ ਜ਼ਿਕਰ ਕਰਦਾ ਹੈ: ਬਹੁਤ ਜ਼ਿਆਦਾ ਕਾਰਜਸ਼ੀਲਤਾ, ਬਹੁਤ ਜ਼ਿਆਦਾ ਅਨੁਮਤੀਆਂ, ਅਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਖੁਦਮੁਖਤਿਆਰੀ। ਇਹ 2026 ਵਿੱਚ ਛੇਵੇਂ ਤੋਂ ਤੀਜੇ ਸਥਾਨ 'ਤੇ ਚਲਾ ਗਿਆ ਕਿਉਂਕਿ ਉਤਪਾਦਨ ਦੀਆਂ ਘਟਨਾਵਾਂ ਹੁਣ ਉਹਨਾਂ ਏਜੰਟਾਂ ਦੇ ਦੁਆਲੇ ਕਲੱਸਟਰ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਜਵਾਬ ਦੇਣ ਦੀ ਬਜਾਏ ਲਾਗੂ ਕਰਦੇ ਹਨ।
ਸਿਰਫ਼ ਖੋਜ ਦੀ ਬਜਾਏ ਵੰਸ਼ ਅਤੇ ਇਮਾਨਦਾਰੀ ਦੁਆਰਾ। ਰਿਕਾਰਡ ਕੀਤਾ ਡੇਟਾ ਉਤਪਤੀ, ਹੈਸ਼ ਕੀਤੇ ਅਤੇ ਦਸਤਖਤ ਕੀਤੇ ਡੇਟਾਸੈੱਟ, ਲੇਬਲਿੰਗ 'ਤੇ ਪਹੁੰਚ ਨਿਯੰਤਰਣ, ਅਤੇ ਪ੍ਰਚਾਰ ਤੋਂ ਪਹਿਲਾਂ ਵਿਰੋਧੀ ਪ੍ਰਮਾਣਿਕਤਾ। ਮਾਡਲ ਵਿੱਚ ਜ਼ਹਿਰ ਨੂੰ ਦੇਖਣਾ ਔਖਾ ਹੈ ਅਤੇ ਸਰੋਤ 'ਤੇ ਸੀਮਤ ਕਰਨਾ ਬਹੁਤ ਆਸਾਨ ਹੈ।
