ਏਆਈ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਕੀ ਹੈ?

AI ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਤੁਹਾਡੇ ਹਮਲੇ ਦੀ ਸਤ੍ਹਾ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਦਾ ਅਭਿਆਸ ਹੈ: ਤੁਹਾਡੇ ਸੌਫਟਵੇਅਰ ਦੇ ਅੰਦਰ ਮਾਡਲ, ਡੇਟਾਸੈੱਟ, ਏਜੰਟ, MCP ਸਰਵਰ, ਪ੍ਰੋਂਪਟ ਅਤੇ AI-ਤਿਆਰ ਕੀਤੇ ਕੋਡ, ਨਾਲ ਹੀ ਉਹਨਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਣ ਵਾਲੀਆਂ ਨਵੀਆਂ ਹਮਲਾ ਤਕਨੀਕਾਂ। ਇਹ ਉਲਟ ਦਿਸ਼ਾ ਨੂੰ ਵੀ ਕਵਰ ਕਰਦਾ ਹੈ, ਰੱਖਿਆ ਨੂੰ ਮਜ਼ਬੂਤ ​​ਕਰਨ ਲਈ AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਪਰ ਪਹਿਲੀ ਦਿਸ਼ਾ ਉਹ ਹੈ ਜੋ ਅੱਜ ਐਕਸਪੋਜ਼ਰ ਬਣਾਉਂਦੀ ਹੈ। ਇਹ AI ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਕੀ ਹੈ ਇਸਦਾ ਛੋਟਾ ਜਵਾਬ ਹੈ। ਇਹ ਪਹਿਲਾਂ ਤੋਂ ਹੋਣ ਯੋਗ ਹੈcisਇਸ ਬਾਰੇ, ਕਿਉਂਕਿ ਇਹ ਸ਼ਬਦ ਦੋ ਬਹੁਤ ਵੱਖਰੀਆਂ ਚੀਜ਼ਾਂ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਗਲਤ ਇੱਕ ਖਰੀਦਣ ਨਾਲ ਦੂਜੀ ਬੇਪਰਵਾਹ ਹੋ ਜਾਂਦੀ ਹੈ।

ਏਆਈ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਦਾ ਅਰਥ, ਦੋ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ #

ਏਆਈ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਦਾ ਅਰਥ ਇੱਕ ਸਧਾਰਨ ਲਾਈਨ ਵਿੱਚ ਵੰਡਿਆ ਹੋਇਆ ਹੈ: ਕੀ ਤੁਸੀਂ ਏਆਈ ਦੀ ਰੱਖਿਆ ਕਰ ਰਹੇ ਹੋ, ਜਾਂ ਕੀ ਤੁਸੀਂ ਇਸ ਦੁਆਰਾ ਸੁਰੱਖਿਅਤ ਹੋ ਰਹੇ ਹੋ?

AI ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨਾ। ਤੁਹਾਡਾ ਸੰਗਠਨ AI ਨਾਲ ਬਣਦਾ ਹੈ ਅਤੇ AI ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵਿਕਸਤ ਹੁੰਦਾ ਹੈ। ਇਹ ਉਹਨਾਂ ਸੰਪਤੀਆਂ ਨੂੰ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਦੀ ਕਿਸੇ ਨੇ ਖੋਜ ਨਹੀਂ ਕੀਤੀ ਅਤੇ ਅਸਫਲਤਾ ਮੋਡ ਰਵਾਇਤੀ ਟੂਲਿੰਗ ਕਦੇ ਵੀ ਇਸ ਲਈ ਤਿਆਰ ਨਹੀਂ ਕੀਤੀ ਗਈ ਸੀ: ਇੱਕ ਪ੍ਰੋਂਪਟ ਜੋ ਗੈਰ-ਭਰੋਸੇਯੋਗ ਇਨਪੁਟ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ, ਇੱਕ ਏਜੰਟ ਜਿਸਦੀ ਕਾਰਜ ਲੋੜਾਂ ਤੋਂ ਵੱਧ ਇਜਾਜ਼ਤ ਹੈ, ਇੱਕ ਡੇਟਾਸੈਟ ਜੋ ਇੱਕ ਮਾਡਲ ਨੂੰ ਜ਼ਹਿਰ ਦਿੰਦਾ ਹੈ, ਇੱਕ MCP ਸਰਵਰ ਜਿਸਨੂੰ ਕੋਈ ਮਨਜ਼ੂਰ ਨਹੀਂ ਹੈ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਘਟਨਾਵਾਂ ਵਾਪਰਦੀਆਂ ਹਨ।

ਸੁਰੱਖਿਆ ਲਈ ਏ.ਆਈ. ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਖੋਜ, ਟ੍ਰਾਈਏਜ, ਵਿਆਖਿਆ ਅਤੇ ਉਪਚਾਰ ਲਈ ਲਾਗੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ: ਚੇਤਾਵਨੀ ਸ਼ੋਰ ਨੂੰ ਘਟਾਉਣਾ, ਸ਼ੋਸ਼ਣਯੋਗ ਖੋਜਾਂ ਨੂੰ ਤਰਜੀਹ ਦੇਣਾ, ਅਤੇ ਹੱਲ ਲਿਖਣਾ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੋਂ ਕੁਸ਼ਲਤਾ ਆਉਂਦੀ ਹੈ।

ਜ਼ਿਆਦਾਤਰ ਵਿਕਰੇਤਾ ਅਤੇ ਜ਼ਿਆਦਾਤਰ ਲੇਖ ਦੋਵਾਂ ਨੂੰ ਤੋੜ ਦਿੰਦੇ ਹਨ। ਏਆਈ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਦਾ ਅਰਥ ਹੈ ਕਿ ਕਾਰਜਸ਼ੀਲ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਇਹ ਹੈ ਕਿ ਉਹ ਵੱਖਰੇ ਪ੍ਰੋਗਰਾਮ ਹਨ ਜਿਨ੍ਹਾਂ ਦੇ ਵੱਖਰੇ ਮਾਲਕ ਹਨ। ਇੱਕ ਹਮਲੇ ਦੀ ਸਤ੍ਹਾ ਦੀ ਸਮੱਸਿਆ ਹੈ। ਦੂਜੀ ਉਤਪਾਦਕਤਾ ਦੀ ਸਮੱਸਿਆ ਹੈ।

ਏਆਈ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਕੀ ਸੁਰੱਖਿਆ ਕਰ ਰਹੀ ਹੈ? #

ਇੱਕ ਵਸਤੂ ਸੂਚੀ, ਇੱਕ ਨਿਯੰਤਰਣ ਤੋਂ ਪਹਿਲਾਂ। ਹੇਠਾਂ ਦਿੱਤੀ ਹਰ ਵਸਤੂ ਇੱਕ ਸੰਪਤੀ ਹੈ ਜਿਸ ਲਈ ਇੱਕ ਸੁਰੱਖਿਆ ਟੀਮ ਹੁਣ ਜਵਾਬਦੇਹ ਹੈ।

• ਮਾਡਲ, ਭਾਵੇਂ ਸਵੈ-ਹੋਸਟ ਕੀਤਾ ਗਿਆ ਹੋਵੇ, ਵਧੀਆ-ਟਿਊਨ ਕੀਤਾ ਗਿਆ ਹੋਵੇ ਜਾਂ ਪ੍ਰਦਾਤਾ API ਰਾਹੀਂ ਕਾਲ ਕੀਤਾ ਗਿਆ ਹੋਵੇ
• ਡਾਟਾਸੈਟਸ ਸਿਖਲਾਈ, ਸੁਧਾਰ, ਮੁਲਾਂਕਣ ਅਤੇ ਪ੍ਰਾਪਤੀ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ
• ਏਜੰਟ ਅਤੇ ਏਜੰਟ ਸਰਵਰ ਜੋ ਤੁਹਾਡੇ ਸਿਸਟਮਾਂ ਦੇ ਅੰਦਰ ਖੁਦਮੁਖਤਿਆਰ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ
• MCP ਸਰਵਰ ਜੋ ਉਹਨਾਂ ਏਜੰਟਾਂ ਨੂੰ ਔਜ਼ਾਰਾਂ ਅਤੇ ਡੇਟਾ ਦਾ ਖੁਲਾਸਾ ਕਰਦੇ ਹਨ
• ਪ੍ਰੋਂਪਟ, ਹੁਨਰ ਫਾਈਲਾਂ, ਨਿਯਮਾਂ ਦੀਆਂ ਫਾਈਲਾਂ ਅਤੇ guardrails, ਸੰਰਚਨਾ ਪਰਤ ਜੋ AI ਵਿਵਹਾਰ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦੀ ਹੈ
• ਅਨੁਮਾਨ ਅੰਤਮ ਬਿੰਦੂ ਅਤੇ ਉਹਨਾਂ ਤੱਕ ਪਹੁੰਚਣ ਵਾਲੇ ਪ੍ਰਮਾਣ ਪੱਤਰ
• ਏਆਈ ਕੋਡਿੰਗ ਸਹਾਇਕ ਤੁਹਾਡੀਆਂ ਟੀਮਾਂ ਵਿੱਚ ਵਰਤੋਂ ਵਿੱਚ ਹੈ, ਅਤੇ ਉਹਨਾਂ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਕੋਡ
• ਏਆਈ ਨਿਰਭਰਤਾਵਾਂ: ਤੁਹਾਡੇ AI ਸਟੈਕ ਦੁਆਰਾ ਖਿੱਚੇ ਗਏ ਫਰੇਮਵਰਕ ਅਤੇ ਪੈਕੇਜ

ਧਿਆਨ ਦਿਓ ਕਿ ਇਸ ਵਿੱਚੋਂ ਕਿੰਨਾ ਘੱਟ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਹੈ। ਇਹ ਪਹਿਲਾਂ ਤੋਂ ਹੈcisਏਲੀ ਕਿਉਂ ਏ SAST ਟੂਲ, ਇੱਕ EDR ਏਜੰਟ ਅਤੇ ਇੱਕ ਕਲਾਉਡ ਪੋਸਚਰ ਟੂਲ ਸਾਰੇ ਹਰੇ ਰੰਗ ਦੀ ਰਿਪੋਰਟ ਕਰ ਸਕਦੇ ਹਨ ਜਦੋਂ ਕਿ ਇੱਕ ਲੈਪਟਾਪ 'ਤੇ ਇੱਕ ਏਜੰਟ ਆਪਣੇ ਈਮੇਲ ਟੂਲ ਰਾਹੀਂ ਡੇਟਾ ਐਕਸਫਿਲਟ ਕਰ ਰਿਹਾ ਹੈ। ਕੀ ਤੁਸੀਂ ਕਨੈਕਟ ਕੀਤਾ ਹੈ। ਨਾ ਤਾਂ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਹੈ, ਇਸ ਲਈ ਨਾ ਹੀ ਤੁਹਾਡੇ ਦੁਆਰਾ ਪਹਿਲਾਂ ਤੋਂ ਚਲਾਏ ਜਾ ਰਹੇ ਟੂਲਿੰਗ ਦੁਆਰਾ ਕਵਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਤਿੰਨ ਹਮਲੇ ਜੋ ਸਿਰਫ ਏਆਈ ਦੇ ਕਾਰਨ ਮੌਜੂਦ ਹਨ #

ਇਹ ਜਾਣਨਾ ਕਿ ਤੁਸੀਂ ਕਿਸ ਪਰਿਵਾਰ ਨੂੰ ਦੇਖ ਰਹੇ ਹੋ, ਤੁਹਾਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਨਿਯੰਤਰਣ ਕਿੱਥੇ ਹੈ, ਅਤੇ ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ AI ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਦਾ ਅਰਥ ਅਮੂਰਤ ਹੋਣਾ ਬੰਦ ਹੋ ਜਾਂਦਾ ਹੈ।

ਪਹਿਲਾ ਪਰਿਵਾਰ ਮਾਡਲ ਦੇ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ। ਤੁਰੰਤ ਟੀਕੇ ਨੇ ਵਿੱਚ ਸਿਖਰਲਾ ਸਥਾਨ ਹਾਸਲ ਕੀਤਾ ਹੈ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਸਿਖਰਲੇ 10 ਕਿਉਂਕਿ ਸੂਚੀ ਮੌਜੂਦ ਸੀ, ਇੱਕ ਸਧਾਰਨ ਕਾਰਨ ਕਰਕੇ: ਕੋਈ ਵੀ ਬਿੰਦੂ ਜਿੱਥੇ ਕੋਈ ਮਾਡਲ ਟੈਕਸਟ ਪੜ੍ਹਦਾ ਹੈ ਜਿਸਨੂੰ ਉਸਨੇ ਨਹੀਂ ਲਿਖਿਆ ਉਹ ਇੱਕ ਐਂਟਰੀ ਬਿੰਦੂ ਹੈ। ਖਤਰਨਾਕ ਸੰਸਕਰਣ ਅਸਿੱਧਾ ਹੈ। ਕੋਈ ਵੀ ਹਮਲਾ ਟਾਈਪ ਨਹੀਂ ਕਰਦਾ, ਮਾਡਲ ਇਸਨੂੰ ਇੱਕ ਸਹਾਇਤਾ ਟਿਕਟ, ਇੱਕ ਵੈੱਬ ਪੇਜ, ਇੱਕ ਤੋਂ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। pull request ਟਿੱਪਣੀ ਜਾਂ ਕਿਸੇ ਦੁਆਰਾ ਅਪਲੋਡ ਕੀਤਾ ਗਿਆ ਦਸਤਾਵੇਜ਼। ਮਾਡਲ ਸਮੱਗਰੀ ਤੋਂ ਨਿਰਦੇਸ਼ ਨਹੀਂ ਦੱਸ ਸਕਦਾ, ਇਸ ਲਈ ਇਹ ਦੋਵਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ। ਉਸ ਮਾਡਲ ਟੂਲ ਦਿਓ ਅਤੇ ਉਹੀ ਤਕਨੀਕ ਟੂਲ ਇੰਜੈਕਸ਼ਨ ਬਣ ਜਾਂਦੀ ਹੈ: ਏਜੰਟ ਜੋ ਵਿਸ਼ਵਾਸ ਕਰਦਾ ਹੈ ਕਿ ਇੱਕ ਟੂਲ ਕਰਦਾ ਹੈ ਉਸਨੂੰ ਬਦਲੋ, ਅਤੇ ਇਹ ਤੁਹਾਡੇ ਆਪਣੇ ਪ੍ਰਮਾਣ ਪੱਤਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤੁਹਾਡੇ ਵਿਰੁੱਧ ਕਾਰਵਾਈ ਕਰੇਗਾ। ਬਹੁਤ ਜ਼ਿਆਦਾ ਏਜੰਸੀ ਗੁਣਕ ਹੈ। ਇੱਕ ਏਜੰਟ ਜਿਸ ਕੋਲ ਆਪਣੇ ਕੰਮ ਦੀ ਲੋੜ ਤੋਂ ਵੱਧ ਇਜਾਜ਼ਤ ਹੈ ਉਹ ਇੱਕ ਪਰੇਸ਼ਾਨੀ ਅਤੇ ਇੱਕ ਘਟਨਾ ਵਿੱਚ ਅੰਤਰ ਹੈ।

ਦੂਜਾ ਪਰਿਵਾਰ ਸੰਰਚਨਾ ਪਰਤ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ। ਪ੍ਰੋਂਪਟ, ਨਿਯਮ ਫਾਈਲਾਂ, ਹੁਨਰ ਫਾਈਲਾਂ ਅਤੇ MCP ਸਰਵਰ ਪਰਿਭਾਸ਼ਾਵਾਂ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦੀਆਂ ਹਨ ਕਿ AI ਤੁਹਾਡੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਕੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਨਹੀਂ ਹੈ। ਨਿਯਮ ਫਾਈਲ ਬੈਕਡੋਰ ਨੇ ਦਿਖਾਇਆ ਕਿ ਇਹ ਕਿੰਨੀ ਦੂਰ ਜਾਂਦਾ ਹੈ: ਜ਼ੀਰੋ-ਚੌੜਾਈ ਵਾਲੇ ਯੂਨੀਕੋਡ ਅੱਖਰ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਲੈ ਕੇ ਜਾਂਦੇ ਹਨ ਜੋ ਮਨੁੱਖੀ ਸਮੀਖਿਅਕ ਸਰੀਰਕ ਤੌਰ 'ਤੇ ਨਹੀਂ ਦੇਖ ਸਕਦਾ, ਸਹਾਇਕ ਉਹਨਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹ ਕਦੇ ਵੀ ਆਪਣੇ ਜਵਾਬ ਵਿੱਚ ਉਹਨਾਂ ਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦਾ। ਤਕਨੀਕ ਨੂੰ ਸੂਚੀਬੱਧ ਕੀਤਾ ਗਿਆ ਹੈ ਮਾਈਟਰ ਐਟਲਸ AML.CS0041 ਦੇ ਰੂਪ ਵਿੱਚ। ਉਹੀ ਪਰਤ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਪ੍ਰਦਾਤਾ ਪ੍ਰਮਾਣ ਪੱਤਰਾਂ ਨੂੰ ਸਾਦੇ ਟੈਕਸਟ ਵਿੱਚ ਰੱਖਦੀ ਹੈ ਅਤੇ ਸਹਾਇਕਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਦੇ ਇਰਾਦੇ ਨਾਲੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਫਾਈਲ ਸਿਸਟਮ ਤੱਕ ਪੜ੍ਹਨ ਦੀ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ਵਿੱਚ ਏਜੰਟਿਕ ਕੋਡਿੰਗ, ਇਹ ਪਰਤ ਸਟੀਅਰਿੰਗ ਵ੍ਹੀਲ ਹੈ, ਅਤੇ ਲਗਭਗ ਕੋਈ ਵੀ ਇਸਦੀ ਸਮੀਖਿਆ ਨਹੀਂ ਕਰਦਾ।

ਤੀਜਾ ਪਰਿਵਾਰ ਏਆਈ ਸਪਲਾਈ ਚੇਨ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ। ਮਾਡਲ, ਡੇਟਾਸੈੱਟ ਅਤੇ ਉਹਨਾਂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਦੇ ਪੈਕੇਜ ਬਾਹਰੋਂ ਆਉਂਦੇ ਹਨ। ਸਲੌਪਸਕੈਟਿੰਗ ਸਭ ਤੋਂ ਸਪੱਸ਼ਟ ਮਾਮਲਾ ਹੈ: ਭਾਸ਼ਾ ਮਾਡਲ ਪੈਕੇਜ ਨਾਮਾਂ ਦੀ ਖੋਜ ਕਰਦੇ ਹਨ, ਹਮਲਾਵਰ ਉਹਨਾਂ ਨੂੰ ਰਜਿਸਟਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਏਜੰਟ ਬੇਨਤੀ ਕਰਨ 'ਤੇ ਹਮਲਾਵਰ ਦਾ ਕੋਡ ਸਥਾਪਤ ਕਰਦਾ ਹੈ। USENIX ਸੁਰੱਖਿਆ 2025 ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਖੋਜ ਵਿੱਚ ਪਾਇਆ ਗਿਆ ਕਿ LLM ਦੁਆਰਾ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੇ ਗਏ 19.7% ਪੈਕੇਜ ਮੌਜੂਦ ਨਹੀਂ ਹਨ, ਅਤੇ ਇਹ ਕਿ ਭਰਮ ਵਾਲੇ ਨਾਮ ਅਕਸਰ ਫਾਰਮ ਕੀਤੇ ਜਾਣ ਲਈ ਕਾਫ਼ੀ ਦੁਹਰਾਉਂਦੇ ਹਨ। ਇਸਦੇ ਨਾਲ ਹੀ ਜ਼ਹਿਰੀਲਾ ਸਿਖਲਾਈ ਅਤੇ ਪ੍ਰਾਪਤੀ ਡੇਟਾ, ਏਮਬੈਡਿੰਗ ਜੋ ਉਹਨਾਂ ਦੀ ਸਰੋਤ ਸਮੱਗਰੀ ਨੂੰ ਲੀਕ ਕਰਦੇ ਹਨ, ਅਵਿਸ਼ਵਾਸੀ MCP ਸਰਵਰ ਸਿੱਧੇ ਇੱਕ ਏਜੰਟ ਵਿੱਚ ਵਾਇਰਡ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਕਮਜ਼ੋਰ AI ਫਰੇਮਵਰਕ ਨਿਰਭਰਤਾ ਵਜੋਂ ਖਿੱਚੇ ਜਾਂਦੇ ਹਨ।

ਤਿੰਨਾਂ ਦੇ ਹੇਠਾਂ ਸ਼ੈਡੋ ਏਆਈ ਹੈ: ਮਾਡਲ, ਏਜੰਟ, ਸਹਾਇਕ ਅਤੇ MCP ਸਰਵਰ ਪਹਿਲਾਂ ਹੀ ਪ੍ਰਵਾਨਗੀ, ਸਮੀਖਿਆ ਜਾਂ ਵਸਤੂ ਸੂਚੀ ਤੋਂ ਬਿਨਾਂ ਚੱਲ ਰਿਹਾ ਹੈ। ਇਹ ਜ਼ਿਆਦਾਤਰ ਸੰਗਠਨਾਂ ਵਿੱਚ ਡਿਫਾਲਟ ਸਥਿਤੀ ਹੈ, ਅਤੇ ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਪਹਿਲਾ ਨਿਯੰਤਰਣ ਹਮੇਸ਼ਾਂ ਇੱਕ ਸੂਚੀ ਹੁੰਦਾ ਹੈ।

ਕੀ ਨਹੀਂ ਹੈ? #

ਇਹ ਏਆਈ ਗਵਰਨੈਂਸ ਨਹੀਂ ਹੈ। ਗਵਰਨੈਂਸ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਕਿ ਕੀ ਤੁਹਾਨੂੰ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ ਅਤੇ ਕਿਸ ਨੀਤੀ ਦੇ ਤਹਿਤ। AI ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਜਵਾਬ ਦਿੰਦੀ ਹੈ ਕਿ ਕੀ ਮਾਡਲ, ਏਜੰਟ ਅਤੇ ਉਨ੍ਹਾਂ ਵਿਚਕਾਰ ਵਾਇਰਿੰਗ 'ਤੇ ਹਮਲਾ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਇਹ ਕਿਸੇ ਚੈਟਬੋਟ ਦੇ ਸਾਹਮਣੇ ਫਿਲਟਰ ਨਹੀਂ ਹੈ। ਰਨਟਾਈਮ ਪ੍ਰੋਂਪਟ ਫਿਲਟਰਿੰਗ ਕਈਆਂ ਵਿੱਚੋਂ ਇੱਕ ਕੰਟਰੋਲ ਹੈ। ਇਹ ਡਿਵੈਲਪਰ ਦੇ ਲੈਪਟਾਪ 'ਤੇ MCP ਸਰਵਰ, ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਜ਼ਹਿਰੀਲੇ ਨਿਯਮਾਂ ਦੀ ਫਾਈਲ, ਜਾਂ AI ਕੌਂਫਿਗਰੇਸ਼ਨ ਵਿੱਚ ਪ੍ਰਮਾਣ ਪੱਤਰ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਦੇਖਦਾ।

ਇਹ ਉਸ ਦੁਆਰਾ ਕਵਰ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ ਜੋ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਚਲਾ ਰਹੇ ਹੋ। ਰਵਾਇਤੀ ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਰਿਪੋਜ਼ਟਰੀ 'ਤੇ ਰੁਕ ਜਾਂਦੀ ਹੈ ਅਤੇ ਇਹ ਨਹੀਂ ਜਾਣਦੀ ਕਿ ਮਾਡਲ ਕੀ ਹੈ। ਐਂਡਪੁਆਇੰਟ ਟੂਲਿੰਗ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ 'ਤੇ ਨਜ਼ਰ ਰੱਖਦੀ ਹੈ ਅਤੇ ਪੈਕੇਜਾਂ, MCP ਸਰਵਰਾਂ ਜਾਂ ਸਹਾਇਕਾਂ ਨੂੰ ਨਹੀਂ ਸਮਝਦੀ। AI ਹਮਲੇ ਉਨ੍ਹਾਂ ਵਿਚਕਾਰਲੇ ਪਾੜੇ ਵਿੱਚ ਉਤਰਦੇ ਹਨ।

ਇਹ ਸਿਰਫ਼ ਜਨਰੇਟਿਵ ਏਆਈ ਬਾਰੇ ਨਹੀਂ ਹੈ। ਧੋਖਾਧੜੀ, ਕੀਮਤ ਅਤੇ ਜੋਖਮ ਸਕੋਰਿੰਗ ਵਿੱਚ ਕਲਾਸੀਕਲ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵੀ ਇੱਕ ਨਿਸ਼ਾਨਾ ਹੈ, ਜ਼ਹਿਰ, ਚੋਰੀ ਅਤੇ ਮਾਡਲ ਕੱਢਣ ਰਾਹੀਂ।

ਖੇਤਰ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਵਾਲੇ ਢਾਂਚੇ #

LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਸਿਖਰਲੇ 10: LLM ਐਪਲੀਕੇਸ਼ਨ ਜੋਖਮ ਲਈ ਕਾਰਜਸ਼ੀਲ ਵਰਗੀਕਰਨ, ਅਤੇ ਇੱਕ ਜੋ ਜ਼ਿਆਦਾਤਰ ਸੁਰੱਖਿਆ ਟੀਮਾਂ ਖੋਜਾਂ ਨੂੰ ਮੈਪ ਕਰਦੀਆਂ ਹਨ

ਏਜੰਟਿਕ ਐਪਲੀਕੇਸ਼ਨਾਂ 2026 ਲਈ OWASP ਸਿਖਰਲੇ 10: ਦਸੰਬਰ 2025 ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ, ਆਟੋਨੋਮਸ, ਟੂਲ-ਵਰਤੋਂ ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਸਾਥੀ ਸੂਚੀ

OWASP GenAI ਸੁਰੱਖਿਆ ਪ੍ਰੋਜੈਕਟ: ਛਤਰੀ ਯਤਨ, ਜਿਸ ਵਿੱਚ ਡੇਟਾ ਸੁਰੱਖਿਆ, MCP ਸਰਵਰ ਮਾਰਗਦਰਸ਼ਨ ਅਤੇ ਲਾਲ ਟੀਮਿੰਗ ਸਰੋਤ ਸ਼ਾਮਲ ਹਨ

NIST AI ਜੋਖਮ ਪ੍ਰਬੰਧਨ ਫਰੇਮਵਰਕ ਅਤੇ ਇਸਦਾ ਜਨਰੇਟਿਵ ਏਆਈ ਪ੍ਰੋਫਾਈਲ: ਗਵਰਨੈਂਸ ਸ਼ਬਦਾਵਲੀ ਰੈਗੂਲੇਟਰ ਅਤੇ ਬੋਰਡ ਮਾਨਤਾ ਦਿੰਦੇ ਹਨ

ਮਾਈਟਰ ਐਟਲਸ: ਅਸਲ ਕੇਸ ਅਧਿਐਨਾਂ ਦੇ ਨਾਲ, AI ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਵਿਰੋਧੀ ਤਕਨੀਕ ਗਿਆਨ ਅਧਾਰ

EU AI ਐਕਟ: ਕਾਨੂੰਨੀ ਢਾਂਚਾ, ਜਿਸ ਵਿੱਚ ਤਕਨੀਕੀ ਦਸਤਾਵੇਜ਼ੀ ਫਰਜ਼ ਸ਼ਾਮਲ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਇੱਕ AI ਵਸਤੂ ਸੂਚੀ ਤੁਹਾਨੂੰ ਪੂਰਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ

ਕਿੱਥੇ ਸ਼ੁਰੂ ਕਰਨਾ ਹੈ #

ਵਸਤੂ ਸੂਚੀ. ਹਰੇਕ ਮਾਡਲ, ਡੇਟਾਸੈੱਟ, ਏਜੰਟ, MCP ਸਰਵਰ ਅਤੇ AI ਸਹਾਇਕ ਨੂੰ ਕਿਸੇ ਸਰਵੇਖਣ ਦੀ ਬਜਾਏ ਕੋਡ, ਨਿਰਭਰਤਾਵਾਂ ਅਤੇ ਸੰਰਚਨਾ ਤੋਂ ਲੱਭੋ।

ਰਿਸ਼ਤਿਆਂ ਦਾ ਨਕਸ਼ਾ ਬਣਾਓ। ਜੋਖਮ ਵਾਇਰਿੰਗ ਵਿੱਚ ਰਹਿੰਦਾ ਹੈ: ਕਿਹੜਾ ਏਜੰਟ ਕਿਹੜੇ ਟੂਲ ਤੱਕ ਪਹੁੰਚਦਾ ਹੈ, ਕਿਹੜਾ ਡੇਟਾਸੈਟ ਕਿਹੜੇ ਮਾਡਲ ਨੂੰ ਫੀਡ ਕਰਦਾ ਹੈ।

ਸੰਰਚਨਾ ਪਰਤ ਪੜ੍ਹੋ। ਪ੍ਰੋਂਪਟ, ਹੁਨਰ ਫਾਈਲਾਂ, ਨਿਯਮ ਫਾਈਲਾਂ ਅਤੇ MCP ਪਰਿਭਾਸ਼ਾਵਾਂ ਨੂੰ ਸੁਰੱਖਿਆ ਕਲਾਤਮਕ ਚੀਜ਼ਾਂ ਵਜੋਂ ਸਮਝੋ ਅਤੇ ਉਹਨਾਂ ਦੀ ਕੋਡ ਵਾਂਗ ਸਮੀਖਿਆ ਕਰੋ।

ਸਕੋਪ ਅਨੁਮਤੀਆਂ। ਹਰੇਕ ਏਜੰਟ ਨੂੰ ਔਜ਼ਾਰ ਦੀ ਸਭ ਤੋਂ ਤੰਗ ਸਤ੍ਹਾ ਅਤੇ ਉਸਦੇ ਕੰਮ ਦੀ ਇਜਾਜ਼ਤ ਦੇਣ ਵਾਲੀ ਘੱਟੋ-ਘੱਟ ਖੁਦਮੁਖਤਿਆਰੀ ਦਿਓ।

ਜਿੱਥੇ ਇਹ ਚੱਲਦਾ ਹੈ ਉੱਥੇ ਲਾਗੂ ਕਰੋ। ਜ਼ਿਆਦਾਤਰ ਏਆਈ ਜੋਖਮ ਡਿਵੈਲਪਰ ਮਸ਼ੀਨਾਂ 'ਤੇ ਬੈਠਦਾ ਹੈ, ਇਸ ਲਈ ਨੀਤੀ ਨੂੰ ਅੰਤਮ ਬਿੰਦੂ 'ਤੇ ਲਾਗੂ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਇੱਕ ਗੈਰ-ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਸਰਵਰ ਜਾਂ ਖਤਰਨਾਕ ਪੈਕੇਜ ਲਾਗੂ ਹੋਵੇ।

ਤੁਹਾਡੇ ਦੁਆਰਾ ਵਰਤੇ ਜਾਣ ਵਾਲੇ AI ਅਤੇ ਤੁਹਾਡੇ ਦੁਆਰਾ ਬਣਾਏ ਗਏ AI ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨਾ #

ਏਆਈ ਸਾਈਬਰ ਸੁਰੱਖਿਆ ਕੀ ਹੈ ਇਸਦਾ ਵਿਹਾਰਕ ਜਵਾਬ ਇਹ ਹੈ ਕਿ ਇਹ ਦਿੱਖ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ ਅਤੇ ਲਾਗੂ ਕਰਨ ਨਾਲ ਖਤਮ ਹੁੰਦਾ ਹੈ। ਜ਼ਾਇਜੇਨੀ ਤੁਹਾਡੇ ਵਿੱਚ ਹਰ ਏਆਈ ਸੰਪਤੀ ਦੀ ਖੋਜ ਕਰਦਾ ਹੈ SDLC, ਜਿਸ ਵਿੱਚ ਮਾਡਲ, ਏਜੰਟ, MCP ਸਰਵਰ, ਡੇਟਾਸੈੱਟ, ਹੁਨਰ ਫਾਈਲਾਂ ਅਤੇ ਪ੍ਰੋਂਪਟ ਸ਼ਾਮਲ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਕਿਸੇ ਨੇ ਐਲਾਨ ਨਹੀਂ ਕੀਤਾ, ਉਹ ਕਿਵੇਂ ਜੁੜਦੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਲਈ ਖਾਸ ਜੋਖਮਾਂ ਦਾ ਪਤਾ ਲਗਾਉਂਦੇ ਹਨ: ਪ੍ਰੋਂਪਟ ਅਤੇ ਟੂਲ ਇੰਜੈਕਸ਼ਨ, ਨਿਯਮਾਂ ਅਤੇ ਹੁਨਰ ਫਾਈਲਾਂ ਵਿੱਚ ਖਤਰਨਾਕ ਨਿਰਦੇਸ਼, ਅਸੁਰੱਖਿਅਤ MCP ਸੰਰਚਨਾ, AI ਫਾਈਲਾਂ ਵਿੱਚ ਰਾਜ਼ ਅਤੇ ਸਲੋਪਸਕੈਟਡ AI ਨਿਰਭਰਤਾਵਾਂ। ਖੋਜਾਂ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਟੌਪ 10 ਦਾ ਨਕਸ਼ਾ ਬਣਾਉਂਦੀਆਂ ਹਨ ਅਤੇ ਸਹੀ ਫਾਈਲ ਅਤੇ ਲਾਈਨ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀਆਂ ਹਨ। ਇੱਕ AI-BOM ਤੁਹਾਡੇ ਆਡੀਟਰਾਂ ਨੂੰ ਕੁਝ ਬਚਾਅਯੋਗ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਨੀਤੀ ਡਿਵੈਲਪਰ ਐਂਡਪੁਆਇੰਟ 'ਤੇ ਲਾਗੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਿੱਥੇ ਜ਼ਿਆਦਾਤਰ AI ਜੋਖਮ ਅਸਲ ਵਿੱਚ ਚੱਲਦਾ ਹੈ।

ਇਹੀ ਖੁਫੀਆ ਜਾਣਕਾਰੀ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਤੋਂ ਮੌਜੂਦ ਸਕੈਨਰਾਂ ਤੋਂ ਪ੍ਰਾਪਤ ਨਤੀਜਿਆਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ, ਇਸ ਲਈ AI ਸੁਰੱਖਿਆ ਤੁਹਾਡੇ ਸਟੈਕ ਨੂੰ ਬਦਲਣ ਦੀ ਬਜਾਏ ਵਧਾਉਂਦੀ ਹੈ। ਦੇਖੋ ਕਿ ਤੁਹਾਡੇ ਏਜੰਟ ਕਿਸ ਨਾਲ ਜੁੜੇ ਹੋਏ ਹਨ। ਜ਼ਾਇਗੇਨੀ.

ਸਵਾਲ #