ਏਆਈ ਸੁਰੱਖਿਆ ਕੀ ਹੈ?

ਏਆਈ ਸੁਰੱਖਿਆ ਕੀ ਹੈ? ਏਆਈ ਸੁਰੱਖਿਆ ਏਆਈ ਮਾਡਲਾਂ, ਏਜੰਟਾਂ, ਡੇਟਾਸੈਟਾਂ ਅਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਰੱਖਿਆ ਕਰਨ ਦਾ ਅਭਿਆਸ ਹੈ ਜਿਸ 'ਤੇ ਸਾਫਟਵੇਅਰ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਏਆਈ ਸਿਸਟਮਾਂ ਨੂੰ ਕਿਵੇਂ ਬਣਾਇਆ, ਸਿਖਲਾਈ ਦਿੱਤੀ ਅਤੇ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਦੇ ਵਿਲੱਖਣ ਜੋਖਮਾਂ ਤੋਂ। ਇਹ ਵਰਤੋਂ ਵਿੱਚ ਆਉਣ ਵਾਲੀ ਹਰੇਕ AI ਸੰਪਤੀ ਦੀ ਖੋਜ, AI-ਵਿਸ਼ੇਸ਼ ਕਮਜ਼ੋਰੀਆਂ ਜਿਵੇਂ ਕਿ ਤੁਰੰਤ ਟੀਕਾਕਰਨ ਅਤੇ ਅਸੁਰੱਖਿਅਤ ਏਜੰਟ ਵਿਵਹਾਰ ਦਾ ਪਤਾ ਲਗਾਉਣਾ, ਅਤੇ ਉਹਨਾਂ ਨੀਤੀਆਂ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਜੋ ਅਸੁਰੱਖਿਅਤ AI ਕਾਰਵਾਈਆਂ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਰੋਕਦੀਆਂ ਹਨ। ਇਹ ਮੁੱਖ AI ਸੁਰੱਖਿਆ ਹੈ ਜਿਸਦਾ ਅਰਥ ਹੈ ਕਿ ਇਸ ਸ਼ਬਦਾਵਲੀ ਐਂਟਰੀ ਦਾ ਬਾਕੀ ਹਿੱਸਾ ਅਨਪੈਕ ਹੁੰਦਾ ਹੈ।

ਰਵਾਇਤੀ ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਦੇ ਉਲਟ, ਜੋ ਕੋਡ, ਨਿਰਭਰਤਾਵਾਂ ਅਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਰੱਖਿਆ ਕਰਦੀ ਹੈ, AI ਸੁਰੱਖਿਆ ਸੰਪਤੀ ਦੇ ਇੱਕ ਨਵੇਂ ਵਰਗ ਦੀ ਰੱਖਿਆ ਕਰਦੀ ਹੈ: ਮਾਡਲ, ਪ੍ਰੋਂਪਟ, ਏਜੰਟ, ਅਤੇ ਮਸ਼ੀਨ-ਟੂ-ਮਸ਼ੀਨ ਪ੍ਰੋਟੋਕੋਲ ਜੋ ਉਹਨਾਂ ਨੂੰ ਜੋੜਦੇ ਹਨ। ਜਿਵੇਂ ਕਿ AI ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਤੋਂ ਸਾਫਟਵੇਅਰ ਸਪਲਾਈ ਚੇਨ ਵਿੱਚ ਜਾਂਦਾ ਹੈ, ਇਹ ਰੱਖਿਆ ਦੀ ਇੱਕ ਵੱਖਰੀ, ਜ਼ਰੂਰੀ ਪਰਤ ਬਣ ਗਈ ਹੈ।

ਏਆਈ ਸੁਰੱਖਿਆ ਦਾ ਅਰਥ: ਛੋਟੀ ਪਰਿਭਾਸ਼ਾ #

ਸਭ ਤੋਂ ਸਰਲ ਤਰੀਕੇ ਨਾਲ, AI ਸੁਰੱਖਿਆ ਦਾ ਅਰਥ ਇਹ ਹੈ: AI ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨਾ ਉਸੇ ਤਰ੍ਹਾਂ ਹੈ ਜਿਵੇਂ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਕੋਡ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦੇ ਹੋ, ਪਰ ਹਿੱਸਿਆਂ ਅਤੇ ਵਿਵਹਾਰਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਲਈ ਜੋ ਰਵਾਇਤੀ ਔਜ਼ਾਰ ਕਦੇ ਵੀ ਦੇਖਣ ਲਈ ਨਹੀਂ ਬਣਾਏ ਗਏ ਸਨ।

ਸੰਕਲਪ ਨੂੰ ਉਲਝਣ ਦੇ ਇੱਕ ਆਮ ਬਿੰਦੂ ਤੋਂ ਵੱਖ ਕਰਨ ਦਾ ਇੱਕ ਉਪਯੋਗੀ ਤਰੀਕਾ: ਏਆਈ ਸੁਰੱਖਿਆ "ਸੁਰੱਖਿਆ ਵਿੱਚ ਏਆਈ" ਵਰਗੀ ਨਹੀਂ ਹੈ। ਸੁਰੱਖਿਆ ਵਿੱਚ AI ਮੌਜੂਦਾ ਸੁਰੱਖਿਆ ਕਾਰਜ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਭਾਵ ਹੈ, ਉਦਾਹਰਨ ਲਈ ਇੱਕ AI ਮਾਡਲ ਜੋ ਕਮਜ਼ੋਰੀ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਟ੍ਰਾਈਜ ਕਰਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ, AI ਸੁਰੱਖਿਆ AI ਨੂੰ ਖੁਦ ਸੁਰੱਖਿਅਤ ਕਰਨ ਤੋਂ ਭਾਵ ਹੈ: ਮਾਡਲ ਫਾਈਲਾਂ, ਸਿਖਲਾਈ ਡੇਟਾ, ਏਜੰਟ, ਪ੍ਰੋਂਪਟ, ਅਤੇ ਸਰਵਰ ਜੋ AI ਟੂਲਸ ਨੂੰ ਕਾਰਵਾਈ ਕਰਨ ਦਿੰਦੇ ਹਨ। ਦੋਵੇਂ AI ਦੇ ਵੈਧ ਉਪਯੋਗ ਹਨ, ਪਰ ਉਹ ਵੱਖ-ਵੱਖ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦਿੰਦੇ ਹਨ।

ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ #

ਸਾਫਟਵੇਅਰ ਟੀਮਾਂ ਨੇ AI ਕੋਡਿੰਗ ਸਹਾਇਕ, ਆਟੋਨੋਮਸ ਏਜੰਟ, ਅਤੇ ਮਾਡਲ ਸੰਦਰਭ ਪ੍ਰੋਟੋਕੋਲ (ਐਮਸੀਪੀ) ਇੱਕ ਅਜਿਹੀ ਰਫ਼ਤਾਰ ਨਾਲ ਜੋ ਉਹਨਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਲਈ ਬਣਾਏ ਗਏ ਔਜ਼ਾਰਾਂ ਨੂੰ ਪਛਾੜ ਗਈ ਹੈ। ਇਸ ਤਬਦੀਲੀ ਦੇ ਕੁਝ ਕਾਰਨਾਂ ਕਰਕੇ ਇੱਕ ਨਵੀਂ ਹਮਲੇ ਦੀ ਸਤ੍ਹਾ ਬਣੀ:

ਏਆਈ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਜ਼ਹਿਰ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਕਾਢ ਕੱਢੀ ਜਾ ਸਕਦੀ ਹੈ। ਏਆਈ ਕੋਡਿੰਗ ਸਹਾਇਕ ਕਈ ਵਾਰ ਅਜਿਹੇ ਪੈਕੇਜਾਂ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦੇ ਹਨ ਜੋ ਮੌਜੂਦ ਨਹੀਂ ਹੁੰਦੇ, ਇੱਕ ਪੈਟਰਨ ਜਿਸਨੂੰ ਸਲੋਪਸਕਵਾਟਿੰਗ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਜਿਸਨੂੰ ਹਮਲਾਵਰ ਪਹਿਲਾਂ ਤੋਂ ਰਜਿਸਟਰ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਹਥਿਆਰ ਬਣਾ ਸਕਦੇ ਹਨ।

ਏਆਈ-ਤਿਆਰ ਕੀਤਾ ਕੋਡ ਆਪਣਾ ਜੋਖਮ ਪ੍ਰੋਫਾਈਲ ਰੱਖਦਾ ਹੈ। ਏਆਈ ਕੋਡ ਜਨਰੇਸ਼ਨ ਦੀ ਸੁਤੰਤਰ ਬੈਂਚਮਾਰਕਿੰਗ ਨੇ ਪਾਇਆ ਹੈ ਕਿ ਏਆਈ-ਲਿਖਤ ਕੋਡ ਦਾ ਇੱਕ ਵੱਡਾ ਹਿੱਸਾ ਆਮ ਕਮਜ਼ੋਰੀ ਪੈਟਰਨ ਪੇਸ਼ ਕਰਦਾ ਹੈ, ਭਾਵੇਂ ਅੰਡਰਲਾਈੰਗ ਮਾਡਲ ਸਮਰੱਥ ਅਤੇ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਹੋਵੇ।

ਏਜੰਟ ਅਤੇ MCP ਸਰਵਰ ਨਵੇਂ, ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਨਿਗਰਾਨੀ ਤੋਂ ਰਹਿਤ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਹਨ। ਏਜੰਟ ਫਾਈਲਾਂ ਪੜ੍ਹ ਸਕਦੇ ਹਨ, ਟੂਲਸ ਨੂੰ ਕਾਲ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ ਡਿਵੈਲਪਰ ਦੀ ਤਰਫੋਂ ਕਾਰਵਾਈ ਕਰ ਸਕਦੇ ਹਨ। ਜੇਕਰ ਕਿਸੇ ਏਜੰਟ ਦੀਆਂ ਹਦਾਇਤਾਂ, ਨਿਯਮ ਫਾਈਲਾਂ, ਜਾਂ ਜੁੜੇ MCP ਸਰਵਰਾਂ ਨਾਲ ਹੇਰਾਫੇਰੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਏਜੰਟ ਉਸ ਸਿਸਟਮ ਦੇ ਵਿਰੁੱਧ ਹੋ ਸਕਦਾ ਹੈ ਜਿਸਨੂੰ ਇਹ ਸੁਰੱਖਿਅਤ ਕਰਨ ਲਈ ਬਣਾਇਆ ਗਿਆ ਸੀ।

ਏਆਈ ਕੌਂਫਿਗਰੇਸ਼ਨ ਹੁਣ ਇੱਕ ਹਮਲੇ ਵਾਲੀ ਸਤ੍ਹਾ ਹੈ। ਹੁਨਰ ਫਾਈਲਾਂ, ਨਿਯਮ ਫਾਈਲਾਂ, ਅਤੇ ਪ੍ਰੋਂਪਟ ਟੈਂਪਲੇਟਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਜੋਂ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਸੁਰੱਖਿਆ-ਸੰਬੰਧਿਤ ਕਲਾਕ੍ਰਿਤੀਆਂ ਵਜੋਂ ਨਹੀਂ। ਹਮਲਾਵਰ ਪਹਿਲਾਂ ਹੀ ਦਿਖਾ ਚੁੱਕੇ ਹਨ ਕਿ ਇਹਨਾਂ ਫਾਈਲਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਲੁਕੀਆਂ ਹਦਾਇਤਾਂ ਇੱਕ AI ਸਹਾਇਕ ਨੂੰ ਇਸਦੇ ਜਵਾਬ ਵਿੱਚ ਬਿਨਾਂ ਕਿਸੇ ਦਿਖਾਈ ਦੇਣ ਵਾਲੇ ਨਿਸ਼ਾਨ ਦੇ ਬੈਕਡੋਰ ਕੋਡ ਪੈਦਾ ਕਰਨ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੀਆਂ ਹਨ।

ਇਹ ਕੀ ਕਵਰ ਕਰਦਾ ਹੈ #

ਇੱਕ ਪੂਰਾ AI ਸੁਰੱਖਿਆ ਪ੍ਰੋਗਰਾਮ ਆਮ ਤੌਰ 'ਤੇ ਤਿੰਨ ਕਾਰਜਾਂ ਨੂੰ ਫੈਲਾਉਂਦਾ ਹੈ:

1. ਡਿਸਕਵਰੀ (ਏਆਈ ਇਨਵੈਂਟਰੀ) #

ਕਿਸੇ ਵੀ ਚੀਜ਼ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਇਸਨੂੰ ਲੱਭਣਾ ਪੈਂਦਾ ਹੈ। AI ਸੁਰੱਖਿਆ ਇੱਕ ਸੰਗਠਨ ਦੇ ਭੰਡਾਰਾਂ ਵਿੱਚ ਹਰੇਕ AI ਸੰਪਤੀ ਦੀ ਨਿਰੰਤਰ ਖੋਜ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦੀ ਹੈ ਅਤੇ pipelines: ਮਾਡਲ, AI ਫਰੇਮਵਰਕ, ਡੇਟਾਸੈੱਟ, ਇਨਫਰੈਂਸ ਐਂਡਪੁਆਇੰਟ, ਏਜੰਟ, AI ਕੋਡਿੰਗ ਟੂਲ, ਅਤੇ MCP ਸਰਵਰ ਜਿਨ੍ਹਾਂ ਨਾਲ ਉਹ ਜੁੜਦੇ ਹਨ। ਇਸ ਵਸਤੂ ਸੂਚੀ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਮਸ਼ੀਨ-ਪੜ੍ਹਨਯੋਗ AI ਬਿੱਲ ਆਫ਼ ਮਟੀਰੀਅਲਜ਼ (AI-BOM) ਦੇ ਰੂਪ ਵਿੱਚ ਦਰਸਾਇਆ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਿ ਸਾਫਟਵੇਅਰ ਬਿੱਲ ਆਫ਼ ਮਟੀਰੀਅਲਜ਼ (SBOM).

2. ਖੋਜ (AI ਜੋਖਮ) #

ਇੱਕ ਵਾਰ ਜਦੋਂ AI ਸੰਪਤੀਆਂ ਦਾ ਪਤਾ ਲੱਗ ਜਾਂਦਾ ਹੈ, ਤਾਂ AI ਸੁਰੱਖਿਆ ਉਹਨਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਜੋਖਮਾਂ ਦਾ ਪਤਾ ਲਗਾਉਂਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਤੁਰੰਤ ਟੀਕਾ ਲਗਾਉਣਾ ਅਤੇ ਸਿਸਟਮ ਤੁਰੰਤ ਲੀਕੇਜ, ਜਿੱਥੇ ਗੈਰ-ਭਰੋਸੇਯੋਗ ਸਮੱਗਰੀ ਇੱਕ AI ਮਾਡਲ ਦੇ ਵਿਵਹਾਰ ਨੂੰ ਹੇਰਾਫੇਰੀ ਕਰਦੀ ਹੈ
• ਅਸੁਰੱਖਿਅਤ MCP ਸੰਰਚਨਾ, ਜਿੱਥੇ ਇੱਕ ਜੁੜੇ ਹੋਏ ਟੂਲ ਜਾਂ ਸਰਵਰ ਨੂੰ ਜ਼ਹਿਰ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਉਸਦੀ ਨਕਲ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ
• ਬਹੁਤ ਜ਼ਿਆਦਾ ਏਜੰਸੀ, ਜਿੱਥੇ ਇੱਕ ਏਜੰਟ ਨੂੰ ਮਨੁੱਖੀ ਜਾਂਚ ਤੋਂ ਬਿਨਾਂ ਆਪਣੀਆਂ ਨਿਰਧਾਰਤ ਸੀਮਾਵਾਂ ਤੋਂ ਬਾਹਰ ਕੰਮ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਹੁੰਦੀ ਹੈ
• ਏਆਈ ਫਾਈਲਾਂ ਵਿੱਚ ਰਾਜ਼ਾਂ ਦਾ ਖੁਲਾਸਾ, ਜਿੱਥੇ API ਕੁੰਜੀਆਂ ਜਾਂ ਪ੍ਰਮਾਣ ਪੱਤਰ AI ਟੂਲਸ ਦੁਆਰਾ ਵਰਤੇ ਗਏ ਸੰਰਚਨਾ ਰਾਹੀਂ ਲੀਕ ਹੁੰਦੇ ਹਨ।
• ਕਮਜ਼ੋਰ ਜਾਂ ਭਰਮ ਵਾਲੀ AI ਨਿਰਭਰਤਾਵਾਂ, ਝੁਕ ਕੇ ਬੈਠਣਾ ਵੀ ਸ਼ਾਮਲ ਹੈ

ਇਹ ਜੋਖਮ ਸ਼੍ਰੇਣੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ, ਕਮਿਊਨਿਟੀ-ਸਮੀਖਿਆ ਕੀਤੇ ਫਰੇਮਵਰਕ ਨਾਲ ਮੇਲ ਖਾਂਦੀਆਂ ਹਨ, ਖਾਸ ਤੌਰ 'ਤੇ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਸਿਖਰਲੇ 10।

3. ਲਾਗੂਕਰਨ (Guardrails) #

ਅੰਤਿਮ ਪਰਤ ਅਸੁਰੱਖਿਅਤ AI ਵਿਵਹਾਰ ਨੂੰ ਲਾਗੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਰੋਕਦੀ ਹੈ: ਇੱਕ ਖਤਰਨਾਕ ਪੈਕੇਜ ਸਥਾਪਨਾ ਨੂੰ ਰੋਕਣਾ, ਕਿਸੇ ਹੁਨਰ ਜਾਂ ਨਿਯਮਾਂ ਦੀ ਫਾਈਲ ਨੂੰ ਭਰੋਸੇਯੋਗ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਪ੍ਰਮਾਣਿਤ ਕਰਨਾ, ਜਾਂ ਨੀਤੀ ਦੀ ਉਲੰਘਣਾ ਕਰਨ ਵਾਲੀ ਏਜੰਟ ਦੀ ਕਾਰਵਾਈ ਨੂੰ ਰੋਕਣਾ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ AI ਸੁਰੱਖਿਆ ਦ੍ਰਿਸ਼ਟੀ ਤੋਂ ਸਰਗਰਮ ਰੱਖਿਆ ਵੱਲ ਜਾਂਦੀ ਹੈ।

ਮੁੱਖ AI ਸੁਰੱਖਿਆ ਜੋਖਮ, ਪਰਿਭਾਸ਼ਿਤ #

ਏਆਈ ਸੁਰੱਖਿਆ ਢਾਂਚੇ ਅਤੇ Standards #

ਇਹ ਪ੍ਰਕਾਸ਼ਿਤ ਦੇ ਇੱਕ ਛੋਟੇ ਜਿਹੇ ਸਮੂਹ ਨਾਲ ਜੁੜਿਆ ਹੋਇਆ ਹੈ standardਕਿਸੇ ਇੱਕ ਵਿਕਰੇਤਾ ਦੇ ਵਰਗੀਕਰਨ ਦੀ ਬਜਾਏ:

• LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਸਿਖਰਲੇ 10 (2025): AI ਐਪਲੀਕੇਸ਼ਨ ਜੋਖਮਾਂ ਦੀ ਸਭ ਤੋਂ ਵੱਧ ਹਵਾਲਾ ਦਿੱਤੀ ਗਈ ਸੂਚੀ, ਜਿਸ ਵਿੱਚ ਤੁਰੰਤ ਟੀਕਾਕਰਨ, ਸੰਵੇਦਨਸ਼ੀਲ ਜਾਣਕਾਰੀ ਦਾ ਖੁਲਾਸਾ, ਸਪਲਾਈ ਚੇਨ ਜੋਖਮ, ਅਤੇ ਹੋਰ ਬਹੁਤ ਕੁਝ ਸ਼ਾਮਲ ਹੈ।
• NIST SP 800-218A: ਜਨਰੇਟਿਵ ਏਆਈ ਅਤੇ ਦੋਹਰੀ-ਵਰਤੋਂ ਵਾਲੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਸੁਰੱਖਿਅਤ ਸਾਫਟਵੇਅਰ ਵਿਕਾਸ ਅਭਿਆਸਾਂ ਲਈ ਮਾਰਗਦਰਸ਼ਨ।
• ਗਾਰਟਨਰ ਦਾ AI-SPM ਅਤੇ AI TRiSM: ਏਆਈ ਸੁਰੱਖਿਆ ਆਸਣ ਪ੍ਰਬੰਧਨ ਅਤੇ ਏਆਈ ਟਰੱਸਟ, ਜੋਖਮ ਅਤੇ ਸੁਰੱਖਿਆ ਪ੍ਰਬੰਧਨ ਦੇ ਵਿਆਪਕ ਅਨੁਸ਼ਾਸਨ ਲਈ ਵਿਸ਼ਲੇਸ਼ਕ-ਪ੍ਰਭਾਸ਼ਿਤ ਸ਼੍ਰੇਣੀਆਂ।

ਇਕੱਠੇ ਮਿਲ ਕੇ, ਇਹ ਸੰਗਠਨਾਂ ਨੂੰ ਇੱਕ ਸਾਂਝੀ ਸ਼ਬਦਾਵਲੀ ਦਿੰਦੇ ਹਨ ਕਿ "ਸੁਰੱਖਿਅਤ AI" ਦਾ ਅਸਲ ਅਰਥ ਕੀ ਹੈ, ਸਿਰਫ਼ ਮਾਰਕੀਟਿੰਗ ਪਰਿਭਾਸ਼ਾਵਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਨ ਦੀ ਬਜਾਏ।

ਏਆਈ ਸੁਰੱਖਿਆ ਬਨਾਮ ਸੰਬੰਧਿਤ ਸ਼ਰਤਾਂ #

• ਏਆਈ ਸੁਰੱਖਿਆ ਬਨਾਮ ਐਪਸੇਕ: ਐਪਸੇਕ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਅਤੇ ਇਸ ਦੀਆਂ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦਾ ਹੈ। ਇਹ ਏਆਈ ਮਾਡਲਾਂ, ਏਜੰਟਾਂ ਅਤੇ ਏਆਈ-ਵਿਸ਼ੇਸ਼ ਸੰਰਚਨਾ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦਾ ਹੈ ਜਿਸਦਾ ਨਿਰੀਖਣ ਕਰਨ ਲਈ ਐਪਸੇਕ ਟੂਲ ਨਹੀਂ ਬਣਾਏ ਗਏ ਸਨ।
• ਏਆਈ ਸੁਰੱਖਿਆ ਬਨਾਮ ਏਆਈ ਗਵਰਨੈਂਸ: ਗਵਰਨੈਂਸ ਉਹਨਾਂ ਨੀਤੀਆਂ ਅਤੇ ਪ੍ਰਵਾਨਗੀਆਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਜੋ ਕਿਸੇ ਸੰਗਠਨ ਨੂੰ AI ਵਰਤੋਂ ਲਈ ਲੋੜੀਂਦੀਆਂ ਹਨ। ਇਹ ਲਾਗੂ ਕਰਦਾ ਹੈ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ ਕਿ ਉਹ ਨੀਤੀਆਂ ਕੋਡ ਅਤੇ ਏਜੰਟ ਪੱਧਰ 'ਤੇ ਅਮਲ ਵਿੱਚ ਹਨ।
• ਏਆਈ ਸੁਰੱਖਿਆ ਬਨਾਮ ਐਮਐਲਸੈਕਓਪਸ: MLSecOps ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਜੀਵਨਚੱਕਰ (ਸਿਖਲਾਈ, ਡੇਟਾ, ਮਾਡਲ ਤੈਨਾਤੀ) ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ 'ਤੇ ਕੇਂਦ੍ਰਤ ਕਰਦਾ ਹੈ। ਇਹ ਵਿਆਪਕ ਹੈ, ਏਜੰਟਾਂ, ਕੋਡਿੰਗ ਸਹਾਇਕਾਂ, ਅਤੇ ਪ੍ਰੋਟੋਕੋਲਾਂ ਤੱਕ ਫੈਲਿਆ ਹੋਇਆ ਹੈ ਜੋ ਉਹਨਾਂ ਨੂੰ ਲਾਈਵ ਸਿਸਟਮਾਂ ਨਾਲ ਜੋੜਦੇ ਹਨ।

ਜ਼ਾਇਜੇਨੀ ਏਆਈ ਸੁਰੱਖਿਆ ਤੱਕ ਕਿਵੇਂ ਪਹੁੰਚ ਕਰਦਾ ਹੈ
#

ਜ਼ਾਇਗੇਨੀ ਦਾ ਏਆਈ ਸੁਰੱਖਿਆ ਉਤਪਾਦ ਇਸੇ ਖੋਜ, ਖੋਜ ਅਤੇ ਲਾਗੂ ਕਰਨ ਵਾਲੇ ਮਾਡਲ ਨੂੰ ਸਿੱਧੇ ਸਾਫਟਵੇਅਰ ਵਿਕਾਸ ਜੀਵਨ ਚੱਕਰ ਵਿੱਚ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਇਹ ਲਗਾਤਾਰ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਇੱਕ ਏਆਈ ਇਨਵੈਂਟਰੀ ਬਣਾਉਂਦਾ ਹੈ, ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਅਤੇ ਅਸੁਰੱਖਿਅਤ ਐਮਸੀਪੀ ਕੌਂਫਿਗਰੇਸ਼ਨ ਵਰਗੇ ਏਆਈ-ਵਿਸ਼ੇਸ਼ ਜੋਖਮਾਂ ਦਾ ਪਤਾ ਲਗਾਉਂਦਾ ਹੈ, ਅਤੇ ਹਰ ਖੋਜ ਨੂੰ ਐਲਐਲਐਮ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਓਡਬਲਯੂਏਐਸਪੀ ਟੌਪ 10 ਵਿੱਚ ਮੈਪ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਸੁਰੱਖਿਆ ਅਤੇ ਇੰਜੀਨੀਅਰਿੰਗ ਟੀਮਾਂ ਇੱਕ ਏਆਈ-ਬੀਓਐਮ ਅਤੇ ਇੱਕ ਜੋਖਮ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਕੰਮ ਕਰਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਇਹ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦੀ ਬਜਾਏ ਕਿ ਏਆਈ ਪਹਿਲਾਂ ਹੀ ਉਨ੍ਹਾਂ ਦੇ ਕੋਡ ਵਿੱਚ ਕੀ ਚੱਲ ਰਿਹਾ ਹੈ।

ਸਵਾਲ #