ਡਾਟਾ ਜ਼ਹਿਰ ਕੀ ਹੈ?

ਹਰੇਕ ਸੁਰੱਖਿਆ ਟੀਮ ਨੂੰ ਕੋਡ ਭੇਜਣ 'ਤੇ ਨਜ਼ਰ ਰੱਖਣ ਲਈ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਲਗਭਗ ਕਿਸੇ ਨੂੰ ਵੀ ਡੇਟਾ ਦੇ ਆਉਣ 'ਤੇ ਨਜ਼ਰ ਰੱਖਣ ਲਈ ਸਿਖਲਾਈ ਨਹੀਂ ਦਿੱਤੀ ਜਾਂਦੀ, ਅਤੇ ਉਹ ਅੰਨ੍ਹਾ ਸਥਾਨ ਬਿਲਕੁਲ ਉਹੀ ਹੁੰਦਾ ਹੈ ਜੋ ਡੇਟਾ ਜ਼ਹਿਰ ਦਾ ਸ਼ੋਸ਼ਣ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਤੱਕ ਇੱਕ ਜ਼ਹਿਰੀਲਾ ਮਾਡਲ ਉਤਪਾਦਨ 'ਤੇ ਪਹੁੰਚਦਾ ਹੈ, ਕਮਜ਼ੋਰੀ ਕਦੇ ਵੀ ਕੋਡ ਸਮੀਖਿਆ ਵਿੱਚ ਨਹੀਂ ਸੀ। ਇਹ ਇੱਕ ਡੇਟਾਸੈਟ ਵਿੱਚ ਸੀ ਜਿਸਦਾ ਕਿਸੇ ਨੇ ਵੀ ਮਹੀਨੇ ਪਹਿਲਾਂ ਆਡਿਟ ਨਹੀਂ ਕੀਤਾ ਸੀ।

ਇਹ ਸ਼ਬਦਾਵਲੀ ਐਂਟਰੀ ਦੱਸਦੀ ਹੈ ਕਿ ਡੇਟਾ ਜ਼ਹਿਰ ਕੀ ਹੈ, ਡੇਟਾ ਜ਼ਹਿਰ ਦੇ ਹਮਲੇ ਅਭਿਆਸ ਵਿੱਚ ਕਿਵੇਂ ਵਾਪਰਦੇ ਹਨ, ਏਆਈ ਡੇਟਾ ਜ਼ਹਿਰ ਕਿਉਂ ਇੱਕ ਬਣ ਗਿਆ ਹੈ ਏਆਈ-ਯੁੱਗ ਵਿੱਚ ਸਭ ਤੋਂ ਤੇਜ਼ੀ ਨਾਲ ਵਧ ਰਹੇ ਜੋਖਮ SDLC, ਅਤੇ ਇਸਦੇ ਵਿਰੁੱਧ ਅਸਲ ਬਚਾਅ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ।

ਡੇਟਾ ਪੋਇਜ਼ਨਿੰਗ ਦਾ ਅਰਥ #

ਡੇਟਾ ਜ਼ਹਿਰ ਇੱਕ AI ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ, ਸੁਧਾਰਨ ਜਾਂ ਜ਼ਮੀਨ 'ਤੇ ਰੱਖਣ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਡੇਟਾ ਦੀ ਜਾਣਬੁੱਝ ਕੇ ਹੇਰਾਫੇਰੀ ਹੈ, ਤਾਂ ਜੋ ਮਾਡਲ ਗਲਤ ਚੀਜ਼ ਸਿੱਖੇ, ਹਮਲਾਵਰ ਦੇ ਮਨਚਾਹੇ ਤਰੀਕੇ ਨਾਲ ਵਿਵਹਾਰ ਕਰੇ, ਜਾਂ ਅਜਿਹੀ ਜਾਣਕਾਰੀ ਲੀਕ ਕਰੇ ਜਿਸ ਨੂੰ ਇਸਨੂੰ ਕਦੇ ਵੀ ਪ੍ਰਗਟ ਨਹੀਂ ਕਰਨਾ ਚਾਹੀਦਾ। ਤੈਨਾਤੀ ਤੋਂ ਬਾਅਦ ਮਾਡਲ 'ਤੇ ਹਮਲਾ ਕਰਨ ਦੀ ਬਜਾਏ, ਇੱਕ ਹਮਲਾਵਰ ਉਸ ਕੱਚੇ ਮਾਲ 'ਤੇ ਹਮਲਾ ਕਰਦਾ ਹੈ ਜਿਸ ਤੋਂ ਮਾਡਲ ਬਣਾਇਆ ਗਿਆ ਹੈ।

ਡੇਟਾ ਜ਼ਹਿਰ ਦੇਣ ਦੇ ਪਿੱਛੇ ਮੁੱਖ ਵਿਚਾਰ ਸਰਲ ਅਤੇ ਬੇਚੈਨ ਕਰਨ ਵਾਲਾ ਹੈ: ਇੱਕ AI ਮਾਡਲ ਸਿਰਫ਼ ਓਨਾ ਹੀ ਭਰੋਸੇਯੋਗ ਹੁੰਦਾ ਹੈ ਜਿੰਨਾ ਇਸਨੇ ਸਿੱਖਿਆ ਡੇਟਾ। ਜੇਕਰ ਉਹ ਡੇਟਾ ਸਿਖਲਾਈ ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਭ੍ਰਿਸ਼ਟ, ਪੱਖਪਾਤੀ, ਜਾਂ ਬੂਬੀ-ਟ੍ਰੈਪਡ ਹੈ, ਤਾਂ ਕੋਡ ਸਮੀਖਿਆ, ਟੈਸਟਿੰਗ, ਜਾਂ ਰਨਟਾਈਮ ਨਿਗਰਾਨੀ ਡਾਊਨਸਟ੍ਰੀਮ ਦੀ ਕੋਈ ਵੀ ਮਾਤਰਾ ਅੰਤਰੀਵ ਨੁਕਸ ਨੂੰ ਨਹੀਂ ਫੜ ਸਕੇਗੀ, ਕਿਉਂਕਿ ਮਾਡਲ ਬਿਲਕੁਲ ਉਸੇ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ ਜਿਵੇਂ ਇਸਨੂੰ (ਦੁਰਭਾਵਨਾ ਨਾਲ) ਸਿਖਾਇਆ ਗਿਆ ਸੀ।

ਏਆਈ ਡੇਟਾ ਪੋਇਜ਼ਨਿੰਗ ਬਨਾਮ ਰਵਾਇਤੀ ਸਾਫਟਵੇਅਰ ਕਮਜ਼ੋਰੀਆਂ #

ਰਵਾਇਤੀ ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਕੋਡ ਵਿੱਚ ਖ਼ਤਰਾ ਮੰਨਦੀ ਹੈ: ਇੱਕ ਖਰਾਬ ਫੰਕਸ਼ਨ, ਇੱਕ ਅਣਪੈਚਡ ਲਾਇਬ੍ਰੇਰੀ, ਇੱਕ ਗਲਤ ਸੰਰਚਿਤ ਸਰਵਰ। AI ਡੇਟਾ ਜ਼ਹਿਰ ਇਸ ਧਾਰਨਾ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਤੋੜਦਾ ਹੈ। ਲੱਭਣ ਲਈ ਕੋਈ ਕਮਜ਼ੋਰ ਕੋਡ ਲਾਈਨ ਨਹੀਂ ਹੈ, ਕਿਉਂਕਿ ਭ੍ਰਿਸ਼ਟਾਚਾਰ ਕਿਸੇ ਵੀ ਕੋਡ ਨੂੰ ਲਿਖੇ ਜਾਣ ਜਾਂ ਕਿਸੇ ਵੀ ਮਾਡਲ ਨੂੰ ਤੈਨਾਤ ਕੀਤੇ ਜਾਣ ਤੋਂ ਬਹੁਤ ਪਹਿਲਾਂ ਇੱਕ ਸਿਖਲਾਈ ਸੈੱਟ, ਇੱਕ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾਸੈਟ, ਜਾਂ ਇੱਕ ਪ੍ਰਾਪਤੀ ਸੂਚਕਾਂਕ ਵਿੱਚ ਹੋਇਆ ਸੀ।

ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਪੁਰਾਣੇ ਟੂਲਸ ਨਾਲ ਏਆਈ ਡੇਟਾ ਜ਼ਹਿਰ ਨੂੰ ਫੜਨਾ ਵਿਲੱਖਣ ਤੌਰ 'ਤੇ ਮੁਸ਼ਕਲ ਹੈ। ਏ. SAST ਸਕੈਨਰ ਕੋਡ ਪੜ੍ਹਦਾ ਹੈ। ਇੱਕ ਨਿਰਭਰਤਾ ਸਕੈਨਰ ਪੈਕੇਜ ਮੈਨੀਫੈਸਟ ਪੜ੍ਹਦਾ ਹੈ। ਨਾ ਤਾਂ ਕੋਈ ਮਲਟੀ-ਗੀਗਾਬਾਈਟ ਟ੍ਰੇਨਿੰਗ ਕਾਰਪਸ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਨਾ ਹੀ ਏਮਬੈਡਡ ਦਸਤਾਵੇਜ਼ਾਂ ਨਾਲ ਭਰਿਆ ਵੈਕਟਰ ਡੇਟਾਬੇਸ, ਜੋ ਕਿ ਪਹਿਲਾਂ ਤੋਂ ਹੈcisਜਿੱਥੇ AI ਡੇਟਾ ਜ਼ਹਿਰ ਆਪਣਾ ਨੁਕਸਾਨ ਕਰਦਾ ਹੈ। ਸੁਰੱਖਿਆ ਖੋਜਕਰਤਾਵਾਂ ਅਤੇ ਜ਼ਿੰਮੇਵਾਰੀ ਨਾਲ ਖੁਲਾਸਾ ਕੀਤਾ ਗਿਆ ਹੈ। ਦੂਜਿਆਂ ਨੂੰ ਪਹਿਲਾਂ ਹਮਲਾਵਰਾਂ ਦੁਆਰਾ ਲੱਭਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਹਥਿਆਰਬੰਦ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਿ ਉਹ ਦ੍ਰਿਸ਼ ਹੈ ਜੋ ਸਭ ਤੋਂ ਵੱਧ ਨੁਕਸਾਨ ਦਾ ਕਾਰਨ ਬਣਦਾ ਹੈ।

ਡਾਟਾ ਜ਼ਹਿਰ ਦੇ ਹਮਲੇ ਅਸਲ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ? #

ਡਾਟਾ ਜ਼ਹਿਰ ਦੇ ਹਮਲੇ ਆਮ ਤੌਰ 'ਤੇ ਕੁਝ ਰੂਪਾਂ ਵਿੱਚੋਂ ਇੱਕ ਲੈਂਦੇ ਹਨ:

• ਸਿਖਲਾਈ ਡੇਟਾ ਜ਼ਹਿਰ: ਇੱਕ ਹਮਲਾਵਰ ਇੱਕ ਮਾਡਲ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਡੇਟਾਸੈਟ ਵਿੱਚ ਹੇਰਾਫੇਰੀ, ਗਲਤ ਲੇਬਲ ਵਾਲੀਆਂ, ਜਾਂ ਖਤਰਨਾਕ ਉਦਾਹਰਣਾਂ ਪਾਉਂਦਾ ਹੈ ਜਾਂ ਮੌਜੂਦਾ ਨੂੰ ਵਧੀਆ ਬਣਾਉਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਇੱਕ ਲੁਕਿਆ ਹੋਇਆ ਪੱਖਪਾਤ ਜਾਂ ਬੈਕਡੋਰ ਵਿਵਹਾਰ ਸਿੱਖਦਾ ਹੈ।
• ਲੇਬਲ ਫਲਿੱਪਿੰਗ: ਉਪਰੋਕਤ ਦਾ ਇੱਕ ਸੂਖਮ ਸੰਸਕਰਣ, ਜਿੱਥੇ ਇੱਕ ਹਮਲਾਵਰ ਸਿਖਲਾਈ ਉਦਾਹਰਣਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਜਿਹੇ ਉਪ ਸਮੂਹ 'ਤੇ ਸਿਰਫ਼ ਲੇਬਲ ਬਦਲਦਾ ਹੈ, ਚੁੱਪਚਾਪ ਮਾਡਲ ਦੁਆਰਾ ਸਿੱਖੀਆਂ ਗਈਆਂ ਗੱਲਾਂ ਨੂੰ ਕਿਸ ਨਾਲ ਜੋੜਨਾ ਹੈ, ਨੂੰ ਬਦਲਦਾ ਹੈ।
• ਆਰਏਜੀ ਅਤੇ ਸੰਦਰਭ ਜ਼ਹਿਰ: ਪ੍ਰਾਪਤੀ-ਵਧਾਈ ਗਈ ਪੀੜ੍ਹੀ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ, ਇੱਕ ਹਮਲਾਵਰ ਜ਼ਹਿਰੀਲੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਗਿਆਨ ਅਧਾਰ ਜਾਂ ਵੈਕਟਰ ਸਟੋਰ ਵਿੱਚ ਲਗਾਉਂਦਾ ਹੈ ਜਿਸ ਤੋਂ ਮਾਡਲ ਰਨਟਾਈਮ 'ਤੇ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਮਾਡਲ ਭਰੋਸੇ ਨਾਲ ਗਲਤ ਜਾਂ ਹੇਰਾਫੇਰੀ ਕੀਤੀ ਜਾਣਕਾਰੀ ਨੂੰ ਦੁਹਰਾਉਂਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਇਹ ਪ੍ਰਮਾਣਿਤ ਤੱਥ ਹੋਵੇ।
• ਬੈਕਡੋਰ ਟਰਿੱਗਰ: ਇੱਕ ਹਮਲਾਵਰ ਏਮਬੇਡ ਕਰਦਾ ਹੈ a ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ ਖਾਸ ਪੈਟਰਨ ਤਾਂ ਜੋ ਮਾਡਲ ਲਗਭਗ ਹਰ ਮਾਮਲੇ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਵਿਵਹਾਰ ਕਰੇ, ਪਰ ਹਮਲਾਵਰ ਦੁਆਰਾ ਚੁਣਿਆ ਗਿਆ ਆਉਟਪੁੱਟ ਉਸ ਸਮੇਂ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜਦੋਂ ਇੱਕ ਲੁਕਿਆ ਹੋਇਆ ਟਰਿੱਗਰ ਵਾਕੰਸ਼ ਜਾਂ ਇਨਪੁੱਟ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ।
• ਸਪਲਾਈ ਚੇਨ ਜ਼ਹਿਰ: ਇੱਕ ਹਮਲਾਵਰ ਇੱਕ ਜਨਤਕ ਜਾਂ ਸਾਂਝੇ ਡੇਟਾਸੈੱਟ ਨਾਲ ਸਮਝੌਤਾ ਕਰਦਾ ਹੈ, ਇੱਕ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਚੈੱਕਪੁਆਇੰਟ, ਜਾਂ ਇੱਕ ਏਮਬੈਡਿੰਗ pipeline ਉੱਪਰ ਵੱਲ, ਤਾਂ ਜੋ ਇਸ ਤੋਂ ਖਿੱਚਣ ਵਾਲੀ ਹਰ ਡਾਊਨਸਟ੍ਰੀਮ ਟੀਮ ਨੂੰ ਅਸਲ ਹਮਲੇ ਨੂੰ ਛੂਹਣ ਤੋਂ ਬਿਨਾਂ ਜ਼ਹਿਰ ਵਿਰਾਸਤ ਵਿੱਚ ਮਿਲ ਸਕੇ।

ਇਹਨਾਂ ਸਾਰੇ ਡੇਟਾ ਜ਼ਹਿਰੀਲੇ ਹਮਲਿਆਂ ਨੂੰ ਜੋ ਜੋੜਦਾ ਹੈ ਉਹ ਸਮਾਂ ਹੈ। ਨੁਕਸਾਨ ਮਾਡਲ ਦੁਆਰਾ ਅਸਲ ਉਪਭੋਗਤਾ ਦੇ ਜਵਾਬ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਹੋ ਜਾਂਦਾ ਹੈ, ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ "ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਇਹ ਕੋਡ ਦੀ ਇੱਕ ਲਾਈਨ ਲਿਖਦਾ ਹੈ" ਵਾਕੰਸ਼ ਇਸ ਖ਼ਤਰੇ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।cisely: ਮਾਡਲ ਨੂੰ ਇਸਦੀ ਬੁਨਿਆਦ 'ਤੇ ਸਮਝੌਤਾ ਕੀਤਾ ਗਿਆ ਹੈ, ਇਸਦੇ ਆਉਟਪੁੱਟ 'ਤੇ ਨਹੀਂ।

ਹਮਲਾਵਰ ਇੱਕ AI ਮਾਡਲ ਨੂੰ ਕੋਡ ਦੀ ਲਾਈਨ ਲਿਖਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਕਿਵੇਂ ਭ੍ਰਿਸ਼ਟ ਕਰ ਦਿੰਦੇ ਹਨ? #

ਉੱਪਰ ਦੱਸੇ ਗਏ ਹਰੇਕ ਡੇਟਾ ਜ਼ਹਿਰੀਲੇ ਹਮਲੇ ਦਾ ਸਮਾਂ ਇੱਕੋ ਜਿਹਾ ਹੁੰਦਾ ਹੈ: ਸਮਝੌਤਾ ਉੱਪਰ ਵੱਲ ਹੁੰਦਾ ਹੈ, ਇੱਕ ਮਾਡਲ ਇੱਕ ਸਿੰਗਲ ਆਉਟਪੁੱਟ ਤਿਆਰ ਕਰਨ ਤੋਂ ਬਹੁਤ ਪਹਿਲਾਂ ਜੋ ਇੱਕ ਉਪਭੋਗਤਾ ਕਦੇ ਦੇਖੇਗਾ। ਪੈਚ ਕਰਨ ਲਈ ਕੋਈ ਕਮਜ਼ੋਰ ਫੰਕਸ਼ਨ ਨਹੀਂ ਹੈ ਅਤੇ ਕੋਈ ਖਤਰਨਾਕ ਨਹੀਂ ਹੈ commit ਸਮੀਖਿਆ ਵਿੱਚ ਫੜਨ ਲਈ, ਕਿਉਂਕਿ ਮਾਡਲ ਨੇ ਅਜੇ ਤੱਕ ਕੁਝ ਨਹੀਂ ਲਿਖਿਆ ਹੈ। ਇਸਨੇ ਸਿਰਫ਼ ਸਿੱਖਿਆ ਹੈ, ਅਤੇ ਜੋ ਸਿੱਖਿਆ ਹੈ ਉਹ ਪਹਿਲਾਂ ਹੀ ਗਲਤ ਹੈ।

ਇਹੀ ਉਹ ਚੀਜ਼ ਹੈ ਜੋ AI ਡੇਟਾ ਜ਼ਹਿਰ ਨੂੰ ਉਹਨਾਂ ਕਮਜ਼ੋਰੀਆਂ ਤੋਂ ਬੁਨਿਆਦੀ ਤੌਰ 'ਤੇ ਵੱਖਰਾ ਬਣਾਉਂਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਦਾ ਸ਼ਿਕਾਰ ਕਰਨ ਲਈ ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਟੀਮਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਇੱਕ ਬੈਕਡੋਰ ਵਾਲਾ ਮਾਡਲ ਇੱਕ ਕੋਡ ਡਿਫਰੈਂਸ਼ ਵਿੱਚ ਇੱਕ ਸਾਫ਼ ਮਾਡਲ ਵਰਗਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਇਹ ਇੱਕ pull request ਸਮੀਖਿਆ। ਇਹ ਜ਼ਿਆਦਾਤਰ ਸਵਾਲਾਂ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਕੰਪਾਇਲ, ਤੈਨਾਤ ਅਤੇ ਜਵਾਬ ਦਿੰਦਾ ਹੈ, ਜਦੋਂ ਤੱਕ ਕਿ ਹਮਲਾਵਰ ਦੁਆਰਾ ਲਗਾਈ ਗਈ ਖਾਸ ਸਥਿਤੀ ਅੰਤ ਵਿੱਚ ਉਤਪਾਦਨ ਵਿੱਚ ਦਿਖਾਈ ਨਹੀਂ ਦਿੰਦੀ। ਉਦੋਂ ਤੱਕ, ਸਵਾਲ ਹੁਣ "ਇਸ ਨੂੰ ਕਿਸ ਕੋਡ ਨੇ ਪੇਸ਼ ਕੀਤਾ" ਨਹੀਂ ਹੈ, ਇਹ ਹੈ "ਡੇਟਾ ਕੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹ ਕਿੰਨਾ ਪਿੱਛੇ ਜਾਂਦਾ ਹੈ।"

ਏਆਈ ਡੇਟਾ ਜ਼ਹਿਰੀਕਰਨ ਕਿਉਂ ਵੱਧ ਰਹੀ ਤਰਜੀਹ ਹੈ? #

ਏਆਈ ਡੇਟਾ ਜ਼ਹਿਰ ਹੁਣ ਇੱਕ ਸਿਧਾਂਤਕ ਚਿੰਤਾ ਨਹੀਂ ਹੈ। ਇਸਨੂੰ ਰਸਮੀ ਤੌਰ 'ਤੇ ਮਾਨਤਾ ਪ੍ਰਾਪਤ ਹੈ LLM04: ਡੇਟਾ ਅਤੇ ਮਾਡਲ ਜ਼ਹਿਰ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਟੌਪ 10 ਵਿੱਚ, ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਅਤੇ ਸਪਲਾਈ ਚੇਨ ਜੋਖਮ ਦੇ ਨਾਲ-ਨਾਲ ਜਨਰੇਟਿਵ AI ਯੁੱਗ ਦੇ ਪਰਿਭਾਸ਼ਿਤ ਖਤਰਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਵਜੋਂ ਬੈਠਾ ਹੈ। ਤਿੰਨ ਰੁਝਾਨ ਇਸਨੂੰ ਹਰੇਕ ਸੁਰੱਖਿਆ ਟੀਮ ਦੇ ਰਾਡਾਰ 'ਤੇ ਉੱਚਾ ਚੁੱਕ ਰਹੇ ਹਨ:

• ਨੁਕਸਾਨ ਉਦੋਂ ਤੱਕ ਅਦਿੱਖ ਰਹਿੰਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਇਹ ਚਾਲੂ ਨਹੀਂ ਹੁੰਦਾ। ਇੱਕ ਜ਼ਹਿਰੀਲਾ ਮਾਡਲ ਹਰ ਕਾਰਜਸ਼ੀਲ ਟੈਸਟ ਪਾਸ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਮਹੀਨਿਆਂ ਤੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਿਵਹਾਰ ਕਰ ਸਕਦਾ ਹੈ, ਜਦੋਂ ਤੱਕ ਹਮਲਾਵਰ ਦੁਆਰਾ ਲਗਾਈ ਗਈ ਖਾਸ ਟਰਿੱਗਰ ਸਥਿਤੀ ਅੰਤ ਵਿੱਚ ਉਤਪਾਦਨ ਵਿੱਚ ਪ੍ਰਗਟ ਨਹੀਂ ਹੁੰਦੀ।

• ਪ੍ਰਾਪਤੀ-ਵਧਾਈ ਗਈ ਪੀੜ੍ਹੀ ਹਰ ਜਗ੍ਹਾ ਹੈ। ਕੋਈ ਵੀ ਸਿਸਟਮ ਜੋ ਇੱਕ ਮਾਡਲ ਨੂੰ ਦਸਤਾਵੇਜ਼ਾਂ, ਵਿਕੀ, ਟਿਕਟਾਂ, ਜਾਂ ਵੈਕਟਰ ਡੇਟਾਬੇਸ ਤੋਂ ਲਾਈਵ ਸੰਦਰਭ ਕੱਢਣ ਦਿੰਦਾ ਹੈ, ਉਸਦੀ ਇੱਕ ਨਵੀਂ, ਅਣ-ਆਡਿਟ ਕੀਤੀ ਇਨਪੁੱਟ ਸਤਹ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਉਹ ਸਤਹ ਬਿਲਕੁਲ ਉਹੀ ਹੁੰਦੀ ਹੈ ਜਿਸਨੂੰ ਡੇਟਾ ਪੋਇਜ਼ਨਿੰਗ ਹਮਲੇ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦੇ ਹਨ।

• ਡੇਟਾਸੈੱਟ ਹੁਣ ਸਪਲਾਈ ਚੇਨ ਸੰਪਤੀਆਂ ਹਨ। ਟੀਮਾਂ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲਾਂ, ਏਮਬੈਡਿੰਗਾਂ, ਅਤੇ ਜਨਤਕ ਡੇਟਾਸੈੱਟਾਂ ਨੂੰ ਬਾਹਰੀ ਸਰੋਤਾਂ ਤੋਂ ਉਸੇ ਤਰ੍ਹਾਂ ਖਿੱਚਦੀਆਂ ਹਨ ਜਿਵੇਂ ਉਹ ਓਪਨ-ਸੋਰਸ ਪੈਕੇਜਾਂ ਨੂੰ ਖਿੱਚਦੀਆਂ ਹਨ, ਅਤੇ ਇੱਕ ਸਮਝੌਤਾ ਕੀਤੇ ਪੈਕੇਜ ਵਾਂਗ, ਇੱਕ ਸਮਝੌਤਾ ਕੀਤੇ ਡੇਟਾਸੈੱਟ ਹਮਲੇ ਨੂੰ ਚੁੱਪਚਾਪ ਹਰ ਟੀਮ ਵਿੱਚ ਲੈ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਇਸਨੂੰ ਵਰਤਦੀ ਹੈ।

ਡੇਟਾ ਜ਼ਹਿਰ ਦਾ ਪਤਾ ਲਗਾਉਣਾ ਅਤੇ ਬਚਾਅ ਕਰਨਾ #

ਕਿਉਂਕਿ ਡੇਟਾ ਜ਼ਹਿਰ ਮਾਡਲ ਦੇ ਉੱਪਰ ਵੱਲ ਹੁੰਦਾ ਹੈ, ਇਸ ਲਈ ਰੱਖਿਆ ਨੂੰ ਵੀ ਉੱਪਰ ਵੱਲ ਸ਼ੁਰੂ ਕਰਨਾ ਪੈਂਦਾ ਹੈ:

• ਸਿਰਫ਼ ਅਸੰਗਤ ਕੋਡ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਅਸੰਗਤ ਡੇਟਾ ਸਰੋਤਾਂ 'ਤੇ ਨਜ਼ਰ ਰੱਖੋ। ਵਿਵਹਾਰਕ ਅਤੇ ਵਿਗਾੜਾਂ ਦੀ ਖੋਜ ਨੂੰ ਉਸ ਥਾਂ ਤੱਕ ਵਧਾਉਣ ਦੀ ਲੋੜ ਹੈ ਜਿੱਥੇ ਡੇਟਾ ਦਾਖਲ ਹੁੰਦਾ ਹੈ pipeline, ਰਿਪੋਜ਼ਟਰੀ ਸੀਮਾ 'ਤੇ ਨਹੀਂ ਰੁਕਦੇ।

• ਵਿੱਚ ਹਰੇਕ ਡੇਟਾਸੈਟ ਨੂੰ ਜਾਣੋ pipeline. ਤੁਸੀਂ ਕਿਸੇ ਅਜਿਹੇ ਡੇਟਾਸੈੱਟ ਵਿੱਚ ਜ਼ਹਿਰ ਦੇ ਜੋਖਮ ਦਾ ਆਡਿਟ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜਿਸ ਬਾਰੇ ਤੁਸੀਂ ਨਹੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਮੌਜੂਦ ਹੈ। ਸਿਖਲਾਈ, ਮੁਲਾਂਕਣ, ਅਤੇ ਪ੍ਰਾਪਤੀ ਡੇਟਾਸੈੱਟਾਂ ਦੀ ਨਿਰੰਤਰ ਖੋਜ ਬਚਾਅ ਦੀ ਪਹਿਲੀ ਲਾਈਨ ਹੈ।

• ਡੇਟਾਸੈੱਟ ਤੋਂ ਮਾਡਲ ਅਤੇ ਆਉਟਪੁੱਟ ਤੱਕ ਦੇ ਵੰਸ਼ ਨੂੰ ਟ੍ਰੇਸ ਕਰੋ। ਇੱਕ ਡੇਟਾਸੈਟ ਨੂੰ ਇੱਕ ਮਾਡਲ ਵਿੱਚ, ਅਤੇ ਇੱਕ ਮਾਡਲ ਤੋਂ ਇੱਕ ਏਜੰਟ, ਇੱਕ ਐਂਡਪੁਆਇੰਟ, ਜਾਂ ਇੱਕ ਕੋਡਿੰਗ ਟੂਲ ਵਿੱਚ ਲੈ ਜਾਣ ਵਾਲੇ ਰਸਤੇ ਦੀ ਮੈਪਿੰਗ, "ਸਾਨੂੰ ਮਾੜਾ ਆਉਟਪੁੱਟ ਮਿਲਿਆ" ਨੂੰ "ਸਾਨੂੰ ਪਤਾ ਹੈ ਕਿ ਇਸਨੂੰ ਕਿਸ ਡੇਟਾਸੈਟ ਨੇ ਪੇਸ਼ ਕੀਤਾ ਹੈ" ਵਿੱਚ ਬਦਲ ਦਿੰਦੀ ਹੈ।

• ਸਿਰਫ਼ ਸਿਖਲਾਈ ਸੈੱਟਾਂ ਦੀ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਪ੍ਰਾਪਤੀ ਸਰੋਤਾਂ ਦੀ ਵੀ ਜਾਂਚ ਕਰੋ। RAG ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ, ਵੈਕਟਰ ਸਟੋਰ ਅਤੇ ਗਿਆਨ ਅਧਾਰ ਨੂੰ ਸਿਖਲਾਈ ਡੇਟਾ ਵਾਂਗ ਹੀ ਇਕਸਾਰਤਾ ਜਾਂਚਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਕਿਉਂਕਿ ਸੰਦਰਭ ਜ਼ਹਿਰ ਪੁੱਛਗਿੱਛ ਸਮੇਂ ਹੁੰਦਾ ਹੈ, ਸਿਖਲਾਈ ਸਮੇਂ ਨਹੀਂ।

ਜ਼ਾਇਗੇਨੀ ਡੇਟਾ ਪੋਇਜ਼ਨਿੰਗ ਗੈਪ ਨੂੰ ਕਿਵੇਂ ਬੰਦ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ? #

ਡੇਟਾ ਜ਼ਹਿਰ ਤੋਂ ਬਚਾਅ ਉਸ ਦ੍ਰਿਸ਼ਟੀ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ ਜੋ ਜ਼ਿਆਦਾਤਰ ਸੰਗਠਨਾਂ ਕੋਲ ਨਹੀਂ ਹੁੰਦੀ। ਜ਼ਾਇਗੇਨੀ's AI ਇਨਵੈਂਟਰੀ ਲਗਾਤਾਰ ਹਰ AI ਸੰਪਤੀ ਨੂੰ ਖੋਜਦੀ ਰਹਿੰਦੀ ਹੈ SDLC, ਇਸਦੇ ਪਿੱਛੇ ਡੇਟਾਸੈੱਟਾਂ ਸਮੇਤ: ਸਿਖਲਾਈ ਡੇਟਾ, ਮੁਲਾਂਕਣ ਸੈੱਟ, ਅਤੇ RAG ਜਾਂ ਪ੍ਰਾਪਤੀ ਸਰੋਤ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਡੇਟਾਸੈਟ ਤੋਂ ਮਾਡਲ ਤੋਂ ਅੰਤਮ ਬਿੰਦੂ ਤੱਕ ਚੱਲ ਰਹੇ ਲਾਈਵ ਰਿਲੇਸ਼ਨਸ਼ਿਪ ਗ੍ਰਾਫ ਵਿੱਚ ਮੈਪ ਕਰਦਾ ਹੈ। ਏਜੰਟ ਤੋਂ MCP ਸਰਵਰ ਤੱਕ ਕੋਡਿੰਗ ਟੂਲ ਨੂੰ। ਉਹ ਗ੍ਰਾਫ਼ ਉਹ ਹੈ ਜੋ ਇੱਕ ਸ਼ੱਕੀ ਮਾਡਲ ਆਉਟਪੁੱਟ ਨੂੰ ਇੱਕ ਟਰੇਸੇਬਲ ਸਵਾਲ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ: ਕਿਸ ਡੇਟਾਸੈੱਟ ਨੇ ਇਸਨੂੰ ਫੀਡ ਕੀਤਾ, ਅਤੇ ਇਹ ਕਿੱਥੋਂ ਆਇਆ।

ਉਸ ਵਸਤੂ ਸੂਚੀ ਦੇ ਉੱਪਰ, ਜ਼ਾਇਗੇਨੀ ਦਾ AI ਸੁਰੱਖਿਆ ਵੈਕਟਰ ਅਤੇ ਏਮਬੈਡਿੰਗ ਕਮਜ਼ੋਰੀਆਂ ਦਾ ਪਤਾ ਲਗਾਉਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਪ੍ਰਾਪਤੀ ਅਤੇ RAG ਵਿੱਚ ਜ਼ਹਿਰੀਲੇ ਸੰਦਰਭ ਸ਼ਾਮਲ ਹਨ। pipelines, ਨਾਲ ਇਕਸਾਰ LLM ਅਰਜ਼ੀਆਂ ਲਈ OWASP ਸਿਖਰਲੇ 10। ਇਹ ਭਰੋਸਾ ਕਰਨ ਦੀ ਬਜਾਏ ਕਿ ਇੱਕ ਮਾਡਲ ਦੇ ਸਿਖਲਾਈ ਅਤੇ ਪ੍ਰਾਪਤੀ ਸਰੋਤ ਸਾਫ਼ ਹਨ, Xygeni ਉਹਨਾਂ ਨੂੰ ਹਮਲੇ ਦੀ ਸਤ੍ਹਾ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਮੰਨਦਾ ਹੈ, ਉਸੇ ਤਰ੍ਹਾਂ ਜਿਵੇਂ ਇਹ ਪਹਿਲਾਂ ਹੀ ਕੋਡ, ਨਿਰਭਰਤਾਵਾਂ, ਅਤੇ pipelines. ਜੇਕਰ ਤੁਸੀਂ ਇਸ ਵੇਲੇ "ਇਸ ਮਾਡਲ ਨੂੰ ਕਿਹੜੇ ਡੇਟਾ ਨੇ ਸਿਖਲਾਈ ਦਿੱਤੀ, ਅਤੇ ਕੀ ਅਸੀਂ ਇਸਨੂੰ ਸਾਬਤ ਕਰ ਸਕਦੇ ਹਾਂ" ਦਾ ਜਵਾਬ ਨਹੀਂ ਦੇ ਸਕਦੇ, ਤਾਂ ਇਹ ਉਹ ਸਹੀ ਪਾੜਾ ਹੈ ਜੋ AI ਡੇਟਾ ਜ਼ਹਿਰ ਦੀ ਘਟਨਾ ਤੋਂ ਪਹਿਲਾਂ ਪੂਰਾ ਕਰਨ ਦੇ ਯੋਗ ਹੈ, ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਸਵਾਲ ਉੱਠੇ।

ਸਵਾਲ #