ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਕੀ ਹੈ?

ਜੇਕਰ ਤੁਹਾਨੂੰ ਪੁੱਛਿਆ ਗਿਆ ਹੈ ਕਿ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਕੀ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਅੱਧਾ ਜਵਾਬ ਮਿਲਿਆ ਹੈ, ਤਾਂ ਇੱਥੇ ਛੋਟਾ ਸੰਸਕਰਣ ਹੈ: ਇਹ ਇੱਕ ਹਮਲਾ ਤਕਨੀਕ ਹੈ ਜਿੱਥੇ ਇੱਕ AI ਮਾਡਲ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਖਤਰਨਾਕ ਜਾਂ ਹੇਰਾਫੇਰੀ ਵਾਲਾ ਟੈਕਸਟ ਇਨਪੁਟ ਵਿੱਚ ਖਿਸਕ ਜਾਂਦਾ ਹੈ, ਇਸਨੂੰ ਇਸਦੇ ਅਸਲ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨ ਅਤੇ ਹਮਲਾਵਰ ਦੀ ਪਾਲਣਾ ਕਰਨ ਲਈ ਧੋਖਾ ਦਿੰਦਾ ਹੈ। ਇਹ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਦੇ ਅਰਥ ਦਾ ਮੂਲ ਹੈ: ਇਹ ਕੋਡ ਵਿੱਚ ਕੋਈ ਬੱਗ ਨਹੀਂ ਹੈ, ਇਹ ਇੱਕ ਹਮਲਾ ਹੈ ਜੋ ਰਵਾਇਤੀ ਸ਼ੋਸ਼ਣ ਕੋਡ ਦੀ ਬਜਾਏ ਆਮ ਭਾਸ਼ਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲ ਦੇ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਹਾਈਜੈਕ ਕਰਦਾ ਹੈ।

ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਦਾ ਅਰਥ, ਸਾਦੇ ਸ਼ਬਦਾਂ ਵਿੱਚ #

ਟੀਕੇ ਦੇ ਸ਼ਬਦ-ਦਰ-ਸ਼ਬਦ ਅਰਥ ਨੂੰ ਤੋੜਨ ਨਾਲ ਇਸਨੂੰ ਚਿਪਕਣ ਵਿੱਚ ਮਦਦ ਮਿਲਦੀ ਹੈ:

• ਪੁੱਛੋ: ਇੱਕ AI ਮਾਡਲ ਵਿੱਚ ਫੀਡ ਕੀਤੇ ਗਏ ਨਿਰਦੇਸ਼ ਅਤੇ ਸੰਦਰਭ, ਭਾਵੇਂ ਕਿਸੇ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਸਿੱਧੇ ਟਾਈਪ ਕੀਤੇ ਗਏ ਹੋਣ ਜਾਂ ਕਿਸੇ ਦਸਤਾਵੇਜ਼, ਵੈੱਬਪੇਜ, ਜਾਂ API ਜਵਾਬ ਤੋਂ ਆਪਣੇ ਆਪ ਖਿੱਚੇ ਗਏ ਹੋਣ।
• ਟੀਕਾ: ਕੁਝ ਅਜਿਹਾ ਪਾਉਣਾ ਜੋ ਉੱਥੇ ਹੋਣਾ ਹੀ ਨਹੀਂ ਸੀ, SQL ਇੰਜੈਕਸ਼ਨ ਵਰਗੇ ਹੀ ਤਰਕ ਤੋਂ ਉਧਾਰ ਲਿਆ ਗਿਆ ਹੈ, ਜਿੱਥੇ ਗੈਰ-ਭਰੋਸੇਯੋਗ ਇਨਪੁੱਟ ਨੂੰ ਸਾਦੇ ਡੇਟਾ ਦੀ ਬਜਾਏ ਇੱਕ ਕਮਾਂਡ ਵਜੋਂ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।

ਇਸ ਲਈ ਜਦੋਂ ਕੋਈ ਪੁੱਛਦਾ ਹੈ ਕਿ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਕੀ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਸਭ ਤੋਂ ਸਰਲ ਜਵਾਬ ਹੁੰਦਾ ਹੈ: ਇਹ ਉਦੋਂ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਇੱਕ AI ਮਾਡਲ ਆਪਣੇ ਡਿਵੈਲਪਰ ਦੁਆਰਾ ਦਿੱਤੀਆਂ ਗਈਆਂ ਹਦਾਇਤਾਂ ਅਤੇ ਇਸਦੀ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾ ਰਹੀ ਸਮੱਗਰੀ ਦੇ ਅੰਦਰ ਛੁਪੀਆਂ ਹਦਾਇਤਾਂ ਵਿੱਚ ਅੰਤਰ ਨਹੀਂ ਦੱਸ ਸਕਦਾ।

ਇਸ ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਕੀ ਸ਼ਾਮਲ ਹੈ? #

ਜ਼ਿਆਦਾਤਰ ਅਸਲ-ਸੰਸਾਰ ਦੇ ਮਾਮਲੇ ਇਹਨਾਂ ਮੁੱਖ ਸ਼੍ਰੇਣੀਆਂ ਵਿੱਚ ਆਉਂਦੇ ਹਨ:

• ਸਿੱਧਾ ਪ੍ਰੋਂਪਟ ਟੀਕਾ: ਹਮਲਾਵਰ ਸਿੱਧੇ ਚੈਟ ਜਾਂ ਇਨਪੁਟ ਖੇਤਰ ਵਿੱਚ ਖਤਰਨਾਕ ਹਦਾਇਤ ਟਾਈਪ ਕਰਦਾ ਹੈ, ਖੁੱਲ੍ਹੇਆਮ ਮਾਡਲ ਨੂੰ ਇਸਦੇ ਪੁਰਾਣੇ ਨਿਯਮਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ ("ਸਾਰੇ ਪਿਛਲੀਆਂ ਹਦਾਇਤਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ ਅਤੇ...")।
• ਅਸਿੱਧੇ ਤੌਰ 'ਤੇ ਤੁਰੰਤ ਟੀਕਾ ਲਗਾਉਣਾ: ਖਤਰਨਾਕ ਹਦਾਇਤ ਉਸ ਸਮੱਗਰੀ ਦੇ ਅੰਦਰ ਲੁਕੀ ਹੁੰਦੀ ਹੈ ਜਿਸਨੂੰ ਮਾਡਲ ਬਾਅਦ ਵਿੱਚ ਪੜ੍ਹਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਇੱਕ ਵੈੱਬਪੇਜ, PDF, ਈਮੇਲ, ਜਾਂ ਕੋਡ ਟਿੱਪਣੀ, ਅਤੇ ਇਹ ਸਿਰਫ਼ ਉਦੋਂ ਹੀ ਕਿਰਿਆਸ਼ੀਲ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਮਾਡਲ ਉਸ ਸਮੱਗਰੀ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ, ਉਸ ਸਮੇਂ ਕੋਈ ਹਮਲਾਵਰ ਮੌਜੂਦ ਨਹੀਂ ਹੁੰਦਾ।
• ਜੇਲ੍ਹਬ੍ਰੇਕ-ਸ਼ੈਲੀ ਦਾ ਟੀਕਾ: ਇੰਜੈਕਸ਼ਨ ਦਾ ਇੱਕ ਖਾਸ ਸੁਆਦ ਜੋ ਮਾਡਲ ਦੀ ਸੁਰੱਖਿਆ ਨੂੰ ਪਾਰ ਕਰਨ ਲਈ ਰੋਲ-ਪਲੇ, ਕਾਲਪਨਿਕ ਫਰੇਮਿੰਗ, ਜਾਂ ਏਨਕੋਡਿੰਗ ਟ੍ਰਿਕਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। guardrails ਖਾਸ ਤੌਰ 'ਤੇ, ਇਸਦੇ ਕੰਮ ਨੂੰ ਹਾਈਜੈਕ ਕਰਨ ਦੀ ਬਜਾਏ।

ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਬਨਾਮ ਜੇਲ੍ਹਬ੍ਰੇਕਿੰਗ: ਕੀ ਫਰਕ ਹੈ? #

ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਕੀ ਹੈ ਇਸਦਾ ਇੱਕ ਆਮ ਫਾਲੋ-ਅੱਪ ਇਹ ਹੈ ਕਿ ਇਹ ਜੇਲ੍ਹਬ੍ਰੇਕਿੰਗ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ। ਦੋਵੇਂ ਓਵਰਲੈਪ ਹੁੰਦੇ ਹਨ ਪਰ ਇੱਕੋ ਜਿਹੇ ਨਹੀਂ ਹਨ। ਜੇਲ੍ਹਬ੍ਰੇਕਿੰਗ ਖਾਸ ਤੌਰ 'ਤੇ ਇੱਕ ਮਾਡਲ ਦੀ ਸੁਰੱਖਿਆ ਨੂੰ ਬਾਈਪਾਸ ਕਰਨ ਬਾਰੇ ਹੈ ਅਤੇ ਸਮੱਗਰੀ ਨੂੰ guardrails, ਇਸਨੂੰ ਕੁਝ ਅਜਿਹਾ ਕਹਿਣ ਜਾਂ ਪੈਦਾ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਨਾ ਜਿਸਨੂੰ ਇਨਕਾਰ ਕਰਨ ਲਈ ਇਸਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ। ਤੁਰੰਤ ਟੀਕਾ ਲਗਾਉਣਾ ਵਿਆਪਕ ਹੈ: ਇਹ ਮਾਡਲ ਦੇ ਨਿਰਦੇਸ਼ਾਂ ਜਾਂ ਕੰਮ ਨੂੰ ਹਾਈਜੈਕ ਕਰਨ ਬਾਰੇ ਹੈ, ਜਿਸ ਵਿੱਚ ਸੁਰੱਖਿਆ ਸ਼ਾਮਲ ਹੋ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ ਵੀ ਹੋ ਸਕਦੀ ਹੈ। guardrails ਬਿਲਕੁਲ ਵੀ ਨਹੀਂ। ਇੱਕ ਸਹਾਇਤਾ ਟਿਕਟ ਵਿੱਚ ਛੁਪਿਆ ਇੱਕ ਅਸਿੱਧਾ ਟੀਕਾ ਜੋ ਚੁੱਪਚਾਪ ਇੱਕ ਗਾਹਕ-ਸੇਵਾ ਏਜੰਟ ਨੂੰ ਇੱਕ ਉਪਭੋਗਤਾ ਦੇ ਡੇਟਾ ਨੂੰ ਕਿਸੇ ਬਾਹਰੀ ਪਤੇ 'ਤੇ ਈਮੇਲ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਕੁਝ ਵੀ ਜੇਲ੍ਹਬ੍ਰੇਕ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰ ਰਿਹਾ ਹੈ; ਇਹ ਕੰਮ ਨੂੰ ਖੁਦ ਰੀਡਾਇਰੈਕਟ ਕਰ ਰਿਹਾ ਹੈ।

ਜਿੱਥੇ ਪ੍ਰੋਂਪਟ ਟੀਕਾ ਅਸਲ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ #

ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਸੀਂ ਪ੍ਰੋਂਪਟ ਟੀਕੇ ਦਾ ਅਰਥ ਸਮਝ ਲੈਂਦੇ ਹੋ, ਤਾਂ ਇਹ ਪਤਾ ਲਗਾਉਣਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ ਕਿ ਅਸਲ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਜੋਖਮ ਕਿੱਥੇ ਰਹਿੰਦਾ ਹੈ:

ਐਮਸੀਪੀ ਸਰਵਰ ਅਤੇ ਏਆਈ ਕੋਡਿੰਗ ਸਹਾਇਕ - ਇੱਕ ਖਤਰਨਾਕ ਟਿੱਪਣੀ, README, ਜਾਂ ਟੂਲ-ਨਤੀਜਾ ਪੇਲੋਡ ਇੱਕ ਏਜੰਟ ਡਿਵੈਲਪਰ ਦੇ ਕੋਡਬੇਸ ਜਾਂ ਟਰਮੀਨਲ ਦੇ ਅੰਦਰ ਕੀ ਕਰਦਾ ਹੈ, ਨੂੰ ਰੀਡਾਇਰੈਕਟ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਬਣਾਈ ਗਈ ਹੈ, ਪਰ ਮੁੱਖ ਵਿਚਾਰ (ਐਡੀਟਰ + ਬਿਲਡ ਟੂਲ + ਡੀਬਗਰ, ਇੱਕ ਥਾਂ 'ਤੇ) ਉਹੀ ਰਹਿੰਦਾ ਹੈ।

ਚੈਟਬੋਟ ਅਤੇ ਸਹਾਇਤਾ ਏਜੰਟ - ਇੱਕ ਉਪਭੋਗਤਾ ਬੋਟ ਨੂੰ ਆਪਣੇ ਸਿਸਟਮ ਨੂੰ ਪ੍ਰੋਂਪਟ ਕਰਨ ਜਾਂ ਅਣਚਾਹੇ ਕੰਮ ਕਰਨ ਲਈ ਇੰਜੈਕਟ ਕੀਤੇ ਟੈਕਸਟ ਨੂੰ ਪੇਸਟ ਕਰਦਾ ਹੈ।

ਪ੍ਰਾਪਤੀ-ਵਧਾਈ ਗਈ ਪੀੜ੍ਹੀ (RAG) pipelines - ਗਿਆਨ ਅਧਾਰ ਵਿੱਚ ਇੱਕ ਜ਼ਹਿਰੀਲਾ ਦਸਤਾਵੇਜ਼ ਨਿਰਦੇਸ਼ ਰੱਖਦਾ ਹੈ ਜੋ ਪ੍ਰਾਪਤ ਕਰਨ 'ਤੇ ਕਿਰਿਆਸ਼ੀਲ ਹੋ ਜਾਂਦਾ ਹੈ।

ਆਟੋਨੋਮਸ ਏਆਈ ਏਜੰਟ - ਇੱਕ ਏਜੰਟ ਜੋ ਵੈੱਬ ਬ੍ਰਾਊਜ਼ ਕਰਦਾ ਹੈ, ਈਮੇਲ ਪੜ੍ਹਦਾ ਹੈ, ਜਾਂ ਟੂਲਸ ਨੂੰ ਕਾਲ ਕਰਦਾ ਹੈ, ਉਹ ਕਿਸੇ ਵੀ ਸਮੱਗਰੀ ਤੋਂ ਟੀਕੇ ਵਾਲੀਆਂ ਹਦਾਇਤਾਂ ਲੈ ਸਕਦਾ ਹੈ ਜਿਸਨੂੰ ਉਹ ਛੂਹਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਅਸਲ ਅਨੁਮਤੀਆਂ ਨਾਲ ਉਨ੍ਹਾਂ 'ਤੇ ਕਾਰਵਾਈ ਕਰ ਸਕਦਾ ਹੈ।

"ਸਿਰਫ਼ ਇੱਕ ਤੁਰੰਤ ਚਾਲ" ਤੋਂ ਪਰੇ ਤੁਰੰਤ ਟੀਕਾ ਲਗਾਉਣ ਦਾ ਅਰਥ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ #

ਇਸਨੂੰ ਇੱਕ ਨਵੀਨਤਾ ਦੇ ਤੌਰ 'ਤੇ ਖਾਰਜ ਕਰਨਾ ਆਸਾਨ ਹੈ, ਇੱਕ ਚੈਟਬੋਟ ਨੂੰ ਕੁਝ ਮੂਰਖ ਕਹਿਣ ਲਈ ਇੱਕ ਚਲਾਕ ਤਰੀਕਾ। ਪਰ ਇੱਕ ਵਾਰ ਜਦੋਂ AI ਮਾਡਲ ਏਜੰਟਾਂ ਨਾਲ ਜੁੜੇ ਹੁੰਦੇ ਹਨ ਜੋ ਈਮੇਲ ਭੇਜ ਸਕਦੇ ਹਨ, ਕੋਡ ਚਲਾ ਸਕਦੇ ਹਨ, ਡੇਟਾਬੇਸ ਪੁੱਛਗਿੱਛ ਕਰ ਸਕਦੇ ਹਨ, ਜਾਂ ਪੈਕੇਜ ਸਥਾਪਤ ਕਰ ਸਕਦੇ ਹਨ, ਤਾਂ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਇੱਕ ਚੈਟ-ਵਿੰਡੋ ਉਤਸੁਕਤਾ ਬਣਨਾ ਬੰਦ ਕਰ ਦਿੰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਅਸਲ ਸੁਰੱਖਿਆ ਸੀਮਾ ਸਮੱਸਿਆ ਬਣ ਜਾਂਦਾ ਹੈ: ਜੋ ਕੋਈ ਵੀ ਮਾਡਲ ਦੁਆਰਾ ਪੜ੍ਹੀ ਜਾਣ ਵਾਲੀ ਸਮੱਗਰੀ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦਾ ਹੈ, ਉਹ ਸਹੀ ਹਾਲਤਾਂ ਵਿੱਚ, ਇਹ ਨਿਯੰਤਰਣ ਕਰ ਸਕਦਾ ਹੈ ਕਿ ਉਹ ਮਾਡਲ ਅੱਗੇ ਕੀ ਕਰਦਾ ਹੈ। ਇਸ ਲਈ ਇਹ ਇੰਜੈਕਸ਼ਨ ਹੁਣ ਆਪਣੀ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਸਿਖਰਲੇ 10, ਅਤੇ ਕਿਉਂ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਕੀ ਹੈ ਇਹ ਸਮਝਣਾ ਹੁਣ AI-ਸੰਚਾਲਿਤ ਸਿਸਟਮ ਬਣਾਉਣ ਜਾਂ ਸੁਰੱਖਿਅਤ ਕਰਨ ਵਾਲੇ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਲਈ ਬੁਨਿਆਦੀ ਗਿਆਨ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ਼ ਲਾਲ-ਟੀਮਰਾਂ ਲਈ ਉਤਸੁਕਤਾ।

ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਖਾਸ ਤੌਰ 'ਤੇ AppSec ਅਤੇ DevSecOps ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ ਦੇਖ ਰਹੇ ਹੋ, ਯਾਨੀ ਕਿ, AI ਏਜੰਟਾਂ, MCP ਸਰਵਰਾਂ, ਅਤੇ AI-ਜਨਰੇਟ ਕੀਤੇ ਕੋਡ ਵਿੱਚ ਤੁਰੰਤ ਇੰਜੈਕਸ਼ਨ ਜੋਖਮ ਕਿਵੇਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਨਾ ਕਿ ਸ਼ਬਦ ਦੇ ਅਰਥਾਂ ਦੀ ਬਜਾਏ, ਅਸੀਂ ਇਸਨੂੰ ਇੱਥੇ ਹੋਰ ਡੂੰਘਾਈ ਨਾਲ ਕਵਰ ਕੀਤਾ ਹੈ: ਏਆਈ ਸਪਲਾਈ ਚੇਨ ਸੁਰੱਖਿਆ.

ਸਵਾਲ #