តើការចាក់បញ្ចូលភ្លាមៗជាអ្វី?

ប្រសិនបើអ្នកត្រូវបានគេសួរថា តើការចាក់បញ្ចូលរហ័ស (prompt injection) ជាអ្វី ហើយទទួលបានចម្លើយត្រឹមតែពាក់កណ្តាលប៉ុណ្ណោះ នេះគឺជាកំណែខ្លីមួយ៖ វាគឺជាបច្ចេកទេសវាយប្រហារមួយដែលអត្ថបទដែលមានគំនិតអាក្រក់ ឬបំភ្លៃត្រូវបានបញ្ចូលទៅក្នុងធាតុបញ្ចូល ដែលគំរូ AI ដំណើរការ ដោយបញ្ឆោតវាឱ្យមិនអើពើនឹងការណែនាំដើមរបស់វា ហើយធ្វើតាមការណែនាំរបស់អ្នកវាយប្រហារជំនួសវិញ។ នោះគឺជាស្នូលនៃអត្ថន័យនៃការចាក់បញ្ចូលរហ័ស៖ វាមិនមែនជាកំហុសនៅក្នុងកូដទេ វាគឺជាការវាយប្រហារដែលលួចយកការណែនាំរបស់គំរូដោយប្រើភាសាធម្មតាជំនួសឱ្យកូដកេងប្រវ័ញ្ចបែបប្រពៃណី។

អត្ថន័យនៃការចាក់ថ្នាំភ្លាមៗ ក្នុងន័យសាមញ្ញ #

ការ​បំបែក​អត្ថន័យ​នៃ​ការ​ចាក់​ពាក្យ​ភ្លាមៗ​ជួយ​ឲ្យ​វា​ជាប់​លាប់៖

• ប្រអប់បញ្ចូល: ការណែនាំ និងបរិបទដែលបានបញ្ចូលទៅក្នុងគំរូ AI មិនថាត្រូវបានវាយបញ្ចូលដោយផ្ទាល់ដោយអ្នកប្រើប្រាស់ ឬទាញយកដោយស្វ័យប្រវត្តិពីឯកសារ គេហទំព័រ ឬការឆ្លើយតប API នោះទេ។
• ការចាក់: ការបញ្ចូលអ្វីមួយដែលមិនមានបំណងនៅទីនោះ ដែលខ្ចីពីតក្កវិជ្ជាដូចគ្នានឹងការចាក់ SQL ដែលការបញ្ចូលដែលមិនគួរឱ្យទុកចិត្តត្រូវបានចាត់ទុកជាពាក្យបញ្ជាជំនួសឱ្យទិន្នន័យធម្មតា។

ដូច្នេះនៅពេលដែលនរណាម្នាក់សួរថា តើការចាក់បញ្ចូលរហ័សជាអ្វី ចម្លើយសាមញ្ញបំផុតគឺ៖ វាជាអ្វីដែលកើតឡើងនៅពេលដែលគំរូ AI មិនអាចប្រាប់ពីភាពខុសគ្នារវាងការណែនាំដែលវាត្រូវបានផ្តល់ឱ្យដោយអ្នកអភិវឌ្ឍន៍របស់វា និងការណែនាំដែលលាក់នៅក្នុងខ្លឹមសារដែលវាកំពុងដំណើរការ។

តើវាពិតជារួមបញ្ចូលអ្វីខ្លះ? #

ករណី​ភាគច្រើន​ក្នុង​ពិភព​ពិត​ធ្លាក់​ចូល​ទៅ​ក្នុង​ប្រភេទ​សំខាន់ៗ​ទាំងនោះ៖

• ការចាក់បញ្ចូលភ្លាមៗ: អ្នកវាយប្រហារវាយបញ្ចូលការណែនាំព្យាបាទដោយផ្ទាល់ទៅក្នុងប្រអប់ជជែក ឬវាលបញ្ចូល ដោយស្នើសុំដោយបើកចំហឱ្យគំរូមិនអើពើនឹងច្បាប់មុនរបស់វា ("មិនអើពើនឹងការណែនាំមុនៗទាំងអស់ និង...")។
• ការចាក់បញ្ចូលដោយប្រយោលការណែនាំ​ព្យាបាទ​ត្រូវបានលាក់នៅក្នុងខ្លឹមសារដែលគំរូអាននៅពេលក្រោយ ដូចជាគេហទំព័រ PDF អ៊ីមែល ឬមតិយោបល់កូដ ហើយវាធ្វើឱ្យសកម្មលុះត្រាតែគំរូដំណើរការខ្លឹមសារនោះ ដោយគ្មានអ្នកវាយប្រហារមានវត្តមាននៅពេលនោះ។
• ការចាក់បញ្ចូលបែប Jailbreak: រសជាតិជាក់លាក់នៃការចាក់ដែលប្រើការដើរតួ ការកំណត់ស៊ុមសម្មតិកម្ម ឬល្បិចអ៊ិនកូដដើម្បីគេចពីសុវត្ថិភាពរបស់តារាម៉ូដែល guardrails ជាពិសេស ជាជាងការប្លន់យកភារកិច្ចរបស់វា។

ការចាក់បញ្ចូលទិន្នន័យរហ័ស ទល់នឹង ការ Jailbreak៖ តើមានភាពខុសគ្នាអ្វីខ្លះ? #

ការតាមដានជាទូទៅចំពោះអ្វីដែលហៅថា prompt injection គឺរបៀបដែលវាខុសពីការ jailbreak។ ទាំងពីរនេះត្រួតស៊ីគ្នា ប៉ុន្តែមិនដូចគ្នាទេ។ ការ jailbreak គឺនិយាយអំពីការរំលងសុវត្ថិភាពរបស់ម៉ូដែល និង មាតិកា guardrails, ឲ្យវានិយាយ ឬបង្កើតអ្វីមួយដែលវាត្រូវបានហ្វឹកហាត់ឲ្យបដិសេធ។ ការចាក់បញ្ចូលរហ័សគឺទូលំទូលាយជាង៖ វានិយាយអំពីការលួចយកការណែនាំ ឬភារកិច្ចរបស់ម៉ូដែល ដែលអាចពាក់ព័ន្ធនឹងសុវត្ថិភាព ឬមិនពាក់ព័ន្ធនឹងសុវត្ថិភាព។ guardrails ទាល់តែសោះ។ ការចាក់បញ្ចូលដោយប្រយោលដែលលាក់នៅក្នុងសំបុត្រជំនួយដែលប្រាប់ភ្នាក់ងារសេវាកម្មអតិថិជនដោយស្ងាត់ៗឱ្យផ្ញើអ៊ីមែលទិន្នន័យរបស់អ្នកប្រើប្រាស់ទៅកាន់អាសយដ្ឋានខាងក្រៅមិនមែនកំពុងព្យាយាម Jailbreak អ្វីទាំងអស់នោះទេ។ វាកំពុងបញ្ជូនបន្តភារកិច្ចដោយខ្លួនឯង។

កន្លែងដែលការចាក់បញ្ចូលភ្លាមៗពិតជាលេចឡើង #

នៅពេលដែលអ្នកយល់ពីអត្ថន័យនៃ "ការចាក់បញ្ចូលរហ័ស" វាកាន់តែងាយស្រួលក្នុងការកំណត់កន្លែងដែលហានិភ័យស្ថិតនៅក្នុងប្រព័ន្ធពិត៖

ម៉ាស៊ីនមេ MCP និងជំនួយការសរសេរកូដ AI – មតិយោបល់ព្យាបាទ README ឬ payload លទ្ធផលឧបករណ៍អាចប្តូរទិសអ្វីដែលភ្នាក់ងារធ្វើនៅក្នុងមូលដ្ឋានកូដរបស់អ្នកអភិវឌ្ឍន៍ ឬស្ថានីយ។ អាស្រ័យលើភាសាសរសេរកម្មវិធីដែលវាត្រូវបានបង្កើតឡើង ប៉ុន្តែគំនិតស្នូល (កម្មវិធីនិពន្ធ + ឧបករណ៍បង្កើត + ឧបករណ៍បំបាត់កំហុស នៅកន្លែងតែមួយ) នៅដដែល។

Chatbots និងភ្នាក់ងារគាំទ្រ – អ្នកប្រើប្រាស់បិទភ្ជាប់អត្ថបទដែលបានចាក់ចូល ដើម្បីធ្វើឱ្យ bot បង្ហាញការជំរុញប្រព័ន្ធរបស់វា ឬអនុវត្តសកម្មភាពដែលមិនបានគិតទុកជាមុន។

ជំនាន់​ដែល​បាន​បង្កើន​ការ​ទាញ​យក (RAG) pipelines – ឯកសារ​ដែល​មាន​ជាតិពុល​នៅក្នុង​មូលដ្ឋាន​ចំណេះដឹង​មាន​ការណែនាំ​ដែល​ធ្វើឱ្យ​សកម្ម​នៅពេល​ទាញយក​មកវិញ។

ភ្នាក់ងារ AI ស្វ័យប្រវត្តិ – ភ្នាក់ងារដែលរុករកគេហទំព័រ អានអ៊ីមែល ឬហៅឧបករណ៍អាចរើសយកការណែនាំដែលបានចាក់បញ្ចូលពីខ្លឹមសារណាមួយដែលវាប៉ះពាល់ បន្ទាប់មកធ្វើសកម្មភាពលើពួកវាដោយមានការអនុញ្ញាតពិតប្រាកដ។

ហេតុអ្វីបានជាអត្ថន័យនៃការចាក់ថ្នាំភ្លាមៗមានសារៈសំខាន់លើសពី "គ្រាន់តែជាល្បិចចាក់ថ្នាំភ្លាមៗ" #

វាងាយស្រួលក្នុងការបដិសេធវាថាជាភាពថ្មីថ្មោង ជាវិធីឆ្លាតវៃមួយដើម្បីធ្វើឱ្យ chatbot និយាយអ្វីដែលគួរឱ្យអស់សំណើច។ ប៉ុន្តែនៅពេលដែលគំរូ AI ត្រូវបានភ្ជាប់ទៅនឹងភ្នាក់ងារដែលអាចផ្ញើអ៊ីមែល ប្រតិបត្តិកូដ សាកសួរមូលដ្ឋានទិន្នន័យ ឬដំឡើងកញ្ចប់ ការចាក់បញ្ចូលរហ័សឈប់ជាការចង់ដឹងចង់ឃើញនៃបង្អួចជជែក ហើយក្លាយជាបញ្ហាព្រំដែនសុវត្ថិភាពពិតប្រាកដ៖ អ្នកណាដែលគ្រប់គ្រងខ្លឹមសារដែលគំរូអានអាច ក្រោមលក្ខខណ្ឌត្រឹមត្រូវ គ្រប់គ្រងអ្វីដែលគំរូនោះធ្វើបន្ទាប់។ នោះហើយជាមូលហេតុដែលការចាក់បញ្ចូលនេះឥឡូវនេះលេចឡើងជាប្រភេទផ្ទាល់ខ្លួនរបស់វានៅក្នុង សាកលវិទ្យាល័យ OWASP កំពូលទាំង ១០ សម្រាប់កម្មវិធី LLMហើយហេតុអ្វីបានជាការយល់ដឹងអំពីអ្វីដែលជាការចាក់បញ្ចូលរហ័សឥឡូវនេះត្រូវបានចាត់ទុកថាជាចំណេះដឹងមូលដ្ឋានសម្រាប់អ្នកដែលសាងសង់ ឬធានាសុវត្ថិភាពប្រព័ន្ធដែលដំណើរការដោយ AI មិនមែនគ្រាន់តែជាការចង់ដឹងចង់ឃើញសម្រាប់អ្នកដែលប្រឆាំងនឹងក្រុមក្រហមនោះទេ។

ប្រសិនបើអ្នកកំពុងសម្លឹងមើលរឿងនេះជាពិសេសពីមុំ AppSec និង DevSecOps ពោលគឺរបៀបដែលហានិភ័យនៃការចាក់បញ្ចូលរហ័សលេចឡើងនៅទូទាំងភ្នាក់ងារ AI ម៉ាស៊ីនមេ MCP និងលេខកូដដែលបង្កើតដោយ AI ជាជាងគ្រាន់តែអត្ថន័យនៃពាក្យនេះ យើងបានគ្របដណ្តប់វាឱ្យកាន់តែស៊ីជម្រៅនៅទីនេះ៖ សន្តិសុខខ្សែសង្វាក់ផ្គត់ផ្គង់ AI.

សំណួរដែលត្រូវបានសួរជាញឹកញាប់ #