TL;DR: kejuruteraan abah-abah ejen dan permukaan serangan tersembunyinya
Kejuruteraan abah-abah ejen ialah amalan membina segala-galanya di sekeliling model AI (arahan, alatan, kebenaran, memori dan gelung maklum balas) yang mengubahnya menjadi ejen yang berfungsi. Tali pinggang keledar itu, bukan modelnya, adalah tempat kebanyakan risiko keselamatan sebenar berada sekarang.
- Peralihan itu: Pasukan menghentikan gesaan penalaan dan mula merekayasa abah-abah. Ejen = model + abah-abah.
- Masalah: Harness ini berada dalam fail teks biasa (peraturan, kemahiran, konfigurasi MCP) yang disemak seperti dokumentasi, jika ada.
- Buktinya: Pintu Belakang Fail Peraturan dan CVE MCP sebenar menunjukkan penyerang sudah pun menyasarkannya.
- Betulkan: Anggap abah-abah itu sebagai kod. Buat inventori, semak dan imbas sebelum dihantar.
Setiap perbualan keselamatan tentang AI akhirnya sampai ke model tersebut. Bolehkah ia di-jailbreak? Adakah ia akan berhalusinasi? Adakah pembekal sedang berlatih tentang data kita?
Soalan yang agak munasabah. Tetapi soalan-soalan itu semakin menjadi-jadi. Apabila ejen AI memadamkan jadual pengeluaran, menolak pintu belakang atau menghantar e-mel senarai pelanggan kepada orang yang tidak dikenali, model tersebut jarang sekali gagal. Model tersebut melakukan apa yang dibenarkan oleh abah-abahnya.
Ejen = model + abah-abah
Sepanjang tahun lalu, industri ini secara senyap-senyap telah mengubah apa yang dimaksudkan dengan membina dengan AI. Kejuruteraan pantas memberi laluan kepada kejuruteraan konteks, dan kejuruteraan konteks memberi laluan kepada sesuatu yang lebih besar: kejuruteraan abah-abah ejen.
Ideanya mudah. Model itu sendiri merupakan enjin penaakulan tanpa tangan. Abah-abah ialah segala-galanya yang memberikannya tangan dan tugas: arahan yang diikutinya, alatan yang boleh dipanggilnya, kebenaran yang dipegangnya, memori yang disimpannya dan semakan yang mengesan kesilapannya. Laman web Martin Fowler menggambarkan kejuruteraan abah-abah sebagai kerja yang dilakukan oleh pengguna ejen pengekodan sekarang untuk menjadikan ejen boleh dipercayai, dan rangka kerja akademik yang diterbitkan tahun ini membahagikan abah-abah kepada sebelas tanggungjawab, daripada akses alat dan memori projek kepada kebenaran dan pengesahan.
Hasilnya adalah nyata. Pasukan yang mengamalkan kejuruteraan abah-abah ejen melaporkan bahawa hanya menukar abah-abah, dengan model yang sama di bawahnya, boleh mengubah keputusan ejen secara mendadak. Ini menimbulkan perkara yang tidak selesa bagi sesiapa sahaja dalam keselamatan: jika abah-abah menentukan bagaimana ejen bertindak, abah-abah menentukan bagaimana ia boleh disalahgunakan.
Ambil sesuatu yang biasa seperti memasang kebergantungan. Pembangun berhenti seketika untuk menyemak nama pakej. Ejen dengan alat yang betul dalam abahnya hanya menjalankan arahan, dan jika pakej itu berniat jahat, tiada apa-apa dalam model akan menghentikannya. Itulah yang kami rungkaikan dalam episod SafeDev Talks ini: apa yang berubah apabila ejen AI memasang kebergantungan sendiri, dan mengapa kejuruteraan abah-abah ejen secara senyap-senyap telah menjadi masalah rantaian bekalan.
Bagaimana rupa kejuruteraan abah-abah ejen dalam repositori
Buka repositori tempat pembangun menggunakan ejen AI dan abah-abahnya ada di sana, dalam fail yang mungkin belum pernah anda imbas:
- Fail peraturan dan arahan (
AGENTS.md,.cursorrules, Arahan juruterbang bersama) yang memberitahu ejen cara untuk bertindak. - Fail kemahiran pakej yang boleh diguna semula itu dimuatkan oleh ejen atas permintaan.
- Konfigurasi pelayan MCP yang menghubungkan ejen kepada alatan, pangkalan data dan API.
- Gesaan sistem dan templat gesaan terbenam dalam kod aplikasi.
- Pendawaian ejen: alatan yang boleh dicapai oleh ejen, data yang boleh diambilnya dan sama ada terdapat pagar pembatas di antaranya.
Semuanya adalah teks biasa. Semuanya adalah commitdigabungkan bersama kod. Dan semuanya disemak sepertimana dokumentasi disemak: pandangan pantas, kelulusan, penggabungan. Namun, setiap fail ini boleh menulis semula secara senyap apa yang diarahkan kepada ejen dan apa yang dibenarkan untuk disentuh.
Itulah akibat sebenar kejuruteraan abah-abah ejen: konfigurasi paling berkuasa dalam perisian anda kini paling kurang disemak.
Penyerang sudah perasan
Ini bukanlah kebimbangan teori. Tali pinggang keledar itu mempunyai sejarah insiden yang pendek tetapi bermakna.
- Pintu Belakang Fail Peraturan. Pada Mac 2025, para penyelidik mendedahkan satu serangan di mana aksara Unicode tersembunyi di dalam fail peraturan mengarahkan pembantu pengekodan AI untuk memasukkan kod pintu belakang, tanpa menyebutnya dalam respons yang boleh dilihat. Seorang pengulas yang membaca fail itu tidak melihat apa-apa yang luar biasa. Ia kini dikatalogkan sebagai Kajian kes ATLAS MITRE AML.CS0041.
- Alat MCP yang diracun. Sehingga tahun 2025, para penyelidik berulang kali menunjukkan bahawa ejen mempercayai penerangan alat secara tersirat, jadi pelayan MCP yang berniat jahat boleh mengarahkan ejen hanya dengan menerangkan dirinya dengan cara yang betul. Pada tahun yang sama, CVE-2025 6514- dalam klien MCP yang dimuat turun secara meluas membenarkan pelaksanaan arahan jauh apabila menyambung ke pelayan yang tidak dipercayai, diberi nilai 9.6 pada CVSS.
- Agensi yang berlebihan. . 10 Teratas OWASP untuk Aplikasi LLM menyenaraikan agensi yang berlebihan sebagai risiko utama: ejen diberikan lebih banyak alat, kebenaran atau autonomi daripada yang diperlukan oleh tugasan. Itu bukanlah kecacatan model. Ia adalah reka bentuk abah-abahcision.
Perhatikan coraknya. Tiada satu pun daripada serangan ini yang merosakkan model. Mereka merosakkan abah-abah, dan model melakukan selebihnya dengan setia.
Mengapa susunan keselamatan anda tidak melihatnya
Inilah bahagian yang janggal. Kebanyakan organisasi sudah menjalankan perkakasan AppSec yang baik, dan hampir tiada satu pun daripadanya dibina untuk lapisan ini.
Analisis statik memahami kod, tetapi ia tidak tahu apa itu model atau mengapa teks yang tidak dipercayai yang mengalir ke dalam gesaan sistem penting. Analisis komposisi menginventori pakej, tetapi ia tidak menyenaraikan pelayan MCP atau fail kemahiran. Pengimbas rahsia mungkin terlepas kunci API yang berada dalam fail konfigurasi ejen. Tiada satu pun daripada alat ini yang rosak. Ia hanya dibina untuk dunia di mana konfigurasi tidak memberi arahan.
Jadi kejuruteraan abah-abah ejen bergerak pantas, dan keselamatan menyemak bahagian yang dapat dilihatnya: model dan kod. Abah-abah berada di antara keduanya.
Lima tabiat untuk mengikat tali pinggang keledar
Kejuruteraan abah-abah ejen yang menjamin keselamatan tidak memerlukan pasukan baharu. Ia memerlukan beberapa tabiat yang melayan abah-abah seperti apa adanya: niat yang boleh dilaksanakan.
| Tabiat | Mengapa ia penting? | Apa yang perlu dilakukan |
|---|---|---|
| 1. Inventori setiap abah-abah | Anda tidak boleh mendapatkan ejen yang tiada sesiapa yang diisytiharkan. | Cari setiap model, ejen, pelayan MCP, kemahiran dan gesaan merentasi repositori anda, daripada kod dan fail konfigurasi itu sendiri dan bukannya daripada tinjauan. |
| 2. Semak fail harness seperti kod | Peraturan, kemahiran dan konfigurasi MCP boleh menulis semula apa yang dilakukan oleh ejen, namun ia disemak seperti dokumentasi. | Berikan mereka perkara yang sama pull request penelitian sebagai logik aplikasi, termasuk pemeriksaan aksara tersembunyi. |
| 3. Sematkan apa yang dimuatkan oleh ejen | Gesaan atau model yang dirujuk oleh label yang boleh berubah boleh ditunjuk semula tanpa perubahan kod. | Sematkan gesaan dan model pada versi yang tidak boleh diubah. |
| 4. Letakkan penghadang pada setiap sinki | Dokumen yang diambil, output alat dan kandungan pengguna semuanya boleh membawa arahan yang disuntik kepada model. | Letakkan penghadang di laluan di mana sahaja kandungan itu boleh sampai ke model. |
| 5. Jauhkan kelayakan daripada abah-abah | Kekunci penyedia AI dalam fail gesaan dan konfigurasi ejen merupakan kemenangan mudah bagi penyerang. | Buangnya dan terus imbas fail harness untuk mencari rahsia. Ia penyelesaian yang mudah. |
Mengemaskan abah-abah, bukan hanya model
Keselamatan AI Xygeni bermula di tempat kejuruteraan abah-abah ejen meninggalkan jejaknya: dalam repositori anda. Ia menemui aset AI merentasi pangkalan kod anda (model, ejen, pelayan MCP, kemahiran, gesaan, guardrails, dan alatan pengekodan AI yang digunakan) daripada kod, kebergantungan dan fail konfigurasi yang ditinggalkan oleh alatan tersebut.
Ia kemudian menganalisis fail kemahiran, fail peraturan dan konfigurasi MCP sebagai artifak keselamatan, bukan dokumentasi dan mengesan risiko kelas suntikan gesaan dalam pendawaian ejen, seperti kandungan yang tidak dipercayai yang sampai ke gesaan sistem atau sinki pengambilan semula tanpa penghadang. Rahsia Xygeni mengimbas menandakan kelayakan penyedia AI dalam gesaan dan fail konfigurasi ejen dan kebergantungan tindanan AI anda mendapat pengesanan perisian hasad yang sama seperti yang lain, sebelum tandatangan wujud.
Soalan Lazim
Apakah kejuruteraan abah-abah ejen?
Kejuruteraan abah-abah ejen ialah disiplin mereka bentuk persekitaran di sekitar model AI (arahan, alatan, kebenaran, memori, konteks dan gelung pengesahan) supaya ia bertindak sebagai ejen yang boleh dipercayai. Model menyediakan penaakulan; abah-abah menentukan apa yang boleh dilihat dan dilakukan oleh ejen.
Bagaimanakah kejuruteraan abah-abah ejen berbeza daripada kejuruteraan segera?
Kejuruteraan gesaan membentuk satu arahan. Kejuruteraan abah-abah ejen membentuk keseluruhan sistem tempat ejen beroperasi, merentasi pelbagai langkah, alatan dan sesi. Gesaan ialah satu fail dalam abah-abah.
Mengapakah abah-abah itu menjadi risiko keselamatan?
Kerana ia mengawal apa yang dibenarkan dilakukan oleh ejen dan ia berada dalam fail teks biasa yang jarang dikaji semula sebagai artifak keselamatan. Jika fail peraturan atau konfigurasi MCP dikompromikan, anda akan mengawal ejen tersebut tanpa menyentuh model.
Siapakah yang patut memiliki ejen yang mempunyai keselamatan?
Keselamatan aplikasi, bekerjasama dengan jurutera yang membina dan mengkonfigurasi ejen. Harness adalah sebahagian daripada perisian yang anda hantar, jadi ia tergolong dalam proses semakan, pengimbasan dan inventori yang sama seperti kod anda yang lain.







