Seorang karyawan bagian keuangan di perusahaan teknik. Arup bergabung dalam panggilan video. Bersama beberapa kolega, termasuk CFO perusahaan. Setiap orang yang terlibat adalah deepfake yang dihasilkan oleh AI. Panggilan tersebut berakhir dengan transfer uang sebesar $25 juta kepada para penyerang. Tidak ada malware, tidak ada tautan phishing, tidak ada kerentanan yang dieksploitasi: hanya AI, yang digunakan dengan cukup meyakinkan sehingga kepercayaan pun terbentuk. Insiden tunggal tersebut menggambarkan mengapa AI dalam keamanan siber telah menjadi topik utama di bidang ini. Teknologi yang sama yang membangun deepfake tersebut, di tempat lain dalam industri ini, menangkap anomali yang seharusnya dapat menghentikannya. Panduan keamanan AI ini mencakup kedua sisi: bagaimana AI menyerang, bagaimana AI bertahan, dan apa artinya bagi fokus tim keamanan selanjutnya.
AI dalam keamanan siber, dalam satu paragraf.
AI dalam keamanan siber merujuk pada penggunaan pembelajaran mesin, pemrosesan bahasa alami, dan model bahasa besar di kedua sisi pertarungan yang sama: untuk melancarkan serangan dan untuk mendeteksi serta menghentikannya. Penyerang menggunakan AI untuk menghasilkan konten phishing yang meyakinkan, meniru suara dan wajah, serta menyelidiki sistem lebih cepat daripada tim manusia. Pihak bertahan menggunakan teknik dasar yang sama (pengenalan pola di seluruh volume data yang sangat besar, pemahaman bahasa alami, pemodelan perilaku) untuk mendeteksi anomali, menyaring peringatan yang berlebihan, dan merespons sebelum kerusakan semakin parah. Hasilnya adalah teknologi yang benar-benar memiliki fungsi ganda dalam satu industri, itulah sebabnya AI dalam keamanan siber bukanlah kategori dengan sisi "baik" dan "buruk" yang jelas. Ini adalah sebuah kemampuan, dan siapa pun yang menerapkannya lebih cepat dan lebih tepat akan mendapatkan keuntungan.cisSaat ini ely memiliki keunggulan.
AI sebagai vektor serangan
- Serangan phishing yang dihasilkan AI dalam skala industri. Dahulu, phishing mudah dikenali dari ciri-cirinya: susunan kalimat yang canggung, sapaan umum, dan domain palsu yang jelas terlihat. Namun, AI telah menghilangkan sebagian besar ciri-ciri tersebut. Menurut milik Hoxhunt Laporan Tren Phishing 2026Serangan phishing yang dihasilkan oleh AI melonjak dari 4% dari semua upaya phishing yang dilaporkan pada November 2025 menjadi 56% pada Desember 2025, peningkatan 14 kali lipat dalam satu bulan, dan tetap berada di sekitar 40% dari semua upaya phishing yang dilaporkan hingga pertengahan 2026. Kesenjangan efektivitasnya juga sangat mencolok: studi yang melibatkan subjek manusia dari para peneliti Harvard Kennedy School Ditemukan bahwa email spear phishing yang sepenuhnya otomatis oleh AI mencapai tingkat klik-tayang 54%, setara dengan para ahli manusia yang terampil dan jauh melampaui tingkat klik-tayang 12% dari email phishing generik kelompok kontrol. AI tidak hanya menulis lebih banyak email phishing. AI menulis email yang efektif.
- Deepfake yang menargetkan kepercayaan, bukan infrastruktur. The Kasus Arup Hal di atas bukan lagi pengecualian; itu sudah menjadi sebuah pola. Suara dan video yang dihasilkan AI cukup meyakinkan untuk dianggap sebagai eksekutif sungguhan dalam panggilan langsung, mengubah rekayasa sosial dari "menipu seseorang agar mengklik" menjadi "menipu seseorang agar percaya bahwa mereka sedang melihat CFO mereka." Itu adalah masalah yang jauh lebih sulit untuk dipecahkan oleh pelatihan kesadaran keamanan, karena penipuan terjadi pada tingkat persepsi, bukan tingkat teknis.
- Pengintaian yang lebih cepat dan malware yang adaptif. Di luar rekayasa sosial, AI memperpendek jarak antara "penyerang memiliki ide" dan "penyerang memiliki eksploitasi yang berfungsi." Model bahasa yang besar dapat mempercepat riset kerentanan terhadap kode dan infrastruktur yang menghadap publik dari target, dan malware adaptif dapat mengubah perilakunya sendiri di tengah eksekusi jika mendeteksi bahwa ia sedang dianalisis di dalam sandbox, sebuah kemampuan yang dulunya membutuhkan operator manusia yang terampil yang mengawasi secara real-time.
- Serangan kredensial dengan kecepatan mesin. Memasukkan kumpulan kredensial yang bocor ke dalam model untuk mempelajari pola yang sebenarnya digunakan orang ketika mereka mengira mereka "cerdas" dengan kata sandi mengubah metode coba-coba menjadi sesuatu yang lebih mendekati prediksi. Dikombinasikan dengan pengisian kredensial otomatis, ini memampatkan serangan yang dulunya lambat dan berisik menjadi sesuatu yang cepat dan senyap.
AI sebagai alat pertahanan
- Deteksi anomali dalam skala yang tidak dapat ditandingi manusia. Nilai defensif inti dari AI adalah memproses volume lalu lintas jaringan, login Aktivitas, dan log sistem yang tidak dapat ditinjau secara manual oleh tim analis mana pun, serta menandai penyimpangan dari standar yang telah ditetapkan. Inilah yang dapat mendeteksi serangan tanpa tanda pengenal yang diketahui, termasuk serangan zero-day dan penyalahgunaan oleh pihak internal yang tidak akan memicu peringatan berbasis aturan.
- Memutus antrean peringatan, bukan menambahnya. Di sinilah AI dalam keamanan siber memberikan manfaat operasional yang paling langsung, dan di sinilah industri ini masih memiliki pekerjaan nyata yang harus dilakukan. Penelitian Vectra AI tahun 2026 menemukan bahwa organisasi menerima rata-rata 2,992 peringatan keamanan per hari, dengan 63% di antaranya tidak diselidiki, dan Microsoft dan Omnia Kondisi SOC: Satukan Sekarang atau Bayar Nanti melaporkan Ditemukan bahwa 46% dari semua peringatan terbukti sebagai positif palsu dan 42% sama sekali tidak diselidiki. Triage berbasis AI tidak hanya menambahkan detektor lain ke tumpukan itu. Jika dilakukan dengan baik, triage ini mengkorelasikan peringatan terkait menjadi satu insiden, memberi skor pada peringatan yang benar-benar layak mendapat perhatian manusia, dan memungkinkan analis untuk menghabiskan waktu mereka pada sebagian kecil peringatan yang mewakili risiko nyata daripada menutup sisanya secara manual.
- Klasifikasi malware dan perilaku di luar tanda tangan yang sudah dikenal. Pendekatan analisis perilaku yang sama yang menandai aktivitas jaringan anomali juga berlaku pada file dan paket: alih-alih mencocokkan dengan daftar tanda tangan berbahaya yang sudah dikenal, AI dapat menilai perilaku saat instalasi, panggilan sistem yang tidak biasa, dan pola pengaburan untuk menangkap malware yang belum pernah terlihat sebelumnya, pada saat kemunculannya, bukan setelah diidentifikasi.
- Respons otomatis dan terkendali. Deteksi tanpa tindakan hanya menggeser waktu. Respons berbasis AI dapat mengisolasi perangkat yang terpengaruh, memblokir lalu lintas yang mencurigakan, dan memulai penahanan secara otomatis, mempersempit kesenjangan antara "kami melihatnya" dan "kami menghentikannya" dari berjam-jam menjadi hitungan detik dalam kasus-kasus yang paling penting.
Mengapa teknik yang sama bisa berakibat dua arah?
Kebenaran yang kurang menyenangkan dalam panduan keamanan AI ini adalah bahwa penyerang dan pembela sering kali menggunakan kemampuan dasar yang sama untuk tujuan yang berlawanan. Pemodelan bahasa alami yang menulis email phishing yang meyakinkan adalah teknologi yang sama yang membaca email mencurigakan dan mengklasifikasikannya dengan benar sebagai email mencurigakan. Pengenalan pola yang memungkinkan malware beradaptasi untuk menghindari sandbox secara arsitektur mirip dengan pengenalan pola yang menandai perilaku malware sebagai anomali sejak awal. Tidak ada pihak yang memiliki monopoli atas teknologi tersebut, yang berarti keuntungan akan berada pada siapa pun yang mengintegrasikannya lebih lengkap ke dalam alur kerja mereka, bukan pada siapa pun yang memiliki akses ke model yang lebih canggih.
Simetri tersebut juga menjadi alasan mengapa AI dalam keamanan siber menghadirkan risiko tersendiri di sisi pertahanan. Sistem AI dapat menghasilkan false positive yang mengubur sinyal sebenarnya dalam noise jika disetel dengan buruk, mewarisi bias dari data pelatihan yang tidak lengkap dan akibatnya melewatkan seluruh kelas ancaman, dan dapat menjadi sasaran melalui teknik adversarial, di mana penyerang sengaja memberi model deteksi data yang menyesatkan untuk memanipulasi apa yang ditandainya. Semua itu bukanlah alasan untuk menghindari AI secara defensif. Ini adalah alasan untuk tetap melibatkan manusia dalam pengambilan keputusan, dan untuk memperlakukan sistem AI itu sendiri sebagai sesuatu yang perlu dipantau, bukan sesuatu yang Anda terapkan sekali dan percayai selamanya.
Apa arti panduan keamanan AI ini bagi tim Anda?
Lima langkah membedakan tim yang benar-benar mendapatkan nilai dari AI dalam keamanan siber dari tim yang hanya menambahkan alat lain:
- Jangan menunggu hingga serangan yang didukung AI menjadi mayoritas sebelum Anda berinvestasi secara defensif. Data phishing di atas menunjukkan betapa cepatnya taktik minoritas dapat menjadi taktik dominan. Bangun kapasitas deteksi sebelum lonjakan terjadi, bukan saat lonjakan itu terjadi.
- Arahkan AI ke antrian triase Anda terlebih dahulu, bukan hanya ke perimeter Anda. Kemenangan tercepat dan paling terukur bagi sebagian besar tim adalah mengurangi jumlah false positive yang harus dibersihkan secara manual oleh analis, bukan menambahkan lapisan deteksi baru.
- Anggap risiko deepfake dan kloning suara sebagai masalah proses, bukan masalah teknologi. Tidak ada alat deteksi yang sepenuhnya menutup celah ala Arup. Verifikasi di luar jalur untuk setiap permintaan yang melibatkan pergerakan uang atau perubahan kredensial.
- Perluas pola pikir perilaku berbasis AI yang sama ke dalam kode dan pipelinebukan hanya lalu lintas jaringan. Para penyerang semakin sering menargetkan rantai pasokan perangkat lunak secara langsung (paket berbahaya, ketergantungan yang dipalsukan, instruksi agen yang belum ditinjau), sebuah kategori risiko dengan dinamika tersendiri, yang dibahas secara mendalam dalam panduan Keamanan Rantai Pasokan AI kami.
- Pastikan ada manusia yang bertanggung jawab atas keputusan yang dibuat oleh AI. Respons otomatis sangat berharga karena kecepatannya, dan itulah mengapa diperlukan jalur eskalasi yang jelas ketika terjadi kesalahan.
Ke mana arah AI dalam keamanan siber?
Dua pergeseran akan menentukan beberapa tahun ke depan. Pertama, pihak penyerang semakin fokus pada taktik yang lebih sedikit namun lebih meyakinkan daripada taktik yang lebih banyak dan kasar: phishing dan deepfake yang dihasilkan AI bukanlah jaring yang lebih luas; melainkan kail yang lebih tajam. Kedua, pihak bertahan beralih dari "mendeteksi dan memberi tahu manusia" menuju "mendeteksi, menilai, dan bertindak sebelum ada laporan masalah," yang merupakan pergeseran yang tepat untuk menutup kesenjangan antara 2,992 peringatan harian yang dihadapi sebagian besar SOC dan sebagian kecil dari peringatan tersebut yang benar-benar ditangani. Organisasi yang unggul adalah organisasi yang menerapkan pergeseran tersebut di mana pun AI sudah menyentuh lingkungan mereka, termasuk kode yang dikirimkan oleh pengembang mereka, bukan hanya lalu lintas yang melewati perimeter jaringan mereka.
Pandangan Xygeni: Keamanan AI harus mencakup kode, bukan hanya kotak masuk.
Sebagian besar liputan AI dalam keamanan siber berhenti di SOC: phishing, malware, anomali jaringan. Itu perlu, tetapi juga tidak lengkap, karena semakin banyak risiko yang didorong oleh AI sekarang berada di dalam siklus pengembangan perangkat lunak itu sendiri, di mana alat SOC tidak memeriksanya.
Xygeni's CoreAI menerapkan pola pikir berbasis perilaku dan anomali yang sama seperti yang dijelaskan dalam panduan ini khusus untuk keamanan aplikasi: mengkorelasikan temuan di seluruh pemindai yang ada (tidak hanya Xygeni's (milik sendiri), menilai apa yang sebenarnya dapat dieksploitasi alih-alih membanjiri tim dengan volume peringatan mentah, menjelaskan mengapa risiko tertentu penting, dan menghasilkan solusi perbaikan. pull request alih-alih tiket backlog lainnya. Pengembang AI memperluas postur pertahanan yang sama ke bagian terbaru dari permukaan serangan: agen dan asisten pengkodean AI, memvalidasi file keterampilan dan instruksi agen, serta memblokir instalasi berbahaya sebelum agen bertindak. Tujuannya sama dengan yang diutarakan panduan ini di tingkat SOC, yang diterapkan pada pipelineUbahlah keunggulan AI dalam hal volume dan kecepatan menjadi keunggulan bagi tim bertahan, bukan penyerang.
Mulai gratis. Sign up with GitHubGunakan GitLab, atau Google dan dapatkan visibilitas hingga 25 repositori dan 50 pemindaian AI per bulan tanpa biaya, tanpa perlu kartu kredit.
FAQ (Pertanyaan Umum)
Apa itu AI dalam keamanan siber?
AI dalam keamanan siber adalah penggunaan pembelajaran mesin, pemrosesan bahasa alami, dan model bahasa besar baik di sisi penyerang maupun bertahan. Penyerang menggunakannya untuk menghasilkan konten phishing yang meyakinkan, deepfake, dan malware adaptif; pihak bertahan menggunakan teknik dasar yang sama untuk deteksi anomali, triase peringatan, dan respons otomatis.
Apakah AI lebih berbahaya sebagai alat serangan atau lebih bermanfaat sebagai alat pertahanan?
Tidak ada pihak yang memiliki keunggulan berkelanjutan karena keduanya dibangun di atas kemampuan dasar yang sama. Organisasi yang berisiko lebih besar adalah organisasi yang belum menerapkan AI secara defensif dengan kecepatan yang sama seperti penyerang menerapkannya secara ofensif, bukan organisasi yang menghadapi kesenjangan teknologi yang tidak dapat mereka atasi.
Bisakah AI sepenuhnya menggantikan analis manusia di SOC?
Tidak, dan risiko dari upaya tersebut (positif palsu dari model yang tidak disetel dengan baik, bias dari data pelatihan yang tidak lengkap, dan manipulasi yang merugikan terhadap sistem deteksi itu sendiri) justru menjadi alasan mengapa pengawasan manusia tetap diperlukan. Nilai sebenarnya dari AI adalah membersihkan antrian sehingga analis dapat fokus pada keputusan yang masih membutuhkan campur tangan manusia.
Bagaimana risiko serangan berbasis AI berbeda bagi tim pengembangan perangkat lunak secara khusus?
Selain phishing dan deepfake, tim pengembang menghadapi risiko khusus AI di dalam SDLC Itu sendiri: agen pengkodean AI yang memasang dependensi yang dihalusinasi atau berbahaya, instruksi agen yang tidak ditinjau dalam file keterampilan, dan kode yang dihasilkan AI yang mereproduksi rahasia yang dikodekan secara permanen. Sisi AI dalam keamanan siber ini dibahas lebih mendalam di artikel kami yang lain. Panduan Keamanan Rantai Pasokan AI.
