Yapay Zeka Güvenliği Nedir? Yapay Zeka Güvenliği, yazılımların bağlı olduğu yapay zeka modellerini, ajanlarını, veri kümelerini ve altyapısını, yapay zeka sistemlerinin oluşturulma, eğitilme ve çalıştırılma biçimine özgü risklerden koruma uygulamasıdır. Bu, kullanımda olan her yapay zeka varlığının keşfedilmesini, anlık enjeksiyon ve güvensiz ajan davranışı gibi yapay zekaya özgü güvenlik açıklarının tespit edilmesini ve zarara yol açmadan önce güvensiz yapay zeka eylemlerini durduran politikaların uygulanmasını kapsar. Bu, sözlükteki geri kalan maddelerin açıkladığı temel yapay zeka güvenliği anlamıdır.
Geleneksel uygulama güvenliğinin aksine, kod, bağımlılıklar ve altyapıyı koruyan yapay zeka güvenliği, yeni bir varlık sınıfını korur: modeller, komut istemleri, aracılar ve bunları birbirine bağlayan makineden makineye protokoller. Yapay zeka, bir özellik olmaktan çıkıp yazılım tedarik zincirinin kendisine entegre oldukça, ayrı ve gerekli bir savunma katmanı haline gelmiştir.
Yapay Zeka Güvenliğinin Anlamı: Kısa Tanım #
En basit haliyle, yapay zeka güvenliğinin anlamı şudur: Yapay zekayı, halihazırda kodunuzu güvence altına aldığınız şekilde güvence altına almak, ancak geleneksel araçların asla görmeye tasarlanmadığı bir dizi bileşen ve davranış için.
Kavramı yaygın bir karışıklık noktasından ayırmanın faydalı bir yolu: Yapay Zeka Güvenliği, "Güvenlikte Yapay Zeka" ile aynı şey değildir. Güvenlikte yapay zeka, mevcut güvenlik çalışmalarını iyileştirmek için yapay zekanın kullanılmasını ifade eder; örneğin, güvenlik açığı bulgularını önceliklendiren bir yapay zeka modeli. Buna karşılık, yapay zeka güvenliği, yapay zekanın kendisini güvence altına almayı ifade eder: model dosyaları, eğitim verileri, ajanlar, komutlar ve yapay zeka araçlarının harekete geçmesini sağlayan sunucular. Her ikisi de yapay zekanın geçerli kullanım alanlarıdır, ancak farklı sorulara cevap verirler.
Neden Önemli? #
Yazılım ekipleri yapay zekâ kodlama asistanlarını, otonom ajanları ve benzerlerini benimsemiştir. Model Bağlam Protokolü (MCP) Bu değişim, onları güvence altına almak için tasarlanmış araçların hızını aştı. Bu değişimin yeni bir saldırı yüzeyi yaratmasının birkaç nedeni şunlardır:
Yapay zekâya olan bağımlılıklar zehirlenebilir veya icat edilebilir. Yapay zekâ kodlama asistanları bazen var olmayan paketleri öneriyor; bu durum "slopsquatting" olarak biliniyor ve saldırganlar bunları önceden kaydedip silah olarak kullanabiliyor.
Yapay zekâ tarafından üretilen kodun kendine özgü bir risk profili vardır. Yapay zekâ kod üretiminin bağımsız karşılaştırmalı testleri, altta yatan model yetenekli ve iyi eğitilmiş olsa bile, yapay zekâ tarafından yazılan kodların önemli bir bölümünün yaygın güvenlik açığı kalıpları içerdiğini ortaya koymuştur.
Ajanlar ve MCP sunucuları, büyük ölçüde denetlenmeyen yeni bir altyapıdır. Ajanlar, geliştirici adına dosya okuyabilir, araçları çağırabilir ve işlem yapabilir. Bir ajanın talimatları, kural dosyaları veya bağlı MCP sunucuları manipüle edilirse, ajan korumakla görevli olduğu sisteme karşı kullanılabilir.
Yapay zeka yapılandırması artık bir saldırı yüzeyi haline geldi. Beceri dosyaları, kural dosyaları ve komut istemi şablonları genellikle güvenlik açısından önemli unsurlar olarak değil, dokümantasyon olarak ele alınır. Saldırganlar, bu dosyalara gömülü gizli talimatların, bir yapay zekâ asistanının yanıtında görünür bir iz bırakmadan arka kapı içeren kod üretmesine neden olabileceğini zaten göstermiştir.
Neleri Kapsıyor #
Tam bir Yapay Zeka Güvenliği programı tipik olarak üç işlevi kapsar:
1. Keşif (Yapay Zeka Envanteri) #
Herhangi bir şeyin güvenliği sağlanmadan önce, bulunması gerekir. Yapay Zeka Güvenliği, bir kuruluşun depolarındaki her yapay zeka varlığının sürekli olarak keşfedilmesiyle başlar ve pipelines: modeller, yapay zeka çerçeveleri, veri kümeleri, çıkarım uç noktaları, ajanlar, yapay zeka kodlama araçları ve bağlandıkları MCP sunucuları. Bu envanter tipik olarak makine tarafından okunabilir bir Yapay Zeka Malzeme Listesi (AI-BOM) olarak ifade edilir; bu, yazılım malzeme listesinin yapay zeka karşılığıdır.SBOM).
2. Tespit (Yapay Zeka Riski) #
Yapay zeka varlıkları bilindikten sonra, Yapay Zeka Güvenliği bunlara özgü riskleri tespit eder; bunlar arasında şunlar yer alır:
- Hızlı enjeksiyon ve sistemde hızlı sızıntıGüvenilmeyen içeriklerin yapay zeka modelinin davranışını etkilediği yer
- Güvenli olmayan MCP yapılandırmasıBurada, bağlantılı bir araç veya sunucu zehirlenebilir veya taklit edilebilir.
- Aşırı aracılıkBurada bir ajanın, insan denetimi olmaksızın, amaçlanan sınırlarının ötesinde hareket etmesine izin verilir.
- Yapay zeka dosyalarındaki sırlar ifşa edildi.API anahtarlarının veya kimlik bilgilerinin yapay zeka araçları tarafından kullanılan yapılandırma üzerinden sızdığı durumlar.
- Savunmasız veya halüsinasyon kaynaklı yapay zekâ bağımlılıklarıslopsquatting dahil
Bu risk kategorileri, yayınlanmış ve topluluk tarafından incelenmiş çerçevelere, özellikle de LLM Uygulamaları için OWASP Top 10'a karşılık gelmektedir.
3. Uygulama (Guardrails) #
Son katman, tehlikeli yapay zeka davranışlarının yürütülmesini engeller: kötü amaçlı bir paketin yüklenmesini engellemeÖrneğin, bir beceri veya kural dosyasının güvenilir hale gelmeden önce doğrulanması veya politikayı ihlal eden bir ajan eyleminin engellenmesi gibi. Yapay Zeka Güvenliği burada görünürlükten aktif savunmaya geçiyor.
Yapay Zeka Güvenliğinin Başlıca Riskleri, Tanımlandı #
| Dönem | Ne demek |
|---|---|
| Hızlı enjeksiyon | Yapay zekâ modelinin işlediği içeriğe gizlenmiş kötü amaçlı talimatlar, modelin amaçlanan amacının aksine hareket etmesine neden olur. |
| Çömelme | Saldırganlar, yapay zeka modelinin halüsinasyon görmesine ve önerilerde bulunmasına yol açabilecek isimlerle eşleşen sahte paketler kaydediyor. |
| MCP riski | Yapay zekâ ajanlarının harici araçları çağırmasına olanak tanıyan Model Bağlam Protokolü sunucularındaki güvenlik açıkları, araç zehirlenmesi ve kimlik doğrulaması yapılmamış erişim gibi sorunları içerir. |
| Aşırı aracılık | Bir yapay zekâ ajanına, görevinin gerektirdiğinden daha fazla özerklik veya erişim yetkisi verildi. |
| Kurallar/beceri dosyası arka kapısı | Yapay zekâ kodlama asistanını yönlendiren ancak görünür çıktısında yer almayan, yapılandırma dosyalarına yerleştirilmiş gizli karakterler veya talimatlar. |
| AI-BOM | Denetim ve risk yönetimi amacıyla kullanılan, bir kuruluşun yapay zeka varlıklarının makine tarafından okunabilir envanteri. |
Yapay Zeka Güvenlik Çerçeveleri ve Standards #
Bu, yayınlanmış az sayıda kaynağa dayanmaktadır. standardHerhangi bir tek tedarikçinin sınıflandırmasından ziyade, s'ye dayalı sınıflandırma:
- OWASP'ın Yüksek Lisans Başvuruları İçin En İyi 10 Listesi (2025)Yapay zekâ uygulamalarına ilişkin riskler konusunda en çok başvurulan liste; anlık enjeksiyon, hassas bilgilerin ifşası, tedarik zinciri riski ve daha fazlasını kapsıyor.
- NIST SP 800-218A: Üretken yapay zeka ve çift kullanımlı temel modeller için uyarlanmış güvenli yazılım geliştirme uygulamalarına yönelik kılavuz.
- Gartner'ın AI-SPM ve AI TRiSM'iAnalistler tarafından tanımlanan yapay zeka güvenlik duruşu yönetimi ve daha geniş anlamda yapay zeka güven, risk ve güvenlik yönetimi disiplinine yönelik kategoriler.
Bunların birleşimi, kuruluşlara yalnızca pazarlama tanımlarına güvenmek yerine, "güvenli yapay zeka"nın gerçekte ne anlama geldiğine dair ortak bir terminoloji sağlar.
Yapay Zeka Güvenliği ve İlgili Terimler #
- Yapay Zeka Güvenliği ve Uygulama Güvenliği KarşılaştırmasıUygulama güvenliği (AppSec), uygulama kodunu ve bağımlılıklarını güvence altına alır. Uygulama güvenliği araçlarının incelemek üzere tasarlanmadığı yapay zeka modellerini, aracıları ve yapay zekaya özgü yapılandırmaları güvence altına alır.
- Yapay Zeka Güvenliği ve Yapay Zeka YönetişimiYönetişim, bir kuruluşun yapay zeka kullanımı için ihtiyaç duyduğu politikaları ve onayları tanımlar. Bu politikaların kod ve ajan düzeyinde pratikte geçerli olup olmadığını uygular ve doğrular.
- Yapay Zeka Güvenliği ve MLSecOps KarşılaştırmasıMLSecOps, makine öğrenimi yaşam döngüsünün (eğitim, veri, model dağıtımı) güvenliğini sağlamaya odaklanır. Daha geniş bir kapsamda olup, ajanları, kodlama yardımcılarını ve bunları canlı sistemlere bağlayan protokolleri de içerir.
Xygeni Yapay Zeka Güvenliğine Nasıl Yaklaşıyor?
#
Xygeni'nin Yapay Zeka Güvenliği ürünü, bu keşfetme, tespit etme ve uygulama modelini doğrudan yazılım geliştirme yaşam döngüsüne uygular. Depolar genelinde sürekli olarak bir Yapay Zeka Envanteri oluşturur, anlık enjeksiyon ve güvensiz MCP yapılandırması gibi yapay zekaya özgü riskleri tespit eder ve her bulguyu LLM Uygulamaları için OWASP En İyi 10'a eşler; böylece güvenlik ve mühendislik ekipleri, kodlarında halihazırda çalışan yapay zekanın ne olduğunu tahmin etmek yerine, tek bir Yapay Zeka Malzeme Listesi ve tek bir risk görünümüyle çalışır.
SSS #
Yapay Zeka Güvenliği, yapay zeka modellerinin, ajanlarının, verilerinin ve bunları birbirine bağlayan altyapının, yapay zeka sistemlerinin nasıl oluşturulduğuna ve çalıştığına özgü risklere karşı korunmasıdır.
Hayır. Siber güvenlik, tüm dijital riskleri kapsayan genel bir disiplindir. Yapay Zeka Güvenliği ise, yapay zekaya özgü varlıklara ve arıza modlarına (örneğin, anlık enjeksiyon veya güvensiz ajan davranışı) odaklanan siber güvenliğin özel bir alt kümesidir.
Geliştiricileri yapay zeka kodlama asistanları kullanan, ürünlerinde yapay zeka modelleri barındıran veya iş akışlarında otonom ajanlar ve MCP sunucuları bulunan her türlü kuruluş. Bu, artık büyüklüğünden bağımsız olarak çoğu yazılım ekibini kapsamaktadır.
