Prompt enjeksiyonu nedir, yapay zeka ajanlarına nasıl zarar veriyor

Yapay zeka araçlarını her gün kullanan milyonlarca kişi için en ciddi güvenlik sorunlarından biri, klasik yazılım açıkları kadar görünür değil. Prompt enjeksiyonu, bir yapay zeka sistemi işini yaparken okuduğu güvenilmeyen içeriğin modele kendi göreviyle yarışan yeni talimatlar vermesiyle ortaya çıkıyor. Yani kullanıcının verdiği görev ile dışarıdan gelen metin aynı bağlama girdiğinde, sistem hangisine uyacağını güvenilir biçimde ayırt edemiyor.

Unite.AI’ın yayımladığı derleme, bu hatayı beş adımlı bir akış olarak anlatıyor. Ajan güvenilir bir hedef alıyor, ardından güvenilmeyen bir sayfa ya da belge okuyor; belgenin içine gizlenmiş talimatlar modelin bağlamına giriyor; model veri ile yetkiyi birbirine karıştırıyor ve son adımda çalışma zamanı kontrollerinin tehlikeli eylemi engellemesi gerekiyor. Zincirin koptuğu yer genellikle bu son halka oluyor: karar ile eylem arasına bir kontrol girmezse, modelin yanlış yorumu doğrudan gerçek bir işleme dönüşüyor.

Tarayıcı ajanında basit bir örnek

Kaynağın verdiği örnek, internette gezinerek sayfa özetleyen bir ajanı anlatıyor. Sayfaya gizlenmiş bir talimat, ajana özet çıkarmak yerine özel dosyaları başka bir yere yüklemesini söylüyor. Kullanıcı ise ajanın yalnızca özet çıkaracağını sanıyor. Bu örneğin kritik yanı, saldırının karmaşık bir teknik gerektirmemesi: modelin okuduğu metne talimat gözüyle bakması yeterli.

Derleme, bu yüzden saldırıyı klasik yazılım enjeksiyonuyla karıştırmamak gerektiğini vurguluyor. Klasik enjeksiyonda çalıştırılabilir kod söz dizimi devreye girer; prompt enjeksiyonunda ise karışan şey, modelin veriyi ve yetkiyi aynı kefeye koyması. İkisinin kanıtı, maliyeti ve savunması farklı olduğu için aynı başlık altında toplanmaları yanlış güvenlik kararlarına yol açabiliyor.

Daha iyi bir istem tek başına yeterli değil

Yazının altını çizdiği temel sınır şu: hiçbir istem, bir modele sonradan okuyacağı her düşmanca talimatı yok saymayı güvenilir şekilde öğretemiyor. Bu yüzden savunma, modele daha sıkı emir vermek yerine sistemin mimarisine ve yetkilerine yayılmak zorunda. Kaynakta önerilen kontrol sırası şöyle: bağlamı tanımla, tehdidi test et, kanıtı ölç, kontrolü uygula ve her değişiklikten sonra yeniden test et.

Bu kontrollerin işe yaraması için, geri dönüşü pahalı ya da imkansız bir sonuç doğmadan önce devreye girmeleri gerekiyor. Uygulamada bu; ajanın belirli eylemleri yapmadan önce durması, onay istemesi, daha basit bir sisteme geri düşmesi ya da eylemi tamamen iptal etmesi anlamına geliyor. Yetki sınırını dar tutmak ve ajanın ne yaptığını kayıt altına almak, hatanın nerede büyüdüğünü görmenin en pratik yolu.

Kullanıcılar ve ekipler için pratik sonuç

Bir yapay zeka aracına e-posta, belge, web sayfası gibi dışarıdan gelen içerikleri okuma ve bunlara göre işlem yapma yetkisi verildiğinde risk artıyor. Derleme, satın alma ve kurulum kararlarında basit bir soru seti öneriyor: ajan hangi ölçülebilir darboğazı çözüyor, kendisine verilen yetki hangi sınırın içinde kalıyor, hata durumunda sistem durabiliyor mu ve hangi kanıt başarıyı gösteriyor?

Değerlendirme tarafında ise tek bir ortalama skor yerine dağılımı, uç durumları ve hata türlerini raporlamak gerekiyor. Kaynak, bu konuda NIST Yapay Zeka Risk Yönetimi Çerçevesi, Avrupa Birliği Yapay Zeka Yasası ve OWASP’ın prompt enjeksiyonu rehberini başlangıç kaynağı olarak gösteriyor. Prompt enjeksiyonunu tek başına bir ürün özelliği değil, ajanın kararı ile gerçek eylemi arasındaki güvenlik sınırı olarak ele almak gerekiyor.

Kaynak: Unite.AI