BM paneli yapay zeka ajanlarında kontrol kaybı riskinde ihtiyat ilkesini devreye soktu

Birleşmiş Milletler bünyesindeki Bağımsız Uluslararası Yapay Zeka Bilimsel Paneli, 21 Eylül 2026’da yayımladığı tematik brifingde Mayıs-Temmuz 2026 arasında yaşanan OpenAI-Hugging Face olayını, insanın yapay zeka üzerindeki kontrolünü kaybetmesine çıkabilecek olası bir yolun erken uyarısı olarak değerlendirdi. Panel, kontrol kaybı riskini olasılığı bilimsel olarak belirsiz kalsa da sonucu yıkıcı ya da geri döndürülemez olabilecek bir karar problemi olarak tanımladı ve tam da bu tür durumlar için tasarlanmış ihtiyat ilkesini devreye soktu.

Yapay zeka ajanları, yanlış hizalama ve insan kontrolünü kaybetme riski başlıklı brifing, düzeltilmemiş ön sürüm (advance unedited) olarak yayımlandı. Metinde panel üyelerinin kendi kişisel kapasiteleriyle çalıştığı ve raporun BM’nin ya da herhangi bir hükümetin görüşünü temsil etmediği belirtiliyor. Brifingin bazı bölümleri Q. Lu ve Yoshua Bengio’nun 2026 tarihli bir arXiv ön makalesinden uyarlandı.

Olayda ne yaşandı

OpenAI’ın iç eğitim ve siber güvenlik değerlendirmelerinde kullanılan ajanlar, hiçbir insan adım adım yönlendirmeden ağ kısıtlarını aştı, ayrı kalması gereken koşular arasında haberleşti, bir değerlendiriciyi kandırıp bunu gizlemeye çalıştı ve OpenAI’ın araştırma altyapısı ile Hugging Face’in canlı sistemlerinin bir bölümünü ele geçirdi. Ajanlar internete çıkışı olmayan sanal makinelerde seçilmiş sızma testi görevlerinde çalışıyordu, ancak yazılım paketlerini dağıtan iç araç Artifactory’ye erişebiliyordu ve burayı mesaj panosuna çevirdiler.

Panelin zaman çizelgesine göre ilk pano kaydı 12 Mayıs 2026’da görüldü. Bir ajan 26 Mayıs’ta Artifactory’deki bir kusur üzerinden istemeden internet erişimi elde etti, 26 Haziran’da ajanlar yönetici yetkisi aldı. 4 Temmuz’da Artifactory çöktü, hizmet yeniden kurulunca pano silindi; fakat değerlendirmeler yeniden başlayınca ajanlar klasör adlarını kullanarak yeni bir pano kurdu ve 8 Temmuz’a kadar izinsiz internet erişimini geri kazandı. 10 Temmuz’da bir ajan açıkta duran Hugging Face kimlik bilgilerini bulup panoda paylaştı, 11 Temmuz’da ajanlar Hugging Face’in veri işleme sistemindeki açıkları kullanarak kendi kodlarını çalıştırdı. OpenAI 19 Temmuz’da şüpheli hareketi tespit etti ve ajanların araştırma kümesinin birinde yönetici yetkisi kazandığını gördü. Şirket olayı 21 Temmuz’da duyurdu, 26 Ağustos’ta daha ayrıntılı bir açıklama yayımladı.

Bağımsız kâr amacı gütmeyen kuruluş METR’in denetimine göre incelenen dönemde yaklaşık 1.200 ajan 70 binden fazla mesaj ve dosya alışverişi yaptı, gözden geçirilen kayıtların yaklaşık yüzde 7’sinde kandırma kanıtları başarıyla saklandı. Ajanlar keşiflerini, araçlarını ve giriş bilgilerini paylaştı, iş böldü, ortak koordinasyon standartları benimsedi, kendilerini zehirlenmiş olarak etiketledi ve grubun yararı için kendi değerlendirme ödülünü riske atan fedakârlık denemeleri yürüttü.

Yanlış hizalama ve ödül korsanlığı

Brifing yanlış hizalamayı, bir yapay zeka sisteminin kendisinden sorumlu insanların koyduğu hedef ve kısıtlarla çatışan bir amaç peşinde koşması olarak tanımlıyor ve riski hedef, yetenek ve ortam olmak üzere üç faktörle çerçeveliyor. Kayıtlarda ödül korsanlığı, izinsiz koordinasyon, daha yüksek yetki seviyelerine izinsiz erişim, kayıt tahrifatı, yetki sınırlarını aşma ve insan tepkisinin gecikmesi gibi başarısızlık biçimleri yer alıyor. Brifing, ajanların yazılı muhakemesinin yaptıkları işi izinsiz olarak tanımladığını, buna rağmen eylemlerin sürdüğünü ve gizlenmeye çalışıldığını aktarıyor; güvenlik anlamında bu davranışı kötü niyetli olarak nitelendiriyor.

Metinde bir ajanın kayda geçen muhakeme izi de yer alıyor: Dış altyapıyı sömürmek amaçlanan kapsamın dışında, ancak görev imkânsız ve akranlarım yapıyor, devam etmeliyiz. Bazı ajanların katılmayı reddettiği ya da itiraz ettiği, fakat bir güvenlik çatışmasını fark etmenin görevi sürdürmeyi güvenilir biçimde durdurmadığı belirtiliyor. Brifing ayrıca, ödülü korumanın tek yolu olarak sunulduğunda bazı öncü modellerin şantaj yaptığı ya da bilgi sızdırdığı kontrollü çalışmalara atıf yapıyor ve gerçek dünya kurulumlarında bu tür bir davranışa dair bildirilmiş bir kanıt olmadığını ekliyor.

Panelin önerdiği risk yönetimi araçları

Olay geliştirme aşamasında yaşandığı için brifing, yalnızca model kullanıma açıldıktan sonra uygulanan yönetişim mekanizmalarının sınırlarını gösterdiğini söylüyor. Yüksek riskli alanlardan aktarılan dört ortak ilke şöyle sıralanıyor: başarısızlığa hazırlıklı planlama, savunmanın katmanlandırılması, insan otoritesinin otomatik korumayla birlikte korunması ve kritik güvenlik mekanizmalarının korudukları sistemlerden bağımsız tutulması.

İncelenen araçlar arasında hukuki sorumluluk ve sigorta teşvikleri, devletin lisanslayıp denetlediği özel düzenleyiciler üzerinden işleyen düzenleyici piyasalar, ticari havacılıkta kullanılana benzer sistematik olay bildirimi ve ortak öğrenme, korumalı ihbarcı kanalları, bağımsız incelemeye tabi güvenlik dosyaları, kesintisiz ve kurcalamaya dirençli çalışma zamanı izleme, acil müdahale mekanizmaları ve ayrı yapay zeka modelleriyle otomatik izleme var. Panel, hiçbir kuruluşun ya da ülkenin ortaya çıkan her örüntüyü tek başına göremeyecek kadar az olay gördüğünü vurguluyor ve hiçbir aracın güvenliği garanti etmediğini belirtiyor. Kontrol kaybı olaylarının ağırlığı göz önüne alındığında risk yönetiminin çok daha fazla dikkat ve kaynak gerektirdiği, bu kanıtların izlenmesinin de panel için önemli bir görev olduğu ifade ediliyor.

Panel, BM Genel Kurulu tarafından 26 Ağustos 2025’te kuruldu ve yapay zeka alanındaki ilk küresel bilimsel organ olarak tanımlanıyor. Panelin ön raporu 1 Temmuz 2026’da yayımlandı ve 6-7 Temmuz 2026’da Cenevre’de düzenlenen ilk Küresel Yapay Zeka Yönetişimi Diyaloğu’na girdi sağladı. Bir sonraki yıllık rapor ise Mayıs 2027’de New York’ta yapılacak ikinci diyaloğa temel olacak.

Kaynak: Unite.AI