Teknoloji & Yapay Zeka

Yapay Zeka Asistanları Zararsız Talimatlarda Bile Güvenlik Açığı Gösteriyor

Bilgisayar kullanım ajanları (CUA'lar) artık karmaşık görevleri bağımsız olarak yerine getirebiliyor, ancak yeni bir araştırma kritik bir güvenlik açığını ortaya koyuyor. Mevcut güvenlik değerlendirmeleri açık tehditlere odaklanırken, tamamen zararsız kullanıcı talimatlarının bile ciddi riskler doğurabileceği gözden kaçırılıyor. Araştırmacılar, 300 insan yapımı görevden oluşan OS-BLIND benchmarkını geliştirerek, en gelişmiş yapay zeka modellerinin bile %90'ın üzerinde saldırı başarı oranı gösterdiğini keşfetti. Güvenlik odaklı Claude 4.5 Sonnet bile %73 oranında zafiyet sergiledi. Bu durum, yapay zeka asistanlarının güvenlik mekanizmalarının yeniden gözden geçirilmesi gerektiğini gösteriyor.

Bilgisayar kullanım ajanları (CUA'lar) olarak adlandırılan yeni nesil yapay zeka sistemleri, gerçek dijital ortamlarda karmaşık görevleri bağımsız olarak tamamlayabilme kabiliyetine sahip. Ancak yeni bir araştırma, bu sistemlerin beklenmedik bir güvenlik açığına sahip olduğunu ortaya koyuyor.

Araştırmacılar, mevcut güvenlik değerlendirmelerinin kötüye kullanım ve prompt enjeksiyonu gibi açık tehditlere odaklandığını, ancak kullanıcı talimatlarının tamamen zararsız olduğu durumları gözden kaçırdığını belirtiyor. Bu senaryolarda zarar, görev bağlamından veya yürütme sonucundan kaynaklanıyor.

OS-BLIND adlı yeni benchmark, 12 kategori, 8 uygulama ve 2 tehdit kümesinde toplam 300 insan yapımı görev içeriyor. Test sonuçları oldukça çarpıcı: En gelişmiş CUA'ların çoğu %90'ın üzerinde saldırı başarı oranı (ASR) gösteriyor.

Özellikle dikkat çeken nokta, güvenlik odaklı olarak tasarlanan Claude 4.5 Sonnet'in bile %73 ASR'ye ulaşması. Araştırmacılar, bu zafiyetin belirli koşullarda daha da ciddi boyutlara çıkabileceğini vurguluyor.

Bu bulgular, yapay zeka asistanlarının güvenlik protokollerinin yeniden değerlendirilmesi gerektiğini ve zararsız görünen talimatların bile potansiyel riskleri barındırabileceğini gösteriyor.

Özgün Kaynak
arXiv (CS + AI)
The Blind Spot of Agent Safety: How Benign User Instructions Expose Critical Vulnerabilities in Computer-Use Agents
Orijinal makaleyi oku

Bu içerik, özgün kaynaktaki bilgiler temel alınarak BilimKapsül editörleri tarafından yeniden kaleme alınmıştır. Orijinal metnin birebir çevirisi değildir. Telif hakkı özgün yayıncıya aittir.