Araştırmacılar, yapay zeka ajanlarının kendi davranışlarını değerlendirmesini sağlayan yeni bir sistem geliştirdi. 'Agent-as-a-Judge' adlı bu yaklaşım, geleneksel değerlendirme yöntemlerinin aksine çevreyle aktif etkileşim kurarak kanıt toplama yeteneğine sahip. Üç farklı alanda 155 görev üzerinde yapılan testlerde, bu sistem mevcut LLM tabanlı değerlendirici modellerin performansını geride bıraktı. Sistem, arama motorları, veri sistemleri ve grafik kullanıcı arayüzleri gibi karmaşık ortamlarda bilgi edinme, durum doğrulama ve süreç değerlendirme konularında başarılı sonuçlar verdi. Bu gelişme, yapay zeka sistemlerinin güvenilirliği ve özerk karar verme yetenekleri açısından önemli bir adım sayılıyor.

arXiv (CS + AI) 0

Teknoloji & Yapay Zeka

21 Apr

Yapay Zeka Ajanları İçin Yeni Güvenlik Tehditleri Belirlendi

Araştırmacılar, büyük dil modellerine dayalı yapay zeka ajanlarının karşılaştığı güvenlik risklerini sistematik olarak sınıflandıran yeni bir çerçeve geliştirdi. Geleneksel yazılımlardan farklı olarak, bu ajanlar çalışma zamanında dinamik olarak bilgi toplayan ve araçları kullanan özerk sistemler olarak çalışıyor. Bu durum, saldırı yüzeyini geleneksel yapım zamanı güvenlik açıklarından çalışma zamanı bağımlılıklarına kaydırıyor. Araştırma, veri tedarik zinciri saldırıları ve araç tedarik zinciri saldırıları olmak üzere iki ana tehdit kategorisi tanımlıyor. Özellikle 'Viral Ajan Döngüsü' adı verilen yeni bir risk türü keşfedildi - bu durumda ajanlar kendileri saldırı vektörü haline gelebiliyor.

arXiv (CS + AI) 1