Araştırmacılar, web araması yapabilen büyük dil modellerinin (LLM) yeni bir güvenlik tehdidiyle karşı karşıya olduğunu keşfetti. İnternet araması yaparak güncel bilgilere erişebilen bu AI sistemler, zararlı veya güvenilmez web içeriğini kullanıcılara sunma riski taşıyor. Stanford ve diğer kurumlardan araştırmacılar, CREST-Search adlı yeni bir test framework'ü geliştirdi. Bu sistem, görünüşte zararsız arama sorguları oluşturup AI'ı zararlı kaynaklara yönlendirerek güvenlik açıklarını tespit ediyor. Çalışma, mevcut güvenlik testlerinin bu yeni tehdit yüzeyini kapsamadığını ve web destekli AI sistemler için özel güvenlik önlemlerine ihtiyaç olduğunu gösteriyor.

arXiv (CS + AI) 0

Teknoloji & Yapay Zeka

16 Apr

Gürültülü Web Ortamında Çoklu Kanıt Toplayan Yapay Zeka Test Platformu

Araştırmacılar, yapay zeka sistemlerinin gerçek web ortamındaki karmaşık arama görevlerini ne kadar iyi yerine getirdiğini ölçmek için MERRIN adlı yeni bir test platformu geliştirdi. Bu platform, AI ajanlarının metin, görsel, ses ve video gibi farklı veri türlerini bir araya getirerek çok adımlı mantıksal çıkarımlar yapabilme yeteneklerini değerlendiriyor. Geleneksel test sistemlerinden farklı olarak, belirsiz doğal dil sorguları kullanıyor ve çelişkili bilgilerin bulunduğu gürültülü web ortamlarını simüle ediyor. GPT ve Gemini gibi güçlü kapalı kaynak modellerden açık kaynak alternatiflere kadar on farklı AI modeli üzerinde yapılan testler, mevcut sistemlerin gerçek dünya koşullarındaki sınırlarını ortaya çıkarıyor.

arXiv (CS + AI) 0