Yapay zeka güvenliği alanında çığır açan bir araştırma, RAG (Retrieval-Augmented Generation) sistemlerine yönelik şimdiye kadar bilinmeyen bir tehdit türünü ortaya çıkardı. Araştırmacılar, bu sistemleri tamamen çökertmek yerine sinsi bir şekilde işlevsizleştiren 'yumuşak başarısızlık' saldırılarını inceledi.
Geleneksel siber saldırılar genellikle sistemleri tamamen durdurmaya odaklanırken, yeni keşfedilen DEJA (Deceptive Evolutionary Jamming Attack) tekniği çok daha kurnaz bir yaklaşım benimsiyor. Bu yöntem, RAG sistemlerinin dilbilimsel olarak akıcı ve tutarlı görünen, ancak hiçbir faydalı bilgi içermeyen cevaplar üretmesini sağlıyor.
Saldırının en tehlikeli yanı, fark edilmesinin oldukça zor olması. Sistem çalışıyor gibi görünüyor ve cevaplar da mantıklı geliyor, ancak kullanıcılar aradıkları bilgileri elde edemiyorlar. DEJA, büyük dil modellerinin güvenlik hizalama davranışlarını istismar ederek bu etkiyi yaratıyor.
Araştırmacılar, saldırının etkinliğini ölçmek için 'Cevap Faydalılık Skoru' adlı özel bir değerlendirme sistemi geliştirdi. Bu sistem, evrimsel optimizasyon süreci ile birleşerek sistemlerin cevap kesinliğini sistematik olarak düşürüyor.
Bu keşif, yapay zeka güvenliği uzmanlarına yeni savunma mekanizmaları geliştirme konusunda önemli ipuçları sunuyor ve AI sistemlerinin güvenlik açıklarının düşünüldüğünden çok daha karmaşık olduğunu gösteriyor.