Yapay zeka ajanlarının siber güvenlik alanındaki yetenekleri, genellikle 'capture-the-flag' (CTF) testleriyle değerlendiriliyor. Ancak mevcut değerlendirme yöntemleri, ajanların farklı kod versiyonlarında ne kadar sağlam performans gösterdiğini ölçmekte yetersiz kalıyor.
Yeni araştırmada sunulan CTF zorlu ailesi yaklaşımı, tek bir güvenlik testinden hareketle semantik olarak eşdeğer alternatifler üretiyor. Bu yöntem, temel exploit stratejisini sabit tutarken, ajanların sağlamlığını kontrollü bir şekilde test etmeye olanak sağlıyor.
Araştırmacılar tarafından geliştirilen Evolve-CTF aracı, Python tabanlı güvenlik zorluklarından çeşitli program dönüşümleri kullanarak aileleri türetiyor. Bu dönüşümler arasında değişken adı değişiklikleri, kod ekleme ve çeşitli gizleme teknikleri bulunuyor.
Cybench ve Intercode veri setlerinden türetilen zorlu ailelerinde 13 farklı yapay zeka ajanı test edildi. Sonuçlar, modellerin basit dönüşümlere karşı oldukça dirençli olduğunu gösterdi. Özellikle değişken adlarının değiştirilmesi ve kod ekleme işlemlerine karşı modeller başarılı performans sergiledi.
Ancak birden fazla dönüşümün bir arada kullanıldığı durumlarda ve daha derin kod gizleme teknikleri uygulandığında modellerin başarı oranlarında belirgin düşüşler gözlendi. Bu bulgular, yapay zeka ajanlarının siber güvenlik görevlerindeki gerçek dünya sağlamlığını değerlendirmek için daha kapsamlı test yöntemlerine ihtiyaç olduğunu ortaya koyuyor.