Teknoloji & Yapay Zeka

Siber Tehdit Avcılığında Yapay Zeka Ajanlarını Test Eden Yeni Ölçüt: ExCyTIn-Bench

Araştırmacılar, büyük dil modellerinin siber güvenlik alanındaki performansını değerlendirmek için ExCyTIn-Bench adlı ilk kapsamlı test setini geliştirdi. Bu yenilikçi araç, gerçek güvenlik analistlerinin karmaşık siber tehditleri araştırma sürecini taklit ederek yapay zeka ajanlarının yeteneklerini ölçüyor. Microsoft Sentinel'den elde edilen 57 farklı log tablosunu içeren kontrollü bir Azure ortamında, 7542 özel soru ile test ediliyor. Sistem, uzman güvenlik analistlerinin mantığını kullanarak tehdit araştırma grafikleri oluşturuyor ve bu grafikler üzerinden yapay zeka ajanlarının çok aşamalı kanıt zincirlerini takip etme yeteneğini değerlendiriyor. Bu gelişme, siber güvenlik alanında otomatik tehdit araştırması yapabilen yapay zeka sistemlerinin geliştirilmesi için kritik bir adım teşkil ediyor.

Siber güvenlik dünyasında devrim niteliğinde bir gelişme yaşanıyor. Araştırmacılar, büyük dil modellerinin (LLM) siber tehdit araştırması konusundaki yeteneklerini sistematik olarak değerlendiren ilk kapsamlı test platformu olan ExCyTIn-Bench'i tanıttı.

Günümüzde güvenlik analistleri, siber tehditleri tespit etmek için binlerce farklı kaynak ve log dosyasını incelemek zorunda kalıyor. Bu süreç hem zaman alıcı hem de büyük uzmanlık gerektiriyor. ExCyTIn-Bench, yapay zeka ajanlarının bu karmaşık görevi ne kadar iyi yerine getirebileceğini ölçmek için tasarlandı.

Araştırma ekibi, Microsoft Sentinel ve ilgili servislerden elde edilen 57 farklı log tablosunu içeren kontrollü bir Azure ortamında çalışmalarını yürüttü. Bu kapsamlı veri setinden toplam 7542 özelleştirilmiş soru ürettiler. Sistem, uzman güvenlik analistlerinin tespit mantığını kullanarak gerçekçi tehdit araştırma grafikleri oluşturuyor.

Platformun en önemli özelliği, çok aşamalı kanıt zincirlerini takip etme yeteneğini test etmesi. Yapay zeka ajanları, bir başlangıç noktasından hareketle karmaşık güvenlik olaylarının izini sürmeye ve son hedefe ulaşmaya çalışıyor. Bu yaklaşım, gerçek dünya siber güvenlik senaryolarını oldukça başarılı bir şekilde simüle ediyor.

Bu gelişme, siber güvenlik alanında otomatik tehdit araştırması yapabilen yapay zeka sistemlerinin geliştirilmesi yolunda atılan önemli bir adım olarak değerlendiriliyor.

Özgün Kaynak
arXiv — Hesaplamalı Dilbilim (cs.CL)
ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation
Orijinal makaleyi oku

Bu içerik, özgün kaynaktaki bilgiler temel alınarak BilimKapsül editörleri tarafından yeniden kaleme alınmıştır. Orijinal metnin birebir çevirisi değildir. Telif hakkı özgün yayıncıya aittir.