Büyük dil modellerinin kod anlama yetenekleri konusunda yapılan yeni bir araştırma, bu sistemlerin düşünülenden çok daha farklı çalıştığını ortaya çıkardı. Araştırmacılar, yapay zeka modellerinin gerçekten kod anladığı mı yoksa sadece kalıp eşleştirme yaptığı mı sorusuna yanıt aramış.
Çalışmada iki farklı hatırlama türü tanımlandı: sözlüksel hatırlama (kodu aynen hatırlama) ve semantik hatırlama (kodun işleyişini anlama). 10 farklı son teknoloji yapay zeka modeli test edildiğinde, ilginç bir pattern ortaya çıktı.
En gelişmiş modeller, sözlüksel hatırlama konusunda neredeyse mükemmel performans sergilerken, semantik hatırlama konusunda ciddi sorunlar yaşıyor. Özellikle kod parçaları uzun metin içinde merkezi konumlarda yer aldığında bu sorun daha da belirginleşiyor.
Araştırmacılar, mevcut kod anlama testlerinin çoğunun aslında kalıp eşleştirme kısayollarıyla çözülebileceğini keşfetti. Bu durum, yapay zeka modellerinin gerçek kod anlaması yerine daha basit yöntemler kullandığını gösteriyor.
Çalışma kapsamında SemTrace adında yeni bir test görevi önerildi. Bu test, gerçek semantik anlama gerektiren durumları daha iyi ölçebiliyor ve yapay zeka modellerinin kod anlama konusundaki gerçek kapasitelerini daha doğru şekilde değerlendiriyor.