Yazılım geliştirmede hata tespiti yapan yapay zeka sistemlerinin, sanıldığından çok daha yüzeysel çalıştığı ortaya çıktı. Günümüzde kullanılan kod lokalizasyon sistemleri, karmaşık mantıksal işlemler yerine basit kelime eşleştirme yöntemlerine dayanıyor.
Araştırmacılar bu durumu 'Kelime Kısayolu' fenomeni olarak tanımlıyor. Mevcut test ortamlarının dosya yolları ve fonksiyon isimleri gibi ipuçlarıyla dolu olması, yapay zeka modellerinin gerçek kod yapısını anlamak yerine bu ipuçlarına odaklanmasına neden oluyor.
Bu sorunu test etmek için geliştirilen KA-LogicQuery adlı yeni benchmark, hiçbir isim ipucu vermeden sistemlerin mantıksal akıl yürütme kapasitesini ölçüyor. Sonuçlar çarpıcı: en gelişmiş sistemler bile bu testte dramatik performans düşüşü yaşıyor.
Problemi çözmek için önerilen LogicLoc çerçevesi, büyük dil modellerini mantıksal akıl yürütme sistemleriyle birleştirerek daha güvenilir sonuçlar hedefliyor. Bu gelişme, otonom yazılım geliştirme araçlarının geleceği için kritik önem taşıyor.