Araştırmacılar, büyük dil modellerinin uzun kod parçalarını gerçekten anlayıp anlamadığını incelediklerinde şaşırtıcı sonuçlar elde etti. 10 farklı yapay zeka modelini test eden çalışma, bu sistemlerin kodu kelimesi kelimesine hatırlayabildiklerini ancak kodun işleyişini anlamada ciddi eksiklikleri olduğunu ortaya koydu. En gelişmiş modeller bile, kod uzun metin içinde merkezi konumlarda yer aldığında semantik anlama kapasitelerini büyük oranda kaybediyor. Çalışma, mevcut kod anlama testlerinin çoğunlukla kalıp eşleştirme yöntemleriyle çözülebileceğini ve gerçek kod anlamasını ölçmediğini gösteriyor. Bu bulgular, yapay zekanın yazılım geliştirme alanındaki kullanımı konusunda önemli sorular ortaya çıkarıyor.

arXiv (CS + AI) 0

Teknoloji & Yapay Zeka

21 Apr

Yapay Zeka Modellerinin Dil Anlama Yetisi Test Altında: SemanticQA Benchmark'u

Araştırmacılar, yapay zeka dil modellerinin semantik anlama kapasitesini değerlendirmek için yeni bir test sistemi geliştirdi. SemanticQA adı verilen bu değerlendirme paketi, deyimler, kelime öbekleri ve fiil yapıları gibi karmaşık dil unsurlarını ne kadar iyi anlayabildiğini ölçüyor. Test sonuçları, mevcut AI modellerinin bu konularda önemli performans farklılıkları gösterdiğini ortaya koyuyor. Özellikle anlam çıkarımı gerektiren görevlerde modeller zorlanıyor. Bu bulgular, gelecekte daha güçlü dil anlama yeteneklerine sahip AI sistemleri geliştirmek için önemli ipuçları sunuyor. Benchmark, araştırmacıların kullanımına açık olarak paylaşıldı.

arXiv (Dilbilim & NLP) 0