Araştırmacılar, dilsel anlam değişimini tespit etmede kullanılan en etkili kıyaslama testlerinden SemEval-2020 Task 1'in temel sorunlarını analiz etti. Çalışma, testin kelimelerin anlam değişimini yalnızca ayrı anlamların kazanılması, kaybedilmesi veya yeniden dağıtılması olarak ele aldığını gösteriyor. Bu yaklaşım, dilin doğasında var olan kademeli, yapısal ve bağlamsal değişimleri yakalayamıyor. Ayrıca veri kalitesi incelemesinde OCR hataları, bozuk karakterler, kesik cümleler ve tutarsız dilbilgisel etiketleme gibi ciddi teknik problemler tespit edildi. Bu bulgular, yapay zeka sistemlerinin dil anlama kapasitelerini değerlendirmede kullanılan temel araçların ne kadar güvenilir olduğu sorusunu gündeme getiriyor.

Büyük dil modellerinin kararlarını nasıl aldığını anlamak, yapay zekanın güvenilirliği için kritik önem taşıyor. Araştırmacılar, GPT benzeri modellerin hangi kelimelerin etkisiyle belirli çıktılar ürettiğini açıklayan yeni bir yöntem geliştirdi. HETA adlı bu sistem, mevcut tekniklerin aksine, sadece kodlayıcı tabanlı değil, üretici modeller için özel olarak tasarlandı. Yöntem, kelimelerin birbirini nasıl etkilediğini, hassasiyet puanlarını ve bilgi kaybını bir arada değerlendireyor. Bu sayede modelin düşünce sürecini daha doğru bir şekilde haritalayabiliyor. Geliştirilen sistem, özellikle otoregresif üretim yapan modellerin karmaşık nedensel ilişkilerini yakalayabildiği için önemli bir ilerleme sayılıyor. Araştırma, yapay zekanın açıklanabilirliği konusunda yeni bir standart oluşturma potansiyeli taşıyor.

Yapay zeka sistemlerinin görsel ve dil bilgilerini birleştirme konusundaki zayıflığını gidermek için yeni bir yöntem geliştirildi. Araştırmacılar, kelimelerin somutluk seviyesinin öğrenme sürecindeki etkisine odaklanarak ConcretePlant adlı sistemi önerdi. Bu yaklaşım, AI modellerinin kelime sırası ve özellik bağlama gibi temel kompozisyonel mantık yürütme becerilerindeki eksiklikleri gidermeyi hedefliyor. Somut kavramları sistematik olarak değiştirerek daha güçlü öğrenme sinyalleri üreten method, geleneksel yöntemlere göre önemli avantajlar sunuyor.