Yapay zeka araştırmalarında mantıksal akıl yürütme konusunda önemli bir ilerleme kaydedildi. Araştırmacılar, dil modellerinin matematiksel problemleri çözme yeteneğini dramatik şekilde artıran LogicDiff adlı yenilikçi bir yöntem geliştirdi.
Maskelenmiş difüzyon dil modelleri, tamamen gizlenmiş bir metinden başlayarak kelimeleri adım adım ortaya çıkararak metin üretir. Ancak geleneksel yöntemler, belirsizlik düzeyi yüksek olan mantıksal bağlaçları sürekli erteleyerek akıl yürütme performansını olumsuz etkiliyor.
LogicDiff bu sorunu çözmek için farklı bir yaklaşım benimsiyor. Yöntem, her maskelenmiş konumun mantıksal rolünü %98,4 doğrulukla tespit eden hafif bir sınıflandırma başlığı kullanıyor. Bu sistem, öncül, bağlaç, türetilmiş adım, sonuç ve dolgu gibi mantıksal rolleri ayırt ederek, kelimeleri mantıksal sıraya göre ortaya çıkarıyor.
Test sonuçları etkileyici: GSM8K matematik problemlerinde başarı oranı %22'den %61'e yükselirken, MATH-500 veri setinde %24'ten %29'a çıktı. En dikkat çekici yanı, bu iyileştirmelerin ana modelin sadece %0,05'i büyüklüğünde ek bir bileşenle ve %6'dan az hız kaybıyla elde edilmesi. LogicDiff özellikle örneksiz öğrenme durumlarında başarılı olurken, çok örnekli senaryolarda daha sınırlı etkiye sahip.