Yapay zeka alanında grafik dönüştürücü modellerin karşılaştığı en büyük sorunlardan biri olan 'aşırı düzgünleşme' problemi için yeni bir çözüm geliştirildi. Araştırmacılar, SigGate-GT adını verdikleri yenilikçi sistem ile bu sorunu başarıyla çözmeyi başardı.
Grafik dönüştürücüler, moleküler analiz ve karmaşık akıl yürütme görevlerinde güçlü sonuçlar verse de, model derinleştikçe düğüm temsillerinin kademeli olarak çökmesi sorunu yaşanıyordu. Bu 'aşırı düzgünleşme' problemi, modellerin katman sayısı arttıkça performanslarının düşmesine neden oluyordu.
Araştırmacılar, bu sorunun büyük dil modellerindeki 'dikkat batma' sorununla aynı kök nedeni paylaştığını keşfetti. Softmax dikkat mekanizmasının toplamı-bir kısıtı, düğümleri bilgilendirici bir sinyal olmasa bile bir yere dikkat etmeye zorluyor. Bu zorunluluk, zamanla modelin ayırt etme yeteneğinin kaybolmasına yol açıyordu.
SigGate-GT çözümü, GraphGPS çerçevesi içinde dikkat çıktısına öğrenilen sigmoid kapıları uygulayarak çalışıyor. Her kapı, aktivasyonları sıfıra doğru bastırabilir ve böylece dikkat kafalarının bilgi vermeyen bağlantıları seçici olarak susturmasını sağlar.
Beş standart kıyaslama testinde yapılan değerlendirmeler, sistemin ZINC'de önceki en iyi sonucu yakaladığını ve ogbg-molhiv'de yeni bir başarı rekoru kırdığını gösterdi. Bu gelişme, grafik tabanlı yapay zeka uygulamalarında önemli bir dönüm noktası oluşturuyor.