Yapay zeka alanında süregelen en önemli sorulardan biri, büyük dil modellerinin gerçekten tutarlı bir dünya anlayışı geliştirebilip geliştiremediği. Yeni bir araştırma, bu konuda umut verici bir yaklaşım sunuyor.
Geleneksel yapay zeka modelleri, tek-token tahmin (NTP) yöntemiyle çalışarak sadece bir sonraki kelimeyi tahmin etmeye odaklanıyor. Ancak araştırmacılar, çoklu-token tahmin (MTP) yaklaşımının daha yapılandırılmış öğrenme sağladığını keşfetti. Bu yeni çalışma, MTP yönteminin neden daha etkili olduğunu teorik olarak açıklıyor.
Araştırma ekibi, MTP'nin gradient etkileşimi yoluyla temsil daralması yaratarak iç inanç durumlarına yakınsamayı teşvik ettiğini gösteriyor. Basitçe söylemek gerekirse, bu yöntem modelin daha tutarlı bir dünya anlayışı geliştirmesine yardımcı oluyor.
Ancak standart MTP yönteminin bir sorunu var: yapısal halüsinasyonlar. Kesikli token denetimi, gizli uzayda çevresel kısıtlamaları ihlal eden yasadışı kısayollara neden olabiliyor.
Bu problemi çözmek için araştırmacılar Gizli Semantik Geliştirme MTP (LSE-MTP) adını verdikleri yeni bir yöntem geliştirdi. Bu yaklaşım, tahminleri gerçek gizli durum yörüngelerine sabitleyerek daha güvenilir sonuçlar elde edilmesini sağlıyor. Hem sentetik graflar hem de gerçek dünya verileri üzerinde yapılan deneyler, bu yöntemin etkinliğini kanıtlıyor.