Yapay zeka alanında önemli bir adım atan araştırmacılar, büyük dil modellerinin en kritik sorunlarından birine çözüm geliştirdi. Bu modeller, metin üretme sürecinde bir kez hata yaptığında, sonraki tüm adımları bu hatayı pekiştirme eğiliminde oluyor.
Geliştirilen 'Latent Phase-Shift Rollback' (LPSR) yöntemi, yapay zekanın iç işleyişini gerçek zamanlı olarak monitör ederek çalışıyor. Sistem, modelin kritik katmanlarında ani yön değişikliklerini tespit etmek için kosinüs benzerliği ve entropi tabanlı çifte kapı mekanizması kullanıyor. Hatalı bir adım algılandığında, model önceki durumuna geri döndürülüyor ve önceden hesaplanmış yönlendirme vektörleri devreye giriyor.
MATH-500 veri setinde yapılan testlerde, LPSR yöntemi 8 milyar parametreli modelde %44 başarı oranına ulaştı. Bu, standart otoregressif yöntemlerin %28,8'lik performansından %15,2 puan daha yüksek bir sonuç. Özellikle ilginç olan, geleneksel öz-düzeltme yöntemlerinin sadece %19,8 başarı göstermesi ve LPSR'nin bunu %24,2 puan geçmesi.
Yöntemin en büyük avantajı, ek eğitim, gradyan hesaplama veya ekstra hesaplama adımı gerektirmemesi. Bu özellik, mevcut sistemlere kolayca entegre edilebilmesini sağlıyor.