Stanford Üniversitesi'nden araştırmacılar, yapay zeka dil modellerinin kendi hatalarını düzeltme şeklinde önemli bir yenilik getiriyor. LLaDA2.1 gibi maskeli difüzyon dil modelleri şu anda Token-to-Token (T2T) düzenleme yöntemiyle çalışıyor - yani bir kelimenin güven seviyesi belirli bir eşiği geçtiğinde, o kelimeyi başka bir kelimeyle değiştiriyor.
Araştırmacılar bu sistemde üç temel sorun tespit etti. İlk olarak, hiçbir alternatif kelime yeterince güvenilir olmadığında sistem müdahale edemiyor. İkincisi, yeni kelime seçimi hatalı bir bağlamda yapılabiliyor. Üçüncüsü ise, modelin eğitim sırasında kullanılan düzgün pertürbasyonlar, gerçek kullanımda karşılaştığı tutarlı ve anlamlı hatalarla örtüşmüyor.
Çözüm olarak geliştirdikleri Token-to-Mask (T2M) yeniden maskeleme tekniği, şüpheli bir kelimeyi başka bir kelimeyle değiştirmek yerine o pozisyonu maske durumuna sıfırlıyor. Bu sayede bir sonraki adımda sistem, o kelimeyi daha doğru bir bağlamda yeniden tahmin edebiliyor.
Bu yöntemin en önemli avantajları arasında ek eğitim gerektirmemesi, sadece düzenleme kuralını değiştirmesi ve yeni parametre eklememesi bulunuyor. Araştırma, yapay zeka modellerinin kendi çıktılarını optimize etme konusunda yeni bir yaklaşım sunarak, daha güvenilir ve tutarlı metin üretimi için umut vaat ediyor.