Büyük dil modellerinin en temel sorunu, metin üretirken her kelimeyi sırayla işlemek zorunda olmalarıdır. Bu durum, özellikle uzun metinlerde ciddi gecikmelere neden olmaktadır. Araştırmacılar bu probleme karşı SpecTr-GBV adında yeni bir çözüm geliştirdi.
Spekülatif kod çözme (SD) tekniği, bu sorunu hafif bir taslak model kullanarak aşmaya çalışır. Önce küçük ve hızlı bir model aday kelimeler önerir, ardından büyük ve güçlü model bu önerileri değerlendirip onaylar veya reddeder. Böylece genel işlem hızı artmış olur.
SpecTr-GBV yöntemi, mevcut tekniklerin ayrı ayrı kullanılan avantajlarını birleştiriyor. Çoklu taslak stratejileri kabul oranlarını yükseltirken, blok doğrulama teknikleri birden fazla kelimeyi aynı anda kontrol edebiliyor. Yeni sistem, bu iki yaklaşımı optimal taşıma problemi teorisi çerçevesinde birleştiriyor.
Araştırmacılar, SpecTr-GBV'nin teorik olarak ulaşılabilir en iyi kabul uzunluğunu elde ettiğini matematiksel olarak kanıtladılar. Bu gelişme, yapay zeka uygulamalarının daha hızlı yanıt verebilmesi ve daha az hesaplama kaynağı tüketmesi anlamına geliyor.