Yapay zeka alanında önemli bir gelişme kaydedildi. Büyük dil modellerinin en büyük darboğazlarından biri olan prefilling sürecini hızlandırmak için yenilikçi bir yaklaşım geliştirildi.
Büyük dil modelleri, giriş uzunluğu ile birlikte katlanarak artan dikkat karmaşıklığı yaşıyor ve bu durum prefilling aşamasında ciddi bir zaman kaybına neden oluyor. Mevcut hızlandırma yöntemleri genellikle dikkat puanlarındaki seyrekliği kullanarak yüksek puana sahip blokları tahmin etmeye odaklanıyordu.
Yeni çalışma, bu alana farklı bir perspektif getiriyor. Araştırmacılar, 'decoding-time contribution sparsity' adını verdikleri yeni bir seyreklik türü keşfetti. Bu keşfe göre, birçok dikkat bloğu prefilling sırasında önemli dikkat puanları gösterse de, sonraki metin üretme sürecinde çok az katkı sağlıyor.
Bu gözleme dayanan TriangleMix yöntemi, katmanların bir bölümünde yoğun dikkat kullanırken diğerlerinde üçgen dikkat desenine geçiş yapan statik bir desen kullanıyor. En önemli avantajı, herhangi bir ek eğitim gerektirmemesi.
Kapsamlı deneyler, TriangleMix'in yoğun dikkate kıyasla neredeyse kayıpsız performans koruduğunu ve aynı zamanda dikkat hesaplama yükünü önemli ölçüde azalttığını gösteriyor. Bu gelişme, yapay zeka modellerinin daha verimli çalışması açısından umut verici.