“token budama” için sonuçlar
2 sonuç bulundu. Sonuçları kategoriye göre daraltabilirsin.
Vision Transformer'larda Token Budama İçin Yeni Dikkat Mekanizması Geliştirildi
Araştırmacılar, Vision Transformer (ViT) modellerinde token budama işlemlerinin performans sorunlarını çözen yeni bir dikkat mekanizması geliştirdi. Token budama, önemsiz görüntü parçalarını atarak hesaplama maliyetini teorik olarak büyük ölçüde azaltsa da, pratikte mevcut değişken uzunluklu dikkat API'leri bu avantajı tam olarak yansıtamıyordu. Yeni geliştirilen 'dispatch-aware ragged attention' yöntemi, kısa sekans uzunluklarında ortaya çıkan dispatch-overhead darboğazını çözerek, budanmış ViT'lerin gerçek dünya performansını teorik potansiyellerine yaklaştırıyor. Bu çalışma, yapay zeka modellerinin hem doğruluk hem de hız açısından optimizasyonunda önemli bir adım teşkil ediyor.
Korece Odaklı Yapay Zeka Modelleri Token Budama Yöntemiyle Optimize Ediliyor
Araştırmacılar, büyük dil modellerini belirli diller için optimize etmek amacıyla 'token budama' tekniğini kullanarak kapsamlı bir değerlendirme gerçekleştirdi. Korece odaklı doğal dil işleme görevlerine odaklanan çalışma, Qwen3, Gemma-3, Llama-3 ve Aya gibi son teknoloji çok dilli modelleri test etti. Token budama, hedef uygulamayla ilgisiz dillere ait token'ları ve gömme parametrelerini sistemden çıkaran bir sıkıştırma tekniği olarak öne çıkıyor. Bulgular, bu yöntemin dil karmaşasını ortadan kaldırarak üretim kararlılığını önemli ölçüde artırdığını ve özellikle makine çevirisinde Korece'ye özgü görevlerde performansı sıklıkla iyileştirdiğini gösteriyor.