Yapay zeka alanında yeni bir optimizasyon yaklaşımı dikkat çekiyor. Araştırmacılar, büyük dil modellerini belirli diller için daha verimli hale getirmek amacıyla 'token budama' tekniğini kullanarak sistemli bir değerlendirme çalışması yürüttü.
Korece merkezli doğal dil işleme görevlerine odaklanan bu araştırma, Qwen3, Gemma-3, Llama-3 ve Aya gibi günümüzün önde gelen çok dilli büyük dil modellerini inceledi. Çalışma kapsamında üç farklı kelime dağarcığı yapılandırması test edildi: Orijinal, İngilizce-Korece ve İngilizce-Korece-Çince kombinasyonları.
Token budama tekniği, hedef uygulama için gereksiz olan dillere ait token'ları ve gömme parametrelerini sistemden çıkaran bir sıkıştırma yöntemi olarak tanımlanıyor. Bu yaklaşımın en önemli avantajı, dil karmaşasını ortadan kaldırarak modellerin üretim kararlılığını belirgin şekilde artırması.
Araştırma sonuçları, özellikle makine çeviri alanında umut verici sonuçlar ortaya koyuyor. Token budama uygulanan modeller, Korece'ye özgü görevlerde sıklıkla daha yüksek performans sergiledi. Genel yetenek, kültürel okuryazarlık, talimat takibi ve makine çevirisi gibi çeşitli kriterler üzerinden yapılan değerlendirmeler, bu tekniğin etkinliğini kanıtlıyor.
Bu gelişme, özellikle belirli dillere odaklanan yapay zeka uygulamaları için kaynak verimliliği ve performans açısından önemli fırsatlar sunuyor.