Yapay zeka alanında önemli bir atılım gerçekleşti. Çok modlu büyük dil modellerinin eğitim süresini yarı yarıya kısaltan yeni bir teknik geliştirildi.
ReGATE (Referans Güdümlü Uyarlanabilir Token Eleme) adlı bu yöntem, öğretmen-öğrenci modellemesi prensibine dayanıyor. Sistemde donmuş bir öğretmen dil modeli, her veri parçası için rehberlik sinyalleri üretiyor. Bu sinyaller, öğrenci modelin zorluk tahminleriyle birleştirilerek hangi bilgi parçalarının önemli olduğu belirleniyor.
Geleneksel yaklaşımlardan farklı olarak ReGATE, eğitim sürecinin kendisini hızlandırıyor. Çoğu mevcut yöntem, modelin çalışma anındaki performansını artırmaya odaklanırken, bu teknik doğrudan öğrenme aşamasını optimize ediyor.
MVBench değerlendirmelerinde yapılan testler çarpıcı sonuçlar ortaya koydu. ReGATE, standart eğitim yöntemleriyle aynı doğruluk oranına ulaşırken sadece %38 oranında veri kullandı ve iki kat daha hızlı çalıştı.
Bu gelişme, yapay zeka modellerinin eğitim maliyetlerini önemli ölçüde azaltma potansiyeli taşıyor. Özellikle büyük teknoloji şirketleri için milyarlarca dolarlık tasarruf anlamına gelebilir.