Yapay zeka alanında büyük dil modellerini yeni yeteneklerle donatmak, şimdiye kadar büyük bir maliyet ve performans sorunu yaratıyordu. Araştırmacılar bu soruna çözüm olarak BAR (Branch-Adapt-Route) adlı modüler bir eğitim sistemi geliştirdi.
Mevcut yaklaşımların temel sorunu, bir AI modeline yeni bir yetenek kazandırmak için ya sıfırdan eğitim yapmak ya da tüm sistemi yeniden eğitmek gerekiyordu. Bu durum hem mali açıdan büyük yük getiriyor hem de modelin önceki yeteneklerinin zarar görmesine neden oluyordu.
BAR sistemi bu problemi farklı bir açıdan ele alıyor. Her yetenek alanı için ayrı uzmanlar eğitiyor ve bunları Mixture-of-Experts mimarisiyle birleştiriyor. Sistem üç aşamada çalışıyor: dallandırma, uyarlama ve yönlendirme. Her uzman kendi eğitim sürecinden geçerken, hafif bir yönlendirici sistemle koordine ediliyor.
7 milyar parametreli modelde yapılan testlerde, matematik, kodlama, araç kullanımı ve güvenlik alanlarında uzmanlaşmış BAR sistemi, yedi farklı değerlendirme kategorisinde ortalama 49.1 puan aldı. Bu sonuç, geleneksel yeniden eğitim yöntemleriyle eşdeğer veya daha iyi performans gösteriyor.
Bu yeniliğin en büyük avantajı, sistemin modüler yapısı sayesinde herhangi bir uzmanın bağımsız olarak güncellenebilmesi ve maliyetin doğrusal artması.