Stanford Üniversitesi araştırmacıları tarafından geliştirilen LEAF (Lightweight Embedding Alignment Framework), yapay zeka alanında önemli bir sorunu çözmeyi hedefliyor: büyük dil modellerinin performansını koruyarak boyutlarını küçültmek.
Geleneksel model sıkıştırma yöntemlerinden farklı olarak LEAF, "bilgi damıtma" adı verilen bir teknik kullanıyor. Bu yaklaşımda büyük bir öğretmen model, bilgilerini çok daha küçük bir öğrenci modele aktarıyor. LEAF'in benzersiz özelliği, bu iki modelin mükemmel uyum içinde çalışabilmesi.
Araştırma ekibinin geliştirdiği leaf-ir modeli, sadece 23 milyon parametre ile BEIR benchmark testinde kendi kategorisinde birinci sırada yer aldı. Bu başarı, modelin hem kompakt hem de son derece etkili olduğunu gösteriyor.
Sistemin asimetrik mimarisi, pratik kullanımda büyük avantaj sağlıyor. Belgeler büyük öğretmen modelle kodlanırken, kullanıcı sorguları küçük leaf modelle işlenebiliyor. Bu sayede hem yüksek kalite hem de hızlı yanıt süresi elde ediliyor.
LEAF'in bir diğer önemli özelliği, öğrenci modelin öğretmenden otomatik olarak dayanıklılık ve optimizasyon özelliklerini miras alması. Bu, ek eğitim gerektirmeden modelin çeşitli zorluklarla başa çıkabilmesini sağlıyor.