Büyük dil modelleri (LLM) pek çok alanda başarılı olmasına rağmen, devasa hesaplama gereksinimleri nedeniyle yaygın kullanımda zorluklar yaşanıyor. Araştırmacılar bu soruna çözüm olarak SEFT (Sparsity Evolution Fine-Tuning) adında yenilikçi bir yöntem geliştirdi.
Mevcut model küçültme teknikleri olan SparseGPT ve Wanda gibi budama yöntemleri, model boyutunu etkili şekilde azaltabilse de yüksek seyreklik seviyelerinde performans kaybı yaşanıyor. Ayrıca LoRA gibi geleneksel ince ayar yöntemleri, tüm yoğun metrikleri güncellemesi gereken yapıları nedeniyle seyrek modeller için uygun değil.
SEFT, bu sorunları çözmek üzere özel olarak seyrek LLM'ler için tasarlandı. Yöntemin temel özelliği, ince ayar süreci boyunca budanmış modellerin seyrek topolojisini dinamik olarak geliştirirken, genel seyreklik seviyesini koruması.
Araştırmada öne çıkan 'ağırlık bırakma ve büyütme' stratejisi, modellerin belirli görevlere uyum sağlamasını mümkün kılıyor. Bu sayede hem hesaplama verimliliği artırılıyor hem de performans korunuyor.
Bu gelişme, yapay zeka modellerinin mobil cihazlarda, kenar bilişim sistemlerinde ve sınırlı donanım kaynaklarına sahip ortamlarda daha etkin kullanılmasının yolunu açıyor.