Yapay zeka modellerinin belirli görevler için özelleştirilmesi sürecinde önemli bir ilerleme kaydedildi. Araştırmacılar tarafından geliştirilen Aletheia sistemi, büyük dil modellerinin eğitim süresini önemli ölçüde kısaltmayı başardı.
Geleneksel LoRA (Low-Rank Adaptation) yöntemi, tüm transformer katmanlarına uniform şekilde adaptörler uygularken, Aletheia farklı bir yaklaşım benimsiyor. Sistem, gradyan tabanlı bir araştırma yöntemiyle hangi katmanların belirli görevler için daha kritik olduğunu belirliyor ve LoRA adaptörlerini yalnızca bu seçilen katmanlara asimetrik rank dağılımıyla uyguluyor.
8 farklı mimari ailesinden 14 model üzerinde gerçekleştirilen kapsamlı testlerde, Aletheia %15-28 aralığında hız artışı sağladı. Ortalama %23.1'lik bu iyileşme istatistiksel olarak anlamlı bulundu. Sistem, 0.5 milyar ile 72 milyar parametre arasındaki modellerde test edildi ve hem yoğun hem de Mixture-of-Experts mimarilerinde başarılı sonuçlar verdi.
MMLU, GSM8K ve HumanEval benchmark testlerinde yapılan değerlendirmelerde, Aletheia'nın performans kaybına neden olmadığı, hatta bazı durumlarda daha iyi sonuçlar verdiği gözlemlendi. Bu gelişme, AI model geliştirme süreçlerini hem daha hızlı hem de daha verimli hale getiriyor.