Araştırmacılar, yapay zeka modellerinde farklı görevler için eğitilmiş LoRA adaptörlerini birleştirirken yaşanan performans kaybının temel nedenini keşfetti. Çalışma, sorunun LoRA matrislerinden B matrisinin ortak yönleri aşırı vurgulamasından kaynaklandığını ortaya koydu. Geliştirilen Pico yöntemi, veri kullanmadan bu sorunu çözerek matematik, kodlama, finans ve tıp alanlarındaki sekiz farklı benchmark testinde başarı gösterdi. Bu buluş, büyük dil modellerinin çoklu görev performansını artırabilir.

Araştırmacılar, büyük dil modellerinin eğitiminde devrim niteliğinde bir yöntem geliştirdi. Aletheia adındaki bu sistem, modelin hangi katmanlarının belirli bir görev için daha önemli olduğunu tespit ediyor ve LoRA adaptörlerini yalnızca bu kritik katmanlara uyguluyor. 81 farklı deney ve 14 başarılı model üzerinde yapılan testlerde, yöntem ortalama %23 hız artışı sağladı. Sistem, 0.5 milyardan 72 milyar parametreye kadar değişen model boyutlarında test edildi ve performans kaybı yaşanmadan eğitim süresini önemli ölçüde kısalttı. Bu gelişme, AI modellerinin daha verimli şekilde özelleştirilmesini mümkün kılarak, araştırmacılar ve geliştiriciler için büyük avantaj sağlıyor.