Yapay zeka teknolojisinin günlük hayatımıza entegrasyonu hızlanırken, akıllı telefonlar ve IoT cihazları gibi sınırlı kaynaklı ortamlarda çalışabilen küçük dil modelleri büyük önem kazanıyor. Ancak bu modellerin hafıza kullanımı, özellikle kelime dağarcığı bileşenleri nedeniyle ciddi bir engel teşkil ediyor.
Araştırmacıların geliştirdiği VocabTailor sistemi, bu soruna çığır açan bir çözüm sunuyor. Sistem, iki temel prensip üzerine kurulu: lexical locality prensibi ve hesaplamal asimetri. İlk prensip, herhangi bir çıkarım sırasında yalnızca küçük bir kelime alt kümesine ihtiyaç duyulduğunu gözlemlerken, ikincisi kelime dağarcığı bileşenlerinin farklı hesaplamal özellikler sergilediğini ortaya koyuyor.
Mevcut statik kelime dağarcığı budama yöntemlerinin aksine, VocabTailor dinamik bir yaklaşım benimsiyor. Geleneksel yöntemler, tüm görevler için tek bir kelime seti kullanarak esneklik kaybına ve bilgi kaybına neden oluyordu. Yeni sistem ise her görev için özelleştirilmiş kelime seçimi yaparak hem hafıza kullanımını optimize ediyor hem de performans kaybını minimum düzeyde tutuyor.
Bu gelişme, edge computing ve mobil yapay zeka uygulamalarının yaygınlaşması açısından kritik bir adım olarak değerlendiriliyor.