Yeni nesil mobil ağların yapay zeka destekli hizmetler sunabilmesi için büyük AI modellerinin cihazlara hızlı aktarılması gerekiyor. Ancak güçlü AI modellerinin boyutları oldukça büyük olduğundan, geleneksel indirme-ve-çıkarım yaklaşımında kullanıcılar uzun süre beklemek zorunda kalıyor.
Araştırmacılar bu problemi çözmek için SLIDE (Simultaneous modeL downloadIng anD infErencE) adını verdikleri yenilikçi bir framework geliştirdi. Bu sistem, kullanıcıların modelin tüm katmanlarının inmesini beklemek yerine, indirilen ilk katmanlarla hemen işlem yapmaya başlamasına olanak tanıyor.
SLIDE'ın temel avantajı, indirme ve çıkarım süreçlerini paralel hale getirmesi. Geleneksel yaklaşımda bu işlemler sıralı olarak gerçekleşirken, yeni sistemde kullanıcı ilk katmanları işlerken arka planda kalan katmanlar indirilmeye devam ediyor. Bu sayede toplam gecikme süresinde önemli azalma sağlanıyor.
Sistem, çok kullanıcılı ortamlarda optimum performans için model sağlama stratejilerini, spektrum genişliği dağılımını ve hesaplama kaynaklarını akıllıca yönetiyor. Her katmanın bir öncekine bağımlı olması nedeniyle oluşan karmaşık optimizasyon problemini çözerek, ağ genelinde maksimum işlem hızını hedefliyor.
Bu gelişme, özellikle büyük dil modelleri, görüntü tanıma ve gerçek zamanlı AI uygulamaları için mobil deneyimi önemli ölçüde iyileştirebilir.