Yapay zeka alanında yeni bir atılım gerçekleştirildi. Araştırmacılar, büyük dil modellerinin GPU işlemcilerde daha verimli çalışmasını sağlayan Event Tensor adlı yenilikçi bir derleyici teknolojisi geliştirdi.
Modern GPU iş yükleri, özellikle ChatGPT benzeri büyük dil modelleri, işlem başlatma gecikmeleri ve kaba eşzamanlama sorunlarıyla karşılaşıyor. Bu problemler, farklı işlemler arasındaki paralelliği sınırlayarak performansı düşürüyor. Mevcut megakernel teknikleri bu sorunları çözmek için birden fazla operatörü tek bir kalıcı çekirdekte birleştiriyor, ancak gerçek dünya uygulamalarında karşılaşılan değişken boyutlar ve veriye bağlı hesaplamalarla başa çıkmakta zorlanıyor.
Event Tensor, bu zorluklara çözüm getiren birleşik bir derleyici soyutlaması sunuyor. Sistem, döşenmiş görevler arasındaki bağımlılıkları kodlayarak hem şekil hem de veriye bağlı dinamizm için birinci sınıf destek sağlıyor. Bu soyutlama üzerine inşa edilen Event Tensor Derleyicisi (ETC), yüksek performanslı kalıcı çekirdekler üretmek için statik ve dinamik zamanlama dönüşümleri uyguluyor.
Yapılan değerlendirmeler, ETC'nin büyük dil modellerinde en gelişmiş hizmet gecikme sürelerini elde ettiğini ve sistem ısınma maliyetlerini önemli ölçüde azalttığını gösteriyor. Bu gelişme, yapay zeka uygulamalarının daha hızlı ve verimli çalışmasına katkı sağlayacak.