Stanford ve diğer kurumlardan araştırmacılar, yapay zeka tabanlı GPU optimizasyonunda devrim niteliğinde bir yaklaşım geliştirdi. ARGUS adı verilen bu framework, büyük dil modellerinin GPU performansını optimize etme konusundaki temel limitasyonlarını aşmayı hedefliyor.
Mevcut AI kodlama ajanları, fonksiyonel olarak doğru GPU çekirdekleri üretebilmelerine rağmen, kritik hesaplamalarda performansları yetersiz kalıyor. Özellikle matris çarpımı, dikkat mekanizmaları ve Mixture-of-Experts gibi karmaşık işlemlerde, elle optimize edilmiş kütüphanelerin performansının çok altında kalıyorlar.
ARGUS'un temel yeniliği, 'veri akış değişmezleri' konseptini kullanması. Bu özellik, derlenme zamanında verinin çekirdek yürütme boyunca nasıl koreografi edilmesi gerektiğini kodluyor. Sistem, donanım talimatlarını ve derleyici politikalarını Python benzeri bir sözdizimi ile erişilebilir hale getiren, düşük seviyeli detayları gizleyen özel bir domain-specific language (DSL) sunuyor.
Framework'ün en önemli özelliklerinden biri, sembolik açıklamaları veri ve kontrol akışı boyunca yayan etiket fonksiyonları sağlaması. Bu yaklaşım, mevcut ajanların yaşadığı seyrek geri bildirim problemini çözüyor ve global kısıtlama ihlallerini teşhis etmeyi mümkün kılıyor.
ARGUS, GPU performans optimizasyonunda koordineli akıl yürütme gerektiren döşeme, paylaşımlı bellek hazırlama, yazılım pipeline'ı ve talimat çizelgeleme gibi sıkı bağlı optimizasyonları birlikte yönetebiliyor.