Derin öğrenme modellerinin giderek karmaşıklaşmasıyla birlikte, bu sistemlerin verimli çalışması için yeni optimizasyon teknikleri gerekli hale geldi. Araştırmacılar, bu ihtiyaca yanıt olarak Neptune adlı gelişmiş bir tensor derleyici geliştirdi.
Neptune'ün temel yeniliği, operator füzyon adı verilen optimizasyon tekniğini ileri seviyeye taşıması. Bu yöntem, birden fazla derin öğrenme operatörünü birleştirerek veri yeniden kullanımını artırıyor ve global bellek transferlerini azaltıyor. Ancak mevcut tensor derleyiciler, dikkat mekanizmaları gibi döngü-taşınan bağımlılıklar içeren karmaşık hesaplamaları birleştirmekte zorlanıyordu.
Neptune'ün devrimci yaklaşımı, bu sorunu çözmek için bazı mevcut bağımlılıkları kasıtlı olarak kırıyor ve ardından doğru sonucu üretmek için cebirsel düzeltme ifadeleri oluşturuyor. Bu yöntem sayesinde sistem, FlashAttention ve FlashDecoding gibi gelişmiş operatörlere eşdeğer performans sergiliyor.
On farklı dikkat tabanlı benchmark üzerinde yapılan testlerde Neptune, basit dikkat kodundan başlayarak yüksek seviyeli programlama şablonlarıyla mevcut çözümlerden daha iyi sonuçlar elde etti. Bu başarı, yapay zeka hesaplamalarının gelecekte daha verimli hale gelebileceğini gösteriyor.