Modern GPU'lar çoklu çip tasarımı benimserken, mevcut programlama modelleri bu yapıyı tam olarak kullanamıyor. Araştırmacılar, GPU'ların çip düzeyindeki organizasyonunu daha iyi değerlendiren Fleet adlı yeni bir sistem geliştirdi. Bu sistem, yapay zeka modellerinin çalıştırılması gibi bellek yoğun işlemlerde performansı artırmayı hedefliyor. Fleet, görevleri GPU'nun farklı seviyelerine akıllıca dağıtarak, önbellek kullanımını optimize ediyor ve gereksiz veri trafiğini azaltıyor. Özellikle büyük dil modellerinin çalıştırılmasında önemli iyileştirmeler sağlayabilecek bu yaklaşım, GPU programlamanın geleceğini şekillendirebilir.

arXiv (CS + AI) 0

Teknoloji & Yapay Zeka

20 Apr

Yapay Zeka Çiplerinde Devrim: Hafızada Hesaplama Teknolojisi

Araştırmacılar, büyük dil modellerinin mobil cihazlarda daha verimli çalışması için yenilikçi bir çip mimarisi geliştirdi. CIMple adı verilen bu teknoloji, hesaplama işlemlerini doğrudan hafıza birimlerinin içinde gerçekleştirerek enerji tüketimini dramatik şekilde azaltıyor. Geleneksel çiplerde veri sürekli işlemci ve hafıza arasında taşınırken, bu yeni yaklaşım hesaplamaları hafızanın içinde yaparak bu gereksiz veri trafiğini ortadan kaldırıyor. Özellikle transformer tabanlı yapay zeka modellerinin attention mekanizmalarını hızlandırmak için özel olarak tasarlanan sistem, mobil cihazlarda büyük dil modellerinin kullanımını mümkün kılabilir. Bu gelişme, yapay zekanın günlük yaşamdaki cihazlarda daha yaygın kullanımına kapı açabilir.

arXiv (CS + AI) 0