"matrix attention" için 44 sonuç bulundu
× Aramayı temizle
Arama Sonuçları
44 haber
Yapay Zeka Çiplerinde Devrim: Hafızada Hesaplama Teknolojisi
Araştırmacılar, büyük dil modellerinin mobil cihazlarda daha verimli çalışması için yenilikçi bir çip mimarisi geliştirdi. CIMple adı verilen bu teknoloji, hesaplama işlemlerini doğrudan hafıza birimlerinin içinde gerçekleştirerek enerji tüketimini dramatik şekilde azaltıyor. Geleneksel çiplerde veri sürekli işlemci ve hafıza arasında taşınırken, bu yeni yaklaşım hesaplamaları hafızanın içinde yaparak bu gereksiz veri trafiğini ortadan kaldırıyor. Özellikle transformer tabanlı yapay zeka modellerinin attention mekanizmalarını hızlandırmak için özel olarak tasarlanan sistem, mobil cihazlarda büyük dil modellerinin kullanımını mümkün kılabilir. Bu gelişme, yapay zekanın günlük yaşamdaki cihazlarda daha yaygın kullanımına kapı açabilir.
arXiv (CS + AI) · 25 gün önce
0
Matematikçiler Matrix Teorisinde Yeni Simetri Özellikleri Keşfetti
Araştırmacılar, matrislerin maksimal minörlerinden oluşan ideallerin sembolik güçleri üzerine yaptıkları çalışmada önemli bulgulara ulaştı. Generic linkage adı verilen matematiksel yapıların özelliklerini inceleyen ekip, bu ideallerin sembolik ve sıradan güçlerinin eşit olduğunu kanıtladı. Gröbner dejenerasyonu tekniğini kullanarak, bu karmaşık cebirsel yapıların üretici elemanlarının öncü terimlerini açık bir şekilde tanımlamayı başardılar. Bu keşif, cebirsel geometri ve komütatif cebir alanlarında yeni araştırma yolları açabilir. Özellikle Gorenstein halkaları ve F-rasyonellik gibi özel özelliklerin varlığının gösterilmesi, bu matematiksel nesnelerin beklenenden daha zengin bir yapıya sahip olduğunu ortaya koyuyor.
arXiv (Matematik) · 25 gün önce
0
MATRIX: Yapay Zeka Kodlarına Çok Katmanlı Dijital İmza Teknolojisi
Kod üreten büyük dil modelleri yazılım geliştirmede devrim yaratırken, telif hakkı koruması ve güvenlik konularında ciddi endişeler ortaya çıkardı. Araştırmacılar, bu sorunlara çözüm olarak MATRIX adlı yenilikçi bir kod filigran sistemi geliştirdi. Sistem, matematik tabanlı matris denklemleri kullanarak kodlara görünmez dijital imzalar yerleştiriyor. Mevcut tek katmanlı yöntemlerin aksine, MATRIX çok seviyeli sahiplik takibi ve sürüm kontrolü sağlayabiliyor. İkili kanal yaklaşımıyla hem değişken isimlendirme hem de anlam koruyan teknikler kullanarak, kodun işlevselliğini bozmadan güvenilir bir kimlik doğrulama sistemi sunuyor.
arXiv (CS + AI) · 25 gün önce
0
Kuantum Yöntemlerle Türbülans Simülasyonunda Yeni Yaklaşım
Araştırmacılar, kuantum hesaplamadan ilham alan Matrix Product State (MPS) yöntemini kullanarak iki boyutlu türbülanslı ısı akışlarını simüle etmeyi başardı. Rayleigh-Bénard konveksiyonu olarak bilinen bu fenomen, yıldızların iç yapısından endüstriyel ısı değiştiricilerine kadar birçok sistemde görülür. Çalışma, 10^10 Rayleigh sayısına kadar dinamik simülasyonlar gerçekleştirdi ve bu alandaki en yüksek değerlerden biri oldu. Geleneksel isotermal türbülans simülasyonlarının aksine, ısıl kuplajlı akışlarda bond boyutunun sürekli artması, bu sistemlerin daha karmaşık bir yapıya sahip olduğunu gösteriyor. Bu yenilikçi yaklaşım, türbülans araştırmalarında kuantum-ilhamlı hesaplama yöntemlerinin potansiyelini ortaya koyuyor.
arXiv (Fizik) · 25 gün önce
0
Lightning Self-Attention'ın Matematiksel DNA'sı Keşfedildi
Yapay zeka sistemlerinin temelinde yer alan attention mekanizmalarının matematiksel yapısı, cebirsel geometri araçlarıyla incelendi. Araştırmacılar, lightning self-attention algoritmasının polinom katsayılarını cebirsel çeşitlilik koordinatları olarak ele alarak, bu sistemlerin davranışını yöneten matematiksel kuralları ortaya çıkardı. Çalışmada Chow-tipi, düşük rank, Veronese-tipi ve Sylvester resultant tabanlı kısıtlamalar dahil olmak üzere çeşitli cebirsel değişmezler tanımlandı. Bu keşif, yapay zeka modellerinin iç işleyişini daha derinlemesine anlamamızı sağlayarak, gelecekteki AI sistemlerinin tasarımında önemli ipuçları sunuyor.
arXiv (Matematik) · 25 gün önce
0
Transformer AI Modellerinde 'Dikkat Çöplükleri' Neden Zorunlu?
Yapay zeka araştırmacıları, Transformer modellerinde görülen 'dikkat çöplükleri' (attention sinks) olayının sadece bir yan ürün olmadığını, bazı durumlarda işlevsel olarak gerekli olduğunu matematiksel olarak kanıtladı. Bu çöplükler, modelin belirli koşullarda sabit bir noktaya odaklanması ve varsayılan duruma geçmesi için kritik rol oynuyor. Araştırma, özellikle tetikleyici koşullu görevlerde bu mekanizmanın neden kaçınılmaz olduğunu açıklayarak, büyük dil modellerinin iç işleyişine dair önemli bir bilmece çözüyor.
arXiv (CS + AI) · 25 gün önce
0
Yeni dikkat mekanizması yapay zekânın uzun metinlerdeki performansını artırıyor
Araştırmacılar, büyük dil modellerinin uzun metinlerle çalışırken yaşadığı temel sorunları çözen yeni bir dikkat mekanizması geliştirdi. Threshold Differential Attention (TDA) adlı bu yöntem, geleneksel softmax dikkatinin yapısal sınırlarını aşarak, modellerin gereksiz kelimelere odaklanmasını engelliyor ve uzun dizilerde daha verimli çalışmasını sağlıyor. Klasik yöntemlerde dikkat dağılımının toplamı bir olması gerektiği için, model bazen ilgisiz kelimelere de dikkat ayırmak zorunda kalıyor. TDA ise sadece belirli bir eşiği aşan önemli kelimelere odaklanarak hem hesaplama maliyetini düşürüyor hem de performansı artırıyor.
arXiv (CS + AI) · 27 gün önce
0