Arama · son güncelleme 9 sa önce
8.833
toplam haber
9
kategori
70+
bilim kaynağı
73-96 / 110 haber Sayfa 4 / 5
Teknoloji & Yapay Zeka
21 Apr

RAYEN: Yapay Sinir Ağlarına Sert Matematiksel Kısıtlamalar Getiren Yeni Çerçeve

Araştırmacılar, yapay sinir ağlarının çıktılarına matematiksel kısıtlamalar uygulayabilen RAYEN adlı yeni bir çerçeve geliştirdi. Robotik uygulamalarında kritik olan bu yaklaşım, sinir ağlarının güvenlik gereksinimleri veya fiziksel sınırları ihlal etmesini önlüyor. RAYEN, eğitim ve test aşamalarında bu kısıtlamaların her zaman karşılanmasını garanti ederken, hesaplama maliyetini minimum seviyede tutuyor. Mevcut yöntemlerin aksine, pahalı matematiksel işlemler veya yaklaşık çözümler gerektirmiyor. Bu gelişme, otonom araçlardan robotik sistemlere kadar güvenlik kritik uygulamalarda yapay zekanın daha güvenilir kullanımını mümkün kılıyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Yapay Zeka Zaman Serisi Tahmininde 'Yavaş Düşünme' Devri

Araştırmacılar, zaman serisi tahminlerinde geleneksel 'hızlı düşünme' yaklaşımından farklı olarak, büyük dil modellerinin çok adımlı akıl yürütme yeteneklerini kullanan yeni bir 'yavaş düşünme' yöntemi geliştirdi. Mevcut yöntemler genellikle geçmiş kalıpları hızla çıkarıp geleceğe yansıtırken, bu yaklaşım ara adımlar içeren detaylı bir düşünce süreci benimsiyor. OpenAI-o1 gibi yavaş düşünen LLM'ler umut verici olmakla birlikte, yüksek hesaplama maliyeti ve gizlilik riskleri taşıyor. Yeni araştırma, bu sınırlamaları aşmak için LLM'leri özel olarak eğiterek zaman serilerine özgü derin akıl yürütme yetenekleri kazandırmayı hedefliyor. Bu gelişme, finansal piyasalar, hava durumu tahmini ve enerji tüketimi gibi alanlarda daha doğru ve güvenilir tahminler sunabilir.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Lizard: Büyük Dil Modellerini Hızlandıran Yenilikçi Çerçeve Geliştirildi

Araştırmacılar, ChatGPT benzeri büyük dil modellerinin en büyük sorunlarından birini çözen Lizard adlı yenilikçi bir çerçeve geliştirdi. Transformer mimarisindeki büyük dil modelleri, uzun metinlerle çalışırken kvadratik karmaşıklık nedeniyle ciddi hesaplama ve bellek darboğazları yaşıyor. Lizard, önceden eğitilmiş modelleri subkuadratik mimarilere dönüştürerek bu sorunu çözüyor. Geleneksel softmax attention mekanizmasının yerini alan yeni yaklaşım, model kalitesini korurken hesaplama maliyetini önemli ölçüde düşürüyor. Önceki doğrusallaştırma yöntemlerinden farklı olarak, Lizard adaptive bellek kontrolü sağlayan öğrenilebilir modüller içeriyor ve uzun dizilerde daha iyi genelleme yapabiliyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Yapay Zeka Modellerini Eğitmenin Yeni Yolu: Bi-LoRA Tekniği Geliştirildi

Araştırmacılar, büyük yapay zeka modellerini daha verimli şekilde eğitmek için Bi-LoRA adlı yeni bir teknik geliştirdi. Bu yöntem, modellerin genelleme yeteneğini artıran SAM algoritmasının yüksek bellek ve hesaplama maliyeti sorununu çözüyor. Geleneksel LoRA yönteminin sınırlı alt uzayda çalışma problemi, ikinci bir yardımcı modül ekleyerek aşılıyor. Bi-LoRA, ana modülün görev odaklı öğrenme yaparken yardımcı modülün SAM'in adversarial pertürbasyonlarını yakalamasını sağlıyor. Bu yaklaşım, büyük dil modellerinin sınırlı veriyle eğitilmesinde karşılaşılan genelleme problemlerine çözüm sunuyor. Özellikle parametre-verimli ince ayar yapılması gereken büyük ölçekli modeller için umut verici sonuçlar gösteriyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Yapay Zeka Asistanları Artık Kuralları Hafızasında Saklayabilecek

ChatGPT ve Alexa gibi konuşan yapay zeka sistemleri, şu anda karmaşık politika kurallarını her seferinde bellekte tutmak zorunda kalıyor. Bu durum hem hesaplama maliyetini artırıyor hem de kuralları takip etmeyi zorlaştırıyor. Araştırmacılar, Çok Modlu Politika İçselleştirme adını verdikleri yeni bir yaklaşım geliştirdi. Bu teknoloji, görsel ve metin tabanlı kuralları doğrudan yapay zeka modelinin parametrelerine gömüyor. Böylece sistem, her işlem sırasında kuralları yeniden yüklemek yerine bunları kalıcı hafızasında saklayabiliyor. Özellikle görsel içeriklerle çalışan çok modlu asistanlar için kritik olan bu gelişme, hem performansı artırıyor hem de maliyetleri düşürüyor. Mevcut araştırmalar genellikle metin tabanlı güvenlik kurallarına odaklanırken, bu çalışma görsel davranış kurallarının da içselleştirilebileceğini gösteriyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Görsel Belgelerde Arama Yapan Yeni Yapay Zeka Sistemi HEAVEN Geliştirildi

Araştırmacılar, görsel açıdan zengin belgeler üzerinde arama yapmak için yeni bir hibrit sistem olan HEAVEN'ı geliştirdi. Bu sistem, hukuki araştırmalar, bilimsel doküman tarama ve kurumsal bilgi yönetimi gibi alanlarda kullanılmak üzere tasarlandı. Geleneksel yöntemlerin hız ve doğruluk arasındaki ikilemini çözmek için iki aşamalı bir yaklaşım benimseyen HEAVEN, önce tek vektör yöntemiyle hızlı tarama yapıyor, ardından çok vektörlü yöntemle sonuçları hassas bir şekilde sıralıyor. Sistem, görsel düzeni özetleyen sayfalar oluşturarak hesaplama maliyetini düşürürken doğruluğu koruyor. Araştırmacılar ayrıca sistemlerini test etmek için ViMDoc adlı yeni bir değerlendirme standardı da tanıttılar.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

PowerCLIP: Yapay Zeka Görsel-Metin Anlayışında Yeni Dönem

Araştırmacılar, yapay zekanın görsel ve metinsel içeriği birlikte anlamasını geliştiren PowerCLIP adlı yeni bir sistem geliştirdi. Mevcut CLIP teknolojisi tek kelimelerle görsel bölgeleri eşleştirirken, PowerCLIP birden fazla görsel bölgeyi kapsayan karmaşık anlamları yakalayabiliyor. Sistem, görsel bölgelerin her türlü kombinasyonunu metin parçalarıyla eşleştirerek çalışıyor. Bu yaklaşım teorik olarak üstel hesaplama maliyeti gerektirse de, araştırmacılar geliştirdikleri özel algoritmayla bu karmaşıklığı önemli ölçüde azalttı. PowerCLIP'in en önemli avantajı, görüntülerdeki nesneler arası ilişkileri ve bağlamsal anlamları daha iyi kavrayabilmesi. Bu gelişme, yapay zekanın görsel içeriği anlama ve tanımlama yeteneğinde önemli bir ilerleme anlamına geliyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Yapay Zeka Modellerinin Akıl Yürütmesini Hızlandıran Yeni Yöntem Geliştirildi

Araştırmacılar, büyük dil modellerinin akıl yürütme güvenilirliğini artırmak için kullanılan 'öz-tutarlılık' yönteminin hesaplama maliyetini büyük ölçüde azaltan yeni bir teknik geliştirdi. ReASC adı verilen bu yöntem, her yanıtı eşit görmek yerine güven seviyelerine göre değerlendirerek gereksiz hesaplamalardan kaçınıyor. Geleneksel yöntemler doğru cevap bulabilmek için çok sayıda örnek üretip karşılaştırırken, yeni teknik tek bir güvenilir yanıtla yetinebiliyor. Beş farklı model ve dört veri seti üzerinde yapılan testlerde ReASC, hem doğruluk hem de maliyet açısından en iyi performansı gösterdi. Bu gelişme, yapay zeka sistemlerinin daha verimli çalışmasını sağlayarak enerji tüketimini ve işlem süresini azaltabilir.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

DisCa: Video Yapay Zeka Üretiminde Hız ve Kalite Sorununa Yenilikçi Çözüm

Yapay zeka ile video üretimi alanında büyük ilerlemeler kaydedilirken, hesaplama maliyeti de hızla artıyor. Mevcut hızlandırma yöntemleri arasında özellik önbellekleme (Feature Caching) popüler olsa da, sıkıştırma artırıldığında kalite kaybı yaşanıyor. Adım-damıtma (step-distillation) yöntemi ise görüntü üretiminde başarılı olmasına rağmen video üretiminde performans düşüşü gösteriyor. Araştırmacılar bu sorunlara DisCa adlı yeni bir yaklaşım geliştirdi. Bu yöntem, geleneksel eğitimsiz sezgisel yöntemler yerine hafif bir öğrenebilir sinir ağı öngörücüsü kullanarak, damıtma uyumlu öğrenebilir özellik önbellekleme mekanizması sunuyor. Böylece hem hız artışı sağlanırken hem de video kalitesi korunabiliyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Yeni yapay zeka modeli video üretiminde devrim yaratıyor: FrameDiT teknolojisi

Araştırmacılar, yüksek kaliteli video üretimi için yenilikçi bir yapay zeka modeli geliştirdi. FrameDiT adlı bu teknoloji, Matrix Attention adı verilen özel bir dikkat mekanizması kullanarak videoların karmaşık hareket dinamiklerini daha verimli şekilde modelleyebiliyor. Geleneksel yöntemlerin aksine, her kareyi bir matris olarak işleyerek hem kaliteyi artırıyor hem de hesaplama maliyetini düşürüyor. Bu breakthrough, film endüstrisinden sosyal medyaya kadar birçok alanda video üretim süreçlerini köklü değiştirebilir. Diffusion Transformer mimarisi üzerine kurulu sistem, özellikle büyük hareketlerin olduğu sahnelerde geleneksel yöntemlerden üstün performans gösteriyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Yapay Zeka Modellerinin Güvenilirliği Artık Tasarım Aşamasında Test Edilebilecek

Araştırmacılar, yapay zeka modellerinin güvenilirliğini eğitim başlamadan önce tasarım aşamasında doğrulayabilen yeni bir yöntem geliştirdi. Geleneksel yaklaşımın aksine, bu teknik modelin sayısal kararlılığı, hesaplama doğruluğu ve fiziksel alanlarla tutarlılığı gibi kritik özellikleri önceden test edebiliyor. Özellikle yüksek riskli karar destek sistemleri ve bilimsel uygulamalarda kullanılacak AI modelleri için büyük önem taşıyan bu gelişme, minimal hesaplama maliyetiyle güvenilir yapay zeka sistemleri oluşturulmasını mümkün kılıyor. Yöntem, matematiksel olarak sonlu üretilmiş değişmeli gruplar üzerine kurulu özel bir cebirsel yapı kullanıyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Çinli araştırmacılar tıbbi metin arama sistemlerini hızlandıran yeni yapay zeka modeli geliştirdi

Çin'den araştırmacılar, tıbbi metinlerde arama yapan yapay zeka sistemlerinin hem daha hızlı hem de daha doğru çalışmasını sağlayan yeni bir model geliştirdi. CARE adı verilen bu sistem, asimetrik kodlayıcı mimarisi kullanarak büyük dil modellerinin yüksek hesaplama maliyeti sorununu çözmeyi hedefliyor. Araştırma ekibi aynı zamanda Çince tıbbi metinler için kapsamlı bir değerlendirme standardı olan CMedTEB'i de tanıttı. Bu benchmark, klinik uzmanların doğrulamasından geçen çoklu yapay zeka oylama sistemiyle hazırlandı ve metin arama, yeniden sıralama ve anlamsal benzerlik gibi üç farklı görevde sistem performansını test ediyor. Yeni yaklaşım, gerçek zamanlı tıbbi bilgi sistemlerinde kullanım potansiyeli taşıyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
21 Apr

Güneş Enerjisi Tahmininde Yeni Dönem: Fizik Kurallarını Bilen Yapay Zeka

Şebeke bağlantısı olmayan güneş enerjisi sistemlerinin güvenilir çalışması için araştırmacılar, fizik kurallarını içeren yeni bir yapay zeka modeli geliştirdi. Physics-Informed State Space Model (PISSM) adlı bu sistem, güneş ışınımını tahmin ederken hem yüksek doğruluk hem de düşük hesaplama maliyeti sunuyor. Geleneksel derin öğrenme modellerinin aksine, güneşin günlük döngüsü ve atmosferik koşulları gibi fiziksel gerçekleri dikkate alarak imkansız tahminler üretmeyi engelliyor. Model, küçük işlemcilerde bile çalışabilecek kadar hafif tasarlanmış ve meteorolojik sensör verilerindeki gürültüyü filtreleyebiliyor. Bu gelişme, özellikle uzak bölgelerdeki güneş enerjisi sistemlerinin daha verimli yönetilmesi açısından önemli bir adım.

arXiv (CS + AI) 0
Kimya
21 Apr

Yeni Sanal Orbital Yöntemi Moleküler Simulasyonları Devrim Yaratıyor

Araştırmacılar, moleküler sistemlerin kuantum simülasyonlarında devrimsel bir yöntem geliştirdi. Geleneksel yöntemlerde elektron korelasyonunun yetersiz tanımlanması önemli bir sınırlılık oluştururken, yeni geliştirilen Lokalize Edilmiş Korelasyon Yakınsaklıklı Sanal Orbitaller (LCCVO) bu sorunu çözüyor. Bu yöntem, çok daha az orbital kullanarak yüksek seviye temel setlerle karşılaştırılabilir, hatta bazı durumlarda daha üstün sonuçlar veriyor. Özellikle moleküllerin ayrışma enerjilerini hesaplamada singlet, doublet ve triplet durumlar için oldukça başarılı sonuçlar elde ediliyor. Yöntem, hesaplama maliyetini düşürürken doğruluğu artırması açısından bilimsel hesaplama alanında önemli bir gelişme temsil ediyor.

arXiv (Fizik) 0
Kimya
21 Apr

Yapay Zeka ile Alaşım Fazlarını Hızla Tahmin Eden Yeni Sistem Geliştirildi

Bilim insanları, karmaşık alaşımların faz diyagramlarını tahmin etmek için fizik kurallarıyla desteklenmiş yapay zeka sistemi geliştirdi. Gümüş, bizmut, bakır ve kalay içeren alaşımlar üzerinde test edilen sistem, geleneksel CALPHAD yöntemlerinin hesaplama maliyetini dramatik şekilde azaltıyor. Graf dikkat ağları kullanan model, elementlerin atomik özelliklerini öğrenerek termodinamik kısıtlamalarla birleştiriyor. Yaklaşık 25 bin denge durumu verisi ile eğitilen sistem, alaşım tasarımında kritik olan faz dengelerini hızla belirleyebiliyor. Bu gelişme, yeni malzemelerin keşfi ve mevcut alaşımların optimizasyonu için önemli bir araç sunuyor.

arXiv — Yoğun Madde Fiziği 0
Matematik
21 Apr

Dalga Türbülansı Hesaplamalarında Devrim: Yeni FFT Yöntemi

Dalga türbülansı teorisinin merkezinde yer alan dalga kinetik denklemlerinin çözümü için geliştirilen yeni bir hızlı Fourier spektral yöntemi, hesaplama maliyetini dramatik şekilde azaltıyor. Araştırmacılar, yüksek boyutlu nonlineer dalga kinetik operatörünü küresel integral formuna dönüştürerek, klasik Boltzmann çarpışma operatörüne benzer bir yapı elde etmişler. Bu yaklaşım, kütle ve momentum korunumu sayesinde Fourier uzayında çift konvolüsyon yapısı oluşturuyor ve hızlı Fourier dönüşümü (FFT) ile verimli şekilde işlenebiliyor. Yöntem, hesaplama maliyetini O(N³ᵈ)'den O(MN^d logN)'ye düşürüyor - burada N frekans noktası sayısı, M << N^(2d-1) ve d boyut sayısını temsil ediyor. Bu gelişme, dalga türbülansı simülasyonlarını önemli ölçüde hızlandırarak, okyanus dalgalarından plazma fiziğine kadar birçok alanda uygulanabilir.

arXiv (CS + AI) 0
Matematik
21 Apr

Diferansiyel Denklem Parametrelerini Hesaplamanın Yeni Yolu Bulundu

Araştırmacılar, kimya mühendisliği uygulamalarında sıkça karşılaşılan diferansiyel denklemlerin parametre tahmin problemini çözmek için yeni bir yaklaşım geliştirdi. İki seviyeli optimizasyon ve interpolasyon tekniklerini birleştiren bu yöntem, geleneksel yöntemlere kıyasla hesaplama maliyetini önemli ölçüde azaltıyor. Diferansiyel denklemler, fiziksel sistemlerin davranışlarını modellemek için kullanılan matematiksel araçlar olup, bu sistemlerin bilinmeyen parametrelerini deneysel verilerden tahmin etmek kritik bir süreçtir. Yeni yaklaşım, hassasiyet hesaplamalarında interpolasyon kullanarak computational yükü hafifletiyor ve problemin yapısını exploit eden convex bir iç problem çözerek optimizasyon sürecini hızlandırıyor.

arXiv (CS + AI) 0
Matematik
21 Apr

Jacobi Yöntemi Daha Hızlı: Matematik Hesaplamaları İçin Yeni Algoritmalar

Araştırmacılar, matris özvektör hesaplamalarında kullanılan klasik Jacobi yönteminin verimliliğini artıran yeni algoritmalar geliştirdi. Bu çalışma, özellikle büyük veri kümelerinde kritik olan hesaplama maliyetini ve bellek kullanımını minimize etmeyi hedefliyor. Geliştirilen blok tabanlı implementasyon, geleneksel O(n³) matris çarpımı için iletişim alt sınırına ulaşırken, hızlı Strassen benzeri algoritmalarla da uyumlu çalışabiliyor. Bu gelişme, makine öğrenmesi, yapay zeka ve büyük ölçekli bilimsel hesaplamalarda kullanılan temel matematiksel işlemlerin daha verimli yapılmasına olanak sağlayacak. Jacobi yöntemi, simetrik matrisler için özdeğer ve özvektör hesaplamalarında yaygın kullanılan bir teknik olup, bu iyileştirmeler özellikle süper bilgisayarlar ve paralel hesaplama sistemlerinde önemli performans artışları sağlayabilir.

arXiv (CS + AI) 0
Matematik
21 Apr

Kuantum Simülasyonlarında Yeni Dönem: Serbest Fermiyonları Aşan Lie Cebirsel Yöntem

Araştırmacılar, kuantum bilgisayar simülasyonlarında çığır açan bir yöntem geliştirdi. Lie cebirsel simülasyon (g-sim) olarak bilinen bu teknik, şimdiye kadar yalnızca serbest fermiyonik sistemlerle sınırlıydı. Yeni çalışma, bu sınırı aşarak daha geniş kuantum devre ailelerinin klasik bilgisayarlarda verimli simülasyonunu mümkün kılıyor. Yöntem, kuantum sistemlerin devasa Hilbert uzayındaki evrimini, çok daha küçük boyutlu bir adjoint uzayda modelleyerek hesaplama maliyetini dramatik şekilde azaltıyor. Bu gelişme, kuantum donanım doğrulaması, algoritma tasarımı ve yapısal kuantum dinamikleri çalışmalarında önemli ilerlemeler sağlayacak.

arXiv (Matematik) 0
Uzay & Astronomi
20 Apr

Roket Motorları İçin Yeni Modelleme Tekniği Geliştirildi

Büyük ölçekli roket motorlarının simülasyonu, mevcut en güçlü bilgisayarlarda bile çok zor ve maliyetlidir. Araştırmacılar bu sorunu çözmek için yeni bir yaklaşım geliştirdi: bileşen tabanlı azaltılmış düzen modelleme. Bu yöntem, karmaşık roket motorunu enjektör, yanma odası ve nozul gibi daha küçük parçalara bölerek, her birini ayrı ayrı modelliyor. Sonra bu modelleri birleştirerek tüm sistemin davranışını öngörüyor. Bu sayede hem hesaplama maliyeti önemli ölçüde azalıyor hem de doğruluk korunuyor. Çalışma, roket teknolojisinin geliştirilmesinde önemli bir adım olarak görülüyor.

arXiv (Fizik) 1
Fizik
20 Apr

Kuantum Bilgisayarlar İçin Yeni Benzerlik Ölçme Yöntemi Geliştirildi

Araştırmacılar, kuantum bilgisayarlarda veri analizi için kullanılan Hadamard testinin yeni bir varyantını geliştirdi. Geleneksel yöntemde karşılaşılan yüksek hesaplama maliyeti sorununu çözmek amacıyla tasarlanan bu açı-kodlama yaklaşımı, normalize edilmiş vektörler arasındaki kosinüs benzerliğini tahmin edebiliyor. Yöntem, karmaşık hesaplamaları daha basit iki-kübit devrelerine bölerek paralel işlem imkanı sunuyor ve böylece sabit devre derinliği elde ediyor. Bu gelişme, kuantum veri işleme uygulamalarında önemli bir adım olarak değerlendiriliyor.

arXiv — Kuantum Fiziği 0
Teknoloji & Yapay Zeka
20 Apr

Yapay Zeka Görsel Sistemlerinde Ücretsiz Güven Sinyali Keşfedildi

Araştırmacılar, grafik kullanıcı arayüzlerinde nesne konumlandırma yapan yapay zeka sistemlerinde yeni bir güven ölçütü keşfetti. 'Zoom tutarlılığı' adı verilen bu yöntem, sistemin adım adım yakınlaştırma işlemi sırasında ürettiği ara tahminleri değerlendirerek, sonucun ne kadar doğru olduğunu tahmin edebiliyor. Bu keşif, farklı yapay zeka modellerinin performansını karşılaştırmak için ortak bir ölçüt sunuyor ve ek hesaplama maliyeti gerektirmiyor. İki farklı model üzerinde yapılan testlerde, zoom tutarlılığının tahmin doğruluğuyla anlamlı bir korelasyon gösterdiği kanıtlandı.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
20 Apr

3D Görme-Dil Modelleri İçin Yeni Prompt Ayarlama Yöntemi Geliştirildi

Araştırmacılar, 3D nokta bulutlarını anlayan yapay zeka modelleri için yeni bir eğitim yöntemi geliştirdi. P³T adlı bu yöntem, büyük 3D görme-dil modellerini farklı görevlere uyarlarken hem hesaplama maliyetini düşürüyor hem de genelleme kabiliyetini artırıyor. Geleneksel yöntemler tüm modeli yeniden eğitmek zorunda kalırken, P³T sadece küçük prompt bileşenlerini ayarlayarak aynı başarıyı elde ediyor. Bu yaklaşım, 3D nesne tanıma, sahne anlama ve robotik uygulamalarda önemli avantajlar sunuyor. Özellikle overfitting sorununu çözerek modellerin yeni veriler üzerindeki performansını iyileştiriyor.

arXiv (CS + AI) 0
Teknoloji & Yapay Zeka
20 Apr

Vision Transformer'larda Token Budama İçin Yeni Dikkat Mekanizması Geliştirildi

Araştırmacılar, Vision Transformer (ViT) modellerinde token budama işlemlerinin performans sorunlarını çözen yeni bir dikkat mekanizması geliştirdi. Token budama, önemsiz görüntü parçalarını atarak hesaplama maliyetini teorik olarak büyük ölçüde azaltsa da, pratikte mevcut değişken uzunluklu dikkat API'leri bu avantajı tam olarak yansıtamıyordu. Yeni geliştirilen 'dispatch-aware ragged attention' yöntemi, kısa sekans uzunluklarında ortaya çıkan dispatch-overhead darboğazını çözerek, budanmış ViT'lerin gerçek dünya performansını teorik potansiyellerine yaklaştırıyor. Bu çalışma, yapay zeka modellerinin hem doğruluk hem de hız açısından optimizasyonunda önemli bir adım teşkil ediyor.

arXiv (CS + AI) 0