...
"attention sink" için 37 sonuç bulundu
× Aramayı temizle
Arama Sonuçları
37 haber
Teknoloji & Yapay Zeka
Yapay Zeka İle Hava Durumu Tahmini Devrim Yaşıyor: Bölgesel Sınırları Kendisi Belirliyor
Araştırmacılar, hava durumu tahminlerinde çığır açacak yeni bir yapay zeka sistemi geliştirdi. STCast adı verilen bu sistem, geleneksel yöntemlerin aksine bölgesel hava tahmini sınırlarını kendisi belirleyebiliyor ve sürekli optimize ediyor. Sistem, küresel atmosfer verilerinden yararlanarak daha hassas bölgesel tahminler üretiyor. Özellikle Spatial-Aligned Attention mekanizması ile küresel ve bölgesel hava durumu verilerini akıllıca hizalıyor, ardından dikkat tabanlı öğrenme ile bu sınırları sürekli iyileştiriyor. Ayrıca Temporal Mixture-of-Experts modülü sayesinde farklı aylara ait atmosferik değişkenleri dinamik olarak analiz edebiliyor. Bu teknolojik gelişme, meteoroloji alanında sabit ve hatalı bölgesel sınırlar sorununun üstesinden gelmeyi vaat ediyor.
Teknoloji & Yapay Zeka
RACE Attention: Milyonlarca Token'lık Metinleri İşleyebilen Yeni AI Modeli
Araştırmacılar, mevcut yapay zeka modellerinin en büyük sınırlamalarından birini aştı. Geleneksel attention mekanizmaları uzun metinlerde çok yavaş kalırken, yeni geliştirilen RACE Attention sistemi milyonlarca kelimelik metinleri doğrusal zamanda işleyebiliyor. Mevcut sistemler 4 milyon kelimeyi aştığında çökürken, bu yeni yaklaşım matematiksel optimizasyonlar sayesinde çok daha hızlı çalışıyor. Dil modelleme, metin sınıflandırma ve görüntü işleme testlerinde mevcut yöntemlere eşdeğer performans gösteriyor. Bu gelişme, uzun dökümanları analiz eden, kitap boyutundaki metinlerle çalışan veya kapsamlı araştırma yapan AI sistemleri için önemli bir adım.
Teknoloji & Yapay Zeka
Yapay Zeka Modellerinin Düşük Hassasiyetli Eğitiminde Yaşanan Çöküşlerin Gizemi Çözüldü
Araştırmacılar, yapay zeka transformer modellerinin düşük hassasiyetli eğitiminde yaşanan gizemli çöküşlerin nedenini ilk kez açıkladı. Stanford ve diğer kurumlardan bilim insanları, Flash Attention teknolojisi kullanılarak düşük hassasiyetli ayarlarda eğitilen modellerde ortaya çıkan felaket niteliğindeki kayıp patlamalarının arkasındaki mekanizmayı keşfetti. Bu çalışma, AI endüstrisinin hesaplama verimliliği arayışında karşılaştığı önemli bir engelin çözümüne ışık tutuyor. Bulgular, dikkat mekanizmasında benzer düşük-rank temsillerin ortaya çıkması ve düşük hassasiyetli aritmetikte önyargılı yuvarlama hatalarının birleşen etkisiyle oluşan kısır döngünün, model eğitimini nasıl baltaladığını ortaya koyuyor. Bu keşif, daha verimli AI modelleri geliştirmek için kritik önem taşıyor.
Teknoloji & Yapay Zeka
Yapay Zeka Artık Çok Kameralı Görüntülerden 3D Nesneleri Daha İyi Algılayabiliyor
Araştırmacılar, çoklu kamera görüntülerini kullanarak üç boyutlu nesne tespiti yapan yeni bir yapay zeka sistemi geliştirdi. CAM3DNet adı verilen bu sistem, farklı ölçeklerdeki bilgileri daha verimli şekilde kullanarak nesnelerin 3D konumlarını tespit edebiliyor. Sistem, özellikle otonom araçlar ve robotik uygulamalar için kritik öneme sahip. Geleneksel yöntemlerin aksine, bu yeni yaklaşım çok boyutlu bilgileri işlerken daha az hesaplama gücü tüketiyor ve daha hassas sonuçlar veriyor. Teknoloji, composite query, adaptive self-attention ve multi-scale hybrid sampling olmak üzere üç yenilikçi modülü birleştiriyor. Bu gelişme, makine görüsü alanında önemli bir adım olarak değerlendiriliyor.
Teknoloji & Yapay Zeka
Yapay Zeka Artık Hiç Görmediği Hareketleri de Tanıyabiliyor
Araştırmacılar, yapay zekanın daha önce hiç öğrenmediği video hareketlerini tanıyabilmesi için yenilikçi bir yöntem geliştirdi. CLIP modelini geliştiren bu sistem, hareket duyarlı ve statik görsel özellikleri birbirinden ayırarak, pozitif ve negatif metin ipuçlarıyla semantik hizalama yapıyor. Motion Separation Module ile hareketleri analiz eden sistem, gated cross-attention mekanizmasıyla gereksiz bilgileri filtreleyerek hareket temsilini iyileştiriyor. Standart benchmark testlerinde önceki CLIP tabanlı yaklaşımlardan daha başarılı sonuçlar elde eden bu yöntem, hem genel hem de detaylı hareket kategorilerinde güçlü sıfır-atışlı tanıma performansı sergiliyor. Bu gelişme, güvenlik kameralarından spor analizine kadar birçok alanda kullanılabilecek.
Fizik
Nükleer Heterodin İnterferometrisi ile Çekim Spektroskopisinde Yeni Dönem
Bilim insanları, çekimsel kütleçekiminin maddeyle etkileşimini ölçmek için nükleer heterodin interferometrisi adlı yeni bir yöntem geliştirdi. Bu teknik, çekimsel kızılkayma etkisini zaman tabanlı interferometri ile tespit ederek, nükleer çekim spektroskopisinde önemli bir ilerleme sağlıyor. Mevcut optik saatler elektronik geçişlerdeki çekimsel etkileri büyük hassasiyetle ölçebilirken, nükleer sektördeki testler Pound ve Rebka'nın Mössbauer ölçümlerinden bu yana durmuştu. Yeni yöntem, sinkrotron radyasyonunun zaman çözümlü nükleer rezonans saçılımının faz-duyarlı heterodin interferometrisi prensibi üzerine kurulu. Bu yaklaşımda çekimsel kızılkayma, gecikmiş heterodin vurum sinyalinin yavaşça biriken faz kayması olarak görülüyor.
Teknoloji & Yapay Zeka
Yeni yapay zeka modeli video üretiminde devrim yaratıyor: FrameDiT teknolojisi
Araştırmacılar, yüksek kaliteli video üretimi için yenilikçi bir yapay zeka modeli geliştirdi. FrameDiT adlı bu teknoloji, Matrix Attention adı verilen özel bir dikkat mekanizması kullanarak videoların karmaşık hareket dinamiklerini daha verimli şekilde modelleyebiliyor. Geleneksel yöntemlerin aksine, her kareyi bir matris olarak işleyerek hem kaliteyi artırıyor hem de hesaplama maliyetini düşürüyor. Bu breakthrough, film endüstrisinden sosyal medyaya kadar birçok alanda video üretim süreçlerini köklü değiştirebilir. Diffusion Transformer mimarisi üzerine kurulu sistem, özellikle büyük hareketlerin olduğu sahnelerde geleneksel yöntemlerden üstün performans gösteriyor.
Teknoloji & Yapay Zeka
ViT³: Yapay Zeka Görüntü İşlemede Test Anında Öğrenme Devri
Araştırmacılar, yapay zeka görüntü işlemede yeni bir yaklaşım olan Test-Time Training (TTT) metodunu geliştirdi. Bu yenilikçi teknik, geleneksel attention mekanizmalarını test anında çalışan bir öğrenme sistemine dönüştürüyor. ViT³ adı verilen model, görüntü verilerini işlerken anlık olarak kendini optimize edebiliyor ve lineer hesaplama karmaşıklığı sunuyor. Klasik modellerin aksine, bu sistem test sırasında gelen her yeni veriyle birlikte performansını artırabiliyor. Altı temel tasarım ilkesine dayanan bu yaklaşım, görsel dizileri işlemede önemli verimlilik kazanımları sağlıyor. Gelecekte bu teknoloji, gerçek zamanlı görüntü analizi, otonom araçlar ve medikal görüntüleme gibi alanlarda devrim yaratabilir.
Teknoloji & Yapay Zeka
Vision Transformer'ların Karar Verme Sürecini Açıklayan Yeni Yöntem Geliştirildi
Bilgisayar görme alanında önemli başarılar elde eden Vision Transformer'lar, karmaşık yapıları nedeniyle nasıl karar verdikleri anlaşılması zor sistemlerdi. Araştırmacılar, bu yapay zeka modellerinin karar verme süreçlerini daha net anlaşılabilir hale getiren Decision-Aware Attention Propagation (DAP) adlı yeni bir yöntem geliştirdi. Bu yaklaşım, modelin dikkat mekanizmasına karar odaklı bilgileri entegre ederek, hangi görsel öğelerin sınıflandırma kararında etkili olduğunu daha açık şekilde gösteriyor. Yöntem, mevcut dikkat tabanlı açıklama yöntemlerinin sınırlılıklarını aşarak, sınıf ayırım kabiliyeti daha yüksek açıklamalar sunuyor.
Teknoloji & Yapay Zeka
Yapay Zeka Modelleri DASH ile 10 Kat Daha Hızlı Çalışabilir
Büyük dil modelleri ve multimodal yapay zeka sistemleri, uzun metinleri işlerken ciddi hız sorunları yaşıyor. Stanford araştırmacıları, bu soruna yenilikçi bir çözüm geliştirdi: Delta Attention Selective Halting (DASH). Bu yöntem, tokenların belirli bir noktadan sonra 'anlamsal sabitlenme noktalarına' ulaştığını gözlemleyerek gereksiz işlemleri durduruyor. DASH, herhangi bir ek eğitim gerektirmeden modellerin hızını önemli ölçüde artırırken doğruluklarını koruyor. FlashAttention gibi donanım optimizasyonlarıyla uyumlu çalışan bu teknoloji, hem dil hem de görsel görevlerde başarılı sonuçlar veriyor.
Teknoloji & Yapay Zeka
Yapay Zeka Polen Tanıma Sisteminde Çığır Açtı: 6 Kat Hızlı Analiz
Geleneksel polen analizi, bal kalitesini belirlemede kritik öneme sahip ancak uzman bir analisti 4-6 saat meşgul eden yorucu bir süreçti. Şili'deki araştırmacılar, bu sorunu çözmek için gelişmiş yapay zeka teknolojilerini birleştiren otomatik bir sistem geliştirdi. U²-Net tabanlı nesne tespiti ve DINOv2 Vision Transformer mimarisi kullanan sistem, polen taneciklerini %95.8 doğrulukla sınıflandırırken analiz süresini altıda birine indiriyor. Gradient-Weighted Attention teknolojisi sayesinde sistem, uzmanların anlayabileceği görsel açıklamalar da üretiyor. Bu gelişme, melissopalinoloji alanında devrim yaratabilecek nitelikte.