“transformer modelleri” için sonuçlar
33 sonuç bulundu. Sonuçları kategoriye göre daraltabilirsin.
SST V2: Yapay Zeka Modellerinde Sürekli Mantık Yürütme Atılımı
Araştırmacılar, mevcut transformer modellerinin sınırlarını aşan yeni bir yapay zeka mimarisi geliştirdi. State Stream Transformer (SST) V2, geleneksel modellerin aksine pozisyonlar arası gizli bilgiyi koruyor ve sürekli bir mantık yürütme süreci sağlıyor. Bu yenilik, AI modellerinin daha verimli öğrenmesini ve daha derin düşünme kapasitesini mümkün kılıyor. Model, her katmanda doğrusal olmayan bir tekrarlama mekanizması kullanarak, gizli durumları tüm dizi boyunca akıtıyor. En önemli özelliği ise çıkarım sırasında her pozisyonda sürekli düşünebilme yetisi - tıpkı insanların karar vermeden önce düşünmesi gibi. İki aşamalı paralel eğitim prosedürü sayesinde verimli öğrenme sağlanırken, gizli durum analizi modelin farklı anlamsal alanlarda gezinerek mantık yürüttüğünü gösteriyor.
Yapay Zeka Modelleri Gerçekten Öğreniyor mu Yoksa Ezberlemiş Şablonları mı Kullanıyor?
Büyük dil modelleri program yazma görevlerinde etkileyici sonuçlar elde ediyor, ancak gerçek öğrenme yetenekleri belirsizliğini koruyor. Araştırmacılar, transformer modellerin gerçekten genelleme yapıp yapmadığını test etmek için kontrollü bir deney ortamı geliştirdi. Milyonlarca benzersiz program üzerinde yapılan testler, modellerin yeni durumlarla karşılaştıklarında ciddi sınırları olduğunu ortaya çıkardı. Bu bulgular, yapay zekanın öğrenme mekanizmalarının düşünülenden daha karmaşık olduğunu gösteriyor.
Endonezya'da AI kullanımına öğrenci tepkilerini ölçen yeni analiz sistemi
Endonezya'daki üniversite öğrencilerinin yapay zekâ teknolojilerine bakış açısını analiz eden yenilikçi bir çalışma, makine öğrenmesi ve transformer modelleri kullanarak duygu analizi gerçekleştirdi. 2.295 öğrenci görüşünün incelendiği araştırmada, geleneksel makine öğrenmesi yöntemleri ile modern derin öğrenme yaklaşımları karşılaştırıldı. Çalışma sonuçları, transformer tabanlı DistilBERT modelinin %84,78 doğrulukla en iyi performansı gösterdiğini ortaya koydu. Bu tür analizler, eğitim kurumlarının AI entegrasyonu süreçlerinde öğrenci görüşlerini daha iyi anlamalarına yardımcı oluyor ve teknoloji kabul süreçlerinin optimize edilmesine katkı sağlıyor.
Yapay Zeka Modelleri İçin Yeni Hibrit Mimari: Daha Az Parametre, Daha İyi Performans
Araştırmacılar, dil modellemesi için yeni bir yapay zeka mimarisi geliştirdi. UniMatrix adı verilen bu sistem, geleneksel Transformer modellerinin avantajlarını yapılandırılmış tekrarlayan durumlarla birleştiriyor. Çalışma, modellerin daha az parametre kullanarak nasıl daha etkili olabileceğini araştırıyor. Küçük ölçekli testlerde, UniMatrix ailesinin bazı varyantları WikiText-2 veri setinde geleneksel Transformer modellerini geride bıraktı. Ancak araştırma, çağrışımsal hafıza görevlerinde sınırlamaları da ortaya koydu. Bu çalışma, yapay zeka modellerinin verimliliğini artırmak için hibrit yaklaşımların potansiyelini gösteriyor.
FARM: Molekülleri Fonksiyonel Gruplarıyla Anlamak İçin Yeni Yapay Zeka Modeli
Araştırmacılar, küçük molekülleri daha etkili bir şekilde analiz edebilmek için FARM adlı yenilikçi bir yapay zeka modeli geliştirdi. Bu model, moleküllerin fonksiyonel gruplarını atom düzeyinde tanıyarak, SMILES dizileri ile doğal dil arasında köprü kuruyor. FARM, moleküler yapıları hem metin hem de grafik formatında zenginleştirilmiş şekilde temsil ediyor. Bu yenilik, ilaç keşfi ve kimyasal araştırmalarda kullanılan transformer tabanlı modellerin performansını artırma potansiyeli taşıyor. Fonksiyonel grup bilgisini moleküler temsillere entegre eden sistem, kimyasal bilgiyi daha doğal bir dille ifade etmeyi mümkün kılıyor.
Yapay Zeka Transformers'ına Evrensel Konum Algısı Getiren URoPE Sistemi
Araştırmacılar, yapay zeka modellerinin farklı geometrik uzaylarda konum bilgisini daha etkin işlemesi için URoPE adlı yeni bir sistem geliştirdi. Mevcut Transformer modellerinde kullanılan konum kodlama yöntemleri genellikle tek boyutlu diziler veya düzenli 2D/3D ızgaralarla sınırlıydı. URoPE, bu kısıtlamayı aşarak kamera görüşleri arasında veya 2D ile 3D uzaylar arasında geometrik akıl yürütme gerektiren bilgisayarlı görü görevlerinde kullanılabiliyor. Sistem, her görüntü parçası için 3D noktaları örnekleyip bunları sorgu görüntü düzlemine yansıtarak çalışıyor. Parametresiz olan bu yaklaşım, küresel koordinat sistemlerinin seçiminden bağımsız ve kamera özelliklerini dikkate alan bir yapıya sahip.
Kalp ve kas sinyalleri artık mikro çiplerde gerçek zamanlı analiz edilebiliyor
Araştırmacılar, giyilebilir cihazlarda kalp (EKG) ve kas (EMG) sinyallerini gerçek zamanlı olarak analiz edebilen devrim niteliğinde bir sistem geliştirdi. PhysioLite adlı bu yeni teknoloji, büyük ve enerji tüketen Transformer modellerinin aksine, mikro işlemci ölçeğindeki çiplerde çalışabiliyor. Sistem, dalgacık filtre bankaları ve donanım uyumlu tasarım kullanarak, en gelişmiş yapay zeka modellerinin performansına yakın sonuçlar elde ediyor. Bu gelişme, gizlilik korumalı ve çevrimdışı çalışabilen tıbbi giyilebilir teknolojiler için yeni kapılar açıyor. Özellikle kalp ritmi bozuklukları ve kas fonksiyonlarının sürekli izlenmesi gereken hastalarda büyük avantaj sağlayabilir.
Güvenli AI Sisteminde Kritik Güvenlik Açığı Keşfedildi
Araştırmacılar, yapay zeka modellerinin güvenli çıkarım yapması için tasarlanan Euston adlı sistemde ciddi bir güvenlik açığı tespit etti. IEEE güvenlik konferansında sunulan bu sistem, veri iletiminde yaklaşık 3 kata kadar bandwidth tasarrufu sağlıyordu. Ancak yeni araştırma, sistemin kullandığı tekli değer ayrışımı tabanlı protokolün, özel verilerin ifşa olmasına yol açabileceğini ortaya koydu. Model sahibi kişiler, kullanıcıların gizli verilerini kolayca elde edebiliyor. Bu keşif, güvenli AI sistemlerinin tasarımında mahremiyet korumasının ne kadar kritik olduğunu bir kez daha gözler önüne seriyor.
Transformer Modellerin Gizli Zayıflığı: Durum Takibinde Neden Zorlanıyorlar?
Yapay zeka dünyasının gözdesi Transformer modellerin temel bir sorunu olduğu ortaya çıktı. Araştırmacılar, bu modellerin değişen durumları takip etmekte zorlandığını keşfetti. Problem, modellerin ileri beslemeli mimarisinden kaynaklanıyor - her yeni bilgi geldiğinde, önceki durum bilgileri modelin daha derin katmanlarına itiliyor ve sonunda erişilemez hale geliyor. Bu durum, özellikle zaman içinde gelişen olayları anlamak gereken görevlerde performans kaybına yol açıyor. Çözüm önerileri mevcut olsa da bunlar hesaplama açısından maliyetli. Araştırmacılar, uzun süreli düşünme gerektiren görevler için tekrarlamalı mimarilere geri dönülmesi gerektiğini savunuyor.
Yapay zeka modelleri artık daha yaratıcı çözümler üretebilecek
Araştırmacılar, yapay zeka modellerinin yaratıcılık konusundaki en büyük eksiklerinden birini çözmeye yönelik yeni bir yöntem geliştirdi. UAG (Evrensel Kaçınma Üretimi) adı verilen bu teknik, AI sistemlerinin aynı soruna farklı yaklaşımlarla çoklu çözümler üretmesini sağlıyor. Mevcut yöntemler çok fazla hesaplama gücü gerektirirken, yeni sistem minimal ek işlem gücüyle çalışıyor. Test sonuçları, bu yaklaşımın yapay zeka modellerinin çeşitlilik kapasitesini 1,9 kata kadar artırdığını ve 4,4 kat daha hızlı çalıştığını gösteriyor. Yöntem hem diffüzyon hem de transformer modellerinde etkili olduğu için geniş uygulama alanına sahip.
LoRaQ: Yapay Zeka Modellerini 4 Kat Daha Az Bellekte Çalıştıran Yöntem
Araştırmacılar, büyük yapay zeka modellerini sınırlı donanımlarda çalıştırmak için LoRaQ adlı yeni bir yöntem geliştirdiler. Bu teknik, modellerin boyutunu önemli ölçüde küçültürken performans kaybını minimize ediyor. Geleneksel yaklaşımlar 4-bit sıkıştırma yapıldığında ciddi performans düşüşleri yaşarken, LoRaQ düşük-rank yaklaşım yöntemleriyle bu sorunu çözüyor. En önemli yenilik, yardımcı dalların da sıkıştırılabilir olması ve kalibrasyon için veri gerektirmemesi. Bu sayede ilk kez tamamen 16-bit altında çalışan bir sistem elde ediliyor. Özellikle diffusion transformer modelleri için kritik olan bu gelişme, mobil cihazlar ve edge computing uygulamaları için büyük önem taşıyor.
Büyük Dil Modellerinde Bellek Sorununu Çözen Yeni Mimari: AQPIM
Araştırmacılar, büyük dil modellerinin karşılaştığı bellek darboğazı sorununa çözüm getiren AQPIM adlı yeni bir yaklaşım geliştirdi. Processing-in-Memory (PIM) mimarileri, makine öğrenmesinde veri-yoğun işlemlerde umut vaat etse de, özellikle Transformer tabanlı modellerde artan aktivasyon bellek ihtiyacı önemli bir engel oluşturuyor. Uzun bağlamlı senaryolarda üretilen devasa KV önbellek boyutları, PIM'in sınırlı bellek kapasitesini aşabiliyor. Geleneksel yaklaşımlar bu sorunu çözmekte yetersiz kalıyor. AQPIM, aktivasyon özelliklerine uygun kümeleme tabanlı vektör kuantizasyon yöntemleri kullanarak hem bant genişliği hem de hesaplama verimliliğini artırıyor. Bu gelişme, büyük dil modellerinin daha verimli çalışmasına olanak tanıyarak yapay zeka uygulamalarında önemli bir adım olarak değerlendiriliyor.
EGMOF: Yapay Zeka ile Metal-Organik Çerçeve Tasarımında Devrim
Araştırmacılar, metal-organik çerçevelerin (MOF) tasarımını hızlandıran hibrit yapay zeka sistemi EGMOF'u geliştirdi. Sistem, difüzyon ve transformer modellerini birleştirerek hedeflenen özelliklere sahip malzemeleri minimal veriyle üretebiliyor. Geleneksel yöntemlerin aksine her yeni özellik için yeniden eğitim gerektirmeyen modüler yapısı, malzeme biliminde büyük bir ilerleme vaat ediyor. Hidrojen depolama testlerinde %94'ün üzerinde başarı elde eden sistem, enerji depolama teknolojilerinden endüstriyel filtrelemeye kadar pek çok alanda kullanılabilir.
Yapay Zeka Farklı Veri Türlerini Nasıl Senkronize Ediyor?
Araştırmacılar, yapay zeka sistemlerinin video, metin ve ses gibi farklı veri türlerini nasıl eşzamanlı işlediğini anlamak için yenilikçi bir çalışma gerçekleştirdi. Video-metin-konuşma sentezi adlı kontrollü bir görev kullanarak, birleşik transformer modellerinin heterojen örnekleme hızlarına sahip modaliteleri nasıl senkronize ettiğini incelediler. VoxCeleb2 veri setiyle eğitilen Visatronic adlı model üzerinde yapılan deneyler, modalitelerin nasıl tamamlayıcı bilgi sağladığını ve pozisyonel kodlama stratejilerinin senkronizasyonu nasıl mümkün kıldığını ortaya çıkardı. Çalışma, çok modalı AI sistemlerinin çalışma mekanizmalarını anlamamızı derinleştiriyor ve gelecekteki gelişmeler için önemli ipuçları sunuyor.
Yapay zeka artık ironiden anlıyor: Yeni model sarkastik mesajları tespit edebiliyor
Araştırmacılar, metinlerdeki sarkastiK ifadeleri tespit edebilen yeni bir yapay zeka modeli geliştirdi. Model, transformer tabanlı dil modelleri ile prototip-tabanlı ağları birleştirerek, ironik ve alaycı dil kullanımını başarıyla tanıyor. Geleneksel duygu analizi sistemleri, doğrudan duygusal ifadeleri kolayca anlayabilirken, kelimelerin gerçek anlamı ile kasteden anlam arasındaki çelişki nedeniyle sarkastik metinlerde zorlanıyor. Yeni yaklaşım, duygu gömme tekniklerini kullanarak bu sorunu çözmeye odaklanıyor. Üç farklı açık kaynak veri setinde test edilen model, mevcut en iyi yöntemleri geride bırakıyor. Ayrıca model, benzer örnekler üzerinden açıklamalar üreterek kararlarını şeffaf hale getiriyor. Bu gelişme, sosyal medya analizi, müşteri geri bildirimlerinin değerlendirilmesi ve dijital iletişimde duygu tanıma gibi alanlarda önemli iyileştirmeler sağlayabilir.
Yapay Zeka Modellerinin Düşük Hassasiyetli Eğitiminde Yaşanan Çöküşlerin Gizemi Çözüldü
Araştırmacılar, yapay zeka transformer modellerinin düşük hassasiyetli eğitiminde yaşanan gizemli çöküşlerin nedenini ilk kez açıkladı. Stanford ve diğer kurumlardan bilim insanları, Flash Attention teknolojisi kullanılarak düşük hassasiyetli ayarlarda eğitilen modellerde ortaya çıkan felaket niteliğindeki kayıp patlamalarının arkasındaki mekanizmayı keşfetti. Bu çalışma, AI endüstrisinin hesaplama verimliliği arayışında karşılaştığı önemli bir engelin çözümüne ışık tutuyor. Bulgular, dikkat mekanizmasında benzer düşük-rank temsillerin ortaya çıkması ve düşük hassasiyetli aritmetikte önyargılı yuvarlama hatalarının birleşen etkisiyle oluşan kısır döngünün, model eğitimini nasıl baltaladığını ortaya koyuyor. Bu keşif, daha verimli AI modelleri geliştirmek için kritik önem taşıyor.
Yapay Zeka Belleğinde Devrim: MeSH Tekniği ile Daha Verimli Dil Modelleri
Araştırmacılar, recursive transformer modellerinin performans sorunlarını çözmek için yenilikçi bir yaklaşım geliştirdi. MeSH (Memory-as-State-Highways) adlı bu teknik, yapay zeka modellerinin bellek yönetimini harici bir tampona taşıyarak, her iterasyonda farklı hesaplama kalıpları kullanmasını sağlıyor. Çalışma, mevcut recursive modellerin iki temel sorunu olduğunu ortaya koyuyor: benzer hesaplama kalıplarının tekrarlanması ve uzun-kısa vadeli bilgilerin aynı durum uzayında karışması. MeSH teknigi bu sorunları çözerek, daha az parametre kullanırken daha yüksek performans elde etmeyi mümkün kılıyor. Bu gelişme, dil modellerinin verimliliğini artırarak yapay zeka sistemlerinin daha az kaynak tüketimle daha iyi sonuçlar üretmesinin yolunu açıyor.
Yapay Zeka Modellerinin Eğitimi 5 Kat Hızlanabilir
Büyük dil modellerinin (LLM) eğitim süreci, araştırmacıların geliştirdiği yeni matematiksel yaklaşımla dramatik şekilde hızlanabilir. Stanford araştırmacılarının yaptığı çalışmada, Gauss-Newton adlı ikinci dereceden optimizasyon yöntemi kullanılarak, 150 milyona kadar parametreli transformer modellerinin eğitim süresinde 5,4 kat azalma sağlandı. Bu yöntem, mevcut SOAP ve Muon gibi gelişmiş optimizasyon algoritmalarından önemli ölçüde daha iyi sonuçlar verdi. Araştırma, yapay zeka modellerinin eğitimi için kullanılan geleneksel yaklaşımların yetersizliğini ortaya koyarken, daha verimli eğitim yöntemlerinin mümkün olduğunu gösteriyor. Katman bazlı uygulamanın da tam yöntemle neredeyse eşit performans göstermesi, bu yaklaşımın pratikte uygulanabilirliğini artırıyor.
Yapay Zeka ile Doğa Sesleri Tanıma: Yeni Mamba Modeli Transformers'a Rakip Oluyor
Araştırmacılar, wildlife seslerini tanımak için BioMamba adlı yeni bir yapay zeka modeli geliştirdi. Mamba mimarisini temel alan bu model, doğa seslerinin analizinde şu anda en gelişmiş Transformer modellerine benzer performans gösterirken, çok daha az bellek kullanıyor. Büyük ses veritabanları üzerinde kendi kendine öğrenme yöntemiyle eğitilen BioMamba, çeşitli sınıflandırma ve tespit görevlerinde test edildi. Sonuçlar, Mamba'nın gerçek zamanlı çevre izleme uygulamaları için hesaplama açısından verimli bir alternatif olabileceğini gösteriyor. Bu gelişme, özellikle saha koşullarında sınırlı kaynaklarla çalışması gereken ekolojik araştırmalar için önemli. Doğa koruma projelerinde ses tabanlı wildlife izleme giderek yaygınlaşırken, daha az enerji ve bellek gerektiren modeller kritik önem taşıyor.
RainFusion2.0: Video üretiminde yapay zeka hesaplama maliyetlerini düşüren yeni sistem
Araştırmacılar, video ve görüntü üreten yapay zeka modellerinin aşırı yüksek hesaplama maliyetlerini çözmek için RainFusion2.0 adlı yeni bir sistem geliştirdi. Diffusion Transformer modellerinin dikkat mekanizmaları büyük hesaplama gücü gerektiriyor ve bu durum pratik uygulamaları sınırlıyor. Mevcut seyrek dikkat yöntemleri GPU'lar için tasarlandığından farklı donanımlarda verimli çalışamıyor. RainFusion2.0, önemsiz token'ları atlayarak hesaplamaları azaltan, çevrimiçi uyarlanabilir ve düşük ek yük gerektiren bir seyrek dikkat mekanizması sunuyor. Sistem, GPU dışındaki ASIC gibi farklı donanım türlerinde de verimli çalışacak şekilde tasarlandı. Bu gelişme, video üretimi yapay zekasının daha geniş alanlarda kullanılmasının önünü açabilir.
Transformer Modellerinde Yeni Sıkıştırma Yöntemi Bellek Kullanımını Azaltıyor
Yapay zeka modellerinin temelini oluşturan Transformer mimarileri, üstün performans sergilerken büyük hesaplama gücü ve bellek gereksinimleri yaratıyor. Stanford ve MIT araştırmacıları, bu modellerin çalışma sürecini birden fazla cihaza bölerek daha verimli hale getiren yeni bir sıkıştırma yöntemi geliştirdi. Rate-distortion teorisine dayanan bu yaklaşım, veri boyutunu küçültürken doğruluk kaybını kontrol altında tutuyor. Dil işleme testlerinde, en basit codec versiyonu bile önemli ölçüde veri tasarrufu sağlarken, karmaşık yöntemleri geride bıraktı. Bu gelişme, özellikle büyük dil modellerinin mobil cihazlarda ve sınırlı kaynaklara sahip sistemlerde kullanımını kolaylaştırabilir.
SpiralFormer: Çok Çözünürlüklü Döngüsel Yapay Zeka Modeli Hiyerarşik Öğrenmeyi Mümkün Kılıyor
Araştırmacılar, geleneksel transformer modellerinin sınırlarını aşmak için SpiralFormer adlı yeni bir yapay zeka mimarisi geliştirdi. Bu model, aynı katmanları tekrar tekrar kullanarak hesaplama derinliğini parametre sayısından ayırıyor ve çok çözünürlüklü bir yaklaşımla çalışıyor. SpiralFormer, farklı ölçeklerde hiyerarşik bağımlılıkları öğrenebiliyor ve her iterasyonda farklı işlevlere odaklanabiliyor. Bu özellik, modelin hem daha verimli hem de daha etkili çalışmasını sağlıyor. Geleneksel döngüsel transformer modelleri genellikle sabit çözünürlükte çalışır ve bu da performans kayıplarına yol açabilir. SpiralFormer ise sıkıştırılmış gizli temsiller üzerinde hesaplama yaparak bu sorunu çözüyor ve aynı hesaplama gücüyle daha iyi sonuçlar elde ediyor.
3D görsel algılama sistemleri için yeni bellek yönetimi yaklaşımı: FrameVGGT
Araştırmacılar, sürekli video akışlarından 3D sahne analizini gerçekleştiren yapay zeka sistemlerinde karşılaşılan bellek sorununa yenilikçi bir çözüm geliştirdi. FrameVGGT adlı yeni framework, geometrik bilgileri daha etkili organize ederek uzun süreli video analizinde performans kaybını önlüyor. Mevcut sistemlerde bellek kullanımı zamanla sınırsızca artarak pratik uygulamaları zorlaştırıyordu. Yeni yaklaşım, her video karesini tutarlı bir bütün olarak ele alıp, geometrik desteklerin parçalanmasını engelliyor. Bu sayede sabit bellek kapasitesi ile daha kararlı ve uzun vadeli 3D algılama gerçekleştiriliyor.
Olasılık Dönüşümlerinde Taşıma Haritaları: Matematiksel Bir Çığır
Araştırmacılar, bir olasılık ölçüsünü başka bir olasılık ölçüsüne dönüştüren fonksiyonların nasıl temsil edilebileceği konusunda önemli teorik sonuçlar elde etti. Çalışma, bu dönüşümlerin 'taşıma haritaları' adı verilen matematiksel yapılarla ne zaman temsil edilebileceğini ve bu haritaların ne kadar düzenli olabileceğini araştırıyor. Bulgular, eğer bir dönüşüm Wasserstein mesafesine göre Lipschitz sürekli ise, sürekli bir taşıma haritası ile temsil edilebileceğini gösteriyor. Bu sonuçlar, yapay zeka alanında transformer modellerle olasılık dağılımlarının yaklaşımlanması açısından büyük önem taşıyor.