“softmax” için sonuçlar
7 sonuç bulundu. Sonuçları kategoriye göre daraltabilirsin.
Sigmoid Dikkat Mekanizması Hücre Analizinde Çığır Açtı
Stanford ve diğer kurumlardan araştırmacılar, tek hücreli organizma verilerini analiz eden yapay zeka modellerinde devrim niteliğinde bir gelişme elde ettiler. Geleneksel softmax dikkat mekanizması yerine sigmoid dikkat kullanarak, hem model performansını artırdılar hem de eğitim süresini kısalttılar. Altı farklı tek hücre veri setinde yapılan testlerde, sigmoid dikkat mekanizması hücre türlerini %25 daha başarılı şekilde ayırt ederken, modellerin eğitim süresi %10 oranında azaldı. Bu yenilik, biyolojik verilerin analizi için kullanılan temel AI modellerinin daha kararlı ve hızlı çalışmasını sağlıyor.
Yapay Zeka Grafik Dönüştürücülerde Devrim: SigGate-GT ile Aşırı Düzgünleşme Sorunu Çözüldü
Stanford araştırmacıları, grafik dönüştürücü yapay zeka modellerinde yaşanan 'aşırı düzgünleşme' sorununa yenilikçi bir çözüm geliştirdi. SigGate-GT adlı yeni sistem, sigmoid kapıları kullanarak modellerin derinleştikçe bilgi kaybetmesi problemini çözüyor. Büyük dil modellerindeki dikkat batma sorunuyla benzer kök nedenleri paylaşan bu sorun, softmax dikkat mekanizmasının her düğümü bir yere odaklanmaya zorlamasından kaynaklanıyor. Yeni yaklaşım, her dikkat kafasına öğrenilen sigmoid kapıları ekleyerek, bilgi vermeyen bağlantıları seçici şekilde susturma imkanı sağlıyor. Moleküler veri analizi ve uzun mesafeli akıl yürütme görevlerinde test edilen sistem, beş standart kıyaslamada önceki en iyi sonuçları yakalayıp aştı. Bu gelişme, grafik tabanlı yapay zeka uygulamalarında önemli bir ilerleme anlamına geliyor.
Lizard: Büyük Dil Modellerini Hızlandıran Yenilikçi Çerçeve Geliştirildi
Araştırmacılar, ChatGPT benzeri büyük dil modellerinin en büyük sorunlarından birini çözen Lizard adlı yenilikçi bir çerçeve geliştirdi. Transformer mimarisindeki büyük dil modelleri, uzun metinlerle çalışırken kvadratik karmaşıklık nedeniyle ciddi hesaplama ve bellek darboğazları yaşıyor. Lizard, önceden eğitilmiş modelleri subkuadratik mimarilere dönüştürerek bu sorunu çözüyor. Geleneksel softmax attention mekanizmasının yerini alan yeni yaklaşım, model kalitesini korurken hesaplama maliyetini önemli ölçüde düşürüyor. Önceki doğrusallaştırma yöntemlerinden farklı olarak, Lizard adaptive bellek kontrolü sağlayan öğrenilebilir modüller içeriyor ve uzun dizilerde daha iyi genelleme yapabiliyor.
Kaos teorisi makine öğrenmesinde sınıflandırma doğruluğunu artırıyor
Araştırmacılar, kaotik dinamik sistemleri kullanarak yapay zeka sınıflandırma algoritmalarının performansını önemli ölçüde artıran yenilikçi bir yöntem geliştirdi. Bu yaklaşım, sınıflandırılacak verileri önce yüksek boyutlu uzaya taşıyor, ardından kaotik bir dinamik sistemde belirli bir süre boyunca evrimleştiriyor. Evolüsyon sonrası elde edilen durumlar, eğitilebilir bir sınıflandırıcıya besleniyor. Geleneksel softmax sınıflandırıcılarına kıyasla hem eğitim sürecini hızlandırması hem de doğruluğu artırması, bu yöntemin potansiyelini gösteriyor. Kaos teorisinin makine öğrenmesindeki bu uygulaması, yapay zeka algoritmalarının geliştirilmesinde yeni bir kapı açabilir.
Yapay Zeka Modellerinde Devrim: Softpick ile Dikkat Mekanizması Yenilendi
Araştırmacılar, yapay zeka modellerinin dikkat mekanizmalarında kullanılan geleneksel softmax fonksiyonuna alternatif olarak 'softpick' adlı yeni bir yöntem geliştirdi. Bu yenilik, transformer modellerinde karşılaşılan 'dikkat batağı' sorununu tamamen ortadan kaldırıyor ve aşırı aktivasyon problemlerini çözüyor. 340 milyon ve 1.8 milyar parametreli modeller üzerinde yapılan testler, softpick'in dikkat batağı oranını %0'a indirdiğini gösteriyor. Yöntem aynı zamanda daha seyrek dikkat haritaları oluşturuyor ve modellerin gizli durumlarında önemli iyileşmeler sağlıyor. Özellikle düşük bit hassasiyetli modellerde performans artışı dikkat çekici boyutlarda. Bu gelişme, yapay zeka modellerinin daha verimli çalışması, daha az bellek kullanması ve daha kolay anlaşılması açısından önemli fırsatlar sunuyor.
Yapay Zeka Uzman Sistemlerinde Yeni Yaklaşım: Ayrıştırılmış Öğrenme Modeli
Araştırmacılar, birden fazla uzmanın bir arada çalıştığı yapay zeka sistemlerinde ortaya çıkan önemli sorunlara çözüm getiren yeni bir matematiksel model geliştirdi. Mevcut sistemlerde uzman sayısı arttıkça performansın düşmesi, bazı uzmanların baskılanması ve yetersiz öğrenme gibi problemler yaşanıyor. Yeni geliştirilen 'ayrıştırılmış vekil' model, sınıf tahmini ve uzman değerlendirmesini birbirinden ayırarak bu sorunları çözmeyi hedefliyor. Model, softmax fonksiyonu ile sınıf olasılıklarını, sigmoid fonksiyonları ile her uzmanın faydasını bağımsız olarak hesaplıyor. Bu yaklaşım, mevcut sistemlerin gradient dağılımındaki sorunlarını ortadan kaldırırken, uzman sayısından bağımsız tutarlılık garantisi sunuyor.
Yeni dikkat mekanizması yapay zekânın uzun metinlerdeki performansını artırıyor
Araştırmacılar, büyük dil modellerinin uzun metinlerle çalışırken yaşadığı temel sorunları çözen yeni bir dikkat mekanizması geliştirdi. Threshold Differential Attention (TDA) adlı bu yöntem, geleneksel softmax dikkatinin yapısal sınırlarını aşarak, modellerin gereksiz kelimelere odaklanmasını engelliyor ve uzun dizilerde daha verimli çalışmasını sağlıyor. Klasik yöntemlerde dikkat dağılımının toplamı bir olması gerektiği için, model bazen ilgisiz kelimelere de dikkat ayırmak zorunda kalıyor. TDA ise sadece belirli bir eşiği aşan önemli kelimelere odaklanarak hem hesaplama maliyetini düşürüyor hem de performansı artırıyor.