Araştırmacılar, derin ReLU yapay sinir ağlarının eğitim sürecinde şaşırtıcı bir matematiksel düzen keşfetti. Ağırlıkları küçük değerlerle başlatılan bu ağlarda, gradyan inişi algoritması başlangıçta parametrik uzayın orijinindeki eyer noktasında takılı kalıyor. Bu durumdan çıkış yönlerini inceleyen bilim insanları, derin katmanlarda düşük-rank önyargısı adı verilen bir fenomen tespit etti. Bu önyargıya göre, derin katmanlardaki ağırlık matrislerinin ilk tekil değeri, diğer değerlerden katman derinliğinin dörtte birinci kuvveti kadar daha büyük oluyor. Bu keşif, yapay sinir ağlarının eğitim dinamiklerini anlamada yeni perspektifler sunuyor ve algoritmaların neden belirli şekillerde davrandığını açıklıyor. Bulgular, derin öğrenme modellerinin optimizasyon sürecindeki gizli matematiksel yapıları ortaya çıkarıyor.

Araştırmacılar, kuantum bilgisayarlarda fermiyonik sistemleri simüle etmek için yeni bir optimizasyon algoritması geliştirdi. 'Rastgele Alt Sistem İnişi' olarak adlandırılan bu yöntem, fermiyon-kubit dönüşümlerini daha verimli hale getiriyor. Algoritma, büyük kuantum sistemlerini küçük alt parçalara bölerek her birini ayrı ayrı optimize ediyor ve sonra bunları tekrar birleştiriyor. Bu yaklaşım, geleneksel yöntemlerin karşılaştığı boyutsal darboğazları aşarak hesaplama verimliliğini artırıyor. Test sonuçları, 16x16 siteli Hubbard modeli ve 54 moda sahip moleküler sistemler üzerinde yöntemin başarılı olduğunu gösteriyor.

Araştırmacılar, önceden eğitilmiş yapay zeka modellerinin yeni görevlere uyarlanması sürecinde hangi katmanların nasıl değiştiğini kapsamlı bir şekilde incelediler. 125 milyon ile 6,9 milyar parametre arasındaki 15 farklı model üzerinde yapılan 240 deneyden elde edilen bulgular, modellerin ince ayarlanması sırasında çıktıya en yakın katmanlarda daha fazla değişim yaşandığını gösteriyor. Bu değişim deseninin modelin doğasından mı yoksa gradyan akışının büyüklüğünden mi kaynaklandığını test etmek için özel kontrol yöntemleri geliştirildi. Sonuçlar, farklı mimari türlerinin bu değişim profiline farklı tepkiler verdiğini ortaya koydu.

Araştırmacılar, drone simülasyonları için gerçekçi 3D sahneler oluşturabilen yeni bir yapay zeka sistemi geliştirdi. AeroScene adlı bu sistem, hiyerarşik difüzyon modeli kullanarak hem global düzenlemeler hem de yerel detayları dikkate alarak fiziksel olarak makul ve anlamsal olarak tutarlı sahneler üretebiliyor. Sistemin en önemli özelliği, manuel çabaları büyük ölçüde azaltarak drone simülasyonlarında navigasyon, iniş ve konaklama görevleri için otomatik sahne sentezi yapabilmesi. Mevcut yöntemlere kıyasla önemli ölçüde daha iyi performans gösteren sistem, havacılık robotik alanında simülasyon ortamlarının oluşturulmasında devrim yaratma potansiyeline sahip.

Hindistan'ın Chandrayaan-2 uzay aracındaki kamera kullanılarak, Ay yüzeyinin şimdiye kadarki en detaylı yükseklik haritaları oluşturuldu. Tamamen açık kaynak yazılımlar kullanılarak geliştirilen bu yeni yöntem, Ay'ın topografyasını 24-54 santimetre çözünürlükle haritalayabiliyor. Bu gelişme, gelecekteki Ay misyonlarında iniş yerlerinin belirlenmesi ve Ay araçlarının güvenli seyahati için kritik öneme sahip. Araştırmacılar, farklı açılardan çekilmiş görüntüleri analiz ederek üç boyutlu yükseklik modellerini ortaya çıkardı.

Araştırmacılar, büyük dil modellerinin sayısal işlemlerdeki zayıflığını gidermek için yeni bir tokenizasyon yöntemi geliştirdi. Triadic Suffix Tokenization (TST) adı verilen bu sistem, sayıları üçlü gruplara bölerek her gruba açık büyüklük işaretleyicileri ekliyor. Geleneksel yöntemler sayıları tutarsız parçalara böldüğü için modeller pozisyonel yapıyı kaybediyor ve aritmetik hatalar yapıyordu. Yeni sistem binler, milyonlar gibi tam sayı büyüklükleri ile ondalık derinlikleri için paralel işaretleyici kullanıyor. Bu deterministik yaklaşım, pozisyonel çıkarıma dayalı mevcut yöntemlerin aksine tutarlı gradyan sinyali sağlayarak kararlı öğrenme garantiliyor. İki uygulama varyantı sunuluyor: mevcut kelime dağarcığına en fazla 10.000 sabit token ekleyen sözlük tabanlı yaklaşım ve daha esnek alternatif.

Büyük dil modelleri pek çok alanda başarılı sonuçlar verse de, nasıl karar verdikleri hala bir muamma. Araştırmacılar, yapay zekanın kararlarını anlaşılır hale getirmek için üç farklı açıklanabilirlik tekniğini karşılaştırdı. DistilBERT modeli üzerinde yapılan çalışmada Integrated Gradients, Attention Rollout ve SHAP yöntemleri test edildi. Sonuçlar, gradyan tabanlı yöntemlerin daha kararlı ve sezgisel açıklamalar sunduğunu gösterdi. Bu tür çalışmalar, yapay zekanın güvenilir şekilde kullanılabilmesi için kritik öneme sahip.

Araştırmacılar, fizik yasalarını öğrenen yapay sinir ağlarının (PINN) eğitimindeki yavaş yakınsama ve kararsızlık sorunlarını çözmek için yeni bir optimizasyon yaklaşımı geliştirdi. Geleneksel optimizasyon algoritmalarına entegre edilebilen bu hafif çerçeve, kayıp fonksiyonunun geometrik özelliklerini dikkate alarak eğitim sürecini hızlandırıyor. Yöntem, ardışık gradyan farklarını kullanarak yerel geometrik değişimleri tespit ediyor ve buna göre adaptif düzeltmeler yapıyor. Çeşitli kısmi diferansiyel denklem problemlerinde test edilen sistem, mevcut yöntemlere göre daha hızlı yakınsama, kararlı eğitim ve yüksek çözüm doğruluğu sağladığını kanıtladı. Bu gelişme, fizik simülasyonlarından mühendislik problemlerine kadar geniş bir yelpazede PINN kullanımını daha verimli hale getirebilir.

Araştırmacılar, karmaşık fizik problemlerini çözmek için yeni bir Python kütüphanesi geliştirdi. DVF-CRVPINN adlı bu sistem, kısmi diferansiyel denklemleri ayrık zayıf formülasyonlarla çözebiliyor. Sistem, sinir ağlarını kullanarak fizik denklemlerini discrete (ayrık) nokta kümelerinde tanımlamaya ve çözmeye olanak sağlıyor. Özellikle iki boyutlu Stokes denklemleri gibi zorlu hesaplama problemlerine odaklanıyor. Bu gelişme, mühendislik ve fizik alanlarında kompleks hesaplamalı akışkanlar dinamiği problemlerinin daha etkili çözülmesine olanak tanıyor. Geleneksel sayısal yöntemlere alternatif olan bu yaklaşım, otomatik türev alma ve discrete gradyan hesaplamalarını birleştiriyor.

Yapay zeka alanında sekans modelleme konusunda devrim yaratan Yapılandırılmış Durum Uzayı Modelleri (SSM'ler), geleneksel RNN ve Transformer mimarilerinin temel sorunlarına çözüm getiriyor. Bu modeller, gradyan kaybolması, sıralı hesaplama darboğazları ve karesel bellek karmaşıklığı gibi kritik problemleri çözerek, uzun menzilli bağımlılık görevlerinde mükemmel performans sergiliyor. Araştırma, temel S4 modelinden modern Mamba ve Jamba varyantlarına kadar olan gelişimi inceliyor. SSM'ler, yapılandırılmış tekrar ile durum uzayı temsillerini birleştirerek doğrusal ya da neredeyse doğrusal hesaplama ölçeklendirmesi elde ediyor. Bu breakthrough, özellikle büyük dil modelleri ve uzun sekans analizi gerektiren uygulamalarda önemli avantajlar sağlıyor.

Araştırmacılar, karmaşık optimizasyon problemlerini çözmek için yeni bir yapay zeka algoritması geliştirdi. ProxiCBO adlı bu yöntem, sinyal işleme ve makine öğrenmesinde sıkça karşılaşılan zorlu matematiksel problemleri daha etkili şekilde çözebiliyor. Algoritma, parçacık tabanlı consensus optimizasyonu ile proximal gradyan tekniklerini birleştirerek, hem doğruluk hem de verimlilik açısından mevcut yöntemlerden üstün performans sergiliyor. Özellikle tek foton lidar verilerinden parametre tahmini ve sinyal kurtarma gibi uygulamalarda başarılı sonuçlar elde edildi. Bu gelişme, yapay zeka ve sinyal işleme alanlarında daha güçlü algoritmaların geliştirilmesi yolunda önemli bir adım.