Araştırmacılar, büyük dil modellerinin hesaplama maliyetini önemli ölçüde azaltabilecek yeni bir yöntem geliştirdi. 'Koşullu derinlik yönlendirmesi' adı verilen bu teknik, metinlerdeki bazı kelimeleri basit işlemlerden geçirirken, karmaşık olanları tam kapasiteli sistemden geçiriyor. 157 milyon parametreli model üzerinde yapılan testlerde, hesaplama yükünü %50 azaltmak mümkün oldu. Sistemin kalbi, hangi kelimelerin hangi işlemlerden geçeceğine karar veren 'kapı' mekanizması. Bu kapıların eğitimi oldukça zorlu çünkü bir kararın etkisi ancak birçok katmandan sonra görülüyor. Araştırmacılar iki farklı kapı tasarımını karşılaştırdı: basit MLP kapısı ve daha gelişmiş JEPA-güdümlü kapı. Bu çalışma, yapay zeka modellerinin daha verimli çalışması için önemli bir adım teşkil ediyor.

Araştırmacılar, olasılık teorisinde 'ortak dışlayıcılık' adını verdikleri yeni bir kavram geliştirdi. Bu matematiksel yapı, birden fazla olayın aynı anda gerçekleşme olasılıklarını analiz etmek için kullanılıyor. Klasik karşılıklı dışlayıcılık kavramını genişleten bu yenilik, özellikle negatif bağımlılık gösteren olayları modellemede önemli avantajlar sunuyor. Araştırma, belirli marjinal dağılımlara sahip rastgele vektörlerin varlığı için gerekli ve yeterli koşulları matematiksel olarak tanımlıyor. Bu gelişme, finans, sigorta ve risk yönetimi gibi alanlarda karmaşık olasılık hesaplamalarının daha doğru yapılmasına katkı sağlayabilir.

Araştırmacılar, yapay zeka modellerinin davranışlarını değiştiren prompt tabanlı müdahalelerin nasıl çalıştığını daha iyi anlayabilmek için yeni bir yöntem geliştirdi. GPT-2 ve Qwen modelleri üzerinde yapılan deneyler, modellerin öğrendiği bilgileri farklı görevlerde nasıl yeniden kullandığını ortaya koyuyor. Çalışma, kontrollü yönlendirme görevlerinde 'durum transferi' adı verilen mekanizmayı inceliyor ve modellerin davranışsal olarak önemli bilgileri nerede sakladığını tespit etmeye odaklanıyor. Bulgular, sabit arayüz yeniden kullanımı ile prompt yeniden konumlandırması arasındaki farkı net bir şekilde gösteriyor. Bu keşif, yapay zeka modellerinin iç işleyişini anlamak ve daha verimli model tasarımları geliştirmek açısından önemli.

Araştırmacılar, dil modellerinin güvenilir kullanımı için kritik olan iki yeteneği tek bir geometrik yaklaşımla değerlendiren yenilikçi bir yöntem geliştirdi. 'Geometrik Canary' adlı bu sistem, bir modelin hedefli davranışsal kontrol kabul edip etmeyeceğini tahmin ediyor ve iç yapısının ne zaman bozulacağını tespit ediyor. Araştırma, 35-69 farklı gömme modeli ve üç doğal dil işleme görevi üzerinde yapılan testlerde, gözetimli geometrik kararlılık ölçümlerinin doğrusal yönlendirilebilirliği neredeyse mükemmel doğrulukla öngördüğünü ortaya koydu. İlginç şekilde, gözetimsiz kararlılık gerçek dünya görevlerinde yönlendirme için başarısız olurken, drift tespitinde mükemmel performans sergiledi. Bu bulgu, yapay zeka modellerinin güvenilirlik değerlendirmesinde görev uyumlamasının kritik önemini vurguluyor.

Araştırmacılar, finansal piyasalardaki büyük düşüş ve yükselişleri 10 gün önceden tahmin edebilen ORCA adlı yeni bir yapay zeka sistemi geliştirdi. Sistem, geleneksel risk modellerinin aksine, farklı varlıklar arasındaki karmaşık ilişki ağlarını analiz ederek tahminlerde bulunuyor. ORCA, 24 farklı borsa enstrümanından elde edilen verileri spektral grafik teorisi ve rastgele matris teorisiyle işleyerek 206 boyutlu özellik vektörleri oluşturuyor. Bu yaklaşım, finansal piyasaların sadece oynaklık değil, aynı zamanda varlıklar arası korelasyon yapılarının da önemli bilgiler taşıdığı prensibine dayanıyor. Sistem, makine öğrenmesi algoritmaları kullanarak kalibre edilmiş olasılık tahminleri sunuyor.

Araştırmacılar, kuantum bilgisayarların moleküllerdeki elektron davranışlarını daha iyi anlamasını sağlayan yeni bir hibrit algoritma geliştirdi. CSQD (Küme-Uyumlu Örnek-Temelli Kuantum Köşegenleştirme) adındaki bu yöntem, özellikle elektronlar arasındaki etkileşimlerin çok güçlü olduğu sistemlerde büyük başarı gösteriyor. Geleneksel SQD algoritmasının aksine, CSQD determinantları kümelere ayırarak her küme için özel referans vektörleri kullanıyor. Bu yaklaşım, aynı hesaplama bütçesi altında azot molekülü gibi zorlu sistemlerde enerji tahminlerini önemli ölçüde iyileştiriyor. Kuantum kimya ve malzeme bilimi alanında önemli uygulamaları olacak bu gelişme, kuantum bilgisayarların pratik kullanımına bir adım daha yaklaştırıyor.

Araştırmacılar, iki tarafın birbirlerinin verilerini görmeden karmaşık matematiksel işlemler yapabilmesini sağlayan yeni bir kriptografik yöntem geliştirdi. 'Başarılı gizli tensör değerlendirmesi' adı verilen bu teknik, vektörlerin tensör çarpımını güvenli bir şekilde hesaplarken, iletilen mesaj boyutlarını minimal düzeyde tutuyor. Standart 'hatalarla öğrenme' problemi üzerine kurulu bu sistem, adaptif güvenlikli fonksiyon değerlendirme, tüm devreler için kapı fonksiyonları ve homomorfik gizli paylaşım gibi birçok kriptografik ilkel için temel oluşturuyor. Özellikle derinlik-D fonksiyonları için iletişim karmaşıklığını optimize eden bu yaklaşım, güvenli çok taraflı hesaplama alanında önemli bir ilerleme sunuyor.

Araştırmacılar, yapay zeka modellerinin hafıza sistemlerini daha etkili kullanabilmesi için yeni bir kontrol mimarisi geliştirdi. Bu sistem, modellerin ek eğitim almadan hafızalarındaki bilgileri ne zaman ve nasıl kullanacaklarını belirlemelerine yardımcı oluyor. Geleneksel yaklaşımlarda hafızaya eklenen bilgiler her zaman faydalı olmuyor, hatta bazen performansı düşürebiliyor. Yeni mimari ise belirsizlik tabanlı yönlendirme, güven tabanlı seçici kabul ve kanıt temelli hafıza yönetimi gibi teknikler kullanarak bu sorunu çözüyor. Sistem, matematiksel problemlerde önemli başarı göstererek SVAMP testinde 7 puan, ASDiv testinde ise 7.67 puan iyileşme sağladı.

Büyük dil modellerinin mantık yürütme becerilerini geliştirmek için Chain-of-Thought (CoT) yöntemi yaygın kullanılsa da, ayrık token örneklemesinin sınırları nedeniyle etkinliği kısıtlı kalıyor. Araştırmacılar bu sorunu çözmek için geliştirdikleri SeLaR (Seçici Gizli Mantık Yürütme) adlı yeni framework ile büyük başarı elde etti. Sistem, düşük güvenilirlikli adımlarda yumuşak gömme vektörlerini aktive ederken, yüksek güvenilirlikli adımlarda geleneksel ayrık çözümlemeyi koruyor. Bu entropi kapılı mekanizma sayesinde hem mantık yürütme kararlılığı artıyor hem de alternatif çözüm yolları keşfedilebiliyor. Hafif ve ek eğitim gerektirmeyen bu yaklaşım, yapay zeka sistemlerinin problem çözme yeteneklerinde önemli iyileştirmeler vaat ediyor.

Büyük dil modelleri (LLM'ler) günlük hayatta kullanılırken aynı anda birden fazla davranış sergilemesi gerekiyor. Araştırmacılar, bu ihtiyacı karşılamak için 'kompozisyonel yönlendirme tokenları' adlı yeni bir yöntem geliştirdi. Bu teknik, yapay zekâ sistemlerinin tek seferde farklı davranışları birleştirerek daha esnek ve kontrollü çıktılar üretmesini sağlıyor. Önceki yöntemlerin aksine, bu sistem girdi token'ları üzerinde çalışarak daha etkili kompozisyon imkânı sunuyor.

Büyük dil modellerinin eğitimi sırasında yaşanan kesintiler ve hatalar, milyar dolarlık projelerde ciddi zaman ve kaynak kayıplarına yol açıyor. Araştırmacılar, bu soruna çözüm olarak Chameleon adlı adaptif sistem geliştirdi. Bu yenilikçi yaklaşım, bir hata meydana geldiğinde en optimal kurtarma stratejisini gerçek zamanlı olarak seçebiliyor. Geleneksel yedekli hesaplama, dinamik paralellik ve veri yönlendirme yöntemlerinin aksine, Chameleon birleşik performans modeli ve hızlı yürütme planı arama algoritması kullanıyor. 32 kartlık küme üzerinde yapılan testlerde sistem, hata sonrası ve hatasız eğitim arasında sadece %11'lik performans farkı bırakırken, model yakınsama kalitesini ve verimli bellek kullanımını koruyor.