Araştırmacılar, yapay zeka modellerinin eğitim verilerinden nasıl etkilendiğini analiz etmek için yeni bir yöntem geliştirdi. Bu yöntem, 'dropout' tekniğini kullanarak hesaplama maliyetlerini önemli ölçüde azaltıyor. Büyük yapay zeka modelleri için kritik olan bu gelişme, modellerin davranışlarını anlamayı ve şeffaflığı artırmayı hedefliyor. Geleneksel etki fonksiyonları, hangi eğitim verilerinin modelin performansını nasıl etkilediğini hesaplarken çok fazla işlem gücü ve bellek gerektiriyordu. Yeni yaklaşım, bu sorunu çözerek daha verimli model analizi yapılmasına olanak tanıyor. Bu gelişme, yapay zeka modellerinin daha güvenilir ve anlaşılabilir hale getirilmesi için önemli bir adım sayılıyor.

Araştırmacılar, büyük dil modellerinin performansını artırmak için kullanılan paralel test zamanı ölçeklendirme (TTS) yaklaşımını, gizli muhakeme modellerine uyarladı. Geleneksel yöntemler, birden fazla düşünce zinciri oluşturup sonuçları oylamayla birleştirirken, yeni yaklaşım sürekli vektör uzayında çalışan modeller için tasarlandı. Ekip, Monte Carlo Dropout ve Gaussian Gürültü ekleme gibi belirsizlik temelli örnekleme stratejileri geliştirdi. Ayrıca, adım adım karşıtsal öğrenme ile eğitilen Gizli Ödül Modeli (LatentRM) sayesinde farklı çözüm yollarını daha etkili bir şekilde değerlendirip birleştirebildi. Bu yenilik, yapay zeka sistemlerinin muhakeme yeteneklerini geliştirirken hesaplama verimliliğini de artırıyor.

Araştırmacılar, büyük dil modellerinin kendi aktivasyonlarına yapılan değişiklikleri tespit edebildiğini keşfetti. Llama, Olmo ve Qwen ailelerinden 8-32 milyar parametreli modeller test edildi. Bu modeller, aktivasyonlarına dropout veya Gaussian gürültüsü eklendiğinde bunu fark edebiliyor, hangi cümlede değişiklik yapıldığını belirleyebiliyor ve hatta hangi tür müdahalenin uygulandığını ayırt edebiliyor. Bu bulgular, yapay zeka modellerinin kendi iç işleyişlerini bir dereceye kadar algılayabildiğini gösteriyor. Özellikle Qwen modeli, hiçbir eğitim almadan bile hangi tür değişikliğin yapıldığını tahmin edebiliyor. Bu keşif, AI'ın kendi durumunu izleme yetisi hakkında önemli ipuçları sunuyor.

Araştırmacılar, doğanın fraktal yapılarından esinlenerek yapay sinir ağları tasarlayan yenilikçi bir sistem geliştirdi. FractalNet adlı bu sistem, büyük dil modellerinin analizi ve geliştirilmesi için otomatik mimari keşif süreci sunuyor. Sistem, konvolüsyon, normalizasyon, aktivasyon ve dropout katmanlarının sistematik permütasyonları ile 1.200'den fazla farklı sinir ağı varyantı oluşturabiliyor. Fraktal şablonlar sayesinde modeller hem derinlik hem genişlik açısından dengeli bir şekilde büyüyebiliyor. CIFAR-10 veri setinde yapılan testlerde, fraktal tabanlı mimarilerin hem güçlü performans sergilediği hem de hesaplama açısından verimli olduğu görüldü.

Araştırmacılar, fizik bilgili sinir ağlarının (PINNs) türbülanslı akış alanlarını modellerken karşılaştığı belirsizlik sorununu çözmek için yeni bir yaklaşım geliştirdi. Geleneksel PINN modelleri deterministik olduğu için, özellikle seyrek verilerden türbülanslı akışları yeniden oluştururken güvenilir belirsizlik tahminleri sağlayamıyordu. Yeni framework, Bayesian çıkarım, Monte Carlo dropout ve itici derin topluluklarını birleştirerek bu sorunu aşmaya odaklanıyor. Bu gelişme, havacılık mühendisliğinden iklim modellemesine kadar birçok alanda daha güvenilir akış simülasyonları yapılmasını sağlayabilir.