Stanford araştırmacıları, Excel ve CSV gibi tablolu verileri işlemek için yeni bir yapay zeka yaklaşımı geliştirdi. Mevcut RAG (Retrieval-Augmented Generation) sistemleri tablolu verileri işlemekte yetersiz kalırken, yeni STC (Structure-Aware Tabular Chunking) framework'ü tablonun yapısal özelliklerini koruyan akıllı parçalama yöntemi kullanıyor. Bu yöntem, her satırı anahtar-değer çiftleri olarak kodlayarak hiyerarşik bir ağaç yapısı oluşturuyor ve semantik ilişkileri koruyarak daha verimli veri işleme sağlıyor. Testlerde, geleneksel yöntemlere göre %40-56 daha az parça oluştururken token kullanımını artırdı.

Araştırmacılar, yapay zeka modellerinin metin üretim hızını artırmak için EVICT adlı yeni bir sistem geliştirdi. Bu sistem, özellikle karmaşık Mixture-of-Experts (MoE) modellerinde yaşanan performans sorunlarını çözerek, gereksiz hesaplamaları ortadan kaldırıyor. EVICT, ağaç tabanlı tahmini kod çözme tekniğini optimize ederek, sadece faydalı token'ları doğrulama sürecine dahil ediyor. Sistem herhangi bir ek eğitim gerektirmeden çalışabiliyor ve mevcut altyapılarla uyumlu. Farklı model mimarileri üzerinde yapılan testlerde sistemin 2 kata kadar hız artışı sağladığı görüldü. Bu gelişme, ChatGPT gibi büyük dil modellerinin yanıt verme hızını önemli ölçüde artırabilir.

Araştırmacılar, çoklu yapay zeka ajanlarının birlikte çalıştığı sistemlerde hem performansı artıran hem de maliyeti düşüren yenilikçi bir çözüm geliştirdi. Agent Capsules adlı bu sistem, birden fazla AI ajanının görevlerini daha verimli şekilde koordine etmesini sağlıyor. Geleneksel yaklaşımlarda her ajan için ayrı dil modeli çağrısı yapılması hem pahalı hem de yavaş sonuçlar doğuruyordu. Yeni sistem, ajanları akıllıca gruplandırarak token kullanımını azaltırken, kalite kaybını önlemek için sürekli performans kontrolü yapıyor. Sistem, üç farklı strateji arasında seçim yapabiliyor ve kalite düşüşü algıladığında otomatik olarak daha güvenli modlara geçiş yapıyor. Bu gelişme, çoklu AI ajan sistemlerinin daha geniş çapta kullanımına olanak sağlayabilir.

Büyük dil modellerinin karmaşık problemleri çözerken kullandığı zincirsel mantık yürütme (CoT) yönteminde ciddi bir açık keşfedildi. Araştırmacılar, bu modellerin eğitim sırasında gördüklerinden daha fazla mantık adımı gerektiren problemlerde performanslarının keskin bir şekilde düştüğünü ortaya koydu. MIT ve diğer kurumlardan bilim insanları, bu başarısızlığın arkasındaki mekanizmayı inceleyerek, hataların rastgele dağılmadığını, belirli token pozisyonlarında yoğunlaştığını buldu. Daha da önemlisi, 'hatalı işleme kafaları' adını verdikleri özel dikkat mekanizmalarının, doğru mantık yollarını bastırırken yanlış çıkarımları güçlendirdiğini keşfetti. Bu bulgu, yapay zekanın mantık yürütme yeteneklerinin geliştirilmesi açısından kritik önem taşıyor.

Araştırmacılar, büyük dil modellerinin uzun metinleri işlerken karşılaştığı en büyük sorunu çözen yeni bir yöntem geliştirdi. Token Sparse Attention adlı bu teknik, modellerin dikkat mekanizmasındaki karmaşıklığı büyük ölçüde azaltıyor. Geleneksel yöntemler, önemli bilgileri kalıcı olarak siliyor ya da katı kalıplarla çalışıyordu. Yeni yaklaşım ise dinamik bir şekilde hangi bilgi parçalarının önemli olduğunu belirleyip, gerektiğinde bu bilgileri sonraki işlemlerde yeniden değerlendiriyor. Bu sayede hem hız kazanılıyor hem de bilgi kaybı önleniyor.

Yeni bir araştırma, beynin hafıza merkezinin hayata sıfırdan değil, yoğun bağlantılarla dolu bir ağ şeklinde başladığını ortaya koydu. Bilim insanları, hipokampustaki erken dönem sinir ağlarının başlangıçta yoğun ve rastgele görünen bağlantılara sahip olduğunu, daha sonra zaman içinde gereksiz bağlantıları atarak daha düzenli bir yapıya kavuştuğunu keşfetti. Bu 'budama' süreci, deneyimleri birbirine bağlama ve hafıza oluşturma konusunda daha hızlı ve verimli bir sistem yaratıyor. Bulgular, beynin sıfırdan başladığı düşüncesine meydan okuyor ve sinir sisteminin gelişimi hakkındaki anlayışımızı değiştiriyor. Bu keşif, hafıza bozukluklarının tedavisi ve öğrenme süreçlerinin anlaşılması açısından önemli sonuçlar doğurabilir.

Araştırmacılar, büyük dil modellerinde bazı nöronların belirli görevler için kritik önem taşıdığını ortaya çıkardı. Matematiksel akıl yürütme ve kod üretimi konularında uzmanlaşmış modeller üzerinde yapılan sistematik budama çalışması, nöronların görev performansına eşit katkı sağlamadığını gösterdi. Aktivasyon tabanlı seçici budama yöntemi rastgele budamadan daha başarılı sonuçlar verirken, görev odaklı kritik nöronların sadece %10'unun çıkarılması modelin tamamen çökmesine neden oldu. Bu bulgular, yapay zeka modellerinin iç yapısını anlama ve optimize etme konusunda önemli ipuçları sunuyor.

Araştırmacılar, yapay zeka modellerinin düşünme ve düşünmeme modları arasındaki karışıklığı gidermek için Path-Lock Expert (PLE) adlı yenilikçi bir mimari geliştirdi. Mevcut hibrit düşünen dil modellerinde, düşünmeme modunda bile uzun ve kendini sorgulayan yanıtlar üretilmesi sorunu yaşanıyor. Bu durum, her iki modun aynı parametrelerde kodlanmasından kaynaklanıyor. PLE sistemi, her çözücü katmanda tek MLP yerine, biri düşünme diğeri düşünmeme için olmak üzere iki ayrı uzman kullanıyor. Sistem, dikkat mekanizması, gömme katmanları ve normalizasyon bileşenlerini paylaşırken, bir kontrol token'ı aracılığıyla tüm dizi için sadece bir uzman yolunu seçiyor. Bu yaklaşım, matematik ve bilim alanlarında test edilerek, modların birbirine karışmasını engellemede başarılı sonuçlar gösterdi.

Surprisal teorisi, insanların dil işleme zorluklarını kelime tahmin edilebilirliğiyle açıklamaya çalışır. Ancak mevcut çalışmalarda temel bir sorun vardır: dil modelleri kendi token sistemlerini kullanırken, araştırmacılar kelime gibi dilbilimsel birimlerle çalışır. Bu uyumsuzluk, bilimsel sonuçları etkileyen tutarsızlıklara yol açar. Yeni araştırma, bu soruna çözüm getirerek farklı dil birimleri üzerinden surprisal hesaplama için birleşik bir çerçeve sunuyor. Bu yaklaşım, dil işleme araştırmalarında daha tutarlı ve güvenilir sonuçlar elde edilmesine katkı sağlayabilir.

Araştırmacılar, büyük dil modellerinin mantıksal çıkarım süreçlerinde kullandığı token'ları analiz ederek önemli bir keşif yaptı. Modellerin düşünme izlerinde iki farklı token türü bulunduğunu tespit ettiler: düşük entropili yapısal token'lar (tekrar eden kalıplar) ve yüksek entropili organik token'lar (probleme özgü içerik). Bu asimetriden yararlanarak geliştirdilen yeni sıkıştırma tekniği, modellerin sık kullandığı yapısal kalıpları 'süpertoken'lara dönüştürüyor. Üç farklı model ailesinde ve beş matematiksel akıl yürütme testinde yapılan deneylerde, bu yaklaşım düşünme süreçlerini ortalama %8,1 oranında kısalttı ve hiçbir modelde doğruluk kaybına neden olmadı. Yöntem, sadece hızlandırma değil, aynı zamanda modellerin düşünce yapısını daha iyi anlamamıza da katkı sağlıyor.

Büyük dil modelleri çok dilli yeteneklere sahip olmasına rağmen, sıklıkla istenilen dilde tutarlı yanıtlar üretmekte zorlanıyor. Bu durum 'dil karışıklığı' olarak adlandırılıyor ve modelin bir dilde soru sorulduğunda farklı bir dilde cevap vermesi şeklinde kendini gösteriyor. Araştırmacılar bu sorunu çözmek için Token Düzeyinde Politika Optimizasyonu (TLPO) adında yeni bir yaklaşım geliştirdi. Geleneksel yöntemler tüm yanıt üzerinde işlem yaparken, TLPO daha hassas bir şekilde sadece hata yapan kelime parçalarına odaklanıyor. Bu sayede modelin genel yeteneklerini bozmadan dil karışıklığı problemi çözülebiliyor. Yöntem, hata yapmaya meyilli pozisyonları tespit ediyor, alternatif kelime seçeneklerini değerlendiriyor ve politikayı bu noktalarda güncelliyor. Bu yaklaşım, yapay zeka modellerinin çok dilli uygulamalardaki performansını önemli ölçüde artırma potansiyeline sahip.