Büyük dil modellerinin karmaşık sorguları çözmek için dış kaynaklardan bilgi toplarken yaşadığı hafıza sorununa yenilikçi bir çözüm geliştirildi. MemSearch-o1 adlı sistem, geleneksel hafıza yönetimi yaklaşımlarının aksine, bilgileri parça parça büyüten ve anlamsal bağlantıları koruyan bir yapı kullanıyor. Araştırmacılar, mevcut sistemlerin uzun hafıza dizilerinde önemli bilgilerin kaybolduğu 'hafıza seyrelmesi' problemini tanımlayarak, buna karşı token seviyesinde büyüyen yapılandırılmış bir hafıza sistemi öneriyorlar. Bu yenilik, yapay zeka ajanlarının daha etkili araştırma yapmasını ve karmaşık problemleri çözmesini sağlayabilir.

Çok modlu büyük dil modelleri (MLLM'ler) görsel ve metinsel verileri işleyerek karmaşık görevleri başarıyla yerine getirebiliyor. Ancak araştırmacılar bu modellerde kritik bir sorun keşfetti: modellerin kendi verdikleri yanıtlara olan güven seviyeleri tutarsızlık gösteriyor. Yapay zekanın 'içgüdüsel' token düzeyindeki güveni ile sözlü olarak ifade ettiği güven arasında önemli farklılıklar bulunuyor. Bu durum, AI sistemlerinin güvenilirliğini değerlendirmede zorluklara yol açıyor. Yeni araştırma, bu uyumsuzluğu gidermek için çift kanallı sinyal birleştirme yaklaşımı öneriyor ve modellerin güven tahminlerinin doğruluğunu artırmayı hedefliyor.

Büyük dil modellerinin mantık yürütme becerilerini geliştirmek için Chain-of-Thought (CoT) yöntemi yaygın kullanılsa da, ayrık token örneklemesinin sınırları nedeniyle etkinliği kısıtlı kalıyor. Araştırmacılar bu sorunu çözmek için geliştirdikleri SeLaR (Seçici Gizli Mantık Yürütme) adlı yeni framework ile büyük başarı elde etti. Sistem, düşük güvenilirlikli adımlarda yumuşak gömme vektörlerini aktive ederken, yüksek güvenilirlikli adımlarda geleneksel ayrık çözümlemeyi koruyor. Bu entropi kapılı mekanizma sayesinde hem mantık yürütme kararlılığı artıyor hem de alternatif çözüm yolları keşfedilebiliyor. Hafif ve ek eğitim gerektirmeyen bu yaklaşım, yapay zeka sistemlerinin problem çözme yeteneklerinde önemli iyileştirmeler vaat ediyor.

Araştırmacılar, difüzyon tabanlı dil modellerinin performansını artıran yenilikçi bir yaklaşım geliştirdi. DMax adı verilen bu yöntem, geleneksel modellerin hata birikimi sorununu çözerek, paralel işlem gücünden daha verimli yararlanmayı sağlıyor. Sistem, maske gömme tekniği ile token gömme arasında kademeli bir geçiş yaparak, modelin kendi hatalarından öğrenmesini ve kendini düzeltmesini mümkün kılıyor. Bu gelişme, yapay zeka sistemlerinin daha hızlı ve daha doğru metin üretmesinin önünü açarak, ChatGPT benzeri uygulamaların performansını önemli ölçüde artırabilir. Özellikle büyük ölçekli dil işleme görevlerinde zaman tasarrufu sağlayan bu teknik, AI endüstrisinde verimlilik devriminin habercisi olabilir.

Büyük dil modelleri (LLM'ler) günlük hayatta kullanılırken aynı anda birden fazla davranış sergilemesi gerekiyor. Araştırmacılar, bu ihtiyacı karşılamak için 'kompozisyonel yönlendirme tokenları' adlı yeni bir yöntem geliştirdi. Bu teknik, yapay zekâ sistemlerinin tek seferde farklı davranışları birleştirerek daha esnek ve kontrollü çıktılar üretmesini sağlıyor. Önceki yöntemlerin aksine, bu sistem girdi token'ları üzerinde çalışarak daha etkili kompozisyon imkânı sunuyor.

Büyük dil modelleri, çok turlu konuşmalarda performans kaybı yaşıyor ve kullanıcı talimatlarını takip etmekte zorlanıyordu. Araştırmacılar, sohbet geçmişini otomatik olarak özetleyen MT-OSC adlı yeni bir sistem geliştirdi. Bu teknoloji, 10 turlu diyaloglarda token sayısını %72'ye kadar azaltarak, yapay zeka asistanlarının uzun konuşmalarda daha tutarlı ve verimli çalışmasını sağlıyor. 13 farklı dil modeli üzerinde test edilen sistem, sohbet deneyimini bozmadan arka planda çalışarak hesaplama maliyetlerini düşürüyor.

Araştırmacılar, metin ve graf üretimi gibi alanlarda kullanılan yapay zeka modellerinin temel sorunlarını çözen yeni bir yaklaşım geliştirdi. Mevcut difüzyon modelleri, erken kararlar nedeniyle geri döndürülemez hatalar yapıyor ya da düşük kaliteli sonuçlar üretiyor. IDDM adlı yeni sistem, ara durumlardan daha az bağımlı olarak çalışan kontrollü yeniden örnekleme mekanizması kullanıyor. Bu sayede hata birikimi azalırken, token düzeltmeleri daha etkili hale geliyor. Sistem, mevcut durumda kalma, önceki dağılımdan yeniden örnekleme ve hedef duruma yönelme arasında geçiş yaparak çalışıyor.

Büyük dil modelleri için geliştirilen yeni bir teknik, zararlı bilgileri unuturken faydalı yetenekleri korumayı başarıyor. Araştırmacılar, kelimelerin önem seviyesini analiz ederek seçici unutma yöntemi geliştirdi. Geleneksel yöntemler tüm kelimeleri eşit önemde görürken, yeni Entropi Güdümlü Token Ağırlıklandırma (ETW) tekniği, 've', 'bir' gibi işlevsel kelimeleri ile 'demokrasi', 'teknoloji' gibi anlamlı kelimeleri ayırt ediyor. Sistem, bir kelimenin ne kadar belirsizlik içerdiğini ölçerek önemini belirliyor. Bu yaklaşım, AI güvenliği için kritik öneme sahip çünkü modellerin zararlı davranışları unuturken genel performanslarını korumasını sağlıyor.

Araştırmacılar, büyük dil modellerinin (LLM) karmaşık matematiksel hesaplamaları doğrudan gerçekleştirebilmesi için PiERN (Fiziksel Olarak İzole Uzmanlar Yönlendirme Ağı) adında yeni bir mimari geliştirdi. Mevcut yapay zeka modelleri, karmaşık sistemler üzerinde karar vermek için gereken yüksek hassasiyetli sayısal hesaplamaları doğal olarak yapamıyor. Çok-ajan yaklaşımları dış uzmanlardan yararlanabilse de iletişim yükü ve ölçeklenebilirlik sorunları yaratıyor. PiERN, hesaplama yeteneklerini sinir ağlarına içsel olarak entegre ederek bu sorunu çözmeyi hedefliyor. Sistem, ayrı olarak eğitilen uzmanları, metin-hesaplama modülünü ve yönlendiricisi sayesinde token seviyesinde hesaplama ve muhakemeyi yönetiyor.

Yapay zeka destekli kod yazma araçları, yazılım geliştiricilerin hayatını kolaylaştırırken beklenmedik bir güvenlik riski yaratıyor. Araştırmacılar, büyük dil modellerinin kod yazmak için kullandığı tokenizasyon yönteminin, API anahtarları ve şifreler gibi gizli bilgileri ezberlemesini kolaylaştırdığını keşfetti. Bu durum, modellerin eğitim sırasında karşılaştığı hassas verileri istemeden hatırlayıp paylaşmasına yol açıyor. Özellikle karakter düzeyinde karmaşık görünen ancak token düzeyinde basit olan gizli bilgilerin daha kolay ezberlendiği ortaya çıktı. Bu keşif, AI kod asistanlarının siber güvenlik açısından yeniden değerlendirilmesi gerektiğini gösteriyor.

Araştırmacılar, yazılı açıklamalardan gerçekçi insan hareketleri üreten yenilikçi bir yapay zeka sistemi geliştirdi. FlowCoMotion adlı bu sistem, geleneksel yöntemlerin sınırlarını aşarak hem anlambilimsel içeriği hem de hareketin ince detaylarını korumayı başarıyor. Mevcut teknikler ya hareketin dinamiklerini semantikle karıştırıyor ya da detayları kaybediyordu. Yeni yaklaşım, token-latent çiftlemesi kullanarak iki farklı dalı birleştiriyor: biri sürekli gizli uzayda çok görüşlü damıtma uygularken, diğeri ayrık zamansal çözünürlük nicemleme ile üst düzey semantik ipuçlarını çıkarıyor. Bu hibrit model, film endüstrisi, oyun geliştirme ve sanal gerçeklik uygulamaları için önemli potansiyel taşıyor. Sistem, hareket üretiminde hem kaliteyi hem de anlambilimsel uyumu artırarak bu alandaki mevcut zorluklara çözüm sunuyor.