Araştırmacılar, büyük dil modellerinin sayısal işlemlerdeki zayıflığını gidermek için yeni bir tokenizasyon yöntemi geliştirdi. Triadic Suffix Tokenization (TST) adı verilen bu sistem, sayıları üçlü gruplara bölerek her gruba açık büyüklük işaretleyicileri ekliyor. Geleneksel yöntemler sayıları tutarsız parçalara böldüğü için modeller pozisyonel yapıyı kaybediyor ve aritmetik hatalar yapıyordu. Yeni sistem binler, milyonlar gibi tam sayı büyüklükleri ile ondalık derinlikleri için paralel işaretleyici kullanıyor. Bu deterministik yaklaşım, pozisyonel çıkarıma dayalı mevcut yöntemlerin aksine tutarlı gradyan sinyali sağlayarak kararlı öğrenme garantiliyor. İki uygulama varyantı sunuluyor: mevcut kelime dağarcığına en fazla 10.000 sabit token ekleyen sözlük tabanlı yaklaşım ve daha esnek alternatif.

Stanford araştırmacıları, büyük dil modellerinin neden gerçek dışı bilgiler ürettiğini açıklayan çığır açar bir keşif yaptı. Qwen2.5 modeli üzerinde yapılan deneyler, halüsinasyonların tesadüfi olmadığını, modelin ilk kelimeden itibaren yanlış bir 'yörüngeye' girdiğini ortaya koyuyor. Araştırma, aynı soruya verilen farklı yanıtları analiz ederek, modellerin %44 oranında doğru ve yanlış bilgi arasında erken ayrım yaptığını gösteriyor. En çarpıcı bulgu ise, yanlış aktivasyonların doğru yanıtları bozmasının (%87), doğru aktivasyonların yanlış yanıtları düzeltmesinden (%33) çok daha kolay olması. Bu asimetrik yapı, AI sistemlerinin neden bazen ısrarla yanlış bilgiler ürettiğini ve bu sorunu çözmenin neden bu kadar zor olduğunu açıklıyor.

Araştırmacılar, Vision Transformer (ViT) modellerinde token budama işlemlerinin performans sorunlarını çözen yeni bir dikkat mekanizması geliştirdi. Token budama, önemsiz görüntü parçalarını atarak hesaplama maliyetini teorik olarak büyük ölçüde azaltsa da, pratikte mevcut değişken uzunluklu dikkat API'leri bu avantajı tam olarak yansıtamıyordu. Yeni geliştirilen 'dispatch-aware ragged attention' yöntemi, kısa sekans uzunluklarında ortaya çıkan dispatch-overhead darboğazını çözerek, budanmış ViT'lerin gerçek dünya performansını teorik potansiyellerine yaklaştırıyor. Bu çalışma, yapay zeka modellerinin hem doğruluk hem de hız açısından optimizasyonunda önemli bir adım teşkil ediyor.

Araştırmacılar, büyük dil modellerinde yaygın kullanılan KV önbellekleme optimizasyonunun, bugüne kadar varsayıldığı gibi sayısal olarak eşdeğer olmadığını keşfetti. FP16 hassasiyetinde, önbellek kullanan ve kullanmayan hesaplama yolları farklı sonuçlar üretiyor. LLaMA-2-7B, Mistral-7B-v0.3 ve Gemma-2-2B modellerinde yapılan testlerde, tüm örnekleme stratejilerinde %100 token farklılığı gözlemlendi. Bu durum, rastgele örneklemenin değil, sistematik bir hesaplama farkının olduğunu gösteriyor. İlginç şekilde, önbellek kullanan versiyonlar 9 koşuldan 8'inde daha yüksek doğruluk gösterdi. Problem FP16 formatının değişmeli olmayan özelliğinden kaynaklanıyor ve FP32 kullanıldığında sekiz kat azalıyor.

Araştırmacılar, yapay zeka modellerinin görüntü üretme sürecinde kullandığı token yapılarının nasıl optimize edilebileceğini araştırdı. Geleneksel 2D ızgara sistemi yerine, kaba detaydan ince detaya doğru çalışan 1D sıralı token sisteminin, test aşamasında çok daha etkili sonuçlar verdiği keşfedildi. Bu yenilikçi yaklaşım, ara aşamalardaki durumların anlamlı bilgi taşımasını sağlayarak, doğrulama algoritmalarının daha güvenilir değerlendirmeler yapmasına olanak tanıyor. Bulgular, gelecekte daha akıllı ve kontrol edilebilir görüntü üretim sistemlerinin geliştirilmesi için önemli bir adım oluşturuyor.

Büyük dil modelleri bazen gerçek dışı bilgiler üretebiliyor - bu duruma 'halüsinasyon' deniyor. Araştırmacılar, bu sorunu çözmek için RAGognizer adlı yeni bir sistem geliştirdi. Bu sistem, yapay zekanın yanlış bilgi ürettiği anları gerçek zamanlı olarak tespit edebiliyor. Geleneksel yöntemler halüsinasyonları sonradan kontrol ederken, RAGognizer bunu eğitim sürecine dahil ediyor. Sistem, doğal olarak ortaya çıkan halüsinasyonları token düzeyinde işaretleyen özel bir veri seti kullanıyor. Bu yaklaşım, hem dil modellemesi hem de halüsinasyon tespitini aynı anda optimize ederek daha güvenilir AI sistemleri geliştirilmesine katkı sağlıyor.

Araştırmacılar, büyük dil modellerinin ürettiği metinleri derinlemesine analiz etmek için LLMbench adlı yenilikçi bir araç geliştirdi. Mevcut yapay zeka karşılaştırma araçları sayısal değerlendirmelere odaklanırken, LLMbench dijital beşeri bilimlerin yorumlama yöntemlerini benimsiyor. Tarayıcı tabanlı bu platform, aynı komuta verilen farklı model yanıtlarını yan yana göstererek, token seviyesinde olasılık analizi, kelime düzeyinde fark tespiti, söylem analizi ve cümle yapısı incelemesi gibi dört farklı analitik katman sunuyor. Araç ayrıca rastgele değişkenlik, sıcaklık gradyanı ve modeller arası farklılık gibi beş analitik mod içeriyor. Bu özellikler, yapay zeka tarafından üretilen metinlerin olasılıksal yapısını token düzeyinde anlaşılır kılıyor ve araştırmacılara dil modellerinin çalışma mantığını daha iyi kavrama imkanı veriyor.

Araştırmacılar, büyük mantıksal akıl yürütme modellerinde paralel işleme verimliliğini artıran yenilikçi bir yöntem geliştirdi. STOP (Super TOken for Pruning) adlı bu teknik, modellerin gereksiz hesaplama yollarını erken aşamada tespit edip elemesini sağlıyor. Çalışma, 1.5 milyardan 20 milyar parametreye kadar farklı büyüklükteki modellerde test edildi ve kayda değer başarı elde etti. Özellikle GPT-OSS-20B modelinde AIME25 veri setindeki doğruluk oranı %84'ten %90'a yükseldi. Bu gelişme, yapay zeka modellerinin hem daha verimli çalışmasını hem de daha az enerji tüketmesini mümkün kılıyor.

Güvenlik araştırmacıları, Apple Intelligence'ın güvenlik sisteminde ciddi bir açık keşfetti. 'Serpent' adı verilen bu saldırı yöntemi, kullanıcıların cihazlarından erişim tokenlarını çalarak bunları farklı cihazlarda kullanmayı mümkün kılıyor. Apple'ın yapay zeka hizmeti, anonim erişim tokenleri kullanarak iki aşamalı güvenlik sistemiyle kullanıcı gizliliğini korumayı hedefliyordu. Ancak araştırma, bu koruma mekanizmasının traffic analizi, tersine mühendislik ve Apple'ın resmi belgelerinin karşılaştırılması yoluyla aşılabileceğini gösteriyor. En güncel macOS 26 Tahoe sürümünde bile başarılı saldırılar gerçekleştirilen bu keşif, yapay zeka hizmetlerinin güvenlik mimarilerinde köklü revizyonlara ihtiyaç olduğunu ortaya koyuyor. Çalıntı tokenlar, mağdurun kullanım limitlerini tüketerek ek zararlara yol açabiliyor.

Stanford araştırmacıları, büyük dil modellerinin çıkarım hızını artırmak için Sequential Monte Carlo Speculative Decoding (SMC-SD) adlı yeni bir yöntem geliştirdi. Geleneksel spekülatif kod çözme yöntemlerinde, ucuz bir taslak model önerilerde bulunur ve pahalı hedef model bu önerileri doğrular. Ancak ilk hatada tüm taslak blok reddedilir. Yeni yaklaşım, token'ları tamamen reddetmek yerine yeniden ağırlıklandırıyor ve önemlilik ağırlıklı yeniden örnekleme kullanıyor. Bu sayede hesaplama verimliliği artırılırken teorik doğruluk sınırları korunuyor. LLM çıkarımı genellikle bellek bant genişliği ile sınırlandığı için, paralel hesaplamalar neredeyse bedava geliyor ve sistem boşta kalan hesaplama gücünü verimli şekilde kullanabiliyor.

Araştırmacılar, büyük dil modellerini belirli diller için optimize etmek amacıyla 'token budama' tekniğini kullanarak kapsamlı bir değerlendirme gerçekleştirdi. Korece odaklı doğal dil işleme görevlerine odaklanan çalışma, Qwen3, Gemma-3, Llama-3 ve Aya gibi son teknoloji çok dilli modelleri test etti. Token budama, hedef uygulamayla ilgisiz dillere ait token'ları ve gömme parametrelerini sistemden çıkaran bir sıkıştırma tekniği olarak öne çıkıyor. Bulgular, bu yöntemin dil karmaşasını ortadan kaldırarak üretim kararlılığını önemli ölçüde artırdığını ve özellikle makine çevirisinde Korece'ye özgü görevlerde performansı sıklıkla iyileştirdiğini gösteriyor.