Araştırmacılar, büyük dil modellerinin (LLM) yeteneklerini detaylı şekilde değerlendirmek için SCAN adlı yeni bir çerçeve geliştirdi. Mevcut değerlendirme yöntemleri sadece modellerin genel performansını karşılaştırırken, SCAN kullanıcıların ve geliştiricilerin belirli bir modelin hangi konularda güçlü, hangilerinde zayıf olduğunu ayrıntılı şekilde görebilmesini sağlıyor. Sistem, otomatik olarak yetenek kategorileri oluşturan TaxBuilder ve yeterli test verisi sağlayan RealMix gibi bileşenler içeriyor. Bu yaklaşım, yapay zeka modellerinin pratik uygulamalarda hangi görevler için uygun olduğunu belirlemede önemli bir adım olarak görülüyor.

Araştırmacılar, büyük dil modellerinin (LLM) etiketli örneklerden öğrenmesi için yeni bir hafıza destekli sistem geliştirdi. Geleneksel fine-tuning yöntemlerinin maliyetli ve esnek olmayan yapısına alternatif olan bu sistem, episodik ve semantik hafıza türlerini kullanıyor. Episodik hafıza geçmiş deneyimleri saklarken, semantik hafıza bunları yeniden kullanılabilir rehberlere dönüştürüyor. Test sonuçlarında, bu yaklaşım sıfır-atış temel modellere göre ortalama %8.1, yalnızca etiket kullanan RAG sistemlerine göre %4.6 oranında iyileşme sağladı. Sistem, LLM'lerin parametrelerini güncellemeden öğrenmesine olanak tanıyarak, yapay zeka alanında önemli bir adım oluşturuyor.

Araştırmacılar, büyük dil modellerinin (LLM) karmaşık görevleri çözmek için harici araçları nasıl kullandığını öğrenmesini iyileştiren yeni bir algoritma geliştirdi. PORTool adlı bu sistem, yapay zeka ajanlarının hangi araç kullanım kararlarının başarıya götürdüğünü daha iyi anlamasını sağlıyor. Geleneksel yöntemler yalnızca son sonuca bakarak öğrenirken, PORTool her adımın önemini değerlendiriyor. Bu yaklaşım, ajanların doğru ve yanlış araç seçimlerini ayırt etmesine yardımcı oluyor. Sistem, aynı bağlamda farklı araç kullanım kararlarını karşılaştırarak hangi seçimlerin daha etkili olduğunu belirliyor.

Araştırmacılar, müşteri hizmetleri sohbet botlarında kullanılan büyük dil modellerinin (LLM) yerine geçebilecek daha küçük alternatifleri inceledi. Çok turlu konuşmalarda bağlamı koruyarak yanıt verebilen küçük dil modellerinin (SLM) performansı, kaynak tüketimi düşük ortamlarda test edildi. Dokuz farklı küçük model, üç ticari büyük modelle karşılaştırıldı. Araştırma, konuşma geçmişini özetleyerek koruyan bir strateji kullandı ve müşteri hizmetleri etkileşimlerinin farklı aşamalarında model davranışlarını analiz etti. Bu çalışma, hesaplama gücü sınırlı ortamlarda etkili müşteri hizmetleri sistemleri geliştirmek isteyen şirketler için önemli bulgular sunuyor.

Araştırmacılar, büyük dil modellerinin (LLM) belirsizlik altında karar verme konusunda insanlara ne kadar benzediğini araştırdı. Çok kollu haydut (multi-armed bandit) deneylerini kullanarak yapılan karşılaştırmada, keşif-sömürü dengesi incelendi. Bu denge, yeni seçenekleri deneme ile mevcut en iyi seçeneği kullanma arasındaki karardır. Sonuçlar, yapay zeka modellerinin düşünme süreçleri etkinleştirildiğinde insan davranışlarına daha çok benzediğini ortaya koydu. Bu bulgular, yapay zekanın insan benzeri karar verme süreçlerini simüle etme potansiyeli hakkında önemli ipuçları veriyor.

Araştırmacılar, konuşmalı alışveriş asistanlarının performansını değerlendirmek ve optimize etmek için kapsamlı bir sistem geliştirdi. Market alışverişi gibi karmaşık senaryolarda kullanıcı tercihlerini anlayan ve bütçe kısıtlarını göz önünde bulunduran AI sistemlerinin değerlendirilmesi büyük zorluklar içeriyor. Yeni sistem, çok boyutlu bir değerlendirme rubriği ve insan değerlendirmelerine uyumlu LLM yargıç sistemi kullanıyor. Bu çalışma, gerçek üretim ortamında çalışan AI asistanlarının sürekli geliştirilmesi için pratik bir yol haritası sunuyor.

Büyük dil modellerinin (LLM) akıl yürütme yeteneklerinin nasıl kontrol edilebileceği üzerine ilk sistematik araştırma gerçekleştirildi. Araştırmacılar, bu modellerin çelişkili talimatlarla karşılaştıklarında nasıl davrandığını inceledi. Sonuçlar, yapay zeka modellerinin kurallara uyma yerine mantıklı düşünmeyi tercih ettiğini gösterdi. Bu keşif, AI sistemlerinin karar verme süreçlerini anlamamız açısından kritik öneme sahip. Araştırma, modellerin önceden öğrendikleri bilgilerle yeni talimatlar arasında çelişki yaşadığında hangi yolu seçtiklerini ortaya koyuyor.

Büyük dil modellerinin (LLM) temelini oluşturan alt-kelime tokenizasyonu teknolojisinin nasıl çalıştığı uzun süre net olmamıştı. Yeni araştırma, bu tekniğin başarısının arkasındaki mekanizmaları ilk kez detaylı olarak inceledi. Bilim insanları, kontrollü deneyler yaparak alt-kelime tokenizasyonunun neden ham bayt düzeyindeki modellere göre daha iyi performans gösterdiğini keşfetti. Bulgular, eğitim hızının artması ve dil yapılarına dair öncül bilgilerin entegrasyonunun kritik rol oynadığını ortaya koydu. Bu keşif, gelecekteki yapay zeka modellerinin daha verimli geliştirilmesine yön gösterecek önemli ipuçları sunuyor.

Yeni bir araştırma, büyük dil modellerinin (LLM) insan duygularını anlamada önemli bir eksikliği olduğunu ortaya koyuyor. İnsanlar metinlerdeki duyguları değerlendirirken sıklıkla farklı görüşlere sahip oluyor ve bu anlaşmazlık aslında duyguların karmaşıklığını yansıtıyor. Ancak yapay zeka sistemleri bu belirsizliği yakalamakta zorlanıyor. Stanford ve diğer üniversitelerden araştırmacılar, 640 bin LLM yanıtını analiz ederek, bu sistemlerin açık duygusal ifadeleri başarıyla tespit ettiğini ama pragmatik olarak karmaşık duyguları anlamakta yetersiz kaldığını buldu. Bu durum, yapay zekanın insan duygularını anlama konusundaki sınırlarını gösteriyor.

Araştırmacılar, büyük dil modellerinin (LLM) farklı versiyonları arasındaki performans değişikliklerini daha hassas şekilde ölçebilen yeni bir yöntem geliştirdi. Klinik psikolojiden uyarlanan Güvenilir Değişim İndeksi (RCI) ile yapılan çalışma, genel başarı puanlarının yanıltıcı olabileceğini ortaya koydu. Llama 3-3.1 ve Qwen 2.5-3 model çiftleri üzerinde yapılan testlerde, modellerin bazı alanlarda iyileşirken diğerlerinde kötüleşebildiği gözlemlendi. Bu bulgular, yapay zeka modellerinin gelişimini değerlendirmede daha detaylı analizlerin önemini vurguluyor ve gelecekteki model geliştirme süreçlerine ışık tutuyor.

Araştırmacılar, büyük dil modellerinin (LLM) farklı insan kişiliklerini ve demografik özelliklerini taklit ederek tartışmalı konularda nasıl görüş bildirdiğini inceledi. 190.000 kayıtlık 'Bilişsel Dijital Gölgeler' veri seti oluşturularak, 19 farklı yapay zeka modelinin aşı, dezenformasyon, cinsiyet eşitsizliği ve STEM alanındaki önyargılar gibi konulardaki yaklaşımları analiz edildi. Çalışma, yapay zekanın toplumsal söylemi nasıl şekillendirebildiğini ve farklı kişilik özelliklerine göre nasıl farklı tepkiler verebildiğini ortaya koyuyor. Bu bulgular, yapay zeka sistemlerinin toplum üzerindeki etkisini anlamak açısından kritik önem taşıyor.