Araştırmacılar, büyük dil modellerinin (LLM) bilimsel araştırmalardaki gerçek performansını ölçmek için yeni bir değerlendirme sistemi geliştirdi. Bu sistem, biyoloji, kimya, malzeme bilimi ve fizik alanlarında AI modellerinin sadece bilgi birikimini değil, hipotez üretme, deney tasarlama ve sonuçları yorumlama yeteneklerini de test ediyor. Sonuçlar, en gelişmiş AI modellerinin bile geleneksel bilim testlerindeki performanslarına kıyasla gerçek bilimsel keşif süreçlerinde daha zayıf kaldığını gösteriyor. Bu bulgular, AI'nın bilimsel araştırmalarda kullanımı konusunda daha dikkatli yaklaşılması gerektiğini ortaya koyuyor.

Araştırmacılar, gelişmiş büyük dil modellerinin (LLM) nörofarklı kullanıcılara yönelik sistem talimatları aldıklarında çıktılarını nasıl değiştirdiğini inceledi. NDBench adlı yeni bir test sistemi kullanılarak yapılan çalışmada, modellerin nörofarklılık bağlamında önemli uyarlamalar gösterdiği ortaya çıktı. İki farklı gelişmiş model, üç sistem talimat türü ve dört nörofarklılık profili kullanılarak 576 farklı çıktı analiz edildi. Sonuçlar, modellerin özellikle detaylı talimatlar aldıklarında daha uzun, yapılandırılmış ve adım adım açıklamalar içeren yanıtlar ürettiğini gösteriyor. Bu uyarlamaların büyük ölçüde yapısal değişiklikler olduğu ve içerik yerine sunum biçiminde değişiklikler yapıldığı tespit edildi. Araştırma, yapay zeka sistemlerinin farklı kullanıcı ihtiyaçlarına nasıl uyum sağladığını anlamak açısından önemli bulgular sunuyor.

Araştırmacılar, büyük dil modellerinin (LLM) Arapça lehçelerindeki kültürel nüansları anlama konusundaki eksiklerini ortaya koyan kapsamlı bir çalışma gerçekleştirdi. ArabCulture-Dialogue adlı yeni veri seti, 13 Arap ülkesinin hem standart Arapçasını hem de yerel lehçelerini kapsıyor. Çalışma, yapay zeka modellerinin Standart Modern Arapça ile çalıştığında daha iyi performans gösterdiğini, ancak yerel lehçeler söz konusu olduğunda kültürel akıl yürütme, çeviri ve dil üretimi görevlerinde belirgin şekilde zorlandığını gösteriyor. Bu araştırma, çok kültürlü yapay zeka sistemlerinin geliştirilmesi için önemli bulgular sunuyor.

Araştırmacılar, uzun süreli konuşma yapabilen yapay zeka sistemleri için yeni bir hafıza yönetim teknolojisi geliştirdi. MemRouter adlı bu sistem, hangi konuşma bölümlerinin hafızada saklanacağına karar verirken mevcut yöntemlerden çok daha verimli çalışıyor. Geleneksel sistemler her konuşma adımında büyük dil modellerini kullanarak karar verirken, MemRouter embedding tabanlı bir yönlendirme politikası kullanıyor. Bu sayede sadece 12 milyon parametre eğiterek hafıza yönetimini gerçekleştiriyor. LoCoMo test setinde yapılan karşılaştırmalarda, MemRouter geleneksel LLM tabanlı hafıza yöneticilerinden her soru kategorisinde daha başarılı sonuçlar verdi. Sistem, F1 skorunda %52,0'a karşılık %45,6 başarı elde ederken, hafıza yönetimi gecikme sürelerini de önemli ölçüde azalttı. Bu gelişme, chatbot'ların uzun konuşmalarda daha tutarlı ve verimli performans sergilemesi için önemli bir adım.

Araştırmacılar, büyük dil modellerinin (LLM) görev tanımlarındaki ifadelerden nasıl önyargılı çıkarımlar yaptığını inceledi. Mahkumlar ikilemi oyunu üzerinden yapılan deneylerde, yapay zeka modellerinin mantıklı adımlar izleseler bile varsayımsal düşünce kalıplarına sıkışabildikleri görüldü. Ancak görev tanımı tarafsız bir dille yapıldığında, modeller daha objektif kararlar verebiliyor. Bu bulgular, yapay zekanın güvenli kullanımı için doğru görev tanımlarının kritik önemini ortaya koyuyor.

Araştırmacılar, büyük dil modellerinin (LLM) arama sonuçlarını özetlerken nasıl önyargılı davrandığını ve bu önyargıların nasıl manipüle edilebileceğini inceledi. Çalışma, web arama sistemlerinde kullanılan yapay zeka overview sistemlerinin hem kaynak seçiminde hem de cevap üretiminde önyargılardan etkilendiğini ortaya koyuyor. Araştırmacılar, reinforcement learning ile eğitilmiş küçük bir dil modeli kullanarak arama snippet'lerini yeniden yazarak, LLM'lerin bu içerikleri tercih etme olasılığını artırmayı başardı. Bu bulgular, yapay zeka destekli arama sistemlerinin güvenilirliği ve manipülasyona karşı direnci konusunda önemli sorular gündeme getiriyor.

Araştırmacılar, büyük dil modellerinin (LLM) farklı görevlerdeki performanslarını daha etkili şekilde yönlendirmek için RouteProfile adlı yeni bir profilleme sistemi geliştirdi. Her yapay zeka modelinin farklı alanlarda değişken yeteneklere sahip olması, doğru model seçimini kritik hale getiriyor. Çalışma, model yeteneklerini dört temel boyutta kategorize ederek daha akıllı yönlendirme sistemleri oluşturmayı hedefliyor. Bu yaklaşım, yapay zeka ekosistemindeki model çeşitliliğinden daha verimli yararlanma potansiyeli taşıyor.

Yapay zeka sistemlerinin veri tablolarından daha etkili bilgi alabilmesi için yeni bir yaklaşım geliştirildi. Geleneksel tablo arama yöntemleri sadece konu benzerliğine odaklanırken, LLM tabanlı sistemler belirli talimatları takip ederek arama yapmak zorunda. Araştırmacılar bu ihtiyacı karşılamak için Instruction-Following Table Retrieval (IFTR) adlı yeni bir görev türü tanımladı. Bu sistem, hem konusal uygunluğu hem de detaylı talimat kısıtlarını aynı anda sağlayabiliyor. Çalışmada iki temel zorluk belirlendi: içerik kapsamına duyarlılık ve şema tabanlı gereksinimlerin farkında olma. Bu alandaki ilk büyük ölçekli değerlendirme sistemi olan FollowTable benchmark'ı, geliştiricilerin yeni algoritmaları test etmesi için kapsamlı bir platform sunuyor.

Araştırmacılar, büyük dil modellerinin yapılandırılmış görevleri güvenilir şekilde yerine getirememesi sorununa çözüm ürettiler. RunAgent adlı yeni platform, doğal dilde yazılan planları anlayıp adım adım uygulayabiliyor. Sistem, insan benzeri problem çözme yaklaşımını taklit ederken, programlama dillerinin deterministik yapısını koruyor. RunAgent, IF, GOTO ve FORALL gibi kontrol yapılarıyla donatılmış agentic bir dil kullanarak, doğal dilin ifade gücünü programlamanın kesinliğiyle birleştiriyor. Platform, her adımda otomatik olarak kısıtlamalar türetip doğrulama yapıyor, LLM tabanlı akıl yürütme, araç kullanımı ve kod üretimi arasında dinamik seçim yapabiliyor. Hata düzeltme mekanizmalarıyla desteklenen sistem, yapay zekanın karmaşık iş akışlarını güvenilir şekilde yürütebilmesi için önemli bir adım sayılıyor.

Araştırmacılar, büyük dil modellerinin (LLM) farklı kullanım alanlarında önyargı ve adalet risklerini değerlendirmek için sistematik bir çerçeve geliştirdi. Mevcut yaklaşımların uygun değerlendirme metrikleri seçme konusunda rehberlik eksikliği bulunuyordu. Yeni çerçeve, model türü, istem popülasyonu ve paydaş önceliklerine göre ilgili önyargı ve adalet metriklerini eşleştiriyor. Toksiklik, stereotipleme, karşıt-olgusal adaletsizlik ve tahsis zararları gibi konuları ele alıyor. Çalışma, beş farklı LLM ve beş istem popülasyonu üzerinde yapılan kapsamlı deneylerle adalet risklerinin benchmark performansından güvenilir şekilde değerlendirilemeyeceğini gösteriyor. Bu bulgular, yapay zeka sistemlerinin toplumsal etkilerinin daha doğru değerlendirilmesi açısından kritik öneme sahip.

Büyük dil modellerinin (LLM) temel eğitimden sonra zararlı çıktılar üretmesi ve matematik, kodlama gibi alanlarda yetersiz kalması önemli bir sorun teşkil ediyor. Araştırmacılar, bu sorunları çözmek için pekiştirmeli öğrenme tabanlı post-eğitim yöntemlerini geliştirdi. İnsan geri bildirimiyle pekiştirmeli öğrenme (RLHF) ve doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR) gibi yaklaşımlar bu alanda kayda değer ilerlemeler sağladı. Yeni araştırma, bu farklı yöntemleri tek bir çerçevede birleştiren kapsamlı bir inceleme sunuyor. Çalışma, temel eğitim, denetimli ince ayar, RLHF ve RLVR yöntemlerini birleşik bir politika gradyanı çerçevesi altında topluyor. Bu yaklaşım, yapay zeka modellerinin güvenliği ve performansı açısından kritik öneme sahip.