Araştırmacılar, büyük dil modellerinin (LLM) yeteneklerini detaylı şekilde değerlendirmek için SCAN adlı yeni bir çerçeve geliştirdi. Mevcut değerlendirme yöntemleri sadece modellerin genel performansını karşılaştırırken, SCAN kullanıcıların ve geliştiricilerin belirli bir modelin hangi konularda güçlü, hangilerinde zayıf olduğunu ayrıntılı şekilde görebilmesini sağlıyor. Sistem, otomatik olarak yetenek kategorileri oluşturan TaxBuilder ve yeterli test verisi sağlayan RealMix gibi bileşenler içeriyor. Bu yaklaşım, yapay zeka modellerinin pratik uygulamalarda hangi görevler için uygun olduğunu belirlemede önemli bir adım olarak görülüyor.

Büyük yapay zeka modellerinin mantıklı düşünme yetenekleri gelişirken, bilgi arama sistemleriyle entegrasyonunda önemli bir sorun ortaya çıkıyor. Mevcut RAG sistemleri düşünme süreci başlamadan önce tüm bilgiyi sağlarken, gelişmiş AI modelleri düşünme zinciri boyunca ihtiyaç duyduklarında bilgiye erişmek istiyor. Araştırmacılar bu uyumsuzluğu çözmek için ReaLM-Retrieve adlı yeni bir çerçeve geliştirdi. Sistem, AI'ın hangi adımda bilgi eksiği yaşadığını tespit ediyor, en uygun zamanda dış kaynaklardan bilgi getiriyor ve bu işlemi 3,2 kat daha hızlı yapıyor. Bu gelişme, yapay zekanın karmaşık sorulara verdiği yanıtların kalitesini artırırken, gereksiz bilgi arama işlemlerini de engelliyor.

Büyük dil modellerinin eğitiminde kullanılan insan etiketli verilerde önemli bir sorun var: farklı uzmanlık seviyelerindeki kişilerden gelen hatalı etiketler. Araştırmacılar, bu sorunu çözmek için REALM adında yeni bir yöntem geliştirdi. Bu yaklaşım, her veri etiketleyicisinin güvenilirlik seviyesini otomatik olarak öğreniyor ve modelin parametrelerini buna göre ayarlıyor. Geleneksel yöntemler çoğunluk oylaması kullanarak hatalı verileri de modele dahil ediyordu, ancak REALM her etiketleyicinin kimliğini ve uzmanlığını dikkate alarak daha temiz bir öğrenme süreci sağlıyor. Beş farklı soru-cevap veri setinde test edilen yöntem, özellikle çok görevli öğrenme senaryolarında başarılı sonuçlar verdi.