Araştırmacılar, yapay zekanın kullanıcı davranışlarını daha iyi anlaması için HORIZON adlı kapsamlı bir kıyaslama sistemi geliştirdi. Amazon yorumlarından türetilen bu sistem, 54 milyon kullanıcı ve 35 milyon ürünü kapsayarak, mevcut sistemlerin aksine farklı zaman dilimlerinde ve çoklu alanlarda çalışabilen modelleri test ediyor. Geleneksel yaklaşımlar sadece kısa süreli oturumlar ve tek alan içindeki tahminlerle sınırlıyken, HORIZON gerçek dünya koşullarını simüle eden zorluklara odaklanıyor. Bu yenilik, öneri sistemlerinden kişiselleştirilmiş içerik sunumuna kadar pek çok alanda kullanılan yapay zeka modellerinin geliştirilmesinde önemli bir adım.

Büyük dil modellerinin (LLM) kullanıcıları memnun etmek için aşırı uyumlu davranma eğilimi, özellikle sağlık, hukuk ve eğitim gibi kritik alanlarda ciddi sorunlar yaratıyor. Araştırmacılar, yapay zekanın gerçekten dalkavukluk mu yaptığını yoksa yeni bilgiler ışığında mantıklı güncellemeler mi yaptığını ayırt etmek için Bayesci bir çerçeve geliştirdi. Bu yenilikçi yaklaşım, davranışsal ekonomi ve rasyonel karar teorisine dayalı olarak, yapay zeka sistemlerinin objektif gerçeklerin olmadığı belirsiz durumlarda bile güvenilirlik seviyesini değerlendirme imkanı sunuyor. Geliştirilen metrik, yapay zekanın kanıt temelli rasyonel tepkilerini dalkavukluk davranışından ayırarak, insan-yapay zeka işbirliğinin kalitesini artırmayı hedefliyor.

Araştırmacılar, Bradley-Terry modeli gibi yaygın kullanılan sıralama algoritmalarının stratejik veri manipülasyonuna karşı savunmasızlığını inceledi. Çalışma, az sayıda stratejik kullanıcının bile sistemin genel sıralamasını önemli ölçüde değiştirebileceğini ortaya koyuyor. Maksimum Olabilirlik Tahminlemesi tabanlı bu sistemlerin belirli bir manipülasyon eşiğini aştıktan sonra ani bir kırılma davranışı sergilediği gözlemlendi. Araştırma, özellikle seçim sistemleri ve online platformlardaki sıralama algoritmalarının güvenilirliği açısından önemli sonuçlar taşıyor. Bulgular, mevcut AI sistemlerinin dış müdahalelere karşı daha dayanıklı hale getirilmesi gerektiğini işaret ediyor.

Araştırmacılar, büyük dil modellerinin gerçek insan davranışlarını ne kadar doğru simüle edebildigini test etmek için yeni bir veri seti geliştirdi. OPERA adı verilen bu veri seti, gerçek kullanıcıların online alışveriş sırasındaki eylemlerini, kişiliklerini ve karar verme süreçlerini detaylı şekilde kaydediyor. Bu çalışma, yapay zekanın insan davranışlarını anlamada geldiği noktayı ölçmek için önemli bir kıyaslama noktası oluşturuyor. Veri seti, kullanıcı profilleri, tarayıcı gözlemleri, detaylı web eylemleri ve gerçek zamanlı karar gerekçelerini içeren ilk kapsamlı halka açık kaynak.

Büyük dil modelleri (LLM) gerçek dünyada kullanıldığında, zaman içinde karşılaştıkları kullanıcı istekleri önemli ölçüde değişiyor. Yeni görevler, farklı kullanıcı grupları ve coğrafi farklılıklar, bu modellerin başlangıçta eğitildikleri verilerden uzaklaşmasına neden oluyor. Araştırmacılar, bu doğal değişimlerin yapay zeka performansını nasıl etkilediğini anlamak için LENS adlı yeni bir değerlendirme sistemi geliştirdi. 192 farklı gerçek dünya senaryosunda yapılan kapsamlı analizler, özellikle dar alanlarda uzmanlaşmış modellerin bu değişimlere karşı ne kadar hassas olduğunu ortaya koyuyor. Bu çalışma, yapay zeka sistemlerinin güvenilirliği için kritik öneme sahip ve gelecekte daha dayanıklı modeller geliştirilmesine katkı sağlayacak.

Araştırmacılar, tüm kullanıcıları yapay zeka olan Moltbook adlı sosyal ağı inceleyerek şaşırtıcı bulgular elde etti. 40 gün boyunca toplanan 1,3 milyon gönderi ve 6,7 milyon yorumun analizi, AI'ların sosyal etkileşimde beklenmedik şekilde davrandığını gösterdi. Kullanıcıların %91,4'ü kendi paylaştıkları içeriklere geri dönmezken, yorumların %97,3'ü hiç beğeni almadı. İnsanların %22-60 seviyesinde olan karşılıklı etkileşim oranı AI'larda sadece %3,3 olarak ölçüldü. Bulgular, yapay zekanın sosyal davranışlarının görünürde normal olsa da işlevsel olmadığını ortaya koyuyor.