Büyük dil modellerine (LLM) dayalı yapay zeka ajanlarının çevrelerinden aldıkları bilgileri etkili şekilde kullanamadıkları yeni bir araştırmayla ortaya çıktı. Araştırmacılar, bu ajanların beklenmedik ancak önemli bilgileri fark ettikleri halde bunları kullanmada başarısız olduklarını keşfetti.
Terminal-Bench, SWE-Bench ve AppWorld olmak üzere üç farklı test ortamında gerçekleştirilen deneylerde, araştırmacılar görevlerin tam çözümlerini kasıtlı olarak ajanların erişebileceği yerlere yerleştirdiler. Sonuçlar oldukça çarpıcıydı: Terminal-Bench testlerinde ajanlar çözümleri %79-81 oranında keşfettikleri halde, bunları sadece %37-50 oranında kullandılar.
En dikkat çekici bulgular AppWorld ortamında elde edildi. Burada ajanlar, belgelerde 'bu komut görevin tam çözümünü döndürür' ifadesini %90'ın üzerinde görüp okudukları halde, bu komutu sadece %7'den az oranda kullandılar. Bu durum, ajanların bilgiyi algılama ile onu eyleme dönüştürme arasında ciddi bir kopukluk yaşadığını gösteriyor.
Araştırmacılar bu durumu 'çevresel merak eksikliği' olarak tanımladılar. Bu kavram, beklenmedik ve potansiyel olarak faydalı bilgileri tanıma, araştırma ve bunları kullanma yetisini ifade ediyor. Bulgular, mevcut yapay zeka ajanlarının bu kritik yeteneği henüz geliştiremediklerini açıkça ortaya koyuyor.