Yapay zeka alanındaki araştırmaları tekrarlamak, bilimsel gelişim için kritik öneme sahip ancak son derece zorlu bir görev. Büyük dil modelleri akademik makaleleri okuyup çalışan kod üretmeye çalışsa da bu süreçte ciddi engellere takılıyor.
Mevcut yaklaşımların temel sorunu, yeterli arka plan bilgisine sahip olmamaları ve bilgi edinme yöntemlerinin kısıtlı kalması. Özellikle RAG (Retrieval-Augmented Generation) teknikleri, akademik makalelerde gizli kalan teknik ayrıntıları yakalamakta başarısız oluyor. Ayrıca bu sistemler, kod seviyesindeki değerli sinyalleri göz ardı ediyor ve farklı detay seviyelerinde bilgi erişimini destekleyen yapılandırılmış temsiller sunmuyor.
Araştırmacılar bu sorunlara çözüm olarak Yürütülebilir Bilgi Grafikleri (xKG) adlı yenilikçi bir sistem geliştirdi. Bu esnek ve makale merkezli bilgi tabanı, bilimsel literatürden otomatik olarak kod parçalarını ve teknik görüşleri çıkararak entegre ediyor.
Sistemin etkinliği üç farklı yapay zeka ajanı çerçevesi ve iki büyük dil modeli ile test edildi. PaperBench değerlendirme platformunda yapılan testlerde, xKG sistemi o3-mini modeli ile %10.9'luk önemli bir performans artışı sergiledi. Bu sonuçlar, sistemin AI araştırmalarının tekrarlanabilirliğini artırmadaki potansiyelini net bir şekilde ortaya koyuyor ve bilimsel ilerlemeyi hızlandırabilecek önemli bir adım olduğunu gösteriyor.