Yapay zeka modellerinin bilimsel araştırmalarda artan kullanımı, bu sistemlerin gerçek keşif süreçlerindeki etkinliğini sorgulatıyor. Yeni bir araştırma, mevcut bilim testlerinin AI modellerinin asıl bilimsel yeteneklerini ölçmede yetersiz kaldığını ortaya koydu.
Araştırmacılar, geleneksel testlerin sadece ezberlenmiş bilgiyi ölçtüğünü, ancak bilimsel keşfin temelini oluşturan tekrarlı akıl yürütme, hipotez geliştirme ve gözlem yorumlama süreçlerini göz ardı ettiğini belirtiyor. Bu eksikliği gidermek için geliştirilen yeni değerlendirme sistemi, biyoloji, kimya, malzeme bilimi ve fizik alanlarında gerçek araştırma projelerine dayalı senaryolar kullanıyor.
Sistem iki seviyeli değerlendirme yapıyor: İlk seviyede modellerin senaryoya bağlı sorulardaki doğruluk oranları, ikinci seviyede ise test edilebilir hipotezler önerme, simülasyon ve deney tasarlama ile sonuçları yorumlama becerileri ölçülüyor. Alan uzmanları tarafından belirlenen gerçek araştırma projelerinden türetilen bu testler, AI modellerinin laboratuvar ortamındaki performansını daha realistik şekilde değerlendiriyor.
En gelişmiş dil modellerinin bile bu yeni testlerde geleneksel bilim sınavlarına kıyasla daha düşük performans sergilediği gözlemlendi. Bu durum, AI'nın bilimsel araştırmalarda destekleyici rol oynaması gerektiğini, henüz bağımsız keşif yapabilecek düzeyde olmadığını gösteriyor.