Akademik dünyada hakem değerlendirmesi, bilimsel kalite güvencesinin temel taşlarından biri olarak kabul edilir. Ancak büyük dil modellerinin yaygınlaşmasıyla birlikte, bazı araştırmacıların bu süreci yapay zekaya devrettiğine dair kaygılar giderek artıyor.
Bu soruna alışılmadık bir çözüm getiren bir akademik konferans, sunulan makalelerin içine gözle görülemeyen gizli komutlar yerleştirdi. Söz konusu komutlar, bir yapay zeka aracının metni işlemesi durumunda oluşturulan hakem raporunda belirli anahtar ifadelerin yer almasını sağlıyor. Değerlendirici insan yerine bir dil modeli kullandıysa, rapor bu gizli talimatın izlerini taşıyor ve tespit edilmesi kolaylaşıyor.
Teknik açıdan yöntem etkili görünüyor. Büyük dil modelleri, metin içindeki bu tür gömülü yönergelere yanıt verme eğiliminde olduğundan sistem, YZ tabanlı değerlendirmeleri yakalamada başarılı sonuçlar veriyor.
Ne var ki pek çok bilim insanı bu uygulamaya sert tepki gösterdi. Eleştirilerin odağında güven meselesi yer alıyor: Araştırmacılar, farkında olmadan bir tür gizli denetime tabi tutulduklarını öğrendiklerinde konferansa ve daha geniş anlamda akademik kurumlarına duydukları güvenin sarsıldığını ifade ediyor. Gizli yöntemlere başvurmanın, dürüstlüğü teşvik etmek bir yana, şüphe kültürünü pekiştirebileceği uyarısında bulunuyorlar.
Öte yandan konferans organizatörleri ve bazı akademisyenler uygulamayı savunuyor. Onlara göre hakem değerlendirmesinin bütünlüğü o denli kritiktir ki YZ kötüye kullanımını engellemek için sıra dışı önlemlere başvurmak meşrudur. YZ kullanımını açıkça yasaklamak ile bunu fiilen denetleyebilmek arasındaki derin uçuruma dikkat çekiyorlar.
Bu gelişme, akademik yayıncılığın yapay zeka çağında nasıl yeniden şekillenmesi gerektiğine dair daha kapsamlı bir tartışmanın parçası. Şeffaf denetim mekanizmaları mı kurulmalı, yoksa gizli yöntemlere mi başvurulmalı? Bilim insanlarına YZ kullanımında ne ölçüde özgürlük tanınmalı? Bu sorular, henüz net yanıtları olmayan ve tüm akademik camiayı ilgilendiren bir gündem maddesi olmayı sürdürüyor.