Pekiştirmeli öğrenme, bir davranışın olumlu ya da olumsuz sonuçlarına göre şekillenmesi anlamına gelir. İnsanlar bu süreçte diğer canlılardan farklı olarak son derece soyut ve yeni hedeflere bile değer atfedebilir. Ancak bu esnekliğin bir bedeli vardır: bilişsel kapasite üzerindeki yük.
arXiv'de yayımlanan yeni bir çalışma, bu ödünleşimi açıklamak için 'ödül fonksiyonu sıkıştırması' adını verdiği bir mekanizma öneriyor. Buna göre, hedef odaklı öğrenmenin ilk aşamalarında beyin kapasitesi kısıtlı olan çalışma belleğine başvuruyor. Bu bellek, anlık bilgiyi geçici olarak tutar ve karmaşık hedef kurallarını işlemek için yoğun kaynak kullanır.
Ancak tekrarlayan deneyimlerle birlikte beyin bu süreci optimize ediyor: hedef kuralını basitleştirerek daha kompakt bir temsil oluşturuyor ve bunu uzun süreli belleğe aktarıyor. Sonuç olarak geri bildirim alındığında değerlendirme neredeyse otomatik bir hal alıyor; çalışma belleği bu yükten kurtulduğu için öğrenme çok daha verimli ilerliyor.
Araştırmacılar bu hipotezi altı farklı davranışsal deneyle sınadı. Bulgular, hedef uzayının karmaşıklığının —yani olası hedeflerin sayısının ve çeşitliliğinin— öğrenmeyi doğrudan güçleştirdiğini ortaya koydu. Öte yandan hedef uzayı sıkıştırmaya elverişli bir yapıya sahip olduğunda, yani basit bir kurala indirgenebilir nitelikte olduğunda, öğrenme performansı belirgin biçimde iyileşti.
Çalışmanın dikkat çeken bir diğer bulgusu, ödül sinyallerinin işlenme hızıyla öğrenme başarısı arasındaki ilişki. Geri bildirimi daha hızlı değerlendirebilen katılımcılar, genel olarak daha iyi öğrenme sonuçları sergiledi. Bu bulgu, otomatik değerlendirme süreçlerinin öğrenme verimliliğindeki rolünü destekliyor.
Araştırmacılar, algoritmik ayrıntıların henüz tam olarak netleşmediğini kabul ediyor. Bununla birlikte davranışsal veriler ve hesaplamalı modeller bir arada ele alındığında, verimli hedef odaklı öğrenmenin temelinde bilişsel sıkıştırma mekanizmalarının yattığı görülüyor. Bu bulguların hem yapay zeka sistemlerinin tasarımına hem de öğrenme bozukluklarının anlaşılmasına katkı sağlayabileceği düşünülüyor.