Büyük dil modellerinin en etkileyici yeteneklerinden biri olan içerik içi öğrenme (ICL), yapay zekanın birkaç örnekten yeni görevleri anlayıp gerçekleştirmesini sağlar. Yeni bir araştırma, bu sürecin nasıl işlediğini derinlemesine inceleyerek önemli bulgular ortaya koydu.
Araştırmacılar, ICL sürecini iki ana bileşene ayırdı: Görev Tanıma (TR) ve Görev Öğrenme (TL). Görev tanıma, modelin verilen örneklerden ne tür bir görevle karşı karşıya olduğunu anlaması; görev öğrenme ise bu görevi nasıl yerine getireceğini kavraması anlamına geliyor.
Çalışmada geliştirilen Görev Alt Uzayı Logit Atıfı (TSLA) çerçevesi, yapay zekanın dikkat başlıklarının bu iki işlevi nasıl gerçekleştirdiğini görselleştirdi. TR başlıkları, gizli durumları görev alt uzayıyla hizalayarak görev tanımayı kolaylaştırırken, TL başlıkları bu durumları doğru cevaba yönlendirerek tahmin sürecini destekliyor.
Araştırma, korelasyon analizi, ablasyon çalışmaları ve girdi pertürbasyonları gibi çeşitli yöntemler kullanarak bu bulguları doğruladı. Sonuçlar, yapay zeka sistemlerinin iç çalışma mekanizmalarını anlamamıza katkı sağlarken, gelecekteki AI geliştirmeleri için de önemli ipuçları sunuyor.