Yapay zekanın temel taşlarından biri olan transformer mimarileri, doğal dil işlemeden protein katlanmasına kadar pek çok alanda olağanüstü başarılar sergiledi. Ancak bu modellerin içinde tam olarak ne döndüğü, araştırmacılar için uzun süredir yanıtsız kalan sorulardan biri olageldi.
Yeni yayımlanan bir çalışma, bu soruya teorik bir yanıt getirmeye çalışıyor. Araştırmacılar, derin bir transformer'ı 'ortalama alan etkileşimli sistem' olarak tanımlayan matematiksel bir çerçeve ortaya koydu. Bu yaklaşıma göre model, iletişim, yerellik ve derinlik gibi kısıtlar altında dağıtık bir çıkarım işlemi gerçekleştiriyor.
Teorinin merkezinde 'fonksiyon vektörleri' kavramı yer alıyor. Bunlar, modelin her katmanında gizli bir bağlam değişkenini temsil eden iç durum yapıları. Transformer, bu vektörler aracılığıyla katman katman ilerledikçe söz konusu gizli değişkeni daha yüksek çözünürlükte tahmin edebiliyor; tıpkı bir mercekle giderek daha net odak sağlamak gibi.
Çalışma ayrıca ilgi çekici bir tahmin sunuyor: Gizli bağlam değişkeninin Gaussian olmayan, hiyerarşik yapısı ile transformer derinliği arasında anlamlı bir ilişki bulunuyor. Yani model ne kadar derinse, veriyle sunulan karmaşık bağlam kalıplarını o kadar iyi çıkarabilecek kapasiteye sahip oluyor.
Bu teorik çerçeve, kısıtlanmış doğrusal dikkat mekanizmasına sahip transformer'lar kullanılarak bağlam içi regresyon görevlerinde sınanmış ve tahminler doğrulanmış. İleri besleme bloklarının ve derinliğin bir araya gelmesiyle, yalnızca yüzeysel örüntü eşleştirmenin çok ötesine geçen bağlam içi öğrenme stratejilerinin mümkün olduğu gösterildi.
Bu çalışmanın önemi, transformer'ların 'neden çalıştığını' mekanik düzeyde açıklamaya yaklaşmasından kaynaklanıyor. Kara kutu olmaktan çıkan bu modeller, ileride daha yorumlanabilir, daha verimli ve amaca özel tasarlanmış mimarilerin geliştirilmesine zemin hazırlayabilir.