Yapay zeka araştırmacıları, Transformer mimarisindeki büyük dil modellerinde gözlemlenen ilginç bir fenomeni açıklığa kavuşturdu. 'Dikkat çöplükleri' (attention sinks) olarak adlandırılan bu durumda, model belirli zamanlarda içerikle alakasız sabit noktalara yoğun dikkat gösteriyor.
Uzun zamandır bu durumun eğitim sürecinin bir yan ürünü mü yoksa işlevsel bir gereklilik mi olduğu tartışılıyordu. Yeni araştırma, bazı görevlerde bu çöplüklerin matematiksel olarak kaçınılmaz olduğunu kanıtlıyor.
Araştırmacılar, tetikleyici koşullu davranışlar sergileyen görevlerde bu durumu inceledi. Örneğin, belirli bir tetikleyici kelime görüldüğünde modelin önceki tüm kelimelerin ortalamasını hesaplaması, aksi durumda sıfır çıktı vermesi gibi. Bu tür görevlerde softmax normalizasyonu, dikkat mekanizmasını kararlı bir çıpa noktasına yönlendirmeye zorluyor.
Bu bulgu, büyük dil modellerinin gerçek hayattaki dikkat başlıklarının işleyişini açıklaması açısından kritik. Modelin girdiyi görmezden gelmesi gereken durumlarda, varsayılan duruma geçmek için bu çöplükler zorunlu hale geliyor.
Sonuçlar, Transformer modellerinin iç dinamiklerini anlamamız açısından önemli bir adım teşkil ediyor ve gelecekteki model tasarımlarını etkileyebilir.