Yapay zeka araştırmacıları, büyük dil modellerinin (LLM) nasıl düşündüğünü anlamada kritik bir keşif yaptı. arXiv'de yayınlanan çalışmaya göre, bu modellerin içinde semantik olarak tutarlı ve bağlama uygun ağ bileşenleri tespit edildi.
Araştırmacılar, seyrek otokodlayıcı (SAE) özelliklerinin birlikte etkinleşmesini inceleyerek, sadece birkaç örnekle modellerin anlam modüllerini haritalandırmayı başardı. Özellikle kavram-ilişki tahmin görevlerinde, ülkeler ve kelimeler gibi kavramlar ile başkent şehri ve çeviri dili gibi ilişkilerin nasıl işlendiğini ortaya çıkardılar.
Deneyler şaşırtıcı sonuçlar verdi. Bu bileşenler engellendiğinde modelin çıktıları öngörülebilir şekilde değişiyor, güçlendirildiğinde ise varsayımsal yanıtlar üretiliyor. Daha da ilginci, ilişki ve kavram bileşenleri birleştirildiğinde bileşik varsayımsal çıktılar elde ediliyor.
Araştırmanın en dikkat çeken bulgusu, modüler organizasyon yapısı. Basit kavram bileşenleri ilk katmanda ortaya çıkarken, soyut ilişki bileşenleri daha sonraki katmanlarda yoğunlaşıyor. Bu, insan beynindeki hiyerarşik bilgi işleme süreciyle benzerlik gösteriyor.
Çıkarılan bileşenlerin, tek tek özelliklerden daha kapsamlı olarak kavram ve ilişkileri yakaladığı, aynı zamanda özgüllüklerini koruduğu da gösterildi.