Yapay zeka alanında büyüleyici bir paradoks keşfedildi: dil modelleri büyüdükçe hem daha zeki hem de bazı açılardan daha savunmasız hale geliyor. Cornell Üniversitesi araştırmacılarının yürüttüğü çalışma, bu durumu 'bağlamsal sürüklenme' kavramıyla açıklıyor.
Araştırma ekibi, 111 milyon ile 13 milyar parametre arasında değişen Cerebras-GPT ve 410 milyon ile 12 milyar parametre arası Pythia model ailelerini inceledi. Sonuçlar şaşırtıcıydı: büyük modeller anlamlı içeriklerle karşılaştıklarında daha iyi filtreleme yapabilirken, anlamsız içeriklerle karşılaştıklarında körü körüne taklit etme eğilimi gösteriyordu.
Konkret olarak, en büyük modeller sahte bilgilere karşı en küçük modellerden dört kat daha dirençli çıktı. Ancaynı modeller, rastgele kelime dizilimlerini kopyalama konusunda iki kat daha eğilimliydi. Bu durum, modellerin semantik filtreleme ve mekanik kopyalama süreçlerinin farklı şekillerde geliştiğini gösteriyor.
Bulgular, AI geliştiricileri için önemli sorular ortaya koyuyor. Model boyutunu artırmak her zaman net bir iyileşme getirmeyebilir - bunun yerine farklı yeteneklerin farklı yönlerde geliştiği karmaşık bir süreç olduğu anlaşılıyor. Bu keşif, gelecekteki AI sistemlerinin tasarımında daha dengeli yaklaşımların gerekliliğini vurguluyor.