Stanford Üniversitesi araştırmacılarının yaptığı yeni bir çalışma, yapay zeka dil modellerinin kelime türlerini nasıl öğrendiği konusunda çarpıcı bulgular ortaya koydu. Geleneksel dil modellerinin aksine, pekiştirmeli öğrenmeden esinlenen bir yaklaşım kullanarak beklenmedik sonuçlar elde ettiler.
Araştırmada 'Ardıl Temsiller' (Successor Representations) adı verilen bir yöntem kullanıldı. Bu teknik, bir sonraki kelimeyi tahmin etmek yerine, gelecekte ortaya çıkabilecek kelimelerin olasılık dağılımlarını farklı zaman dilimlerinde modellemeye odaklanıyor. Bu sayede sistem, dildeki uzun vadeli geçiş yapılarını öğrenebiliyor.
Derin sinir ağı, 103 milyon kelime içeren WikiText-103 veri seti üzerinde eğitildi. Hiçbir dil bilgisi kuralı veya kelime türü bilgisi verilmemesine rağmen, sistem kendiliğinden isim, fiil ve sıfatları ayırt etmeyi başardı. Öğrenilen temsil uzayında bu kelime kategorileri geometrik olarak düzenli bir yapı sergiledi.
Bu keşif, doğal dil işleme alanında önemli çıkarımlara sahip. Dil yapılarının nasıl spontan olarak ortaya çıktığını anlamak, hem insan dilinin evrimine hem de daha etkili yapay zeka sistemlerinin geliştirilmesine ışık tutuyor.