Yapay zeka teknolojisindeki hızlı gelişmelere rağmen, büyük dil modelleri günlük yaşamda karşılaştığımız en basit zorluklardan biri olan yazım hataları karşısında beklenenden daha kırılgan olabilir. Yeni bir araştırma, bu modellerin çok dilli ortamlardaki dayanıklılığını sistematik olarak değerlendirdi.
Araştırmacılar, gerçekçi yazım hatalarını simüle etmek için MulTypo adlı özel bir algoritma geliştirdi. Bu sistem, farklı dillerdeki klavye düzenlerini ve insanların tipik yazım alışkanlıklarını analiz ederek, kullanıcıların gerçekte yapabileceği hata türlerini üretiyor. Böylece laboratuvar ortamında yapılan testler, gerçek dünya koşullarını daha iyi yansıtıyor.
Üç farklı model ailesinden 18 açık kaynak dil modelinin test edildiği çalışmada, yazım hatalarının tüm görev türlerinde performansı düşürdüğü, ancak bu etkinin görev tipine göre değiştiği ortaya çıktı. Özellikle yaratıcı içerik üretimi ve karmaşık mantıksal çıkarım gerektiren görevlerde performans kaybı daha belirgin oldu.
İlginç bir bulgu, doğal dil anlama görevlerinin yazım hatalarına karşı görece daha dirençli olması oldu. Bu durum, bu tür görevlerin doğası gereği bağlamsal ipuçlarından daha fazla yararlanabilmesiyle açıklanıyor.
Sonuçlar, yapay zeka sistemlerinin gerçek kullanıcı girdileriyle çalışırken karşılaşabileceği pratik zorlukları gözler önüne seriyor ve daha dayanıklı model geliştirme ihtiyacını vurguluyor.