Trinity College Dublin araştırmacıları, İrlandaca konuşma tanıma teknolojilerini değerlendirmek için BlasBench adlı açık kaynaklı bir platform geliştirdi. Bu çalışma, mevcut çok dilli değerlendirme sistemlerinin İrlandacanın kendine özgü özelliklerini göz ardı ettiği sorununa çözüm getiriyor.
BlasBench, İrlandacanın fada (vurgu) işaretleri, lenition (ünsüz yumuşama) ve eclipsis (ünsüz değişimi) gibi dilbilgisel özelliklerini koruyan özel bir normalleştirici içeriyor. Platform, reproducible skorlama sistemi ve tüm değerlendirme sonuçlarının açık erişimli paylaşımını sağlıyor.
Araştırmada 12 farklı sistem test edildi ve dikkat çekici sonuçlar elde edildi. OpenAI'ın tüm Whisper varyantları, halüsinasyon kaynaklı eklemeler nedeniyle %100'ün üzerinde kelime hata oranına ulaştı. Microsoft Azure, Common Voice veri setinde %22.2, FLEURS'te %57.5 hata oranıyla en iyi performansı gösterdi.
Açık kaynaklı modeller arasında Omnilingual ASR 7B en başarılı sonuçları verdi. Common Voice üzerinde özel olarak eğitilen modeller FLEURS'e geçerken 33-43 puanlık performans kaybı yaşarken, çok dilli modellerin kaybı sadece 7-10 puan oldu.