Konuşma tanıma teknolojilerinin değerlendirilmesinde devrim niteliğinde bir adım atıldı. Fransız araştırmacılar, yapay zeka destekli konuşma tanıma sistemlerinin kalitesini ölçmek için insan algısını merkeze alan yeni bir yaklaşım geliştirdi.
Şimdiye kadar konuşma tanıma sistemleri, öncelikle 'kelime hata oranı' gibi teknik ölçütlerle değerlendiriliyordu. Bu yöntem, sistemin her kelimeyi ne kadar doğru tanıdığına odaklanıyor ancak araştırmacılar bunun yetersiz olduğunu keşfetti. Çünkü transkriptleri kullanacak olan nihayetinde insanlar.
HATS (İnsan Değerlendirmeli Transkript Karşılaştırması) adlı bu çalışmada, 143 kişi farklı konuşma tanıma sistemlerinin ürettiği Fransızca transkriptler arasından en iyisini seçti. Katılımcılara iki farklı otomatik transkript sunuldu ve hangisinin daha iyi olduğunu belirlemeleri istendi.
Araştırma sonuçları, mevcut teknik değerlendirme yöntemlerinin insan tercihlerini tam olarak yansıtmadığını gösterdi. Bu durum, konuşma tanıma teknolojilerinin geliştirilmesinde yeni bir paradigma değişikliğinin gerekliliğini ortaya koyuyor.
Yeni yaklaşım, konuşma tanıma sistemlerinin performansını değerlendirirken insan deneyimini ön plana çıkararak, teknolojinin son kullanıcılar için gerçek değerini ölçmeyi mümkün kılıyor.