Fransız araştırmacılar, yapay zeka destekli konuşma tanıma sistemlerinin performansını değerlendirmek için yeni bir yaklaşım geliştirdi. Geleneksel ölçüm yöntemlerinin yetersizliğini fark eden bilim insanları, 143 kişinin katılımıyla HATS adlı veri setini oluşturdu. Bu çalışmada, insanlar farklı konuşma tanıma sistemlerinin ürettiği transkriptler arasından en iyisini seçti. Araştırma, mevcut teknik ölçüm yöntemlerinin insan algısını tam olarak yansıtmadığını ortaya koydu. Yeni yaklaşım, konuşma tanıma teknolojilerinin geliştirilmesinde insan deneyimini merkeze alarak daha kullanıcı odaklı değerlendirme imkanı sunuyor.

arXiv — Hesaplamalı Dilbilim (cs.CL) 0

Teknoloji & Yapay Zeka

20 Apr

Yapay Zeka Ajanları Bilimsel Keşiflerde Henüz Yetersiz: Yeni Test Sonuçları

Bilim insanları, yapay zeka ajanlarının gerçek bilimsel araştırmalarda ne kadar etkili olduğunu ölçmek için yeni bir değerlendirme sistemi geliştirdi. COMPOSITE-STEM adlı bu test, fizik, biyoloji, kimya ve matematik alanlarında doktora seviyesinde 70 zorlu görev içeriyor. En gelişmiş yapay zeka modellerinin bile sadece %21 başarı göstermesi, bu teknolojilerin henüz bilimsel keşiflerde sınırlı kaldığını ortaya koyuyor. Araştırma, yapay zeka ajanlarının bilimsel çalışmalarda kullanılmadan önce önemli gelişmelere ihtiyaç duyduğunu gösteriyor.

arXiv (CS + AI) 0