Günlük hayatımızda kullandığımız ses asistanları, kullanıcıların konuşma ortasında müdahale etmesi durumunda ciddi performans sorunları yaşıyor. Yeni bir araştırma, bu kritik zayıflığı sistematik olarak değerlendiren ilk kapsamlı test sistemini tanıtıyor.
EchoChain adlı bu yeni değerlendirme sistemi, ses asistanlarının kesinti anında nasıl tepki verdiğini ve görev durumunu nasıl güncellediğini ölçüyor. Araştırmacılar, kontrollü deneyler yoluyla farklı yapay zeka modellerinin performansını karşılaştırma imkanı sağlayan standart bir test ortamı oluşturdu.
Test sonuçları oldukça çarpıcı: değerlendirilen hiçbir gerçek zamanlı ses modeli %50'den yüksek başarı oranı gösteremedi. Daha da ilginç olan, kesintisiz ortamda yapılan kontrol testlerinde hata oranlarının %40 azalması oldu. Bu durum, sorunun görevin zorluğundan çok, kesinti anındaki durum güncelleme yeteneksizliğinden kaynaklandığını gösteriyor.
Araştırma ekibi, kesinti sonrası üç temel hata türü belirledi: Bağlamsal atalet (önceki bağlamda takılıp kalma), kesinti amnezisi (müdahaleyi tamamen unutma) ve hedef kayması (asıl amacı kaybetme). Bu bulgular, ses teknolojilerinin geliştirilmesi gereken kritik alanları net şekilde ortaya koyuyor.