Teknoloji & Yapay Zeka

İşaret dili çevirisi için yeni yapay zeka yaklaşımı geliştirildi

Araştırmacılar, iskelet tabanlı işaret dili çevirisini geliştiren SignDPO adlı yeni bir yapay zeka çerçevesi geliştirdi. Mevcut sistemler basit taklit yöntemiyle çalışırken, SignDPO farklı bir yaklaşım benimsiyor. Sistem, işaret dilinin uzamsal, zamansal ve dilbilimsel boyutlarında tercih hizalaması kullanarak daha hassas çeviriler yapabiliyor. Özellikle işaret dilinin ince ayrıntılarına karşı daha duyarlı olan bu teknoloji, anlam kayması sorununu çözmeyi hedefliyor. Çok seviyeli Doğrudan Tercih Optimizasyonu kullanan sistem, hem global hem de yerel düzeyde pertürbasyon stratejileri uygulayarak öğrenme sürecini iyileştiriyor.

Yapay zeka alanında işaret dili çevirisi konusunda önemli bir gelişme yaşandı. Araştırmacılar, geleneksel yöntemlerin sınırlarını aşan SignDPO adlı yeni bir sistem geliştirdi.

Mevcut iskelet tabanlı işaret dili çeviri sistemleri, Maksimum Olabilirlik Tahmini kullanarak önemli ilerlemeler kaydetmiş olsa da, temel bir sorunla karşı karşıyalar: basit taklit paradigması. Bu yaklaşım, işaret dilinin hassas uzay-zaman nüanslarına karşı yeterli ayırt edicilikten yoksun kalıyor ve sıklıkla anlam kaymasına yol açıyor.

SignDPO, bu sorunu çözmek için optimizasyon hedefini değiştiriyor. Basit dizi taklidi yerine, uzamsal, zamansal ve dilbilimsel boyutlarda yapılandırılmış tercih hizalamasına odaklanıyor. Sistem üç ana tasarım özelliği içeriyor.

İlk olarak, hem global hem de yerel granülarlıklarda uzamsal ve zamansal tercih edilmeyen örnekleri otomatik olarak oluşturan hiyerarşik pertürbasyon stratejisi kullanılıyor. İkinci olarak, dekoder çapraz dikkat skorlarından yararlanan kendini yönlendiren bir mekanizma geliştiriliyor.

Bu yenilikçi yaklaşım, işaret dili çevirisi alanında önemli bir adım teşkil ediyor ve gelecekte daha doğru çeviri sistemlerinin geliştirilmesine katkı sağlayabilir.

Özgün Kaynak
arXiv (CS + AI)
SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation
Orijinal makaleyi oku

Bu içerik, özgün kaynaktaki bilgiler temel alınarak BilimKapsül editörleri tarafından yeniden kaleme alınmıştır. Orijinal metnin birebir çevirisi değildir. Telif hakkı özgün yayıncıya aittir.