Günümüzün gelişmiş çok modlu yapay zeka modelleri, metin, görüntü, ses ve video girişlerini aynı anda işleyerek akıcı yanıtlar üretebiliyor. Ancak bu modellerin ürettiği her ifadenin hangi kaynak verilerden geldiğini belirlemek, araştırmacılar için büyük bir meydan okuma oluşturuyor.
Bu soruna çözüm getirmek için geliştirilen OmniTrace, yapay zeka modellerinin üretim sürecinde kaynak takibi yapabilen yenilikçi bir çerçeve sunuyor. Sistemin en önemli özelliği, model-bağımsız ve hafif bir yapıya sahip olması. Bu da farklı yapay zeka mimarilerinde kolayca kullanılabilmesini sağlıyor.
OmniTrace'in çalışma prensibi, üretim sırasında her token için izleme yapmaya dayanıyor. Dikkat ağırlıkları veya gradyan tabanlı skorlar gibi token seviyesindeki sinyalleri alarak, bunları anlamlı açıklamalara dönüştürüyor. Bu süreçte çapraz modal bağlantılar kurarak, hangi görsel veya sesli içeriğin hangi metin parçasını desteklediğini belirleyebiliyor.
Mevcut atıf yöntemlerinin çoğu sınıflandırma görevleri veya tek modalite için tasarlanmış durumda. OmniTrace ise açık uçlu çok modlu üretim yapan otoregressif modeller için özel olarak geliştirildi. Bu özellik, sistemin günümüzün en gelişmiş yapay zeka modellerinde kullanılabilmesini mümkün kılıyor.