Yapay zeka destekli görsel düzenleme araçlarının hızla gelişmesi, bu teknolojilerin performansını objektif şekilde değerlendirme ihtiyacını artırdı. Araştırmacılar bu konudaki eksikliği gidermek için UniEditBench adlı yenilikçi bir kıyaslama sistemi ortaya koydu.
Mevcut değerlendirme sistemlerinin en büyük sorunu, farklı düzenleme paradigmaları arasında tutarlı karşılaştırmalar yapılamamasıydı. Her yöntemin kendine özgü ölçütleri bulunuyor ve özellikle video düzenleme alanında güvenilir değerlendirme kriterleri eksikti. UniEditBench bu dağınık yapıyı ortadan kaldırarak hem yeniden yapılandırma tabanlı hem de talimat odaklı yöntemleri aynı protokol altında değerlendiriyor.
Sistem dokuz temel görüntü işlemini kapsıyor: ekleme, çıkarma, değiştirme, renk/doku değişikliği, çizim tabanlı düzenleme, ayıklama, ayarlama, sayma ve yeniden sıralama. Video düzenlemede ise sekiz farklı işlem kategorisi bulunuyor. Özellikle sayma ve mekansal yeniden düzenleme gibi karmaşık kompozisyonel görevlere odaklanması dikkat çekiyor.
Projenin teknik yeniliği, büyük multimodal dil modellerinin değerlendirme sürecindeki yüksek maliyetini damıtma tekniğiyle çözmesi. Bu yaklaşım, değerlendirme kalitesinden ödün vermeden hesaplama kaynaklarını optimize ediyor ve insan tercihlerine daha yakın sonuçlar üretiyor.