Yapay zeka alanında önemli bir adım atan araştırmacılar, çoklu ortam modellerinin eğitiminde karşılaşılan kritik sorunlara çözüm getiren PRISM adlı yenilikçi bir yöntem geliştirdi. Bu yaklaşım, görsel ve metinsel verileri aynı anda işleyebilen büyük AI modellerinin eğitim sürecindeki temel açıkları gideriyor.
Mevcut eğitim yöntemlerinde modeller, denetimli ince ayar ve ardından pekiştirmeli öğrenme aşamalarından geçiyor. Ancak bu süreçte modeller 'dağılımsal kayma' denilen bir probleme maruz kalıyor - yani orijinal yeteneklerini kaybederken istenmeyen davranış değişiklikleri sergiliyor. Bu durum özellikle çoklu ortam sistemlerinde daha karmaşık hale geliyor çünkü görme hataları ve mantık yürütme başarısızlıkları farklı şekillerde ortaya çıkıyor.
PRISM, bu sorunu üç aşamalı bir pipeline ile çözüyor. Denetimli öğrenme ve pekiştirmeli öğrenme arasına yerleştirilen dağılım hizalama aşaması, modelin davranışını daha kontrollü şekilde düzenliyor. Sistem, siyah kutu yaklaşımı benimseyen ve Uzmanlar Karışımı (MoE) mimarisine dayanan bir ayırt edici kullanıyor.
Bu ayırt edici, algısal ve mantıksal süreçler için ayrı uzman modüller içeriyor, böylece farklı türdeki hataları bağımsız olarak tespit edip düzeltebiliyor. Yaklaşım, modelin hem görsel anlama hem de mantıksal muhakeme yeteneklerini dengeli şekilde geliştirmeyi hedefliyor.