Yapay zeka alanında çok modlu büyük dil modelleri (MLLM'ler), görsel ve metinsel verileri birlikte işleyerek karmaşık mantıksal çıkarımlar yapma konusunda hızla gelişiyor. Ancak bu modellerin eğitiminde kullanılan geleneksel pekiştirmeli öğrenme yaklaşımları önemli bir eksiklik taşıyor: yalnızca son cevabın doğruluğuna odaklanarak, mantık yürütme sürecinin kalitesini göz ardı ediyor.
Bu problemi çözmek amacıyla araştırmacılar AutoRubric adlı yenilikçi bir sistem geliştirdi. AutoRubric, modelin sadece doğru cevap vermesini değil, aynı zamanda bu cevaba ulaşırken güvenilir bir mantık yürütme süreci izlemesini sağlıyor. Sistemin temel yeniliği, başarılı problem çözme yollarından otomatik olarak tutarlı kontrol noktaları çıkaran 'öz-toplama' yöntemi.
Bu yaklaşım, her problem türü için özel değerlendirme kriterleri (rubrik) oluşturarak, modelin her adımda yaptığı mantıksal çıkarımları ayrı ayrı değerlendiriyor. Böylece model, hem nihai sonucun doğruluğundan hem de düşünce sürecinin kalitesinden ödül alıyor.
AutoRubric'in test sonuçları oldukça etkileyici: altı farklı çok modlu mantık yürütme testinde en yüksek performansı sergilerken, mantıksal güvenilirlik açısından da kayda değer iyileşmeler sağladı. Bu gelişme, yapay zeka modellerinin daha şeffaf ve güvenilir karar verme süreçleri geliştirmesine önemli katkılar sunuyor.