Büyük dil modellerinin insan değerleriyle uyumlu hale getirilmesi, yapay zeka alanının en kritik zorluklarından biri. Ancak mevcut eğitim yöntemlerinde beklenmeyen bir sorun yaşanıyor: istenmeyen yanıtları bastırmaya çalışırken, aslında istenen yanıtlar da zarar görüyor.
Bu soruna 'olasılık yer değiştirme' adı verilen fenomen, ChatGPT ve benzeri sistemlerin eğitiminde kullanılan marj tabanlı hedef fonksiyonlarında ortaya çıkıyor. Araştırmacılar, farklı optimizasyon hedeflerinin görünüşte farklı olmasına rağmen, yerel güncellemeler açısından aynı yönü kullandıklarını ve sadece ağırlıklandırma katsayılarında farklılaştıklarını ortaya koydu.
Çalışmanın en önemli katkısı, 'ayrışma bandı' olarak adlandırılan yeni bir kavram. Bu bant, eğitim sürecinin ne zaman olasılık yer değiştirmeden kaçınabileceğini gösteren basit ve test edilebilir bir koşul tanımlıyor. Böylece kaybedeni bastırırken kazananı koruma hedefi gerçekleştirilebiliyor.
Bu teorik bulgular, yapay zeka sistemlerinin insan tercihlerine daha hassas bir şekilde uyumlanmasını sağlayabilir. Özellikle güvenli ve faydalı AI sistemleri geliştirmek için kritik olan tercih optimizasyonu süreçlerinin iyileştirilmesinde önemli bir adım teşkil ediyor.