Yapay zeka alanında gizlilik koruması giderek daha kritik hale gelirken, araştırmacılar diferansiyel gizlilik ile transfer öğrenme sürecini optimize etmenin yollarını araştırdı. Bu yöntem, önceden eğitilmiş bir modelin özel veriler üzerinde ince ayarlanmasını içeriyor ve gizlilik kısıtlamaları altında büyük modellerin eğitimi için en gelişmiş yaklaşım olarak kabul ediliyor.
Araştırma, bu süreçte iki kritik hiperparametreye odaklandı: kırpma sınırı (C) ve parti boyutu (B). Çalışmanın en çarpıcı bulgusu, mevcut teorik anlayış ile pratik sonuçlar arasındaki belirgin uyumsuzluk oldu. Teoriye göre güçlü gizlilik koruması için küçük kırpma sınırları kullanılması gerekirken, deneysel sonuçlar bunun tam tersini gösterdi - daha büyük kırpma sınırları güçlü gizlilik altında daha iyi performans sergiledi.
Bu beklenmedik durumun nedeni olarak gradyan dağılımlarındaki değişiklikler gösterildi. Araştırmacılar, sınırlı hesaplama bütçesi varsayımı altında (sabit dönem sayısı) parti boyutu ayarlaması için kullanılan mevcut sezgisel yöntemlerin çalışmadığını keşfetti. Bunun yerine, kümülatif diferansiyel gizlilik gürültüsünün küçük veya büyük partilerin ne zaman daha iyi performans göstereceğini daha doğru açıkladığını ortaya koydular.
Çalışma ayrıca, farklı görevlerde tek bir (C,B) ayar kombinasyonu kullanma gibi yaygın uygulamaların optimal olmayan performansa yol açabileceğini vurguladı. Bu bulgular, AI modellerinde gizlilik ve performans dengesini kurarken daha sofistike yaklaşımların gerekliliğini gösteriyor.