Stanford ve diğer üniversitelerden araştırmacılar, yapay zeka modellerinin veri gizliliği alanındaki en önemli araçlardan biri olan diferansiyel gizlilik algoritmalarını ne kadar iyi anlayabildiğini araştırdı. Çalışmada geliştirilen DPrivBench değerlendirme sistemi, bu konuda kapsamlı bir test ortamı sunuyor.
Diferansiyel gizlilik, büyük veri setlerinden istatistiksel bilgi çıkarırken bireysel mahremiyeti koruyan matematiksel bir yaklaşımdır. Ancak bu algoritmaları tasarlamak ve doğruluklarını kanıtlamak, derin matematik bilgisi gerektiren karmaşık bir süreç. Şu ana kadarki çözümler ya özel programlama dilleri kullanıyor ya da sürekli insan müdahalesi gerektiriyor.
Araştırmacılar, GPT-4 ve Claude gibi en gelişmiş dil modellerini test ettiklerinde şaşırtıcı sonuçlar elde etti. Modeller, üniversite ders kitaplarında bulunan temel mekanizmaları başarıyla anlayabilirken, gerçek dünyada kullanılan gelişmiş algoritmalarda ciddi performans düşüşü yaşıyor.
DPrivBench, modellerin basit kalıp eşleştirmesi ile başarılı olmasını engelleyecek şekilde özenle tasarlandı. Farklı zorluk seviyelerinde sorular içeren sistem, yapay zekanın bu alandaki mevcut sınırlarını net bir şekilde ortaya koyuyor. Sonuçlar, gizlilik koruma alanında uzman düzeyinde akıl yürütmenin henüz yapay zeka için ulaşılması zor bir hedef olduğunu gösteriyor.