Yapay zeka teknolojilerinin günlük yaşamımızdaki rolü arttıkça, bu sistemlerin toplumsal önyargıları ne ölçüde yansıttığı kritik bir araştırma konusu haline geldi. Filipinli araştırmacılar, bu alandaki önemli bir eksikliği gidermek için FilBBQ (Filipino Bias Benchmark for Question-Answering) adlı yenilikçi bir değerlendirme sistemi geliştirdiler.
Mevcut önyargı testlerinin büyük çoğunluğu İngilizce dilinde ve Batı kültürüne odaklı olarak tasarlandığından, farklı kültürlerden gelen toplumsal önyargıları tespit etmede yetersiz kalıyordu. Bu sorunu çözmek isteyen araştırma ekibi, Filipin kültürüne özgü cinsiyet ayrımcılığı ve homofobik önyargıları ölçebilen kapsamlı bir test sistemi oluşturdu.
FilBBQ'nun geliştirilmesi dört temel aşamada gerçekleştirildi. İlk olarak mevcut şablonlar kategorileştirildi, ardından kültürel hassasiyetler gözetilerek çeviri çalışması yapıldı. Üçüncü aşamada Filipin toplumuna özgü yeni şablonlar tasarlandı ve son aşamada bu şablonlardan 10.000'den fazla test sorusu üretildi.
Araştırmacılar, test sonuçlarının güvenilirliğini artırmak için önceki çalışmalardan farklı olarak, AI modellerinin yanıtlarını farklı rastgelelik düzeylerinde tekrar tekrar ölçtüler. Bu yaklaşım, modellerin tutarsız yanıt verme eğilimlerini hesaba katarak daha sağlam değerlendirme sonuçları elde etmeyi mümkün kıldı.
Bu çalışma, yapay zeka önyargı değerlendirmelerinin kültürel çeşitliliği gözetmesi gerektiğini vurguluyor ve farklı toplumlar için özelleştirilmiş test sistemlerinin geliştirilmesi yönünde önemli bir adım teşkil ediyor.