Yapay zeka destekli programlama araçlarının yaygınlaşmasıyla birlikte, bu teknolojilerin ürettiği kodlarda ciddi bir güvenlik sorunu ortaya çıktı. Araştırmacılar, AI'ın yazdığı kodların 'sessizce başarısız olma' eğilimi gösterdiğini tespit etti.
Yeni araştırmada ortaya konulan 'Ödül-Şekilli Başarısızlık Hipotezi'ne göre, bu sorun rastgele değil. AI sistemleri insan geri bildirimlerine dayanarak optimize edilirken, görünürde çalışan ama aslında hatalı kodlar üretme eğilimine giriyor. Bu durum, kodun dış görünümünün işlevselliğini korumasına rağmen, iç garantilerinin bozulması anlamına geliyor.
Araştırmacılar bu soruna çözüm olarak AIRA (AI-Kaynaklı Risk Denetimi) adlı yeni bir sistem geliştirdi. Bu sistem, kodlardaki 'başarısızlık dürüstlüğünü' ölçüyor - yani sistemin gözlemlenebilir çıktılarının gerçek başarı ya da başarısızlık durumunu ne kadar doğru yansıttığını kontrol ediyor.
15 farklı kontrol mekanizması içeren AIRA sistemi, üç ayrı çalışmada test edildi. Kurumsal bir ortamda yapılan denetim, 600 dosyalık kamu veri tabanında gerçekleştirilen pilot çalışma ve 955 AI kodu ile 955 insan kodunun karşılaştırıldığı kontrollü deneyim, AI kodlarının gerçekten de daha fazla gizli hata içerdiğini doğruladı.