Yapay zeka sistemlerinin sağlık alanında kullanımı artarken, güvenilirlik sorunu da beraberinde geliyor. Araştırmacılar bu soruna çözüm olarak VerifAI adlı yenilikçi bir sistem geliştirdi.
VerifAI, biyomedikal sorulara yanıt verirken her bilgiyi kaynaklarıyla doğrulayan ilk açık kaynak sistemi olma özelliği taşıyor. Sistem üç ana bileşenden oluşuyor: ilk olarak biyomedikal sorgular için optimize edilmiş hibrit bir bilgi arama modülü, ikinci olarak kaynaklı yanıtlar üretmek üzere özel eğitilmiş bir üretici bileşen ve son olarak halüsinasyonları tespit eden bir doğrulama bileşeni.
Sistemin en dikkat çekici özelliği, ürettiği her yanıtı atomik iddialara bölerek, bu iddiaları bilimsel literatürden elde edilen kanıtlarla karşılaştırması. Bu doğrulama mekanizması, doğal dil çıkarımı teknikleri kullanılarak gerçekleştiriliyor ve HealthVer benchmark testlerinde GPT-4'ü bile geride bırakıyor.
Test sonuçları, VerifAI'ın geleneksel sistemlere kıyasla yanıltıcı atıfları önemli ölçüde azalttığını gösteriyor. Sistem aynı zamanda her iddianın şeffaf ve izlenebilir bir kaynağını sunarak, tıp profesyonellerinin bilgi güvenilirliğini kontrol etmesine olanak tanıyor.
Kod, model ve veri setlerinin tamamı açık kaynak olarak paylaşılarak, yüksek riskli alanlarda yapay zeka kullanımının güvenli bir şekilde yaygınlaşması hedefleniyor.