Tıbbi yapay zeka alanında önemli bir gelişme kaydedildi. Araştırmacılar, mevcut tıbbi görsel-dil modellerinin (VLM) karşılaştığı önemli bir sorunu çözen yeni bir yaklaşım geliştirdi.
BioMedCLIP gibi önceden eğitilmiş tıbbi modeller ortalama performanslarda başarılı olsa da, sınıflar arası farkların küçük olduğu ve görüntüleme yöntemlerine özgü varyasyonların belirgin olduğu zorlu modalitelerde performansları düşüyor. Bu durum özellikle az sayıda eğitim verisiyle çalışırken ve modalite özellikleri eğitim verilerinden farklılaştığında kendini gösteriyor.
BioVLM adı verilen yeni çerçeve, kapsamlı model ayarlaması yapmadan çapraz alan genellemesini iyileştiriyor. Sistem, çeşitli prompt bankası öğrenerek ve dinamik prompt seçimi yaparak çalışıyor. Her girdi için, tahmin dağılımında düşük entropi kriteri kullanarak en ayırt edici promptları seçiyor.
Bu yöntem, sınırlı az sayıda örnekle güçlü dil modeli semantik öncelikleri arasında etkili bir bağ kuruyor. Sistem ayrıca yüksek güvenilirlikli dil modeli türevli öznitelikleri damıtarak ve güçlü/zayıf artırma tutarlılığı yoluyla sağlam bilgi transferi sağlıyor.
Test aşamasında BioVLM, modaliteye uygun prompt seçimi yaparak kendini adapte ediyor. Bu yaklaşım, tıbbi görüntü analizi ve teşhis süreçlerinde yapay zekanın kullanılabilirliğini önemli ölçüde artırabilir.