Tıbbi görüntü analizi alanında çığır açacak yeni bir yapay zeka sistemi, cilt kanseri teşhisinde doktorlara güçlü bir araç sunuyor. Geliştirilen sistem, hasta görüntülerini metin tabanlı açıklamalarla birleştirerek, benzer vakalar arasında etkili arama yapabilme yeteneğine sahip.
Araştırma ekibinin transformer tabanlı framework'ü, hiyerarşik sorgu temsilleri öğrenerek, sorgu ve aday görüntüler arasında hem global hem de yerel hizalama gerçekleştiriyor. Bu yaklaşım, dermoskopi özelliklerinin metin açıklamalarıyla referans lezyon görüntülerinin birleştirildiği kompozit sorgulara odaklanıyor.
Sistemin en önemli özelliklerinden biri, yerel hizalama mekanizmasının çoklu uzamsal dikkat maskeleri kullanarak ayırt edici bölgeleri toplaması. Bu süreç, global hizalamanın sağladığı bütünsel semantik denetimle destekleniyor. Nihai benzerlik skoru, klinik açıdan önemli yerel kanıtları vurgularken global tutarlılığı koruyan özel bir ağırlıklandırma sistemiyle hesaplanıyor.
Bu teknoloji, biyopsi ile doğrulanmış çok sınıflı hastalık vakalarını içeren kapsamlı veritabanlarında test edilerek başarısını kanıtladı. Sistem, sadece teşhis sürecini desteklemekle kalmayıp, tıp eğitimi ve kalite kontrol uygulamalarında da değerli bir araç olmayı hedefliyor.