Beyin dalgalarını yapay zeka ile analiz eden büyük foundation modeller son yıllarda büyük ilgi görse de, bu sistemlerin gerçek etkinliği şüphe altında. Araştırmacılar, EEG foundation modellerinin (EEG-FM) sistematik olarak değerlendirilmesi için kapsamlı bir test pipeline'ı geliştirdi.
EEG-FM-Audit adı verilen bu değerlendirme sistemi, mevcut araştırmalardaki üç kritik sorunu ele alıyor. Birincisi, supervised baseline modellerin şeffaf olmayan şekilde ayarlanması nedeniyle yapılan karşılaştırmaların adil olmaması. İkincisi, karmaşık öğrenme yaklaşımlarının gerçek katkılarının doğrulanmamış olması. Üçüncüsü ise modellerin karar verme süreçlerindeki şeffaflık eksikliği.
Sistemin üç ana bileşeni bulunuyor. ASHA-driven benchmarking protokolü, supervised baseline'ları şeffaf şekilde optimize ederek adil karşılaştırmalar sağlıyor. Paradigm-level ablation studies, foundation modellerdeki öğrenme paradigmalarının etkinliğini değerlendiriyor. Nörofizyolojik probing (NPP) çerçevesi ise modellerin EEG sinyallerinin temporal, uzamsal ve spektral özelliklerini geçerli şekilde kullanıp kullanmadığını araştırıyor.
Bu değerlendirme sistemi, dört son teknoloji EEG-FM modeli üzerinde test edildi. Sonuçlar, beyin-bilgisayar arayüzleri ve nörolojik teşhis sistemlerinin geliştirilmesinde kritik rol oynayacak.