Yapay zeka modellerinin biyolojik verileri analiz etme kabiliyetini artıran önemli bir gelişme kaydedildi. Araştırmacılar, tek hücre analizinde kullanılan temel modellerde sigmoid dikkat mekanizmasının softmax'tan üstün performans gösterdiğini kanıtladılar.
Yapılan kapsamlı testlerde, sigmoid dikkat mekanizması üç temel avantaj sunuyor. İlk olarak, altı farklı tek hücre veri setinde hücre türlerini ayırma başarısı %25 oranında artarken, hücre türü tutarlılık metrikleri ve doğrulama kayıpları da iyileşti. İkinci olarak, sigmoid kullanan modeller softmax karşılıklarından %10 daha hızlı eğitiliyor.
En kritik avantaj ise eğitim kararlılığında görülüyor. Sigmoid dikkat mekanizmasının global olarak sınırlı türevleri bulunurken (≤0.25), softmax'ın aksine köşegen Jacobian yapısı sergiliyor. Bu matematiksel özellikler, eğitim sırasında yaşanan kararsızlıkları büyük ölçüde ortadan kaldırıyor.
160 milyon parametreli modeller üzerinde yapılan stres testlerinde, softmax dikkat mekanizması dramatik şekilde başarısız olurken, sigmoid kararlı performans sergiledi. Bu bulgular, biyolojik temel modellerin gelecekteki gelişimi için yeni bir yol açıyor ve tek hücre genomik analizlerinin daha güvenilir hale gelmesini sağlıyor.