Makine öğrenmesi alanında stokastik süreçlerin modellenmesi için kullanılan Neural Process (NP) modellerine yönelik önemli bir gelişme yaşandı. Araştırmacılar, bu modellerin hesaplama verimliliğini artıran Transformer Neural Process - Kernel Regression (TNP-KR) yaklaşımını tanıttı.
Neural Process modelleri, başlangıçta Gaussian Process modellerine ölçeklenebilir bir alternatif olarak geliştirilmişti. Gaussian Process'ler O(n³) hesaplama karmaşıklığı nedeniyle büyük veri setlerinde zorlanırken, modern NP modelleri benzer doğruluğa ulaşabiliyordu ancak dikkat mekanizmaları nedeniyle O(n²) darboğazı yaşıyordu.
TNP-KR'ın temel yeniliği, Kernel Regression Block (KRBlock) adı verilen basit ve parametrik olarak verimli transformer bloğudur. Bu blok, O(n_c² + n_c n_t) karmaşıklığıyla çalışır; burada n_c bağlam noktalarının, n_t ise test noktalarının sayısını temsil eder.
Sistemin diğer önemli bileşenleri arasında çekirdek tabanlı dikkat önyargısı ve iki yeni dikkat mekanizması bulunuyor. Bunlardan scan attention (SA), bellek verimli bir tarama tabanlı dikkat mekanizması sunarak TNP-KR'ın çeviri değişmezliği kazanmasını sağlıyor.
Bu gelişme, yapay zeka modellerinin büyük veri setleri üzerinde daha verimli çalışmasına olanak tanırken, hesaplama kaynaklarının daha ekonomik kullanımını mümkün kılıyor.