Yapay zeka alanında zaman serisi tahminleri için kullanılan modellerin değerlendirilmesinde yeni bir dönem başlayabilir. Araştırmacılar, mevcut sistemlerin eksikliklerini gidermeye yönelik TempusBench adlı kapsamlı bir değerlendirme çerçevesi geliştirdi.
Çalışmaya göre, mevcut değerlendirme sistemleri dört temel sorunda takılıyor. İlk olarak, kullanılan veri setlerinin çoğu güncelliğini yitirmiş durumda ve modellerin eğitim süreçlerinde kullanılan verilerle çakışabiliyor. İkinci olarak, mevcut testler sadece tahmin süreleri gibi sınırlı kriterlere odaklanırken, durağanlık ve mevsimsellik gibi temel istatistiksel özellikleri göz ardı ediyor.
TempusBench, bu sorunları çözmek için tasarlandı. Sistem, güncel veri setleri kullanarak modellerin gerçek dünya performansını daha doğru ölçmeyi hedefliyor. Ayrıca, farklı domain-spesifik modellerin adil karşılaştırılmasını sağlayacak yeni metrikler sunuyor.
Bu gelişme, özellikle temel zaman serisi modellerinin (TSFM) değerlendirilmesinde önemli. Bu modeller, doğal dil işleme ve bilgisayarlı görüdeki temel modellerin başarısını zaman serisi tahminlerine taşımayı amaçlıyor. Finans piyasalarından enerji talebine, iklim tahminlerinden sağlık verilerine kadar pek çok alanda kullanılan bu modellerin objektif değerlendirilmesi, yapay zeka teknolojisinin güvenilir ilerlemesi açısından kritik.