Yapay zeka ve makine öğrenmesi alanında kritik öneme sahip quantization (nicemleme) algoritmalarının karşılaştırmalı analizi, algoritmaların birbirleriyle olan ilişkilerini netleştiren önemli bulgular ortaya koydu.
Araştırmacılar, son dönemde dikkat çeken TurboQuant algoritmasının, 2021 ve 2022 yıllarında geliştirilen DRIVE ve EDEN algoritmalarının özel durumları olduğunu matematiksel olarak kanıtladı. DRIVE algoritması 1-bit nicemleme yapabilirken, EDEN bunu herhangi bir bit sayısına genişletti.
En önemli bulgulardan biri, TurboQuant_mse'nin EDEN algoritmasının ölçek parametresi S=1'e sabitlenmiş versiyonu olduğudur. Ancak bu sabit seçim genellikle optimal sonuçlar vermez. EDEN hem önyargılı hem de önyargısız nicemleme destekler ve her biri için farklı optimal S değerleri kullanır. İlginç şekilde, boyut büyüdükçe önyargılı EDEN'in optimal S değeri 1'e yaklaşır, bu nedenle yüksek boyutlarda TurboQuant'ın performansı EDEN'e benzer hale gelir.
TurboQuant_prod ise hibrit bir yaklaşım benimser: önce (b-1)-bit önyargılı EDEN adımı uygular, ardından artık değere 1-bit önyargısız QJL nicemlemesi yapar. Ancak bu yöntemin üç farklı açıdan optimal olmadığı tespit edildi.
Bu bulgular, büyük veri setlerinde hızlı hesaplama gerektiren uygulamalarda hangi algoritmanın tercih edilmesi gerektiği konusunda rehberlik sunuyor.