Büyük dil modellerinin yüksek hesaplama maliyetleri, araştırmacıları daha verimli sıkıştırma yöntemleri arayışına yönlendirdi. Yeni bir araştırma, bu sıkıştırma işlemlerinin model performansına olan etkilerini önceden tahmin edebilecek matematiksel göstergeler keşfetti.
Araştırmacılar, Qwen3 ve Gemma3 model ailelerinde dört farklı düşük sıralı sıkıştırma yöntemini test etti: standart SVD, iki ASVD varyantı ve SVD-LLM. Çalışmanın en çarpıcı bulgusu, 'kararlı sıra' ve parametre başına bit cinsinden ölçülen 'bilgi yoğunluğu' değerlerinin performans kaybını büyük ölçüde belirlemesi oldu.
Araştırma ekibi, sıkıştırma oranı ile kararlı sıra değerinin çarpımından oluşan bir etkileşim terimi geliştirdi. Bu matematiksel gösterge, dikkat katmanlarında %89, MLP katmanlarında ise %83.9 oranında doğrulukla performans düşüşünü öngörebildi.
Bu keşif, AI modellerinin optimizasyonunda devrimsel bir değişiklik yaratabilir. Geleneksel yöntemlerde, sıkıştırma işlemi tamamlandıktan sonra modelin gerçek performansı test edilerek öğreniliyordu. Yeni yaklaşım sayesinde, pahalı hesaplama süreçlerine başlamadan önce sonuçları tahmin etmek mümkün hale geliyor.