Yapay zeka araştırmacıları, büyük dil modellerinin boyutunu küçültmek için Aktivasyon Artık Hessian Kuantizasyonu (ARHQ) adlı yeni bir teknik geliştirdi. Bu yöntem, modellerin performansını koruyarak boyutlarını önemli ölçüde azaltmayı hedefliyor.
ARHQ'nun temel prensibi, geleneksel sıkıştırma yöntemlerinin neden olduğu hata yayılımını engellemektir. Teknik, model ağırlıklarını iki farklı dala ayırarak çalışıyor: biri yüksek hassasiyetli düşük boyutlu dal, diğeri ise sıkıştırılmış ana dal. Bu ayrım, matematiksel analizler kullanılarak hataya duyarlı ağırlık yönlerinin belirlenmesiyle gerçekleştiriliyor.
Yöntemin en önemli özelliği, aktivasyon kuantizasyon artıklarından elde edilen bilgileri kullanarak hangi ağırlıkların kritik olduğunu analitik olarak tespit etmesi. Bu sayede, modelin düşünme yeteneği için gerekli olan kısımlar korunurken, diğer bölümler güvenle sıkıştırılabiliyor.
Qwen3-4B-Thinking-2507 modeli üzerinde yapılan deneyler, ARHQ'nun katman bazında sinyal-gürültü oranını iyileştirdiğini ve ZebraLogic mantık testlerinde başarılı sonuçlar verdiğini gösteriyor. Bu gelişme, yapay zeka modellerinin mobil cihazlarda ve sınırlı kaynaklara sahip sistemlerde daha verimli çalışmasına olanak sağlayabilir.