Araştırmacılar, büyük dil modellerinde yaygın kullanılan KV önbellekleme optimizasyonunun, bugüne kadar varsayıldığı gibi sayısal olarak eşdeğer olmadığını keşfetti. FP16 hassasiyetinde, önbellek kullanan ve kullanmayan hesaplama yolları farklı sonuçlar üretiyor. LLaMA-2-7B, Mistral-7B-v0.3 ve Gemma-2-2B modellerinde yapılan testlerde, tüm örnekleme stratejilerinde %100 token farklılığı gözlemlendi. Bu durum, rastgele örneklemenin değil, sistematik bir hesaplama farkının olduğunu gösteriyor. İlginç şekilde, önbellek kullanan versiyonlar 9 koşuldan 8'inde daha yüksek doğruluk gösterdi. Problem FP16 formatının değişmeli olmayan özelliğinden kaynaklanıyor ve FP32 kullanıldığında sekiz kat azalıyor.