Büyük dil modellerinin (LLM) yaygın kullanımıyla birlikte, bu sistemlerin güvenlik açıkları da kritik hale geliyor. Yeni bir araştırma, LLM servis sistemlerinde daha önce gözden kaçan ciddi bir güvenlik açığını ortaya koydu.
Araştırmacılar, vLLM'nin Prefix Caching özelliğinde kullanılan paylaşımlı KV-cache bloklarının, bit düzeyindeki hatalarla manipüle edilebileceğini keşfetti. Bu bloklar, sistem performansını artırmak için tek bir fiziksel kopya halinde saklanıyor ancak herhangi bir bütünlük koruması bulunmuyor.
Yazılım tabanlı hata enjeksiyonu testleri, saldırının üç kritik özelliğini ortaya çıkardı. İlk olarak, 16 BF16 bit pozisyonundan 13'ü manipüle edildiğinde, sistem tutarlı görünen ancak değiştirilmiş çıktılar üretiyor. Bu çıktılar, temiz bir referans olmadan normal yanıtlardan ayırt edilemiyor.
İkinci özellik, saldırının seçici yayılımı. Sadece hedeflenen prefix'i paylaşan istekler etkileniyor, bu da saldırının tespit edilmesini zorlaştırıyor. Üçüncü ve belki de en tehlikeli özellik ise kalıcı birikim. Zaman içinde hiçbir düzelme olmadığı için, her yeni istek ile hasar birikmeye devam ediyor.
Bu tehdit profili, model ağırlık bozulmalarından farklı bir yapıya sahip. Sessiz sapma ve seçici yayılım, tespit kaçırmayı kolaylaştırırken, kalıcı birikim uzun vadeli güvenlik risklerini artırıyor.