Araştırmacılar, büyük dil modellerinin (LLM) hizmet verdiği sistemlerde kritik bir güvenlik açığı keşfetti. vLLM gibi popüler sistemlerde kullanılan paylaşımlı önbellek bloklarının, bit düzeyindeki hatalarla manipüle edilebileceği ortaya çıktı. Bu saldırı yöntemi, GPU belleğindeki Rowhammer saldırılarına benzer şekilde çalışıyor ancak daha sinsi bir yapıya sahip. Saldırının üç temel özelliği tespit edildi: manipüle edilmiş çıktıların normal yanıtlardan ayırt edilememesi, sadece hedeflenen prefix'i paylaşan isteklerin etkilenmesi ve zaman içinde hasarın birikmesi. Bu durum, yapay zeka sistemlerinin güvenilirliği açısından yeni bir tehdit oluşturuyor çünkü saldırı tespit edilmesi zor ve kalıcı etkiler yaratıyor.

Büyük yapay zeka modellerinin eğitiminde yaşanan iletişim darboğazı, araştırmacılar tarafından geliştirilen yeni bir teknikle aşılabilir hale geldi. CCCL adlı bu sistem, GPU'lar arası veri alışverişini sıkıştırma teknikleriyle hızlandırarak, büyük dil modellerinin performansını önemli ölçüde artırıyor. Geleneksel yöntemlerde GPU'lar arasındaki veri iletişimi büyük bir zaman kaybına neden olurken, yeni sistem bu sorunu GPU içerisinde gerçekleştirdiği sıkıştırma işlemleriyle çözüyor. Sistem, mevcut uygulamalarda herhangi bir kod değişikliği gerektirmeden entegre edilebiliyor ve vLLM gibi popüler platformlarda %10'a varan performans artışı sağlıyor. Bu gelişme, yapay zeka modellerinin eğitim süreçlerinin daha verimli hale gelmesine katkı sağlayarak, teknolojinin ilerlemesinde önemli bir adım teşkil ediyor.