Araştırmacılar, büyük dil modellerinin Google'ın Tensor İşlem Birimleri (TPU) üzerinde daha verimli çalışmasını sağlayan yenilikçi bir sistem geliştirdiler. Ragged Paged Attention (RPA) adı verilen bu sistem, ChatGPT benzeri yapay zeka uygulamalarının maliyetini düşürürken performansını artırıyor. Çoğu mevcut sistem GPU odaklı tasarlandığı için, TPU'ların benzersiz mimarisinden tam olarak yararlanamıyordu. RPA, özellikle dinamik bellek yönetimi ve dikkat hesaplamaları konusunda üç temel teknik kullanarak bu sorunu çözüyor. Sistem, değişken uzunluktaki metinleri işlerken daha esnek davranabiliyor ve hesaplama kaynaklarını daha verimli kullanıyor. Bu gelişme, büyük dil modellerinin daha uygun maliyetli donanımlarda çalıştırılmasının önünü açarak, yapay zeka teknolojilerinin yaygınlaşmasına katkı sağlayabilir.

Araştırmacılar, makine öğrenmesi modellerinin eğitim sürecini optimize eden 'öğrenilmiş optimizatörler' teknolojisini PyTorch platformunda erişilebilir kılan PyLO kütüphanesini geliştirdi. Bu yenilik, daha önce sadece JAX platformunda bulunan ve 4000 TPU-ay gibi devasa hesaplama kaynaklarıyla eğitilen VeLO gibi gelişmiş optimizatörleri, makine öğrenmesi topluluğunun yaklaşık %70'ine ulaştırmayı hedefliyor. PyLO, mevcut Adam gibi yaygın optimizatörlerin yerine geçebilecek, gerçek dünya uygulamalarına odaklanan bir çözüm sunuyor. Kütüphane, CUDA hızlandırması ile büyük ölçekli model eğitimlerinde kullanılabilir hale geldi.