Stanford Üniversitesi ve diğer kuruluşlardan araştırmacılar, büyük dil modellerinin kod üretimi sürecinde karşılaşılan hesaplama maliyeti sorununa yenilikçi bir çözüm getirdi. 'Probabilistic Programs of Thought' (Olasılıklı Düşünce Programları) adını verdikleri bu yöntem, yapay zeka sistemlerinin daha verimli şekilde kod üretmesini sağlıyor.
Mevcut durumda, büyük dil modelleri kod üretimi ve matematiksel problem çözme görevlerinde kullanıldığında, uygun bir program elde edilene kadar sürekli örnekleme yapması gerekiyor. Bu süreç, özellikle çok sayıda örnek gerektiğinde GPU kaynaklarını yoğun şekilde kullanıyor ve maliyetli hale geliyor.
Yeni yaklaşım, modelin ürettiği program içindeki olasılık dağılımını doğrudan kullanarak bu sorunu çözüyor. Araştırmacılar, bir program ve ilişkili sonraki-token olasılıkları verildiğinde, bu bilgileri kompakt bir şekilde temsil eden olasılıklı programlar oluşturuyor. Bu sayede daha az LLM üretimi ile daha fazla örnek elde edilebiliyor.
Bu teknoloji, özellikle büyük ölçekli yapay zeka projelerinde kaynak kullanımını optimize etme konusunda umut vaat ediyor. Kod üretimi araçlarının verimliliğini artırarak, geliştiricilerin daha hızlı ve ekonomik çözümlere erişmesini sağlayabilir.