Yapay zeka alanında devrim niteliğinde bir gelişme yaşandı. Araştırmacılar, büyük dil modellerinin en büyük sorunlarından biri olan hesaplama maliyetini çözmeye yönelik Focus adlı yenilikçi bir sistem geliştirdi.
Mevcut yapay zeka modelleri, metindeki her kelimenin diğer tüm kelimelerle olan ilişkisini hesaplıyor. Bu yaklaşım, metin uzadıkça hesaplama maliyetini katlanarak artırıyor. Focus sistemi ise modellerin hangi kelime çiftlerinin gerçekten önemli olduğunu öğrenmesini sağlıyor.
Sistemin çalışma prensibi oldukça zekice: küçük öğrenilebilir merkezler oluşturuyor ve sadece aynı merkez grubundaki kelimeler arasında uzun menzilli dikkat bağlantıları kuruyor. Bu sayede gereksiz hesaplamaları elimine ederken önemli bilgi akışını koruyor.
Focus'un en büyük avantajı, mevcut eğitilmiş modellere kolayca entegre edilebilmesi. Sistem, her katman için sadece 148 bin gibi minimal parametreler ekliyor ve orijinal model ağırlıklarına hiç dokunmuyor.
Yapılan deneyler çarpıcı sonuçlar ortaya koydu. 124 milyondan 70 milyar parametreye kadar farklı boyutlardaki beş farklı dikkat mimarisinde test edilen sistem, hiçbir performans kaybı yaşamadı. Özellikle 124 milyonluk modellerde geleneksel tam dikkat mekanizmalarından bile daha iyi performans sergiledi.
Bu gelişme, yapay zeka sistemlerinin daha az enerji tüketmesi ve daha hızlı çalışması anlamına geliyor.