Samsung Galaxy akıllı telefonlarda yapay zeka teknolojisinde önemli bir adım atıldı. Araştırmacılar, büyük dil modellerinin (LLM) mobil cihazlarda verimli şekilde çalışması için yeni bir framework geliştirdi.
Bu yenilikçi sistem, LLaMA tabanlı çok dilli bir temel modeli Samsung Galaxy S24 ve S25 cihazlarının Qualcomm işlemcilerinde başarıyla çalıştırıyor. En dikkat çekici özelliği, tek bir donmuş çıkarım grafiği üzerinde farklı görevler için özelleştirilmiş LoRA modüllerini çalışma zamanında kullanabilmesi.
Sistemin en etkileyici yeteneği, tek bir ileri geçişte resmi, kibar veya eğlenceli gibi farklı tarzlarda yanıtları eş zamanlı olarak üretebilmesi. Bu çok akışlı kod çözme mekanizması, gecikme süresini 6 kata kadar azaltıyor.
Token üretimini hızlandırmak için Dynamic Self-Speculative Decoding (DS2D) adlı ağaç tabanlı strateji kullanılıyor. Bu teknik, gelecekteki tokenları önceden tahmin ederek işlem hızını artırıyor.
Bu gelişme, yapay zekanın mobil cihazlarda bulut bağlantısı olmadan çalışabilmesinin önünü açıyor ve kullanıcılara daha hızlı, daha özel AI deneyimi sunuyor.