Yapay zeka alanında son yıllarda büyük ilerlemeler kaydeden multimodal büyük dil modelleri (MLLM), hem metin hem de görsel verileri işleyebilme kabiliyetleriyle dikkat çekiyor. Ancak bu modellerin hesaplama maliyeti ve enerji tüketimi, özellikle mobil cihazlar ve sınırlı kaynaklı ortamlarda kullanımlarını zorlaştırıyor.
Bu soruna çözüm arayan araştırmacılar, SpikeMLLM adlı yenilikçi bir sistem geliştirdi. Bu sistem, insan beyninin nöronlarına benzer şekilde çalışan spike sinir ağlarını (SNN) kullanarak enerji verimliliğini önemli ölçüde artırıyor. Geleneksel yapay sinir ağlarından farklı olarak, spike ağları sürekli hesaplama yapmak yerine sadece gerekli olduğunda aktif hale geliyor.
Sistemin en önemli yeniliği, farklı veri türleri için özel zaman ölçekleri kullanan Modality-Specific Temporal Scales (MSTS) teknolojisi. Bu yaklaşım, metin ve görsel verilerin farklı işleme hızları gerektirdiğini dikkate alarak her modalite için optimize edilmiş çözümler sunuyor.
Ayrıca araştırmacılar, yüksek çözünürlüklü görüntülerin işlenmesi sırasında ortaya çıkan zaman adımı problemini çözmek için Temporally Compressed LIF (TC-LIF) adlı bir sıkıştırma tekniği geliştirdi. Bu teknik, işlem süresini logaritmik olarak azaltarak sistemin verimliliğini daha da artırıyor.