Yapay zekanın robotik sistemlerle entegrasyonu hızla gelişirken, gecikme süresi kritik bir sorun haline geliyor. Cogniedge.ai'nin kurucusu Madhu Gaganam'a göre, gerçek zamanlı fiziksel etkileşim gerektiren AI uygulamalarında bulut tabanlı işlem yetersiz kalıyor. Özellikle işçilerle güvenli bir şekilde çalışabilen cobotlarda (işbirlikçi robotlar), milisaniye seviyesindeki gecikmeler bile tehlikeli durumlar yaratabilir. Bu durum, AI işlemlerinin cihazın kendisinde gerçekleştirildiği 'edge computing' mimarilerini zorunlu hale getiriyor. Uzmanlar, endüstrinin sadece daha güvenli kafesler ya da yavaş hızlar ile değil, köklü mimari değişikliklerle bu sorunu çözmesi gerektiğini vurguluyor.

Araştırmacılar, Samsung Galaxy S24 ve S25 cihazlarında büyük dil modellerini (LLM) verimli şekilde çalıştıran yenilikçi bir sistem geliştirdi. Bu çalışma, akıllı telefonların sınırlı bellek ve işlem gücü kısıtları altında çoklu görevleri destekleyen tek bir yapay zeka modelinin nasıl çalıştırılabileceğini gösteriyor. Sistem, farklı uygulama alanları için özelleştirilmiş LoRA modüllerini kullanarak tek seferde resmi, kibar veya eğlenceli gibi farklı tarzlarda yanıtlar üretebiliyor. Dynamic Self-Speculative Decoding tekniği sayesinde gecikme süresi 6 kata kadar azaltılmış. Bu gelişme, yapay zekanın mobil cihazlarda daha geniş kullanım alanı bulmasının önünü açıyor ve kullanıcılara bulut bağlantısı olmadan gelişmiş AI deneyimi sunuyor.

Mobil cihazlarda yapay zeka uygulamaları için büyük modellerin indirilmesi önemli gecikmelere neden oluyor. Araştırmacılar bu soruna SLIDE adını verdikleri yenilikçi bir çözüm geliştirdi. Bu sistem, kullanıcıların modelin tamamını beklemek yerine, indirilen katmanlarla hemen çıkarım yapmaya başlamasını sağlıyor. Geleneksel yaklaşımda model önce tamamen indirilir, sonra işlem başlar. SLIDE ise bu süreci paralel hale getirerek önemli zaman kazancı sağlıyor. Sistem, çok kullanıcılı ortamlarda model sağlama, spektrum genişliği ve hesaplama kaynaklarını optimize ederek toplam işlem hızını artırıyor. Özellikle 5G ve sonrası nesil mobil ağların gerçek zamanlı AI hizmetleri sunması hedeflenen bu yaklaşım, büyük dil modelleri ve görüntü işleme uygulamaları için kritik öneme sahip.

Araştırmacılar, büyük dil modellerinin (LLM) cihaz ve kenar sunucu arasında dağıtık çalışmasını iyileştiren yenilikçi bir yöntem geliştirdi. WISV adlı bu sistem, geleneksel kelime bazlı doğrulama yerine anlamsal değerlendirme kullanarak kablosuz bağlantı kalitesini dikkate alıyor. Sistem, anlık kanal durumu bilgilerini AI modelinin gizli katmanlarındaki yüksek boyutlu verilerle birleştirerek daha akıllı kararlar veriyor. Bu yaklaşım, değişken kablosuz koşullarda daha uzun kabul edilen diziler ve daha az etkileşim turu ile performansı artırıyor. Çalışma, edge computing ve 5G/6G ağlarının yaygınlaşmasıyla birlikte AI uygulamalarının daha verimli çalışması için önemli bir adım teşkil ediyor.

Araştırmacılar, akıllı telefonlar ve IoT cihazları gibi sınırlı kaynaklı ortamlarda çalışan küçük dil modellerinin hafıza kullanımını optimize eden yenilikçi bir teknoloji geliştirdi. VocabTailor adı verilen bu sistem, modellerin kelime dağarcığını dinamik olarak ayarlayarak hafıza tüketimini önemli ölçüde azaltıyor. Geleneksel yöntemlerin aksine, her görev için sabit kelime setleri kullanmak yerine, anlık ihtiyaçlara göre esnek kelime seçimi yapıyor. Bu yaklaşım, edge computing ve mobil yapay zeka uygulamalarının yaygınlaşması için kritik bir adım olarak değerlendiriliyor.

Büyük dil modeli tabanlı yapay zeka ajanları, güçlü otomasyon yetenekleri sunmasına rağmen geleneksel uygulamalara göre çok daha geniş bir saldırı yüzeyine sahip. Bulut tabanlı hizmetlerin aksine, gecikmeyi azaltmak ve kullanıcı gizliliğini artırmak için edge cihazlarda çalıştırılan ajanlar yeni güvenlik sorunları yaratıyor. Araştırmacılar, bu sorunu çözmek için AgenTEE adlı yeni bir sistem geliştirdi. Bu sistem, yapay zeka ajanlarının edge cihazlarda güvenli bir şekilde çalışmasını sağlıyor ve hem özel varlıkları hem de hassas çalışma zamanı verilerini koruyor.

Akıllı telefonlar ve IoT cihazları gibi sınırlı işlem gücüne sahip cihazlarda yapay zeka modellerinin çalışması için boyutlarının küçültülmesi gerekiyor. Araştırmacılar, derin öğrenme modellerini otomatik olarak optimize eden AutoSculpt adlı yeni bir sistem geliştirdi. Bu sistem, graf öğrenmesi ve pekiştirmeli öğrenmeyi birleştirerek modellerin gereksiz kısımlarını akıllıca budayabiliyor. AutoSculpt'un en önemli özelliği, mevcut donanım ve yazılımların tanıyabileceği düzenli kalıpları tespit ederek bunları çıkarması. Bu sayede hem model boyutu küçülüyor hem de çalışma hızı artıyor. Geleneksel budama yöntemlerinin aksine, bu sistem farklı model türleriyle uyumlu çalışabiliyor ve doğruluk kaybını minimum seviyede tutuyor.

Araştırmacılar, büyük yapay zeka modellerini sınırlı donanımlarda çalıştırmak için LoRaQ adlı yeni bir yöntem geliştirdiler. Bu teknik, modellerin boyutunu önemli ölçüde küçültürken performans kaybını minimize ediyor. Geleneksel yaklaşımlar 4-bit sıkıştırma yapıldığında ciddi performans düşüşleri yaşarken, LoRaQ düşük-rank yaklaşım yöntemleriyle bu sorunu çözüyor. En önemli yenilik, yardımcı dalların da sıkıştırılabilir olması ve kalibrasyon için veri gerektirmemesi. Bu sayede ilk kez tamamen 16-bit altında çalışan bir sistem elde ediliyor. Özellikle diffusion transformer modelleri için kritik olan bu gelişme, mobil cihazlar ve edge computing uygulamaları için büyük önem taşıyor.

Araştırmacılar, geleneksel elektronik sistemlerin enerji ve gecikme sorunlarını aşmak için devrim niteliğinde bir optik yapay zeka sistemi geliştirdi. Hibrit difraktif holografik mimari olarak adlandırılan bu sistem, ışığın dalga özelliklerini kullanarak görüntü sınıflandırması yapabiliyor. Sistem, Difraktif Optik Sinir Ağı (DONN) ile Holografik Girişim Tabanlı Öğrenme (HIBL) operatörünü birleştireyor. Bu yaklaşım, ışığın doğal yayılım, kırınım ve girişim özelliklerini hesaplama için kullanarak, saatli aritmetik işlemlere dayanan geleneksel sistemlerden fundamentally farklı bir hesaplama rejimi sunuyor. Pasif optik elemanlarda gömülebilen bu sistem, kenar zekası uygulamaları için önemli enerji tasarrufu potansiyeli taşıyor.

Gelecek nesil 6G ağları, iletişim ve hesaplama kaynaklarını birden fazla alanda entegre eden devrimci bir ekosistem olarak tasarlanıyor. Araştırmacılar, IoT cihazlarından bulut sistemlerine kadar uzanan sürekli bir yapıda, görevlerin dinamik olarak dağıtılması ve kaynakların verimli tahsisi için deterministik bir yaklaşım geliştirdiler. Bu yenilikçi sistem, özellikle yüksek güvenilirlik gerektiren kritik hizmetlerde belirlenebilir performans seviyeleri sunarken, mevcut sistemlere kıyasla daha iyi ölçeklenebilirlik sağlıyor. IoT ve son kullanıcı cihazlarının yerel alt ağlar oluşturarak dağıtık görev işleme yapabilmesi, gelecekteki ağ yapılarının temelini oluşturuyor.

Yapay zeka iş yüklerini güvenli bir şekilde işlemek için tasarlanan NVIDIA GPU Confidential Computing (GPU-CC) sistemi, araştırmacılar tarafından kapsamlı bir güvenlik analizine tabi tutuldu. Sistemin kapalı kutu yapısının zorluklarına rağmen, araştırma ekibi GPU-CC'nin mimarisini, önyükleme sürecini ve güvenlik mekanizmalarını başarıyla çözümledi. Bu çalışma, yapay zeka uygulamalarında veri güvenliğinin nasıl sağlandığına dair önemli bilgiler sunuyor. Özellikle CPU ve GPU arasındaki veri transferlerinin güvenliği konusunda yapılan deneysel çalışmalar, sistemin güven modelinin etkinliğini değerlendiriyor. Sonuçlar, yapay zeka güvenliği alanında çalışan araştırmacılar ve geliştiriciler için kritik öneme sahip.