Yeni bir araştırma, çok modlu büyük dil modellerinin (OLLM) geleneksel metin odaklı yaklaşımdan uzaklaştığını ve görsel içerikleri tercih etmeye başladığını ortaya koydu. MIT ve diğer kurumların araştırmacıları, on farklı OLLM modelini analiz ederek bu 'modalite tercihi' olgusunu ilk kez sistematik olarak inceledi. Bulgular, bu modellerin katmanlar arası işlem sürecinde tercihlerin nasıl şekillendiğini ve çapraz-modal halüsinasyonların teşhis edilebileceğini gösteriyor. Bu keşif, AI'ın bilgiyi nasıl işlediğini anlamamızda önemli bir dönüm noktası.

Araştırmacılar, tıbbi görüntü analizi yapan yapay zeka sistemlerine karşı yeni bir saldırı yöntemi geliştirdi. MedFocusLeak adı verilen bu teknik, görüntülerin arka plan bölgelerine gözle fark edilmeyen değişiklikler yaparak yapay zekanın yanlış tanı koymasına neden oluyor. Saldırı, hastalıklı bölgelere odaklanması gereken yapay zekanın dikkatini başka yönlere çekerek, klinik açıdan makul görünen ama yanlış teşhisler üretmesini sağlıyor. Altı farklı tıbbi görüntüleme modalitesinde test edilen yöntem, mevcut güvenlik önlemlerinin yetersizliğini ortaya koyuyor ve tıbbi yapay zeka sistemlerinin güvenilirliği konusunda önemli endişeler yaratıyor.

Araştırmacılar, ses, görsel ve metin verilerini birlikte kullanarak duygu analizi yapan yapay zeka sistemlerinin önemli bir sorununu çözdü. Mevcut sistemler genellikle tüm veri türlerinin eksiksiz olmasına ihtiyaç duyuyor, ancak gerçek hayatta ses kaydı olmayabilir veya bozulmuş olabilir. Yeni geliştirilen sistem, eksik ses verilerini diğer modalitelerden öğrendiği bilgilerle yeniden oluşturabiliyor. Çapraz modalite dikkat mekanizması sayesinde, hem gözlemlenen hem de yeniden yapılandırılan verilerden maksimum bilgiyi çıkararak duygu tespiti yapıyor. Üç farklı veri seti üzerinde yapılan testler, bu yöntemin mevcut yaklaşımlardan önemli ölçüde daha başarılı olduğunu ve tüm veri türlerinin mevcut olduğu durumlarla karşılaştırılabilir sonuçlar verdiğini gösteriyor.

Araştırmacılar, optik ve sentetik açıklıklı radar (SAR) görüntülerini etkili bir şekilde birleştiren CoDe-MAE adlı yeni bir yapay zeka modeli geliştirdi. Bu model, farklı modalitelerden gelen görüntü verilerinin yüksek çözünürlükte işlenmesindeki temel zorluğu çözüyor. Optik ve radar görüntülerinin fiziksel farklılıkları, geleneksel yöntemlerde özellik kaybına veya veri kirliliğine neden oluyordu. Yeni yaklaşım, 'azla daha iyi' felsefesiyle çalışarak, maskelenmiş otokodlayıcı teknolojisini kullanıyor. Bu gelişme, uydu görüntüleme, güvenlik, çevresel izleme ve askeri uygulamalar gibi alanlarda daha doğru ve güvenilir görüntü analizi imkanı sunuyor.

Araştırmacılar, insanların duygularını metin, ses ve görüntüyü birlikte analiz ederek daha doğru anlayan yeni bir yapay zeka sistemi geliştirdi. Mevcut sistemlerde metin modalitesi diğerlerini gölgede bırakırken, yeni EBMC çerçevesi tüm veri türlerinin etkili kullanımını sağlıyor. Sistem, zayıf modaliteleri güçlendiren semantik ayrıştırma ve modaliteler arası dengeleme mekanizması kullanıyor. Bu yaklaşım, gürültülü veriler veya eksik modalitelerle karşılaştığında bile daha dayanıklı sonuçlar üretiyor. Duygu analizi teknologisinin gelişimi, sosyal medya analizi, müşteri hizmetleri ve insan-bilgisayar etkileşimi alanlarında önemli uygulamalara sahip.

Araştırmacılar, yapay zeka sistemlerinin video, metin ve ses gibi farklı veri türlerini nasıl eşzamanlı işlediğini anlamak için yenilikçi bir çalışma gerçekleştirdi. Video-metin-konuşma sentezi adlı kontrollü bir görev kullanarak, birleşik transformer modellerinin heterojen örnekleme hızlarına sahip modaliteleri nasıl senkronize ettiğini incelediler. VoxCeleb2 veri setiyle eğitilen Visatronic adlı model üzerinde yapılan deneyler, modalitelerin nasıl tamamlayıcı bilgi sağladığını ve pozisyonel kodlama stratejilerinin senkronizasyonu nasıl mümkün kıldığını ortaya çıkardı. Çalışma, çok modalı AI sistemlerinin çalışma mekanizmalarını anlamamızı derinleştiriyor ve gelecekteki gelişmeler için önemli ipuçları sunuyor.

Kişiselleştirilmiş öneri sistemleri içerik keşfinde başarılı olmalarına rağmen, kullanıcıları rahatsız edici veya istenmeyen bilgilere maruz bırakabiliyor. Araştırmacılar, büyük dil modellerinin bu konudaki iki temel sorununu çözmek için yeni bir yaklaşım geliştirdi. Mevcut sistemler görsel olarak uygunsuz içerikleri tespit etmede yetersiz kalırken, aynı zamanda kullanıcının belirli bir hoşnutsuzluğunu yanlış genelleyerek eğitici materyalleri de engelleyebiliyor. Bu durum çok sayıda yanlış pozitif sonuca yol açarak kullanıcı deneyimini olumsuz etkiliyor. Yeni geliştirilen sistem, çoklu modalite algısı ve çok aracılı işbirliği ile bu sorunları aşmayı hedefliyor.

Yapay zeka alanında yeni bir gelişme, bilgisayarların insanların bir ortamda nasıl hareket edebileceğini ve hangi pozları alabileceğini tahmin etmesini mümkün kılıyor. Araştırmacılar, çapraz dikkat mekanizması adı verilen yeni bir yöntem geliştirerek, makinelerin çevresel bağlamı analiz ederek mantıklı insan pozları öngörmesini sağladı. Bu teknoloji, robotların insanlarla daha doğal etkileşim kurması, sanal gerçeklik uygulamalarının geliştirilmesi ve otonom navigasyon sistemlerinin iyileştirilmesi açısından büyük önem taşıyor. Sistemin temelinde, görsel sahne bilgilerini iki farklı modaliteden alarak karşılıklı analiz eden akıllı algoritmalar bulunuyor.

Araştırmacılar, çoklu veri türleri kullanan yapay zeka sistemlerinde gizlilik sorunlarını ele alan yeni bir yöntem geliştirdi. Missing-by-Design (MBD) adlı bu framework, kullanıcıların talep etmesi halinde belirli veri türlerinin sistem hafızasından silinebilmesini sağlıyor. Özellikle duygu analizi yapan sistemlerde, ses, görüntü veya metin gibi farklı veri modalitelerinden herhangi birinin geri alınabilir olması için tasarlandı. Sistem, silinenin yerine yapay olarak benzer veri üretebiliyor ve bu sürecin doğrulanabilir bir sertifikasını sunuyor. Bu yaklaşım, kişisel verilerin korunması konusundaki yasal düzenlemelere uyum sağlamak isteyen teknoloji şirketleri için önem taşıyor.

Araştırmacılar, insan etkileşiminin doğasını taklit eden devrim niteliğinde bir yapay zeka modeli geliştirdi. ELLSA adı verilen bu sistem, insanlar gibi aynı anda hem algılama hem de tepki verme yeteneğine sahip ilk model olma özelliği taşıyor. İnsanların nasıl dinlerken baktığını, konuşurken hareket ettiğini ve kesintilere doğal olarak adapte olduğunu gözlemleyen bilim insanları, bu davranışları tek bir mimaride birleştirmeyi başardı. Model, görsel, metinsel, sesli ve eylem verilerini eş zamanlı olarak işleyebilen yenilikçi SA-MoE mimarisi kullanıyor. Bu teknoloji, her modaliteyi uzmanlaşmış bileşenlere yönlendirip birleşik bir dikkat mekanizması aracılığıyla harmanlıyor. Geliştirme, daha doğal insan-makine etkileşimleri için önemli bir adım teşkil ederken, gelecekte robotik, sanal asistanlar ve etkileşimli AI sistemlerinde geniş uygulama alanları bulabilir.

Hindistan'ın zengin dil çeşitliliğini yansıtan kapsamlı bir doğal dil işleme (NLP) kaynakları araştırması yayınlandı. 22 resmi dil ve yüzlerce yerel lehçeyi kapsayan bu çalışma, ilk kez Hint dillerine özel geliştirilen 200'den fazla veri seti, 50'den fazla değerlendirme kriteri ve 100'den fazla yapay zeka modelini tek çatı altında topladı. Araştırma, metin, ses ve çok modlu görevleri içeren kaynakları dil bilimsel özellikler, alan ve modalitelere göre kategorize etti. Çalışma, düşük kaynaklı diller için veri yetersizliği, dengesiz dil kapsamı ve kültürel çeşitliliğin modellenmesindeki zorluklar gibi kalıcı sorunları da belirliyor.