Stanford araştırmacıları, görsel-dil modellerinin beklenenden çok daha fazla metinsel açıklamalara dayandığını ve görsel bilgileri yeterince kullanmadığını keşfetti. Bu durum 'metin kısayolu öğrenmesi' olarak adlandırılıyor. Araştırmacılar, modellerin görsel güvenilirliğini test etmek için çelişkili metin-görsel çiftleri kullanarak yeni bir değerlendirme sistemi geliştirdi. Geometrik şekiller üzerinde yapılan deneyler, standart CLIP modelinin yanıltıcı metinlerle karşılaştığında performansının %27,5 düştüğünü gösterdi. Ancak optimize edilmiş versiyonda bu düşüş %9,8'e kadar azaltıldı. Bu bulgular, yapay zekanın görsel anlama kapasitesini geliştirmek için daha sofistike eğitim yöntemlerine ihtiyaç olduğunu ortaya koyuyor.

Metin-görsel AI modellerinin toplumsal önyargıları güçlendirmesi, etik kullanımlarında ciddi sorunlar yaratıyor. Araştırmacılar, bu soruna yenilikçi bir çözüm getirdi: Embedding Arithmetic yöntemi. Bu teknik, modelin ağırlıklarını değiştirmeden, sadece çıkarım aşamasında önyargıları azaltıyor. FLUX 1.0-Dev ve Stable Diffusion 3.5-Large modellerinde test edilen yöntem, görsel bağlamı korurken sosyal önyargıları başarıyla elimine ediyor. Sistem, uygulayıcılara adalet-tutarlılık dengesini ayarlama olanağı sunuyor. Araştırmacılar ayrıca geleneksel CLIP skorlarının sınırlarını aşmak için yeni bir değerlendirme metriği olan Kavram Tutarlılık Skoru'nu (CCS) geliştirdi.

Araştırmacılar, yapay zeka modellerinin orijinal eğitim verilerine erişim olmadan farklı alanlarda çalışabilmesini sağlayan yeni bir yöntem geliştirdi. DIFO++ adlı bu yaklaşım, CLIP gibi görsel-dil modellerinin geniş bilgi birikiminden yararlanarak, sadece hedef alandaki etiketlenmemiş verilerle model uyarlaması yapabiliyor. Geleneksel yöntemlerin aksine, bu teknik sahte etiketleme hatalarını minimize ederek daha güvenilir sonuçlar elde ediyor. Yöntem, karşılıklı bilgi maksimizasyonu ve bilgi damıtma tekniklerini döngüsel olarak uygulayarak modeli hedefe özelleştiriyor. Bu gelişme, veri gizliliği ve telif hakları nedeniyle orijinal eğitim verilerine erişimin kısıtlı olduğu durumlarda büyük önem taşıyor.

Bilgisayarlı görü sistemlerinin en büyük zorluklarından biri, eğitildikleri ortamdan farklı görsel stillere sahip alanlarda başarısız olmalarıdır. Araştırmacılar bu soruna çözüm olarak CrossFlowDG adlı yeni bir yaklaşım geliştirdi. Bu yöntem, görsel ve metinsel verileri birleştirerek yapay zekanın farklı alanlarda daha kararlı performans göstermesini sağlıyor. Geleneksel yöntemlerin aksine, CrossFlowDG görsel ve metin verilerini geometrik olarak birbirine yaklaştıran akış eşleştirme tekniği kullanıyor. Bu sayede model, görsel stillerdeki değişikliklerden etkilenmeden nesne sınıflandırmasında başarılı oluyor. VMamba görüntü kodlayıcısı ve CLIP metin kodlayıcısı kullanan sistem, alana özgü önyargıları azaltarak daha güvenilir sonuçlar üretiyor.

Araştırmacılar, sahte yüz görüntülerini tespit etmek için CLIP yapay zeka modelinin metin özelliklerinden yararlanan yenilikçi bir yöntem geliştirdi. Separable Prompt Learning (SePL) adı verilen bu teknik, geleneksel görsel odaklı yaklaşımların aksine metin modalitesine odaklanarak deepfake tespitinde daha etkili sonuçlar elde ediyor. Yöntem, görüntülerdeki sahtelik belirtileri ile gerçek bilgileri ayrıştırarak, yapay zeka modelinin bu ayrımı daha doğru yapmasını sağlıyor. Bu gelişme, artan deepfake tehditlerine karşı daha güvenilir tespit sistemleri oluşturulması açısından önemli bir adım teşkil ediyor.

Araştırmacılar, yapay zeka modellerinin yeni kategorileri öğrenirken eski bilgilerini kaybetme sorununu çözen yeni bir yöntem geliştirdi. GR4CIL adlı bu sistem, CLIP modellerinin sürekli öğrenme yeteneğini artırarak, daha önce öğrenilen bilgileri korurken yeni kavramları edinmeyi sağlıyor. Geleneksel yapay zeka modelleri yeni verilerle eğitildiğinde eski bilgilerini unutma eğiliminde, ancak bu yeni yaklaşım görev odaklı bilgi yönlendirme ve ortogonal telafi mekanizması kullanarak bu sorunu aşıyor. Sistem, görsel ve metinsel bilgiyi ayrı şekilde işleyerek görevler arası müdahaleyi azaltıyor.

Araştırmacılar, beyin dalgalarını ölçen EEG cihazlarından doğal dil yapılarını çözümlemeye çalışıyor. Ancak yeni bir çalışma, EEG sinyallerinin düşük sinyal-gürültü oranı ve sınırlı bilgi kapasitesi nedeniyle tam cümle yapılarını değil, sıkıştırılmış anlamsal bileşenleri kodladığını öne sürüyor. Bu yaklaşımla geliştirilen Brain-CLIPLM sistemi, beyin sinyallerinden önce anlamsal çapaları çıkarıyor, sonra bu bilgiyi kullanarak cümleleri yeniden oluşturuyor. Çalışma, beyin-bilgisayar arayüzleri alanında önemli bir paradigma değişikliği öneriyor.

Araştırmacılar, yüksek çözünürlüklü uydu görüntülerindeki karmaşık nesneleri önceden eğitim almadan tanıyabilen yeni bir yapay zeka sistemi geliştirdi. SDCI adı verilen bu sistem, farklı boyutlardaki nesneleri ve karmaşık sınırları daha başarılı şekilde tespit edebiliyor. Geleneksel yöntemler tek yönlü bilgi aktarımı kullanırken, yeni sistem iki farklı AI modelinin birbirleriyle işbirliği yapmasını sağlıyor. Bu gelişme, uydu görüntülerinin analizinde büyük kolaylık sağlayabilir ve özellikle çevre izleme, şehir planlama ve tarımsal uygulamalarda önemli faydalar sunabilir. Sistem, önceden belirlenmiş kategoriler dışındaki nesneleri de tanıyabilme kabiliyetiyle öne çıkıyor.

Araştırmacılar, yapay zekanın daha önce hiç öğrenmediği video hareketlerini tanıyabilmesi için yenilikçi bir yöntem geliştirdi. CLIP modelini geliştiren bu sistem, hareket duyarlı ve statik görsel özellikleri birbirinden ayırarak, pozitif ve negatif metin ipuçlarıyla semantik hizalama yapıyor. Motion Separation Module ile hareketleri analiz eden sistem, gated cross-attention mekanizmasıyla gereksiz bilgileri filtreleyerek hareket temsilini iyileştiriyor. Standart benchmark testlerinde önceki CLIP tabanlı yaklaşımlardan daha başarılı sonuçlar elde eden bu yöntem, hem genel hem de detaylı hareket kategorilerinde güçlü sıfır-atışlı tanıma performansı sergiliyor. Bu gelişme, güvenlik kameralarından spor analizine kadar birçok alanda kullanılabilecek.

Açık dünya senaryolarında çalışan yapay zeka sistemleri için kritik bir yetenek olan 'dağılım dışı tespit' konusunda önemli bir gelişme kaydedildi. Görsel-dil modelleri kullanarak bilinmeyen sınıflardan gelen örnekleri tanımlama konusunda yeni bir yaklaşım geliştirildi. Mevcut yöntemlerin farklı modaliteler arası mesafe tutarsızlığı sorunu tespit edilerek, InterNeg adlı yeni bir çerçeve önerildi. Bu sistem, metinsel ve görsel perspektiflerden tutarlı modaliteler arası mesafe geliştirmeyi sistematik olarak kullanıyor. Araştırma, CLIP benzeri modellerin optimize edildiği inter-modal mesafelerin daha etkili kullanılmasını hedefliyor. Geliştirilen yöntem, makine öğrenimi modellerinin gerçek dünya uygulamalarında karşılaştığı bilinmeyen durumları daha güvenilir şekilde tespit etmesini sağlayabilir.

Görsel-dil modellerinin tutarlılığını araştıran yeni bir çalışma, şaşırtıcı sonuçlar ortaya koydu. 'Bir insan', 'bir kişi' ve 'bir yaya' gibi aynı anlama gelen farklı ifadeler kullanıldığında, yapay zeka modelleri görüntülerde farklı nesneleri tespit ediyor. COCO veri setindeki 263 görüntü üzerinde yapılan deneylerde, altı farklı benzer ifade kullanıldığında ortalama 2,11 farklı nesne seçimi yapıldığı gözlemlendi. Bu tutarsızlık rastgele değil, yapısal bir pattern gösteriyor. Araştırma, metin benzerliğinin bu farklılıkların sadece %34'ünü açıklayabildiğini ve sorunun temel olarak modellerin karar verme mekanizmasından kaynaklandığını gösteriyor. Bu bulgular, yapay zeka sistemlerinin güvenilirliği açısından önemli sorular ortaya çıkarıyor.