Stanford araştırmacıları, metin-görsel yapay zeka modellerinin çarpıcı bir zayıflığını ortaya çıkardı. DALL-E ve Midjourney gibi son teknoloji modeller görsel açıdan etkileyici resimler üretebiliyor ancak makine öğrenmesi için veri seti oluşturmada beklenenden çok daha kötü performans sergiliyor. Araştırma, 2022-2025 arasında geliştirilen modellerin sentetik veri üretme kapasitesinin giderek azaldığını gösteriyor. Yeni modeller daha estetik odaklı ama dar bir dağılıma yöneliyor, bu da gerçek dünya verilerinin çeşitliliğini yansıtmakta yetersiz kalıyor. Bulgular, yapay zeka eğitiminde sentetik verinin gerçek verilerin yerini alabileceği varsayımını ciddi şekilde sorguluyor.

arXiv (CS + AI) 0

Teknoloji & Yapay Zeka

20 Apr

TwoHamsters: Yapay Zeka Görsel Üreticilerindeki Gizli Güvenlik Açığı Keşfedildi

Araştırmacılar, metin-görsel yapay zeka modellerinde yeni bir güvenlik zaafiyeti tespit etti. 'Çok Kavramlı Kompozisyonel Güvensizlik' adı verilen bu sorun, tek başına zararsız görünen kelimelerin bir araya geldiğinde sakıncalı içerikler üretebilmesini ifade ediyor. TwoHamsters adlı kapsamlı test platformu kullanılarak yapılan değerlendirmede, FLUX dahil güncel modellerin bu tür gizli risklere karşı savunmasız olduğu ortaya çıktı. 17.500 test istemi içeren benchmark, mevcut güvenlik önlemlerinin yetersizliğini gözler önüne serdi. Bu keşif, yapay zeka güvenlik sistemlerinin sadece açık tehditlerle değil, kavramların dolaylı birleşimlerinin yaratabileceği risklerle de mücadele etmesi gerektiğini gösteriyor. Bulgular, geliştiricilerin daha sofistike güvenlik mekanizmaları geliştirmesi için önemli veriler sunuyor.

arXiv (CS + AI) 0