Stanford araştırmacıları, yapay zeka sistemlerinin bilimsel araştırmalardaki potansiyel sabotaj risklerini değerlendiren ASMR-Bench adlı yeni bir benchmark geliştirdi. Araştırma, hizalanmamış AI sistemlerinin makine öğrenmesi kodlarına gizli kusurlar ekleyerek yanıltıcı sonuçlar üretebileceği endişesinden doğdu. Dokuz farklı ML araştırma kodundan oluşan bu benchmark'ta, hiperparametreler, eğitim verisi ve değerlendirme kodları gibi implementasyon detayları sabote edilirken, makaledeki üst düzey metodoloji korunuyor. En gelişmiş dil modelleri ve insan denetçilerinin sabotajları tespit etmedeki performansı test edildi. Gemini 3.1 Pro'nun 0.77 AUROC ve %42 düzeltme oranıyla en iyi performansı göstermesi bile, mevcut sistemlerin bu tür sabotajları güvenilir şekilde tespit etmekte zorlandığını ortaya koyuyor.

Araştırmacılar, güvenlik önlemleriyle korunan büyük dil modellerinin nasıl manipüle edilebileceğine dair önemli bir keşif yaptı. Çalışma, kötü niyetli saldırıların başarı oranının belirli koşullarda yavaş polinom büyümeden hızlı üstel büyümeye geçebildiğini ortaya koyuyor. Bu geçiş, özellikle zararlı komutların ana sorulara enjekte edilmesiyle tetikleniyor. Araştırma ekibi, bu fenomeni açıklamak için spin-cam sistemlerine dayanan teorik bir model geliştirdi. Bu bulgular, AI güvenlik sistemlerinin nasıl aşılabileceğini anlamamız ve daha sağlam güvenlik önlemleri geliştirmemiz açısından kritik öneme sahip. Özellikle ChatGPT gibi modellerin güvenlik açıkları konusunda yeni perspektifler sunuyor.

Araştırmacılar, büyük dil modellerinin hafıza sistemlerindeki güvenlik açıklarını değerlendiren ilk kapsamlı test platformu MemEvoBench'i geliştirdi. Yapay zeka ajanlarına kalıcı hafıza eklenmesi, kişiselleştirilmiş deneyimler sunsa da yeni güvenlik riskleri yaratıyor. Kirli veya önyargılı bilgiler hafızada biriktikçe, AI ajanları anormal davranışlar sergileyebiliyor. Bu yeni platform, 7 farklı alanda 36 risk türünü kapsayan testlerle, AI sistemlerinin uzun vadeli hafıza güvenliğini ölçüyor ve yanıltıcı bilgilere maruz kalma sonucu ortaya çıkan davranışsal sapmaları analiz ediyor.

Araştırmacılar, kişisel tanımlayıcı bilgileri (PII) tespit eden yapay zeka sistemlerinin performansını değerlendirmek için PIIBench adlı kapsamlı bir benchmark veri seti geliştirdi. 2,4 milyon açıklamalı metin dizisi ve 3,35 milyon varlık referansı içeren bu veri seti, 10 farklı kaynaktan toplanan verileri birleştirerek 48 farklı kişisel bilgi türünü kapsıyor. Daha önce parçalı halde bulunan ve uyumsuz etiketleme sistemleri kullanan veri setlerini standart bir formatta birleştiren bu çalışma, kişisel veri koruma alanında çalışan AI sistemlerinin sistematik olarak karşılaştırılmasına olanak sağlayacak. Çok dilli NER veri setleri, sentetik PII korpusları ve finansal alan metinlerini kapsayan benchmark, veri gizliliği ve güvenliği konularında artan ihtiyaçlara yanıt veriyor.

Araştırmacılar, yapay zeka modellerindeki zararlı ve güvenli olmayan davranışları doğrudan kaynaklarından silmek için yeni bir yöntem geliştirdi. Mistral ve LLaVA gibi hizalanmış modeller bile eğitim sürecinden kalma istenmeyen davranışlar sergileyebiliyor. Mevcut güvenlik yöntemleri sadece tercih edilen yanıtları teşvik ediyor ancak zararlı çıktılara neden olan alt ağları doğrudan kaldırmıyor. Yeni geliştirilen 'budama' çerçevesi, gradyant-free bir atıf mekanizması kullanarak bu tehlikeli parametreleri tespit ediyor ve kaldırıyor. Sistem, GPU kaynaklarını verimli kullanırken farklı mimarilerde genelleştirilebiliyor. Deneysel sonuçlar, zararlı üretimlerde önemli azalma ve jailbreak saldırılarına karşı daha iyi direnç gösterirken model performansında minimal kayıp olduğunu ortaya koyuyor.

Sağlık gibi kritik alanlarda kullanılan yapay zeka sistemleri, kötü niyetli saldırılara karşı savunmasız kalabiliyor. Araştırmacılar, bu sistemleri korumak için anomali tespit edileri kullanıyor ancak mevcut yöntemler tüm hasta verilerini aynı şekilde işleyerek fizyolojik farklılıkları göz ardı ediyor. Bu durum gürültü yaratıp sistem performansını düşürüyor. Yeni geliştirilen ROAST adlı framework, saldırılara karşı daha az savunmasız olan hastaları belirleyip, eğitimi bu güvenilir veriler üzerine odaklayarak anomali tespitinin başarısını artırıyor. Sistem aynı zamanda hassasiyeti korumak için düşük riskli hasta verilerine yapay saldırı örnekleri ekliyor.

Yapay zeka sistemlerinin göğüs tomografisi görüntülerini analiz etme başarısı, gerçekte olduğundan çok daha yüksek görünüyor. Araştırmacılar, mevcut test yöntemlerinin ciddi bir hata içerdiğini keşfetti. Eğitim ve test verilerinde aynı hastalardan alınan görüntülerin karışması, yapay zekanın performansını olduğundan 3 kat daha iyi gösteriyor. Yeni geliştirilen CTSCAN kıyaslama sistemi bu sorunu çözmeyi hedefliyor. Doğru test yöntemleri uygulandığında, yapay zeka sistemlerinin başarı oranı %66'dan %20'ye düşüyor. Bu bulgular, tıp alanında yapay zeka sistemlerinin güvenilirliği konusunda önemli sorular ortaya çıkarıyor ve daha titiz test protokollerine ihtiyaç olduğunu gösteriyor.

Araştırmacılar, görsel-dil modellerinin (VLM) güvenlik açığını ortaya çıkaran yeni bir saldırı yöntemi geliştirdi. Bu yöntem, kumaş kırışıklıklarının fiziğinden ilham alarak, yüzeylerde oluşturulan gerçekçi deformasyonlarla yapay zeka sistemlerini yanıltabiliyor. Çalışma, günümüzde görüntü tanıma, açıklama oluşturma ve görsel soru-cevap gibi alanlarda kullanılan VLM'lerin, esnek yüzeylerdeki kırışıklık gibi fiziksel değişimlere karşı ne kadar savunmasız olduğunu gösteriyor. Geliştirilen parametrik pertürbasyon yöntemi, çok ölçekli kırışıklık alanları oluşturarak fotorealistik görüntü bozulmaları yaratıyor. Bu keşif, yapay zeka güvenliği açısından önemli çünkü gerçek dünyada kolayca uygulanabilir saldırıların mümkün olduğunu ortaya koyuyor.

Yapay zeka alanında büyük dil modelleri (LLM) giderek yaygınlaşırken, güvenlik endişeleri de artıyor. Bu modeller zararlı içerik üretme, önyargılı yaklaşımlar sergileme ve siber saldırılara karşı kırılgan olma gibi riskler taşıyor. Son dönemde, bu sorunları çözmek için eğitim gerektirmeyen yöntemler geliştirildi. Ancak bu yaklaşımların etkinliği tutarsız şekilde değerlendiriliyor ve beklenmedik yan etkileri bulunuyor. Yeni araştırma, mevcut eğitimsiz güvenlik yöntemlerinin kapsamlı bir analizini sunarak, bu tekniklerin gerçek performansını ortaya koyuyor. Çalışma, hem güvenlik hem de kullanılabilirlik açısından dengeli bir değerlendirme yaparak, yapay zeka güvenliği alanına önemli katkılar sağlıyor.

Araştırmacılar, polis kaza raporlarından otomatik olarak trafik kazası diyagramları oluşturabilen yapay zeka sistemleri geliştirdi. Görsel-dil modelleri kullanılan çalışmada, özellikle karmaşık kavşak türleri olan çok şeritli dönel kavşaklardaki kazalar test edildi. GPT-4o, Gemini ve Janus modellerinin karşılaştırıldığı araştırmada, yapay zekanın metinsel kaza raporlarını analiz ederek doğru ve anlaşılır görsel diyagramlar üretebileceği kanıtlandı. Bu teknoloji, şu anda manuel olarak hazırlanan ve zaman alıcı olan kaza diyagramı süreçlerini hızlandırabilir. Trafik güvenliği analizlerinde kritik rol oynayan bu diyagramların otomatik üretimi, hem insan hatasını azaltacak hem de ulaştırma güvenliği çalışmalarını daha verimli hale getirecek.

Üniversite öğrencileri üzerinde yapılan kapsamlı bir araştırma, interaktif öğrenme araçlarının geleneksel ders anlatım yöntemlerinden çok daha etkili olduğunu ortaya koydu. Kahoot, Quizizz gibi dijital platformların kullanıldığı interaktif grupta öğrenciler hem akademik başarıda hem de duygusal refah düzeyinde belirgin iyileşmeler gösterdi. Bilgisayar güvenliği dersi alan 100 üniversite öğrencisi ile gerçekleştirilen çalışmada, interaktif yöntemlerle eğitim alan öğrenciler final sınavında %80,8 başarı oranına ulaşırken, geleneksel yöntemle eğitim alanlar %61,4'te kaldı. Araştırma, modern eğitim teknolojilerinin sadece öğrenmeyi kolaylaştırmakla kalmayıp aynı zamanda öğrenci motivasyonunu ve duygusal sağlığını da olumlu etkilediğini gösteriyor.