Yapay zeka alanında yeni nesil büyük dil modelleri olan difüzyon dil modellerinin (DLM) beklenmedik bir sorunu keşfedildi. Araştırmacılar, bu modellerin aynı soruya farklı zamanlarda verdikleri yanıtların tutarsız olabildiğini, ancak geleneksel değerlendirme yöntemlerinin bu kararsızlığı maskelediğini ortaya koydu. Mevcut test sistemleri, binlerce örneğin ortalamasına bakarak modelin genel performansını ölçüyor, böylece bireysel örneklerdeki büyük farklılıklar gözden kaçıyor. Bu durum, aynı genel performansa sahip iki model konfigürasyonunun, tekil sorularda tamamen farklı davranabilmesi anlamına geliyor. Araştırma ekibi, her bir örneği ayrı ayrı inceleyerek modellerin ne kadar tutarsız olduğunu daha detaylı ölçen yeni bir değerlendirme sistemi geliştirdi.

Büyük dil modellerinin (LLM) öngörülemeyen davranışlar sergilemesinin ardındaki temel sebep ortaya çıkarıldı. ArXiv'de yayınlanan yeni araştırma, bu modellerin kaotik davranışlarının sayısal hassasiyet sınırlarından kaynaklandığını gösteriyor. Bilim insanları, kayan nokta sayılarındaki küçük yuvarlama hatalarının transformer katmanları boyunca nasıl yayıldığını ve büyüdüğünü izledi. Araştırmacılar, erken katmanlarda 'çığ etkisi' adını verdikleri kaotik bir fenomen keşfetti - küçük değişiklikler ya hızla büyüyor ya da tamamen sönüyor. Bu bulgular, yapay zeka sistemlerinin güvenilirliği için kritik önem taşıyor. Özellikle LLM'lerin otonom süreçlerde kullanımı arttıkça, bu öngörülemezlik ciddi bir güvenilirlik sorunu haline geliyor. Çalışma, farklı ölçeklerdeki modellerin üç farklı davranış rejimi sergilediğini ortaya koyuyor.

Yeni bir araştırma, yapay zeka dil modellerinin boyutu büyüdükçe paradoksal bir davranış sergilediğini ortaya koyuyor. Cornell Üniversitesi araştırmacıları, büyük modellerin yanlış bilgilere karşı daha dirençli hale gelirken, aynı zamanda rastgele ve anlamsız metinleri taklit etme eğiliminin arttığını keşfetti. Cerebras-GPT ve Pythia model ailelerini analiz eden çalışma, bu durumun öngörülebilir matematiksel yasalara uyduğunu gösteriyor. En büyük modeller, yanlış bilgilere karşı en küçük modellerden dört kat daha dirençliyken, anlamsız içerikleri kopyalama konusunda iki kat daha eğilimli. Bu bulgu, AI sistemlerinin geliştirilmesinde önemli bir ikilem olduğuna işaret ediyor.

Araştırmacılar, bilgisayar programlarını otomatik olarak üreten yapay zeka sistemlerini hızlandırmak için yenilikçi bir yaklaşım geliştirdi. 'Presynthesis' adı verilen bu teknik, program sentezi sürecinde karşılaşılan temel bir sorunu çözüyor. Normalde daha ayrıntılı soyut semantikler kullanıldığında, yanlış programlar daha iyi ayıklanabilir ancak bu işlem daha uzun sürer. Yeni yaklaşım, çevrimdışı bir ön-hazırlık aşaması ekleyerek bu dengeyi optimize ediyor. İlk aşamada girdi uzayı için bir ağaç otomatı oluşturuluyor, ikinci aşamada ise bu otomatın gereksiz kısımları ayıklanıyor. Bu sayede program sentezi hem daha hızlı hem de daha verimli hale geliyor. Gelişme, otomatik kod üretimi ve yazılım geliştirme araçları için önemli iyileştirmeler vaat ediyor.