Araştırmacılar, büyük dil modellerinin uzun metinleri işlerken karşılaştığı en büyük sorunu çözen yeni bir yöntem geliştirdi. Token Sparse Attention adlı bu teknik, modellerin dikkat mekanizmasındaki karmaşıklığı büyük ölçüde azaltıyor. Geleneksel yöntemler, önemli bilgileri kalıcı olarak siliyor ya da katı kalıplarla çalışıyordu. Yeni yaklaşım ise dinamik bir şekilde hangi bilgi parçalarının önemli olduğunu belirleyip, gerektiğinde bu bilgileri sonraki işlemlerde yeniden değerlendiriyor. Bu sayede hem hız kazanılıyor hem de bilgi kaybı önleniyor.

Melbourne Üniversitesi liderliğindeki araştırma ekibi, tüberküloz bakterisinde kritik bir enzimin nasıl etkinleştiğini ortaya çıkardı. Communications Biology dergisinde yayınlanan çalışma, Mycobacterium tuberculosis bakterisinin ICL2 adlı anahtar enzimindeki gizli düzenleme mekanizmasını açığa çıkarıyor. Avustralya Sinkrotronu ve Ulusal Nötronlama Tesisi'ndeki ileri teknikleri birleştiren bilim insanları, bu enzimin allosterik aktivasyon mekanizmasını görünür hale getirdi. Bu keşif, ilaç dirençli tüberküloza karşı yeni tedavi stratejileri geliştirilmesinde önemli bir adım olarak değerlendiriliyor. Dünya çapında ciddi bir sağlık tehdidi olan tüberküloza karşı mücadelede protein düzenleme mekanizmalarının anlaşılması kritik önem taşıyor.

Araştırmacılar, büyük yapay zeka modellerinin eğitimi ve çalışması sırasında bellek kullanımını optimize eden yeni bir teknik geliştirdi. TSP (Tensor ve Sequence Parallelism) adı verilen bu yöntem, geleneksel paralel işlem yaklaşımlarını birleştirerek hem model ağırlıklarını hem de veri dizilerini aynı cihaz ekseni üzerinde paylaştırıyor. Bu sayede her cihazın bellek yükü önemli ölçüde azalırken, büyük dil modellerinin daha az donanım kaynağıyla çalıştırılması mümkün hale geliyor. Özellikle attention mekanizmaları ve gated MLP'ler için özel çalışma zamanı programları geliştiren teknik, iletişim maliyeti artışı pahasına bellek verimliliğinde önemli kazanımlar sağlıyor.

Kanada Işık Kaynağı'nda (CLS) gerçekleştirilen araştırmada, sinkrotron radyasyonu kullanılarak X-ışını girişimi tekniğiyle uzaysal uyumluluk derecesi ölçüldü. Çift yarık deneyine benzer bu yöntemle, depolama halkasındaki bağlaşım faktörü ile ışığın uyumluluğu arasındaki ters ilişki kanıtlandı. 7 keV enerjisindeki X-ışınlarıyla yapılan deneylerde, bağlaşım faktörü azaldıkça dikey uyumluluk derecesinin arttığı gözlemlendi. Bulgular, parçacık hızlandırıcılarında ışın kalitesinin daha iyi kontrol edilebileceğini gösteriyor.

Araştırmacılar, binaların ve altyapının görsel muayenesinde hasarları otomatik olarak tespit edebilen DeltaSeg adlı yeni bir yapay zeka sistemi geliştirdi. Sistem, farklı hasar türlerini ayırt etme konusundaki zorlukları aşmak için çok katmanlı dikkat mekanizması kullaniyor. Geleneksel yöntemlerin aksine, DeltaSeg hasarın kesin sınırlarını belirleyebiliyor ve farklı ölçeklerdeki kusurları eş zamanlı olarak analiz edebiliyor. Model, encoder-decoder mimarisi üzerine kurulu olup, özellikle Deep Delta Attention adlı yenilikçi bir mekanizma içeriyor. Bu teknoloji, inşaat ve altyapı sektöründe güvenlik denetimlerini hızlandırabilir ve insan hatasını minimize edebilir.

Araştırmacılar, meme kanseri tanısında devrim yaratabilecek yeni bir yaklaşım geliştirdi. Derin ultraviyole (DUV) floresan görüntüleme teknolojisi, geleneksel histopatolojik yöntemlere kıyasla çok daha hızlı ve hassas sonuçlar veriyor. Bu teknik, boya kullanımına gerek duymadan yüksek kontrastlı görüntüler elde ediyor ve ameliyat sırasında hızlı karar verebilme olanağı sunuyor. Çalışmada geliştirilen Region-Affinity Attention adlı yapay zeka sistemi, tüm preparatı bir bütün olarak değerlendirerek mevcut parça-tabanlı yöntemlerin eksikliklerini gideriyor. Bu yenilik, özellikle ameliyathane ortamında hızlı ve doğru tanı koyma açısından büyük önem taşıyor.

Araştırmacılar, ChatGPT benzeri büyük dil modellerinin en büyük sorunlarından birini çözen Lizard adlı yenilikçi bir çerçeve geliştirdi. Transformer mimarisindeki büyük dil modelleri, uzun metinlerle çalışırken kvadratik karmaşıklık nedeniyle ciddi hesaplama ve bellek darboğazları yaşıyor. Lizard, önceden eğitilmiş modelleri subkuadratik mimarilere dönüştürerek bu sorunu çözüyor. Geleneksel softmax attention mekanizmasının yerini alan yeni yaklaşım, model kalitesini korurken hesaplama maliyetini önemli ölçüde düşürüyor. Önceki doğrusallaştırma yöntemlerinden farklı olarak, Lizard adaptive bellek kontrolü sağlayan öğrenilebilir modüller içeriyor ve uzun dizilerde daha iyi genelleme yapabiliyor.

Araştırmacılar, hamilelik dönemindeki ultrason görüntülerinde bebek kafasını tespit etmek için yeni bir yapay zeka modeli geliştirdi. Attention-ResUNet adı verilen bu sistem, geleneksel derin öğrenme yaklaşımlarının ultrason görüntülerindeki düşük kontrast, gürültü ve karmaşık anatomik sınırlar gibi zorluklarla başa çıkma sorunlarını çözmeyi hedefliyor. Yeni mimari, kalıntı öğrenme tekniğini çok ölçekli dikkat mekanizmalarıyla birleştirerek, anatomik olarak önemli bölgelere odaklanırken arka plan gürültüsünü bastırıyor. 200 görüntü içeren HC18 Challenge veri seti üzerinde yapılan testlerde sistem yüzde 99.30 Dice skoru elde ederek üstün performans sergiledi. Bu gelişme, doğum öncesi bakımda daha doğru biyometrik ölçümler yapılmasına olanak sağlayabilir.

Araştırmacılar, yüksek-rütbeli graflar olarak bilinen matematiksel yapılarla ilişkili Kumjian-Pask cebirlerinin sınıflandırılması için gradeli K-teorisinin temellerini attı. Bu çalışma, soyut matematiğin en karmaşık alanlarından birinde önemli bir ilerleme kaydediyor. Çalışmada, sonlu olmayan yol grupoidlerinin gradeli sıfırıncı homolojisi ile Kumjian-Pask cebirlerinin gradeli Grothendieck grubu arasında bir izomorfizm kuruldu. Bu matematiksel bağlantı, bu cebirlerin yapısal özelliklerini anlamak için güçlü bir araç sunuyor. Araştırma aynı zamanda belirli grafik dönüşümlerinin (in-splitting ve sink deletion) gradeli K-teorisini koruduğunu ve gradeli Morita eşdeğer cebirler ürettiğini gösteriyor. Bu bulgular, gradeli K-teorisinin bu cebirlerin sınıflandırılmasında etkili bir araç olabileceğine dair güçlü kanıtlar sunuyor.

Matematik dünyasında önemli bir adım atıldı. Araştırmacılar, optimal taşıma teorisinin temel kavramlarından olan 'gölge' projeksiyonunun kararlılığını ölçmeyi başardı. Bu çalışma, büyük veri kümelerinin analiz edilmesi ve makine öğrenmesi algoritmalarının performansının artırılması açısından kritik önem taşıyor. Wasserstein mesafesi kullanılarak yapılan projeksiyonlar, özellikle Sinkhorn algoritmasının kararlılığını anlamak için hayati rol oynuyor. Yeni bulgular, bu matematiksel yapıların ne kadar güvenilir olduğunu göstererek, veri bilimindeki uygulamalara sağlam temeller sağlıyor.

Araştırmacılar, büyük dil modellerinin uzun metinleri işlerken karşılaştığı bellek darboğazını çözen yenilikçi bir yöntem geliştirdi. SinkRouter adlı bu teknik, modellerin dikkat mekanizmasındaki 'attention sink' fenomenini analiz ederek, gereksiz hesaplamaları atlayabiliyor. Geleneksel yöntemlerin aksine doğruluktan ödün vermeden 3 kata kadar hızlanma sağlayan sistem, ChatGPT benzeri modellerin kitap boyutundaki metinleri daha verimli işlemesini mümkün kılıyor. Bu gelişme, yapay zeka sistemlerinin günlük kullanımda daha hızlı ve ekonomik çalışmasının yolunu açıyor.