“fine-tuning” için sonuçlar
7 sonuç bulundu. Sonuçları kategoriye göre daraltabilirsin.
Makine öğrenmesi atomik potansiyel modellerinde fine-tuning stratejileri geliştirildi
Araştırmacılar, makine öğrenmesi tabanlı atomik potansiyel (MLIP) modellerini özel görevlere uyarlama konusunda sistematik bir rehber geliştirdi. Çalışmada yedi farklı fine-tuning stratejisi test edildi: tam parametre güncellemesi, katman dondurma, düşük rankli adaptasyon (LoRA), çok başlı tekrar ve sözde etiketli tekrar yöntemleri. Bu stratejiler, sulu NaCl çözeltilerinden buz polimorflara, biyomoleküller ve lityum elektrolitlerinden kimyasal reaksiyonlara kadar beş farklı kimyasal benchmark üzerinde değerlendirildi. Araştırma, MACE kod tabanına eşdeğişken mesaj geçirme mimarileri için LoRA adaptasyonu dahil üç yeni yetenek kazandırdı. Bulgular, hangi durumlarda hangi fine-tuning yaklaşımının en etkili olduğunu göstererek, bilim insanlarının bu güçlü modelleri kendi araştırma alanlarına daha verimli şekilde uyarlamalarına olanak sağlıyor.
Kuantum İşlemciler Yapay Zeka Modellerini Klasik Bilgisayarlardan Daha Verimli Eğitiyor
Stanford ve IonQ araştırmacıları, kuantum işlemcilerin yapay zeka modellerini eğitmek için enerji tüketimi açısından klasik bilgisayarlardan ne zaman daha avantajlı hale geleceğini belirledi. Trapped-ion kuantum işlemci kullanarak gerçekleştirdilen deneylerde, kuantum fine-tuning yöntemiyle eğitilen AI modelleri, lojistik regresyon gibi klasik yöntemlerden %24 daha iyi performans gösterdi. Araştırma, 34 kubit civarında kuantum işlemcilerin enerji verimliliği açısından klasik sistemleri geçmeye başladığını ortaya koyuyor.
Yapay Zeka Hafıza Sistemi: LLM'ler Artık Deneyimlerinden Öğrenebiliyor
Araştırmacılar, büyük dil modellerinin (LLM) etiketli örneklerden öğrenmesi için yeni bir hafıza destekli sistem geliştirdi. Geleneksel fine-tuning yöntemlerinin maliyetli ve esnek olmayan yapısına alternatif olan bu sistem, episodik ve semantik hafıza türlerini kullanıyor. Episodik hafıza geçmiş deneyimleri saklarken, semantik hafıza bunları yeniden kullanılabilir rehberlere dönüştürüyor. Test sonuçlarında, bu yaklaşım sıfır-atış temel modellere göre ortalama %8.1, yalnızca etiket kullanan RAG sistemlerine göre %4.6 oranında iyileşme sağladı. Sistem, LLM'lerin parametrelerini güncellemeden öğrenmesine olanak tanıyarak, yapay zeka alanında önemli bir adım oluşturuyor.
Yapay Zeka Belirsizliği Nasıl Algılıyor? Yeni Topolojik Yöntem Çıkmazları Ortaya Çıkarıyor
Stanford araştırmacıları, dil modellerinin belirsiz durumları nasıl işlediğini anlamak için topolojik veri analizi kullandı. Geleneksel doğruluk ölçütlerinin yakalayamadığı gizli yapıları ortaya çıkaran bu çalışma, özellikle insan değerlendiricilerin farklı görüşlere sahip olduğu durumlarda modellerin iç temsil sistemlerini inceliyor. RoBERTa-Large modelinde yapılan testler, fine-tuning sürecinin embedding uzayını modüler bölgelere ayırdığını ve belirsiz veriler karşısında modelin aşırı güvenli davrandığını gösteriyor. Bu bulgular, yapay zeka sistemlerinin karar verme mekanizmalarını daha iyi anlamamızı sağlıyor.
Yapay Zeka Modellerinde Seyreklik Devrimi: SEFT Yöntemi ile Büyük Modeller Küçülüyor
Araştırmacılar, büyük dil modellerinin hesaplama yükünü azaltmak için yeni bir yöntem geliştirdi. SEFT (Sparsity Evolution Fine-Tuning) adlı bu teknik, modellerin boyutunu küçültürken performanslarını korumalarına olanak tanıyor. Geleneksel budama yöntemleri yüksek seyreklik seviyelerinde model performansını düşürürken, SEFT dinamik bir yaklaşımla modelin seyrek yapısını eğitim sırasında geliştirir. Bu breakthrough, yapay zeka modellerinin mobil cihazlarda ve sınırlı kaynaklara sahip sistemlerde daha verimli çalışmasının önünü açıyor. Yöntem, 'ağırlık bırakma ve büyütme' stratejisiyle görev odaklı adaptasyon sağlayarak, hem model boyutunu küçültüyor hem de performansı koruyor.
Yapay Zeka Modelleri Tartışmalı Örnekleri 'Unutuyor': LoRA Eğitiminde Şaşırtıcı Keşif
Araştırmacılar, yapay zeka modellerinin LoRA fine-tuning yöntemiyle eğitilirken beklenmedik bir davranış sergilediğini keşfetti. Uzmanların görüş ayrılığı yaşadığı tartışmalı örneklerde, modeller eğitim sürecinde performans kaybı yaşıyor - yani bu örnekleri 'unutuyor'. Bu durum, geleneksel tam eğitim yöntemlerinde görülmeyen ve altı farklı modelde tutarlı bir şekilde ortaya çıkan niteliksel olarak farklı bir öğrenme deseni oluşturuyor. ChaosNLI veri setindeki örnek başına 100 etiketle hesaplanan annotasyon entropisi ve SNLI ile MNLI'deki kayıp eğrisi alanı arasında pozitif korelasyon bulundu.
Büyük Dil Modelleri Zararlı İçeriği Tek ve Birleşik Bir Mekanizma ile Üretiyor
Araştırmacılar, büyük dil modellerinin zararlı davranışları engellemek için aldıkları güvenlik önlemlerinin neden bu kadar kırılgan olduğunu keşfetti. Jailbreak saldırılarının ve dar alanlardaki fine-tuning işlemlerinin güvenlik duvarlarını nasıl aştığını açıklayan birleşik bir mekanizma tespit edildi.