Araştırmacılar, Vietnamca hukuki metinlerde doğal dil anlama için özel olarak tasarlanmış ilk büyük ölçekli veri setini oluşturdular. ViLegalNLI adlı bu veri seti, resmi yasal belgelerden türetilen 42.012 öncül-hipotez çifti içeriyor ve yapay zeka sistemlerinin hukuki metinleri daha iyi anlamasını sağlamayı hedefliyor. Veri seti, çok aşamalı mantıksal çıkarım, koşullu ifadeler ve hukuk terminolojisi gibi karmaşık yasal akıl yürütme senaryolarını kapsıyor. Bu çalışma, hukuk alanında yapay zeka uygulamalarının geliştirilmesi için önemli bir kaynak sunuyor ve özellikle Vietnamca gibi az kaynaklı diller için hukuki NLP araçlarının geliştirilmesinde kritik bir adım teşkil ediyor.

Büyük dil modelleri nasıl öğrendiklerini nereden biliyorlar? Bu sorunun cevabı, eğitim verilerinin genellikle 'kara kutu' gibi kapalı olması nedeniyle zor bulunuyordu. Araştırmacılar, tamamen açık eğitim verileriyle geliştirilmiş nanochat modellerini kullanarak NanoKnow adlı yeni bir veri seti geliştirdi. Bu çalışma, yapay zekanın parametrik bilgisinin nereden geldiğini şeffaf bir şekilde gösteriyor. NanoKnow, Natural Questions ve SQuAD veri setlerindeki soruları, cevaplarının nanochat'in eğitim korpusunda bulunup bulunmamasına göre ayırarak, dil modellerinin çıktı üretirken hangi bilgi kaynaklarına güvendiğini anlamayı mümkün kılıyor. Sekiz farklı nanochat checkpoint'i üzerinde yapılan deneyler, kapalı kitap doğruluğunun eğitim verilerindeki cevap sıklığından güçlü şekilde etkilendiğini ortaya koyuyor.

Araştırmacılar, büyük dil modellerinin metinlerdeki tutumları tespit etme yeteneklerini sistematik olarak inceledi. Çalışmada, basit komut verme yöntemleri ile çoklu yapay zeka ajanlarının tartışma yöntemleri karşılaştırıldı. Sonuçlar, basit yöntemlerin daha etkili olduğunu ve çok ajanlı sistemlerin 7-12 kat daha fazla işlem gücü gerektirdiğini ortaya koydu. Araştırma, model boyutunun yöntem seçiminden daha önemli olduğunu ve performans artışının 32 milyar parametre civarında sabitlendiğini gösterdi. Bu bulgular, yapay zeka uygulamalarında verimlilik ve maliyet dengesinin önemini vurguluyor.

Büyük dil modellerinin hızla gelişmesiyle birlikte, bu sistemlerin değerlendirilme yöntemleri de sorgulanmaya başlandı. Ancak araştırmacılar, bu tartışmaların aslında doğal dil işleme (NLP) alanında uzun yıllardır sürdüğünü belirtiyor. Yeni bir çalışma, NLP değerlendirme yöntemlerindeki temel sorunları kapsamlı bir şekilde inceleyerek, bu alandaki tekrarlayan tartışmaları ve ödünleşimleri sistematik bir taksonomide topladı. Çalışma, çağdaş tartışmaları tarihsel bağlamına oturtarak, değerlendirme uygulamaları hakkında daha bilinçli kararlar alınmasına yardımcı olmayı hedefliyor. Araştırma ayrıca, daha dikkatli değerlendirme tasarımı ve yorumlama için yapılandırılmış bir kontrol listesi sunuyor. Bu yaklaşım, yapay zeka sistemlerinin performansını daha güvenilir şekilde ölçme konusunda önemli bir kaynak oluşturuyor.

Yapay zeka sistemlerinde farklı diller arasında bilgi transferi yaparken en büyük engellerden biri yazı sistemleri arasındaki farklılıklardır. Araştırmacılar, bir dilin yazı sistemini başka bir dile dönüştürme işlemi olan transliterasyonun, bu sorunu nasıl çözdüğünü kapsamlı bir şekilde incelediler. Çalışma, dil modelerinde transliterasyon kullanımının temel motivasyonlarını sınıflandırıyor ve farklı yaklaşımları değerlendiriyor. Özellikle karma dil metinlerinin işlenmesi, dil ailesi yakınlığından yararlanma ve çıkarım verimliliğini artırma gibi alanlarda transliterasyonun sağladığı faydalar ele alınıyor. Bu teknik, özellikle modern büyük dil modellerinin çok dilli yeteneklerini geliştirmede kritik bir rol oynuyor.

Araştırmacılar, yapay zeka modellerinin dil konusundaki temel bilgisini ölçmek için yenilikçi bir yaklaşım geliştirdi. IASC adlı sistem, büyük dil modellerini kullanarak tamamen yeni yapay diller (ConLang) oluşturuyor. Bu yaklaşım, yapay zekanın belirli bir dili değil, dil kavramını ne kadar anladığını test ediyor. Sistem ses bilimi, biçim bilgisi, söz dizimi, sözlük ve yazım kuralları gibi dilin tüm bileşenlerini modüler bir şekilde üretiyor. Her modül, önceki adımların otomatik olarak değerlendirilmesi ve iyileştirilmesine olanak tanıyan ajansal bir yaklaşımla çalışıyor. Bu çalışma, hem yapay dil oluşturma sürecini kolaylaştıran pratik araçlar sunuyor hem de yapay zekanın dil bilgisi konusundaki meta-bilgisini anlamak için çığır açan bir framework sunuyor.

Hindistan'ın zengin dil çeşitliliğini yansıtan kapsamlı bir doğal dil işleme (NLP) kaynakları araştırması yayınlandı. 22 resmi dil ve yüzlerce yerel lehçeyi kapsayan bu çalışma, ilk kez Hint dillerine özel geliştirilen 200'den fazla veri seti, 50'den fazla değerlendirme kriteri ve 100'den fazla yapay zeka modelini tek çatı altında topladı. Araştırma, metin, ses ve çok modlu görevleri içeren kaynakları dil bilimsel özellikler, alan ve modalitelere göre kategorize etti. Çalışma, düşük kaynaklı diller için veri yetersizliği, dengesiz dil kapsamı ve kültürel çeşitliliğin modellenmesindeki zorluklar gibi kalıcı sorunları da belirliyor.