Yapay zeka modellerinin hukuk gibi uzman alanlardaki muhakeme yeteneklerini değerlendirmek, güvenilirlik ve açıklanabilirlik açısından kritik önem taşıyor. Bu alandaki boşluğu doldurmak için araştırmacılar, LEGIT (Legal Issue Trees) adlı kapsamlı bir veri seti geliştirdi.
24 bin örnek içeren bu uzman düzeyindeki veri seti, mahkeme kararlarını hiyerarşik ağaç yapılarına dönüştürüyor. Bu ağaçlar, karşıt tarafların argümanları ile mahkemenin vardığı sonuçları sistematik olarak organize ediyor ve AI modellerinin muhakeme izlerini değerlendirmek için rubrik görevi görüyor.
Araştırmacılar, bu rubrikların güvenilirliğini uzman hukukçuların değerlendirmeleri ve daha az ayrıntılı rubriklerle karşılaştırma yoluyla doğruladı. LEGIT veri setini kullanarak yapılan testler, mevcut AI modellerinin hukuki muhakemesinde iki temel sorunu olduğunu gösterdi: hukuki konuları tam kapsamlı ele alamama ve yanlış sonuçlara varma.
Öte yandan çalışma, bilgi destekli üretim (RAG) ve rubrik tabanlı pekiştirmeli öğrenme tekniklerinin AI'ların hukuki muhakeme performansını önemli ölçüde iyileştirebildiğini ortaya koydu. Bu gelişme, yapay zekanın hukuk alanındaki uygulamaları için umut verici bir adım olarak değerlendiriliyor.