Yapay zeka alanında kod anlama ve üretme konusunda önemli bir gelişme yaşandı. Araştırmacılar, büyük dil modellerinin programlama yeteneklerini artırmak için matematiksel doğrulama araçlarından yararlanan yenilikçi bir sistem geliştirdi.
Sistem, 'kendine karşı oyun' prensibi üzerine kurulu. Bu yaklaşımda iki farklı yapay zeka modeli birlikte çalışıyor: biri kod üreten, diğeri bu kodları değerlendiren. Değerlendirici model, üretilen kodların anlam bakımından eşdeğer olup olmadığını Liquid Haskell adlı formal doğrulama aracı kullanarak belirliyor.
Araştırma kapsamında OpInstruct-HSx adlı yeni bir veri seti oluşturuldu. Bu veri seti, yaklaşık 28 bin doğrulanmış Haskell programını içeriyor ve açık kaynak olarak sunuluyor. Sistemin eğitiminde zorluk derecesine göre düzenlenmiş bir müfredat yaklaşımı benimsenmiş.
Yapılan deneyler, bu yöntemle eğitilen modellerin EquiBench testinde yüzde 13,3'e varan doğruluk artışı gösterdiğini ortaya koydu. Ayrıntılı analizler, matematiksel eşdeğerlik kanıtlarının modelin mantıksal düşünme yeteneklerinin gelişiminde kritik rol oynadığını gösteriyor.
Bu çalışma, yapay zekanın kod anlama yeteneklerinin geliştirilmesinde formal doğrulama yöntemlerinin potansiyelini göstermesi açısından önem taşıyor.