Yapay zeka alanında küçük dil modelleri (SLM) ile büyük modeller arasındaki performans-maliyet dengesini kurmaya yönelik önemli bir gelişme yaşandı. Araştırmacılar, küçük modellerin temel zayıflığı olan 'kendi hatalarını düzeltememe' sorununa çözüm getiren yeni bir sistem geliştirdi.
Semantic Gradient Descent (SGDe) adı verilen bu yöntem, öğretmen-öğrenci modelini temel alıyor. Sistemde büyük bir dil modeli 'öğretmen' rolünü üstlenirken, küçük model 'öğrenci' konumunda yer alıyor. Öğretmen model, doğal dil kullanarak eleştiriler sunuyor ve bu eleştiriler, küçük modelin çalışma süreçlerini iyileştirmek için yönlendirici gradient görevi görüyor.
Bu yaklaşımın en dikkat çekici özelliği, PAC öğrenme çerçevesi içinde matematiksel olarak formüle edilmesi. Araştırmacılar, öğretmen modeli istatistiksel bir ön bilgi kaynağı olarak kullanarak, hedeflenen sentetik görevlerde sadece üç eğitim örneğiyle bile etkili sonuçlar elde edilebildiğini gösteriyor.
SGDe, ajansal iş akışlarını ayrık yürütme planlarına dönüştürerek çalışıyor. Bu planlar DAG topolojileri, sistem komutları ve deterministik çalıştırılabilir kod içeriyor. Böylece küçük modeller daha yapılandırılmış ve güvenilir hale geliyor.
Bu gelişme, işletmelerin yüksek maliyetli büyük modellerden vazgeçmeden, veri egemenliği endişelerini de gidererek daha verimli AI çözümleri kullanabilmesinin yolunu açabilir.