Yapay zeka alanında büyük dil modellerinin gücü tartışmasız olsa da, kaynak tüketimi ve maliyet sorunları nedeniyle küçük modellerin geliştirilmesi kritik önem taşıyor. Bu bağlamda yeni bir araştırma, küçük dil modellerinin performansını önemli ölçüde artıran yaratıcı bir yaklaşım sunuyor.
Araştırmacılar, konuya odaklı özetleme için 'bağlam eşleştirme' adını verdikleri bir veri artırma stratejisi geliştirdi. Bu yöntem, farklı belgelerden alınan bağlamları birleştirerek karşıtlık içeren eğitim örnekleri oluşturuyor. Böylece modeller, belirli konular ile özetler arasındaki ilişkileri daha net anlayabiliyor.
SciTLDR veri seti kullanılarak yapılan kapsamlı testlerde, Wikipedia konularıyla zenginleştirilmiş verilerle eğitilen modeller dikkat çekici sonuçlar verdi. Veri artırma ölçeği büyüdükçe modellerin başarı oranı ve anlambilimsel uyumu sürekli artış gösterdi.
En çarpıcı sonuç, T5-base modelinin bu yöntemle eğitildiğinde çok daha büyük modellerle rekabet edebilir performans sergilemesi oldu. Bu gelişme, sınırlı kaynaklarla çalışan araştırmacılar ve şirketler için önemli fırsatlar yaratıyor.