Stanford Üniversitesi araştırmacıları, büyük dil modellerinin uzun belgelerle çalışırken karşılaştığı temel sorunlara yenilikçi bir çözüm geliştirdi. SAGE (Selective Attention-Guided Extraction) adlı bu yeni framework, yapay zeka modellerinin gereksiz veri işleme yükünü önemli ölçüde azaltıyor.
Mevcut sistemlerde, bir akademik makale veya teknik rapor hakkında soru sorulduğunda, model tüm belgeyi baştan sona işlemek zorunda kalıyor. Bu durum hem yüksek maliyetlere hem de yavaş yanıt sürelerine yol açıyor. Dahası, gereksiz bilgi kirliliği yanıt kalitesini düşürürken veri güvenliği risklerini de artırıyor.
SAGE sistemi, bu sorunu modellerin doğal dikkat mekanizmalarını kullanarak çözüyor. Hafif bir yerel dil modeli kullanarak tek bir ön tarama yapıyor ve sadece soruyla ilgili bölümleri tespit ediyor. Bu sayede işlem yapılacak metin miktarı dramatik olarak azalıyor.
Geleneksel RAG (Retrieval-Augmented Generation) sistemlerinin aksine, SAGE farklı belge yapılarına daha dayanıklı ve alan-spesifik ayarlamalar gerektirmiyor. Araştırmacılar, sistemin mevcut modellere ek eğitim olmadan kolayca entegre edilebileceğini ve çeşitli görevlerde tutarlı performans sergilediğini belirtiyor.
Bu gelişme, özellikle araştırma, hukuk ve teknik dokümantasyon alanlarında çalışan profesyoneller için büyük önem taşıyor. Uzun belgelerin daha verimli işlenmesi, hem zaman hem de kaynak tasarrufu sağlayacak.