Yapay zeka sohbet robotları, uzun konuşmalarda büyük bir sorunla karşılaşıyor: konuşma ilerledikçe performansları ciddi şekilde düşüyor. Çok turlu etkileşimlerin sohbet arayüzlerinde yaygın olmasına rağmen, mevcut yaklaşımlar tüm sohbet geçmişini hafızada tutmaya çalışarak hızla kapasiteyi dolduruyor.
Geleneksel yöntem olan tam sohbet geçmişini talimatlarla birleştirme yaklaşımı, bağlam pencerelerini hızla tüketiyor. Bu durum artan gecikme, yüksek hesaplama maliyetleri ve konuşmalar uzadıkça azalan verimlilikle sonuçlanıyor.
Araştırmacılar, bu soruna MT-OSC adlı Tek Seferlik Sıralı Sıkıştırma çerçevesini geliştirdi. Bu sistem, kullanıcı deneyimini bozmadan sohbet geçmişini arka planda otomatik olarak özetliyor. MT-OSC, az örnekli çıkarım tabanlı bir Sıkıştırıcı ve hafif bir Karar Verici kullanan bir Sıkıştırıcı Ajan içeriyor.
Sistem, önemli bilgileri seçici olarak koruyarak 10 turlu diyaloglarda token sayısını %72'ye kadar azaltabiliyor. 13 son teknoloji büyük dil modeli ve çeşitli çok turlu kıyaslama testlerinde değerlendirilen MT-OSC, çok turlu performans açığını tutarlı şekilde daraltıyor.
Bu gelişme, yapay zeka asistanlarının uzun sohbetlerde daha etkili çalışması açısından önemli bir adım teşkil ediyor.