Büyük dil modellerinin (LLM) analitik görevlerdeki başarısı, sahip oldukları geniş önceden öğrenilmiş bilgi tabanından kaynaklanıyor. Bu modeller belirsiz girişleri yorumlayabilir ve eksik bilgileri tamamlayabilir. Ancak aynı yetenek, beklenmedik bir riski de beraberinde getiriyor.
Araştırmacılar, 'bilgi odaklı halüsinasyon' adını verdikleri yeni bir fenomeni keşfetti. Bu durumda, yapay zeka modelinin çıktısı, kaynak belgelerdeki açık delillerle çelişiyor çünkü modelin genelleştirilmiş iç bilgisi bu delilleri geçersiz kılıyor.
Çalışma, otomatik süreç modellemesi görevinde yapay zeka modellerini değerlendirerek bu fenomeni inceliyor. İş Süreçleri Yönetimi (BPM) alanı, bu araştırma için ideal bir ortam sunuyor. Birçok temel iş süreci standart kalıpları takip ettiği için, yapay zeka modellerinin bu konularda güçlü önceden öğrenilmiş şemalar geliştirmiş olma olasılığı yüksek.
Araştırma ekibi, kasıtlı çelişkiler içeren senaryolar yaratan kontrollü deneyler gerçekleştirdi. Bu deneyler, modellerin ne zaman kendi iç bilgilerini kaynak belgelerdeki açık bilgilere tercih ettiğini ortaya koydu.
Bu bulgular, özellikle analitik görevlerde kullanılan yapay zeka sistemlerinin güvenilirliği açısından kritik öneme sahip. Modellerin sahip olduğu güçlü önceden öğrenilmiş bilgi, bazen kaynak belgelerdeki gerçek bilgileri gölgeleyebiliyor.