Stanford ve diğer üniversitelerden araştırmacılar, yapay zeka modellerinin ekonomik ortamlarda nasıl performans gösterdiğini anlamak için Market-Bench adlı yenilikçi bir test sistemi geliştirdi. Bu sistem, büyük dil modellerinin gerçek piyasa koşullarındaki davranışlarını simüle ediyor.
Market-Bench'te yapay zeka modelleri perakendeci rolünü üstleniyor ve iki aşamalı bir süreçte rekabet ediyor. İlk aşamada 'tedarik' sürecinde, sınırlı bütçeleri olan AI ajanları, kısıtlı envanter için açık artırmalarda teklif veriyor. İkinci aşamada ise 'perakende' sürecinde, satış fiyatlarını belirliyor ve müşterileri cezbetmek için pazarlama sloganları üretiyor.
Sistem, her bir AI ajentının teklif geçmişini, fiyat stratejilerini, pazarlama yaklaşımlarını, satış performansını ve mali durumunu detaylı şekilde kayıt altına alıyor. Bu veriler, modellerin ekonomik, operasyonel ve anlambilimsel açılardan otomatik değerlendirilmesini sağlıyor.
Araştırma, 20 farklı açık ve kapalı kaynaklı büyük dil modelini test etti. Sonuçlar, yapay zeka modellerinin ekonomik karar verme, kaynak yönetimi ve rekabet stratejileri geliştirme konularında ne düzeyde başarılı olduğunu ortaya koyuyor.
Bu çalışma, yapay zekanın gelecekte ekonomik sistemlerde nasıl rol alabileceği konusunda önemli ipuçları sunuyor.