Yapay zeka ajanları aynı API hizmetini paylaştıklarında, tıpkı bilgisayar işletim sistemlerindeki programların CPU ve bellek için yarıştığı gibi kaynak çekişmesi yaşıyor. Araştırmacılar bu sorunu çözmek için HiveMind adlı yenilikçi bir sistem geliştirdi.
Araştırma ekibi, 11 paralel çalışan ajandan 3'ünün bağlantı kesintileri ve HTTP 502 hataları nedeniyle çöktüğü bir durumu inceledi. Bu %27'lik başarısızlık oranı, API'nin teknik olarak tüm ajanları sırayla karşılayacak kapasiteye sahip olmasına rağmen gerçekleşti.
HiveMind, beş farklı işletim sistemi ilhamlı programlama tekniği kullanıyor: giriş kontrolü, hız limiti takibi, AIMD geri basınç mekanizması, token bütçe yönetimi ve öncelik kuyruğu. Bu teknikler, koordinasyonsuz paralel çalışmanın neden olduğu arıza türlerini ortadan kaldırıyor.
Sistemin en büyük avantajı, mevcut ajan kodlarında hiçbir değişiklik gerektirmemesi. Şeffaf HTTP proxy olarak çalışan sistem, Anthropic, OpenAI ve yerel model API'lerini otomatik olarak algılayabiliyor.
Yedi farklı senaryoda yapılan testlerde (5-50 eşzamanlı ajan), koordinasyonsuz ajanların %72-100 oranında başarısız olduğu durumlar gözlemlendi. HiveMind'ın bu başarısızlık oranlarını dramatik şekilde azalttığı görüldü.