Uzmanlar Yapay Zekaya Karşı: 3D CAD Düzenleme Yarışında İnsan Üstünlüğü

Autodesk araştırmacıları, yapay zekanın 3D CAD model düzenleme yeteneklerini test etmek için yeni bir benchmark geliştirdi. neuralCAD-Edit adlı bu değerlendirme sisteminde, profesyonel CAD tasarımcılarından toplanan gerçek düzenleme istekleri kullanılıyor. On uzman tasarımcının katıldığı çalışmada, CAD yazılımları kullanırken konuşma, işaret etme ve çizim yaparak düzenleme talepleri kaydedildi. GPT-4 dahil önde gelen yapay zeka modellerinin performansı uzmanlarla karşılaştırıldığında, büyük bir fark ortaya çıktı. En iyi performans gösteren model bile uzmanların %53 gerisinde kaldı. Bu sonuç, 3D tasarım düzenleme alanında yapay zekanın henüz uzman seviyesine ulaşamadığını gösteriyor.

Autodesk AI Lab tarafından geliştirilen neuralCAD-Edit, yapay zekanın 3D CAD model düzenleme konusundaki gerçek yeteneğini ölçmek için tasarlanmış ilk kapsamlı değerlendirme sistemi. Önceki çalışmaların aksine, bu benchmark sadece metin tabanlı talimatlar yerine gerçek tasarım ortamından veri topluyor.

Araştırmada on profesyonel CAD tasarımcısı, CAD yazılımları üzerinde çalışırken video kaydına alındı. Tasarımcılar konuşarak, işaret ederek ve çizerek düzenleme isteklerini belirtirken, bu etkileşimler multimodal veri seti oluşturmak için kullanıldı. Bu yaklaşım, gerçek iş ortamındaki tasarım süreçlerini daha doğru yansıtıyor.

GPT-4 gibi günümüzün en gelişmiş yapay zeka modelleri bu benchmark ile test edildiğinde, uzman tasarımcılarla aralarında büyük bir performans farkı olduğu ortaya çıktı. En başarılı model olan GPT-4, insan kabul testlerinde uzmanlardan %53 daha düşük puan aldı.

Bu bulgular, 3D CAD düzenleme alanında yapay zekanın henüz uzman seviyesine ulaşamadığını gösteriyor. Araştırmacılar, neuralCAD-Edit'in gelecekteki 3D CAD düzenleme teknolojilerinin geliştirilmesi için sağlam bir temel oluşturacağını umduklarını belirtiyor.