Co-Design Bench'te en iyi skor yalnızca %26,4

Kısaca

Alibaba ve Asyalı üniversitelerden araştırmacıların geliştirdiği Co-Design Bench, kodlama ajanlarının gerçek kullanıcı taleplerinde ne kadar zorlandığını ortaya koyuyor. En iyi model bile görevlerin yalnızca dörtte birini kusursuz tamamlayabildi.

Ne oldu?

• Co-Design Bench, kodlama ajanlarını gerçek dünya talepleriyle test eden yeni bir değerlendirme çalışması.
• En iyi modelin kusursuz tamamlama oranı %26,4'te kaldı.