112dijital Gündem
yükleniyor…
Co-Design Bench'te kodlama ajanları zorlandı
TechInside·

Co-Design Bench'te kodlama ajanları zorlandı

Kısaca

Alibaba ve birkaç Asya üniversitesinden araştırmacılar, gerçek kullanıcı taleplerinden oluşturulan Co-Design Bench testini hazırladı; en iyi model bile görevlerin yalnızca yüzde 26,4'ünü tam çözebildi.

Ne oldu?

  • Test, gerçek kullanıcı taleplerinden hazırlandı ve kodlama ajanlarının başarısını ölçüyor.
  • En iyi performans gösteren model bile görevlerin yalnızca yüzde 26,4'ünü tam çözebildi.

Neden önemli?

Kodlama ajanlarının gerçek kullanıcı taleplerinde hâlâ zayıf kaldığını gösterdiği için bu araçları üretim akışlarında kullanan yazılım ekiplerinin otomasyon beklentilerini gözden geçirmesi gerekiyor.

%26,4 görev çözme oranı