Into the Unknown testinde ajanlar sınıfta kaldı
Kısaca
Carnegie Mellon öncülüğündeki Into the Unknown değerlendirmesinde dokuz yapay zeka ajanı, ABD ulusal laboratuvarlarının çözülmemiş sorularına yanıt üretmeye çalıştı; 135 çalışmanın hiçbiri uzman şartlarını geçemedi.
Ne oldu?
- Dokuz ajan, ABD ulusal laboratuvarlarının çözülmemiş bilimsel sorularına yanıt aramakla görevlendirildi.
- Üretilen 135 çalışmanın hiçbiri uzmanların belirlediği şartları karşılayamadı.
Neden önemli?
Ajan tabanlı yapay zeka ürünü geliştiren ekipler için mevcut modellerin açık uçlu araştırma görevlerinde uzman düzeyine ulaşamadığının bağımsız bir testle doğrulanması, otomasyon vaatlerinin gerçekçi kapsamda sunulması gerektiğini gösteriyor.
9 yapay zeka ajanı135 çalışma
Carnegie Mellon hakkında diğer haberler
Into the Unknown'da hiçbir AI ajanı geçemedi
Carnegie Mellon öncülüğünde hazırlanan yeni ölçüt, yapay zeka ajanlarını henüz çözülmemiş gerçek araştırma sorularıyla sınadı. Dokuz ajanın 135 çalışmasının hiçbiri uzman doğrulama koşullarını karşılayamadı.