Into the Unknown'da hiçbir AI ajanı geçemedi
Kısaca
Carnegie Mellon öncülüğünde hazırlanan yeni ölçüt, yapay zeka ajanlarını henüz çözülmemiş gerçek araştırma sorularıyla sınadı. Dokuz ajanın 135 çalışmasının hiçbiri uzman doğrulama koşullarını karşılayamadı.
Ne oldu?
- Into the Unknown, ajanları bilimsel literatürdeki çözülmemiş sorular üzerinde uzmanlar gibi çalışmaya zorlayan bir değerlendirme ölçütü.
- Sınanan dokuz ajanın toplam 135 çalışmasından hiçbiri uzman koşullarını geçemedi; modeller özerk araştırma görevlerinde başarısız kaldı.
Neden önemli?
AI ajanı ürünleri geliştiren ekipler ve ajanslar, mevcut modellerin uzman düzeyi özerk araştırma görevlerinde güvenilir olmadığını gösteren bu sonuç nedeniyle ajanları kritik iş akışlarına atamadan önce sınırlarını test etmeli.
9 ajan135 çalışma
Carnegie Mellon hakkında diğer haberler
Into the Unknown testinde ajanlar sınıfta kaldı
Carnegie Mellon öncülüğündeki Into the Unknown değerlendirmesinde dokuz yapay zeka ajanı, ABD ulusal laboratuvarlarının çözülmemiş sorularına yanıt üretmeye çalıştı; 135 çalışmanın hiçbiri uzman şartlarını geçemedi.