Artificial Analysis, kodlama ve bilim testleriyle Intelligence Index v5'i duyurdu
Orijinal başlık: Artificial Analysis unveils the Intelligence Index v5 with new coding and science benchmarks; 60% of the Index is based on private test sets or held-out answers (Artificial Analysis)
Kısaca
Model yeteneklerini gerçek dünya kullanımını yansıtarak ölçen endeksin yeni sürümünde kodlama ve bilim alanlarına odaklanan benchmark'lar öne çıkıyor.
Ne oldu?
- v5 sürümü, kodlama ve bilim alanlarında yeni test setleri içeriyor.
- Endeksin %60'ı özel test setlerine veya gizli tutulan cevaplara dayanıyor.
Neden önemli?
Yapay zeka modellerini karşılaştıran ekipler, sıralamaların büyük bölümünün artık halka açık değil gizli testlere dayandığını hesaba katarak sonuçları yorumlamalı.
%60 özel/gizli test seti