Inception, difüzyon tabanlı Mercury 3'ü tanıttı: Luna ve Haiku seviyesinde ama 4-8 kat daha hızlı
Orijinal başlık: Inception launches Mercury 3, a diffusion-based LLM it claims is "comparable to Luna and Haiku models" but 4x to 8x faster, generating ~1,000 tokens per second (Jason Hiner/The Deep View)
Kısaca
Inception, difüzyon yaklaşımıyla metin üreten yeni dil modeli Mercury 3'ü duyurdu. Şirket, modelin Luna ve Haiku sınıfı modellere denk performans gösterdiğini ancak 4 ila 8 kat daha hızlı çalıştığını iddia ediyor.
Ne oldu?
- Mercury 3, geleneksel otoregresif modellerin aksine difüzyon tabanlı bir mimariyle metin üretiyor.
- Şirketin iddiasına göre model saniyede yaklaşık 1.000 token üretiyor ve bu hız, sektörün büyük veri merkezlerine dayanan yaklaşımına bir alternatif sunuyor.
Neden önemli?
Yapay zeka ekipleri ve geliştiriciler, difüzyon tabanlı modellerin sunduğu hız avantajı nedeniyle gerçek zamanlı uygulamalar için model seçimlerini ve maliyet hesaplarını yeniden değerlendirmeli.
saniyede ~1.000 token4x-8x daha hızlı