OLMo-core 3 tanıtıldı: Büyük MoE'ler için açık ve ölçeklenebilir eğitim altyapısı
Orijinal başlık: Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
Kısaca
Ai2, büyük ölçekli uzman karışımı (MoE) modelleri eğitmek için tasarlanan açık kaynaklı OLMo-core 3 eğitim altyapısını Hugging Face üzerinden paylaştı.
Ne oldu?
- OLMo-core 3, büyük MoE modellerinin eğitimi için açık ve ölçeklenebilir altyapı sunuyor.
- Altyapı, Hugging Face üzerinden geliştiricilerin erişimine açıldı.
Neden önemli?
Açık kaynak LLM geliştiren ekipler, kapalı sistemlere alternatif olarak büyük MoE modellerini bu altyapıyla eğitebilir.