Hugging Face, Hint dilleri ön eğitimini 2,8 trilyon tokenla ölçeklendiriyor
Orijinal başlık: Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
Kısaca
Hugging Face, Hint dilleri için ön eğitim verisini 2,8 trilyon token ölçeğine taşırken veri üretim hattını açık kaynak olarak sunuyor.
Ne oldu?
- Ön eğitim çalışması, Hint dilleri için 2,8 trilyon tokenlık veri ölçeğine ulaşıyor.
- Veri üretim hattı açık olarak paylaşılıyor; böylece ekipler hattı başka diller için de uyarlayabiliyor.
Neden önemli?
Düşük kaynaklı dillerde model eğiten ekipler, açık veri üretim hattını kendi dillerine uyarlayarak veri hazırlama maliyetini ciddi biçimde düşürebilir.
2,8 trilyon token