112dijital Gündem
yükleniyor…
Hugging Face·

180 milyar parametre, 32 GB RAM: Transformers ile MoE çıkarımının sınırlarını zorlamak

Orijinal başlık: 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

Kısaca

Hugging Face, MoE mimarisinin seyrek aktivasyon avantajını kullanarak 180 milyar parametreli bir modeli yalnızca 32 GB RAM'e sahip bir makinede Transformers kütüphanesiyle çalıştırmayı gösterdi.

Ne oldu?

  • MoE mimarisinde her token için yalnızca birkaç uzman (expert) devreye girdiğinden, modelin tüm parametrelerinin aynı anda bellekte tutulması gerekmiyor.
  • Transformers kütüphanesi kullanılarak 180 milyar parametreli MoE modeli, 32 GB RAM'li donanımda çıkarım modunda çalıştırılabildi.

Neden önemli?

Yüksek bellekli GPU'lara bütçesi olmayan geliştiriciler ve ekipler, büyük MoE modellerini sıradan donanımda çalıştırarak model sunma maliyetlerini düşürebileceklerini görüyor.

180 milyar parametre32 GB RAM