浪潮信息發(fā)布源2.0-M32大模型4bit和8bit量化版，性能比肩700億參數(shù)的LLaMA3開源大模型。其中，4bit量化版推理運(yùn)行顯存僅需23.27GB，處理每token所需算力約為1.9 GFLOPs，算力消耗僅為同等當(dāng)量大模型LLaMA3-70B的1/80。源2.0-M32大模型是浪潮信息“源2.0”系列大模型的最新版本，其創(chuàng)新性地提出和采用了“基于注意力機(jī)制的門控網(wǎng)絡(luò)”技術(shù)，構(gòu)建包含32個(gè)專家(Expert)的混合專家模型(MoE)，模型運(yùn)行時(shí)激活參數(shù)為37億。（美通社）
