浪潮信息5月28日發(fā)布了開源大模型“源2.0-M32”。該模型采用“基于注意力機(jī)制的門控網(wǎng)絡(luò)”技術(shù)，構(gòu)建了包含32個(gè)專家的混合專家模型(MoE)，顯著提升算力效率。它在業(yè)界評測中與700億參數(shù)的LLaMA3大模型性能相當(dāng)，但算力消耗僅為其1/19。此外，“源2.0-M32”基于2萬億token進(jìn)行訓(xùn)練，涵蓋廣泛數(shù)據(jù)類型，并通過創(chuàng)新算法和數(shù)據(jù)處理方法優(yōu)化性能和精度。該模型支持代碼生成、理解及推理等功能，并可通過全面開源策略免費(fèi)下載使用。（美通社）
