近日，北京積算科技有限公司宣布其算力服務(wù)平臺上線赤兔推理引擎。積算科技PowerFul-AI應(yīng)用開發(fā)平臺與赤兔合作，打造高性價比的模型輕量化部署方案。赤兔推理引擎由北京清程極智科技有限公司開發(fā)，并聯(lián)合清華大學(xué)團隊發(fā)布開源版本。其核心價值在于，打破了FP8模型原生部署時GPU必須支持FP8精度的要求。用戶通過遠(yuǎn)程算力平臺預(yù)置的模型鏡像與AI工具，僅需50%的GPU算力即可解鎖大模型推理、企業(yè)知識庫搭建、智能體開發(fā)。（美通社）
