|
 【產(chǎn)通社,11月21日訊】進(jìn)迭時空(杭州)科技有限公司(SPACEMIT)官網(wǎng)消息,大模型需要在資源有限的終端設(shè)備上高效運(yùn)行,對芯片的AI部署通用性、易用性、經(jīng)濟(jì)性等提出了更高的要求。進(jìn)迭時空的實(shí)踐表明,RISC-V作為開源開放的下一代計算架構(gòu),以通用CPU核為基礎(chǔ),結(jié)合少量DSA定制和大量微架構(gòu)創(chuàng)新,不僅具備完整CPU功能,更擁有強(qiáng)大的原生AI算力,可以為端側(cè)大模型落地應(yīng)用提供全新的解決方案。 產(chǎn)品特點(diǎn) SpacemiT Key Stone?K1憑借其開放性和可編程性,能夠輕松接入ONNXRuntime等主流開源生態(tài)。這一特性不僅降低了部署大量現(xiàn)有AI模型的門檻,還天然支持了timm、onnx modelzoo、ppl modelzoo等開源模型倉庫的模型,以及所有的公開onnx模型。這意味著,無論是傳統(tǒng)的小模型還是當(dāng)下火熱的大模型,如qwen系列、llama系列、minicpm系列、phi系列、chatglm系列、gemma系列等,都能在這款A(yù)I CPU上得到高效支持。 尤其是,進(jìn)迭時空SpacemiT Key Stone?K1的原生AI算力具有極強(qiáng)的可編程性,支持主流低bit量化方式,從而極大地降低了大模型的帶寬需求。K1芯片運(yùn)行主流的5億參數(shù)大模型可以實(shí)現(xiàn)每秒20個token的優(yōu)異性能。 借助主流開源生態(tài),進(jìn)迭時空不僅擴(kuò)充了模型倉庫,還實(shí)現(xiàn)了低成本的遷移ONNXRuntime生態(tài)中的各種案例。此外,通過云端通用AI助手,用戶只需通過自然語言描述,即可實(shí)現(xiàn)AI部署。由于AI CPU支持全集ONNX算子,用戶只需修改模型路徑和攝像頭設(shè)備號,即可成功進(jìn)行部署,極大地簡化了操作流程。 進(jìn)迭時空在SpacemiT Key StoneK1芯片上構(gòu)建了以通義千問(qwen2.5-1.5B-coder)為基礎(chǔ)的本地AI助手。借助本地AI助手,用戶可以通過自然語言描述實(shí)現(xiàn)AI部署,無需依賴網(wǎng)絡(luò)連接,進(jìn)一步提升了AI應(yīng)用的便捷性和安全性。 供貨與報價 查詢進(jìn)一步信息,請訪問官方網(wǎng)站 http://www.spacemit.com。(張怡,產(chǎn)通發(fā)布) (完)
|