01.
DeepSeek引爆边缘AI
芯片厂商机遇挑战并存

华为、OPPO、荣耀、vivo、小米在手机端部署大模型

联想AI PC个人AI助力小天部分功能(图源:联想官方)
02.
小体积、高性能、低功耗、高性价比
M.2加速卡成AI PC致胜利器
联想全新升级的AI PC系列产品亮相,而支持其AI体验的关键之一,正是芯动力基于可重构并行处理器RPP打造的AzureBlade M.2加速卡。

联想相关负责人在MWC上介绍,联想AI PC实现了将大模型放到本地端推理的突破,尽管传统本地推理大都采用集成(CPU+iNPU)或独立显卡GPU,但经过多重对比发现,在运行大语言模型时,通常依赖GPU进行加速,iNPU只有在特定的场景中才能被调用。联想AI PC最终采用了芯动力AzureBlade M.2加速卡,并命名为dNPU。M.2加速卡在进行大模型推理时具有高效率、低功耗性能,同时可进一步释放显卡能力,在提高效率的同时更节约能耗。

AI NOW不做大模型推理:右侧GPU usage和dNPU占用率均为0%

AI NOW进行大模型推理:右侧GPU usage仍为0%,dNPU在40%上下

03.
“六边形战士”剑指边缘AI
契合端侧大模型部署痛点
04.
结语:RPP架构为边缘AI时代爆发积势