芯原超低能耗NPU可为移动端大语言模型推理提供超40 TOPS算力

来源:芯原 #芯原# #超强算力#
1590

2025年6月9日,中国上海——芯原股份 (芯原,股票代码:688521.SH) 今日宣布其超低能耗且高性能的神经网络处理器 (NPU) IP现已支持在移动端进行大语言模型 (LLM) 推理,AI算力可扩展至40 TOPS以上。该高能效NPU架构专为满足移动平台日益增长的生成式AI需求而设计,不仅能够为AI PC等终端设备提供强劲算力支持,而且能够应对智慧手机等移动终端对低能耗更为严苛的挑战。

芯原的超低能耗NPU IP具备高度可配置、可扩展的架构,支持混合精度计算、稀疏化优化和并行处理。其设计融合了高效的内存管理与稀疏感知加速技术,显著降低计算负载与延迟,确保AI处理流畅、响应迅速。该NPU支持数百种AI算法,如AI降噪 (AI-NR) 和AI超分 (AI-SR) 等,并兼容Stable Diffusion和LLaMA-7B等主流AI模型。同时,该NPU IP还可与芯原其他处理器IP无缝集成,实现异构计算,助力SoC设计者打造满足多元化应用需求的AI解决方案。

此外,芯原的超低能耗NPU IP还支持TensorFlow Lite、ONNX和PyTorch等主流AI框架,可加速客户在不同AI应用场景中的部署进程并简化集成工作。

“智能手机等移动设备正逐步演变为个人AI服务器。随着生成式AI (AIGC) 和多模态大语言模型技术的快速发展,市场对AI算力的需求呈指数级增长,并已成为移动产品的关键差异化要素。”芯原首席战略官、执行副总裁、IP事业部总经理戴伟进表示,“在支持高强度AI计算负载的过程中,能耗控制是最关键的挑战之一。芯原持续深耕面向智慧手机和AI PC的超低能耗的NPU研发,并通过与主流SoC合作伙伴的紧密协作,见证了该技术在新一代智慧手机和AI PC中实现量产。”

责编: 爱集微
来源:芯原 #芯原# #超强算力#
THE END
关闭
加载

PDF 加载中...