文心4.5系列模型开源:多模态协同优化与海光DCU技术适配

来源:爱集微 #海光DCU#
1977

6月30日,文心4.5系列模型正式开源,涵盖激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型。

在海光信息“深算智能”战略引领下,海光DCU率先展开文心4.5系列模型的深度技术合作,基于飞桨深度学习框架进行高效训练、推理和部署的适配工作。

文心4.5是百度自主研发的新一代原生多模态基础大模型,通过多个模态联合建模实现协同优化,多模态理解能力优秀;具备更精进的语言能力,理解、生成、逻辑、记忆能力全面提升,去幻觉、逻辑推理、代码能力显著提升。

依托GPGPU架构的生态优势,与编程开发软件栈DTK的领先特性,海光DCU支撑文心4.5预训练的模型FLOPs利用率(MFU)达47%,在多个文本和多模态基准测试中达到SOTA水平,充分验证海光DCU高通用性、高兼容度及自主可控的技术优势。

责编: 邓文标
来源:爱集微 #海光DCU#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...