当前,AI正在成为移动端游戏体验的重要组成部分。从帧率和画质增强,到光线追踪,再到NPC互动,为手机游戏带来体验和交互上的显著提升。
近日,在国际计算机图形与交互技术领域顶会SIGGRAPH上,Arm发布业界首创Arm神经技术 (Arm Neural Technology),将专用神经加速器引入2026年推出的GPU中。该技术能够将用于图形渲染的GPU性能提升至更高水平,使包括手游领域在内的更为复杂的移动端内容减少超过50%的GPU工作负载。
“目前移动端的图形技术发展愈发复杂,用户对卓越的游戏体验期待也日益攀升。Arm认为实现这一目标的唯一途径,就是通过游戏和AI集成,这也正是Arm推出神经技术的原因所在。手游领域的发展非常迅速,Arm将持续投资于这一技术,并且引领行业发展。”Arm终端事业部产品管理总监Steve Steele在接受集微网等媒体采访时表示。
强攻GPU创新
如今,全球游戏产业正在加速发展。移动设备作为大多数游戏的运行载体,目前已成为近半数游戏营收的来源。全球市场对高画质、高帧率的视觉效果的需求,正不断推动手机游戏性能的极限,也是推动Arm在GPU领域进行创新的动力所在。
全球市场看,亚太地区对于手游的需求非常显著。例如在韩国,《天堂 M》等角色扮演游戏和《崩坏:星穹铁道》等回合制战斗游戏占据了消费支出的很大比重,中国市场的情况也与之类似,《王者荣耀》等多人竞技游戏以及《和平精英》等战术竞技游戏,在拉动大量消费的同时,也将移动设备的性能推向了极限。而这类游戏对图形性能的要求极为严苛。因此,如何提升手游领域的高水准画质成为Arm设计GPU的关注点。
多年来,Arm持续推动移动端的图形性能表现。包括2022年推出光线追踪、可变速率着色等功能;2023年引入延迟顶点着色技术(DVS);2024年又进一步强化其性能与功能的表现,并推出精锐超级分辨率技术 (Arm Accuracy Super Resolution, Arm ASR), 通过基于着色器的高效算法。通过提升计算着色器的性能,来增强GPU的AI性能。
而Arm此次推出的神经技术,则成为其GPU设计创新中新的里程碑。
众多引AI赋能而提升的手机游戏体验,离不开底层CPU、GPU和NPU的硬件支撑,也离不开相关软件的支持,在以高能效的方式运行AI的同时,尽可能减少开发者的使用障碍。这也是为什么领先的IP和芯片设计公司都在强调开发工具、软件栈的重要原因。因为如果硬件的差异化与软件的一致性上如果缺乏妥善规划,将给开发者带来巨大负担。
正因如此,Arm去年针对Arm CPU推出了Arm KleidiAI软件库。各类AI算法的运行均始于Arm CPU,确保在支持更多AI算法的前提下,CPU能提供开发者所需的性能。
而对于当前开发者在GPU AI开发上的趋势,特别是考虑到AI与图形管线深度结合,以及3A手游中常见的高分辨率图形工作负载。Arm认为,随着AI与实时图形技术的深度融合,行业需要具备紧密集成、高性能且高能效的基于GPU的 AI。从而让开发者能在GPU上轻松运行AI,而提高能效的理想解决方案是将计算放置于数据所在位置,而非将数据传输至计算之处。
GPU负载减半如何做到
据Arm方面介绍,此次发布的Arm神经技术 (Arm Neural Technology)包括一整套软硬件一体的解决方案,包括硬件、软件和工具来支持整个生态系统的发展。神经技术的硬件部分即神经加速器。Arm神经加速器将深度嵌入到Arm Mali GPU中,可以实现非常低的延迟。同时,AI和图形之间的接口也能达到极高效且低功耗的表现。
这样的思路在桌面端NVIDIA DLSS的神经技术,包含多帧生成、光纤重建、超级分辨率等,其主要利用的是NVIDIA GPU中的张量核心。
实际上,一些神经技术已在桌面PC端应用多年,在提升画质、分辨率及帧率方面的优势不仅已充分获得验证,而这些优势同样适用于移动端,但移动端对能耗的敏感度远高于桌面设备。而Arm神经技术,具备灵活且前沿的AI功能,专为移动端优化,使开发者能够轻松部署先进的神经渲染技术,一切只需在Arm技术的基础之上进行创新即可。
Steve Steele认为,对于Arm神经技术而言,远不止于是张量核心,更像是每个着色器中的“迷你”NPU,而正是这项技术支撑了其中的一个用例——Arm神经超级采样 (Arm NSS) 等算法,从而实现GPU工作负载50%的降低。
2024年,Arm推出精锐超级分辨率技术 (Arm Accuracy Super Resolution, Arm ASR),在降低单帧成本的同时,又可保证画质。游戏工作室可借助提升帧率、提高画质或降低游戏功耗。目前,该技术已集成至游戏引擎,《堡垒之夜》、《无限暖暖》等热门游戏已率先采用该技术,而且已面向所有手游开发者开放。
但Steve Steele指出,像Arm ASR这类基于传统算法的方案,其性能提升只能达到一定程度。要实现真正高效且高质量的优化升级效果,需要神经技术的助阵。
据Steve Steele介绍,Arm NSS技术通API兼容的方式提供了一个Arm ASR的升级方案。如果说Arm ASR为基于着色器的图形优化升级能力树立了新标杆,那么Arm NSS则凭借更快速、更清晰、更高能效的实时AI渲染,实现了进一步的性能突破。Arm NSS能够通过较低质量的输入生成同等质量的输出,或以相同的输入生成更高质量的输出,且运行时间仅需四毫秒。这意味着全方位的突破:速度更快、能耗更低、画质更高。
“具体而言,该技术能让游戏以540p分辨率进行渲染,并通过两倍性能优化升级,输出超高质量的画面。这意味着,对比于传统的全帧渲染方法,开发者可减少50%的GPU工作负载。开发者可以灵活选择如何利用这些节省的资源,既可节省下来用于降低游戏的整体功耗,也可将之用于提升帧率或增强视觉效果。”Steve Steele说。
Arm在 SIGGRAPH 大会上展示了全新演示项目“魔法城堡”。画面中两个高难度区域的放大效果。左侧是真实标签 (Ground Truth),即全分辨率渲染的效果。其余图像均采用两倍优化升级技术,这意味着只需渲染四分之一的像素。从中可以看到 Arm ASR在“性能”模式下的效果,以及某主流桌面级神经优化升级技术的效果。而Arm NSS能达到与桌面级优化升级技术同等的画质,且成本更低,每帧可节省50%的工作负载。
两个彩蛋:NSSD+NFRU
据Arm方面介绍,Arm NSS只是此次发布的Arm神经技术的首个用例,另外还有两个新用例正在开发中。
第一个新用例是神经帧率提升 (Neural Frame Rate Upscaling, NFRU),该技术通过采集连续两帧画面并生成中间帧,直接提升帧率。该神经网络与Arm为其GPU新增的硬件紧耦合,可加速运动向量的生成,用于追踪像素在场景中的移动轨迹。这项技术可通过较低成本,将30 FPS的内容优化升级至60FPS。
第二个新用例是神经超级采样与降噪 (Neural Super Sampling and Denoising, NSSD),这是一套面向光线追踪内容的Arm NSS扩展技术。
相比于全路径追踪内容要求每个像素向场景发射数百甚至数千条光线,经过反弹后最终抵达光源,从而让图形引擎精确计算该像素的亮度。但这种路径追踪技术的成本极高,即便是桌面系统也难以承受。而如果将路径追踪与NSSD这类神经网络相结合,每个像素只需发射少量光线,再借助神经技术重建缺失细节,不仅能从相邻像素推断数据,还能利用历史帧信息进行补充。
移动端的光线追踪技术直至去年才被正式引入,目前在一些手游中逐步得到运用,但所带来的影响并不显著。Steve Steele认为,目前阻碍光线追踪技术普及的原因之一,是其昂贵的计算成本以及能耗。而Arm的神经AI技术,则能使不同类型的光线追踪以更低的成本得以实现,比如随机投射的光线,或较少数量的光线,使得光线追踪能够在移动设备上实现。但随之而来的问题是如何对图像进行深度降噪,而Arm的神经技术则能够智能降噪光线追踪图像。
下图中是分屏对比,左侧是低分辨率、带噪点的光线追踪图像;右侧是通过神经技术重建后,高分辨率且无噪点的图像。
全面开放赋能开发者
作为底层IP厂商,为游戏开发者提供支持,一直是Arm生态构建发展重点。
Steve Steele表示,Arm之所以将神经技术在引入GPU正式上市之前发布,是因为若要这类技术能真正释放潜力,需要游戏开发者基于它们进行创新。Arm在目前正在举行的SIGGRAPH 大会上向开发者详细讲解这些新技术及其原理,并对外发布相关软件与模拟器。
此外,伴随神经技术的发布,Arm还同步推出了面向Vulkan图形API的机器学习 (ML) 扩展,实现跨平台标准化,以及业内首个面向神经图形技术的开放软件开发套件 (SDK),为开发者提供一站式的开发资源。
其中,Arm NSS可通过神经图形开发套件 (Neural Graphics Development Kit) 启用,该套件也在本周的 SIGGRAPH大会上推出。该套件的核心是虚幻引擎 (Unreal Engine) 插件,开发者只需简单几步操作,就能将Arm NSS集成到游戏中;同时还包含开放格式的模型,这些模型将被推送至Hugging Face,也会纳入开发套件。
由于硬件问世尚需一段时间,套件中还包含了面向Vulkan的Arm ML扩展的完整PC模拟器。这样一来,开发者就能在桌面端运行整个技术栈,验证模型在其内容上的表现。如果开发者想将其集成到自有引擎中,套件中也提供了丰富的示例代码和文档。此外,Arm的性能工具中包含热门开源工具 RenderDoc的Arm版本,且均已提升适配面向Vulkan的Arm ML扩展。
同时,Arm也宣布了NFRU和NSSD两个用例的早期访问计划。与Arm NSS不同,这两项用例暂时缺少Arm ASR那样的技术生态作为支持,因此Arm正积极招募游戏工作室加入开发,协助Arm完善技术,为未来的公开发布做准备。Enduring Games、Sumo Digital、网易游戏、Traverse Research 等已经与Arm展开合作,共同开发神经图形开发套件。
Steve Steele强调,虽然移动端神经技术与桌面端存在相似性。但向开发者提供技术的方式却大相径庭。而与桌面端和主机端不同的是,Arm的所有神经技术都将全面开放,这意味着游戏工作室重新训练模型所需的模型架构、权重以及工具,全部可供使用。
“Arm这样做,不仅因为赋能生态系统是DNA,我们还相信不同游戏有不同需求,只有通过全面开放,开发者才能针对其独特工作负载进行适配优化。Arm不仅会全力优化今日提及的所有技术的开箱即用体验(如引擎插件等技术),同时也为开发者保留了底层的完整控制,那些希望进一步调优的开发者,尽可放手去尝试。”Steve Steele说。