這是一個罕見的舉動,因為集成 Arm 神經(jīng)技術(shù)的 Arm GPU 要在 2026 年才會推向市場。
"Arm 之所以選擇在搭載這項技術(shù)的 GPU 正式上市前進行發(fā)布,是因為若要這類技術(shù)能真正釋放潛力,需要游戲開發(fā)者基于它們進行創(chuàng)新。"Arm 終端事業(yè)部產(chǎn)品管理總監(jiān) Steve Steele 表示。
Arm 會首先推出 Arm 神經(jīng)超級采樣 ( Arm Neural Super Sampling, Arm NSS ) 引擎,Arm NSS 能夠以每幀四毫秒的耗時,將分辨率從 540p 優(yōu)化升級至 1080p,且畫質(zhì)幾乎與原生質(zhì)量無異。
實際上,神經(jīng)技術(shù)已經(jīng)在桌面端和主機端相繼普及,Arm 是業(yè)界首個將神經(jīng)技術(shù)帶到移動端的公司,這得益于 Arm 能夠在實現(xiàn)性能提升的同時滿足手機端苛刻的功耗要求。
對比于傳統(tǒng)的全幀渲染方法,開發(fā)者可通過 Arm NSS 減少多達 50% 的 GPU 工作負載,從而靈活選擇如何利用這些節(jié)省的資源,既可用于降低游戲的整體功耗,也可用于提升幀率或增強視覺效果。
這將成為 2026 年手游愛好者值得期待的一項新技術(shù)。
什么是 Arm 神經(jīng)超級采樣?
要解釋 Arm 神經(jīng)超級采樣技術(shù),最直觀的方式就是通過效果的對比。
Arm 在 SIGGRAPH 大會上展示了全新演示項目 " 魔法城堡 "。下圖為畫面中兩個高難度區(qū)域的放大效果。左側(cè)是真實標簽 ( Ground Truth ) ,即全分辨率渲染的效果。ASR 就是 Arm 超級分辨率技術(shù)實現(xiàn)的效果,Desktop 是桌面級的超級采樣技術(shù)的效果,最右側(cè)的 Arm NSS 在 " 性能 " 模式下,達到與主流桌面級神經(jīng)優(yōu)化升級技術(shù)同等的畫質(zhì)。
通過效果對比可以發(fā)現(xiàn),雖然桌面級的超級采樣技術(shù)和 Arm NSS 與真實標簽 ( Ground Truth ) 依舊有差距,但考慮到可以用更低的成本實現(xiàn)如此逼真的效果,已經(jīng)讓人驚嘆。
同時可以看到,與相對普及的超級分辨率技術(shù) ASR 相比,Arm NSS 可實現(xiàn)更高效和高質(zhì)量的優(yōu)化升級效果,這是因為 Arm ASR 是基于傳統(tǒng)算法的方案,其性能提升只能達到一定程度。
Arm NSS 的最終目標無疑是帶來更流暢的游戲體驗和更豐富的移動端體驗。更具體的說,該技術(shù)能讓游戲以 540p 分辨率進行渲染,并通過兩倍性能優(yōu)化升級,輸出超高質(zhì)量的畫面。這意味著,對比于傳統(tǒng)的全幀渲染方法,開發(fā)者可減少 50% 的 GPU 工作負載。
Arm 如何實現(xiàn)高達 50% 的 GPU 工作負載節(jié)省?
Steve Steele 解釋," 我們先通過只對場景中約 25% 的像素進行渲染,節(jié)省了大量的算力、能耗及時間。隨后,借助 Arm NSS 算法,來實現(xiàn)圖像的優(yōu)化升級,比如從 540p 優(yōu)化升級到 1080p。但是只對場景中約 25% 的像素進行渲染,為何不是節(jié)約 75% 的工作負載?那是因為在圖形中還有幾何體等其他因素需要納入考量,所以總體上可以節(jié)省多達 50% 的 GPU 工作負載。
注意,Arm NSS 加速器將深度嵌入到 Arm Mali GPU 中,像是給每個 GPU 著色器都增加了 " 迷你 "NPU。
Arm 神經(jīng)技術(shù)的另外兩個用例
除了 Arm NSS,Arm 神經(jīng)技術(shù)還有兩個新用例在開發(fā)中,一個是神經(jīng)幀率提升 ( Neural Frame Rate Upscaling, NFRU ) ,這一用例通過采集連續(xù)兩幀畫面并生成中間幀,直接提升幀率。該神經(jīng)網(wǎng)絡與 Arm 為其 GPU 新增的硬件緊耦合,可加速運動向量的生成,用于追蹤像素在場景中的移動軌跡。
NFRU 這項技術(shù)可通過較低成本,將 30 FPS 的內(nèi)容優(yōu)化升級至 60 FPS。
全路徑追蹤內(nèi)容要求每個像素向場景發(fā)射數(shù)百甚至數(shù)千條光線,經(jīng)過反彈后最終抵達光源,從而讓圖形引擎精確計算該像素的亮度。然而,這種路徑追蹤技術(shù)的成本極高,即便是桌面系統(tǒng)也難以承受。如果將路徑追蹤與 NSSD 這類神經(jīng)網(wǎng)絡相結(jié)合,每個像素只需發(fā)射少量光線,再借助神經(jīng)技術(shù)重建缺失細節(jié),不僅能從相鄰像素推斷數(shù)據(jù),還能利用歷史幀信息進行補充。
NSSD 實際能從根本上破解光線追蹤技術(shù)普及的難題。
" 我認為目前阻礙光線追蹤技術(shù)普及的原因之一,是其昂貴的計算成本。"Steve Steele 說," 神經(jīng)技術(shù)則能使不同類型的光線追蹤以更低的成本得以實現(xiàn),比如隨機投射的光線,或是較少數(shù)量的光線,使得光線追蹤能夠在移動設(shè)備上實現(xiàn)。但隨之而來的問題是如何對圖像進行深度降噪,而這正是神經(jīng)技術(shù)可以發(fā)揮其價值的地方,它能智能降噪光線追蹤圖像。"
所以包含 Arm NSS、NFRU、NSSD 的 Arm 神經(jīng)技術(shù)實際上是 Arm 給手游帶來革命性體驗的一套組合技術(shù),通過這些技術(shù)的組合,能在使用更少計算資源的情況下獲得更清晰的畫質(zhì)或者更高幀率,或者在使用相同計算資源的前提下獲得更高的畫質(zhì)和更流暢的游戲體驗。
革命性手游技術(shù)普及關(guān)鍵——軟件生態(tài)
正如神經(jīng)技術(shù)在桌面端和主機端的相繼普及,它必將成為移動端圖形技術(shù)的演進方向,但需要確保的是,這一進程不會割裂技術(shù)生態(tài)系統(tǒng),或給開發(fā)者增加額外負擔。
為此,Arm 推出了新的套件,Arm NSS 可通過神經(jīng)圖形開發(fā)套件 ( Neural Graphics Development Kit ) 啟用,該套件的核心是虛幻引擎 ( Unreal Engine ) 插件,開發(fā)者只需點擊幾下,就能將 Arm NSS 集成到游戲中;同時還包含開放格式的模型,這些模型將被推送至 Hugging Face,也會納入開發(fā)套件。
此外,Arm 的性能工具中包含熱門開源工具 RenderDoc 的 Arm 版本,且均已提升適配面向 Vulkan 的 Arm ML 擴展。
傳統(tǒng) Vulkan 支持圖形管線 ( Graphics Pipeline ) 和計算管線 ( Compute Pipeline ) ,為了讓開發(fā)者將 AI 直接引入熟悉的渲染管線,Arm ML 擴展還引入了第三種管線,即專為神經(jīng)網(wǎng)絡推理而打造的圖管線 ( Graph Pipeline ) 。
Arm 還定義了一種名為 VGF 的開放數(shù)據(jù)格式,通過 SPIR-V 的擴展來描述神經(jīng)網(wǎng)絡的運算。Arm 的目標是推動全行業(yè)采用。
" 如果 Arm 豐富的硬件多樣性因不必要的軟件碎片化而受限,對任何人都毫無益處。"Steve Steele 說," 這些面向 Vulkan API 的 ML 擴展可被任一家圖形技術(shù)供應商采用。Arm 正與多家行業(yè)合作伙伴積極探討,推動這些技術(shù)在移動端生態(tài)系統(tǒng)及其他領(lǐng)域落地生根。"
Steve Steele 指出,雖然上述這些技術(shù)與桌面端和主機端神經(jīng)技術(shù)存在相似性,但向開發(fā)者提供技術(shù)的方式卻大相徑庭。與桌面端和主機端不同,Arm 的所有神經(jīng)技術(shù)都將全面開放,這意味著游戲工作室重新訓練模型所需的模型架構(gòu)、權(quán)重以及工具,全部可供使用。
雷峰網(wǎng)了解到,Arm 神經(jīng)技術(shù)已得到了來自業(yè)界的積極反饋。其中,Arm 神經(jīng)圖形開發(fā)套件已得到 Enduring Games、Epic Games(虛幻引擎)、網(wǎng)易游戲、Sumo Digital、騰訊游戲和 Traverse Research 等合作伙伴的支持。
由于 NFRU 和 NSSD 兩個用例暫時缺少 Arm ASR 那樣的技術(shù)生態(tài)作為支持,因此 Arm 也宣布了早期訪問計劃,積極招募游戲工作室加入開發(fā)。
2026 年將是 Arm 給手游帶來全新體驗的開端,游戲開發(fā)者們會基于 Arm 神經(jīng)技術(shù)帶來哪些革命性的體驗?