計算機行業動態報告：再談ARM為何受益GPU與CPU協同

目錄AmpereAI推理優化框架，重新定義可擴展AI推理 3跨環境異構推理：從架構趨勢到工程落地 5ARMCPU迎來重要機遇：兼具性能與生態的系統性壁壘 8投資建議 11風險提示 12插圖目錄 13表格目錄 13AmpereAIAI推理AIGPU/TPU/NPUAmpereAI（AIO）專為AmpereOneAmpereOne小語言模型混合專家模型推理場景中實現低成本與高能效的雙重突破，顯著降低專用模型的部署門檻和推理成本。AIO通過多進程多模型并行執行實現CPUFedimossAITHERAI數據驗證了AmpereOne處理器在SLM和MoE模型推理場景中的性能，以及在真實生產環境中部署AI推理任務的可行性與效率。根據Fedimoss官網，為驗證實際性能，Fedimoss在SupermicroARS-211M-NR服務器上對多個LLM進行了真實推理測試。測試環境配置為AmpereOne192核處理器、1024GB內存、Ubuntu22.04系統。測試結果顯示，AmpereOne192ARMCPUtg4242.553tokens/s、pp+tg量達7754.516o/sLlama-3.2-3B分別為1386.766和2637.193o/s；Lma-3.1-8B分別為1000.363和1456.953o/sQw3-30-3（E）分別為769.691和1329.918tokens/s。圖1：AmpereOneARMCPU推理吞吐量測試環境 資料來源：Fedimoss官網，國聯民生證券研究所圖2：AmpereOneARMCPU推理吞吐量測試結果 資料來源：Fedimoss官網，國聯民生證券研究所在實際落地案例中，Fedimoss為某加密貨幣服務提供商部署了AIO+AmpereOne+ATHER方案，提供知識圖譜、AgenticWorkflow和Deepresearch260跨環境異構推理：從架構趨勢到工程落地AgenticAIARMCPUAgenticKVCache（、異步系統調用（文件I/O、數據庫查詢、網絡請求、外部工具API調用、動態代碼執行（生成代碼、解釋執行并校驗輸出結果。此類多任務、控制密集、I/O密集型負載難以形成穩定大批量計算，GPU并行單元易處于閑置狀態。ARMCPUI/OPromptKVCacheDecode，GPUPrefill工作負載特征 GPU特點 ARM工作負載特征 GPU特點 ARMCPU優勢"推理-調-決策交替行 利用率度間化 高核心度適頻繁換任務歷史/中間狀態保留（KVCache）異步系統調用（文件I/O、數據庫查

HBM容量有限，成為硬約束

大容量DRAM可承載更大KVCache池詢、API調用）資料來源：Fedimoss官網，國聯民生證券研究所

并行單易閑置 適合大異步I/OCPU-GPUAIGPU，CPUAgenticAIKVCache、P/D解耦及異構推理的興起，CPU算力、核心密度和Silicon、NVIDIAGraceBlackwell、DGXSparkCPU、GPUPCIe據搬運的帶寬和時延瓶頸。CPU內存管理和任務調度的核心節點。"GPUPrefill+CPUDecode"異構混合推理路徑。LLMKV允許的工作負載，可由高核心密度CPUPrefillKVCache，隨后持久化到解耦的共享緩存池；ARMCPUDecodeKVCacheGPUKVCachePrefillCPULLM。維度Prefill階段Decode階段維度Prefill階段Decode階段計算方式對整段輸入序列并行計算迭代生成Token算力強度高一般性能瓶頸GPU算力（FLOPS）內存容量、內存帶寬、并發調度適合硬件GPU高核心密度ARMCPU資料來源：Fedimoss官網，國聯民生證券研究所FedimossFedimossAIOCIKubernetesCPU（CPU+GPU（計算模式與硬件精準匹配GPU（高并發、長上下文。ARMCPUAmpereCPUAI從三個層面進行優ARMARMSMEGEMMNUMASpecRouterEAGLEtokentoken在CPU+GPU異構推理層面，MoE模型內部不同組件的"計算密度與參數量AttentionGPUCPU在GPU高并發推理層面，核心設計包括三級KVCache管理等。三級KVCache，正交聯合壓縮，互不干擾；模型級結合"注意力頭重要性"和"語義區域"二維動態分配GPU內存預算；系統級利用Agent等待工具返回的空閑窗口零開銷異步壓縮，對關鍵路徑無侵入。三級協同使KVCache內存消耗增長顯著慢于上下文長度增長。（OCIAPICPUMoE（GPUARM圖3：OCIARMCPU推理界面，展示Gemma426B模型在ARMCPU上運行，輸出速度41.46資料來源：Fedimoss官網，國聯民生證券研究所ARMCPU統性壁壘Arm是AI時代稀缺的覆蓋全場景的統一計算架構，生態優勢突出。AIArmAI圖4：ARMCPU已經建立強大的生態超大規模云廠商AWSGraviton、AzureCobalt、GoogleAxion等Arm實例均為公有云中性價比最優的選擇。根據Arm公布的數據，截至2025年底，向頂級超大規模云廠商出貨的算力中，近半數為Arm架構，可充分滿足企業大規模AI訓練與推理的需求英偉達AI工廠CPU配套超大規模云廠商AWSGraviton、AzureCobalt、GoogleAxion等Arm實例均為公有云中性價比最優的選擇。根據Arm公布的數據，截至2025年底，向頂級超大規模云廠商出貨的算力中，近半數為Arm架構，可充分滿足企業大規模AI訓練與推理的需求英偉達AI工廠CPU配套英偉達專為與Rubin、BlackwellGPU搭配運行或驅動Bluefield-4DPU而設計的Grace、VeraCPU均基于Arm平臺開發，充分證明了Arm架構可無縫集成至異構計算系統，為平衡型計算節點奠定了基礎消費級終端99ArmAIArm汽車與工業場景Rivian、特斯拉、小鵬等頭部企業均正在設計基于Arm的定制化自動駕駛棧，覆蓋AI模型、軟件與芯片全層級。多數機器人系統均依托Arm架構處理器實現智能、控制、感知與系統協同功能資料來源：ARM官方公眾號、Futurum，國聯民生證券研究所整理Armx86CPUAIAIARMFuturum，2200AIArmAGICPUArmNeoverse基礎設施提供核心算力支撐。ArmAGICPU能夠在數千核心并行的持續高負I/OArmAGICPUAIAGICPUCerebrasCloudflareOracleF5Meta、OpenAI、Positron、Rebellions、SAP、SK電訊和ArmAGICPU136C（最 ArmAGICPUArmAGICPU136C（最 ArmAGICPU128C（總 ArmAGICPU64C（最大核心數） 成本優化） 內存/核心）參數SKU SP113012 SP113012S SP113012A處理核心CPU

136NeoverseV32x128SVE2MB/核心L2Armv9.2,bfloat16和INT8AI指令

128NeoverseV32x128SVE2MB/核心L2Armv9.2,bfloat16和INT8AI指令

64NeoverseV32x128SVE2MB/核心L2Armv9.2,bfloat16和INT8AI指令系統級緩存系統級緩存最大頻率128MB3.5GHz128MB3.5GHz128MB3.7GHz基礎基礎TDP* 300W12個DDR5,最高可達8800RDIMM內存MT/s300W12DDR5MT/s300W12DDR5MT/s內存吞吐量/核心

每個心6GB/s 每核6.3GB/s 每核13GB/s資料來源：ARM官網，國聯民生證券研究所整理ArmAGICPU可實現單機架性能較高：ArmAGICPU具備業界領先的內存帶寬，使每個機架能夠支持更多高效執行的線程；高性能、高能效的單線程ArmNeoverseV3處理器核心性能出眾，每個Arm線程可處理更多任務；更多可用線程與更高單線程處理能力相互疊加，最終實現單機架性能的大幅提升。其中，浙江之江易算科技有限公司成立于2021年8月，注冊資本1000萬元，坐落于之江易算專注于異構技術集成應FPGACPU、GPU等處理器的軟件異構計算核心技術，擁有資深算法工程師和異構智能處理平臺研發團隊。EasyInferFedimossAgentic時代AIInference生產底座。集智股份通過子公司浙江之江易算控股杭州集智新易算，與潘東創立的Fedimoss(盛見科技)深度技術合作。FedimossAIARMCPUCPU+GPU供EasyInferGPU+ARMAICPU1MAPI網關為開發者提供模型接入、智能路由與成本優化能力，支持48+模型渠道，有望為AI圖5：之江易算與Fedimoss在算力領域的合作資料來源：easyinfer官網，國聯民生證券研究所投資建議AIAgenticAICPU風險提示CPU工程化落地不及預期風險。CPU在計算集群中部分替代GPU目前理論上AI推理需求增長不及預期風險。若下游AI應用商業化、AgenticAI落地或企業推理需求增長低于預期，相關算力基礎設施和CPU行業競爭加劇風險。AI算力、推理優化、CPU/GPU協同和異構調度等方向參與者眾多，存在行業競爭加劇的風險。插圖目錄圖1：AmpereOneARMCPU推理吞吐量測試環境 3圖2：A