SJT 12036-2025 人工智能芯片 云側(cè)推理用深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告

人工智能芯片云側(cè)推理用深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告英文標(biāo)題：StandardizationDevelopmentReport:ArtificialIntelligenceChips-TestIndicatorsandTestMethodsforDeepLearningChipsUsedinCloud-SideInference摘要隨著人工智能技術(shù)的迅猛發(fā)展，深度學(xué)習(xí)模型在云端推理場(chǎng)景中的應(yīng)用日益廣泛，對(duì)底層芯片的算力、功耗、精度及穩(wěn)定性提出了極高要求。然而，由于行業(yè)缺乏統(tǒng)一的、權(quán)威的測(cè)試指標(biāo)體系與測(cè)試方法，導(dǎo)致云側(cè)推理芯片的性能評(píng)估結(jié)果可比性差、生態(tài)割裂問題凸顯。本報(bào)告基于行業(yè)標(biāo)準(zhǔn)SJ/T12036-2025《人工智能芯片云側(cè)推理用深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法》的立項(xiàng)背景、編制過程及核心內(nèi)容，進(jìn)行了全面的分析。報(bào)告首先闡述了云側(cè)推理芯片市場(chǎng)的爆發(fā)式增長及其面臨的標(biāo)準(zhǔn)化難題，并結(jié)合《國家標(biāo)準(zhǔn)化發(fā)展綱要》及“新基建”政策，強(qiáng)調(diào)了該標(biāo)準(zhǔn)立項(xiàng)的緊迫性與戰(zhàn)略意義。其次，報(bào)告詳細(xì)解讀了標(biāo)準(zhǔn)的技術(shù)框架，包括測(cè)試指標(biāo)體系的建立、測(cè)試場(chǎng)景的定義以及具體的測(cè)試流程與方法。報(bào)告進(jìn)一步介紹了主要起草單位——中國電子技術(shù)標(biāo)準(zhǔn)化研究院在該標(biāo)準(zhǔn)研制中的核心作用與貢獻(xiàn)。最后，報(bào)告指出了該標(biāo)準(zhǔn)的實(shí)施將有力推動(dòng)人工智能芯片產(chǎn)業(yè)的規(guī)范化發(fā)展，為行業(yè)選型、產(chǎn)品研發(fā)及質(zhì)量監(jiān)督提供權(quán)威依據(jù)，并對(duì)未來面向邊緣計(jì)算、端側(cè)推理及新型計(jì)算架構(gòu)的標(biāo)準(zhǔn)化方向提出了展望。英文關(guān)鍵詞：Cloud-SideInference;DeepLearningChip;TestIndicator;TestMethod;Standardization;ArtificialIntelligenceChip;ElectronicIndustryStandard中文關(guān)鍵詞：云側(cè)推理；深度學(xué)習(xí)芯片；測(cè)試指標(biāo)；測(cè)試方法；標(biāo)準(zhǔn)化；人工智能芯片；電子行業(yè)標(biāo)準(zhǔn)正文1.研究背景與立項(xiàng)必要性1.1產(chǎn)業(yè)發(fā)展驅(qū)動(dòng)人工智能（AI）正從技術(shù)探索走向規(guī)模化落地，其中，云端推理作為AI應(yīng)用的核心環(huán)節(jié)，承擔(dān)著從語音識(shí)別、圖像分析到自然語言處理、推薦系統(tǒng)等海量計(jì)算任務(wù)。隨著ChatGPT等大模型技術(shù)的爆發(fā)，云端算力需求呈現(xiàn)指數(shù)級(jí)增長。云側(cè)推理芯片（如GPU、NPU、ASIC等）成為支撐這一算力需求的關(guān)鍵基石。市場(chǎng)研究機(jī)構(gòu)數(shù)據(jù)顯示，全球AI芯片市場(chǎng)規(guī)模預(yù)計(jì)在2025年突破700億美元，其中云側(cè)推理芯片占據(jù)重要份額。然而，在產(chǎn)業(yè)高速發(fā)展的背后，一個(gè)核心痛點(diǎn)日益凸顯：性能度量標(biāo)準(zhǔn)的缺失與不統(tǒng)一。不同廠商、不同架構(gòu)（如GPU、FPGA、ASIC、DPU）的芯片在相同的業(yè)務(wù)負(fù)載下，其推理延遲、吞吐量、能效比、精度損失等關(guān)鍵指標(biāo)缺乏統(tǒng)一的、可復(fù)現(xiàn)的測(cè)試方法。這不僅導(dǎo)致了“唯算力論”的片面宣傳，也給用戶的芯片選型、系統(tǒng)集成帶來了巨大困難，阻礙了AI芯片產(chǎn)業(yè)的良性競(jìng)爭與生態(tài)構(gòu)建。1.2標(biāo)準(zhǔn)政策背景該標(biāo)準(zhǔn)的制定緊密契合國家戰(zhàn)略部署。2021年發(fā)布的《國家標(biāo)準(zhǔn)化發(fā)展綱要》明確提出要“加強(qiáng)人工智能、量子信息等前沿領(lǐng)域標(biāo)準(zhǔn)研究”。2024年政府工作報(bào)告中亦強(qiáng)調(diào)“深化大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用，開展‘人工智能+’行動(dòng)”，同時(shí)對(duì)“優(yōu)化產(chǎn)業(yè)標(biāo)準(zhǔn)”提出了新要求。此外，工信部發(fā)布的《電子信息制造業(yè)2023-2024年穩(wěn)增長行動(dòng)方案》也指出，要“支持人工智能芯片標(biāo)準(zhǔn)體系建設(shè)”。在此背景下，由全國半導(dǎo)體器件標(biāo)準(zhǔn)化技術(shù)委員會(huì)歸口，SJ/T12036-2025標(biāo)準(zhǔn)的立項(xiàng)，旨在填補(bǔ)我國在云側(cè)推理用深度學(xué)習(xí)芯片測(cè)試標(biāo)準(zhǔn)領(lǐng)域的空白，為促進(jìn)AI芯片技術(shù)創(chuàng)新與產(chǎn)業(yè)健康發(fā)展提供標(biāo)準(zhǔn)化支撐。2.標(biāo)準(zhǔn)核心內(nèi)容解析SJ/T12036-2025《人工智能芯片云側(cè)推理用深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法》是一項(xiàng)面向特定應(yīng)用場(chǎng)景的測(cè)試方法標(biāo)準(zhǔn)，其核心內(nèi)容可概括為“三維度指標(biāo)+標(biāo)準(zhǔn)化測(cè)試流程”。2.1測(cè)試指標(biāo)體系標(biāo)準(zhǔn)構(gòu)建了一套全面、客觀、可量化的指標(biāo)體系，主要分為以下三類：1.基礎(chǔ)性能指標(biāo)：-計(jì)算精度與數(shù)據(jù)類型：明確測(cè)試環(huán)境所需支持的數(shù)據(jù)類型（如FP32、FP16、INT8、BF16等），并規(guī)定不同數(shù)據(jù)類型下的計(jì)算精度偏差標(biāo)準(zhǔn)。-吞吐量：定義單位時(shí)間內(nèi)芯片能夠處理的推理請(qǐng)求數(shù)量（如：圖像/秒、Token/秒）。-延遲（Latency）：定義單次推理請(qǐng)求從輸入到輸出所消耗的時(shí)間，尤其關(guān)注P50、P99等尾延遲指標(biāo)，以評(píng)估系統(tǒng)的穩(wěn)定性和實(shí)時(shí)性。2.能效與功耗指標(biāo)：-峰值功耗與穩(wěn)態(tài)功耗：定義在不同負(fù)載強(qiáng)度下芯片的功耗表現(xiàn)。-能效比：用于衡量每瓦特功耗所能提供的推理性能（如：FPS/Watt），這是評(píng)估云側(cè)芯片運(yùn)營成本的關(guān)鍵指標(biāo)。3.特定場(chǎng)景與應(yīng)用指標(biāo)：-模型兼容性與精度損失：測(cè)試芯片對(duì)主流深度學(xué)習(xí)框架（如PyTorch、TensorFlow、ONNXRuntime）及典型模型（如ResNet、BERT、ViT、Llama等）的兼容性，并評(píng)估運(yùn)行后與標(biāo)準(zhǔn)參考模型的精度差異。-批處理性能：定義不同批處理大?。˙atchSize）下性能的變化曲線，以評(píng)估芯片在不同并發(fā)場(chǎng)景下的適配能力。2.2標(biāo)準(zhǔn)化測(cè)試方法標(biāo)準(zhǔn)規(guī)定了嚴(yán)格、可復(fù)現(xiàn)的測(cè)試環(huán)境與流程，確保了測(cè)試結(jié)果的客觀性：-測(cè)試環(huán)境標(biāo)準(zhǔn)化：要求建立統(tǒng)一的硬件平臺(tái)（服務(wù)器類型、散熱方式、PCI-e版本、內(nèi)存帶寬等）及軟件棧（操作系統(tǒng)、驅(qū)動(dòng)版本、CUDA/ROCm版本等）。-基準(zhǔn)測(cè)試模型庫：標(biāo)準(zhǔn)附件中會(huì)推薦或指定一組具有代表性的基準(zhǔn)模型（覆蓋CV、NLP、語音等典型AI任務(wù)），作為評(píng)估芯片性能的基準(zhǔn)參照系。-測(cè)試流程自動(dòng)化：推薦使用標(biāo)準(zhǔn)化的自動(dòng)化測(cè)試腳本或工具，確保測(cè)試過程減少人為干擾和誤差。3.主要參與單位介紹中國電子技術(shù)標(biāo)準(zhǔn)化研究院作為SJ/T12036-2025標(biāo)準(zhǔn)的首要起草單位，中國電子技術(shù)標(biāo)準(zhǔn)化研究院（CESI，簡稱“電子標(biāo)準(zhǔn)院”）在該標(biāo)準(zhǔn)的研制過程中發(fā)揮了至關(guān)重要的作用。電子標(biāo)準(zhǔn)院創(chuàng)建于1963年，是工業(yè)和信息化部直屬的、我國電子信息技術(shù)領(lǐng)域最權(quán)威的國家級(jí)標(biāo)準(zhǔn)化專業(yè)研究機(jī)構(gòu)。核心貢獻(xiàn)：1.頂層設(shè)計(jì)與框架構(gòu)建：電子標(biāo)準(zhǔn)院基于其長期跟蹤國內(nèi)外AI芯片技術(shù)發(fā)展及標(biāo)準(zhǔn)化的經(jīng)驗(yàn)，率先提出了云側(cè)推理芯片測(cè)試標(biāo)準(zhǔn)的整體架構(gòu)，并組織華為、天數(shù)智芯、寒武紀(jì)、燧原科技、百度、阿里等產(chǎn)業(yè)鏈上下游頭部企業(yè)，多次召開技術(shù)研討會(huì)，凝聚行業(yè)共識(shí)。2.技術(shù)攻關(guān)與驗(yàn)證：面對(duì)AI大模型帶來的新型計(jì)算負(fù)載（如Transformer架構(gòu)），電子標(biāo)準(zhǔn)院牽頭開展了新型測(cè)試指標(biāo)的驗(yàn)證工作，如動(dòng)態(tài)稀疏計(jì)算、大模型推理的KV-Cache吞吐量評(píng)估等，確保標(biāo)準(zhǔn)的前瞻性與實(shí)用性。3.與國際標(biāo)準(zhǔn)對(duì)齊：在起草過程中，電子標(biāo)準(zhǔn)院注重與國際標(biāo)準(zhǔn)化組織（如ISO/IECJTC1/SC42人工智能分委會(huì)）的協(xié)調(diào)，同時(shí)參考了MLPerfInference等國際權(quán)威基準(zhǔn)的發(fā)展，確保我國標(biāo)準(zhǔn)既適應(yīng)國內(nèi)產(chǎn)業(yè)需求，又能與國際主流接軌，促進(jìn)技術(shù)成果的互認(rèn)與流通。4.標(biāo)準(zhǔn)化生態(tài)建設(shè)：依托“國家人工智能標(biāo)準(zhǔn)化總體組”等平臺(tái)，電子標(biāo)準(zhǔn)院通過該標(biāo)準(zhǔn)的發(fā)布，進(jìn)一步健全了我國人工智能芯片標(biāo)準(zhǔn)體系，為后續(xù)面向自動(dòng)駕駛、工業(yè)視覺等細(xì)分場(chǎng)景的專用芯片標(biāo)準(zhǔn)研制奠定了方法論基礎(chǔ)。4.結(jié)論與展望SJ/T12036-2025《人工智能芯片云側(cè)推理用深度學(xué)習(xí)芯片測(cè)試指標(biāo)與測(cè)試方法》標(biāo)準(zhǔn)的發(fā)布（計(jì)劃于2026年3月1日正式實(shí)施），標(biāo)志著我國在AI芯片質(zhì)量評(píng)測(cè)領(lǐng)域邁出了堅(jiān)實(shí)的一步。該標(biāo)準(zhǔn)不僅為芯片廠商提供了“度量衡”，明確了產(chǎn)品研發(fā)的優(yōu)化方向，也為下游應(yīng)用廠商（云服務(wù)商、AI開發(fā)者）提供了“說明書”，降低了選型、集成和部署的技術(shù)風(fēng)險(xiǎn)。展望未來，隨著智算中心建設(shè)的加速以及大模型向多模態(tài)、高效能方向的持續(xù)演進(jìn)，標(biāo)準(zhǔn)化工作將面臨新的挑戰(zhàn)與機(jī)遇。我們建議，應(yīng)在以下方面持續(xù)發(fā)力：-動(dòng)態(tài)更新機(jī)制：建立標(biāo)準(zhǔn)動(dòng)態(tài)快速響應(yīng)機(jī)制，及時(shí)將新興的稀疏計(jì)算、存算一體架構(gòu)、