ISOIEC 23090-312025 信息技術(shù) 沉浸式媒體的編碼表示 第31部分觸覺編碼標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告

信息技術(shù)沉浸式媒體的編碼表示第31部分：觸覺編碼標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part31:Hapticscoding摘要隨著虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）和混合現(xiàn)實(shí)（MR）等沉浸式技術(shù)的迅猛發(fā)展，用戶對(duì)超越視聽感官的多模態(tài)體驗(yàn)需求日益增長。觸覺信息作為連接數(shù)字世界與物理世界的關(guān)鍵橋梁，其在沉浸式交互中的重要性愈發(fā)凸顯。本報(bào)告深入剖析了ISO/IEC23090-31:2025《信息技術(shù)沉浸式媒體的編碼表示第31部分：觸覺編碼》標(biāo)準(zhǔn)的立項(xiàng)背景、核心內(nèi)容、技術(shù)路線及其對(duì)產(chǎn)業(yè)和應(yīng)用生態(tài)的重大影響。該標(biāo)準(zhǔn)作為MPEG-H3DAudio標(biāo)準(zhǔn)的擴(kuò)展與補(bǔ)充，首次實(shí)現(xiàn)了觸覺信息的標(biāo)準(zhǔn)化編碼與表示，旨在解決不同設(shè)備、平臺(tái)間觸覺內(nèi)容互操作性差、開發(fā)成本高昂的行業(yè)痛點(diǎn)。報(bào)告詳細(xì)闡述了該標(biāo)準(zhǔn)定義的關(guān)鍵技術(shù)框架，包括觸覺數(shù)據(jù)流結(jié)構(gòu)、元數(shù)據(jù)定義、渲染模型以及與視聽媒體的同步機(jī)制。基于該標(biāo)準(zhǔn)，內(nèi)容創(chuàng)作者將能夠精準(zhǔn)描述觸覺效果的物理屬性（如頻率、幅度、波形），而無需適配特定硬件，從而顯著降低開發(fā)壁壘，促進(jìn)觸覺內(nèi)容生態(tài)的繁榮。此外，報(bào)告重點(diǎn)介紹了標(biāo)準(zhǔn)制定過程中的主要貢獻(xiàn)單位，分析了標(biāo)準(zhǔn)的適用范圍、核心價(jià)值及潛在挑戰(zhàn)。結(jié)論部分指出，ISO/IEC23090-31的頒布，標(biāo)志著沉浸式媒體從“視聽沉浸”向“全感知沉浸”邁出了決定性的一步，為構(gòu)建下一代人機(jī)交互界面、推動(dòng)醫(yī)療康復(fù)、工業(yè)仿真、教育培訓(xùn)和數(shù)字娛樂等領(lǐng)域的創(chuàng)新發(fā)展奠定了堅(jiān)實(shí)的技術(shù)基石。關(guān)鍵詞：沉浸式媒體；觸覺編碼；MPEG-H；人機(jī)交互；多模態(tài)；互操作性；觸覺渲染；標(biāo)準(zhǔn)化編碼Keywords:ImmersiveMedia;HapticsCoding;MPEG-H;Human-ComputerInteraction;Multimodal;Interoperability;HapticRendering;StandardizedCoding正文1.引言在數(shù)字化浪潮席卷全球的今天，人們對(duì)于信息交互的體驗(yàn)質(zhì)量要求已從簡單的視覺呈現(xiàn)和聽覺反饋，向更為真實(shí)、自然的多模態(tài)感知演進(jìn)。沉浸式媒體技術(shù)，特別是虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR），作為下一代計(jì)算平臺(tái)的代表，正試圖為用戶構(gòu)建一個(gè)“所見即所得、所觸即所感”的數(shù)字副本世界。然而，長久以來，沉浸式體驗(yàn)主要集中在視聽覺通道，觸覺通道的缺失導(dǎo)致虛擬物體顯得“不可觸摸”，交互的真實(shí)感和臨場感大打折扣。觸覺技術(shù)，作為連接數(shù)字世界與物理世界的“第四感官”，能夠通過振動(dòng)、壓力、溫度、紋理模擬等方式，為用戶提供與虛擬環(huán)境交互時(shí)產(chǎn)生的力觸覺反饋，是彌合這一感知鴻溝的核心技術(shù)。在此背景下，由國際標(biāo)準(zhǔn)化組織（ISO）和國際電工委員會(huì)（IEC）第一聯(lián)合技術(shù)委員會(huì)（JTC1）下屬的動(dòng)態(tài)圖像專家組（MPEG）制定的ISO/IEC23090-31:2025《信息技術(shù)沉浸式媒體的編碼表示第31部分：觸覺編碼》標(biāo)準(zhǔn)應(yīng)運(yùn)而生。該標(biāo)準(zhǔn)并非憑空出世，而是基于MPEG-H3DAudio標(biāo)準(zhǔn)的成功經(jīng)驗(yàn)與成熟框架。MPEG-H音頻標(biāo)準(zhǔn)（ISO/IEC23008-3）已在全球范圍內(nèi)，特別是在中國DTMB-A數(shù)字電視和ATSC3.0廣播標(biāo)準(zhǔn)中得到廣泛應(yīng)用，其在元數(shù)據(jù)驅(qū)動(dòng)、對(duì)象/場景式編碼方面的創(chuàng)新理念，為觸覺編碼提供了天然的技術(shù)參考。ISO/IEC23090-31的發(fā)布，標(biāo)志著國際標(biāo)準(zhǔn)化組織正式將觸覺視為沉浸式媒體不可或缺的基本要素，首次將其納入統(tǒng)一的編碼表示體系。2.標(biāo)準(zhǔn)主要內(nèi)容與技術(shù)框架ISO/IEC23090-31:2025標(biāo)準(zhǔn)的核心目標(biāo)是定義一種通用的、設(shè)備無關(guān)的觸覺信息編碼表示方法，使得任何符合標(biāo)準(zhǔn)的觸覺設(shè)備或應(yīng)用都能正確、一致地渲染出創(chuàng)作者預(yù)期的觸覺效果。該標(biāo)準(zhǔn)的主要技術(shù)內(nèi)容可概括為以下四大模塊：2.1觸覺數(shù)據(jù)流結(jié)構(gòu)標(biāo)準(zhǔn)定義了一種層次化的數(shù)據(jù)流結(jié)構(gòu)，用于承載觸覺信息。該結(jié)構(gòu)能夠容納多種觸覺數(shù)據(jù)類型，包括但不限于：-振動(dòng)（Vibration）：描述正弦波、鋸齒波、方波等基本波形及其組合的頻率、振幅、持續(xù)時(shí)間。-紋理（Texture）：通過表面粗糙度、凹凸模型等參數(shù)，描述虛擬物體表面的觸覺質(zhì)感。-力反饋（ForceFeedback）：描述交互時(shí)產(chǎn)生的阻力、慣性、彈性等力學(xué)特性，常用于模擬按壓按鈕、拉拽物體等場景。-溫度（Thermal）：用于表示觸覺反饋中次要的、但未來可擴(kuò)展的溫度信息。2.2元數(shù)據(jù)定義與MPEG-H音頻類似，該標(biāo)準(zhǔn)強(qiáng)調(diào)元數(shù)據(jù)驅(qū)動(dòng)。其定義的元數(shù)據(jù)包含兩個(gè)關(guān)鍵層級(jí)：-場景級(jí)元數(shù)據(jù)：描述整個(gè)觸覺場景的總體屬性，如坐標(biāo)系、單位制、渲染設(shè)備的增益調(diào)整范圍。-對(duì)象級(jí)元數(shù)據(jù)：描述每一個(gè)獨(dú)立觸覺對(duì)象（HapticObject）的屬性，包括其空間位置、運(yùn)動(dòng)軌跡、時(shí)間戳、與視聽覺對(duì)象的關(guān)聯(lián)關(guān)系（例如，與特定視頻幀或音頻事件同步）。2.3觸覺渲染模型標(biāo)準(zhǔn)定義了一個(gè)參考渲染模型，該模型規(guī)定了觸覺信號(hào)如何從上述編碼格式被轉(zhuǎn)換為物理驅(qū)動(dòng)信號(hào)。這是確保跨平臺(tái)一致性的關(guān)鍵。渲染模型主要包括：-信號(hào)解碼器：從數(shù)據(jù)流中重建觸覺波形。-渲染算法：根據(jù)設(shè)備能力（如僅支持振動(dòng)，或支持多自由度力反饋）將抽象元數(shù)據(jù)映射為具體的驅(qū)動(dòng)參數(shù)。-空間化技術(shù)：對(duì)于多區(qū)域觸覺設(shè)備（如觸覺手套、多點(diǎn)觸控板），標(biāo)準(zhǔn)定義了如何根據(jù)對(duì)象位置動(dòng)態(tài)分配控制信號(hào)給不同激振器。2.4同步與復(fù)用機(jī)制標(biāo)準(zhǔn)嚴(yán)格規(guī)定了觸覺流與視音頻流的同步要求。它定義了時(shí)間戳格式，確保一個(gè)“觸摸反饋”事件能精確地與對(duì)應(yīng)的視覺幀（如球體撞擊的瞬間）和音頻事件（如撞擊聲）同步。此外，該標(biāo)準(zhǔn)還定義了如何將觸覺流復(fù)用至現(xiàn)有的沉浸式媒體容器格式（如ISOBMFF，ISOBaseMediaFileFormat），確保其能夠與視頻、音頻、字幕等軌道無縫集成。3.標(biāo)準(zhǔn)制定的核心價(jià)值與應(yīng)用場景ISO/IEC23090-31的出臺(tái)，帶來了多層面的價(jià)值，從而催生了廣泛的潛在應(yīng)用場景：3.1核心價(jià)值-打破互操作性壁壘：這是最核心的價(jià)值。在此之前，觸覺開發(fā)嚴(yán)重依賴特定硬件SDK。一個(gè)為A品牌觸覺手套編寫的應(yīng)用，無法在B品牌設(shè)備上運(yùn)行。該標(biāo)準(zhǔn)定義了通用格式，使得內(nèi)容包一次編碼，即可在各廠商設(shè)備上播放。-促進(jìn)內(nèi)容生態(tài)繁榮：當(dāng)內(nèi)容創(chuàng)作與硬件解耦后，將催生出一個(gè)獨(dú)立的觸覺內(nèi)容市場。觸覺設(shè)計(jì)師將如同平面設(shè)計(jì)師、音效設(shè)計(jì)師一樣，成為一種新的職業(yè)。應(yīng)用商店中可以售賣觸覺效果包、游戲MOD觸覺補(bǔ)丁等。3.2應(yīng)用場景-數(shù)字娛樂：在VR游戲中，玩家能夠真實(shí)感受到開門的沉重感、子彈擊中身體的震動(dòng)、甚至盔甲被擊中的金屬敲擊感。在電影或直播中，觀眾能通過座椅感受到賽車漂移的G力。-醫(yī)療康復(fù)：在遠(yuǎn)程手術(shù)或康復(fù)訓(xùn)練中，醫(yī)生可以感受到手術(shù)器械與虛擬組織的阻力，極大地提升了手術(shù)模擬訓(xùn)練的真實(shí)性和有效性。在物理康復(fù)中，結(jié)合觸覺反饋的游戲能顯著提高患者訓(xùn)練的積極性。-工業(yè)仿真與遠(yuǎn)程操作：在復(fù)雜的數(shù)控機(jī)床或危險(xiǎn)環(huán)境（如核電站、深海作業(yè)）操作培訓(xùn)中，操作員可以通過帶有力反饋的操控桿，直觀地理解設(shè)備反饋，減少誤操作。在遠(yuǎn)程手術(shù)中，觸覺編碼使得操作者的力道可以精準(zhǔn)地傳遞到千里之外的手術(shù)機(jī)器人上。-教育培訓(xùn)：學(xué)生可以通過觸覺反饋學(xué)習(xí)物理定律（如摩擦力、彈力），或者通過模擬解剖、文物修復(fù)等過程，獲得比單純觀看視頻深刻得多的理解。-消費(fèi)電子與智能生活：手機(jī)、智能手表可以依據(jù)標(biāo)準(zhǔn)，提供一致的、可定制的觸摸反饋。例如，不同應(yīng)用的推送通知（如短信、郵件、微信）可以配置不同的獨(dú)特觸覺模式。4.主要參與單位介紹：FraunhoferIIS在ISO/IEC23090-31標(biāo)準(zhǔn)的制定過程中，德國弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會(huì)旗下的集成電路研究所（FraunhoferInstituteforIntegratedCircuits,IIS）扮演了至關(guān)重要的技術(shù)引領(lǐng)者角色。FraunhoferIIS是全球知名的應(yīng)用研究機(jī)構(gòu)，尤其在音頻與多媒體編碼領(lǐng)域擁有無可爭議的權(quán)威地位。它是MP3和AAC音頻編碼格式的發(fā)明者，也是MPEG-H3DAudio標(biāo)準(zhǔn)的核心貢獻(xiàn)者和主要技術(shù)提供商。正是基于其在MPEG-H音頻中的深厚積累，F(xiàn)raunhoferIIS將元數(shù)據(jù)驅(qū)動(dòng)、對(duì)象式編碼等已被驗(yàn)證成功的技術(shù)范式，創(chuàng)新性地遷移到觸覺領(lǐng)域。在標(biāo)準(zhǔn)制定中，F(xiàn)raunhoferIIS與中國相關(guān)單位（如北京大學(xué)、華為等）以及全球其他合作伙伴緊密協(xié)作，主導(dǎo)了觸覺編碼的核心算法設(shè)計(jì)、元數(shù)據(jù)架構(gòu)的定義以及測(cè)試序列的生成。該研究所提供了大量的技術(shù)提案、參考軟件以及驗(yàn)證測(cè)試平臺(tái)，確保了標(biāo)準(zhǔn)的技術(shù)先進(jìn)性和實(shí)際可行性。其開發(fā)的觸覺編碼參考實(shí)現(xiàn)已被業(yè)界廣泛用于技術(shù)評(píng)估和產(chǎn)品開發(fā)。可以說，沒有FraunhoferIIS從MPEG-H音頻向觸覺領(lǐng)域的跨模態(tài)技術(shù)遷移，該標(biāo)準(zhǔn)難以在如此短的時(shí)間內(nèi)獲得業(yè)界共識(shí)并順利發(fā)布。5.結(jié)論與展望ISO/IEC23090-31:2025《信息技術(shù)沉浸式媒體的編碼表示第31部分：觸覺編碼》的正式發(fā)布，是沉浸式技術(shù)發(fā)展史上的重要里程碑。它首次以國際標(biāo)準(zhǔn)的形式，系統(tǒng)性地定義了觸覺信息的數(shù)字化編碼、表示、復(fù)用和渲染框架，成功解決了制約觸覺產(chǎn)業(yè)發(fā)展的核心瓶頸——互操作性。未來，隨著該標(biāo)準(zhǔn)的逐步推廣和產(chǎn)業(yè)生態(tài)的成熟，我們有理由期待觸覺將成為繼視、音頻之后，媒體內(nèi)容的“第三大支柱”。展望未來，該標(biāo)準(zhǔn)的發(fā)展將呈現(xiàn)以下趨勢(shì)：1.設(shè)備兼容性增強(qiáng)：隨著標(biāo)準(zhǔn)被國際主流芯片廠商（如高通、聯(lián)發(fā)科）、操作系統(tǒng)提供商（如蘋果、谷歌）以及VR/AR頭顯廠商采納，支持標(biāo)準(zhǔn)觸覺渲染的硬件將成為標(biāo)配。2.內(nèi)容生態(tài)爆發(fā)：標(biāo)準(zhǔn)的普及將催生大量獨(dú)立的觸覺內(nèi)容創(chuàng)作工具、社區(qū)和平臺(tái)，用戶可以像下載音效包一樣，為游戲、影視、教育軟件購買或下載標(biāo)準(zhǔn)化的觸