視頻編碼技術前沿與方向-

視頻編碼技術前沿與方向

北京大學數字媒體研究所/tutorial/FMM.htm提綱視頻編碼技術現狀簡介視頻編碼技術前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標準數字視頻應用傳統視頻編碼技術原理傳統視頻編碼方法從信號處理層面入手，以像素、塊為表示基礎基于香農信息論，采用混合編碼框架：變換+預測+熵編碼視頻編碼的極限數學極限—熵差別感知能力—Weber定律，

心理學模型t+1t時間冗余空間冗余感知冗余DCT視頻編碼技術發展歷程編碼效率進一步提高已很艱難色彩空間和變換編碼已接近最優用計算復雜度換取預測增益的空間越來越小熵編碼提高增益的路也不寬1950差分預測編碼調制隔行編碼B幀P幀場景自適應編碼塊運動估計DCT宏塊混合編碼哈夫曼編碼變換編碼運動矢量預測視頻對象基于對象的可分級編碼容錯一般的B幀高級的去塊效率慮波基于位平面的可伸縮編碼高精度運動補償基于上下文的算術編碼2014多視編碼分布式編碼1999~1985專利可免費使用專利可免費使用ISO/IECMPEGMPEG-1,MPEG-2,MPEG-4,MPEG-4AVC/H.264,MPEGHVCITU-TVCEGH.261,H.262(MPEG-2),H.263,H.264,VCEGH.NGC中國AVSAVS-P2,AVS-S下一代標準？方向、技術？

年代

MPEG-1

1993

2001

1997

2005

MPEG-4AVC/H.2641989

MPEG-2MPEG-42013AVS下一代標準20092017視頻編碼標準發展歷程問題分析：客觀指標與主觀感知的差異？峰值信噪比=6.24峰值信噪比=5.98一般認為：峰值信噪比與圖像質量近似成正比關系。結論：1、峰值信噪比度量與人的視覺感知并不完全一致！

2、需要尋求更加符合人類視覺感知的客觀度量方法以

及相應的編碼理論和方法。群組編碼稀疏編碼視覺注意運動感知……視覺機理視頻編碼稀疏編碼JPEG(~50倍)JPEG(~14倍)基于視感知的壓縮

(~200倍)感知圖對視覺感知機理的認識逐漸深入，用于視頻編碼的潛力很大可能突破方向：借鑒視覺感知機理[Guo03,ICCV]提綱視頻編碼技術現狀簡介視頻編碼技術前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標準

視網膜側膝體

人類“眼腦”視覺信息系統處理基本流程

下顳葉皮質區

信息論視覺信息論視頻編碼理論基礎視頻編碼

框架與方法

基于數字信號處理的框架與方法基于視覺模型的框架與方法

光學刺激

像素圖像塊局部特征部件/物體

視覺信息表示的基本粒子結構基于視覺特性的視頻編碼視覺信息論——從像素到基元（熵）質量評價方法——與主觀感知一致編碼方法——多維度感知編碼、分布式視覺編碼香農信息熵視覺熵像素集基元詞典擴展基于視覺特性的視頻編碼技術1：紋理分析合成編碼**ThomasWiegand:NewTechniquesforImprovedVideoCoding基于視覺特性的視頻編碼*ThomasWiegand:NewTechniquesforImprovedVideoCoding紋理分析合成編碼*實驗結果對比基于視覺特性的視頻編碼技術2：基于Inpainting技術的視頻編碼*碼率節省達18%*D.

Liu;X.Sun;F.Wu;S.Li;Y.Zhang,ImageCompressionWithEdge-BasedInpainting,IEEE-TCSVT,Vol.17,No.10,Oct.2007pp.1273–1287.基于視覺特性的視頻編碼技術3：視覺感知機理與編碼“像素-基元/紋理-對象-場景”層次模型S.Zhu,UCLA感知圖獲取結構感知合成紋理原始圖像合成圖像紋理區域估計基于視覺特性的視頻編碼基于視覺特性的視頻編碼符合人眼特性的圖像/視頻質量評價標準塊效應、模糊效應、振鈴效應的模型表示圖像/視頻庫主觀質量評價視覺失真測度模型提綱視頻編碼技術現狀簡介視頻編碼技術前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標準傳統可伸縮編碼時域可分級空域可分級質量可分級時域可分級質量可分級傳統可伸縮編碼H.264SVCHierarchicalPicture編碼,完全可兼容AVC的SVC編碼方案,通過層次預測實現時域可分級編碼傳統可伸縮編碼H.264SVCSNR可分級：層間預測多維度可伸縮視頻編碼可伸縮編碼框架：融合時域、空域、質量、注意、動態范圍等的多維度可伸縮編碼方法注意編碼：基于注意模型的感興趣區域表達、編碼及碼流優化截取方法空域可伸縮時域可伸縮質量可伸縮注意可伸縮動態范圍可伸縮提綱視頻編碼技術現狀簡介視頻編碼技術前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標準多視編碼多視采集系統線陣排列多視編碼多視采集系統弧形排列多視編碼采集系統面陣排列多視編碼多視點預測編碼—H.264MVC視內預測視間預測：消除視間的冗余多視編碼H.264MVC編碼效率立體視頻編碼立體感的產生視差原理立體視頻編碼立體電視與自由視點電視立體視頻編碼立體顯示戴眼鏡觀看：互補色、時分立體電視不戴眼鏡即可觀看：三維顯示器立體視編碼多視預測編碼深度信息獲取立體攝像機直接獲取：成本高雙目立體匹配方法：匹配點不唯一問題，遮擋問題單目單圖示線索方法：可利用圖示信息較少，提取深度不準確其他研究：單目多圖示線索方法立體視編碼紋理圖深度圖分塊模型深度信息編碼基于模型的編碼，通過編碼模型參數來表示深度信息對相鄰幀間深度信息進行差分預測、量化編碼編碼過程中的率失真優化立體電視示范系統多視點

立體視頻

采集裝置自動立體

顯示器分時立體

顯示器…深度圖

生成平臺多視點

立體視頻

編碼器直播點播服務器解碼

繪制

終端現有

視頻節目顯示

適配器網絡立體視編碼韓國立體電視廣播示范系統2002FIFAWorldCupKorea/Japan(5games)提綱視頻編碼技術現狀簡介視頻編碼技術前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標準分布式編碼原理Slepian-Wolf理論獨立編碼信源X,Y也可達到聯合熵下界獨立編碼相關信源X,Y可在解碼端通過聯合解碼進行重建滿足條件約束[1]Slepian-Wolf,Noiselesscodingofcorrelatedinformationsources,IEEEtrans.onInf.Theory,1973.[2]Wyner-Ziv,RecentresultsintheShannontheory,IEEEtransonInf.Theory,1974.分布式編碼系統StandfordDVC編碼器以常規方法編碼信源Y(Keyframe)以Wyner-Ziv編碼信源X,通過Slephian-WolfCoder傳送校驗位分布式編碼系統BerkeleyDVC編碼器PRISM(Power-efficientRobusthIgh-compressionSyndrome-basedMultimediacoding)：將高效的預測編碼模式和幀內預測編碼模式有效的結合起來，相應地需要：低復雜度邊信息編碼高復雜度邊信息解碼分布式編碼應用獨立、低復雜度編碼適合分布式監控、無線傳感網絡等應用上行：Wyner-Ziv編碼器編碼碼流傳送到級站下行：級站進行轉碼，用通用編碼器編碼，終端采用通用低復雜度解碼器解碼提綱視頻編碼技術現狀簡介視頻編碼技術前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標準下一代視頻編碼標準MPEGHVC,2009年2月需求文檔w10361兩大應用前景需要支持HD甚至UHD應用的家庭影院、數字相機等移動終端應用壓縮效率比現有技術有顯著提高圖像分辨率支持4Kx2K，甚至高達8Kx4K支持采樣格式YCbCr4:2:0,YCbCr/RGB4:4:4，采樣精度最高達14bit典型幀率支持24~60fps，支持靈活幀率復雜度/性能較好的折中下一代視頻編碼標準VCEG,H.NGC,Geneva,27January-6February2009編碼碼率比H.264/AVC再降低50%編碼復雜度低于3倍的H.264/AVC復雜度增加50%時應能提供25%的碼率降低較好的容錯性能支持8-bit4:2:0到12-bit4:4:4編碼分辨率支持8Kx4K，幀率23.976Hz甚至更高下一代視頻編碼標準可選擇的編碼工具超宏塊預測變塊尺寸預測高精度運動補償增強型幀內預測自適應插值濾波器，運動矢量預測….下一代視頻編碼標準“BeyondMacroblockbasedPredictiveBeyondPredictiveCodingforUltraHDVideo”,w10174_4-2,October14,2008下一代視頻編碼標準變塊尺寸預測下一代視頻編碼標準變塊尺寸預測TriangularSub-MacroblockPartitioningForMotionCompensatedPrediction,w10174,October14,2008.下一代視頻編碼標準1/8像素插值插值濾波器設計對數據存取的吞吐量、計算復雜度起著重要的影響作用，