CN116248864B 利用包含追加區域的分割單位的影像解碼方法以及裝置 （漢陽大學校產學協力團）

201880045023.02018.07.03KR20160143586A,2016.12.14利用包含追加區域的分割單位的影像解碼本發明公開一種利用包含追加區域的分割從所接收到的比特流(bitstream)獲取到的語法2通過參考從所接收到的比特流(bitstream)獲取到的分割信息，將所述所接收到的比從多個參考樣本層導出所述當前區塊的參考基于所述參考樣本和所述畫面內預測模式生成所述當前其中，所述分割信息包括寬度信息和高度信息，所述寬其中，所述當前區塊的所述參考樣本層的每個與所述當前區塊的邊界具有不同的距使用與所述當前區塊的所述邊界具有最短距離的所述參考樣本層來從多個參考樣本層中確定所述當前區塊的參考基于所述參考樣本和所述畫面內預測模式生成所述當前其中，所述分割信息包括寬度信息和高度信息，所述寬其中，所述當前區塊的所述參考樣本層的每個與所述當前區塊的邊界具有不同的距使用與所述當前區塊的所述邊界具有最短距離的所述參考樣本層來從多個參考樣本層中確定所述當前區塊的參考3基于所述參考樣本和所述畫面內預測模式生成所述當前其中，所述分割信息包括寬度信息和高度信息，所述寬其中，所述當前區塊的所述參考樣本層的每個與所述當前區塊的邊界具有不同的距4[0001]本申請為2018年07月03日遞交的申請號為2018800450230，發明名稱為利用包含域并在進行編碼時同時參考追加區域中的影像數據而提升編(Channel)帶寬(Bandwidth)的發展速度仍然需要一種能夠對急劇增加的多媒體數據的量PictureExpertGroup)和國際電聯電信標準化部門(ITU_T)的視頻編碼專家組(VCEG，VideoCodingExpertGroup)正在通過堅持不懈的合作研究而致力于開發出更加高效的[0006]此外，基于現有的影像編碼/解碼方法的畫面內預測是利用與當前區塊最相鄰的5收到的比特流(bitstream)獲取到的語法元素(SyntaxElement)，將上述比特流中所包含過比特流對是否支持自適應的參考像素濾波方法進行[0023]當采用如上所述的適用本發明的利用包含追加區域的分割單位的影像解碼方法[0024]當采用如上所述的適用本發明的支持多個參考像素層級的影像解碼方法以及裝6[0036]圖10是將在適用本發明的一實施例中生成的追加區域在其他區域的編碼/解碼過[0037]圖11至圖12是用于對適用本發明之一實施例的分割單位的編碼/解碼方法進行說[0039]圖14a至圖14e是用于對適用本發明之一實施例的分割單位中的追加區域的參考[0040]圖15是對包含于當前影像的分割單位的區塊以及包含于其他影像的分割單位的[0043]圖18是對適用本發明之一實施例的畫面內預測中所使用的參考像素構成進行圖[0044]圖19a至圖19c是對適用本發明之一實施例的參考像素構成進行圖示的第2例示[0047]圖22a至圖22b是對在不可使用的參考候選區塊中向預先設定的位置填充參考像[0048]圖23a至圖23c是對在按照適用本發明的一實施例構成的參考像素中以小數像素[0049]圖24a至圖24b是用于對適用本發明之一實施例的自適應參考像素濾波方法進行[0050]圖25是用于對適用本發明之一實施例的自適應參考像素濾波方法進行說明的第2[0051]圖26a至圖26b是對適用本發明之一實施例的在參考像素濾波中利用一個參考像[0052]圖27是對適用本發明之一實施例的在參考像素濾波中利用多個參考像素層級的[0053]圖28是用于對適用本發明之一實施例的畫面內預測模式的編碼/解碼方法進行說[0054]圖29是用于對基于參考像素構成的畫面內預測的比特流構成進行說明的第1例示[0055]圖30是用于對基于參考像素構成的畫面內預測的比特流構成進行說明的第2例示[0056]圖31是用于對基于參考像素構成的畫面內預測的比特流構成進行說明的第3例示7[0057]圖32是對適用本發明之一實施例的支持多個參考像素層級的影像解碼方法進行在詞典中做出定義的術語等應解釋為與在相關技術的上下文中所具有的含義一致的含義，像組(GOP，GroupOfPictures)為單位進行劃分，各個靜止影像能夠被稱之為圖像下自行編碼/解碼的圖像，而P圖像以及B圖像能夠是指通過使用參考圖像執行如運動預測(MotionEstimation)以及運動補償(MotionCompensation)等過程而進行編碼/解碼的圖[0064]其中，將在編碼/解碼過程中作為參考的圖像稱之為參考圖像(ReferencePicture)，并將作為參考的區塊或像素稱之為參考區塊(ReferenceBlock)、參考像素8素值之外還能夠是頻率域(FrequencyDomain)的系數值、在編碼/解碼過程中生成以及確帶、并行區塊、區塊等單位水準上確定，且能夠以如視頻參數集(VPS，VideoParameter收錄到比特流中并被傳送到解碼器中，而在解碼器中能夠在相同水準的單位上進行解析(Parsing)并在對從編碼器傳送過來的設定信息進行解碼之后在影像解碼過程中進行使級參數集能夠從一個以上的上級參數集中對具有一致編號值的上級參數集的信息進行參單位能夠被稱之為上級單位而被包含的單位能夠被9多媒體播放器(PMP，PortableMultimediaPlayer)、便攜式游戲站(PSP，PlayStationPortable)、無線通信終端(WirelessCommunicationTerminal)、智能手機(Smart括配備有用于與各種設備或有線無線通信網絡執行通信的如通信調制解調器等通信裝置、為了對影像進行編碼或解碼而對用于執行幀間或幀內預測的各種應用程序和數據進行存儲的存儲器(memory)120、125、用于通過執行應用程序而進行運算以及控制的處理器口傳送到影像解碼裝置100并在影像解碼裝置100中得到解碼而重建成影像之后進行播放。此外，通過影像編碼裝置105編碼成比特流的影像還能夠通過計算機可讀取的存儲介質從[0073]適用本實施例的影像解碼裝置20如圖2所示，能夠包括預測部200、減法運算部[0074]預測部200能夠包括用于執行畫面內預測的畫面內預測部以及用于執行畫面間預面內預測或畫面間預測中的哪一種方式之后，非定向2個)或67個預測模式(定向65個+非定向2個)、131個預測模式(定向129個+非定向2個)等多種后選中的某一個作為候選組進行使[0077]畫面內預測部的參考像素濾波部能夠以減少通過編碼過程殘留的失真為目的對[0078]畫面內預測部的參考像素插值部能夠根據預測模式通過參考像素的線性插值過用的插值濾波器能夠包括4抽頭(4一tap)三次(Cubic)濾波器、4頭籌(4一tap)高斯[0079]畫面內預測部的預測模式確定部能夠在考慮到編碼成本的前提下從預測模式候選組中選定最佳的預測模式，而預測區塊生成部能夠使用相應的預測模式生成預測區塊。照預測值合適的情況以及不合適的情況自適應地對預測信息進[0080]在畫面內預測部中將上述預測值稱之為最有可能模式(MPM，MostProbableMode)，能夠從包含于預測模式候選組的所有模式中選擇一部分模式構成最有可能模式(MPM)候選組。最有可能模式(MPM)候選組中，能夠包括預先設定的預測模式(例如均值根據上述優先順序對包含于最有可能模式(MPM)候選組中的順序進行確定，而且能夠在按照上述優先順序填滿最有可能模式(MPM)候選組的數量(根據預測模式候選組的數量進行[0085]在畫面間預測部中，能夠根據運動預測方法分為移動運動模型和非移動運動模能夠按照上述運動模型在共同適用后續說明的一部分過程的同時個別適用其他一部分過基于離散余弦變換(DCT)的插值濾波器，并對色差成分適用4抽頭(4_tap)的基于離散余弦較高的區塊的過程，能夠使用如全搜索區塊匹配算法(FBMA，Fullsearch_basedBlock的過程，運動信息能夠通過如跳過模式(SkipMode)、合并模式(MergeMode)、競爭模式[0091]用于當前區塊的運動信息預測值的候選組根據運動信息編碼模式自適應且能夠的運動信息能夠被包含于候選組中，而且在時間塊等)的運動信息也能夠被包含于候選組中，此外空間性候選與時間性候選的混合運動信息(例如通過在空間上相鄰的區塊的運動信息和在時間上相鄰的區塊的運動信息以平均、中央值等獲取的信息、能夠以當前區塊或當前區塊的子區塊單位獲取運動信息)等也能夠夠是在執行對左區塊中的某一個位置(例如左區塊的最下側區塊)的有效性檢查之后跳轉到上區塊，或者其順序能夠是在執行對多個位置(法運算部205通過對需要進行編碼的當前區塊的各個像素的像素值與通過預測部生成的預測區塊的各個像素的預測像素值之間的差異進行計算而生成區塊形態的殘差信號即殘差[0097]變換部210通過將殘差區塊變換成頻率區域而將殘差區塊的各個像素值變換成頻于卡洛南洛伊變換的變換(KLTBasedTransform)等用于將空間軸的像素信號變換成頻測模式為垂直時，能夠在水平方向上使用基于離散余弦變換(DCT)的變換矩陣并在垂直方[0098]量化部215對通過變換部210變換成頻率區域的包含頻率系數的殘差區塊進行量化。其中，量化部215能夠使用如死區均勻閾值量化(DeadZoneUniformThresholdQuantization)、量化加權矩陣(QuantizationWeightedMatrix)或對其進行改良的量化[0099]熵編碼部245通過利用多種掃描方式對所生成的量化頻率系數列進行掃描而生成通過對量化頻率系數列進行逆量化而生成包含頻率系數的部225通過對經過逆量化的殘差區塊的頻率系數進行逆變換而生成包含像素值的殘差區塊[0102]加法運算部230能夠通過對在預測部200中預測的預測區塊與通過逆變換部225重(或參考區塊)被存儲到編碼圖像緩沖區240中，從而能夠在對當前區塊的下一個區塊或后[0103]濾波部235能夠包括去塊濾波器、樣本自適應偏移(SAO，SampleAdaptive適應環路濾波器(ALF)能夠在通過去塊濾波器對區塊進行濾波之后再以對經過重建的影像與原始影像進行比較的值為基礎執行濾波。樣本自適應偏移(SAO)能夠對已經適用去塊濾[0104]濾波部中的去塊濾波部能夠將以區塊邊界為基準包含于兩個區塊上的幾個列或[0106]濾波部中的樣本自適應偏移(SAO)能夠以經過重建的影像與原始影像之間的差異合適的情況以及不合適的情況自適應地對相關信息進的分割單位上或在本發明中后續說明的不可參考碼圖像緩沖區240中的重建區塊或圖像，能夠被提供到用于執行畫面內預測或畫面間預測[0113]熵解碼部305能夠通過對比特流進行解碼而對包含經過量化的系數以及從各個構[0116]逆量化部315能夠對從比特流提供并通過熵解碼部305進行解碼的經過量化的變[0119]經過逆量化以及逆變換過程的殘差區塊能夠通過與在預測部310中推導出的預測像分割部以及區塊分割部。分割部是與在圖2中所圖示的影像解碼裝置中相同或相應的構[0124]圖4a對將360度影像投影到2維平面的等距柱狀投影(ERP，Equi_RectangularProjection)格式進行了圖示。圖4b對將360度影像投影到正方體的立方體投影(CMP，CubeMapProjection)格式進行了圖示。圖4c對將360度影像投影到八面體的八面體投影多樣化的投影格式。例如，還能夠使用如截頭方形金字塔投影(TSP，TruncatedSquare投影到2維的表面數量能夠是1個(例如等距柱狀投影(EquirectangularProjection)，即影像與一個表面等同的情況)至2個以上(例如立方體投影(CubeMao配置能夠以維持3維空間上的影像連續性的方式進行配置，也能夠以即使破壞一部分相鄰[0130]參閱圖5a，能夠對立方體投影(CMP)格式相關的表面配置(layout)的實例進行確右側圖像所示的即使破壞一部分相鄰表面之間的影像連續性也在2維平面上無縫配置表面照如上端圖像所示的維持3維空間上的影像連續性的方式進行配置，也能夠按照如下端圖將表面配置變更為其他表面配置的過程將被稱之為在2維投影空間上的實際影像或場景的連續性。有連續性也能夠表達為區域之間的相關性一開始就設定特定的表面配置的過程。(能夠在360度影像編碼/解碼過程的區域式打包的位置、表面的旋轉角度等)和/或表面重新配置信息(用于指示各個表面的位置或移動角生成表面配置信息和/或表面重新配置信息并由解碼器從編碼器接收如上所述的信息并進[0139]接下來在沒有單獨進行說明的情況下所指的表面是以圖5a中的3×2配置[0144]圖2或圖3中的影像編碼/解碼裝置還能夠包括分割部，而分割部能夠包括圖像分割部以及區塊分割部。圖像分割部能夠將圖像分割成至少一個處理單位{例如色彩空間[0145]基本編碼單位能夠通過將圖像沿著水平方向或垂直方向以一定的長度間隔進行基本編碼單位能夠被設定為與圖像單位的基本編碼單位以及其他分割單位的基本編碼單[0148]上述區塊的大小或形態能夠是水平或垂直長度以2的指數冪(2n)表示的N×N正方的輸入影像分割成256×256大小，將1080p的高清晰度(HD)級別的輸入影像分割成128×收用于執行編碼/解碼的設定信息，而子圖像能夠從各個子圖像的頭信息直接獲取用于執而獲得的單位，并不是對數據進行傳送的單位{例如視頻編碼層(VCL，VideoCoding[0152]在上述實例中，還能夠變更為在子圖像的上級單位進行編碼/解碼設定并以并行既能夠獨立進行設定也能夠依賴于上級單位進夠將水平以及垂直長度分別表示為8以及4(在本實例中相應分割單位的基本編碼單位為M行區塊進行說明，但與并行區塊相關的說明能夠相[0157]在上述內容中提及的分割單位中的一部分并不要求必須包含，能夠根據編碼/解碼設定選擇性地包含全部或其中的一部分，還能能夠根據色彩格式由多個編碼區塊構成(例如一個亮度編碼區塊以及兩個色差編碼區塊[0159]雖然在本發明中是假定通過分割方式獲取到相同的大小以及形態的多個子區塊(對稱)的情況為例進行說明，但是同樣能夠適用于包時分割區塊之間的水平比例<垂直相同>為1:3或3:1或垂直比例<水平相同>為1:3或3:1等、三叉樹分割時分割區塊之間的水平比例<垂直相同>為1:2:1或垂直比例<水平相同>為1:2:編碼區塊的編碼將根據分割方式在分割深度為k+1的4個子編碼區塊(四叉樹分割)或2個子[0161]上述子編碼區塊將重新設定為編碼區塊k+1且能夠通過上述過程被再次分割成子分割中支持一個以上的分割比例(例如支持水平或垂直比例為1:1之外的追加分割比例即達到最大分割深度之前遞歸性地執行分割。此時，能夠根據編碼/解碼設定(例如影像<條圍內執行，而二叉樹分割能夠在16×16～64×64的范圍以及最大分割深度為3的范圍內執四叉樹分割能夠在8×8～128×128的范圍內執行，而二叉樹分割以及三叉樹分割能夠在4度等分割設定能夠根據分割方式以及如上所述的編碼/解碼設定采用通用二叉樹分割與三叉樹分割中需要執行的分割將通過較早執行的分割而分割出的子編碼區塊再次設定為編碼區塊之后繼續執行分表示執行分割時，能夠在將所分割出的子編碼區塊再次設定為編碼區塊之后繼續執行分的分割的結果表示執行分割且在將所分割出的子編碼區塊再次設定為編碼區塊時仍然支碼區塊，接下來能夠在將上述子編碼區塊再次設定為編夠是指不執行對預測區塊的分割，而是利用通過編碼區塊的分割而獲得的大小執行預測。夠獲取到與編碼區塊相同大小的一個預測區塊并以編碼區塊為基礎獲取到至少一個變換[0180]通過上述結果獲取到的各種大小的正方形或長方形形態的區塊能夠是在畫面內[0181]通過利用圖像分割部對圖像進行分割而獲取到的分割單位，能夠根據編碼/解碼設定執行獨立性的編碼/解碼或依賴性的編[0182]獨立性的編碼/解碼能夠是指在對一部分分割單位(或區域)執行編碼/解碼時無的過程中所使用或生成的信息{例如像素值或編碼/解碼信息(畫面內預測相關信息、畫面間預測相關信息以及熵編碼/解碼相關信息等)}將不會相互參考而獨立性地進行編碼，同樣在解碼器中對一部分單位進行紋理解碼以及熵解碼的過程中也不會對其他單位的解析分單位進行紋理解碼以及熵解碼的過程中也能夠對其他單位的解析信息以及重建信息進分割成多個表面并配置到2維空間上時，可能會根據表面配置設定而導致與相鄰表面的相如，即使是在將360度影像分割成表面單位的情況下也可能根據表面配置設定而發生與相[0186]此外，在本發明中獨立性或依賴性的編碼/解碼不僅能夠限定于空間區域進行適其他分割單位執行獨立性或依賴性的編碼/解碼，還能夠對于當前分割單位存在于不同時上有分割單位存在也假定為其他分割單位)執行獨立性或依賴的視線聚焦的區域<視口，Viewport>或希望顯示的區域等)的區域中對以較高畫質傳送的比特流A進行解析和解碼，而在關注區域外則對以普通畫質傳送的比特流B進行解析和解實例中假定表面是利用與并行區塊或子圖像相同的方式進行數據處理)的情況下，能夠對A)以及包含于關注區域外的分割單位的數據(比特流B)進地對各個比特流進行解碼而獲得整體或一部分影像。在上述實例中以360度影像的情況為[0191]在按照如上所述的實例執行編碼/解碼時，因為無法了解在解碼器中將對那些數據進行重建(在本實例中解碼器并不了解關注區域的位置，是根據關注區域隨機存取許參考與當前分割單位對應的其他時間的相同位置上的分割單位并禁止參考除此之外的分割單位進行捆綁而獲得多個分割單位)對執行哪種類型的解碼(例如在這種情況下只要分割單位中的任意一個包含于關注區域則對多個單位進行解碼)進行確定時，當前分割單位能夠在空間區域上執行獨立性或依賴性解碼并在時如除了允許參考與當前分割單位對應的其他時間的相同位置上的分割單位之外還允許參位中的數據的分割單位有更多的數據可供參考，因此其編碼/解碼效率也將得到提升。此增強信息(SEI，SupplementEnhancementInformation)或元數據(Metadata)等形態將相[0198]當通過圖像分割部將影像分割成兩個以上的分割單位(或區域)并對各個分割單分割單位可參考的數據減少而導致編碼性能下降的問題發生。為了解決如上所述的問題，能夠通過分割單位(在本實例中將以并行區同或類似的設定進行適用)之間的依賴性的編碼/在各個分割單位的外廓上形成擴展區域并在擴展區域中填充需要進行參考的其他分割單[0200]雖然如上所述的方法除了在對各個分割單位進行擴展之后再執行編碼/解碼之外與執行獨立性的編碼/解碼的方式沒有其他差異，但是因為現有的分割單位會事先從其他分割單位獲取需要參考的數據并進行參考，因此能夠理解為是依賴性編碼/解碼的一個實[0201]此外，在執行編碼/解碼之后能夠以分割單位之間的邊界為基準使用多個分割單[0202]在后續說明的實例中，將以通過執行編碼/解碼前處理過程(在本實例中為擴展)[0203]在適用本發明的一實施例中，能夠對與當前并行區塊相關的追加區域進行設具體來講，能夠以至少一個并行區塊(在本實例割成兩個以上的單位，但假定在沒有被分割的情況下也被識別為是一個分割單位)為基準[0204]例如，能夠對當前并行區塊的上/下/左/右等方向中的至少一個方向設定追加區[0205]此外，追加區域能夠利用當前并行區塊之外的其他并行區塊的影像數據進行填在上/下/左/右中的特定方向上與當前并行區塊相鄰的并行區塊中的影能夠在分割單位的所有邊界方向上均擴展m或根據邊界方向擴展mi(i為各方向索引)。m或中為獨立地適用于影像內的個別分割單位的設定信息)、在整體影像上對追加區域進行填中所圖示的各個并行區塊設定適用本發明之一實施例的追加區域的結果如圖8a至圖8i所域)進行參考，且能夠將位于左下的區塊的數據作為追[0216]通過上述的實施例包含到追加區域中的數據能夠被包含到當前并行區塊中執行為追加區域而被更新或擴展的并行區塊)上，因此在編碼過程中同樣可能會因為沒有可供為當360度影像采用等距柱狀(Equirectangular)投影時2維影像是由一個表面構成，因此在并行區塊的外部邊界方向中的全部或一部分設定追加第6號并行區塊獲取的影像數據，右上擴展區域能夠是從第2號并行區塊獲取的影像數據，右下擴展區域能夠是從第9號并行區塊獲取的影像的上側邊界圖像的下側邊界在實際影像上具有連續性時，第0號并行區塊的左側方向邊界與第2號并行區塊的右側邊界具有連續性，且第0號并行區塊的上側方向邊界與第6號并間上并不相鄰，但是在2維影像(或圖像)內仍然能夠有在實際影像上具有連續性的區塊存[0222]下述表1是用于從具有連續性的其他區域獲取與追加區域對應的數據的偽式進行分割。當需要向并行區塊4的下側設定m大小的追加區域并利用并行區塊7的上端部上述公式中的min以及max分別為0以及47，因此31～34的輸出值將為其自身值即31～34。連續性)的水平長度范圍為0～95且圖像是按照如圖7所示的方式進行分割。當需要向并行區塊3的左側設定m大小的追加區域并利用并行區塊5的右側數據填充追加區域時，能夠通[0235]當并行區塊3的垂直長度范圍為0～31且需要向左側設定4大小的追加區域時，能需要填充到追加區域中的數據為92～95位置上兩端具有連續性的情況之外)而且以在圖像內的空間上相鄰的區域相互具有連續性作為前上具有連續性的位置數據進行確認并生成追加[0239]下述表2是利用特定分割單位的內部數據生成與上述特定分割單位相關的追加區表2，與特定分割單位相關的追加區域能夠通過對相應分割單位的外廓像素進行復制而生考慮到表面的配置(或重新配置)以及表面之間的坐標系統特性的情況下變更適用重疊方[0252]圖10是將在適用本發明的一實施例中生成的追加區域在其他區域的編碼/解碼過[0253]此外，因為適用本發明之一實施例的追加區域是利用其它區域中的影像數據生在對所生成的區域B進行去除之前，可以將區域B應用到包含于分割單位I的區域A的編碼/[0255]具體來講，在假定分割單位I與分割單位J分別是圖7中的第0號并行區塊以及第1對分割單位I進行重建時，與區域A對應的部分能夠利用經過重建的區域A的影像數據以及個區域的數據(在附圖中將此時的過程命名為Rec_Process)獲得經過重建的影像(區域C，區域A和區域B進行替代。具體來講，因為區域C中包含于左側的一定范圍(例如M個像素間因為區域C中包含于右側的一定范圍(例如N個像素間隔)的影像數據更接近于分割單位J，因此能夠利用(或復制)區域B中的數據進行重建。將其表達為公式的結果如下述公式1所度以及需要進行補正的像素值的x坐標之間的距離差異為基礎區域以及B區域的加權值平均，向A區域的像素乘以加權值w并向B區域的像素乘以1_w。但的大小重新調整(Resing)過程中進行去除并被存儲到存儲器(解碼圖像緩沖區，DPB，decodedpicturebuffer)中(在本實例中假定設定追加區域的過程為大小調整<Sizing>，上述過程能夠通過上述的一部分實施例進行推導<例如通過追加區域標志確認、接下來的而相反在大小重新調整過程<能夠通過上述過程的逆向過程進行推導>中執行變小的過[0267]此外，(具體來講是在相應影像的編碼/解碼結束之后立即)也能夠不執行大小重[0268]上述相關設定信息能夠根據編碼/解碼設定默示或明示地進行處理，在采用默示執行編碼的步驟；3)以用于指示并行區塊邊界的環路濾波容許與否的信息執行濾波的步為基礎分割成一個以上的并行區塊的步驟；2)按照所分割的并行區塊單位執行解碼的步濾波或在遵守上述的濾波適用與否的同時適用于并[0278]此外，還能夠考慮在編碼/解碼過程中使用分割單位的追加區域之后不進行去除編碼的步驟；4)對并行區塊單位的追加區域進行存儲的步驟(此時能夠省略環路濾波的適是指根據360度影像的表面配置設定具有相關性的其他區域，因此能夠是與當前并行區塊為各個經過更新的并行區塊的邊界會因為追加區域而不對實際的并行區塊邊界進行共享。[0283]接下來，將結合附圖對如上所述的適用本發明之一實施例的分割單位的編碼/解[0284]圖11至圖12是用于對適用本發明之一實施例的分割單位的編碼/解碼方法進行說11中對包含追加區域的編碼方法進行了圖示而在圖12中對去除追加區域的解碼方法進行接下來根據編碼設定或是否支持追加區域為分設定信息而將需要進行解碼的影像分割成兩個以上的接收到的比特流獲取到的解碼設定為各個分割單位過對包含于比特流中的影像數據進行解碼而獲得包含追來通過刪除追加區域而生成經過重建的圖像(步驟區塊的)如loop_filter_across_enabled_flag等(具體來講是初始狀態的)分割單位邊界生成追加區域之后，已生成追加區域的分割單位之間的邊界上的影像連續性可能會消失。沒有影像連續性。當對如上所述的沒有影像連續性的分割單位之間的邊界執行環路濾波[0295]上述實例是假定追加區域在各個分割單位的各個方向上受到支持的情況為例進位邊界的全部或一部分中自適應地確定上述適用。[0296]上述相關設定信息能夠根據編碼/解碼設定默示或明示地進行處理，在采用默示[0297]接下來，將對分割單位以及追加區域的可參考與否的確定方法進行詳細的說[0298]適用本發明之一實施例的追加區域，能夠在當前影像或其他影像的編碼/解碼過當前影像的編碼/解碼過程中進行參考或限制參考。此外，存儲到存儲器中之后的追加區域，除了當前影像之外還能夠在時間上不同的影像的編碼/解碼過程中進行參考或限制參[0299]換言之，能夠根據編碼/解碼設定對上述追加區域的參考可能性以及范圍等進行[0300]上述與追加區域的參考可能性相關的設定信息能夠根據編碼/解碼設定默示或明編碼/解碼設定<在本實例中為與追加區域相關的設定>)能夠在不生成相關語法元素的情過圖像分割部獲得的單位的一般性質相關的實例，還能夠對與其相關的追加性質進行定碼設定不同的環境下對同一個影像進行編碼的多個比特流進行傳送且在解碼器中選擇性行解碼)的比特流時，因為需要在同一個空間以及不同的空間上對各個分割單位之間的參考可能性進行限制，因此能夠以只允許對不同影像中的同一區域進行參考的方式執行編[0305]上述相關設定信息能夠根據編碼/解碼設定默示或明示地進行處理，在采用默示[0306]圖13a至圖13g是用于對特定的分割單位可參考的區域進行說明的例示圖。在圖有如位置上的限制以及只允許在相同圖像內進行參考等限制的情況下允許對包含于其他塊中的一部分區塊C3能夠通過執行無方向畫面間預測而獲得參考內進行參考等限制的情況下允許對包含于其他影像中的其他位置上的區塊進行參考的實能夠是僅允許對與包含當前區塊的并行區塊處于相同位置能夠是在比特流中包含有用于指示當前分割單位可參考的并行P4。一部分并行區塊中的一部分區塊C1能夠通過執行雙方向畫面間預測而獲得參考區塊夠與當前區塊相同或類似且能夠具有與當前區塊(具體來講是在圖像單位或分割單位上)[0318]圖14a至圖14e是用于對適用本發明之一實施例的分割單位中的追加區域的參考[0320]參閱圖14a，一部分并行區塊中的一部分區塊C0能夠通過執行單方向畫面間預測[0323]一部分區塊C2能夠從一部分參考圖像(在本實例中為t)的初始并行區塊區域獲得[0326]一部分區塊C2無法從一部分參考圖像(在本實例中為t)的初始并行區塊區域獲得參考區塊FC0，但是能夠從經過更新的并行區塊區域獲得參考區塊FC1(在對一部分追加區[0327]一部分區塊C2能夠從一部分參考圖像(在本實例中為t)的一部分并行區塊區域獲[0329]一部分區塊C0能夠從一部分參考圖像t_1的初始并行區塊區域(第0號并行區塊)[0330]一部分區塊C0能夠從一部分參考圖像t+1的初始并行區塊區域(第0號并行區塊)[0331]參閱圖14e，圖像被分割成兩個以上的并行區塊單位并設定了具有至少一個大小割單位是否能夠對包含在當前圖像內空間上相鄰或與當前圖像在時間上相鄰的區塊的分通過如圖13a至圖14e所示的方法確認包含當前區塊的分割單位是否能夠對包含相鄰區塊[0336]圖15是對包含于當前影像的分割單位的區塊以及包含于其他影像的分割單位的picture)時間上相鄰的影像(Differentpicture)內位于與當前區塊相同或相應位置上的[0340]當當前區塊為S時，在時間上相鄰的影像內與當前區塊的位置相同位置的周邊區中的一部分區塊能夠進行參考而剩余的區塊能夠限制參考。[0342]例如，當畫面內預測中的當前區塊為G、左上去快的參考受限且最有可能模式相鄰的候選或空閑性候選與時間性候選的混合候選等順序執行有效性檢查而構成候選組，[0346]其中，至少一個處理器210能夠是指中央處理裝(centralprocessingunit，分的預測模式中或將從相應的模式推導出的模式包含到預測模與當前區塊對應的亮度成分的重建區塊生成當前模式候選組(A候選組)執行畫面內預測的情況[0356]圖18是對適用本發明之一實施例的畫面內預測中所使用的參考像素構成進行圖像素之后根據通過從影像編碼裝置接收到的語法元素(SyntaxElement)獲取到的預測模在采用柵格形或之字形掃描執行編碼/解碼時所選定的區塊，而在變更掃描順序時包含于與當前區塊對應的區塊能夠是指與當前區塊具有相同的位置坐標或根據色彩成分構成比[0363]換言之，當前區塊的相鄰區域能夠是用于當前區塊的畫面內預測的參考像素位前區塊之前已經完成編碼/解碼的區域或在已經完成編碼/解碼的區域的探索范圍(例如包括當前區塊的左側或右側或左上或右上等)內所包含的區域作為參當前區塊最相鄰的像素ref_0{與當前區塊的邊界像素的像素值差異為1[0367]其中，通常在執行畫面內預測時所參考的參考像素集合包含于與當前區塊的左更大的值，參考像素層級的數量以及基于可參考的相鄰區塊位置的參考像素集合的數量各個參考像素層級中適用加權值合的像素既能夠是整數單位像素，也能夠是小數單位像條帶、并行區塊等單位上生成容許自適應的參考像素構成的指示信息(在本實例中為adaptive_intra_ref_sa[0373]當上述指示信息代表容許自適應的參考像素構成(在本示例中為adaptive_[0374]當上述構成信息代表自適應的參考像素構成(在本示例中為adaptive_intra_夠在排除預先設定的信息(例如參考像素層級被預先設定為ref_0的情況)之后構成(例如以及當前區塊與相鄰區塊的編碼/解碼信息組合等對畫面內預測設定(在本實例中為參考[0378]圖19a至圖19c是對適用本發明之一實施例的參考像素構成進行圖示的第2例示定向預測模式(從附圖中的右上側到左下側的方向或其相反方向)執行畫面內預測的實例其中所使用的參考像素層級相關的設定信息并[0384]當將附圖編號a的區塊作為需要執行畫面內預測的當前區塊時，能夠利用最相鄰平邊界面相鄰的參考像素層級設定為2個并將與當前區塊的垂直邊界面相鄰的參考像素層級設定為1個的情況進行確認。與當前區塊中長度較短的垂直側邊界面相鄰的像素可能會因為與當前區塊中所包含的像素之間的距離通常相對較遠(因為水平長度較大)而導致準的區塊中所包含的像素作為參考像素使用的定向模式能夠使用兩個以上的參考像素層級，所接收到的信息為基礎判斷是否需要接收用于選定參考像候選區塊的參考進行限制的標志(例如constrained_intra_信環境在內的各種外部因素而導致錯誤時也能夠有效地執行編碼/解碼，能夠在參考候選區塊是通過對與當前區塊在時間上不同的影像進圖像類型中的constrained_intra_pred_flag＝0時)，能夠將參考候選區塊中的所有像素像類型中的constrained_intra_pred_flag＝1時)，能夠根據參考候選區塊是通過畫面內夠對相應的參考候選區塊進行參考，而當參考候選區塊是通過畫面間預測(Interprediction)進行編碼時，能夠根據上述標志是否被活性化而對相應參考候選區塊的可參位置且已經完成編碼/解碼的區塊(＝參考候選區塊)的編碼模式對可參考與否進行確定。這能夠是與根據色彩空間獨立性地確定編碼模式的情況對應[0407]在不可使用的參考候選區塊中向預先設定的位置填充參考像素的方法如下所方向能夠遵循預先設定的一個方向或根據不可使用的區塊的位置自適應[0409]圖22a至圖22b是對在不可使用的參考候選區塊中向預先設定的位置填充參考像[0410]參閱圖22a，可以對在由一個參考像素層級構成的參考像素中對不可使用的參考素(表示為<1>)能夠通過對與當前區塊的上端相塊時，與左側相鄰的相鄰區塊中所包含的參考像素左上端相鄰的相鄰區塊(對應于可使用的區塊)中所包含的參考像素進行逆時針方向的外在相鄰區塊中所包含的參考像素的一部分不可使用而非全部不可使用的情況下也能夠進[0413]參閱圖22b，可以對在由多個參考像素層級構成的參考像素中的一部分參考像素右上端相鄰的相鄰區塊為不可使用的參考候選區塊時，包含于相應的相鄰區塊的3個參考像素層級中所包含的像素(表示為<1>)能夠利用與當前區塊的上端相鄰的相鄰區塊(對應于可使用的區塊)中所包含的像素沿著順時針將與當前區塊的上端相鄰的相鄰區塊中所包含的3個參考像素層級中的參考像素(表示為<最遠離的參考像素層級ref_2中所包含的像素，能夠利用包含于相同的參考像素層級且可過2次線性內插等方法填充到不可使用的參[0416]上述實例是當多個參考像素層級由參考像素構成且一部分參考候選區塊不可使區塊不可用或所有的參考候選區塊不可用的情況等)設定為不容許自適應的參考像素構成波時解決因為適用于參考像素中的濾波次數的增加而導致的參考像素發生失真的情況而[0422]插值能夠從較低精確度至較高精確度(例如也能夠一次性執行。前一種情況是指以整數單前擬插值的像素更低的精確度完成插值的像素)為基礎執行插值，而后一種情況是指以整[0423]當使用多個濾波器候選組中的一個時，能夠明示生成或模式確定濾波器選擇信數單位的參考像素以及1/4以上單位的已插值的參考像素適用4抽頭(4_tap)高斯濾波器，的已插值的參考像素適用2抽托(2_ta及16×16以上的區塊適用6抽頭(6_tap)維納濾波器，對不足16×16的區塊適用4抽頭(4_[0427]此外，多個濾波器候選組在一部分編碼/解碼設定中能夠由4抽頭(4_tap)三次濾[0428]圖23a至圖23c是對在按照適用本發明的一實施例構成的參考像素中以小數像素行濾波(插值過程，函數int_func_1D)而分別獲得插值對象像素(xj的位置)以及包含于其他參考像素層級且與插值對象像素對應的位[0431]在上述實例中，對能夠在各個參考像素層級上通過濾波獲得1次插值像素并通過以1次插值像素為對象執行追加濾波而獲得最終差值像素的情況進行了說明，但是也能夠[0432]在圖23b中所支持的3個參考像素層級中，實際作為參考像素使用的層級能夠是(例如不由參考像素構成是指相應參考像素層級中的像素不適用于預測，但是在上述情況下執行插值時會對相應的像素進行參考，因此準確地來講也能夠屬于使用的情況)中的其jij)構成輸入像素并對相鄰像素執行濾波而獲得最終插值像[0435]圖24a至圖24b是用于對適用本發明之一實施例的自適應參考像素濾波方法進行[0436]通常，參考像素濾波部的主要目的能夠是通過使用低通濾波器{Low_pass平滑化(Smoothing)，但是也能夠根據濾波器適用目的{例如銳化(Sharpening)等}使用其減少在編碼/解碼過程中生成的失真的情況為中色彩成分C等)的分類(類別0)時能夠不適別1)時能夠利用濾波器A執行濾波，而當屬于根據一部分編碼/解碼(例如當前區塊的父區采用在一部分情況下通過明示設定進行確定而在另一部分情況下通過默示設定進行確定[0444]圖25是用于對適用本發明之一實施例的自適應參考像素濾波方法進行說明的第2[0445]參閱圖25，能夠通過利用編碼/解碼信息進行確認的影像特性對類別進行分類并夠自適應地構成各個參考像素濾波器相關候考像素濾波容許信息、參考像素濾波器信息等)可能會導致不必要的重復信息的生成。例波關閉)適用濾波。解碼器能夠在接收到畫面內預測信息之后按照與編碼器相同的方式判條帶、并行區塊等單位上生成容許自適應的參考像素濾波的指示信息(在本實例中為[0457]當上述指示信息代表容許自適應的參考像素濾波(在本示例中為adaptive_ref_[0458]當上述容許信息代表自適應的參考像素濾波(在本示例中為adaptive_ref_[0460]圖26a至圖26b是對適用本發明之一實施例的在參考像素濾波中利用一個參考像[0461]參閱圖26a，可以確認通過對參考像素層級ref_i中所包含的像素中的對象像素d之間的距離z)成比例的線性插值而獲得經過濾波(稱之為smt_func_2函數)的像素e*。其左側區塊+上側區塊+左下區塊+右上區塊構成的區塊內位于相鄰像素的兩側末端上的像[0464]在圖26a至圖26b中圖示的是為了參考像素濾波而使用與濾波對象參考像素相同[0466]圖27是對適用本發明之一實施例的在參考像素濾波中利用多個參考像素層級的鄰像素ak至gk執行濾波(定義為函數smt_func_在參考像素層級ref_i上對對象像素di以及相鄰像素ai至gi執行濾波(定義為函數smt_[0468]此外，在參考像素層級ref_j上執行參考像素濾波時不僅能夠使用相同的參考像kkjjiiikjjjjjjijjji)等遮罩的濾波器。鄰區塊且與當前區塊的邊界接近的像素構成。考慮到如上所述的方面，在參考像素層級[0470]此外，在各個參考像素層級中能夠以已經適用了1次參考像素濾波的參考像素為[0471]預測區塊生成部能夠根據至少一個畫面內預測模式(能夠簡單地稱之為預測模對參考像素進行外插(Extrapolation)或內插(Interpolation)或平均(DC)復制(Copy)而一個以上的預測像素，所復制的參考像素的數量能夠等于或少于被復制的預測像素的數能夠在獲得多個預測區塊之后通過對所獲取到的多個預測區塊適用加權值合等的方式生SquareDifference)等}以及在預測模式下生成的比特量進行預測的率失真(Rate_Distortion)技法對在編碼成本方面的最佳模式進行確定。以通過上述過程確定的預測模式為基礎生成的預測區塊能夠被傳送到減法運[0475]編碼裝置的預測模式編碼部能夠對通過預測模式確定部選定的最佳的畫面內預通過可從周邊的其他區塊等獲取到的預測模式對最佳預測模式進行預測之后對與預測模式相關的預測信息(例如所預測出的預測模式索引佳預測模式的可能性最高的預測模式，能夠由預先設定[0477]此外，還能夠將從由最有可能模式(MPM)構成的預測模式的集合即最有可能模式向模式中，能夠將與最有可能模式(MPM)候選組中所包含的預測模式之間的索引間隔等于[0478]上述實例能夠相當于最有可能模式(MPM)候選組由多個模式構成的情況，最有可能模式(MPM)候選組的構成(例如最有可能模式(MPM)中包含的預測模式的數量、構成的優[0479]能夠對最有可能模式(MPM)候選組中所包含的預測模式的優先順序進行設定。能夠根據所設定的優先順序對包含于最有可能模式(MPM)候選組中的預測模式的順序進行確定，在所添加的預測模式達到預先設定的數量時能夠完成最有可能模式(MPM)候選組的構模式的順序設定優先順序，接下來能夠將包含于最有可能模式(MPM)候選組的預測模式的面(Planar)一左下右上左上(空間相鄰區塊模式)+1(空間相鄰區塊模式)1水平垂[0481]在上述實例中，對最有可能模式(MPM)候選組構成的優先順序固定的情況進行了[0482]在利用最有可能模式(MPM)對當前區塊的預測模式執行編碼時，能夠生成預測模式與最有可能模式(MPM)的一致與否相關的信息(例如most_[0483]當與最有可能模式(MPM最有可能模式(MPM)是由一個預測模式構成時能夠不生成追加的最有可能模式(MPM)索引信息，而當由多個預測模式構成時能夠生成與最有可能模式(MPM)候選組中的當前區塊的成從所支持的畫面內預測模式中排除最有可能模式(MPM)候選組之后的剩余預測模式候選模式(nonMPM)索引信息(例如non_mpm_idx)[0485]當非最有可能模式(non_MPM)候選組由多個組構成時，能夠生成與當前區塊的預成且當前區塊的預測模式與A組的預測模式一致時(例如non_mpm_A_flag＝1)，能夠在A組的候選組中生成與當前區塊的預測模式對應的索引信息，而flag＝0)，能夠在剩余的預測模式候選組(或的接下來的預測模式包含到A組中或將具有一定間隔的定向量較多且當前區塊的預測模式與最有可能模式(MPM)不一致的情況下實現減少模式編碼比[0488]在利用最有可能模式(MPM)執行當前區塊的預測模式的編碼(或預測模式的解碼)示在將當前的畫面內預測模式分類成多個類別時屬于哪一個類別的信息以及相應類別內[0490]圖28是用于對適用本發明之一實施例的畫面內預測模式的編碼/解碼方法進行說否(通過mpm_flag指示)進行確認(S11)，并在一致時對最有對與2次最有可能模式(MPM)的一致與否(通過rem_mpm_flag指示)進行確認(S14)，并在一致時對2次最有可能模式(MPM)索引信息(rem_mpm_idx)進行確認(S16)。當與2次最有可能模式(MPM)不一致時，對由剩余的預測模式構成的候選組的索引信息(rem_mode_idx)進行確認(S15)。在本實例中對根據2次最有可能模式(MPM)的一致與否生成的索引信息是利用相同的語法元素表現的情況進行了說明，但是也能夠[0493]因為影像解碼裝置的參考像素構成部以及預測區塊生成部能夠起到與影像編碼[0495]圖29是用于對基于參考像素構成的畫面內預測的比特流構成進行說明的第1例示[0499]在解碼器中對畫面內預測相關信息(例如預測模式等)進行重建并在生成基于經在當前區塊中支持(或使用)的參考像素層級ref_idx以及參考像素濾波類別ref_filter_[0501]圖30是用于對基于參考像素構成的畫面內預測的比特流構成進行說明的第2例示[0503]在編碼器中確定支持多個參考像素層級之后利用一個參考像素層級構成參考像測區塊生成的參考像素層級以及參考像素濾波遵守根據從編碼器傳送過來的信息確定的前區塊的最佳預測模式進行確認(S30)，并對多個參考像素層級的支持與否(multi_ref_(S33)，當支持自適應的參考像素濾波時通過參考像素濾波器信息(ref_filter_idx)對參[0508]圖31是用于對基于參考像素構成的畫面內預測的比特流構成進行說明的第3例示[0510]在利用編碼器所支持的多個參考像素層級中的一個參考像素層級構成參考像素[0513]例如，能夠以通過圖19c中的ref_0生成的預測區塊與通過ref_1生成的預測區塊[0515]例如，以通過濾波A(在本實例中為3抽頭(3_tap)濾波器)獲取到的預測區塊與通過濾波B9在本實例中為5抽頭(5_tap)濾波器)獲取到的預測區塊之間的差異值為基礎對其塊的參考像素層級信息以及參考像素濾波遵守根據從編碼器傳送過來的信息確定的設定，解碼器能夠在對重復性與否直接進行確認(不通過語法元素)之后在具有重復性時遵守預參考像素層級時，執行基于所支持的多個參考像素層級的預測區塊的重復性檢查(通過S47)，從比特流對參考像素濾波方法的選擇信息(ref_filter_idx)進行參考(S48)并對最[0521]圖32是對適用本發明之一實施例的支持多個參考像素層級的影像解碼方法進行比特流中所包含的語法信息進行參考而對需要在當前區塊中使用的參考像素層級進行確定的步驟(S110)；利用所確定的參考像素層級中所包含的像素構成參考像素的步驟[0525]適用本發明的方法能夠以可通過多種計算手段執行的程序指令的形態實現并被行特別設計的程序指令或者是計算機軟件從業人員公知可用的[0526]計算機可讀取的介質的實例中能夠包括如只讀存儲器(ROM)、隨機存取存儲器