CN117768651A 處理視頻數據的方法、裝置、介質、以及比特流存儲方法 （北京字節跳動網絡技術有限公司）

PCT/CN2018/1071782018.09.201910907741.02019.09.24本申請文件涉及處理視頻數據的方法、裝得對于使用單個參考圖片進行運動補償的單向2使用從一個或多個先前塊導出的一個或多個運動候選維護運動候選包括運動信息和廣義雙向預測GBi信息，其中GBi信息指示編解碼單元(CU)級權基于所述運動候選列表執行視頻的當前塊和所述視頻的比特流之使用為所述當前塊導出的GBi信息來更新通過添加所述運動信息和所述GBi信息作為新的運動候選來更新所述且至少一個待加入的候選從所述表中的至少一個候選中繼承所述運動信息和所述GBi信基于確定的運動信息和所述GBi信息執行執行所述視頻的另一塊和所述視頻的比特流之間的轉換，其中更新的一7.如權利要求1所述的方法，其中在所述8.如權利要求1所述的方法，其中在所述構造9.如權利要求1所述的方法，其中在所述構造期間，權重從表中的候選生成一個或多個Merge10.如權利要求8所述的方法，其中多個Merge候選使用與所述表中的所述候選的運動信息相同的運動信息，并且所述多個Merge候選進一步使用與HMVP候選的權重不同的關聯其中最多產生第一Merge候選和第二Merge候選，其中所述第一Merge候選的權重等于所述表中的所述候選的權重，且所述第二Merge候選的權重等于所述轉換中使用的參考圖其中從所述表中的所述候選生成的Merge候選的數目基于所允許權重的數目、相加之3維護具有從一個或多個先前塊導出的一個或多個第一運動候選的一所述表中的所述第一運動候選的布置基于將所述第一運動候選添加到所述表中至少基于表中的至少一個第一運動候選和至少一個第二運動候選為視頻的當前塊構執行所述當前塊和所述視頻的比特流之間的轉換，其中在所述轉其中，將所述第一運動候選添加到所述運動候選列表在一17.如權利要求13所述的方法，其中所述第一運動候選將與所述當前塊的時空運動矢量預測器交織，使得所述第一運動候選的一部分被添加在所述時空運動矢量預測器之前、其中，所述第一運動候選將與所述當前塊的仿射運動候選交織在包括多個塊的視頻的視頻塊與所述視頻的比特流表示之間述轉換的預測方向，確定是否滿足一個或多個基于歷史的運動矢量預測HMVP表的更新規421.如權利要求19所述的方法，其中由于所述預測方向是單向并且由于在所述轉換期其中所述選擇性地更新包括使用所述視頻塊的多假設運動信息來更新所述一個或多使用從一個或多個先前塊導出的一個或多個運動候選維護運動候選包括運動信息和廣義雙向預測GBi信息，其中GBi信息指示編解碼單元(CU)級權基于所述運動候選列表執行所述視頻的當前塊和所述當前塊的比特流之使用從一個或多個先前塊導出的一個或多個運動候選維護運動候選包括運動信息和廣義雙向預測GBi信息，其中GBi信息指示編解碼單元(CU)級權基于所述運動候選列表執行所述視頻的當前塊和所述當前塊的比特流之24.一種存儲由視頻處理裝置執行的方法生成的比特流的非暫時性計算機可讀記錄介使用從一個或多個先前塊導出的一個或多個運動候選維護運動候選包括運動信息和廣義雙向預測GBi信息，其中GBi信息指示編解碼單元(CU)級權基于所述運動候選列表從所述視頻的當前塊生使用從一個或多個先前塊導出的一個或多個運動候選維護運動候選包括運動信息和廣義雙向預測GBi信息，其中GBi信息指示編解碼單元(CU)級權將所述比特流存儲在非暫時性計算機可讀記5令在被所述處理器執行時使所述處理器實現權利要求1至21中任一項27.一種存儲指令的非暫時性計算機可讀存儲介質，所述指令使處理器執行以下權利6[0004]本文件公開了使用運動矢量的Merge列表對數字視頻編碼和解碼的方法、系統和至少基于所述HMVP候選所參考的參考圖片的條件的規則來存儲所述一個或多個表中的7視頻的當前塊與當前塊的比特流之間的轉換，其中在所述轉換期間使用所述一個或多個用某種類型的Merge候選來生成雙向預測Mer當前塊的HMVP候選和成對平均候選(PAC)來構造運動候選列表；以及執行所述視頻的當前[0017]在又一示例的方面，公開了一種實現本文描述的視頻編碼方法的視頻編碼器設8[0048]圖26示出了非子塊STMVP(時空運動矢量預測)的示例，其中當前塊的寬度和高度[0050]圖28是用于實現本文檔中描述的可視媒體解碼或可視媒體編碼技術的硬件平臺9[0053]圖31示出了具有所提出的HMVP(基于歷史的運動矢量預測)方法的解碼流程圖的是所公開的技術不僅限于這些視頻標準或其繼任者，而是可應用于其他視頻編解碼器標T開發了H.261和H.263，ISO/IEC開發了MPEG_1和MPEG_4視覺，并且兩個組織聯合開發了[0080]內部編解碼塊使用空間預測來探索像素之間的空間相關性。定義了兩種分割：[0083]在HEVC中，通過使用表示為編解碼樹的四叉樹結構將CTU劃分成CU來適應各種局[0085]1)編解碼樹單元和編解碼樹塊(CTB)結構：HEVC中的類似結構是編解碼樹單元[0086]2)編解碼單元(CU)和編解碼塊(CB)：CTU的四叉樹語法規定了其亮度和色度CB的同樣適用于色度TB。對于4×4、8×8、16×16和32×32的方形TB定義了與離散余弦變換如序列參數集(SPS)中指示的殘差四叉樹的最大深度所指示的那樣，每個象限都會分配一鄰TB(CB內或CB外)的解碼樣本用作幀內預測的[0105]在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128個亮度樣本，MiNQTSize被設置為16×16，MaxBTSize被設置為64×64，此，四叉樹葉節點也是二叉樹的根節點，并且其二叉樹深度為0。當二叉樹深度達到樹結構對編解碼樹單元(CTU)進行劃分。然后用二叉樹結構對四叉樹葉節點進行進一步劃(包括空間和時間候選)中獲取當前PU的運動參數。Merge模式可以應用于任何幀間預測的每個參考圖片列表對應的參考圖片索引和參考圖片列表的使用都會在每個PU中顯式地用則當前CU的所有PU都共享一個Merge候選列表，這與2N×2N預測單元的Merge候選列表相中，基于與給定參考圖片列表中當前圖片具有最小圖片順序計數POC差異的共位PU推導了共位圖片的參考圖片與共位圖片之間的POC差異。時間Merge候選的參考圖片索引設置為候選僅用于B條帶。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考Merge候選列表。圖15A和15B示出了原始列表中(在左側)的兩個候選被用于創建添加到最終列表(在右側)中的組合雙向預測Merge候選的情況，其具有MvL0和refIdxL0或MvL1和的平衡，HEVC定義了運動估計區域(MER)，可使用例如語法元素“log2_parallel_merge_規定的空間Merge候選的推導過程。log2_parallel_Merge_level_MiNus2的值應在0到Log2ParMrgLevel等于6時，可以并行推導64x64塊中包含的所有預測單元(PU)和編解碼單A0[0170]除了參考圖片索引的推導外，時間Merge候選的所有推導過程與空間運動矢量候運動矢量預測方法。可選時間運動矢量預測(ATMVP)方法允許每個CU從多個小于共位參考間運動矢量預測和空間鄰接運動矢量遞歸地推導子C[0182]在可選時間運動矢量預測(ATMVP)方法中，運動矢量時間運動矢量預測(TMVP)是[0183]ATMVP分兩步預測CU內的子CU的運動矢量。第一步是用所謂的時間矢量識別參考y碼器檢查是否滿足低延遲條件(即，當前圖片的所有參考圖片的POC都小于當前圖片的y[0192]子CU模式作為附加的Merge候選模式啟用，并且不需要附加的語法元素來對該模式發信令。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和標志有條件地為每個至少有一個非零MVD分量的C[0196]對于具有至少一個非零MVD分量的CU，第一個標志將發信令以指示CU中是否使用[0197]當CU的第一個MVD分辨率標志為零或沒有為CU編碼(意味著CU中的所有MVD都為數亮度采樣精度)的運動信息。在對具有整數亮度樣本和4亮度樣本MVD分辨率的同一個CU[0202]模式匹配運動矢量推導(PMMVD)模式是基于幀速率上轉換(FRUC)技術的特殊[0204]在編碼器側，基于對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUCB中找到其配對的雙邊MV的參考圖片refb，以便refa和refb在時間上位于當前圖片的不同b之間的時間距離縮放MVa推導MVb。[0219]在CU級，可以將AMVPCU的最多15個MV和MergeCU的最多13個MV添加到候選列表片中子CU的共位位置處的MV被縮放為起始C被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片(與HEVC配和模板匹配都使用雙線性插值而不是常規的8抽頭幀間預測。確定MV后，對亮度使用8抽頭(8_taps)插值濾波器并且對色度使用4抽頭(4_兩種搜索模式—無限制中心偏置菱形搜索(UCBDS)和自適應交叉搜索，分別在CU級別和子圖片中基于當前CU運動軌跡上兩個塊之間的最近匹配得出的。模板匹配Merge模式沒有這和列表1的MV形成的預測塊組合形成單個預測信號。在解碼器側運動矢量細化(DMVR)方法[0255]首先通過利用冗余檢查將空間相鄰和時間相鄰塊的運動矢量和參考索引插入候義的插入順序，在插入空間候選(圖11)、時間候選、仿射候選、高級時間MVP(Advanced[0257]塊14的外推(extrapol[0273]在此提案(contribution)中，提出GBi以允許將不同的權重應用于來自L0和L1的w1的權重值0w1的權重值0112w1的權重值012134[0298]其中L(_1,y)和R(W,y)是當前塊左側和右側的4x4塊的運動矢量。A(x,_1)和B(x,[0302]_使用推導出的右下方相鄰4×4塊的運動信息以及右上方相鄰4×4塊的運動信[0304]_使用推導出的右下方相鄰4×4塊的運動信息以及左下方相鄰4×4塊的運動信表的Merge索引。對每個參考列表分別計算平均運動矢量；如果兩個MV在一個列表中均可[0312]階段1：當將HMVP候選插入查找表時，可以應用修剪以在查找表中移除相同的候中)和時間Merge候選之后，插入組合的雙向預測Merge候選和零運動矢量候選的可能性仍[0331]c.在一個示例中，要檢查的對的數目取決[0333]a.如果我們用K比特(例如，HEVC中的[0336]5.提出僅將參考某些參考圖片(例如每個參考列表的參考索引等于0的參考圖片)[0343]b.在一個示例中，不允許將子塊運動候選(例如，ATMVP)用于組合的雙向預測[0345]a.在一個示例中，可以在潛在的修[0351]e.從一個HMVP候選生成多少Merge候[0366]提出了基于歷史的MVP(HMVP)方法，其中HMVP候選被定義為先前編碼的塊的運動[0368]HMVP候選可以用在Merge候選列表構建過程中。按順序對表中的最新幾個HMVP候ATMVP)之外的空間或時間Merge候選的中的最后K個HMVP候選的運動矢量。僅使用具有與AMVP目標參考圖片相同的參考圖片的[0378]1)空間Merge候選+ATMVP(ATMVP可以與空間Merge候選交織插入)_>TMVP_>HMVP_>[0379]2)空間Merge候選+ATMVP+STMVP(ATMVP和STMVP可以與空間Merge候選交織插入，[0380]3)空間Merge候選+ATMVP(ATMVP可以與空間Merge候選交織插入)_>TMVP_>HMVP_>[0381]4)空間Merge候選+ATMVP(ATMVP可以與空間Merge候選交織插入)_>TMVP_>成對平[0382]5)空間Merge候選+ATMVP+STMVP(ATMVP和STMVP可以與空間Merge候選交織插入，STMVP可以在TMVP恰好之前或之后插入)_>TMVP_>HMVP_[0386]圖33是視頻處理的示例方法3300的流程圖。方法3300包括使用廣義雙向預測模[0387]另一示例視頻處理方法包括使用基于歷史的運動矢量預測查找表來執行視頻的運動矢量預測(HMVP)在包括視頻的當前塊的多個視頻塊和所述多個視頻塊的比特流之間[0395]5.如條款4所述的方法，還包括[0408]18.如條款1至17中任一項所述的方法，其中，所述轉換還使用組合的雙向預測[0417]27.如條款1至23所述的方法，其中通過在當前塊的成對平均候選之間交織，將[0426]圖36是示出示例視頻處理系統3600的框圖，其中可以實現本文公開的各種技[0428]外圍總線接口或顯示接口的示例可以包括通用串行總線(USB)或高清晰度多媒體電話或能夠執行數字數據處理和/或視頻顯[0429]圖37是視頻處理的示例方法3700的流程圖。該流程圖的步驟可以與本文檔第4節中描述的示例1相關聯。方法3700包括在包括多個塊的視頻的視頻塊與該視頻的比特流之[0430]圖38是視頻處理的示例方法3800的流程圖。該流程圖的步驟可以與本文檔第4節的第二運動信息精度，以及在該視頻的當前塊和該當前塊的比特流之間執行(3804)轉換，[0431]圖39是視頻處理的示例方法3900的流程圖。該流程圖的步驟可以與本文檔第4節[0432]圖40是視頻處理的示例方法4000的流程圖。該流程圖的步驟可以與本文檔第4節[0433]圖41是視頻處理的示例方法4100的流程圖。該流程圖的步驟可以與本文檔第4節或多個具有基于歷史的運動矢量預測(HMVP)候選的表；以及使用廣義雙向預測(GBi)模式[0434]圖42是視頻處理的示例方法4200的流程圖。該流程圖的步驟可以與本文檔第4節個或多個具有基于歷史的運動矢量預測(HMVP)候選的表；使用廣義雙向預測(GBi)模式執[0435]圖43是視頻處理的示例方法4300的流程圖。該流程圖的步驟可以與本文檔第4節[0436]圖44是視頻處理的示例方法4400的流程圖。該流程圖的步驟可以與本文檔第4節當前塊的多對運動信息來生成組合的雙向預測Merge候選，并且其中僅使用某種類型的[0437]圖45是視頻處理的示例方法4500的流程圖。該流程圖的步驟可以與本文檔第4節或多個具有基于歷史的運動矢量預測(HMVP)候選的表；從HMVP候選生成(4504)多個Merge[0439]圖47是視頻處理的示例方法4700的流程圖。該流程圖的步驟可以與本文檔第4節對平均候選(PAC)來構造(4704)運動候選列表；以及執行(4706)視頻的當前塊與該當前塊[0446]4.如條款1所述的方法，其中由[0447]5.如條款4所述的方法，其中所述[0462]13.如條款11所述的方法，其中僅將參考某[0470]使用應用于所述HMVP候選以及該視頻的當前塊的運動信[0471]17.如條款16所述的方法，其中基于哈希[0473]在確定所述HMVP候選的哈希值與所述視頻的當前塊的運[0476]使用廣義雙向預測(GBi)模式來執行所述視頻的當前塊與該當前塊的比特流之間[0480]22.如條款19所述的方法，其中所述[0483]使用廣義雙向預測(GBi)模式執行所述視頻的當前塊與該當前塊的比特流之間的[0488]通過添加當前塊的運動信息和權重作為新的HMVP候選，來更新所述一個或多個述一個或多個表，其中通過比較當前塊的N對運動信息來生成組合的雙向預測Merge候選，[0497]30.如條款28所述的方法，其中N取決于在將并且其中僅使用某種類型的Merge候選來生成雙向預測MeHMVP候選的運動信息，并且所述多個Merge候選還使用與所述HMVP候選的權重不同的相關得一部分HMVP候選在PAC之前添加且另一部分HMVP候選在PA得一部分HMVP候選在PAC之前添加且另一部分HMVP候選在仿射運動候[0546]61.如條款55至條款60中的任一項的述實施例中各種系統組件的分離不應理解為在所有實施例中都