TWI723433B

TWI723433B - 改進的邊界分割

Info

Publication number: TWI723433B
Application number: TW108121829A
Authority: TW
Inventors: 張莉; 張凱; 劉鴻彬; 莊孝強; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-06-21
Filing date: 2019-06-21
Publication date: 2021-04-01
Also published as: CN110636299B; TW202025741A; TW202015406A; CN110636314A; WO2019244115A2; US11722703B2; US20210112284A1; CN110636314B; WO2019244116A1; CN110636299A; TWI725456B; US20210112248A1; US11765398B2; WO2019244115A3

Abstract

描述了用於圖片邊界編碼的設備、系統和方法。在典型方面，一種用於處理圖片的方法包括將圖片分割成一個或多個圖片段，確定圖片段的第一塊覆蓋所述圖片段的邊界之外的至少一個區域，其中所述第一塊的大小為M×N像素，選擇大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N），其中所述第二塊完全落在所述圖片段內，並且其中所述第二塊用作最大編碼單元、葉編碼塊或編碼樹塊；以及使用分割樹處理所述圖片段的邊界，其中所述分割樹基於所述第二塊的大小。

Description

改進的邊界分割

該專利文件一般涉及圖片和視訊編碼技術。 [相關申請的交叉引用] 根據適用的《專利法》和/或《巴黎公約》的規定，本申請及時要求於2018年6月21日提交的國際專利申請No. PCT/CN2018/092125的優先權和權益。出於美國法律的所有目的，國際專利申請No. PCT/CN2018/092125的全部公開以引用方式併入作為本申請公開的一部分。

數位視訊占網際網路和其他數位通信網路上的最大頻寬使用。隨著能夠接收和顯示視訊的連接使用者設備的數量增加，預計數位視訊使用的頻寬需求將繼續增長。

描述了與用於圖像和視訊編碼的圖片邊界編碼有關的設備、系統和方法。更一般地，本發明技術提供了位於視訊資料塊的邊界處（例如，圖片，條帶（slice），圖磚（tile）等中）的子塊的處理的增強。所述方法可以應用於現有視訊編碼標準（例如，高效視訊編碼（HEVC））和未來視訊編碼標準（例如，多功能視訊編碼）或視訊編解碼器。

在一個典型方面，公開的技術可以用於提供一種用於處理圖片的方法。該方法包括將圖片分割成一個或多個圖片段，確定圖片段的第一塊覆蓋所述圖片段的邊界之外的至少一個區域，其中所述第一塊的大小為M×N像素，選擇大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N），其中所述第二塊完全落在所述圖片段內，並且其中所述第二塊用作最大編碼單元、葉編碼塊或編碼樹塊，以及使用分割樹處理所述圖片段的邊界，其中所述分割樹基於所述第二塊的大小。

在另一典型方面，公開的技術可以用於提供另一種用於處理圖片的方法。該方法包括解析圖片的位元流表示，其中通過劃分為一個或多個圖片段對所述圖片進行編碼，確定圖片段的第一塊覆蓋所述圖片段的邊界之外的至少一個區域，其中所述第一塊的大小為M×N像素，選擇大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N），其中所述第二塊完全落在所述圖片段內，並且其中所述第二塊用作最大編碼單元、葉編碼塊或編碼樹塊，以及使用分割樹處理所述圖片段的邊界，其中所述分割樹基於所述第二塊的大小。

在又一典型方面，上述方法以處理器可執行代碼的形式體現並存儲在電腦可讀程式介質中。

在又一典型方面，公開了一種配置或可操作以執行上述方法的設備。該設備可以包括被程式設計為實現該方法的處理器。

在又一典型方面，視訊解碼器裝置可以實施如本文中所述的方法。

在附圖、說明書和申請專利範圍中更詳細地描述了公開技術的上述和其他方面和特徵。

由於對更高解析度視訊的需求的增加，視訊編碼方法和技術在現代技術中普遍存在。視訊編解碼器通常包括壓縮或解壓縮數位視訊的電子電路或軟體，並且不斷改進以提供更高的編碼效率。視訊編解碼器將未壓縮視訊轉換成壓縮格式，反之亦然。視訊品質，用於表示視訊的資料量（由位元速率確定），編碼和解碼演算法的複雜性，對資料丟失和錯誤的敏感性，編輯的簡易性，隨機存取和端到端延遲（延遲）之間存在複雜的關係。壓縮格式通常符合標準視訊壓縮規範，例如，高效視訊編碼（HEVC）標準（也稱為H.265或MPEG-H第2部分）、待最終確定的多功能視訊編碼標準或其他當前和/或未來的視訊編碼標準。

公開技術的實施例可以應用於現有視訊編碼標準（例如，HEVC，H.265）和未來標準以改進壓縮性能。在本文件中使用章節標題來提高描述的可讀性，並且不以任何方式將討論或實施例（和/或實現方式）僅限制到相應的章節。

1.圖片邊界編碼的示例性實施例

圖1示出了典型HEVC視訊編解碼器和解碼器的示例性框圖（參考文獻[1]）。產生符合HEVC的位元流的編碼演算法通常如下進行。每個圖片被分成塊狀區域，精確的塊劃分被傳送到解碼器。視訊序列的第一圖片（以及進入視訊序列的每個乾淨的隨機訪問點處的第一圖片）僅使用圖片內預測（其使用同一圖片內區域到區域的空間資料預測，但不依賴其他圖片）進行編碼。對於序列的或隨機訪問點之間的所有剩餘圖片，圖片間時間預測編碼模式通常用於大多數塊。用於圖片間預測的編碼處理包括選擇包括所選參考圖片的運動資料和要應用於預測每個塊的樣本的運動向量（MV）。編碼器和解碼器通過使用MV和模式決策資料應用運動補償（MC）來生成相同的圖片間預測訊號，其作為輔助資訊被傳輸。

通過線性空間變換來變換圖片內或圖片間預測的殘差訊號，其是原始塊與其預測之間的差。然後對變換係數進行縮放，量化，熵編碼，並與預測資訊一起傳輸。

編碼器複製解碼器處理迴圈（參見圖1中的灰色陰影框），使得兩者都將為後續資料生成相同的預測。因此，通過逆縮放來構造量化的變換係數，然後對其進行逆變換以複製殘差訊號的解碼近似。然後將殘差添加到預測，然後可以將該相加的結果饋送到一個或兩個迴路濾波器中以平滑由逐塊處理和量化引起的偽像。最終圖片表示（即解碼器輸出的副本）存儲在解碼圖片緩衝器中以用於後續圖片的預測。通常，圖片的編碼或解碼處理的順序通常不同於它們從源到達的順序；需要區分解碼器的解碼順序（即位元流順序）和輸出順序（即顯示順序）。

通常期望由HEVC編碼的視訊材料作為逐行掃描圖像輸入（由於源視訊源自該格式或者由編碼之前的去交錯產生）。HEVC設計中不存在明確的編碼特徵以支援隔行掃描的使用，因為隔行掃描不再用於顯示器，並且對於分發而言變得非常不常見。然而，在HEVC中已提供了中繼資料語法以允許編碼器通過將隔行掃描視訊的每個區（即，每個視訊圖框的偶數或奇數行）編碼為單獨的圖片來指示已發送隔行掃描視訊或通過將每個隔行掃描圖框編碼為HEVC編碼圖片指示它已被發送。這提供了一種對隔行掃描視訊進行編碼的有效方法，而不需要支援用於它的特殊解碼處理。

1.1.H.264/AVC中的分割樹結構的示例

先前標準中的編碼層的核心是巨集塊，其包含亮度樣本的16×16塊，並且在4:2:0顏色採樣的通常情況下，包含色度樣本的兩個對應的8×8塊。

圖框內編碼塊使用空間預測來利用像素之間的空間相關性。定義了兩個分割：16×16和4×4。

圖框間編碼塊通過估計圖片之間的運動來使用時間預測而不是空間預測。可以針對16×16巨集塊或其任何子巨集塊分割獨立地估計運動：16×8，8×16，8×8，8×4，4×8，4×4，如圖2中所示（參考文獻[2]）。每個子巨集塊分割僅允許一個運動向量（MV）。

1.2HEVC中的分割樹結構的示例

在HEVC中，通過使用表示為編碼樹的四叉樹結構將編碼樹單元（CTU）劃分為編碼單元（CU）以適應各種局部特性。使用圖片間（時間）還是圖片內（空間）預測來編碼圖片區域的決定是在CU級別進行的。可以根據PU劃分類型將每個CU進一步劃分為一個，兩個或四個預測單元（PU）。在一個PU內部，應用相同的預測處理，並且基於PU將相關資訊傳輸到解碼器。在通過應用基於PU劃分類型的預測處理來獲得殘餘塊之後，可以根據類似於CU的編碼樹的另一種四叉樹結構將CU劃分為變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個分割概念，包括CU，PU和TU。

使用HEVC的混合視訊編碼中涉及的某些特徵包括：

（1）編碼樹單元（CTU）和編碼樹塊（CTB）結構：HEVC中的類似結構是編碼樹單元（CTU），其具有由編碼器選擇的大小並且可以大於傳統的巨集塊。CTU由亮度CTB和對應色度CTB和語法元素組成。亮度CTB的大小L×L可以選擇為L=16、32或64個樣本，較大的大小通常能夠實現更好的壓縮。然後HEVC支援使用樹結構和類似四叉樹的信令將CTB劃分為更小的塊。CTU有時也被稱為最大編碼單元LCU。

（2）編碼單元（CU）和編碼塊（CB）：CTU的四叉樹語法指定其亮度和色度CB的大小和位置。四叉樹的根與CTU關聯。因此，亮度CTB的大小是亮度CB的最大支持大小。將CTU劃分成亮度和色度CB被聯合發信令。一個亮度CB和通常兩個色度CB以及關聯的語法形成編碼單元（CU）。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有關聯的劃分為預測單元（PU）和變換單元（TU）的樹。

（3）預測單元和預測塊（PB）：在CU級別做出是使用圖框間圖片還是圖框內圖片預測來編碼圖片區域的決定。PU劃分結構的根在CU級別。取決於基本預測類型決定，然後亮度和色度CB可以進一步在大小上劃分並從亮度和色度預測塊（PB）進行預測。HEVC支援從64×64下至4×4樣本的可變PB大小。圖3示出了M×MCU的允許PB的示例。

（4）變換單元（Tu）和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級別。亮度CB殘差可以與亮度變換塊（TB）相同，或者可以進一步劃分成較小的亮度TB。這同樣適用於色度TB。類似於離散餘弦變換（DCT）的整數基函數被定義為方形TB大小4×4，8×8，16×16和32×32。對於亮度圖框內圖片預測殘差的4×4變換，交替地指定從離散正弦變換（DST）的形式匯出的整數變換。

1.2.1.樹狀結構劃分為TB和TU的示例

對於殘差編碼，可以將CB遞迴地劃分為變換塊（TB）。劃分由殘餘四叉樹發信令。僅指定了方形CB和TB劃分，其中塊可以遞迴地劃分成象限，如圖4中所示。對於大小為M×M的給定亮度CB，標誌發信令指示它是否被分成大小為M/2×M/2的四個塊。如果可能進一步劃分，如SPS中指示的殘餘四叉樹的最大深度發信令，則為每個象限分配一個標誌，所述標誌指示它是否被分成四個象限。由殘餘四叉樹產生的葉節點塊是通過變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB大小。當CB大小大於最大TB大小時，劃分是隱含的。當劃分將導致亮度TB大小小於指示的最小值時，不劃分是隱含的。在每個維度中色度TB大小是亮度TB大小的一半，除了當亮度TB大小為4×4時，在該情況下單個4×4色度TB用於由四個4×4亮度TB覆蓋的區域。在圖片內預測的CU的情況下，最近相鄰TB（在CB內或外）的解碼樣本用作用於圖框內圖片預測的參考資料。

與先前的標準相反，HEVC設計允許TB跨越圖片間預測CU的多個PB以最大化四叉樹結構的TB劃分的潛在編碼效率益處。

1.2.2.圖片邊界編碼的示例

以最小允許的亮度CB大小為單位定義圖片的邊界。結果，在圖片的右邊界和底邊界處，一些CTU可以覆蓋部分在圖片邊界之外的區域。解碼器檢測到該情況，並且必要時隱含地劃分CTU四叉樹以將CB大小減小到整個CB將適合圖片的點。

圖5示出了一圖框的分割結構的示例，其具有416×240像素的解析度和7個CTB×4個CTB的維度，其中CTB的大小是64×64。如圖5中所示，部分位於右邊界和下邊界之外的CTB具有隱含的劃分（虛線，表示為502），並且完全落在外面的CU被簡單地跳過（未編碼）。

在圖5所示的示例中，突出顯示的CTB（504），其中行CTB索引等於2並且列CTB索引等於3，在當前圖片內具有64×48像素，並且不適合64×64CTB。因此，它被強制劃分為32×32而不會對劃分標誌發信令。對於左上32×32，它完全被圖框覆蓋。當它根據速率-失真成本選擇在較小的塊中進行編碼（對於左上16×16為8×8，其餘在16×16中編碼）時，需要對幾個劃分標誌進行編碼。這些劃分標誌（是否將左上32×32分成四個16×16塊的一個標誌，以及用於發信令指示是否一個16×16進一步被劃分並且對於左上16×16內的四個8×8塊中的每一個8×8進一步被劃分的標誌）必須明確地被發信令。右上32×32塊存在類似情況。對於兩個底部32×32塊，由於它們部分地位於圖片邊界（506）之外，因此需要應用進一步的QT劃分而不用發信令。圖6A和6B分別示出了圖5中突出顯示的CTB（504）的細分和信令方法。

1.2.3.CTB大小指示的示例

表1中示出了用於通用序列參數集的示例性RBSP（原始位元序列負載）語法表。

seq_parameter_set_rbsp( ) {	描述符
sps_video_parameter_set_id	u(4)
sps_max_sub_layers_minus1	u(3)
sps_temporal_id_nesting_flag	u(1)
profile_tier_level( 1, sps_max_sub_layers_minus1 )
…
log2_min_luma_coding_block_size_minus3	ue(v)
log2_diff_max_min_luma_coding_block_size	ue(v)
log2_min_luma_transform_block_size_minus2	ue(v)
log2_diff_max_min_luma_transform_block_size	ue(v)
..
}

表1：RBSP語法結構

對應語義包括： log2_min_luma_coding_block_size_minus3加3指定最小亮度編碼塊大小；以及log2_diff_max_min_luma_coding_block_size指定最大和最小亮度編碼塊大小之間的差。

變數MinCbLog2SizeY，CtbLog2SizeY，MinCbSizeY，CtbSizeY，PicWidthInMinCbsY，PicWidthInCtbsY，PicHeightInMinCbsY，PicHeightInCtbsY，PicSizeInMinCbsY，PicSizeInCtbsY，PicSizeInSamplesY，PicWidthInSamplesC和PicHeightInSamplesC如下匯出： MinCbLog2SizeY=log2_min_luma_coding_block_size_minus3+3 CtbLog2SizeY=MinCbLog2SizeY+log2_diff_max_min_luma_coding_block_size MinCbSizeY=1>>MinCbLog2SizeY CtbSizeY=1>>CtbLog2SizeY PicWidthInMinCbsY=pic_width_in_luma_samples/MinCbSizeY PicWidthInCtbsY=Ceil（pic_width_in_luma_samples÷CtbSizeY） PicHeightInMinCbsY=pic_height_in_luma_samples/MinCbSizeY PicHeightInCtbsY=Ceil（pic_height_in_luma_samples÷CtbSizeY） PicSizeInMinCbsY=PicWidthInMinCbsY*PicHeightInMinCbsY PicSizeInCtbsY=PicWidthInCtbsY*PicHeightInCtbsY PicSizeInSamplesY=pic_width_in_luma_samples*pic_height_in_luma_samples PicWidthInSamplesC=pic_width_in_luma_samples/SubWidthC PicHeightInSamplesC=pic_height_in_luma_samples/SubHeightC

分別指定每個色度CTB的陣列的寬度和高度的變數CtbWidthC和CtbHeightC如下匯出：如果chroma_format_idc等於0（單色）或separate_colour_plane_flag等於1，則CtbWidthC和CtbHeightC都等於0；否則，CtbWidthC和CtbHeightC如下匯出： CtbWidthC=CtbSizeY/SubWidthC CtbHeightC=CtbSizeY/SubHeightC

1.3.JEM中具有較大CTU的四叉樹加二叉樹塊結構的示例

在一些實施例中，使用稱為聯合探索模型（JEM）的參考軟體（參考文獻[4]）來探索未來的視訊編碼技術（參考文獻[3]）。除二叉樹結構外，JEM還描述了四叉樹加二叉樹（QTBT）和三叉樹（TT）結構。

1.3.1.QTBT塊劃分結構的示例

與HEVC（參考文獻[5]）相反，QTBT結構消除了多個分割類型的概念，即，它消除了CU，PU和TU概念的分離，並且支持CU分割形狀的更多靈活性。在QTBT塊結構中，CU可以具有方形或矩形形狀。如圖7A中所示，首先由四叉樹結構劃分編碼樹單元（CTU）。四叉樹葉節點進一步由二叉樹結構劃分。在二叉樹劃分中有兩種劃分類型，對稱水準劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元（CU），並且該分割用於預測和變換處理而無需任何進一步劃分。這意味著CU，PU和TU在QTBT編碼塊結構中具有相同的塊大小。在JEM中，CU有時由不同顏色分量的編碼塊（CB）組成，例如，一個CU在4:2:0色度格式的P和B條帶的情況下包含一個亮度CB和兩個色度CB，並且有時由單個分量的CB組成，例如，一個CU在I條帶的情況下包含僅一個亮度CB或僅兩個色度CB。

為QTBT劃分方案定義以下參數： --CTU大小：四叉樹的根節點大小，與HEVC中相同的概念 --MinQTSize：最小允許的四叉樹葉節點大小 --MaxBTSize：最大允許的二叉樹根節點大小 --MaxBTDepth：最大允許的二叉樹深度 --MinBTSize：最小允許的二叉樹葉節點大小

在QTBT劃分結構的一個示例中，CTU大小被設置為具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize（寬度和高度）被設置為4×4，並且MaxBTDepth被設置為4。四叉樹劃分首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點可以具有從16×16（即，MinQTSize）到128×128（即，CTU大小）的大小。如果四叉樹葉節點是128×128，則由於大小超過MaxBTSize（即64×64），它將不會由二叉樹進一步劃分。否則，四叉樹葉節點可以由二叉樹進一步劃分。因此，四叉樹葉節點也是二叉樹的根節點，並且它具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth（即4）時，不考慮進一步的劃分。當二叉樹節點的寬度等於MinBTSize（即4）時，不考慮進一步的水準劃分。類似地，當二叉樹節點的高度等於MinBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點而無需任何進一步的劃分。在JEM中，最大CTU大小為256×256亮度樣本。

圖7A示出了通過使用QTBT進行塊劃分的示例，並且圖7B示出了對應的樹表示。實線表示四叉樹劃分並且虛線表示二叉樹劃分。在二叉樹的每個劃分（即，非葉）節點中，一個標誌被發信令以指示使用哪種劃分類型（即，水準或垂直），其中0表示水準劃分並且1表示垂直劃分。對於四叉樹分割，不需要指示劃分類型，原因是四叉樹劃分總是水準地和垂直地劃分塊以產生具有相同大小的4個子塊。

另外，QTBT方案支援亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B條帶，一個CTU中的亮度和色度CTB共用相同的QTBT結構。然而，對於I條帶，亮度CTB通過QTBT結構劃分為CU，並且色度CTB通過另一QTBT結構劃分為色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P或B條帶中的CU由所有三個顏色分量的編碼塊組成。

在HEVC中，限制小塊的圖框間預測以減少運動補償的記憶體訪問，使得4×8和8×4塊不支援雙預測，並且4×4塊不支援圖框間預測。在JEM的QTBT中，這些限制被去除。

1.4.用於多功能視訊編碼（VVC）的三叉樹（TT）

圖8A示出了四叉樹（QT）劃分的示例，並且圖8B和8C分別示出了垂直和水準二叉樹（BT）劃分的示例。在一些實施例中，除了四叉樹和二叉樹之外，還支持三叉樹（TT）分割，例如水準和垂直中心側三叉樹（如圖8和8E中所示）。

在一些實現方式中，支援兩級樹：區域樹（四叉樹）和預測樹（二叉樹或三叉樹）。首先通過區域樹（RT）劃分CTU。可以使用預測樹（PT）進一步劃分RT葉。還可以用PT進一步劃分PT葉片直到達到最大PT深度。PT葉是基本編碼單元。為方便起見，它仍被稱為CU。CU無法進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構稱為「多類型樹」。

1.5.替代視訊編碼技術中的劃分結構的示例

在一些實施例中，支持稱為多樹類型（MTT）的樹結構，其是QTBT的一般化。在QTBT中，如圖9中所示，首先由四叉樹結構劃分編碼樹單元（CTU）。四叉樹葉節點進一步由二叉樹結構劃分。

MTT的結構由兩種類型的樹節點構成：區域樹（RT）和預測樹（PT），支援九種類型的分割，如圖10中所示。區域樹可以遞迴地將CTU劃分成方塊，直到4×4大小的區域樹葉節點。在區域樹中的每個節點處，可以從三種樹類型之一形成預測樹：二叉樹，三叉樹和非對稱二叉樹。在PT劃分中，禁止在預測樹的分支中具有四叉樹分割。與JEM中一樣，亮度樹和色度樹在I條帶中分離。

通常，除了上下文推導之外，RT信令與JEM中的QT信令相同。對於PT信令，需要多達4個附加箱（bin），如圖11中所示。第一箱指示PT是否進一步劃分。該箱的上下文基於以下觀察來計算：進一步劃分的可能性與當前塊與其鄰域的相對大小高度相關。如果進一步劃分PT，則第二箱指示它是水準劃分還是垂直劃分。在一些實施例中，中心側三叉樹和不對稱二叉樹（ABT）的存在增加了「高」或「寬」塊的出現。第三箱指示分割的樹類型，即它是二叉樹/三叉樹還是非對稱二叉樹。在二叉樹/三叉樹的情況下，第四箱指示樹的類型。在非對稱二叉樹的情況下，第四箱指示水準劃分樹的上或下類型和垂直劃分的右或左類型。

1.5.1.圖片邊界處的限制的示例

在一些實施例中，如果CTB/LCU大小由M×N（通常M等於N，如HEVC/JEM中所定義）指示，對於位於圖片（或圖磚或條帶或其他類型）邊界處的CTB，K×L樣本在圖片邊界內。

圖片底部和右邊界上的CU劃分規則可以應用於編碼樹配置QTBT+TT，QTBT+ABT或QTBT+TT+ABT中的任何一個。它們包括以下兩個方面：

（1）如果給定編碼樹節點（CU）的一部分部分地位於圖片外部，則沿著相關邊界方向（沿著底部邊界的水準劃分方向，如圖12A中所示，沿著右邊界的垂直劃分方向，如圖12B中所示）總是允許CU的二元對稱劃分。如果當前CU的右下角在圖框外（如圖12C中所示），則僅允許CU的四叉樹劃分。此外，如果當前二叉樹深度大於最大二叉樹深度並且當前CU在圖框邊界上，則啟用二元劃分以確保到達圖框邊界。

（2）關於三叉樹劃分處理，在所得到的子CU之間的第一或第二邊界恰好位於圖片的邊界上的情況下，允許三叉樹劃分。如果劃分線（由劃分產生的兩個子CU之間的邊界）與圖片邊界完全匹配，則允許非對稱二叉樹劃分。

2.圖片邊界編碼的現有實現方式的示例

當CTB大小通常為64×64時現有實現方式處理圖框/圖片邊界。然而，現有實現方式不太適合於其中CTB大小可以是128×128或甚至256×256的未來視訊編碼標準。

在一個示例中，當一個塊（分割）在圖片邊界之外時，HEVC設計避免了用於劃分標記的若干位元。然而，強制四叉樹劃分用於邊界CTU，這是無效的。在對模式/殘差/運動資訊發信令時可能需要若干位元，甚至兩個相鄰的方形分割可能更偏向於一起編碼。

在另一示例中，當允許多種類型的分割結構時，現有實現方式（1）僅允許與塊擴展的圖片邊界平行的劃分方向，以及（2）根據塊的右/底端是否位於圖片邊界之外限制若干分割模式。然而，應當注意的是，劃分仍然從整個CTB開始，由於圖片邊界之外的不可用樣本，這是不合理的。

3.基於公開技術的用於圖片邊界編碼的示例性方法

本發明技術的實施例克服了現有實現方式的缺點，由此提供具有更高效率的視訊編碼。用於圖片邊界編碼的方法區分圖片/圖磚/條帶邊界或分界上的CTB或CB（稱為交叉CTB或交叉CB），其具有圖片/圖磚/條帶之外的樣本或其他類型的邊界或分界，和正常的CTB或CB（所有樣本都在邊界或分界內）。

例如，假設CTB/LCU大小由M×N（通常M等於N，如HEVC/JEM中所定義）指示，對於位於圖片（或圖磚或條帶或其他類型，下面在本發明中，以圖片邊界為例）邊界處的CTB，交叉CTB大小用K×L表示（K≤M且L≤N，但不允許同時具有K=M和L=N），其中樣本的K列和L行在圖片邊界內。類似地，可以假設交叉CB大小用K×L表示，並且如果CB不在邊界處，則CB的大小用M×N表示，則樣本的K列和L行在圖片邊界內。

在以下針對各種實現方式描述的示例中闡明了使用圖片邊界編碼來提高視訊編碼效率並增強現有和未來視訊編碼標準。以下提供的公開技術的示例解釋了一般概念，並不意味著被解釋為限制。在示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。在另一示例中，這些示例中描述的各種特徵可以應用於用於視訊編碼的其他靈活且有效的劃分技術（例如，使用擴展四叉樹（EQT）或靈活樹（FT））。

示例1.當K×L是允許的CTB或CU大小時（例如，當64×64是CTB時允許64×48），樹分割從K×L塊開始而不是覆蓋K×L塊的M×N塊。例如，將K×L設置為CTB或CB而不是使用M×N樣本，將所有類型的分割樹的深度/水準值設置為0。

（a）劃分結構的算術編碼（例如CABAC）中使用的上下文遵循編碼正常CTB或CB的方式。

（b）在一個示例中，在該情況下，正常CTB或CB的所有允許分割（例如，QT，BT，TT和/或其他分割）可能仍然有效。也就是說，信令保持不變。（i）在一個示例中，當針對X×Y塊選擇QT時，將其劃分成四個大小等於X/2×Y/2的分割。（ii）替代地，可以使用EQT或其他分割樹來代替QT。（iii）替代地，可以將其劃分成四個/三個/兩個分割。然而，分割大小可能取決於塊大小。QT/BT/TT（即，四/二/三/分割）結構的劃分的一些示例在圖13A-13G中示出。 1.QT分割下的四個子級CU可以定義為：M/2×N/2，（K-M/2）×N/2，M/2×（L-N/2），（K-M/2）×（L-N/2）。 2.替代地，QT分割下的四個子級CU可以定義為：M/2×L/2，M/2×L/2，（K-M/2）×L/2，（K-M/2）×L/2。在一個示例中，當L等於N時可以啟用這樣的分割。 3.替代地，QT分割下的子級CU可以定義為：K/2×N/2，K/2×N/2，K/2×（L-N/2），K/2×（L-N/2）。在一個示例中，當K等於M時可以啟用這樣的分割。 4.BT中的子級CU可以定義為：M/2×L，（K-M/2）×L。 5.BT中的子級CU可以定義為：K×N/2，K×（L-N/2）。 6.TT中的子級CU可以定義為：M/4×L，M/2×L，（K-3M/4）×L。 7.TT中的子級CU可以定義為：K×N/4，K×N/2，K×（L-3N/4）。

（c）替代地，對於交叉CTB/CB可以僅允許應用於正常CTB/CB的分割子集。在該情況下，不傳輸不允許的分割的指示。（i）在一個示例中，如果K/L大於第一閾值則可以應用水準劃分方法（劃分子塊具有與高度相比更大的寬度）和/或如果L/K大於第二閾值則可以應用垂直劃分方法（劃分子塊具有與寬度相比更大的高度）。（ii）在一個示例中，如果max（K，L）/min（K，L）大於第三閾值，則不允許QT。（iii）替代地，如果K等於M，和/或L等於N（如圖12A和12B中所示），則不允許QT。如果K小於M，和/或L小於N，則不允許QT。（iv）第一/第二/第三閾值可以在位元流中預定義或發信令，例如在序列參數集/圖片參數集/條帶報頭等中發信令。在一個示例中，將三個閾值設置為1。

（d）用於交叉CTB的最大和/或最小允許的分割樹深度與正常CTB共用。

（e）替代地，與用於正常CTB的那些相比，最大和/或最小允許的分割樹深度被不同地設置。在一個示例中，可以減少用於交叉CTB的最大允許分割樹深度。

示例2.當K×L不是允許的CU大小時（例如，當256×256是CTB並且最小允許BT大小是16×8；或14×18時，不允許8×4），將填充應用於K×L塊將其修改為K'×L'，其中K'×L'是允許的CU大小。

（a）在一個示例中，寬度和高度都被填充。替代地，當K'×K'或L'×L'是允許的CU大小之一時，僅將一側（寬度或高度）填充到最小的K'（或L'）。

（b）在一個示例中，可以以與（a）中相同的方式處理K'×L'。

（c）K'設置為2a，其中a滿足2a≥K和2a-1>K。替代地，此外，在當前圖片/條帶/圖磚等中允許分割2a×Y或Y×2a（Y是正整數值）。

（d）L'設置為2b，其中b滿足2b≥L和2b-1>L。替代地，此外，在當前圖片/條帶/圖磚等中允許分割2b×Y或Y×2b（Y是正整數值）。

（e）可以應用現有的簡單填充方法（例如，重複最外側可用樣本，如圖14中所示）。在另一示例中，可以應用鏡像重複（即，p（K+i，L+j=p（K-i，L-j））。在另一示例中，可以應用任何基於運動補償的像素填充。係數編碼的常規過程適用於單獨每個維度的支持變換大小。應當注意，原則上，填充的意圖是使填充塊大小適合支持的變換大小，因此應當最小化由於填充而產生的額外編碼開銷。

（f）替代地，為了預測，僅應考慮原始K×L塊，因此可以認為填充區域中的殘餘部分具有零值殘差。另外，可以應用濾波處理來平滑實際樣本和填充樣本之間的偽邊界，以便降低編碼係數的成本，其包括來自填充樣本的貢獻。替代地，可以應用變換跳過以消除填充的障礙，尤其是當K和L相對較小時。

（g）對於跨越圖片邊界的CTB/CB，可以通過將整個K'×L'塊視為掃描單元而不是使用傳統係數組（CG）概念來進行係數掃描。可以基於K'×L'塊大小容易地適應掃描順序，例如之字形或右上對角掃描。

示例3.在一個示例中，如果K×L（或再成形的K×L）是可用變換形狀，則K×L邊界塊被認為是有效CU，並且與分割樹中的其他葉CU節點相同被編碼。

以上描述的示例可以結合在下面描述的方法（例如，方法1500和1600）的上下文中，其可以在視訊解碼器和/或視訊編碼器處實現。

圖15示出了用於處理圖片的示例性方法的流程圖。在步驟1510，方法1500包括將圖片分割成一個或更多個圖片段。

在步驟1520，方法1500包括確定圖片段的第一塊覆蓋圖片段的邊界之外的至少一個區域，其中第一塊的大小為M×N像素。

在步驟1530，方法1500包括選擇大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N），其中第二塊完全落在圖片段內並且用作最大編碼單元、葉編碼塊或編碼樹塊。

在步驟1540，方法1500包括使用分割樹處理圖片段的邊界，其中分割樹基於第二塊的大小。在一些實現方式中，處理可以包括基於分割樹將圖片編碼為位元流表示。

圖16示出了用於處理圖片的另一示例性方法的流程圖。該流程圖包括與圖15中所示和上述的類似的一些特徵和/或步驟。在本章節中可以不單獨描述這些特徵和/或步驟中的至少一些。

在步驟1610，方法1600包括將圖片分割成一個或更多個圖片段。

在步驟1620，方法1600包括確定大小為M×N像素的圖片段的第一塊覆蓋圖片段的邊界之外的至少一個區域。

在步驟1630，方法1600包括選擇完全落在圖片段內的大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N）。

在步驟1640，方法1600包括確定第二塊的大小不與視訊編碼標準向後相容。

在步驟1650，方法1600包括通過填充第二塊的一個或兩個維度來選擇大小為K'×L'像素的第三塊，其中K≤K'且L≤L'，並且其中第三塊具有與視訊編碼標準向後相容的大小，並且用作最大編碼單元、葉編碼塊或編碼樹塊。

在步驟1660，方法1600包括使用分割樹處理圖片段的邊界，其中分割樹基於第三塊的大小。

圖17示出了用於圖片處理的另一示例性方法的流程圖。方法1700可以在解碼器側實現。在步驟1710，方法1700包括解析圖片的位元流表示，其中通過劃分成一個或更多個圖片段對圖片進行編碼。

在步驟1720，方法1700包括確定圖片段的第一塊覆蓋圖片段的邊界之外的至少一個塊，其中第一塊的大小為M×N像素。

在步驟1730，方法1700包括選擇大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N），其中第二塊完全落在圖片段內並且用作最大編碼單元、葉編碼塊或編碼樹塊。在一些實現方式中，第二塊具有與視訊編碼標準向後相容的大小。

在步驟1740，方法1700包括使用分割樹處理圖片段的邊界，其中分割樹基於第二塊的大小。在一些實現方式中，步驟1740處的處理可以包括基於分割樹解碼位元流表示以生成圖片的像素值。

圖15-17中所示的方法可以以各種方式實現以包括以下修改/變型。在一些實現方式中，第二塊具有與視訊編碼標準向後相容的大小。在一些實施例中，向後相容性可以被定義為M×N塊允許的那些變換或編碼塊大小（例如，完全位於圖片、條帶或圖磚邊界內的CTU允許的大小）。在其他實施例中，向後相容性可以被定義為與現有視訊編碼標準無縫地操作，現有視訊編碼標準包括但不限於H.264/AVC（高級視訊編碼）標準，H.265/HEVC（高效視訊編碼）標準，或可擴展HEVC（SHVC）標準。

在一些實施例中，處理包括使用上下文自我調整二進位自我調整編碼（CABAC）。在其他實施例中，可以使用與視訊編碼標準向後相容的信令來傳送對應於分割樹的參數。

在步驟1650，通過填充第二塊的一個或兩個維度來選擇大小為K'×L'像素的第三塊，其中K≤K'且L≤L'，並且其中第三塊的大小與視訊編碼標準向後相容，並且其中第三塊是最大編碼單元、葉編碼塊或編碼樹塊。在一些實施例中，K'設定為2a，並且2a≥K且2a-1>K。在一些實施例中，L'設定為2b，並且2b≥L且2b-1>L。在一些實施例中，填充包括（a）填充一個或兩個維度包括重複第二塊的最外側樣本，（b）鏡像重複，或（c）基於運動補償的像素填充。

在一些實現方式中，方法1700還可以包括對應於圖16中所示的1640和1650的步驟。

在一些實現方式中，方法1500-1700還可以包括傳送與現有視訊編碼標準向後相容的塊大小（或其對應的索引）。

在圖15-17的上下文中描述的方法1500-1700還可以包括第一塊是編碼樹單元（CTU），編碼單元（CU），預測單元（PU）或變換單元（TU）。在一些實施例中，基於第二塊的大小的分割樹與基於完全落在圖片段內的第五塊的分割樹不同。

在一些實施例中，分割樹的大小基於最小允許的分割樹大小或最大允許的分割樹深度。

4.公開技術的示例性實現方式

圖18是示出可以用於實現本發明技術的各個部分的電腦系統或其他控制設備1800的架構的示例的示意圖，所述技術包括（但不限於）方法1500-1700。在圖18中，電腦系統1800包括經由互連1825連接的一個或多個處理器1805和記憶體1810。互連1825可以表示由適當的橋、適配器或控制器連接的任何一條或多條單獨的物理匯流排、點對點連接或兩者。因此，互連1825可以包括例如系統匯流排、周邊元件連接（PCI）匯流排、超傳輸或工業標準架構（ISA）匯流排、小型電腦系統介面（SCSI）匯流排、通用序列匯流排（USB）、IIC（I2C）匯流排或電氣與電子工程師協會（IEEE）標準674匯流排（有時被稱為「火線」）。

處理器1805可以包括中央處理器（CPU）以控制例如主機的整體操作。在一些實施例中，處理器1805通過執行存儲在記憶體1810中的軟體或韌體來實現這一點。處理器1805可以是或可以包括一個或多個可程式設計通用或專用微處理器、數位訊號處理器（DSP）、可程式設計控制器、專用積體電路（ASIC）、可程式設計邏輯器件（PLD）等，或這些器件的組合。

記憶體1810可以是或包括電腦系統的主記憶體。記憶體1810表示任何適當形式的隨機存取記憶體（RAM）、唯讀記憶體（ROM）、快閃記憶體等，或這些器件的組合。在使用中，記憶體1810除其他外可包含機器指令集，所述機器指令集在由處理器1805執行時使處理器1805執行操作以實現本發明技術的實施例。

通過互連1825連接到處理器1805的還有（可選的）網路適配器1815。網路適配器1815為電腦系統1800提供與遠端設備（諸如存儲客戶機和/或其他存儲伺服器）通信的能力，並且可以是例如乙太網適配器或光纖通道適配器。

圖19示出了可以用於實現本發明技術的各個部分的移動設備1900的示例性實施例的框圖，所述技術包括（但不限於）方法1500-1700。移動設備1900可以是筆記型電腦、智慧手機、平板電腦、攝像機或能夠處理視訊的其他設備。移動設備1900包括處理資料的處理器或控制器1901，以及與處理器1901通信以存儲和/或緩衝資料的記憶體1902。例如，處理器1901可以包括中央處理器（CPU）或微控制器單元（MCU）。在一些實現方式中，處理器1901可以包括現場可程式設計閘陣列（FPGA）。在一些實現方式中，移動設備1900包括或與圖形處理單元（GPU）、視訊處理單元（VPU）和/或無線通訊單元通信，以實現智慧手機設備的各種視覺和/或通信資料處理功能。例如，記憶體1902可以包括並存儲處理器可執行代碼，當處理器1901執行該代碼時，將移動設備1900配置為執行各種操作，例如接收資訊、命令和/或資料，處理資訊和資料，以及將處理過的資訊/資料發送或提供給另一設備，諸如執行器或外部顯示器。

為了支援移動設備1900的各種功能，記憶體1902可以存儲資訊和資料，諸如指令、軟體、值、圖像以及處理器1901處理或引用的其他資料。例如，可以使用各種類型的隨機存取記憶體（RAM）設備、唯讀記憶體（ROM）設備、快閃記憶體設備和其他合適的存儲介質來實現記憶體1902的存儲功能。在一些實現方式中，移動設備1900包括輸入/輸出（I/O）單元1903以將處理器1901和/或記憶體1902與其他模組、單元或設備進行介面。例如，I/O單元1903可以與處理器1901和記憶體1902進行介面，以利用與典型資料通信標準相容的各種類型的無線介面，例如，在雲端中的一台或多台電腦和使用者設備之間。在一些實現方式中，移動設備1900可以經由I/O單元1903使用有線連接與其他設備進行介面。移動設備1900還可以與其他外部介面（例如資料記憶體）和/或可視或音訊顯示裝置1904進行介面，以檢索和傳輸可由處理器處理、存儲在記憶體中或在顯示裝置1904或外部設備的輸出單元上顯示的資料和資訊。例如，顯示裝置1904可以顯示包括塊（CU，PU或TU）的視訊圖框，所述塊基於是否使用運動補償演算法並且根據公開的技術對塊進行編碼來應用圖框內塊複製。

在一些實施例中，視訊解碼器裝置可以實現如本文中所述的圖片邊界編碼的方法，用於視訊解碼。方法的各種特徵可以類似於上述方法1500-1700。

在一些實施例中，視訊解碼方法可以使用解碼裝置實現，所述解碼裝置在參考圖18和圖19所述的硬體平臺上實現。

下面以基於子句的格式描述了上述方法/技術的特徵和實施例。

1.一種用於處理圖片的方法，其包括：將圖片分割成一個或多個圖片段；確定圖片段的第一塊覆蓋所述圖片段的邊界之外的至少一個區域，其中所述第一塊的大小為M×N像素；選擇大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N），其中所述第二塊完全落在所述圖片段內，並且其中所述第二塊用作最大編碼單元、葉編碼塊或編碼樹塊；以及使用分割樹處理所述圖片段的邊界，其中所述分割樹基於所述第二塊的大小。

2.根據條款1所述的方法，其中所述處理包括基於所述分割樹將所述圖片編碼為位元流表示。

3.一種圖片處理方法，其包括：解析圖片的位元流表示，其中通過劃分為一個或多個圖片段對所述圖片進行編碼；確定圖片段的第一塊覆蓋所述圖片段的邊界之外的至少一個區域，其中所述第一塊的大小為M×N像素；選擇大小為K×L像素的第二塊，其中（K≤M且L>N）或（K>M且L≤N），其中所述第二塊完全落在所述圖片段內，並且其中所述第二塊用作最大編碼單元、葉編碼塊或編碼樹塊；以及使用分割樹處理所述圖片段的邊界，其中所述分割樹基於所述第二塊的大小。

4.根據條款3所述的方法，其中所述處理包括基於所述分割樹解碼位元流表示以生成所述圖片的像素值。

5.根據條款1或3所述的方法，其中所述第二塊的大小與視訊編碼標準向後相容。

6.根據條款1或3所述的方法，其還包括：通過填充所述第二塊的一個或兩個維度來選擇大小為K'×L'像素的第三塊，其中K≤K'且L≤L'，並且其中所述第三塊具有與視訊編碼標準向後相容的大小，並且其中所述第三塊是最大編碼單元、葉編碼塊或編碼樹塊。

7.根據條款6所述的方法，其中K'設置為2^a ，其中2^a ≥K且2^a-1 >K。

8.根據條款6所述的方法，其中L'設置為2^b ，其中2^b ≥L且2^b-1 >L。

9.根據條款6所述的方法，其中填充所述一個或兩個維度包括重複所述第二塊的最外側樣本。

10.根據條款6所述的方法，其中所述填充包括鏡像重複。

11.根據條款6所述的方法，其中所述填充包括基於運動補償的樣本填充。

12.根據條款1或3所述的方法，其還包括：確定所述第二塊的大小不與視訊編碼標準向後相容。

13.根據條款1或3所述的方法，其中所述處理包括使用上下文自我調整二進位自我調整編碼（CABAC）。

14.根據條款5或6中任一項所述的方法，其中使用與視訊編碼標準向後相容的信令來傳送對應於所述分割樹的參數。

15.根據條款5或6中任一項所述的方法，其中視訊編碼標準是H.264/AVC（高級視訊編碼）標準，H.265/HEVC（高效視訊編碼）標準或VVC（多功能視訊編碼）標準。

16.根據條款1或3中任一項所述的方法，其中所述第一塊是編碼樹單元（CTU），編碼單元（CU），預測單元（PU）或變換單元（TU）。

17.根據條款1或3所述的方法，其中基於所述第二塊的大小的分割樹與基於完全落在所述圖片段內的第五塊的分割樹不同。

18.根據條款1或3中任一項所述的方法，其中所述圖片段是條帶或圖磚。

19.根據條款1或3中任一項所述的方法，其中所述分割樹包括直接編碼整個塊而不進一步劃分。

20.一種視訊系統中的裝置，其包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由所述處理器執行時使所述處理器實現根據條款1至19中任一項所述的方法。

21.一種存儲在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於執行根據條款1至19中任一項所述的方法的程式碼。

從前述內容將理解，為了便於說明，本發明技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了所附申請專利範圍之外，本發明的技術不受限制。

本專利文件中描述的主題和功能操作的實現方式可以在各種系統、數位電子電路、或電腦軟體、韌體或硬體中實現，包括本說明書中公開的結構及其結構等效體，或其中一個或多個的組合。本說明書中描述的主題的實現方式可以實現為一個或多個電腦程式產品，即編碼在有形和非暫時電腦可讀介質上的電腦程式指令的一個或多個模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、存放裝置、影響機器可讀傳播訊號的物質組成或其中一個或多個的組合。術語「資料處理裝置」涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多個處理器或電腦。除硬體外，該裝置還可以包括為所述電腦程式創建執行環境的代碼，例如，構成處理器韌體、協定棧、資料庫管理系統、作業系統或其中一個或多個的組合的代碼。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且它可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或適合在計算環境中使用的其他單元。電腦程式不一定與檔案系統中的文件對應。程式可以存儲在保存其他程式或資料的文件的一部分（例如，存儲在標記語言文檔中的一個或多個腳本）中、專用於所述程式的單個文件中、或多個協調文件（例如，存儲一個或多個模組、副程式或部分代碼的文件）中。電腦程式可以部署成在一台或多台電腦上執行，所述電腦位於一個網站上或分佈在多個網站上，並通過通信網路互連。

本說明書描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行，所述處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括用於存儲資料的一個或多個大型存放區設備，例如，磁片、磁光碟或光碟，或可操作聯接到一個或多個大型存放區設備以從其接收資料或向其傳輸資料，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。

本說明書和附圖僅意在被視為示例性的，其中示例性是指示例。如本文所用，除非上下文另有明確說明，否則單數形式「a」、「an」和「the」也應包括複數形式。此外，「或」的使用旨在包括「和/或」，除非上下文另有明確說明。

雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或申請專利範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以在多個實施例中單獨實現，或在任何合適的子組合中實現。而且，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以涉及子組合或子組合的變型。

類似地，儘管圖中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或按照先後循序執行這樣的操作，或執行所有示出的操作。而且，本專利文件所述實施例中各種系統部件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實現方式和示例，其他實現方式、增強和變型可以基於本專利文件中描述和示出的內容做出。

100: 200: 300: 500: 502: 504:CTB 506:圖片邊界 508: 900: 1100: 1500、1600、1700:方法 1510~1540、1610~1660、1710~1740:步驟 1800:電腦設備 1805:處理器 1810:記憶體 1815:網路適配器 1825:互連 1900:移動設備 1901:處理器/控制器 1902:記憶體 1903:輸入/輸出（I/O）單元 1904:顯示裝置 K: K’: L: L’ M: N: x0~x4: y0~y7:

圖1示出了典型高效視訊編碼（HEVC）視訊編解碼器和解碼器的示例性框圖。圖2示出了H.264/AVC中的巨集塊（MB）分割的示例。圖3示出了將編碼塊（CB）劃分為預測塊（PB）的示例。圖4A和4B分別示出了將編碼樹塊（CTB）細分為CB和變換塊（TB）以及對應四叉樹的示例。圖5示出了一圖框的分割結構的示例。圖6A和6B分別示出了在圖5中的示例性圖框中突出顯示的CTB的細分和信令方法。圖7A和7B示出了用於最大編碼單元（LCU）的細分和對應QTBT（四叉樹加二叉樹）的示例。圖8A-8E示出了劃分編碼塊的示例。圖9示出了基於QTBT的CB的示例性細分。圖10A-10I示出了支援多樹類型（MTT）的CB的分割的示例，其是QTBT的一般化。圖11示出了樹型信令的示例。圖12A-12C示出了跨越圖片邊界的CTB的示例。圖13A-13G示出了使用四叉樹（QT），二叉樹（BT）和三叉樹（TT）結構來分割CB的示例。圖14示出了填充編碼單元（CU）的示例。圖15示出了根據本發明技術的用於處理圖片的示例性方法的流程圖。圖16示出了根據本發明技術的用於處理圖片的另一示例性方法的流程圖。圖17示出了根據本發明技術的用於處理圖片的另一示例性方法的流程圖。圖18是示出可以用於實現本發明技術的各個部分的電腦系統或其他控制設備的架構的示例的框圖。圖19示出了可以用於實現本發明技術的各個部分的移動設備的示例性實施例的框圖。

1500:方法

1510~1540:步驟

Claims

一種用於處理圖片的方法，其包括：將圖片分割成一個或多個圖片段；確定圖片段的第一塊覆蓋所述圖片段的邊界之外的至少一個區域，其中所述第一塊的大小為M×N像素；選擇大小為K×L像素的第二塊，其中K
M且L<N或K<M且L
N，其中所述第二塊完全落在所述圖片段內，並且其中所述第二塊用作最大編碼單元、葉編碼塊或編碼樹塊；以及使用分割樹處理所述圖片段的邊界，其中所述分割樹基於所述第二塊的大小，通過填充所述第二塊的一個或兩個維度來選擇大小為K'×L'像素的第三塊，其中K
K'且L
L'，並且其中所述第三塊具有與視訊編碼標準向後相容的大小，並且其中所述第三塊是最大編碼單元、葉編碼塊或編碼樹塊。
根據申請專利範圍第1項所述的方法，其中所述處理包括基於所述分割樹將所述圖片編碼為位元流表示。
一種圖片處理方法，其包括：解析圖片的位元流表示，其中通過劃分為一個或多個圖片段對所述圖片進行編碼；確定圖片段的第一塊覆蓋所述圖片段的邊界之外的至少一個區域，其中所述第一塊的大小為M×N像素；選擇大小為K×L像素的第二塊，其中K
M且L<N或K<M且L
N，其中所述第二塊完全落在所述圖片段內，並且其中所述第二塊用作最大編碼單元、葉編碼塊或編碼樹塊；以及使用分割樹處理所述圖片段的邊界，其中所述分割樹基於所述第二塊的大小，通過填充所述第二塊的一個或兩個維度來選擇大小為K'×L'像素的第三塊，其中K
K'且L
L'，並且其中所述第三塊具有與視訊編碼標準向後相容的大小，並且其中所述第三塊是最大編碼單元、葉編碼塊或編碼樹塊。
根據申請專利範圍第3項所述的方法，其中所述處理包括基於所述分割樹解碼位元流表示以生成所述圖片的像素值。
根據申請專利範圍第1項或第3項所述的方法，其中所述第二塊的大小與視訊編碼標準向後相容。
根據申請專利範圍第1項或第3項所述的方法，其中K'設置為2^a，其中2^a
K且2^a-1<K。
根據申請專利範圍第1項或第3項所述的方法，其中L'設置為2^b，其中2^b
L且2^b-1<L。
根據申請專利範圍第1項或第3項所述的方法，其中填充所述一個或兩個維度包括重複所述第二塊的最外側樣本。
根據申請專利範圍第1項或第3項所述的方法，其中所述填充包括鏡像重複。
根據申請專利範圍第1項或第3項所述的方法，其中所述填充包括基於運動補償的樣本填充。
根據申請專利範圍第1項或第3項所述的方法，其還包括：確定所述第二塊的大小不與視訊編碼標準向後相容。
根據申請專利範圍第1項或第3項所述的方法，其中所述處理包括使用上下文自我調整二進位自我調整編碼(CABAC)。
根據申請專利範圍第5項所述的方法，其中使用與視訊編碼標準向後相容的信令來傳送對應於所述分割樹的參數。
根據申請專利範圍第5項所述的方法，其中視訊編碼標準是H.264/AVC(高級視訊編碼)標準、H.265/HEVC(高效視訊編碼)標準或VVC(多功能視訊編碼)標準。
根據申請專利範圍第1項或第3項中任一項所述的方法，其中所述第一塊是編碼樹單元(CTU)、編碼單元(CU)、預測單元(PU)或變換單元(TU)。
根據申請專利範圍第1項或第3項所述的方法，其中基於所述第二塊的大小的分割樹與基於完全落在所述圖片段內的第五塊的分割樹不同。
根據申請專利範圍第1項或第3項中任一項所述的方法，其中所述圖片段是條帶或圖磚。
根據申請專利範圍第1項或第3項中任一項所述的方法，其中所述分割樹包括直接編碼整個塊而不進一步劃分。
一種視訊系統中的裝置，其包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由所述處理器執行時使所述處理器實現根據申請專利範圍第1項至第18項中的一項或多項所述的方法。
一種存儲在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於執行根據申請專利範圍第1項至第18項中的一項或多項所述的方法的程式碼。