TWI737184B - 幀内塊複製模式的合併列表生成的方法和裝置 - Google Patents

幀内塊複製模式的合併列表生成的方法和裝置 Download PDF

Info

Publication number
TWI737184B
TWI737184B TW109105451A TW109105451A TWI737184B TW I737184 B TWI737184 B TW I737184B TW 109105451 A TW109105451 A TW 109105451A TW 109105451 A TW109105451 A TW 109105451A TW I737184 B TWI737184 B TW I737184B
Authority
TW
Taiwan
Prior art keywords
ibc
candidate
merge
block
candidate list
Prior art date
Application number
TW109105451A
Other languages
English (en)
Other versions
TW202038621A (zh
Inventor
林郁晟
陳俊嘉
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202038621A publication Critical patent/TW202038621A/zh
Application granted granted Critical
Publication of TWI737184B publication Critical patent/TWI737184B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種用於包括幀內塊複製(IBC)的視頻編碼的幀間預測的方法和裝置。在一種方法中,從與一種或更多種候選類型相關聯的合併候選生成IBC合併候選列表,其中,當滿足一個或更多個約束時,從IBC合併候選列表中排除與目標候選類型相關聯的一個或更多個目標候選。使用IBC合併候選列表對與當前塊關聯的當前運動資訊進行編碼或解碼。根據另一種方法,根據當前塊的塊寬度、塊高度或塊面積跳過或簡化針對IBC合併候選列表的修剪處理。

Description

幀内塊複製模式的合併列表生成的方法和裝置
本發明涉及用於視頻編解碼的幀內塊複製(IBC)預測。特別地,本發明公開了簡化合併(merge)列表生成處理的技術。
高效視頻編碼(HEVC)標準是在ITU-T視頻編碼專家組(VCEG)和ISO/IEC運動圖像專家組(MPEG)標準化組織的聯合視頻專案下開發的,尤其是與被稱為視頻編碼聯合協作團隊(JCT-VC)的合作夥伴共同開發的。在HEVC中,一個片(slice)被分割為多個編碼樹單元(CTU)。在主設定檔中,CTU的最小大小和最大大小由序列參數集(SPS)中的語法元素指定。允許的CTU大小可以是8×8、16×16、32×32或64×64。對於各個片,根據光柵掃描連續處理片內的CTU。
CTU被進一步分割成多個編碼單元(CU)以適應各種本地特徵。四叉樹(被表示為編碼樹)用於將CTU分割為多個CU。假設CTU大小為M×M,其中M是64、32或16的值之一。CTU可以是單個CU(即不分割(split)),也可以被分割成四個大小相等的較小單元(即,每個單元是M/2×M/2),該單元對應於編碼樹的節點。如果單元是編碼樹的葉節點,則這些單元將成為CU。否則,可以反覆運算四叉樹分割處理,直到節點的大小達到SPS(序列參數集)中指定的最小允許CU大小為止。這種表示導致如第1圖中的編碼樹(也被稱為分 割樹結構)120所指定的遞迴結構。第1圖中示出了CTU分割110,其中實線表示CU邊界。在CU級別上做出使用幀間圖片(Inter-picture)(時域(temporal))預測還是幀內圖片(Intra-picture)(空域(spatial))預測對圖片區域進行編碼的決策。由於最小CU大小可以為8×8,因此在不同基本預測類型之間進行切換的最小細微性為8×8。
此外,根據HEVC,各個CU可以被分割成一個或更多個預測單元(PU)。PU與CU相結合,該PU用作共用預測資訊的基本代表塊。在各個PU內部,應用相同的預測處理,並且基於PU將相關資訊傳輸到解碼器。可以根據PU分割類型將CU分割為一個、兩個或四個PU。HEVC定義了用於將CU分割為PU的8種形狀,如第2圖所示,包括M×M、M×M/2、M/2×M、M/2×M/2、M×M/4(U)、M×M/4(D)、M/4×M(L)和M/4×M(R)分割類型。與CU不同,PU只能根據HEVC分割一次。第二行中顯示的分割對應於非對稱分割,其中兩個分割的部分具有不同的大小。
在通過基於PU分割類型的預測處理獲得了殘差塊之後,可以根據類似於第1圖所示的針對CU的編碼樹的另一四叉樹結構,將CU的預測殘差分割為變換單元(TU)。實線表示CU邊界,而虛線表示TU邊界。TU是用於應用整數變換和量化的具有殘差或變換係數的基本代表塊。針對各個TU,應用具有與TU相同大小的一個整數變換,以獲得殘差係數。這些係數在基於TU量化之後被發送到解碼器。
術語編碼樹塊(CTB)、編碼塊(CB)、預測塊(PB)和變換塊(TB)被定義為分別指定與CTU、CU、PU和TU相關聯的一種顏色分量的2-D樣本陣列。因此,CTU由一個亮度CTB、兩個色度CTB和相關聯的語法元素組成。類似的關係對於CU、PU和TU也有效。樹分割通常同時應用於亮度和色度,但是當達到色度的某些最小大小時適用例外。
另選地,提出了二叉樹分割結構。在所公開的分割處理中,塊可以被遞迴地分割成兩個較小塊。第3圖顯示了不同種類的分割類型。對稱的水平和垂直分割是最有效和最簡單的分割(即,M/2×M和M×M/2),如第3圖中的頂部的兩種分割類型所示。因此,作為一個實施方式,我們僅使用這兩種分割類型。
第4圖例示出了塊分割410及其對應的二叉樹420的示例。在二叉樹的各個分割節點(即非葉節點)中,一個標誌用於表示使用哪種分割類型(水平或垂直),其中0可表示水平分割,而1可表示垂直分割。
二叉樹結構可用於將圖像區域分割為多個較小塊,諸如將片分割為CTU、將CTU分割為CU、將CU分割為PU或將CU分割為TU等。二叉樹可用於將CTU分割為CU,其中二叉樹的根節點是CTU,而二叉樹的葉節點是CU。可以通過預測和變換編碼進一步處理葉節點。為簡化起見,沒有進一步的從CU到PU或從CU到TU的分割,這意味著CU等於PU並且PU等於TU。因此,換句話說,二叉樹的葉節點是用於預測和變換編碼的基本單元。
QTBT結構
由於二叉樹結構可以支援更多的分割形狀,因此二叉樹結構比四叉樹結構更靈活,這也是提高編碼效率的根源。但是,為了選擇最佳的分割形狀,編碼複雜度也會增加。為了平衡複雜度和編碼效率,已經公開了一種結合四叉樹結構和二叉樹結構的方法,該方法也被稱為四叉樹加二叉樹(QTBT)結構。根據QTBT結構,CTU(或I片的CTB)是四叉樹的根節點,並且首先用四叉樹對CTU進行分割,其中可以對一個節點的四叉樹分割進行反覆運算,直到該節點達到最小允許四叉樹葉節點大小(即MinQTSize)為止。如果四叉樹葉節點大小不大於最大允許二叉樹根節點大小(即MaxBTSize),則可以通過二叉樹進一步對其進行分割。可以對一個節點的二叉樹分割進行反覆運算,直到 該節點達到最小允許二叉樹葉節點大小(即MinBTSize)或最大允許二叉樹深度(即MaxBTDepth)為止。二叉樹葉節點,即CU(或I片的CB),將被用於預測(例如,幀內圖片預測或幀間圖片預測)和變換,而無需任何進一步的分割。二叉樹分割中有兩種分割類型:對稱水平分割和對稱垂直分割。在QTBT結構中,可以在諸如SPS之類的高級語法中指示最小允許四叉樹葉節點大小、最大允許二叉樹根節點大小、最小允許二叉樹葉節點寬度和高度、以及最大允許二叉樹深度。第5圖例示出了塊分割510及其對應的QTBT 520的示例。實線表示四叉樹分割,而虛線表示二叉樹分割。在二叉樹的各個分割節點(即非葉節點)中,一個標誌表示使用哪種分割類型(水平或垂直),0可以表示水平分割,而1可以表示垂直分割。
上述QTBT結構可用於將圖像區域(例如片、CTU或CU)分割為多個較小塊,諸如將片分割為CTU、將CTU分割為CU、將CU分割為PU或將CU分割為TU等。例如,QTBT可以用於將CTU分割為CU,其中,QTBT的根節點是通過QTBT結構被分割為多個CU的CTU,並且通過預測和變換編碼來進一步處理CU。為簡化起見,沒有進一步的從CU到PU或從CU到TU的分割。這意味著CU等於PU,並且PU等於TU。因此,換句話說,QTBT結構的葉節點是進行預測和變換的基本單元。
QTBT結構的示例如下所示。對於大小為128×128的CTU,將最小允許四叉樹葉節點大小設定為16×16,將最大允許二叉樹根節點大小設定為64×64,將最小允許二叉樹葉節點寬度和高度都設定為4,並且將最大允許二叉樹深度設定為4。首先,CTU由四叉樹結構分割,葉四叉樹單元可以具有從16×16(即最小允許四叉樹葉節點大小)到128×128(等於CTU大小,即不分割)的大小。如果葉四叉樹單元為128×128,則由於大小超出了最大允許二叉樹根節點大小64×64,因此無法通過二叉樹進一步分割。否則,葉四叉樹單元可以被二叉 樹進一步分割。葉四叉樹單元(它也是根二叉樹單元)的二叉樹深度為0。當二叉樹深度達到4(即所示的最大允許二叉樹)時,隱式地暗示沒有分割。當對應的二叉樹節點的塊的寬度等於4時,隱式地暗示非水平分割。當對應的二叉樹節點的塊的高度等於4時,隱式地暗示非垂直分割。通過預測(幀內圖片或幀間圖片)和變換編碼來進一步處理QTBT的葉節點。
對於I片,通常使用亮度/色度單獨編碼來應用QTBT樹結構。例如,將QTBT樹結構分別應用於I片的亮度分量和色度分量,並同時將QTBT樹結構應用於P片和B片的亮度和色度(當達到色度的某些最小大小時除外)。換句話說,在I片中,亮度CTB具有其QTBT結構的塊分割,而兩個色度CTB具有另一個QTBT結構的塊分割。在另一示例中,兩個色度CTB也可以具有它們自己的QTBT結構的塊分割。
高效視頻編碼(HEVC)是由視頻編碼聯合協作團隊(JCT-VC)開發的新的國際視頻編碼標準。HEVC基於混合的基於塊的運動補償類DCT變換編碼架構。用於壓縮的基本單元稱為編碼單元(CU),編碼單元(CU)是2N×2N的方形塊,並且各個CU可以被遞迴地分割為四個較小CU,直到達到預定義的最小大小。各個CU包含一個或多個預測單元(PU)。
為了在HEVC中實現混合編碼架構的最佳編碼效率,對於各個PU,存在兩種預測模式(即幀內預測和幀間預測)。對於幀內預測模式,空域相鄰的重構像素可用于生成方向預測。HEVC中最多有35個方向。對於幀間預測模式,時域重構參考幀可用于生成運動補償預測。存在三種不同的模式,包括跳過(Skip)、合併和幀間高級運動向量預測(AMVP)模式。
當在幀間AMVP模式下對PU進行編碼時,將使用傳輸的運動向量差(MVD)進行運動補償預測,該運動向量差可與運動向量預測子(Predictor)(MVP)一起用於獲得運動向量(MV)。為了在幀間AMVP模式下確定MVP, 使用高級運動向量預測(AMVP)方案以在包括兩個空域MVP和一個時域MVP的AMVP候選集中選擇運動向量預測子。因此,在AMVP模式下,需要對MVP的MVP索引和對應的MVD進行編碼和傳輸。另外,指定雙向預測和單向預測中的預測方向(即附帶針對各個清單的參考幀索引的清單0(即L0)和列表1(即L1))的幀間預測方向也應被編碼和傳輸。
當以跳過模式或合併模式對PU進行編碼時,由於跳過模式和合併模式利用運動推導方法,因此除了所選擇的候選的合併索引之外不傳輸運動資訊。由於針對跳過模式和合併模式,運動向量差(MVD)為零,因此針對跳過或合併編碼塊,MV與運動向量預測子(MVP)相同(即MV=MVP+MVD=MVP)。因此,跳過或合併編碼塊從並置(co-locate)圖片中的空域相鄰塊(空域候選)或時域塊(時域候選)獲得運動資訊。所述並置圖片是列表0或列表1中的第一個參考圖片,該圖片在片頭(slice header)中用信號發送。在跳過PU的情況下,殘差信號也被省略。為了確定跳過模式和合併模式的合併索引,使用合併方案以在包含四個空域MVP和一個時域MVP的合併候選集中選擇運動向量預測子。
第6圖示出了用於針對AMVP和合併方案兩者推導出空域MVP和時域MVP的相鄰PU。在AMVP中,左側的MVP是A0、A1中的第一個可用的MVP,頂部的MVP是B0、B1、B2中的第一個可用的MVP,而時域MVP是TBR或TCTR的第一個可用的MVP(首先使用TBR,如果TBR不可用,則使用TCTR代替)。如果左MVP不可用,並且頂部MVP不是縮放的MVP,則如果在B0、B1和B2之間存在縮放的MVP時,可以推導出第二頂部MVP。HEVC中的AMVP的MVP的列表大小為2。因此,在兩個空域MVP和一個時域MVP的推導過程之後,只有前兩個MVP可以包括在MVP列表中。如果在去除冗餘之後可用MVP的數量少於兩個,則將零向量候選添加到候選列表。
對於跳過模式或合併模式,如第6圖所示,從A0、A1、B0和B1推導出最多四個空域合併索引,並且從TBR或TCTR推導出一個時域合併索引(首先使用TBR,如果TBR不可用,則使用TCTR代替)。注意,如果四個空域合併索引中的任何一個空域合併索引都不可用,那麼然後使用位置B2作為替換來推導合併索引。在四個空域合併索引和一個時域合併索引的推導過程之後,應用去除冗餘來去除冗餘合併索引。如果在去除冗餘之後可用的合併索引數小於五個,則將推導三種類型的附加候選並將這三種類型的附加候選添加到候選列表中。
通過使用原始合併候選來創建附加的雙向預測合併候選。附加的候選分為三種候選類型:
1.組合的雙向預測合併候選(候選類型1)
2.縮放的雙向預測合併候選(候選類型2)
3.零向量合併/AMVP候選(候選類型3)
在候選類型1中,通過組合原始合併候選來創建組合的雙向預測合併候選。特別是使用原始候選中的兩個候選(分別具有mvL0(列表0中的運動向量)和refIdxL0(列表0中的參考圖片索引)或者mvL1(列表1中的運動向量)和refIdxL1(列表1中的參考圖片索引))來創建雙向預測合併候選。第7圖例示出了用於組合的雙向預測合併候選的推導處理的示例。候選列表710對應於原始候選列表,其包括L0中的mvL0_A,ref0(731)和L1中的mvL1_B,ref0(732)。候選集720對應於推導候選列表。如第7圖中的處理730所示,可以通過組合L0和L1中的候選來形成雙向預測MVP733。
在候選類型2中,通過縮放原始合併候選來創建縮放的雙向預測合併候選。特別地,使用原始候選(具有mvLX(列表X中的運動向量)和refIdxLX(列表X中的參考圖片索引),X可以為0或1)中的一個候選來創建雙向預測 合併候選。例如,一個候選A是具有mvL0_A和ref0的單向預測列表0,首先將ref0複製到清單1中的參考索引ref0’。此後,通過使用ref0和ref0’縮放mvL0_A來計算mvL0’_A。然後,創建雙向預測合併候選(該雙向預測合併候選在列表0中具有mvL0_A和ref0並且在列表1中具有mvL0’_A和ref0’),並將該雙向預測合併候選添加到合併候選列表中。第8A圖中示出了縮放的雙向預測合併候選的推導處理的示例,其中如處理830所例示,候選列表810對應於原始候選列表,並且候選列表820對應於包括兩個生成的雙向預測MVP的擴展候選列表。
在候選類型3中,通過組合可參考的零向量和參考索引來創建零向量合併/AMVP候選。第8B圖例示出了用於添加零向量合併候選的示例,其中候選列表840對應於原始合併候選列表,而候選列表850通過添加零候選而對應於擴展合併候選列表。第8C圖例示出了添加零向量AMVP候選的示例,其中候選列表860(L0)和候選列表862(L1)對應於原始AMVP候選列表,並且候選列表870(L0)和候選列表872(L1)對應於通過添加零候選的擴展AMVP候選列表。如果零向量候選不重複,則將該零向量候選添加到合併/AMVP候選列表。
IBC模式
在HEVC SCC擴展的標準化期間,已經提出了當前圖片參考(CPR)或幀內塊複製(IBC)。已經證明,這對螢幕內容視頻材料進行編碼是有效的。IBC操作與視頻轉碼器中的原始幀間模式非常相似。然而,參考圖片是當前解碼的幀而不是先前編碼的幀。IBC的一些詳細資訊可以在JVET-K0076(X.Xu等人,“CE8-2.2:Current picture referencing using reference index signaling”,ITU-T SG 16 WP 3的聯合視頻專家組(JVET)以及ISO/IEC JTC 1/SC 29/WG 11,第11次會議:Ljubljana,SI,2018年7月10至18日,文檔:JVET-K0076) 和Xu等人的技術論文(X.Xu等人,“Intra Block Copy in HEVC Screen Content Coding Extensions”,IEEE J.Emerg.Sel.Topics Circuits Syst.,第6卷,第4期,第409頁至第419頁,2016年)中找到。
IBC編碼模式需要來自當前圖片的參考樣本。特別地,當前塊的IBC編碼通常需要緊接在當前塊上方或左側的參考樣本。因此,當前塊的IBC處理必須等待,直到相鄰樣本被完全處理和重構為止,這對硬體設計施加了非常嚴格的約束。為了使IBC對硬體設計更加友好,期望開發克服該問題的技術。
公開了一種包括幀內塊複製(IBC)編碼工具的視頻編碼的幀間預測的方法和裝置。根據本發明的一種方法,在視頻編碼器側接收與當前圖片中的當前塊相關的輸入資料,或者在視頻解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視頻位元流。從與一種或更多種候選類型相關聯的合併候選生成IBC合併候選列表,其中,當滿足一個或更多個約束時,從IBC合併候選列表中排除與目標候選類型相關聯的一個或更多個目標候選。在視頻編碼器側使用IBC合併候選列表對與當前塊相關聯的當前運動資訊進行編碼,或者在視頻解碼器側使用IBC合併候選列表對與當前塊相關聯的當前運動資訊進行解碼。
在一個實施方式中,所述一個或更多個約束對應於當前塊的塊寬度、當前塊的塊高度或其組合。在另一實施方式中,所述一個或更多個約束對應於當前塊的塊面積(area)。目標候選類型對應於空域合併候選。
在一個實施方式中,目標候選類型對應於空域合併候選。在另一實施方式中,目標候選類型對應於時域合併候選。在又一實施方式中,目標候選類型對應於基於歷史的合併候選。在又一實施方式中,目標候選類型對應于 成對平均合併候選。在又一實施方式中,目標候選類型對應於子CU合併候選。在又一實施方式中,目標候選類型對應於預設合併候選。
在一個實施方式中,在將新候選添加到IBC合併候選之後,根據當前塊的塊寬度、當前塊的塊高度或其組合,跳過或簡化對IBC合併候選列表的修剪處理。在另一實施方式中,在將新候選添加到IBC合併候選列表之後,根據當前塊的塊面積跳過或簡化針對IBC合併候選列表的修剪處理。
根據另一方法,從與一個或更多個候選類型相關聯的合併候選生成IBC合併候選列表,其中,在將新候選添加到IBC合併候選列表之後,根據當前塊的塊寬度、當前塊的高度、當前塊的塊面積或其組合,跳過或簡化針對IBC合併候選列表的修剪處理。
110、410、510:分割
120、420、520:編碼樹
710、720、810、820、840、850、860、870、862、872:候選列表
730、830:處理
731、732:候選
733:MVP雙向預測
1110-1130、1210-1230:步驟
第1圖例示出了使用四叉樹結構將編碼樹單元(CTU)分割為編碼單元(CU)的塊分割的示例。
第2圖例示出了根據高效視頻編碼(HEVC)的非對稱運動分割(AMP),其中AMP限定了將CU分為PU的八個形狀。
第3圖例示出了由二叉樹分割結構使用的各種二進位分割類型的示例,其中可以使用分割類型將塊遞迴地分割成兩個較小塊。
第4圖例示出了塊分割及其對應的二叉樹的示例,其中在二叉樹的各個分割節點(即非葉節點)中,使用一種語法表示使用哪種分割類型(水平或垂直),其中0可表示水平分割,而1可表示垂直分割。
第5圖例示出了塊分割及其對應的QTBT的示例,其中實線表示四叉樹分割,而虛線表示二叉樹分割。
第6圖示出了用於針對AMVP和合併方案兩者推導空域MVP和時域MVP的相 鄰PU。
第7圖例示出了針對組合的雙向預測合併候選的推導處理的示例。
第8A圖例示出了縮放的雙向預測合併候選的推導處理的示例,其中左側的候選列表對應於原始候選列表,而右側的候選列表對應於包括兩個生成的雙向預測MVP的擴展候選列表。
第8B圖例示出了添加零向量合併候選的示例,其中左側的候選列表對應於原始合併候選列表,而右側的候選列表對應於通過添加零候選的擴展合併候選列表。
第8C圖例示出了用於添加零向量AMVP候選的示例,其中頂部的候選列表對應於原始AMVP候選列表(左側的L0和右側的L1),並且底部的候選列表對應於通過添加零候選的擴展AMVP候選列表(左側的L0和右側的L1)。
第9A圖和第9B圖例示出了根據本發明實施方式的保護帶或允許帶的示例,其中被標記為“保護帶之內”的區域像素是保護帶的區域,而不屬於該保護帶的區域是“允許帶”。
第9C圖至第9F圖例示出了根據本發明實施方式的針對當前CU的允許帶的示例。
第10A圖例示出了根據本發明實施方式的“通過保護帶進行的MVD減法”的示例,其中參考CU的位置在保護帶的左側,並且MVD減法是水平部分減法。
第10B圖例示出了根據本發明實施方式的“通過保護帶進行的MVD減法”的示例,其中參考CU的位置在保護帶的頂側,並且MVD減法是水平部分減法。
第10C圖例示出了根據本發明的實施方式的在沒有符號資訊或具有減少的MVD的符號資訊的情況下對MVD進行解碼的示例。
第11圖例示出了根據本發明的實施方式的具有IBC(幀內塊複製)編碼工具的示例性編碼系統的流程圖。
第12圖例示出了根據本發明的實施方式的具有IBC(幀內塊複製)編碼工具的另一示例性編碼系統的流程圖。
以下描述是實施本發明的最佳構想模式。該描述是為了說明本發明的一般原理而進行的,而不應被認為是限制性的。本發明的範圍最好通過參考所附的權利要求書來確定。
儘管已經示出了幀內塊編碼(IBC)方法來改善編碼性能,但是當前塊與其相鄰的重構樣本之間存在處理依賴性,這可能會降低整體系統性能。因此,期望開發可以減輕依賴性問題並簡化硬體設計的方法。
方法1-IBC模式下的保護帶(Guand Band)
為了使IBC對硬體設計更加友好,根據本發明的一個實施方式提出了一種保護帶方法。對IBC模式進行編碼後,它可以有一個保護帶。保護帶是當前圖片中IBC的運動向量無法指向的區域。換句話說,對於IBC的運動向量指向的參考塊,參考塊的所需像素(包括用於插值濾波器的一些額外像素)不能包括保護帶中的像素。另一個術語“允許帶(permitted band)”可被定義為保護帶的反選(inverse)。
“允許帶”是在當前圖片中且不屬於保護帶的像素區域。“允許帶”也可以定義為:“對於IBC的運動向量指向的參考塊,所需的參考塊像素(包括用於插值濾波器的一些額外像素)必須全部在允許帶內”。在本公開中,具有適當條件的術語“保護帶”和“允許帶”可以互換使用。例如,短語“在當前塊的保護帶之外的參考樣本”等同於短語“在當前塊的允許帶之內的樣本”。
存在兩種類型的保護帶或允許帶,包括接近當前CU保護帶和遠離當前CU保護帶(也稱為接近當前CU允許帶)。
接近當前CU保護帶
在接近當前CU保護帶中,禁止將當前CU附近的區域像素用作參考像素。第9A圖和第9B圖中示出了接近當前CU保護帶的一些示例,其中標記為“保護帶之內”的區域像素是保護帶的區域,而不屬於保護帶的區域是“允許帶”。“允許帶”是針對IBC的運動向量指向的參考塊,對於所需塊像素(包括用於插值濾波器的一些額外像素)來說允許的區域。“允許帶”對應於IBC模式的MV可以指向的區域。
注意,第9A圖和第9B圖僅是接近當前CU保護帶的示例。本發明不限於這些示例。所提出的“接近當前CU保護帶”可以是更接近於當前CU的任何像素區域。
遠離當前CU保護帶(或接近當前CU允許帶)
在提出的遠離當前CU保護帶中,遠離當前CU的區域像素被禁止用於參考像素。遠離當前CU保護帶的一些示例如下所示。在第9C圖中,將當前CU上方的一些像素線(灰色矩形區域)和當前CU左側的一些像素列(灰色矩形區域)標記為允許帶。任何不屬於允許帶的像素都將歸類為遠離當前CU保護帶。在第9D圖中,將當前CU上方(但在當前CTU內部)的像素標記為允許帶,並且將當前CU的左側相鄰(但在當前CTU內部)的像素標記為允許帶。任何不屬於允許帶的像素都將歸類為遠離當前CU保護帶。在第9E圖中,允許帶是通過先前的CTU添加的第9D圖的允許帶。任何不屬於允許帶的像素都將歸類為遠離當前CU保護帶。在第9F圖中,允許帶是通過先前的CTU內的一些像素列添加的第9D圖的允許帶。任何不屬於允許帶的像素都將歸類為遠離當前CU保護帶。
另一個非常重要的允許帶實施方式是VVC類型IBC模式允許帶。在VVC類型IBC模式下,當前圖片的參考樣本具有重要的帶約束,如先前描述 所示。
注意,以上示出的圖旨在例示遠離當前CU保護帶的示例。本發明不限於這些實施方式。所提出的“遠離當前CU保護帶”可以是遠離當前CU的任何像素區域。
方法2-與IBC的保護帶相關的合併模式增強
為了在保護帶限制下提高IBC的編碼增益,提出了一些與IBC的保護帶相關的合併模式增強的新方法。
注意,可以根據當前CU大小或共用父CU大小來開啟/停止(turn ON/OFF)以下部分中所有描述的子方法。換句話說,如果當前CU尺寸或共用父CU尺寸大於一個預定閾值,則可以停止(即,禁用)所述子方法中的一個子方法。在另一實施方式中,如果當前CU大小或共用父CU大小小於一個預定義閾值,則可以停止(即,禁用)所述子方法中的一個子方法。
方法2.1-根據保護帶或允許帶的合併候選去除
在該提出的方法中,去除了參考CU不在允許帶內的任何合併候選。換句話說,參考CU部分地在保護帶內。例如,如果IBC的合併列表具有3個候選(例如,候選0、候選1和候選2),並且候選0的MV不在允許帶之內,則將候選0從合併列表中去除或視為不可用。
方法2.2-調整後的默認(即生成的)候選
對於常規的合併模式,當合併清單的候選的數量小於最大合併列表候選的數量時,可以將零MV的一些“生成的候選”添加到合併列表。這些生成的候選被稱為“默認候選”或“生成的候選”。根據本發明的實施方式,當正在處理具有保護帶的IBC的合併模式時,預設候選被隱式地改變為在允許帶之內。
在所提出的方法中,對於具有保護帶的IBC,如果默認候選不在允許帶之內,則將默認候選調整為在允許帶之內。下面示出各種實施方式。
實施方式2.2.1-僅調整MV的水平部分,諸如將MV_x與值直接相加,以使修改後的候選可以在允許帶內。
實施方式2.2.2-僅調整MV的垂直部分,諸如將MV_y與值直接相加,以使修改後的候選可以在允許帶內。
實施方式2.2.3-該實施方式是多重預設候選方法。在此方法中,它將多個默認候選***到合併列表中,各個默認候選都有其自己的生成規則,以便修改後的候選可以在允許帶內。在一個示例中,(MV_x+常數)是經調整的默認候選。在另一示例中,(MV_y+常數)是調整後的默認候選。在又一示例中,(MV_x+常數1,MV_y+常數2)是調整後的默認候選。
實施方式2.2.4-在該實施方式中,它直接將合併候選之一縮放到允許帶內。MV縮放是將(MVx,MVy)與合併候選中的一個合併候選(例如候選0)的預定義常數相乘。然後將縮放後的候選***合併列表。
默認候選的調整方法不限於上述示例性實施方式。可以使用由於IBC的保護帶而調整默認候選的任何方法。
方法3-與IBC的保護帶或允許帶相關的AMVP增強
為了在保護帶限制下提高IBC的編碼增益,提出了一些與IBC的保護帶相關的AMVP模式增強的新方法。
方法3.1-調整後的默認候選
常規上,當AMVP列表的候選的數量小於AMVP列表中的候選的最大數量時,可以將零MV的一些“生成的候選”添加到AMVP列表中。在具有保護帶的IBC中,如果默認(即,生成的)AMVP候選不在允許帶之內,則將默認候選調整為在允許帶之內或在允許帶與保護帶之間的邊界附近。下面示出各種實施方式。
實施方式3.1.1-僅調整MV的水平部分,諸如將MV_x與值直 接相加,以使修改後的候選可以在允許帶之內或在允許帶與保護帶之間的邊界附近。允許帶與保護帶之間的邊界也稱為允許帶的邊界。
實施方式3.1.2-僅調整MV的垂直部分,諸如將MV_y與值直接相加,以使修改後的候選可以在允許帶之內或在允許帶與保護帶之間的邊界附近。
實施方式3.1.3-該實施方式是多重預設候選方法。它將多個默認候選***AMVP列表,其中各個默認候選都有其自己的生成規則。例如,默認候選0的生成方法可以是(MV_x+常數),默認候選1的生成方法可以是(MV_y+常數),並且默認候選2的生成方法可以是(MV_x+常數1,MV_y+常數2)。
實施方式3.1.4-它將AMVP候選中的一個AMVP候選直接縮放到允許帶之內或在允許帶與保護帶之間的邊界附近。在該實施方式中,它直接縮放AMVP候選中的一個AMVP候選(例如候選0),以將其調整為在允許帶之內或在允許帶與保護帶之間的邊界附近。然後將縮放後的候選***AMVP列表。縮放可以通過將(MVx,MVy)乘以預定義的常數來完成。
默認候選的調整方法不限於上述示例性實施方式。可以使用由於IBC的保護帶而調整默認候選的任何方法。
方法3.2-根據保護帶或允許帶的候選去除
在該提出的方法中,如果參考CU不在允許帶之內或保護帶之內且參考CU與“允許帶與保護帶之間的邊界”之間的距離較大,則它會去除任何AMVP候選。例如,如果針對IBC的AMVP列表具有3個候選(例如,候選0、候選1和候選2),候選0的MV不在允許帶之內或保護帶之內且參考CU與“允許帶與保護帶之間的邊界”之間的距離較大,則將候選0從AMVP列表中去除或視為不可用。
方法3.3-根據保護帶或允許帶對候選重新排序
在該提出的方法中,其根據保護帶對候選列表中的AMVP候選的順序進行重新排序。即,根據候選是在保護帶之內、或是在允許帶之內、或是接近“允許帶與保護帶之間的邊界”來對AMVP候選進行重新排序。如果候選在允許帶之外,則優選將該候選重新排序到候選列表中的靠後位置。如果候選在允許帶之內,則優選將該候選重新排序到候選列表中的靠前位置。對於均在允許帶之外的兩個候選,優選將候選列表中“更接近允許帶”的候選重新排序為在“遠離允許帶”的候選之前。
方法3.4-通過保護帶或允許帶進行的MVD減法
在具有保護帶的IBC中,提出了一種名為“通過保護帶進行的MVD減法”的方法。在AMVP模式下,當前MV預測子的參考CU(即AMVP候選列表中的AMVP候選)可能在保護帶之內。在這種情況下,它可以將MVD減去一個值(例如,減去MVD的水平部分或MVD的垂直部分或兩者)。該減去值與從當前CU到保護帶邊界(即,保護帶與允許帶之間的邊界)的距離相關。在第10A圖和第10B圖中示出“通過保護帶進行的MVD減法”的一些示例。
在第10A圖中,參考CU的位置在遠離保護帶的左側。由於分數像素插值需要額外像素,參考CU可大於當前CU。MVD減法(如第10A圖所示)是水平部分減法,即sent-MVD=(mvd_x-“MVD減去值”,mvd_y)。
MVD減法設計可以使MVD的發送位元元速率(即,sent-MVD)更短,從而提高編碼增益。解碼器可以從接收到的MVD中加上“MVD減去值”,以重構原始MVD。
在第10B圖中,參考CU幀間的位置在遠離保護帶的頂側。MVD減法(如第10B圖所示)是垂直部分減法,即 sent-MVD=(mvd_x,mvd_y-“MVD減去值”)。
MVD減法設計可以使MVD的發送位元元速率(即,sent-MVD)更短,從而提高編碼增益。解碼器可以從接收到的MVD中加上“MVD減去值”,以重構原始MVD。
MVD減法模式(即,減去水平部分或垂直部分或兩者)可以在圖片頭、或片頭、或CTU級別或CU級別中用信號發送。在另一實施方式中,它也可以被預先定義為視頻編碼系統中的全水平部分減法(all-horizontal-part-subtraction)。在另一實施方式中,它也可以被預先定義為視頻編解碼系統中的全垂直部分減法。
方法3.5-通過保護帶或允許帶進行的MVD符號預測
在具有保護帶或允許帶的IBC中,提出了一種名為“通過保護帶進行的MVD符號預測”的方法。在所提出的方法中,可以通過使用保護帶的資訊來保存或減少MVD的send_sign_bits。換句話說,解碼器可以接收沒有符號資訊、僅具有部分符號資訊或具有變換後的符號資訊(例如,變換成其他資訊並根據一些保護帶資訊被解碼為正確符號)的MVD。根據與當前CU和MV預測子大小相關的保護帶位置和距離,可以在解碼器中隱式地判斷正確的符號。在另一實施方式中,可以根據與當前CU和MV預測子大小相關的保護帶位置和距離以及從編碼器發送的部分符號資訊來推導出正確符號。在另一實施方式中,可以根據與當前CU和MV預測子大小相關的保護帶位置和距離以及從編碼器發送的變換後的符號資訊來推導出正確符號。在上文中,公開了通過利用與MVD相關的其他資訊來在沒有符號資訊或具有減少的符號資訊的情況下用信號發送(signalling)MVD資訊來降低用於用信號發送MVD的位元元速率的方法。例如,MVD的其他資訊包括與當前CU和MV預測子大小相關的保護帶位置和距離,與當前CU和MV預測子大小相關的保護帶位置和距離。
第10C圖中示出了一個示例。在這種情況下,編碼器僅向解碼器發送垂直方向的MVD符號,而不發送水平方向的MVD符號。在第10C圖中,MVD1、MVD2、MVD3和MVD4都具有相同的MVD_x大小和MVD_y大小,但是x的符號和y的符號全都不同。解碼器可以容易地推導出水平方向的MVD符號。在第10C圖中,由於MVD2和MVD4侵犯了保護帶限制,所以MVD2和MVD4不正確。因此,解碼器可以容易地將水平的符號判斷為負(即,MVD運動向量水平部分為負)。
為了避免解析問題,在一個實施方式中,為了將符號資訊從編碼器發送到解碼器,可以為一個MVD保留2位元的MVD符號位元,但是現在它是變換(變換為其他資訊,並通過一些保護帶資訊解碼為正確符號)標誌資訊。當解碼器接收到2位元符號資訊時,它可以構建4個符號候選(如MVD1、MVD2、MVD3、MVD4,第10C圖中顯示了一個示例),然後去除一些候選(例如,由於未完全在允許帶內而侵犯保護帶的候選),則如2位元符號資訊所示,可以在其餘候選中選擇最終的候選。
存在幾種符號變換方法。在該方法中,通過保護帶去除了4個符號候選(例如,如第10C圖所示的MVD1、MVD2、MVD3和MVD4)中的一些候選。然後,為剩餘的候選分配從0開始的遞增索引。然後,將該索引從編碼器用信號發送(2位元)到解碼器。
在IBC合併模式下,如果存在多種類型的合併候選,則將該候選***到合併列表中。例如,可以將空域合併候選、時域合併候選、基於歷史的合併候選、成對平均合併候選、子CU合併候選或默認合併候選***到合併列表中,並在修剪處理中對其進行修剪。在IBC合併模式下,可以通過排除一些合併候選或減少修剪處理來簡化合併列表的構造。當在共用邊界上生成IBC合併模式時,此方法也可以應用於共用合併模式。可以根據一些約束應用此方法。
在一個實施方式中,在IBC合併模式中,可以從合併候選列表構造中排除一個或更多個空域合併候選。
在另一實施方式中,在IBC合併模式中,可以從合併候選列表構造中排除一個或更多個時域合併候選。
在另一實施方式中,在IBC合併模式中,從合併候選列表構造中排除一個或更多個基於歷史的合併候選。
在另一實施方式中,在IBC合併模式中,從合併候選列表構造中排除一個或更多個成對平均合併候選。
在另一實施方式中,在IBC合併模式下,從合併候選列表構造中排除一個或更多個子CU合併候選。
在另一實施方式中,在IBC合併模式中,從合併候選列表構造中排除默認合併候選。
在另一實施方式中,在IBC合併模式下,對合併候選列表構造不執行空域融合候選的修剪處理。在另一實施方式中,簡化了對合併候選列表構造的修剪處理。
在另一實施方式中,在IBC合併模式下,對合併候選列表構造不執行時域合併候選的修剪處理。在另一實施方式中,簡化了對合併候選列表構造的修剪處理。
在另一實施方式中,在IBC合併模式下,對合併候選列表構造不執行基於歷史的合併候選的修剪處理。在另一實施方式中,簡化了對合併候選列表構造的修剪處理。
在另一實施方式中,在IBC合併模式下,對合併候選列表構造不執行成對平均合併候選的修剪處理。在另一實施方式中,簡化了對合併候選列表構造的修剪處理。
在另一實施方式中,在IBC合併模式下,對合併候選列表構造不執行子CU合併候選的修剪處理。在另一實施方式中,簡化了對合併候選列表構造的修剪處理。
在另一實施方式中,在IBC合併模式下,對合併候選列表構造不執行默認合併候選的修剪處理。在另一實施方式中,簡化了對合併候選列表構造的修剪處理。
在另一實施方式中,在IBC合併模式中,根據CU的寬度或高度,從合併候選列表構造中排除一個或更多個空域合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的寬度或高度,從合併候選列表構造中排除一個或更多個時域合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的寬度或高度,從合併候選列表構造中排除一個或更多個基於歷史的合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的寬度或高度,從合併候選列表構造中排除一個或更多個成對平均合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的寬度或高度,從合併候選列表構造中排除一個或更多個子CU合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的寬度或高度,從合併候選列表構造中排除一個或更多個默認合併候選。
在另一實施方式中,在IBC合併模式下,根據CU的寬度或高度,對合併候選列表構造不進行修剪處理。在另一實施方式中,簡化了對於合併候選列表構造的修剪處理。
在另一實施方式中,在IBC合併模式下,根據CU的面積,從合併候選列表構造中排除一個或更多個空域合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的面積,從合 併候選列表構造中排除一個或更多個時域合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的面積,從合併候選列表構造中排除一個或更多個基於歷史的合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的面積,從合併候選列表構造中排除一個或更多個成對平均合併候選。
在另一實施方式中,在IBC合併模式下,根據CU的面積,從合併候選列表構造中排除一個或更多個子CU合併候選。
在另一實施方式中,在IBC合併模式中,根據CU的面積,從合併候選列表構造中排除默認合併候選。
在另一實施方式中,在IBC合併模式下,根據CU的面積,對合併候選列表構造不進行修剪處理。在另一實施方式中,簡化了對於合併候選列表構造的修剪處理。
可以在編碼器和/或解碼器中實現任何前述提出的方法。例如,可以在編碼器的預測子推導模組和/或解碼器的預測子推導模組中實現任何所提出的方法。另選地,任何所提出的方法可以被實現為聯接到編碼器的預測因數推導模組和/或解碼器的預測因數推導模組的電路,從而提供預測因數推導模組所需的資訊。
第11圖例示出了根據本發明實施方式的具有幀內塊複製(IBC)編碼工具的示例性編碼系統的流程圖。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或更多個處理器(例如,一個或更多個CPU)上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現,諸如被設置為執行流程圖中的步驟的一個或更多個電子設備或處理器。根據該方法,在步驟1110中,在視頻編碼器側接收與當前圖片中的當前塊相關的輸入資料,或者在視頻解碼器側接收與包括當前圖片中的當前塊的 壓縮資料相對應的視頻位元流。在步驟1120中,從與一種或更多種候選類型相關聯的合併候選生成IBC合併候選列表,其中當滿足一個或更多個約束時,從IBC合併候選列表中排除與目標候選類型相關聯的一個或更多個目標候選。在步驟1130中,在視頻編碼器側使用IBC合併候選列表對與當前塊相關聯的當前運動資訊進行編碼,或者在視頻解碼器側使用IBC合併候選列表對與當前塊相關聯的當前運動資訊進行解碼。
第12圖例示出了根據本發明實施方式的具有幀內塊複製(IBC)編碼工具的另一示例性編碼系統的流程圖。根據該方法,在步驟1210中,在視頻編碼器側接收與當前圖片中的當前塊相關的輸入資料,或者在視頻解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視頻位元流。在步驟1220中,從與一種或更多種候選類型相關聯的合併候選生成IBC合併候選列表,其中,在將新候選添加到IBC合併候選列表之後,根據當前塊的塊寬度、當前塊的塊高度、當前塊的塊面積或其組合來跳過或簡化對IBC合併候選列表的修剪處理。在步驟1230中,在視頻編碼器側使用IBC合併候選列表對與當前塊相關聯的當前運動資訊進行編碼,或者在視頻解碼器側使用IBC合併候選列表對與當前塊相關聯的當前運動資訊進行解碼。
所示的流程圖旨在說明根據本發明的視頻編碼的示例。本領域技術人員可以在不脫離本發明的精神的情況下修改各個步驟、重新佈置步驟、分割步驟或組合步驟以實踐本發明。在本公開中,已經使用特定的語法和語義來示出用於實現本發明的實施方式的示例。在不脫離本發明的精神的情況下,技術人員可以通過用等效的語法和語義替換語法和語義來實踐本發明。
呈現以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施方式的各種修改對於本領域技術人員將是顯而易見的,並且本文中定義的一般原理可以應用於其他實 施方式。因此,本發明並不旨在限於所示出和描述的特定實施方式,而是依照與本文所公開的原理和新穎特徵相一致的最廣範圍。在以上具體實施方式中,例示出了各種具體細節以提供對本發明的透徹理解。然而,本領域技術人員將理解可以實踐本發明。
如上所述的本發明的實施方式可以以各種硬體、軟體代碼或兩者的組合來實現。例如,本發明的實施方式可以是集成到視頻壓縮晶片中的一個或更多個電路或集成到視頻壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施方式還可以是要在數位訊號處理器(DSP)上執行以執行本文描述的處理的程式碼。本發明還可涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。可以以不同的程式設計語言和不同的格式或類型來開發軟體代碼或固件代碼。也可以針對不同的目標平臺編譯軟體代碼。然而,軟體代碼的不同的代碼格式、類型和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下,本發明可以以其他特定形式來體現。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此,本發明的範圍由所附權利要求而不是前述描述來表示。落入權利要求等同含義和範圍內的所有改變均應包含在權利要求的範圍之內。
1110-1130:步驟

Claims (13)

  1. 一種用於包括幀內塊複製(IBC)編解碼工具的視頻編解碼的幀間預測的方法,所述方法包括以下步驟:在視頻編碼器側接收與當前圖片中的當前塊相關的輸入資料,或在視頻解碼器側接收與包括所述當前圖片中的所述當前塊的壓縮資料相對應的視頻位元流;從與一種或更多種候選類型相關聯的合併候選生成IBC合併候選列表,其中,當滿足一個或更多個約束時,從所述IBC合併候選列表中排除與目標候選類型相關聯的一個或更多個目標候選,所述一個或更多個約束對應於所述當前塊的塊寬度、所述當前塊的塊高度或其組合,所述IBC合併候選列表中包含運動向量預測候選(MVP);以及在所述視頻編碼器側使用所述IBC合併候選列表對與所述當前塊相關聯的當前運動資訊進行編碼,或在所述視頻解碼器側使用所述IBC合併候選列表對與所述當前塊相關聯的所述當前運動資訊進行解碼。
  2. 如申請專利範圍第1項所述的方法,其中,所述目標候選類型對應於空域合併候選。
  3. 如申請專利範圍第1項所述的方法,其中,所述一個或更多個約束對應於所述當前塊的塊面積。
  4. 如申請專利範圍第3項所述的方法,其中,所述目標候選類型對應於空域合併候選。
  5. 如申請專利範圍第1項所述的方法,其中,所述目標候選類型對應於空域合併候選。
  6. 如申請專利範圍第1項所述的方法,其中,所述目標候選類型對應於時域合併候選。
  7. 如申請專利範圍第1項所述的方法,其中,所述目標候選類型對應於基於歷史的合併候選。
  8. 如申請專利範圍第1項所述的方法,其中,所述目標候選類型對應于成對平均合併候選。
  9. 如申請專利範圍第1項所述的方法,其中,所述目標候選類型對應於子CU合併候選。
  10. 如申請專利範圍第1項所述的方法,其中,所述目標候選類型對應於預設合併候選。
  11. 如申請專利範圍第1項所述的方法,其中,在將新候選添加到所述IBC合併候選列表之後,根據所述當前塊的塊寬度、所述當前塊的塊高度或其組合來跳過或簡化針對所述IBC合併候選列表的修剪處理。
  12. 如申請專利範圍第1項所述的方法,其中,在將新的候選添加到所述IBC合併候選列表之後,根據所述當前塊的塊面積跳過或簡化針對所述IBC合併候選列表的修剪處理。
  13. 一種用於包括幀內塊複製(IBC)編碼工具的視頻編碼的幀間預測的裝置,所述裝置包括一個或更多個電路或處理器,所述一個或更多個電路或處理器被設置為:在視頻編碼器側接收與當前圖片中的當前塊相關的輸入資料,或在視頻解碼器側接收與包括所述當前圖片中的所述當前塊的壓縮資料相對應的視頻位元流;從與一種或更多種候選類型相關聯的合併候選生成IBC合併候選列表,其中,當滿足一個或更多個約束時,從所述IBC合併候選列表中排除與目標候選類型相關聯的一個或更多個目標候選,所述一個或更多個約束對應於所述當前塊的塊寬度、所述當前塊的塊高度或其組合,所述IBC合併候選列表中包含運 動向量預測候選(MVP);以及在所述視頻編碼器側使用所述IBC合併候選列表對與所述當前塊相關聯的當前運動資訊進行編碼,或在所述視頻解碼器側使用所述IBC合併候選列表對與所述當前塊相關聯的所述當前運動資訊進行解碼。
TW109105451A 2019-02-22 2020-02-20 幀内塊複製模式的合併列表生成的方法和裝置 TWI737184B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962808940P 2019-02-22 2019-02-22
US62/808,940 2019-02-22
US16/794,309 2020-02-19
US16/794,309 US11122260B2 (en) 2019-02-22 2020-02-19 Method and apparatus of Merge list generation for Intra Block Copy mode

Publications (2)

Publication Number Publication Date
TW202038621A TW202038621A (zh) 2020-10-16
TWI737184B true TWI737184B (zh) 2021-08-21

Family

ID=72141893

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109105450A TWI749467B (zh) 2019-02-22 2020-02-20 幀內塊複製合併列表簡化
TW109105451A TWI737184B (zh) 2019-02-22 2020-02-20 幀内塊複製模式的合併列表生成的方法和裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW109105450A TWI749467B (zh) 2019-02-22 2020-02-20 幀內塊複製合併列表簡化

Country Status (6)

Country Link
US (2) US11122260B2 (zh)
EP (1) EP3918803A4 (zh)
CN (1) CN113455003B (zh)
CA (1) CA3126882C (zh)
TW (2) TWI749467B (zh)
WO (1) WO2020169082A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
US11297330B2 (en) 2018-09-22 2022-04-05 Lg Electronics Inc. Method and apparatus for processing video signal based on inter prediction
CN110944193B (zh) 2018-09-24 2023-08-11 北京字节跳动网络技术有限公司 视频编码和解码中的加权双向预测
WO2020094151A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
CN117528076A (zh) * 2018-11-22 2024-02-06 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的构建方法
CN113261290B (zh) * 2018-12-28 2024-03-12 北京字节跳动网络技术有限公司 基于修改历史的运动预测
CN112514380A (zh) * 2019-02-26 2021-03-16 株式会社 Xris 用于对视频信号进行编码/解码的方法及其设备
US11166015B2 (en) * 2019-03-06 2021-11-02 Tencent America LLC Method and apparatus for video coding
WO2020224639A1 (en) * 2019-05-09 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Improvement on hmvp table
US11218727B2 (en) 2019-07-11 2022-01-04 Tencent America LLC Method and apparatus for predictor candidate list size signaling for intra picture block compensation
US11451809B2 (en) * 2019-08-28 2022-09-20 Tencent America LLC Method and apparatus for video coding
EP4032297A4 (en) * 2019-09-19 2022-11-23 Alibaba Group Holding Limited METHODS FOR CONSTRUCTING A LIST OF MERGER CANDIDATES
WO2023198105A1 (en) * 2022-04-14 2023-10-19 Mediatek Inc. Region-based implicit intra mode derivation and prediction
WO2023236916A1 (en) * 2022-06-06 2023-12-14 Mediatek Inc. Updating motion attributes of merge candidates
WO2023246412A1 (en) * 2022-06-23 2023-12-28 Mediatek Inc. Methods and apparatus for video coding using multiple history-based motion vector prediction tables
WO2024012460A1 (en) * 2022-07-12 2024-01-18 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105684441A (zh) * 2013-10-25 2016-06-15 微软技术许可有限责任公司 视频和图像编码中的基于散列的块匹配
CN106797477A (zh) * 2014-10-14 2017-05-31 高通股份有限公司 用于帧内bc和帧间预测统一的amvp和合并候选者列表导出

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028030B (zh) * 2011-03-08 2017-12-19 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
KR101197176B1 (ko) * 2011-09-23 2012-11-05 주식회사 케이티 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
EP3107290B1 (en) * 2014-03-14 2021-07-28 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
WO2015169200A1 (en) * 2014-05-06 2015-11-12 Mediatek Singapore Pte. Ltd. Method of block vector prediction for intra block copy mode coding
EP3180917B1 (en) 2014-09-01 2022-04-20 HFI Innovation Inc. Method of intra picture block copy for screen content and video coding
US9832467B2 (en) 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
CN108293131B (zh) * 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10523934B2 (en) * 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
US20200021836A1 (en) * 2018-07-10 2020-01-16 Tencent America LLC Method and apparatus for ordering and selection of affine merge candidates in motion compensation
US10362330B1 (en) * 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
US11051034B2 (en) * 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US10904557B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11025936B2 (en) * 2019-01-25 2021-06-01 Tencent America LLC Method and apparatus for video coding
WO2020244660A1 (en) 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105684441A (zh) * 2013-10-25 2016-06-15 微软技术许可有限责任公司 视频和图像编码中的基于散列的块匹配
CN106797477A (zh) * 2014-10-14 2017-05-31 高通股份有限公司 用于帧内bc和帧间预测统一的amvp和合并候选者列表导出

Also Published As

Publication number Publication date
CN113455003B (zh) 2023-09-29
WO2020169082A1 (en) 2020-08-27
EP3918803A1 (en) 2021-12-08
US20200275093A1 (en) 2020-08-27
CA3126882A1 (en) 2020-08-27
CN113455003A (zh) 2021-09-28
EP3918803A4 (en) 2022-11-02
US11122260B2 (en) 2021-09-14
CA3126882C (en) 2023-10-10
TW202038621A (zh) 2020-10-16
US20200275120A1 (en) 2020-08-27
TWI749467B (zh) 2021-12-11
US11115653B2 (en) 2021-09-07
TW202038620A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
TWI737184B (zh) 幀内塊複製模式的合併列表生成的方法和裝置
US11159788B2 (en) Method and apparatus of enhanced Intra Block Copying mode for video coding
CN113170181B (zh) 块内拷贝模式中的仿射继承方法
TWI749394B (zh) 利用當前畫面參照編碼方式的視訊區塊編碼或解碼方法和裝置
TWI652939B (zh) 視訊編碼方法和裝置
TWI749584B (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
US11589049B2 (en) Method and apparatus of syntax interleaving for separate coding tree in video coding
TW202007167A (zh) 視訊編解碼中受約束的重疊塊運動補償的方法及裝置
JP7414843B2 (ja) 符号化映像の量子化残差差分パルス符号変調表現
TWI692973B (zh) 利用自適應運動向量解析度和子塊預測模式進行視訊編解碼的當前圖像參考的方法和裝置
TWI734262B (zh) 用於視訊編碼之運動向量差值改良式合併方法和裝置
TW201813403A (zh) 用於二叉樹分割塊的確定候選集的方法及裝置
TW202021368A (zh) 視訊編解碼中共享合併候選列表區域的方法和裝置
TWI729458B (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
JP2022505578A (ja) サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
TW202025763A (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
TWI718079B (zh) 用於視訊編解碼的簡化子模式的方法和裝置
CN113366839B (zh) 视频编解码中的细化量化步骤
TWI737141B (zh) 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置
TWI822567B (zh) 用於使用移動向量差值之合併模式的視訊編碼之方法和裝置
TW202402053A (zh) 使用多個基於歷史的運動向量預測表進行視訊編解碼的方法和裝置
TW202404368A (zh) 使用基於ctu的基於歷史的運動向量預測表進行視訊編解碼的方法和裝置
TW202123710A (zh) 視訊編解碼中發信可適性運動向量差值解析度的方法和裝置