TW201309026A - 用於視訊編碼之濾波區塊效應之人為誤差 - Google Patents

用於視訊編碼之濾波區塊效應之人為誤差 Download PDF

Info

Publication number
TW201309026A
TW201309026A TW101116559A TW101116559A TW201309026A TW 201309026 A TW201309026 A TW 201309026A TW 101116559 A TW101116559 A TW 101116559A TW 101116559 A TW101116559 A TW 101116559A TW 201309026 A TW201309026 A TW 201309026A
Authority
TW
Taiwan
Prior art keywords
block
prediction mode
sdip
common edge
edge
Prior art date
Application number
TW101116559A
Other languages
English (en)
Inventor
Der Auwera Geert Van
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201309026A publication Critical patent/TW201309026A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一實例中,一種用於編碼視訊資料之裝置包括一視訊編碼器,該視訊編碼器經組態以進行以下操作:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。

Description

用於視訊編碼之濾波區塊效應之人為誤差
本發明係關於視訊編碼,且更明確而言,係關於對視訊資料進行解區塊。
本申請案主張2011年5月12日申請之美國臨時申請案第61/485,442號、2011年6月2日申請之美國臨時申請案第61/492,761號、2011年6月21日申請之美國臨時申請案第61/499,563號及2011年7月12日申請之美國臨時申請案第61/506,938號之優先權,該等案中之每一者的全文特此以引用的方式併入。
可將數位視訊能力併入至廣泛範圍的器件內,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲機、蜂巢式或衛星無線電電話、視訊電話會議器件及類似者。數位視訊器件實施視訊壓縮技術,諸如,在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分(進階視訊編碼(AVC))定義之標準及此等標準之擴展中所描述之技術,以更有效率地傳輸及接收數位視訊資訊。
視訊壓縮技術執行空間預測及/或時間預測以減少或移除視訊序列中所固有的冗餘。對於基於區塊之視訊編碼而言,可將一視訊圖框或圖塊分割成多個區塊。可進一步分割每一區塊。使用關於相鄰區塊之空間預測來編碼經框內 編碼之(I)圖框或圖塊中之各區塊。經框間編碼之(P或B)圖框或圖塊(slice)中之各區塊可使用關於同一圖框或圖塊中之相鄰區塊的空間預測或關於其他參考圖框之時間預測。
大體而言,本發明描述用於至少部分基於是否使用短距離框內預測(SDIP)預測了各視訊區塊中之任一者來對該等區塊之間的邊緣進行解區塊之技術。本發明之技術可改良應用於此等邊緣之解區塊決策及解區塊功能。同樣地,本發明之技術可避免在處理待解區塊之邊緣時對邊緣之過度處理及儲存要求之顯著增加。
在一實例中,一種方法包括:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
在一實例中,一種裝置包括一視訊編碼器,該視訊編碼器經組態以進行以下操作:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二 預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
在另一實例中,一種裝置包括:用於判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式之構件,其中該第一區塊與該第二區塊共用一共同邊緣;用於使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊之構件;及用於至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊之構件。
在一實例中,一種電腦程式產品包括一電腦可讀媒體,該電腦可讀媒體上儲存有指令,該等指令在執行時使一用於編碼視訊資料的器件之一或多個處理器進行以下操作:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
在隨附圖式及以下描述中闡明了一或多個實例之細節。其他特徵、目標及優勢將自描述及圖式且自申請專利範圍顯而易見。
一般而言,視訊資料包括一連串圖框,可在框內預測模式或框間預測模式下編碼該等圖框。可將圖框分成視訊資料區塊,且可針對每一區塊選擇一編碼模式。在框間預測模式下,可關於一或多個先前編碼之圖框的資料來預測該等區塊。在框內預測模式下,可關於同一圖框之一或多個相鄰的先前編碼之區塊來預測該等區塊。
根據即將到來的高效率視訊編碼(HEVC)標準,可將圖框分成最大編碼單元(LCU),LCU可包含(例如)32×32個像素區塊或64×64個像素區塊。一般而言,可將LCU分割成子編碼單元(子CU),其中每一子CU可進一步分割。一般而言,術語編碼單元(CU)可指LCU或LCU之任一子CU(例如,LCU之子CU,或另一子CU之子CU)。可將CU分割成四個正方形的不重疊的區塊。LCU可對應於包括一或多個節點的四分樹(quadtree)資料結構,其中四分樹之根節點對應於LCU自身,且其他節點對應於LCU之子CU。未分割之CU通常對應於四分樹之葉節點(亦即,四分樹之不具有任何子節點的節點)。因此,未分割之CU可被稱作葉節點CU。葉節點CU通常包括:一或多個預測單元(PU),其描述預測該CU之資料的方式;及一或多個變換單元(TU),其對應於殘餘資料,亦即,該CU的預測資料與該CU之原始資料之間的逐像素差。
未分割之CU的葉節點可包括指示該CU之各PU的預測模式之資訊。在一些實例中,可針對葉節點CU提供殘餘四 分樹(RQT)(亦被稱作TU四分樹),其中RQT可包括指示相應葉節點CU之各TU的預測模式之資訊。在任一情況下,關於CU之資訊可指示該CU之一或多個部分的預測模式。舉例而言,關於框內預測模式,該資訊可指示是否使用DC預測模式或是否使用方向性框內預測模式。在DC預測模式下,先前編碼之區塊之相鄰像素的值可合計起來,用以形成當前CU之像素的預測值。在方向性預測模式下,可在特定方向上應用先前編碼之區塊之相鄰像素的值,以形成當前CU之像素的預測值。
諸如視訊編碼器或視訊解碼器之視訊編碼器可提供短距離框內預測(SDIP)模式,用來編碼經框內預測之區塊。SDIP通常允許將CU分成多個平行的PU。亦即,經SDIP分割之CU的PU之長度可能不長於其寬度或其寬度可能不長於其長度。此外,可根據同一CU之各部分來預測該CU之對應於該等PU的各部分。舉例而言,可將8×8的CU分成四個8×2的PU,其中在此實例中,「N×M」指垂直方向上N個像素及水平方向上M個像素。可根據與CU相鄰的像素來預測第一PU,可根據包括第一PU之像素的相鄰像素來預測第二PU,可根據包括第二PU之像素的相鄰像素來預測第三PU,且可根據包括第三PU之像素的相鄰像素來預測第四PU。以此方式,在使用SDIP的情況下,可使用CU內之像素來預測同一CU內之其他像素,而不是根據與CU相鄰的先前編碼之區塊之像素來預測CU之所有像素。因為PU可為非正方形,且在一個方向上可具有少於四個像素,所 以可認為SDIP PU係「短的」。
HM亦使用解區塊濾波器提供解區塊,以移除「方塊效應」假影。亦即,在將一圖框分成多個區塊(LCU及其子CU)、編碼該等區塊且接著解碼該等區塊後,在該等區塊之間的邊緣處可出現可察覺的假影。因此,視訊編碼器可編碼一圖框之視訊資料,接著,隨後解碼經編碼之視訊資料,且接著將解區塊濾波器應用於經解碼之視訊資料以產生參考視訊資料,例如,用於隨後編碼之視訊資料的框間預測。在儲存資料以便用作參考資料(例如,儲存於參考圖像緩衝器中)前由視訊編碼器件(諸如,視訊編碼器或視訊解碼器)執行之此解區塊濾波通常被稱作「迴路內」濾波,此係因為該濾波係在編碼迴路內執行。視訊解碼器可經組態以解碼接收到之視訊資料,且接著將同樣的解區塊濾波器應用於經解碼之視訊資料,以便顯示視訊資料並且將其用作待解碼之隨後視訊資料的參考資料。藉由將編碼器及解碼器兩者組態成應用同樣的解區塊技術,可使編碼器與解碼器同步,使得在使用經解區塊之視訊資料以供參考的情況下,解區塊不會對隨後編碼之視訊資料造成誤差。
HM通常經組態以針對將兩個PU或TU分開之每一邊緣判定是否應用解區塊濾波器來對該邊緣進行解區塊。HM可經組態以基於垂直於一邊緣的一或多個像素行(例如,8個像素之行)之分析來判定是否對該邊緣進行解區塊。因此,舉例而言,針對一垂直邊緣,HM可藉由檢驗沿著一 共同行(其可為水平或垂直的)在該邊緣左邊之四個像素及在該邊緣右邊之四個像素來判定是否對該邊緣進行解區塊。所選像素之數目通常對應於用於解區塊的最小區塊,例如,8×8個像素。以此方式,分析所用的像素行可僅進入兩個PU或TU,即,緊靠在邊緣左邊或右邊之PU或TU。用於分析是否對一邊緣執行解區塊的像素行亦被稱作支援像素集合或直接稱作「支援」。
視訊編碼器件可經組態以執行關於對特定邊緣之支援的解區塊決策功能。一般而言,解區塊決策功能經組態以偵測在該支援內之高頻率改變。通常,當偵測到高頻率改變時,解區塊決策功能提供應進行解區塊之指示。然而,在引入SDIP之情況下,分析所用的支援像素可跨越多個PU邊界,亦即,歸因於鄰近SDIP PU的減小。因此,解區塊決策功能可提供應對兩個區塊(使用SDIP預測了其中至少一者)之間的邊緣進行解區塊之不適當指示。舉例而言,解區塊決策功能可偵測當分析一邊緣時在支援像素集合內的高頻率改變,但高頻率改變可發生於兩個PU或TU之間的邊界處,而不是當前所考慮之邊緣處。
本發明之技術通常係關於至少部分基於是否使用SDIP預測了兩個視訊區塊(例如,兩個CU)中之一或兩者來判定是否對該等區塊之間的邊緣進行解區塊。在一些實例中,當支援像素集合跨越一或多個SDIP PU邊緣時,直接省略掉解區塊。在其他實例中,可使用替代支援區域作出是否執行解區塊之決策,可選擇該等替代支援區域以使該等支援 區域不跨越SDIP PU邊緣。舉例而言,可將SDIP PU邊緣之間的距離(以像素為單位)映射至一經調適之支援區域,使得該經調適之支援區域所跨越像素之數目有所減少,且因此不跨越SDIP PU邊緣。作為另一實例,可將在當前邊緣之鄰域中的SDIP PU類型映射至不跨越SDIP PU邊緣的經調適之支援區域。
通常可認為SDIP PU具有水平定向或垂直定向。當PU之水平區段比其垂直區段長(例如,其寬度比其高度長時)時,可認為該PU係水平定向。當PU之垂直區段比其水平區段長(例如,其高度比其寬度長時)時,可認為該PU係垂直定向。因此,將認為水平方向上具有兩個像素且垂直方向上具有八個像素之PU係垂直定向,而將認為垂直方向上具有兩個像素且水平方向上具有八個像素之PU係水平定向。此外,當支援像素集合沿著平行於PU之定向的行時,可認為該支援像素集合與該PU平行,且當支援像素集合沿著垂直於PU之定向的行時,可認為該支援像素集合與該PU垂直。
在一些實例中,除了判定是否使用SDIP預測了共用一共同邊緣之任一或兩個區塊之外,本發明之技術亦包括判定SDIP分割區是否垂直於該等區塊之間的該共同邊緣。一般而言,若所有SDIP分割區皆垂直於正對其作出解區塊判定之共同邊緣,則分析並不需要自習知解區塊判定發生改變。亦即,因為支援像素行在此等情形下平行於SDIP分割區而延伸,所以標準的支援像素集合將不跨越SDIP邊界, 且因此,得出是否對共同邊緣進行解區塊之正確判定。即使在SDIP分割區平行於共同邊緣之情況下,習知的支援像素集合亦可能不跨越SDIP分割區邊界(例如,當SDIP分割區的寬度比在共同邊緣之一側上的支援像素集合寬時)。因此,根據本發明之技術,視訊編碼器件可判定支援像素是否將跨越一或多個SDIP分割區邊界,且若是如此,則修改判定是否對共同邊緣進行解區塊之處理程序(例如,使用自適應性支援)。
本發明亦提供資料結構,用於儲存對LCU中之邊緣之位置的指示。在一些實例中,視訊編碼器件自LCU之子CU的預測資料及經解碼之殘餘資料形成經解碼之LCU,且接著對LCU執行解區塊決策功能。視訊編碼器件可基於將LCU分割成子CU而判定LCU中的邊緣之位置,其中邊緣通常形成於兩個相鄰CU之間。因此,視訊編碼器件可將候選邊緣之位置儲存於用於LCU之資料結構中。由視訊編碼器件執行之解區塊決策功能可分析LCU中之每一邊緣(亦即,LCU中之任何兩個區塊之間的邊界)以判定是否對該等邊緣進行解區塊。亦即,解區塊決策功能可使用資料結構來判定候選邊緣之位置,判定是否對候選邊緣進行解區塊,且接著對經判定之邊緣進行解區塊。
根據本發明之技術,視訊編碼器件可將SDIP預測模式之指示(例如,SDIP分割區的大小及方向)儲存於資料結構中,而不是直接儲存針對每一候選邊緣之二元判定(亦即,在LCU之相應位置中存在或是不存在邊緣)。在將值 儲存至資料結構後,由視訊編碼器件執行之解區塊處理程序可使用資料結構來判定對LCU中之哪些邊緣(若存在)進行解區塊。在其他實例中,視訊編碼器件可對視訊資料之圖塊(slice)或圖框中之所有LCU(及其子CU)執行類似技術。
圖1為說明一實例視訊編碼及解碼系統10之方塊圖,該系統10可利用用於至少部分基於是否使用SDIP預測了兩個CU來判定是否將解區塊濾波器應用於該等CU之間的邊緣之技術。如圖1中所示,系統10包括經由通信頻道16將經編碼之視訊傳輸至目的地器件14之來源器件12。來源器件12及目的地器件14可包含廣泛範圍的器件中之任一者。在一些情況下,來源器件12及目的地器件14可包含無線通信器件,諸如,無線手機、所謂的蜂巢式或衛星無線電電話或可在通信頻道16上傳達視訊資訊之任何無線器件,在該情況下,通信頻道16為無線頻道。
然而,本發明之技術(其係關於至少部分基於是否使用SDIP預測了CU來判定是否將解區塊濾波器應用於該等CU之間的邊緣)未必限於無線應用或環境。舉例而言,此等技術可應用於空中(over-the-air)電視廣播、有線電視傳輸、衛星電視傳輸、網際網路視訊傳輸、編碼於儲存媒體上的經編碼數位視訊或其他情形。因此,通信頻道16可包含適合於傳輸或儲存經編碼之視訊資料之無線、有線或儲存媒體之任一組合。
在圖1之實例中,來源器件12包括視訊來源18、視訊編 碼器20、調變器/解調變器(數據機)22及傳輸器24。目的地器件14包括接收器26、數據機28、視訊解碼器30及顯示器件32。根據本發明,來源器件12之視訊編碼器20可經組態以應用用於至少部分基於是否使用SDIP預測了CU來判定是否將解區塊濾波器應用於該等CU之間的邊緣之技術。在其他實例中,來源器件及目的地器件可包括其他組件或配置。舉例而言,來源器件12可自外部視訊來源18(諸如,外部攝影機)接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而不是包括整合式顯示器件。
圖1之所說明系統10僅為一實例。用於至少部分基於是否使用SDIP預測了CU來判定是否將解區塊濾波器應用於該等CU之間的邊緣之技術可由任一數位視訊編碼及/或解碼器件執行。雖然本發明之技術通常由視訊編碼器件執行,但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器(CODEC)」)執行。此外,本發明之技術亦可由視訊預處理器執行。來源器件12及目的地器件14僅為此等編碼器件之實例,其中來源器件12產生經編碼之視訊資料以便傳輸至目的地器件14。在一些實例中,器件12、14可以實質上對稱的方式操作,使得器件12、14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸,例如,用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
來源器件12之視訊來源18可包括視訊攝取器件,諸如,視訊攝影機、含有先前攝取之視訊的視訊存檔及/或來自 視訊內容提供者之視訊饋入。作為另一替代,視訊來源18可產生基於電腦圖形之資料作為來源視訊,或產生實況視訊、已封存視訊與電腦產生之視訊的組合。在一些情況下,若視訊來源18為視訊攝影機,則來源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而,如上文所提及,本發明中描述之技術一般而言可適用於視訊編碼,且可應用於無線及/或有線應用。在每一情況下,所攝取、預先攝取或電腦產生之視訊可由視訊編碼器20編碼。經編碼之視訊資訊可接著由數據機22根據通信標準予以調變,且經由傳輸器24傳輸至目的地器件14。數據機22可包括各種混頻器、濾波器、放大器或經設計以用於信號調變之其他組件。傳輸器24可包括經設計以用於傳輸資料之電路,包括放大器、濾波器及一或多個天線。
目的地器件14之接收器26在頻道16上接收資訊,且數據機28解調變該資訊。同樣,視訊編碼處理程序可實施本文中描述的技術中之一或多者,以至少部分基於是否使用SDIP預測了CU來判定是否將解區塊濾波器應用於該等CU之間的邊緣。在頻道16上傳達之資訊可包括由視訊編碼器20定義之亦由視訊解碼器30使用之語法資訊,該語法資訊包括描述區塊及其他經編碼單元(例如,GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼之視訊資料,且可包含多種顯示器件中之任一者,諸如,陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
在圖1之實例中,通信頻道16可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多條實體傳輸線或無線與有線媒體之任何組合。在其他實例中,可將經編碼之視訊資料儲存至儲存媒體,且將其實體輸送至目的地器件,該目的地器件可讀取且解碼來自儲存媒體的經編碼之視訊資料。通信頻道16可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全球網路)的部分。
通信頻道16通常表示用於將視訊資料自來源器件12傳輸至目的地器件14之任何合適的通信媒體或不同通信媒體之集合,包括有線或無線媒體之任一合適組合。通信頻道16可包括路由器、交換器、基地台或可適用於促進自來源器件12至目的地器件14之通信的任一其他設備。在其他實例中,來源器件12可將經編碼之資料儲存於儲存媒體上,而不是傳輸該資料。同樣,目的地器件14可經組態以自儲存媒體擷取經編碼之資料。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如,即將到來的高效率視訊編碼(HEVC)標準)而操作。然而,本發明之技術不限於任一特定編碼標準。其他實例包括ITU-T H.264標準(或者被稱作MPEG-4第10部分(進階視訊編碼(AVC)))、MPEG-2及ITU-T H.263。儘管圖1中未圖示,但在一些態樣中,視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合,且可包括適當多工器-解多工器(MUX-DEMUX)單元或其他硬體及軟體,用來處置一共同資料串流或各單獨資料串流中的音訊及視訊兩者之 編碼。在適用時,MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準係由ITU-T視訊編碼專家小組(VCEG)與ISO/IEC動畫專家小組(MPEG)一起制定,作為被稱為聯合視訊團隊(JVT)的集體合作之產品。在一些態樣中,本發明中描述之技術可應用於大體上遵守H.264標準之器件。H.264標準係由ITU-T研究小組描述於ITU-T推薦H.264(用於一般視聽服務之進階視訊編碼)中(日期為2005年3月),其在本文中可被稱作H.264標準或H.264規範或者H.264/AVC標準或規範。聯合視訊團隊(JVT)繼續致力於對H.264/MPEG-4 AVC之擴展。類似於JVT,VCEG及MPEG已組建了視訊編碼聯合合作團隊(JCT-VC),以便開發HEVC。
視訊編碼器20及視訊解碼器30各自可實施為多種合適之編碼器電路中之任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,該一或多個編碼器或解碼器中之任一者可整合為各別攝影機、電腦、行動器件、用戶器件、廣播器件、機上盒、伺服器或類似者中的組合式編碼器/解碼器(編碼解碼器)之部分。
一視訊序列通常包括一系列視訊圖框。一圖像群組(GOP)通常包含一系列一或多個視訊圖框。GOP可在GOP 之標頭、GOP之一或多個圖框之標頭中或在別處包括語法資料,該語法資料描述GOP中所包括的圖框之數目。每一圖框可包括描述各別圖框之編碼模式的圖框語法資料。視訊編碼器20通常對個別視訊圖框內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於巨集區塊或巨集區塊之一部分,或LCU、CU或CU之分割區(例如,子CU)。視訊區塊可具有固定或變化的大小,且其大小可根據所規定之編碼標準而不同。每一視訊圖框可包括複數個圖塊。每一圖塊可包括複數個區塊,該等區塊可配置成分割區(亦被稱作子區塊)。舉例而言,在HEVC中,可根據四分樹資料結構來分割最大編碼單元(LCU)及其子編碼單元(CU)。
作為一實例,ITU-T H.264標準支援各種區塊大小(諸如,用於明度(luma)分量之16乘16、8乘8或4乘4及用於色度分量之8×8)之框內預測,以及各種區塊大小(諸如,用於明度分量之16×16、16×8、8×16、8×8、8×4、4×8及4×4及用於色度分量之相應按比例調整後的大小)之框間預測。在本發明中,「N×N」與「N乘N」可互換使用,用來指區塊在垂直及水平尺寸方面的像素尺寸,例如,16×16個像素或16乘16個像素。一般而言,16×16區塊將在垂直方向上具有16個像素(y=16)且在水平方向上具有16個像素(x=16)。同樣,N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素,其中N表示非負整數值。區塊中之像素可排列成列及行。此外,區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而 言,區塊可包含N×M個像素,其中M未必等於N。
小於16乘16之區塊大小可被稱作16乘16巨集區塊之分割區。視訊區塊可包含在像素域中的像素資料之區塊,或在變換域中的變換係數之區塊,例如,在將變換(諸如離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換)應用於殘餘視訊區塊資料後,其中殘餘視訊區塊資料表示在經編碼之視訊區塊與預測視訊區塊之間的像素差。在一些情況下,視訊區塊可包含在變換域中的經量化變換係數之區塊。
較小的視訊區塊可提供較佳的解析度,且可用於視訊圖框之包括高細節等級的位置。一般而言,可將區塊及各種分割區(有時被稱作子區塊)視為視訊區塊。此外,可將圖塊視為複數個視訊區塊(諸如,區塊及/或子區塊,或LCU及/或子CU)。每一圖塊可為視訊圖框之一可獨立解碼單元。或者,圖框自身可為可解碼單元,或可將圖框之其他部分定義為可解碼單元。術語「經編碼之單元」或「編碼單元」可指視訊圖框之任一可獨立解碼單元,諸如,整個圖框、圖框之圖塊、圖像群組(GOP)(亦被稱作序列),或根據適用之編碼技術所定義的另一可獨立解碼單元。
HEVC測試模型(HM)描述根據HEVC之技術所實施的假想器件。HM可組態有短距離框內預測(SDIP)預測模式。在SDIP中,視訊編碼器件可將區塊(例如,葉節點CU)分割成許多平行的預測單元(PU)。舉例而言,HM可將16×16的CU分割成使用SDIP來預測之四個4×16的PU或四個16×4的 PU。對於SDIP,視訊編碼器件根據先前編碼之區塊中與當前CU相鄰之像素之值來預測該等PU中之第一者。
在編碼該CU之對應於第一PU的區域後,視訊編碼器件根據當前CU的先前編碼之PU之相鄰像素來預測當前CU的PU中之下一者。因此,在SDIP中,可使用同一CU內之像素作為CU之其他像素的參考像素,而不是使用僅僅來自先前編碼之CU的像素作為用於框內預測之參考像素。當然,取決於框內預測方向,亦可使用先前編碼之CU之像素作為參考,來計算當前CU的當前PU及當前CU的先前編碼之PU之像素的預測值。在即將到來的HEVC標準中,像素值亦被稱作「樣本」,其指明度(luminance或luma)樣本及色度(chrominance或chroma)樣本。
HEVC之測試模式中所包括的迴路內解區塊演算法基於用於解區塊之最小區塊(例如,大小為8×8個像素)來計算決策且執行濾波。用於處理最小區塊之邊緣的解區塊決策及濾波器通常經形成以使得:除了正在處理之邊緣之外,不會與PU或TU之其他邊緣重疊。此係因為當跨越其他邊緣且在計算中使用來自其他邊緣鄰域之像素時,決策及濾波結構可變得不可靠。
可提供各種SDIP PU分割方案(例如,基於當前CU之大小)。一般而言,N×N的CU之SDIP PU之大小可為(N/4)×N或N×(N/4),其中N為大於或等於4之整數。其他大小及分割方案亦可為可利用的,例如,用於N×N的CU之N×1或1×N。下表1提供基於當前CU之大小的可用來建構SDIP PU 的若干實例分割方案。HEVC之SDIP PU可能針對每個CU具有各種矩形大小。PU中之若干者之尺寸小於用於解區塊之最小區塊大小。舉例而言,PU大小1×16、16×1、2×8、8×2可使具有八個分接頭(在邊緣之每一側上有四個分接頭)的解區塊決策及濾波器跨越用於解區塊之最小區塊內的一或若干個SDIP PU邊緣,應避免此情況。
視訊編碼器20及視訊解碼器30可經組態以執行SDIP。此外,視訊編碼器20及視訊解碼器30可經組態以執行迴路內濾波以便進行解區塊。一般而言,解區塊包括分析在劃分兩個區塊(例如,兩個CU)之邊緣之任一側上的像素之集合以偵測在該邊緣處之高頻率改變。當偵測到此高頻率改變時,可對該邊緣進行解區塊。舉例而言,可使邊緣附近的像素之值變平滑以減少高頻率改變,藉此減少在最終顯示之視訊資料中出現「方塊效應」假影。
在HEVC中,為了偵測在兩個CU之間的邊緣處之高頻率改變,分析在邊緣之每一側上成一列之三個像素及組成該邊緣之兩個像素,總共是八個像素。解區塊決策功能可將各別係數應用於正在分析的像素(通常被稱作支援像素)之值。按照慣例,可利用之最小區塊大小為4×4個像素,且 因此,在邊緣之任一側上的支援像素之集合將始終在區塊內。然而,在引入SDIP之情況下,支援像素之集合可跨越SDIP PU邊界,例如,當SDIP PU大小為1×16、16×1、2×8、8×2或在一個方向上具有少於四個像素之任一其他SDIP PU大小時(當支援像素之集合係給定區塊中之四個像素時)。
高頻率改變可發生於兩個SDIP PU之間的邊界處。在一些情況下,此可導致對於解區塊決策功能之誤判。舉例而言,在兩個CU之間的邊界處可能實際上不存在高頻率改變,而在兩個CU中之一者之兩個PU之間的邊界處可能存在高頻率改變。然而,當支援像素之集合跨越兩個PU之間的邊界時,解區塊決策功能可偵測到高頻率改變之存在,雖然此高頻率改變係在兩個PU之間的邊界處而不是在兩個CU之間的邊界處。此可導致對在兩個CU之間的邊緣附近之像素之錯誤處理。
根據本發明之技術,視訊編碼器20及視訊解碼器30可經組態以至少部分基於是否使用SDIP預測了兩個CU中之任一者或兩者來判定是否對該等CU之間的邊緣進行解區塊。一般而言,視訊編碼器20及視訊解碼器30可經組態以執行迴路內解區塊濾波。亦即,可對參考資料(諸如,用於框內預測的先前編碼之區塊,或用於框間預測的先前編碼之圖框或圖塊)進行解區塊,然後用作參考資料。因此,當視訊編碼器20對一特定邊緣進行解區塊時,視訊解碼器30亦應對該邊緣進行解區塊。此外,視訊編碼器20與 視訊解碼器30所使用之技術基本上相同。因此,對「視訊編碼器件」之提及可指視訊編碼器(諸如,視訊編碼器20)或指視訊解碼器(諸如,視訊解碼器30)。為了解釋之目的,以下主要關於視訊編碼器20來描述本發明之技術,但應理解,視訊解碼器30可經組態以執行實質上類似的技術。
在進行框內預測或框間預測編碼以產生預測資料及殘餘資料後,且在進行任何變換(諸如,在H.264/AVC中使用之4×4或8×8整數變換,或離散餘弦變換DCT)以產生變換係數後,可對變換係數執行量化。量化通常指對變換係數進行量化以便可能減少表示該等係數所用的資料量之處理程序。量化處理程序可減小與該等係數中之一些或全部相關聯的位元深度。舉例而言,在量化期間可將n位元的值降值捨位至m位元的值,其中n大於m
在量化後,例如,根據內容自適應性可變長度編碼(CAVLC)、內容脈絡自適應性二進位算術編碼(CABAC)或另一熵編碼方法,可對經量化之資料執行熵編碼。經組態以用於熵編碼之處理單元或另一處理單元可執行其他處理功能,諸如,經量化之係數之零延行長度編碼,及/或語法資訊(諸如,編碼區塊型樣(CBP)值、區塊類型、編碼模式、經編碼之單元(諸如,圖框、圖塊、巨集區塊或序列)之最大巨集區塊大小或類似者)之產生。
視訊編碼器20可進一步發送語法資料(諸如,基於區塊之語法資料、基於圖框之語法資料,及基於GOP之語法資 料)至視訊解碼器30(例如,在圖框標頭、區塊標頭、圖塊標頭或GOP標頭中)。GOP語法資料可描述各別GOP中的圖框之數目,且圖框語法資料可指示用以編碼相應圖框之編碼/預測模式。
視訊編碼器20解碼實質上所有經編碼之視訊資料(例如,藉由對殘餘資料進行逆量化及逆變換且組合殘餘資料與特定CU之預測資料)。在此解碼處理程序後,視訊編碼器20可判定是否對CU之間的邊緣進行解區塊。在解區塊後,視訊編碼器20可將經解碼之資料儲存於記憶體(諸如,經解碼之圖像的緩衝器)中,以便用作參考資料。亦即,當預測同一圖框或不同圖框之隨後視訊資料時,視訊編碼器20可使用記憶體中的所儲存資料作為參考來在框內預測模式或框間預測模式下預測隨後資料。因為在解碼後且在儲存該資料以便用作參考前執行解區塊濾波,所以解區塊濾波可被稱作「迴路內」濾波,此係因為該濾波係在編碼迴路期間執行。因此,可根據同樣的解區塊技術來組態視訊編碼器20與視訊解碼器30,使得當視訊編碼器20編碼視訊資料時,視訊解碼器30能夠準確地解碼視訊資料。
在一些實例中,視訊編碼器20判定:對於兩個經SDIP預測之CU之間的任一邊緣,不應對該邊緣進行解區塊。亦即,視訊編碼器20可省略掉將解區塊決策功能應用於兩個CU(使用SDIP預測了其中至少一者)之間的所有邊緣之操作。在其他實例中,視訊編碼器20可經組態以:當使用具有平行於兩個CU之間的一邊緣之PU的SDIP預測模式來預 測該等CU中之至少一者時,省略掉將解區塊決策功能應用於該邊緣的操作。另一方面,當使用垂直於該邊緣之SDIP PU來預測該等CU中之任一者或兩者時,視訊編碼器20可正常地應用解區塊判定功能。亦即,當SDIP PU垂直於該邊緣時,用以判定是否對該邊緣進行解區塊之支援像素在平行於SDIP PU之間的邊界之一行上延伸,且因此將不跨越SDIP PU之間的邊界。因此,在此情形下,不會有支援像素將跨越SDIP PU邊界之危險,且藉此防止誤判,因此,視訊編碼器20可應用解區塊判定功能而無需擔心此等問題。
在其他實例中,視訊編碼器20可包括對在使用SDIP預測該等CU中之至少一者時應用的替代支援區域之定義。可建構該等替代支援區域以使得支援不會跨越SDIP PU邊界。舉例而言,假設對於兩個相鄰CU,使用具有8×2之PU的SDIP預測了兩個CU中之一者,且使用習知框內預測模式(而非SDIP)預測了另一者。支援區域可於是包括使用習知框內預測模式預測的CU之四個像素,及經SDIP預測的CU之兩個像素。作為另一實例,假設使用具有8×2個像素之SDIP PU預測了兩個CU。在此實例中,自適應性支援區域可包括來自該等CU中之每一者的兩個像素,總共是四個像素。可基於SDIP PU類型或基於在SDIP PU邊緣與該等CU之間的當前邊緣之間的距離(以像素為單位)選擇自適應性支援區域。
HEVC測試模式下之迴路內解區塊實施處理當前CU中所 包括之TU及PU,以便判定待解區塊之邊緣。按照慣例,將邊緣濾波狀態儲存為多維邊緣濾波陣列中之布林(Boolean)值。邊緣濾波陣列之元素可對應於CU內之不重疊的4×4像素區塊。對於4×4區塊之左邊界及頂邊界的垂直及水平邊緣方向中之每一者,該陣列可包括一布林值,用來指示該邊緣是否為待解區塊之候選者。陣列中的區塊之4×4像素大小與儲存該邊緣濾波陣列之記憶體要求有關。或者,可儲存具有對應於更小或更大區塊大小之元素的邊緣濾波陣列,從而分別導致更大或更小的記憶體要求。
就SDIP而言,若干分割區之尺寸小於對應於邊緣濾波陣列中之元素的4×4區塊大小。舉例而言,在基於4×4區塊大小之邊緣濾波陣列中不能唯一地表示分割區大小1×16、16×1、2×8及8×2之邊緣。為了儲存此等SDIP分割區之邊緣濾波狀態,將由於使用對應於(例如)2×2區塊之元素而增加邊緣濾波陣列之記憶體要求。雖然此為可能的解決方案,但本發明亦包括替代解決方案。
在一些實例中,視訊編碼器20可經組態以將待分析之候選邊緣之指示儲存於資料結構(諸如,以上描述之邊緣濾波陣列)中。舉例而言,視訊編碼器20可分析特定LCU之所有CU,且判定該LCU之相鄰CU之間的邊緣之位置。視訊編碼器20可將對邊緣之位置之判定儲存於資料結構(諸如,陣列、連結清單、樹結構或其他資料結構)中。舉例而言,視訊編碼器20可建構三維陣列,其具有表示邊緣之可能的水平及垂直位置之兩個維度及指示邊緣定向(水平 或垂直)之第三維度。視訊編碼器20可宣告一陣列,諸如:bool EdgeFilteringArray[I][J][2],其中「I」表示在水平方向上可能的邊緣之最大數目,「J」表示在垂直方向上可能的邊緣之最大數目,且「2」表示可出現邊緣的方向(水平或垂直)之數目。
舉例而言,假設LCU具有64×64個像素,最小CU大小為8×8。在此實例中,CU之間的邊緣可出現於LCU內之16×16位置處,且在水平方向及垂直方向兩者上可能有邊緣。因此,視訊編碼器20可宣告一陣列,諸如:bool EdgeFilteringArray[8][8][2],其中EdgeFilteringArray可儲存每一可能的邊緣位置之布林值(「真」或「假」),其指示在該位置處存在(「真」)或是不存在(「假」)候選邊緣。
由於SDIP之引入,此LCU中可能存在比8×8多的邊緣。亦即,除了CU之間的邊緣之外,在LCU之經SDIP預測之CU內的SDIP PU之間亦可能存在邊緣。如上文指出,N×N的CU之SDIP PU可為1×N或N×1那麼小。因此,為了考量LCU中之每一可能邊緣而擴大以上論述之陣列會導致陣列之條目為以上論述之陣列的多達64倍。雖然此為一種可能的解決方案,但本發明提議可能更有效率的替代資料結構,用來儲存解區塊決策。
在一些實例中,視訊編碼器20可建構儲存布林值及SDIP旗標之陣列,而不是建構儲存布林值之陣列。SDIP旗標之 值可表示特定SDIP模式的SDIP PU大小及方向。假定存在一稱為boolOrSDIPFlag之資料結構,其可儲存一邊緣之布林值或觸及該邊緣之一CU之SDIP旗標,則視訊編碼器20可建構大小與以上描述之陣列相同的boolOrSDIPFlag陣列。舉例而言,假定LCU之大小為N×N,則視訊編碼器20可建構一陣列,諸如:boolOrSDIPFlag EdgeFilteringArray[N/8][N/8][2]。
舉例而言,再次假設LCU之大小為64×64個像素,則視訊編碼器20可建構一陣列,諸如:boolOrSDIPFlag EdgeFilteringArray[8][8][2]。
下表2說明當CU經SDIP預測時可基於SDIP PU類型儲存於以上描述之實例陣列之各位置中的值及值類型之實例:
在一些實例中,SDIP旗標中之每一者可包括多個值,該等值表示是否將CU分割成SDIP PU分割區及(若是如 此)SDIP PU之方向(例如,SDIP PU分割之較長部分為水平或是垂直)以及是否將SDIP PU分割區進一步分割成SDIP PU分割區。
在建構該陣列後,視訊編碼器20可使用該陣列來判定相應LCU之可能邊緣之位置。舉例而言,解區塊濾波單元可接收LCU之資料,且參考該陣列來判定待解區塊之邊緣。當該陣列之條目具有布林值時,解區塊濾波單元可基於布林值判定在兩個CU之間是否存在邊緣。舉例而言,「真」值可指示存在邊緣,且「假」可指示不存在邊緣。另一方面,當陣列之條目具有SDIP旗標值時,除了兩個CU之間的邊緣之外,視訊編碼器20亦可判定是否對CU內之SDIP分割區之間的任何或所有邊緣進行解區塊。
視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器或解碼器電路中之任一者(若適用),諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,其中任一者可整合為組合式視訊編碼器/解碼器(編碼解碼器)的部分。包括視訊編碼器20及/或視訊解碼器30之裝置可包含積體電路、微處理器及/或無線通信器件(諸如,蜂巢式電話)。
圖2為說明視訊編碼器20之一實例之方塊圖,該視訊編碼器20可實施用於至少部分基於是否使用SDIP預測了CU 來判定是否將解區塊濾波器應用於該等CU之間的邊緣之技術。視訊編碼器20可對視訊圖框內的區塊(包括區塊或者區塊之分割區或子分割區)執行框內及框間編碼。框內編碼依賴於空間預測來減少或移除在給定視訊圖框內的視訊中之空間冗餘。框間編碼依賴於時間預測來減少或移除視訊序列之鄰近圖框內的視訊中之時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中之任一者,且框間模式(諸如單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中之任一者。
如圖2中所示,視訊編碼器20接收待編碼的視訊圖框內之當前視訊區塊。在圖2之實例中,視訊編碼器20包括運動補償單元44、運動估計單元42、框內預測單元46、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54、熵編碼單元56及解區塊器66。為進行視訊區塊重建構,視訊編碼器20亦包括逆量化單元58、逆變換單元60及求和器62。
在編碼處理程序期間,視訊編碼器20接收待編碼之視訊圖框或圖塊。可將該圖框或圖塊劃分成多個視訊區塊,諸如,LCU。運動估計單元42及運動補償單元44關於一或多個參考圖框中之一或多個區塊來執行所接收之視訊區塊之框間預測編碼,以提供時間壓縮。框內預測單元46關於同一圖框或圖塊中之相鄰的先前編碼之區塊之像素來執行所接收之視訊區塊之框內預測編碼。根據本發明之技術,框內預測單元46可經組態以:除了方向性框內預測及DC框 內預測之外,亦執行短距離框內預測(SDIP)。模式選擇單元40可選擇編碼模式(框內或框間)中之一者(例如,基於誤差結果),且將所得的經框內或框間編碼之區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62,以重建構經編碼之區塊以便用作參考圖框。
運動估計單元42與運動補償單元44可高度整合,但為了概念目的而單獨地加以說明。運動估計為產生運動向量之處理程序,該等運動向量估計視訊區塊之運動。舉例而言,運動向量可指示在預測參考圖框(或其他經編碼之單元)內之預測區塊相對於在當前圖框(或其他經編碼之單元)內正被編碼之當前區塊的位移。預測區塊為被發現就像素差而言緊密匹配於待編碼之區塊的區塊,其中可藉由絕對差總和(SAD)、平方差總和(SSD)或其他的差量度來判定像素差。運動補償可涉及基於藉由運動估計所判定之運動向量來提取或產生預測區塊。同樣,在一些實例中,可在功能上整合運動估計單元42與運動補償單元44。
運動估計單元42藉由比較經框間編碼之圖框之視訊區塊與在參考圖框記憶體64中的參考圖框之視訊區塊來計算該視訊區塊的運動向量。運動補償單元44亦可內插該參考圖框之次整數像素,例如,I圖框或P圖框。作為一實例,ITU H.264標準描述兩個參考圖像清單:清單0,其包括顯示次序比正被編碼之當前圖框早的參考圖框;及清單1,其包括顯示次序比正被編碼之當前圖框晚的參考圖框。因此,可根據此等清單來組織儲存於參考圖框記憶體64中之 資料。
運動估計單元42比較來自參考圖框記憶體64的一或多個參考圖框之區塊與當前圖框(例如,P圖框或B圖框)的待編碼區塊。當參考圖框記憶體64中之參考圖框包括次整數像素之值時,由運動估計單元42計算出之運動向量可指參考圖框之次整數像素位置。若並無次整數像素位置之值儲存於參考圖框記憶體64中,則運動估計單元42及/或運動補償單元44亦可經組態以計算儲存於參考圖框記憶體64中的參考圖框之次整數像素位置之值。運動估計單元42將計算出之運動向量發送至熵編碼單元56及運動補償單元44。由運動向量識別之參考圖框區塊可被稱作預測區塊。運動補償單元44可基於預測區塊來計算預測資料。
視訊編碼器20藉由自正被編碼之原始視訊區塊減去預測資料(無論係使用框內預測或是框間預測來預測該預測資料)來形成殘餘視訊區塊。求和器50表示執行此減法運算之該或該等組件。HEVC將殘餘資料之區塊稱為變換單元(TU)。本發明將TU稱作CU的殘餘係數之區塊,應將其與視訊編碼器20之變換處理單元52區分開,變換處理單元52執行TU之變換。變換處理單元52將變換(諸如,離散餘弦變換(DCT)或概念上類似的變換)應用於殘餘區塊,從而產生包含殘餘變換係數值之視訊區塊。
變換處理單元52可執行其他變換,諸如,由H.264標準或由HEVC定義之變換,諸如,方向性變換、旋轉變換、離散正弦變換或其他概念上類似的變換。亦可使用小波變 換、整數變換、次頻帶變換或其他類型之變換。在任一情況下,變換處理單元52將變換應用於殘餘區塊,從而產生殘餘變換係數之區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如,頻域)。量化單元54量化該等殘餘變換係數以進一步減小位元率。量化處理程序可減小與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化之程度。
在量化後,熵編碼單元56對經量化之變換係數進行熵編碼。舉例而言,熵編碼單元56可執行內容自適應性可變長度編碼(CAVLC)、內容脈絡自適應性二進位算術編碼(CABAC)或另一熵編碼技術。在由熵編碼單元56進行之熵編碼後,可將經編碼之視訊傳輸至另一器件或將其封存以便稍後傳輸或擷取。在內容脈絡自適應性二進位算術編碼之情況下,內容脈絡可基於相鄰區塊。
在一些情況下,視訊編碼器20之熵編碼單元56或另一單元可經組態以:除了熵編碼之外,亦執行其他編碼功能。舉例而言,熵編碼單元56可經組態以判定區塊及分割區之CBP值。又,在一些情況下,熵編碼單元56可對巨集區塊或其分割區中的係數執行延行長度編碼。詳言之,熵編碼單元56可應用Z型(zig-zag)、垂直、水平、波前或對角掃描或其他掃描型樣來掃描巨集區塊或分割區中之變換係數,且編碼零延行以進行進一步壓縮。熵編碼單元56亦可用適當語法元素建構標頭資訊,以便在經編碼之視訊位元流中傳輸。
逆量化單元58及逆變換單元60分別應用逆量化及逆變換來重建構在像素域中之殘餘區塊,例如,以便稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖框記憶體64的圖框中之一者之預測區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊來計算次整數像素值,以便在運動估計中使用。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償之預測區塊以產生經重建構之視訊區塊,以便儲存於參考圖框記憶體64中。經重建構之視訊區塊可由運動估計單元42、運動補償單元44及/或框內預測單元46用作參考區塊來對一或多個隨後編碼之視訊圖框中的一或多個區塊進行框間編碼。
根據本發明之技術,視訊編碼器20包括對求和器62之輸出進行選擇性濾波的解區塊器66。詳言之,解區塊器66自求和器62接收經重建構之視訊資料,該視訊資料對應於自運動補償單元44或框內預測單元46接收且被添加至經逆量化且經逆變換之殘餘資料的預測資料。以此方式,解區塊器66接收經解碼之視訊資料區塊,例如,圖塊或圖框之一LCU及/或多個LCU之CU。一般而言,解區塊器66對視訊資料之區塊進行選擇性濾波(例如,基於是否使用SDIP預測了該等區塊中之任一者或兩者)。
解區塊器66通常經組態以分析在兩個CU之間的一邊緣附近之兩個相鄰CU之像素,以判定是否對該邊緣進行解區塊。更明確而言,當偵測到值之高頻率改變時,解區塊 器66可更改在該邊緣附近的像素之值。解區塊器66可經組態以執行本發明之技術中之任一者或全部。舉例而言,解區塊器66可經組態以至少部分基於是否使用SDIP預測了該等CU中之任一者或兩者來判定是否對該邊緣進行解區塊。在各種實例中,解區塊器66可經組態以進行以下操作:判定是否對兩個CU(使用SDIP預測了其中至少一者)之間的邊緣進行解區塊,基於是否使用SDIP預測了該等CU中之任一者或兩者來判定濾波器強度(例如,強或弱濾波器),及/或基於是否使用SDIP預測了該等CU中之任一者或兩者來判定濾波方向。
在一些實例中,解區塊器66經組態以:在判定是否及如何對兩個CU之間的邊緣進行解區塊時,判定經SDIP預測之CU中的SDIP PU之方向。亦即,在一些實例中,至少部分基於是否SDIP預測了兩個CU中之一者或兩者來判定是否對該等CU之間的邊緣進行解區塊包括:判定經SDIP預測之CU的方向。SDIP PU之「方向」大體對應於水平或垂直,且更明確而言,當SDIP PU之較長部分為水平時,該方向對應於水平,當SDIP PU之較長部分為垂直時,該方向對應於垂直。
倘若一CU之SDIP PU之方向垂直於該CU與另一CU之間的邊緣,則解區塊決策功能將不跨越SDIP PU邊界,且因此通常可應用解區塊決策功能。同樣地,當解區塊器66判定要對此邊緣進行解區塊時,解區塊器66通常可對該邊緣進行解區塊。此係因為,通常沿著垂直於邊緣且因此平行 於經SDIP預測之CU內的PU邊界而延伸之像素行來應用解區塊決策功能及解區塊濾波器。因為SDIP PU邊界平行於解區塊決策功能及解區塊濾波器所應用於的支援(亦即,像素行)(在此實例中),所以可正常地應用解區塊決策功能及解區塊濾波器。另一方面,當SDIP PU之方向平行於兩個CU之間的邊緣時,解區塊器66可修改解區塊決策功能及/或解區塊濾波器。舉例而言,解區塊器66可省略掉決策功能之應用,或將決策功能應用於不跨越SDIP PU邊界(亦即,同一CU之兩個SDIP PU之間的邊界)的修改後的支援集合。
此外,除了以上描述之技術之外或替代以上描述之技術,解區塊器66可經組態以將邊緣之位置儲存於本發明中所描述之資料結構中。亦即,解區塊器66可經組態以建構資料結構(諸如,多維陣列),用來儲存在一LCU之各CU之間的候選邊緣之位置。資料結構亦可儲存該LCU之最小CU(例如,8×8的CU)的邊緣之可能位置,同時亦儲存經SDIP預測之CU的指示,其可能需要特殊處理(例如,經調適之決策功能及/或經調適之濾波器)以考量由於SDIP而可在CU內產生之邊緣。
以此方式,視訊編碼器20表示經組態以進行以下操作的視訊編碼器之一實例:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該 第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
此外,視訊編碼器20可經組態以進行以下操作:當第一預測模式及第二預測模式中之至少一者包含SDIP時,判定不對該邊緣進行解區塊;當第一預測模式及第二預測模式中之至少一者包含SDIP時,選擇經調適之支援集合來對其應用解區塊決策功能及對其應用解區塊濾波器,其中該解區塊決策功能係用以判定是否對共同邊緣進行解區塊;或當第一預測模式及第二預測模式中之至少一者包含SDIP時,選擇經調適之支援集合來對其應用解區塊決策功能及對其應用解區塊濾波器,使得該經調適之支援集合不跨越第一區塊及第二區塊中的SDIP PU之預測單元(PU)邊界,其中該解區塊決策功能係用以判定是否對邊緣進行解區塊。此外,視訊編碼器20可經組態以進行以下操作:當第一預測模式及第二預測模式中之至少一者包含SDIP時,判定SDIP PU是否垂直於共同邊緣;及當所有SDIP PU垂直於共同邊緣時,將解區塊決策功能應用於在共同邊緣之任一側上的同等數目個支援像素。
此外,視訊編碼器20可經組態以進行以下操作:當第一預測模式及第二預測模式中之至少一者包含SDIP時,將指示SDIP分割區之分割區大小的值儲存於資料結構中,位於資料結構之對應於共同邊緣的位置處;及基於儲存於資料 結構中之對應於邊緣的值對邊緣進行解區塊。
圖3為說明視訊解碼器30之一實例之方塊圖,該視訊解碼器30可實施用於至少部分基於是否使用SDIP預測了CU來判定是否將解區塊濾波器應用於CU之間的邊緣之技術。在圖3之實例中,視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、逆量化單元76、逆變換單元78、參考圖框記憶體82及求和器80。在一些實例中,視訊解碼器30可執行通常與關於視訊編碼器20(圖2)所描述之一次編碼操作互逆的一次解碼操作。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料。
運動補償單元72可使用在位元流中接收之運動向量來識別在參考圖框記憶體82中之參考圖框中的預測區塊。框內預測單元74可使用在位元流中接收之框內預測模式自空間鄰近區塊形成預測區塊。逆量化單元76逆量化(亦即,反量化)在位元流中提供且由熵解碼單元70解碼之量化區塊係數。逆量化處理程序可包括習知處理程序,例如,類似於由H.264解碼標準或即將到來的HEVC標準定義之處理程序的處理程序。逆量化處理程序亦可包括使用由編碼器50針對每一巨集區塊計算出之量化參數QPY來判定量化之程度,且亦判定要應用的逆量化之程度。
逆變換單元58將逆變換(例如,逆DCT、逆整數變換或概念上類似之逆變換處理程序)應用於變換係數以便產生在像素域中之殘餘區塊。運動補償單元72產生經運動補償之區塊,從而可能基於內插濾波器來執行內插。待用於以 子像素精度進行運動估計的內插濾波器之識別符可包括於語法元素中。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用之內插濾波器來計算參考區塊之子整數像素之內插值。運動補償單元72可根據接收到之語法資訊來判定由視訊編碼器20使用之內插濾波器,且使用該等內插濾波器來產生預測區塊。
運動補償單元72使用語法資訊之一部分來判定:用以編碼經編碼之視訊序列之(一或多個)圖框的區塊之大小;描述如何分割經編碼之視訊序列之圖框的每一巨集區塊的分割區資訊;指示如何編碼每一分割區的模式;每一經框間編碼之巨集區塊或分割區的一或多個參考圖框(及參考圖框清單);及用以解碼經編碼之視訊序列的其他資訊。
求和器80對殘餘區塊與由運動補償單元72或框內預測單元產生之相應預測區塊求和以形成經解碼之區塊。解區塊器84根據本發明之任何或所有技術選擇性地對自求和器80接收之CU進行解區塊。解區塊器84實質上與解區塊器66(圖2)一致,此係因為解區塊器84可經組態以執行關於解區塊器66所描述之任何或所有技術。
以此方式,視訊解碼器30表示經組態以進行以下操作之視訊編碼器之一實例:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測 模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
此外,視訊解碼器30可經組態以進行以下操作:當第一預測模式及第二預測模式中之至少一者包含SDIP時,判定不對邊緣進行解區塊;當第一預測模式及第二預測模式中之至少一者包含SDIP時,選擇經調適之支援集合來對其應用解區塊決策功能及對其應用解區塊濾波器,其中該解區塊決策功能係用以判定是否對共同邊緣進行解區塊;或當第一預測模式及第二預測模式中之至少一者包含SDIP時,選擇經調適之支援集合來對其應用解區塊決策功能及對其應用解區塊濾波器,使得該經調適之支援集合不跨越第一區塊及第二區塊中的SDIP PU之預測單元(PU)邊界,其中該解區塊決策功能係用以判定是否對邊緣進行解區塊。此外,視訊解碼器30可經組態以進行以下操作:當第一預測模式及第二預測模式中之至少一者包含SDIP時,判定SDIP PU是否垂直於共同邊緣;及當所有SDIP PU垂直於共同邊緣時,將解區塊決策功能應用於在共同邊緣之任一側上的同等數目個支援像素。
此外,視訊解碼器30可經組態以進行以下操作:當第一預測模式及第二預測模式皆包含不同於SDIP之模式時,將指示是否判定了要對共同邊緣進行解區塊之值儲存於資料結構中,位於資料結構之對應於共同邊緣的位置處;當第一預測模式及第二預測模式中之至少一者包含SDIP時,將 指示SDIP分割區之分割區大小的值儲存於資料結構中,位於資料結構之對應於共同邊緣的位置處;及基於儲存於資料結構中之對應於邊緣的值對邊緣進行解區塊。
圖4為說明一實例解區塊器90之組件之方塊圖。一般而言,解區塊器66(圖2)及解區塊器84(圖3)中之任一者或兩者可包括實質上類似於解區塊器90之組件的組件。諸如視訊編碼器、視訊解碼器、視訊編碼器/解碼器(編碼解碼器)及類似者之其他視訊編碼器件亦可包含實質上類似於解區塊器90之組件。可以硬體、軟體或韌體來實施解區塊器90。當以軟體或韌體實施時,亦可提供相應的硬體(諸如,一或多個處理器或處理單元,及用於儲存用於軟體或韌體之指令的記憶體)。
在圖4之實例中,解區塊器90包括解區塊判定單元94、儲存支援定義92之記憶體、解區塊濾波單元96、儲存解區塊濾波器定義98之記憶體、邊緣定位單元93,及儲存根據邊緣位置資料結構95之資料之記憶體。可在功能上整合解區塊器90之任何或所有組件。僅為了說明之目的而單獨地說明解區塊器90之組件。一般而言,解區塊器90接收經解碼之區塊的資料(例如,自對該等區塊之預測資料與殘餘資料進行組合的求和組件)。資料可進一步包括對如何預測該等區塊的指示。在以下描述之實例中,解區塊器90經組態以接收包括經解碼之LCU及用於該LCU之CU四分樹的資料,其中該CU四分樹描述如何將該LCU分割成CU且指示葉節點CU之預測模式。
解區塊器90可在解區塊器90之記憶體中或在由相應的視訊編碼器件提供之外部記憶體中維持邊緣位置資料結構95。在一些實例中,邊緣定位單元93可接收對應於LCU之CU四分樹,該CU四分樹指示如何將該LCU分割成CU。邊緣定位單元93可接著分析該CU四分樹以判定CU之間的哪些邊緣為待解區塊之候選者。
邊緣位置資料結構95可包含具有水平維度、垂直維度及表示水平邊緣及垂直邊緣之維度的一陣列。一般而言,CU之間的邊緣可出現於LCU之兩個最小CU之間。因此,假定LCU之大小為N×M,且假定LCU的最小CU之大小為M×M,則該陣列可包含[N/M]×[N/M]×2之大小,其中「2」表示在CU之間的邊緣之兩個可能方向(水平及垂直)。舉例而言,假定一LCU具有64×64個像素及8×8之最小CU,則該陣列可包含[8]×[8]×[2]個條目。
每一條目可大體對應於兩個CU之間的可能邊緣。邊緣可能事實上不存在於LCU內之位置中之每一者處,該等位置中之每一者對應於邊緣位置資料結構95之條目中之每一者。因此,可將資料結構之值初始化為假。一般而言,邊緣定位單元93可分析CU四分樹以判定LCU之兩個CU之間的邊緣之位置,且將邊緣位置資料結構95中之相應值設定為真。
一般而言,該陣列之條目可描述在LCU中是否存在相應的邊緣,作為待解區塊之候選者。亦即,當邊緣定位單元93判定存在介於LCU之兩個相鄰CU之間的邊緣時,邊緣定 位單元93可設定邊緣位置資料結構95中之相應條目之值來指示存在邊緣(例如,設定為「真」值)。
在一些實例中,當使用SDIP預測兩個CU中之一者時,邊緣定位單元93可將指示用於該CU的SDIP分割區之類型之值儲存於邊緣位置資料結構95之相應位置中。以此方式,邊緣位置資料結構95不需要包括額外條目來表示LCU內之額外的可能邊緣。實情為,根據本發明之技術,可修改儲存於邊緣位置資料結構95中的值之類型,以儲存布林值或SDIP旗標。舉例而言,邊緣定位單元93可將表示經SDIP預測之CU的值儲存於邊緣位置資料結構95中。
解區塊判定單元94通常判定;針對兩個相鄰區塊(例如,兩個CU或兩個PU),是否應對該兩個區塊之間的邊緣進行解區塊。解區塊判定單元94可使用邊緣位置資料結構95判定邊緣之位置。在一些實例中,當邊緣位置資料結構95之值具有布林值時,解區塊判定單元94可判定:「真」值指示邊緣之存在,且「假」值指示不存在邊緣。當邊緣位置資料結構95之值具有SDIP旗標值時,解區塊判定單元94可基於SDIP旗標之值判定SDIP PU之間的邊緣之位置。根據本發明之技術,解區塊判定單元94可至少部分基於是否使用SDIP預測了兩個CU中之一者或兩者來判定是否對該等CU之間的邊緣進行解區塊。解區塊判定單元94亦可判定SDIP PU邊緣之位置,且判定是否對SDIP PU之間的任何或所有邊緣進行解區塊。
一般而言,解區塊判定單元94可組態有一或多個解區塊 判定功能。該等功能可包括將複數個係數應用於跨越區塊之間的邊緣之像素行之功能。舉例而言,可將該等功能應用於垂直於邊緣的八個像素之行,其中該等像素中之四者在兩個區塊中之一者中,且另外四個像素在兩個區塊中之另一者中。支援定義92定義對該等功能之支援。一般而言,「支援」對應於該等功能所應用於的像素。以下關於圖6更詳細地描述支援集合之各種實例。
解區塊判定單元94可經組態以將一或多個解區塊判定功能應用於一或多個支援集合(如支援定義92所定義),以判定是否應對視訊資料之兩個區塊之間的特定邊緣進行解區塊。然而,在一些實例中,解區塊判定單元94經組態以省略掉將解區塊判定功能應用於特定邊緣的操作(例如,當使用SDIP預測了兩個區塊中之至少一者時)。以此方式,解區塊器90(且同樣地,包括解區塊器90之相應視訊編碼器件)可經組態以至少部分基於是否使用SDIP預測了兩個區塊中之至少一者來判定是否對該兩個區塊之間的邊緣進行解區塊。
當使用SDIP預測兩個區塊中之一者時省略掉解區塊判定功能之應用,此可節省處理功率,改良電池壽命,且產生更好的使用者體驗(歸因於避免了誤判結果)。在其他實例中,解區塊器90可經組態以按其他方式至少部分基於使用SDIP預測了兩個區塊中之至少一者來判定是否對該兩個區塊之間的邊緣進行解區塊。
舉例而言,取決於在SDIP PU邊緣與當前邊緣之間的距 離(以像素為單位)或SDIP PU尺寸(以像素為單位),解區塊判定單元94可應用具有經調適之支援區域的替代性解區塊決策或濾波器,使得替代性決策及/或支援不跨越SDIP PU邊緣。亦即,在一些實例中,支援定義92可包括以下資料,該資料針對各種支援定義描述了該支援可應用於的經SDIP預測之區塊之類型。區塊的所接收資料可描述在SDIP PU邊緣與當前邊緣之間的距離或SDIP PU尺寸。因此,解區塊判定單元94可針對SDIP PU尺寸或在SDIP PU邊緣與當前邊緣之間的距離來選擇適當的支援集合。舉例而言,當兩個SDIP PU邊緣之間的邊緣距當前邊緣(亦即,兩個區塊之間的邊緣)兩個像素時,解區塊判定單元94可選擇在經SDIP預測之區塊中具有僅兩個像素之支援集合,因此解區塊判定單元94可將經調適之濾波器應用於總共六個像素(在邊緣之非SDIP PU側上的四個像素,及在邊緣之SDIP PU側上的兩個像素)。
作為另一實例,取決於在當前邊緣之鄰域中的SDIP PU類型,解區塊判定單元94可應用替代性解區塊決策或濾波器,其具有不跨越SDIP PU邊緣的經調適之支援區域。亦即,解區塊判定單元94可經組態以基於具有共同邊緣之各區塊的SDIP PU類型來選擇支援集合及/或解區塊判定功能,而不是基於在當前邊緣與SDIP PU邊緣之間的距離或基於SDIP PU尺寸來選擇支援集合及/或解區塊判定功能。
作為再一實例,解區塊判定單元94可取決於SDIP分割區相對於當前邊緣之方向的方向或定向而調適解區塊決策功 能。以下更詳細論述之圖7提供兩個相鄰區塊之SDIP分割區相對於在該兩個相鄰區塊之間的共同邊緣的可能組合之實例。一般而言,在此等實例中,解區塊判定單元94可經組態以:僅當使用平行於兩個區塊之間的共同邊緣之SDIP PU預測區塊中之一者或兩者時,才調適支援及/或決策功能。
源自解區塊判定單元94之虛線表示區塊之資料在未被濾波之情況下輸出。在解區塊判定單元94判定不應濾波兩個區塊之間的邊緣之情況下,解區塊器90可在不更改該等區塊之資料的情況下輸出該資料。亦即,資料可繞過解區塊濾波單元96,使得資料未經解區塊濾波。另一方面,當解區塊判定單元94判定應對一邊緣進行解區塊時,解區塊判定單元94可使解區塊濾波單元96濾波在該邊緣附近的像素之值,以對該邊緣進行解區塊。
解區塊濾波單元96針對待解區塊之邊緣(如由解區塊判定單元94所指示)自解區塊濾波器定義98擷取解區塊濾波器之定義。針對SDIP PU之間的邊緣及經SDIP預測的CU之間的邊緣,解區塊濾波單元96可自解區塊濾波器定義98擷取經調適之解區塊濾波器,使得該等濾波器不跨越SDIP PU邊界。一般而言,邊緣之濾波使用來自待解區塊的當前邊緣之鄰域的像素之值。因此,解區塊決策功能及解區塊濾波器兩者可在一邊緣之兩側上具有某一支援區域。藉由將解區塊濾波器應用於在一邊緣之鄰域中的像素,解區塊濾波單元96可使該等像素之值變平滑,從而抑制在該邊緣 附近的高頻率轉變。以此方式,將解區塊濾波器應用於在邊緣附近之像素可減少在邊緣附近之方塊效應假影。
圖5為說明實例LCU 100之概念圖,該實例LCU 100包括一經SDIP預測之CU。詳言之,在此實例中,LCU 100包括子CU 102、104、106、108、110、112及114。子CU 102、104、106、108、110、112及114中之每一者對應於一葉節點CU。在此實例中,非葉節點CU將亦包括子CU 104、106、108及110。可根據特定預測模式來預測該等葉節點子CU中之每一者。在此實例中,使用SDIP來預測子CU 108。因此,子CU 108包括四個PU 120A至120D(PU 120)。如在此實例中所示,PU 120為子CU 108之水平PU。
根據本發明之技術,諸如視訊編碼器20或視訊解碼器30之視訊編碼器件可解碼LCU 100且接著判定是否對子CU 102、104、106、108、110、112及114之間的邊緣進行解區塊。為了說明之目的,圖5使用虛線將邊緣118展示為可被視為待解區塊的邊緣之一實例。在此實例中,邊緣118出現於子CU 108與子CU 102之間的邊界處。即使當相鄰的子CU並非相同大小時(如在此實例中展示),邊緣亦可出現於該等子CU之間。
圖5亦說明邊緣118之支援區域116。按照慣例,當判定是否對邊緣118進行解區塊時將使用支援區域116之各種像素,以及當作出要對邊緣118進行解區塊之決策時,將使用支援區域116之各種像素來濾波在邊緣118附近之像素。如在圖5中所示,使用SDIP預測了子CU 108,且支援區域 116跨越SDIP PU 120A與120B之間的邊緣。因此,可執行本發明之技術的各種態樣。舉例而言,可省略掉是否對邊緣118進行解區塊之判定。
或者,可調適支援區域116,使得實際支援區域不跨越PU 120A與PU 120B之間的邊界,其中當判定是否對邊緣118進行解區塊時使用該實際支援區域且當作出要對邊緣118進行解區塊之決策時使用該實際支援區域來濾波在邊緣118附近之像素。舉例而言,此支援區域可包括支援區域116在子CU 102內之全部,但僅包括支援區域116在PU 120A內的部分。可基於(例如)在邊緣118與介於SPU 120A與120B之間的邊緣之間的距離、PU 120之尺寸或CU 108的SDIP模式之類型來選擇對於解區塊決策功能及/或解區塊濾波器的經調適之支援。SDIP類型可定義PU 120之定向及PU 120之寬度。
圖6為說明兩個實例區塊130、132在區塊130及132之間的邊緣134附近的像素位置之概念圖。使用格式[p|q]IJ標明該等像素位置中之每一者,其中p對應於區塊130且q對應於區塊132,I對應於距邊緣134之距離,且J對應於自區塊130及132之頂部至底部的列指示符。在一些實例中,用於解區塊決策功能及解區塊濾波器之支援具有八個像素之行。在此等實例中,對於給定行X(其中0X7),可將像素p3x至q3x中之每一者用作支援。因此,對於此等實例,若使用SDIP預測了區塊130或132中之任一者,且SDIP模式為垂直且分割區寬度小於四,則八像素支援將跨越SDIP PU邊界。
在一些實例中,當使用SDIP預測了區塊130及132中之任一者或兩者時,可調適解區塊決策功能及/或解區塊濾波器。下表3描述可基於兩個區塊(在表3中標註為「區塊A」及「區塊B」)之SDIP模式來應用的濾波器及解區塊決策條件之一實例集合。應理解,此等區塊未必對應於圖6之區塊130及132,此係因為在表3中提及之區塊之大小可能大於8×8個像素。然而,圖6提供一對實例區塊用於參考,當表3之區塊A及區塊B具有8×8個像素時,該對區塊可分別對應於區塊A及區塊B。假定對於在表3中之區塊A及區塊B的所列出SDIP模式,區塊A與區塊B之間的邊緣平行於SDIP分割區,則對「垂直SDIP PU」之參考意欲作為對垂直於區塊A與區塊B之間的邊緣之SDIP模式之參考。另外,假定區塊A及區塊B對應於CU,而非一共同CU之PU。下表6提供內部SDIP分割區邊界之額外實例。
表3提供當兩個區塊(區塊A與區塊B)中之至少一者含有平行於或鄰近於待解區塊之當前CU邊界邊緣的完整或部分SDIP-PU時用於對該等區塊之間的CU邊界邊緣(水平或垂直方向)進行解區塊的解區塊濾波器類型及解區塊決策條件之實例。濾波器及決策條件使得不跨越SDIP-PU邊緣或其他非SDIP-PU或TU邊緣,其可導致對當前邊緣之錯誤的解區塊。此外,在垂直(水平)邊緣之解區塊之間不存在相依性,其允許對垂直(水平)邊緣之並行的解區塊。
倘若區塊A及區塊B皆並非SDIP類型,或SDIP-PU定向(最長尺寸)垂直於待濾波之CU邊界邊緣,則可應用正常的解區塊。正常的解區塊指應用於與SDIP無關之區塊邊緣的解區塊方法,諸如,HM之版本3(HM3)解區塊。
下表4提供基於表3之第三欄(「濾波器類型」)的可用以對邊緣進行解區塊的各種類型之濾波器之實例。在此實例 中,存在四個類型之濾波器:強、弱4、弱2及弱1。當解區塊決策功能指示應選擇(例如)邊緣134時,可選擇此等各種濾波器來對該邊緣進行解區塊。此外,以上表3提供對何時可選擇每一濾波器之實例指示,而表4提供此等實例濾波器中之每一者的濾波器係數之實例。亦即,表4提供實例方程式,其中根據以上表3之實例基於是否使用SDIP預測了區塊130及132中之任一者或兩者而將該等方程式應用於(例如)區塊130及132之像素的值。
表5描述解區塊決策功能條件之一實例集合,其對應於以上表3之第四欄。針對區塊A及區塊B的SDIP模式之各種組合,表3指示各種解區塊條件,其提供對是否對出現於區塊A與區塊B之間的邊緣進行解區塊之實例指示。在一些情況下,表3之第3欄指示針對給定SDIP模式之集合所應用的濾波器之選項,且表5提供在此等情況下在此等濾波器之間的實例選擇方法。
表6提供用於對一階SDIP(SDIP-Level 1)之內部SDIP分割區邊界進行解區塊之實例。一階SDIP指將(例如)32×32、16×16或8×8的CU分別分割成大小為32×8、16×4或8×2之SDIP分割區(水平或垂直)。二階SDIP(SDIP-Level 2)指一階SDIP分割區之進一步分割,例如,可將16×4的分割區進一步分成16×1的分割區(水平及垂直),關於表7更詳細地對其進行描述。在SDIP-CU大小為32×32、16×16或8×8之 情況下,存在三個內部邊緣。內部邊緣為SDIP-PU邊界。表6規定對於區塊A與區塊B之間的邊緣應用哪種濾波類型或哪些決策條件。就表6而言,區塊A及區塊B含有平行於或鄰近於待解區塊之當前內部邊緣(例如,圖6之邊緣134)的完整或部分SDIP-PU。可關於以上的表4及表5之實例來解釋表6之第三欄及第四欄(濾波器類型及決策條件)的值。
表7描述一實例二階SDIP,其中將16×4的SDIP PU進一步分割成四個16×1的SDIP PU。在此實例中,未對內部邊緣進行解區塊,以便保持紋理細節。在其他實例中,可選擇其他解區塊決策功能及/或解區塊功能。
雖然關於兩個並列相鄰的區塊描述了圖6之實例及以上的表3至表7之實例,但應理解,可對上下相鄰的區塊應用類似技術,其中適當修改對個別像素之參考,且將「列」與「行」交換。
圖7A至圖7I為說明相對於兩個區塊之間的邊緣之各種SDIP PU定向之概念圖。雖然展示了並列區塊之實例,但應理解,可對上下相鄰的區塊應用類似技術。圖7A描繪區塊150、152具有邊緣151。在此實例中,使用不同於SDIP之預測模式預測區塊150及152。因此,可處理邊緣151以便正常地解區塊(亦即,而不因SDIP預測而作進一步考慮或調適)。
圖7B描繪區塊154、156具有邊緣155。在此實例中,使用不同於SDIP之預測模式預測區塊154。在此實例中,雖然使用SDIP來預測區塊156,但156之SDIP PU垂直於邊緣155。因此,支援行(其大體垂直於邊緣155)將平行於區塊156之SDIP PU之間的邊緣。因此,亦可處理邊緣155以便正常地解區塊。類似地,對於區塊162及164具有邊緣163之圖7D,使用垂直於邊緣163之SDIP PU對區塊162進行SDIP預測,且因此,可處理邊緣163以便正常地解區塊。同樣地,對於區塊166及168具有邊緣167之圖7E,使用垂直於邊緣167之SDIP PU來預測區塊166及168兩者,且因此,亦可處理邊緣167以便正常地解區塊。
圖7C描繪區塊158及160具有邊緣159。在此情況下,取決於區塊160之SDIP PU的寬度,支援區域可跨越在區塊160之各SDIP PU之間的PU邊界。因此,為了解區塊而對邊緣159進行之處理可包括利用經調適之解區塊決策功能、支援及/或解區塊濾波器。當處理邊緣159以便解區塊時,可執行調適以避免跨越區塊160之SDIP PU邊界。類似 地,當處理圖7G之邊緣175(形成於區塊174與176之間)時,可使用經調適之決策功能及解區塊濾波器,此係因為使用平行於邊緣175之SDIP PU預測了區塊174。在圖7I之情況下,使用平行於邊緣183之SDIP PU預測了區塊182及184兩者,其具有邊緣183。因此,決策功能及支援之調適可避免跨越區塊182及184兩者中之SDIP PU邊界。
同樣地,可對形成於圖7F之區塊170與172之間的邊緣171及形成於圖7H之區塊178與180之間的邊緣179應用經調適之支援集合、決策功能及/或解區塊濾波器。雖然使用SDIP PU預測了區塊170及180,但此等SDIP PU分別垂直於邊緣171及邊緣179。因此,經調適之支援、功能及濾波器不需要考量區塊170及180中之邊緣。然而,因為分別使用平行於邊緣171及179之SDIP PU預測了區塊172及178,所以經調適之支援、功能及濾波器可經選擇以避免跨越區塊172及178中之SDIP PU邊界。
一般而言,解區塊之調適可包括以某種方式修改解區塊決策及/或解區塊濾波器以使得:例如,關於待解區塊之邊緣,減小/增大支援區域的大小及/或更改方向。支援區域通常對應於在待解區塊之當前邊緣附近的由決策計算或濾波所使用的像素之集合。支援區域之調適可關於待解區塊之當前邊緣對稱或不對稱。除了支援區域之外,亦可改變解區塊決策計算及/或濾波器(例如,藉由改變濾波器係數)。
圖8為說明一實例CU 190之概念圖,其中將SDIP PU分 割成進一步的SDIP PU。詳言之,將CU 190分割成子CU 192A至192D。在此實例中,子CU 192B對應於使用SDIP來預測之葉節點CU。在此實例中,子CU 192B包括四個SDIP PU分割區194A至194D。此外,在此實例中,將SDIP PU分割區194B進一步分割成SDIP PU分割區196A至196D。舉例而言,SDIP PU分割區194A至194D可包含16×4的PU,而SDIP PU分割區196A至196D可包含16×1的PU。
圖8亦說明穿過子CU 192B之三條水平雙點虛線。雖然未水平分割子CU 192B,但此等雙點虛線意欲表示在SDIP PU分割區194與196之間的邊緣之各段。在一些實例中,可個別地分析此等段。因此,圖8說明SDIP PU分割區194A與SDIP PU分割區194B之間的邊緣之各段198A至198D。因此,對應於CU 190之資料結構(諸如,陣列)可包括針對每一可能的水平及垂直邊緣之各條目。舉例而言,資料結構可包括各段198中之每一者的位置。根據本發明之技術之一些實例,在資料結構中之關於段198的相應位置可包括表示SDIP PU 196之SDIP模式的SDIP旗標,例如,旗標16×1。視訊編碼器件可使用儲存於此位置中之值判定在SDIP PU 194B內存在四個垂直邊緣,且因此,判定是否對任何或所有此等邊緣進行解區塊。
相比之下,假定使用不同於SDIP之模式預測了子CU 192C及192D,則資料結構中之位置可指示在子CU 192C與192D之間的邊緣之存在。舉例而言,資料結構之對應於此邊緣的位置可各具有「真」值。以此方式,視訊編碼器件 可判定在子CU 192C與192D之間的邊緣之存在,且應用習知的解區塊,此係因為子CU 192C及192D皆不是使用SDIP所預測的。
在一些實例中,可根據以下描述來判定CU之SDIP分割區類型。對於CU,視訊編碼器件可判定儲存於資料結構之相應位置中的SDIP旗標之值,其可指示CU是否被分成SDIP分割區。舉例而言,當此SDIP旗標指示此情形時,例如,當旗標具有「真」值時,16×16的CU可包括大小為16×4或4×16之四個SDIP分割區。當CU具有SDIP分割區時,視訊編碼器件(若適用)(例如,視訊編碼器20或視訊解碼器30)可判定SDIP方向旗標之值,其可指示SDIP分割區為水平或是垂直。舉例而言,含有「真」值之SDIP方向旗標可對應於垂直分割區,而「假」值可對應於水平分割區。接著,對於CU中之每一SDIP分割區,視訊編碼器件可判定SDIP模式旗標之值,該值可指示該SDIP分割區是否被進一步分成額外的SDIP分割區。舉例而言,對於大小為16×4之SDIP分割區,相應SDIP模式旗標之「真」值可指示16×4的分割區進一步分成16×1的分割區。
關於圖8之實例,視訊編碼器件可判定子CU 192B之SDIP旗標,在此情況下,該旗標可具有指示子CU 192B被分成SDIP分割區之值(例如,「真」)。視訊編碼器件可接著判定子CU 192B的SDIP方向旗標之值,在此情況下,其可具有指示SDIP分割區為垂直之值(例如,「真」)。另外,對於SDIP PU分割區194A至194D中之每一者,視訊編 碼器件可判定各別SDIP模式旗標之值,其指示相應SDIP PU分割區是否被分成進一步的分割區。在此實例中,SDIP PU分割區194A、194C及194D之SDIP模式旗標可具有指示此等SDIP PU分割區未被分成進一步的SDIP PU之值(例如,「假」),而SDIP PU分割區194B可具有指示SDIP PU分割區194B被分成進一步的SDIP PU分割區196A至196D之值(例如,「真」)。類似地,視訊解碼器件可在最初分析CU 190以在資料結構中設定此等各別值。
圖9為說明用於至少部分基於是否使用SDIP預測形成一邊緣之各區塊來判定是否對該邊緣進行解區塊的一實例方法之流程圖。圖9之方法可由視訊解碼器件(諸如,視訊編碼器20或視訊解碼器30)執行。為了舉例說明,關於視訊解碼器30(圖3)描述圖9之方法,但應理解,視訊編碼器20(圖2)可執行類似方法。
最初,視訊解碼器30可接收視訊資料之兩個相鄰之經編碼之區塊,該兩個區塊具有一共同邊緣。該兩個區塊可包含共同LCU之CU。因此,視訊解碼器30亦可接收該LCU之CU四分樹。熵解碼單元70可解碼且解譯指示該等區塊之編碼模式的資訊,以判定第一區塊之預測模式(200)且判定第二區塊(在此情況下,與第一區塊相鄰)之預測模式(202)。
視訊解碼器30可接著使用經判定之預測模式來解碼第一及第二區塊(204)。舉例而言,對於框間預測模式,運動補償單元72可自先前編碼之圖框擷取經框間預測之區塊之預 測值(例如,自參考圖框記憶體82)。對於框內預測模式,框內預測單元74可根據同一圖框的相鄰之先前編碼之區塊來計算經框內預測之區塊之預測值。求和器80可將預測值添加至自逆變換單元78接收的經逆量化、逆變換之殘餘值。
在解碼該等區塊後,解區塊器84可至少部分基於該等區塊之預測模式是否包括SDIP來判定是否對該等區塊之間的邊緣進行解區塊(206)。舉例而言,當使用SDIP預測了該等區塊中之至少一者時,解區塊器84可省略掉解區塊,或可調適支援及/或解區塊決策功能,使得支援/功能不跨越該等區塊中之SDIP PU邊界。
解區塊器84可接著基於該判定來濾波該等區塊(208)。舉例而言,當解區塊器84判定應對邊緣進行解區塊時,解區塊器84可將解區塊濾波器應用於區塊之像素之值,以使在該等區塊之間的邊緣附近之像素之間的轉變變平滑。在一些實例中,當使用SDIP預測了兩個區塊中之至少一者且當判定要對邊緣進行解區塊時,解區塊器84可應用經調適之解區塊濾波器來濾波該等區塊之在邊緣附近的像素之值。在對邊緣進行解區塊(若判定要對邊緣進行解區塊)後,解區塊器84可將該等區塊之資料儲存於參考圖框記憶體82中(210)。當然,視訊解碼器30亦可輸出經解碼之資料,且亦可使用所儲存之資料作為未來圖框之參考。
在由視訊編碼器20執行時,該方法可進一步包括選擇具有共同邊緣之兩個區塊的預測模式。亦即,視訊編碼器20 可首先選擇預測模式,且接著使用選定預測模式來編碼該等區塊。當然,視訊編碼器20可解碼經編碼之區塊,使得視訊編碼器20可使用該等區塊的經編碼版本作為隨後編碼之資料的參考。由視訊編碼器20執行之解碼處理程序可實質上與以上描述之方法一致,包括迴路內解區塊處理程序。
以此方式,圖9之方法表示一種方法之一實例,該方法包括:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
圖10為說明用於至少部分基於是否使用SDIP預測了兩個區塊中之至少一者來判定是否對該等區塊之間的共同邊緣進行解區塊的另一實例方法之流程圖。圖10之步驟大體對應於圖9之步驟206。因此,圖10之方法亦可由視訊編碼器件(諸如,視訊編碼器20或視訊解碼器30)執行。同樣,為了舉例說明,關於視訊解碼器30描述圖10之方法。
在此實例中,視訊解碼器30判定具有共同邊緣之兩個區塊的預測模式(230)。視訊解碼器30可接著判定是否使用SDIP預測了兩個區塊中之任一者(232)。若使用SDIP預測了兩個區塊中之至少一者(亦即,若第一區塊的第一預測 模式及第二區塊的第二預測模式中之至少一者包含SDIP)(232之「是」分支),則視訊解碼器30可省略掉解區塊判定(234)。亦即,在此實例中,當使用SDIP預測了兩個區塊中之至少一者時,視訊解碼器30可省略掉將解區塊決策功能應用於在該等區塊之間的邊緣之區中之支援集合。另一方面,若未使用SDIP預測該等區塊中之任一者(232之「否」分支),則視訊解碼器30之解區塊器84可判定是否使用習知技術對邊緣進行解區塊(236)。
圖11為說明用於至少部分基於是否使用SDIP預測了兩個區塊中之至少一者來判定是否對該等區塊之間的共同邊緣進行解區塊的另一實例方法之流程圖。圖11之步驟大體對應於圖9之步驟206。同樣,為了舉例說明,關於視訊解碼器30描述圖11之方法,但應理解,該方法可由諸如視訊編碼器20之其他視訊編碼器件執行。
在此實例中,視訊解碼器30亦判定具有共同邊緣之各區塊的預測模式(240)。視訊解碼器30亦判定是否使用SDIP預測了該等區塊中之至少一者(242)。然而,在此實例中,當使用SDIP預測該等區塊中之至少一者時,視訊解碼器30可調適解區塊決策功能所應用於之支援區域(244)。或者或另外,視訊解碼器30可基於SDIP類型來調適解區塊決策功能。視訊解碼器30可接著判定是否使用經調適之支援區域(及/或經調適之解區塊決策功能)對邊緣進行解區塊(246)。經調適之支援區域可經建構以使得該支援區域不跨越在經SDIP預測之區塊內的SDIP PU邊界。當未使用SDIP 預測任一區塊時,視訊解碼器30可判定是否使用習知技術對邊緣進行解區塊(248)。
圖12為說明用於至少部分基於是否使用SDIP預測了兩個區塊中之至少一者來判定是否對該等區塊之間的共同邊緣進行解區塊的又一方法之流程圖。圖12之步驟大體對應於圖9之步驟206。同樣,為了舉例說明,關於視訊解碼器30描述圖12之方法,但應理解,該方法可由諸如視訊編碼器20之其他視訊編碼器件執行。
在此實例中,視訊解碼器30亦判定具有共同邊緣之各區塊的預測模式(260)。視訊解碼器30亦判定是否使用SDIP預測了該等區塊中之至少一者(262)。在此實例中,當使用SDIP預測該等區塊中之至少一者(262之「是」分支)時,視訊解碼器30可判定經SDIP預測之區塊的SDIP分割區方向(264)。一般而言,SDIP分割區之方向對應於SDIP分割區之較長尺寸。視訊解碼器30之解區塊器84可接著判定SDIP分割區方向是否平行於共同邊緣(266)。
當SDIP分割區中之至少一者平行於該等區塊之間的共同邊緣時(266之「是」分支),視訊解碼器30之解區塊器84可基於平行之SDIP分割區來調適支援像素集合,使得該支援不跨越SDIP分割區邊界(268)。舉例而言,解區塊器84可確保支援像素不跨越SDIP PU分割區之邊緣(當然,所考慮之待解區塊之當前邊緣除外)。解區塊器84可接著判定是否使用經調適之支援集合對該等區塊之間的邊緣進行解區塊(270),例如,藉由對該支援像素集合執行適當功能以判 定沿著該支援像素集合是否存在高頻率改變。另一方面,當未使用SDIP預測該等區塊中之任一者時(262之「否」分支),或當所有SDIP PU分割區垂直於兩個區塊之間的共同邊緣時(266之「否」分支),解區塊器84可判定是否使用習知解區塊判定技術對該邊緣進行解區塊。在任一情況下,解區塊器84可基於是否對邊緣進行解區塊之判定對該邊緣進行解區塊(例如,濾波在該邊緣附近之像素)(274)。
圖13為說明用於將邊緣位置儲存於資料結構中的一實例方法之流程圖,該資料結構亦可儲存SDIP PU分割區之指示。資料結構可經調適以儲存以下兩者:指示在特定位置處是否存在邊緣之布林值,以及指示相應CU是否經SDIP預測之SDIP旗標。為了舉例說明,關於視訊解碼器30描述圖13之方法,但應理解,該方法可由諸如視訊編碼器20之其他視訊編碼器件執行。圖13之方法可通常在圖9之步驟206前執行,且可與圖9至圖12之方法一起執行。
最初,視訊解碼器30之解區塊器84可具現化用於儲存LCU內之邊緣位置的資料結構(280)。該資料結構可包含(例如)一陣列,該陣列具有對應於LCU之潛在最小CU的水平及垂直位置。該資料結構可進一步包含水平邊緣及垂直邊緣兩者之位置。可將在該等位置中之每一者處的值初始化為「假」或其他值,用於指示在LCU之相應位置處不存在邊緣。
解區塊器84可接著判定在各區塊(例如,LCU之各子CU)之間的邊緣之位置(282)。舉例而言,解區塊器84可基於 LCU之CU四分樹判定各CU之位置。此外,使用CU四分樹,解區塊器84可判定該等區塊之預測模式(例如,單向框間預測、雙向框間預測、方向性框內預測、DC框內預測或SDIP)(284)。對於LCU中之每一邊緣,解區塊器84可判定是否使用SDIP預測了形成該邊緣之區塊(286)。
當使用SDIP預測了關於一邊緣的該等區塊中之至少一者時(286之「是」分支),解區塊器84可判定該區塊之SDIP類型(288)。SDIP類型可描述(例如)SDIP PU分割區之方向(亦即,定向),以及SDIP PU分割區是否被分成進一步的SDIP PU分割區。解區塊器84可接著將表示SDIP類型之值儲存於資料結構之相應位置中(290)。此等值可包含(例如)SDIP旗標,諸如,SDIP旗標、SDIP方向旗標及SDIP模式旗標。另一方面,當使用不同於SDIP之預測模式預測兩個區塊時(286之「否」分支),解區塊器84可將表示存在邊緣之值儲存於資料結構之相應位置中(292)。舉例而言,此值可包含布林值。
在處理最近的邊緣後,解區塊器84可判定最近的邊緣是否為LCU之最後一個邊緣(294)。若最近的邊緣並非LCU之最後一個邊緣(294之「否」分支),則解區塊器84可根據步驟286至292分析LCU之下一個邊緣。然而,若最近的邊緣為LCU之最後一個邊緣(294之「是」分支),則解區塊器84可使用資料結構來處理邊緣以便解區塊(296)。舉例而言,對於資料結構中之布林值,解區塊器84可判定是否應對LCU中之相應邊緣進行解區塊,且將解區塊濾波器應用於 在經判定為待解區塊的邊緣之鄰域中的像素。然而,對於資料結構中之SDIP旗標,解區塊器84可判定SDIP類型及定向以判定(例如)是否及如何調適解區塊決策功能、解區塊決策功能所應用於之支援,及/或解區塊濾波器。此外,解區塊器84可確保使用資料結構適當地處理SDIP PU分割區之每一邊緣(例如,根據以上的表3至表7)。
圖13之方法可解決用於SDIP分割區的邊緣濾波陣列之記憶體儲存要求,否則,為了儲存(例如)1×16、16×1、2×8及8×2的SDIP分割區之邊緣濾波狀態,可能會增加記憶體儲存要求。邊緣濾波陣列可在解區塊演算法實施中用來(例如)判定是否繼續進行邊界強度計算,其隨後可用來判定解區塊濾波類型及類似者。圖13之方法包括:當分割區之尺寸小於(例如)對應於邊緣濾波陣列中之各元素的4×4區塊時(例如,對於1×16、16×1、2×8、8×2的SDIP分割區),標記出SDIP分割區之類型。隨後,解區塊演算法之邊界強度計算或其他步驟可使用此等SDIP類型標記來更改或調適該處理。
以此方式,圖13之方法表示一種方法之一實例,該方法包括:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區 塊與該第二區塊之間的該共同邊緣進行解區塊;及當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,將指示SDIP分割區之分割區大小的值儲存於資料結構中,位於該資料結構之對應於該共同邊緣的位置處;及基於儲存於該資料結構中之對應於各邊緣的值對該等邊緣進行解區塊。
在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何合適組合來實施。若以軟體實施,則可將功能作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括:電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體;或通信媒體,其包括促進電腦程式自一處傳送至另一處(例如,根據通信協定)的任何媒體。以此方式,電腦可讀媒體通常可對應於:(1)非暫時性的有形電腦可讀儲存媒體;或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或者一或多個處理器存取以擷取用於實施本發明中所描述的技術之指令、程式碼及/或資料結構之任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又,將任何連接恰當地稱為電腦可讀媒 體。舉例而言,若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令,則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而實情為,係有關非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光(blu-ray)光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器(諸如,一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效的積體或離散邏輯電路)執行。因此,如本文中所使用之術語「處理器」可指前述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。此外,在一些態樣中,本文中所描述之功能性可提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編碼解碼器中。同樣,該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中,包括無線手機、積體電路(IC)或IC組(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示 技術的器件之功能態樣,但該等組件、模組或單元未必需要藉由不同硬體單元來實現。相反,如上所述,各種單元可組合於編碼解碼器硬體單元中,或由互操作性硬體單元之集合(包括如上所述之一或多個處理器)結合合適的軟體及/或韌體來提供。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧通信頻道
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧調變器/解調變器(數據機)
24‧‧‧傳輸器
26‧‧‧接收器
28‧‧‧數據機
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
66‧‧‧解區塊器
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧逆量化單元
78‧‧‧逆變換單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
84‧‧‧解區塊器
90‧‧‧解區塊器
92‧‧‧支援定義
93‧‧‧邊緣定位單元
94‧‧‧解區塊判定單元
95‧‧‧邊緣位置資料結構
96‧‧‧解區塊濾波單元
98‧‧‧解區塊濾波器定義
100‧‧‧最大編碼單元(LCU)
102‧‧‧編碼單元(CU)
104‧‧‧CU
106‧‧‧CU
108‧‧‧CU
110‧‧‧CU
112‧‧‧CU
114‧‧‧CU
116‧‧‧支援區域
118‧‧‧邊緣
120A‧‧‧預測單元(PU)
120B‧‧‧PU
120C‧‧‧PU
120D‧‧‧PU
130‧‧‧區塊
132‧‧‧區塊
134‧‧‧邊緣
150‧‧‧區塊
151‧‧‧邊緣
152‧‧‧區塊
154‧‧‧區塊
155‧‧‧邊緣
156‧‧‧區塊
158‧‧‧區塊
159‧‧‧邊緣
160‧‧‧區塊
162‧‧‧區塊
163‧‧‧邊緣
164‧‧‧區塊
166‧‧‧區塊
167‧‧‧邊緣
168‧‧‧區塊
170‧‧‧區塊
171‧‧‧邊緣
172‧‧‧區塊
174‧‧‧區塊
175‧‧‧邊緣
176‧‧‧區塊
178‧‧‧區塊
179‧‧‧邊緣
180‧‧‧區塊
182‧‧‧區塊
183‧‧‧邊緣
184‧‧‧區塊
190‧‧‧CU
192A‧‧‧子CU
192B‧‧‧子CU
192C‧‧‧子CU
192D‧‧‧子CU
194A‧‧‧SDIP PU分割區
194B‧‧‧SDIP PU分割區
194C‧‧‧SDIP PU分割區
194D‧‧‧SDIP PU分割區
196A‧‧‧SDIP PU分割區
196B‧‧‧SDIP PU分割區
196C‧‧‧SDIP PU分割區
196D‧‧‧SDIP PU分割區
198A‧‧‧段
198B‧‧‧段
198C‧‧‧段
198D‧‧‧段
圖1為說明一實例視訊編碼及解碼系統之方塊圖,該系統可利用用於至少部分基於是否使用短距離框內預測(SDIP)預測了兩個編碼單元(CU)來判定是否將解區塊濾波器應用於該等CU之間的邊緣之技術。
圖2為說明一視訊編碼器之一實例之方塊圖,該視訊編碼器可實施用於至少部分基於是否使用SDIP預測了CU來判定是否將解區塊濾波器應用於該等CU之間的邊緣之技術。
圖3為說明一視訊解碼器之一實例之方塊圖,該視訊解碼器可實施用於至少部分基於是否使用SDIP預測了CU來判定是否將解區塊濾波器應用於該等CU之間的邊緣之技術。
圖4為說明一實例解區塊器之組件之方塊圖。
圖5為說明包括經SDIP預測之CU的一實例最大編碼單元(LCU)之概念圖。
圖6為說明兩個實例區塊在該等區塊之間的邊緣附近的 像素位置之概念圖。
圖7A至圖7I為說明相對於兩個區塊之間的邊緣之各種SDIP預測單元(PU)定向之概念圖。
圖8為說明一實例CU之概念圖,其中將SDIP PU分割成進一步的SDIP PU。
圖9為說明用於至少部分基於是否使用SDIP預測了形成邊緣之各區塊來判定是否對該邊緣進行解區塊的一實例方法之流程圖。
圖10為說明用於至少部分基於是否使用SDIP預測了兩個區塊中之至少一者來判定是否對該等區塊之間的共同邊緣進行解區塊的另一實例方法之流程圖。
圖11為說明用於至少部分基於是否使用SDIP預測了兩個區塊中之至少一者來判定是否對該等區塊之間的共同邊緣進行解區塊的另一實例方法之流程圖。
圖12為說明用於至少部分基於是否使用SDIP預測了兩個區塊中之至少一者來判定是否對該等區塊之間的共同邊緣進行解區塊的又一方法之流程圖。
圖13為說明用於將邊緣位置儲存於資料結構中的一實例方法之流程圖,該資料結構亦可儲存SDIP PU分割區之指示。
10‧‧‧視訊編碼及解碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧通信頻道
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧調變器/解調變器(數據機)
24‧‧‧傳輸器
26‧‧‧接收器
28‧‧‧數據機
30‧‧‧視訊解碼器
32‧‧‧顯示器件

Claims (45)

  1. 一種編碼視訊資料之方法,該方法包含:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
  2. 如請求項1之方法,其進一步包含:在判定要對該共同邊緣進行解區塊後,至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含SDIP來判定用以對該共同邊緣進行解區塊的一解區塊濾波器。
  3. 如請求項2之方法,其中判定該解區塊濾波器包含當該第一預測模式及該第二預測模式中之至少一者包含SDIP時:判定SDIP預測單元(PU)是否垂直於該共同邊緣而定向;及當所有SDIP PU垂直於該共同邊緣而定向時,選擇一解區塊濾波器,該解區塊濾波器具有可應用於在該共同邊緣之任一側上的同等數目個支援像素之係數。
  4. 如請求項1之方法,其中判定是否對該共同邊緣進行解 區塊包含:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,判定不對該邊緣進行解區塊。
  5. 如請求項1之方法,其中判定是否對該共同邊緣進行解區塊包含:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用一解區塊濾波器,其中該解區塊決策功能係用以判定是否對該共同邊緣進行解區塊。
  6. 如請求項1之方法,其中判定是否對該共同邊緣進行解區塊包含:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用該解區塊濾波器,使得該經調適之支援集合不跨越該第一區塊及該第二區塊中的SDIP PU之預測單元(PU)邊界,其中該解區塊決策功能係用以判定是否對該邊緣進行解區塊。
  7. 如請求項1之方法,其中判定是否對該共同邊緣進行解區塊包含當該第一預測模式及該第二預測模式中之至少一者包含SDIP時:判定SDIP PU是否垂直於該共同邊緣而定向;及當所有SDIP PU垂直於該共同邊緣而定向時,將一解區塊決策功能應用於在該共同邊緣之任一側上的同等數目個支援像素。
  8. 如請求項7之方法,其中該解區塊決策功能包含一第一解區塊決策功能,該方法進一步包含: 當至少一SDIP PU平行於該共同邊緣而定向時,將一第二不同解區塊決策功能應用於一經調適之支援像素集合;及當該第二解區塊決策功能指示要對該共同邊緣進行解區塊時,對該共同邊緣進行解區塊。
  9. 如請求項1之方法,其中該第一區塊及該第二區塊包含一圖框之區塊,該方法進一步包含:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,將指示SDIP分割區之一分割區大小的一值儲存於一資料結構中,位於該資料結構之對應於該共同邊緣的位置處;及基於儲存於該資料結構中之對應於邊緣的值對該等邊緣進行解區塊。
  10. 如請求項1之方法,其中判定該第一預測模式及該第二預測模式包含藉由一視訊編碼器選擇該第一預測模式及該第二預測模式,該方法進一步包含,在解碼該第一區塊及該第二區塊前:使用該第一預測模式編碼該第一區塊;及使用該第二預測模式編碼該第二預測模式,其中解碼該第一區塊及該第二區塊包含藉由該視訊編碼器解碼該第一區塊及該第二區塊。
  11. 如請求項1之方法,其中判定該第一預測模式及該第二預測模式包含藉由一視訊解碼器接收指示該第一預測模式及該第二預測模式之資訊。
  12. 一種用於編碼視訊資料之裝置,該裝置包含一視訊編碼器,該視訊編碼器經組態以進行以下操作:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
  13. 如請求項12之裝置,其中該視訊編碼器經組態以:在判定要對該共同邊緣進行解區塊後,至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含SDIP來判定用以對該共同邊緣進行解區塊的一解區塊濾波器。
  14. 如請求項13之裝置,其中為了判定該解區塊濾波器,該視訊編碼器經組態以進行以下操作:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,判定SDIP預測單元(PU)是否垂直於該共同邊緣而定向;且當所有SDIP PU垂直於該共同邊緣而定向時,選擇一解區塊濾波器,該解區塊濾波器具有可應用於在該共同邊緣之任一側上的同等數目個支援像素之係數。
  15. 如請求項12之裝置,其中該視訊編碼器經組態以:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,判定不對該邊緣進行解區塊。
  16. 如請求項12之裝置,其中為了判定是否對該共同邊緣進行解區塊,該視訊編碼器經組態以:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用一解區塊濾波器,其中該解區塊決策功能係用以判定是否對該共同邊緣進行解區塊。
  17. 如請求項12之裝置,其中為了判定是否對該共同邊緣進行解區塊,該視訊編碼器經組態以:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用該解區塊濾波器,使得該經調適之支援集合不跨越該第一區塊及該第二區塊中的SDIP預測單元(PU)之PU邊界,其中該解區塊決策功能係用以判定是否對該邊緣進行解區塊。
  18. 如請求項12之裝置,其中為了判定是否對該共同邊緣進行解區塊,該視訊編碼器經組態以進行以下操作:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,判定SDIP PU是否垂直於該共同邊緣而定向;且當所有SDIP PU垂直於該共同邊緣而定向時,將一解區塊決策功能應用於在該共同邊緣之任一側上的同等數目個支援像素。
  19. 如請求項18之裝置,其中該解區塊決策功能包含一第一解區塊決策功能,且其中該視訊編碼器經組態以進行以下操作:當至少一SDIP PU平行於該共同邊緣而定向 時,將一第二不同解區塊決策功能應用於一經調適之支援像素集合;且當該第二解區塊決策功能指示要對該共同邊緣進行解區塊時,對該共同邊緣進行解區塊。
  20. 如請求項12之裝置,其中該第一區塊及該第二區塊包含一圖框之區塊,且其中該視訊編碼器經組態以進行以下操作:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,將指示SDIP分割區之一分割區大小的一值儲存於資料結構中,位於該資料結構之對應於該共同邊緣的位置處;且基於儲存於該資料結構中之對應於邊緣的值對該等邊緣進行解區塊。
  21. 如請求項12之裝置,其中該視訊編碼器包含一視訊編碼器,且其中該視訊編碼器經組態以進行以下操作:選擇該第一預測模式及該第二預測模式;且在解碼該第一區塊及該第二區塊前,使用該第一預測模式編碼該第一區塊,使用該第二預測模式編碼該第二預測模式;且在編碼該第一區塊及該第二區塊後,解碼該第一區塊及該第二區塊。
  22. 如請求項12之裝置,其中該視訊編碼器包含一視訊解碼器,且其中為了判定該第一預測模式及該第二預測模式,該視訊解碼器經組態以接收指示該第一預測模式及該第二預測模式之資訊。
  23. 如請求項12之裝置,其中該裝置包含下列各者中之至少一者:一積體電路; 一微處理器;及一無線通信器件,其包括該視訊編碼器。
  24. 一種用於編碼視訊資料之裝置,該裝置包含:用於判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式之構件,其中該第一區塊與該第二區塊共用一共同邊緣;用於使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊之構件;及用於至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊之構件。
  25. 如請求項24之裝置,其進一步包含:用於在判定要對該共同邊緣進行解區塊後,至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含SDIP來判定用以對該共同邊緣進行解區塊的一解區塊濾波器之構件。
  26. 如請求項25之裝置,其中用於判定該解區塊濾波器之該構件包含:用於當該第一預測模式及該第二預測模式中之至少一者包含SDIP時判定SDIP預測單元(PU)是否垂直於該共同邊緣而定向之構件;及用於當所有SDIP PU垂直於該共同邊緣而定向時選擇一解區塊濾波器之構件,該解區塊濾波器具有可應用於在該共同邊緣之任一側上的同等數目個支援像素之係數。
  27. 如請求項24之裝置,其中用於判定是否對該共同邊緣進 行解區塊之該構件包含:用於當該第一預測模式及該第二預測模式中之至少一者包含SDIP時判定不對該邊緣進行解區塊之構件。
  28. 如請求項24之裝置,其中用於判定是否對該共同邊緣進行解區塊之該構件包含:用於當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用一解區塊濾波器之構件,其中該解區塊決策功能係用以判定是否對該共同邊緣進行解區塊。
  29. 如請求項24之裝置,其中用於判定是否對該共同邊緣進行解區塊之該構件包含:用於當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用該解區塊濾波器,使得該經調適之支援集合不跨越該第一區塊及該第二區塊中的SDIP PU之預測單元(PU)邊界之構件,其中該解區塊決策功能係用以判定是否對該邊緣進行解區塊。
  30. 如請求項24之裝置,其中用於判定是否對該共同邊緣進行解區塊之該構件包含:用於當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,判定SDIP PU是否垂直於該共同邊緣而定向之構件;及用於當所有SDIP PU垂直於該共同邊緣而定向時,將一解區塊決策功能應用於在該共同邊緣之任一側上的同等數目個支援像素之構件。
  31. 如請求項30之裝置,其中該解區塊決策功能包含一第一解區塊決策功能,該裝置進一步包含:用於當至少一SDIP PU平行於該共同邊緣而定向時將一第二不同解區塊決策功能應用於一經調適之支援像素集合之構件;及用於當該第二解區塊決策功能指示要對該共同邊緣進行解區塊時對該共同邊緣進行解區塊之構件。
  32. 如請求項24之裝置,其中該第一區塊及該第二區塊包含一圖框之區塊,該裝置進一步包含:用於當該第一預測模式及該第二預測模式中之至少一者包含SDIP時將指示SDIP分割區之一分割區大小的一值儲存於資料結構中,位於該資料結構之對應於該共同邊緣的位置處之構件;及用於基於儲存於該資料結構中之對應於邊緣的值對該等邊緣進行解區塊之構件。
  33. 如請求項24之裝置,其中用於判定該第一預測模式及該第二預測模式之該構件包含用於在一編碼處理程序期間選擇該第一預測模式及該第二預測模式之構件,該裝置進一步包含:用於在解碼該第一區塊前使用該第一預測模式編碼該第一區塊之構件;及用於在解碼該第二區塊前使用該第二預測模式編碼該第二預測模式之構件。
  34. 如請求項24之裝置,其中用於判定該第一預測模式及該 第二預測模式之該構件包含:用於接收指示該第一預測模式及該第二預測模式之資訊之構件。
  35. 一種電腦程式產品,其包含一電腦可讀儲存媒體,該電腦可讀儲存媒體上儲存有指令,該等指令在執行時使一用於編碼視訊資料的器件之一或多個處理器進行以下操作:判定視訊資料之一第一區塊的一第一預測模式及視訊資料之一第二區塊的一第二預測模式,其中該第一區塊與該第二區塊共用一共同邊緣;使用該第一預測模式解碼該第一區塊及使用該第二預測模式解碼該第二區塊;及至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含短距離框內預測(SDIP)來判定是否對該第一區塊與該第二區塊之間的該共同邊緣進行解區塊。
  36. 如請求項35之電腦程式產品,其進一步包含使該一或多個處理器進行以下操作的指令:在判定要對該共同邊緣進行解區塊後,至少部分基於該第一預測模式及該第二預測模式中之至少一者是否包含SDIP來判定用以對該共同邊緣進行解區塊的一解區塊濾波器。
  37. 如請求項36之電腦程式產品,其中使該一或多個處理器判定該解區塊濾波器之該等指令包含使該一或多個處理器進行以下操作的指令:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時, 判定SDIP預測單元(PU)是否垂直於該共同邊緣而定向;及當所有SDIP PU垂直於該共同邊緣而定向時,選擇一解區塊濾波器,該解區塊濾波器具有可應用於在該共同邊緣之任一側上的同等數目個支援像素之係數。
  38. 如請求項35之電腦程式產品,其中使該一或多個處理器判定是否對該共同邊緣進行解區塊之該等指令包含使該一或多個處理器進行以下操作的指令:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,判定不對該邊緣進行解區塊。
  39. 如請求項35之電腦程式產品,其中使該一或多個處理器判定是否對該共同邊緣進行解區塊之該等指令包含使該一或多個處理器進行以下操作的指令:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用一解區塊濾波器,其中該解區塊決策功能係用以判定是否對該共同邊緣進行解區塊。
  40. 如請求項35之電腦程式產品,其中使該一或多個處理器判定是否對該共同邊緣進行解區塊之該等指令包含使該一或多個處理器進行以下操作的指令:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,選擇一經調適之支援集合來對其應用一解區塊決策功能及對其應用該解區塊濾波器,使得該經調適之支援集合不跨越該第一區塊及該第二區塊中的SDIP預測單元(PU)之PU邊 界,其中該解區塊決策功能係用以判定是否對該邊緣進行解區塊。
  41. 如請求項35之電腦程式產品,其中使該一或多個處理器判定是否對該共同邊緣進行解區塊之該等指令包含使該一或多個處理器進行以下操作的指令:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,判定SDIP PU是否垂直於該共同邊緣而定向;及當所有SDIP PU垂直於該共同邊緣而定向時,將一解區塊決策功能應用於在該共同邊緣之任一側上的同等數目個支援像素。
  42. 如請求項41之電腦程式產品,其中該解區塊決策功能包含一第一解區塊決策功能,該電腦程式產品進一步包含使該一或多個處理器進行以下操作之指令:當至少一SDIP PU平行於該共同邊緣而定向時,將一第二不同解區塊決策功能應用於一經調適之支援像素集合;及當該第二解區塊決策功能指示要對該共同邊緣進行解區塊時,對該共同邊緣進行解區塊。
  43. 如請求項35之電腦程式產品,其中該第一區塊及該第二區塊包含一圖框之區塊,該電腦程式產品進一步包含使該一或多個處理器進行以下操作之指令:當該第一預測模式及該第二預測模式中之至少一者包含SDIP時,將指示SDIP分割區之一分割區大小的一值儲存於資料結構中,位於該資料結構之對應於該共同邊緣 的位置處;及基於儲存於該資料結構中之對應於邊緣的值對該等邊緣進行解區塊。
  44. 如請求項35之電腦程式產品,其中該視訊編碼器包含一視訊編碼器,且其中使該一或多個處理器判定該第一預測模式及該第二預測模式之該等指令包含使該一或多個處理器選擇該第一預測模式及該第二預測模式之指令,該方法進一步包含在解碼該第一區塊及該第二區塊前進行以下操作:使用該第一預測模式編碼該第一區塊;及使用該第二預測模式編碼該第二預測模式,其中使該一或多個處理器解碼該第一區塊及該第二區塊之該等指令包含使該視訊編碼器之該一或多個處理器解碼該第一區塊及該第二區塊之指令。
  45. 如請求項35之電腦程式產品,其中該視訊編碼器包含一視訊解碼器,且其中使該一或多個處理器判定該第一預測模式及該第二預測模式之該等指令包含使該視訊解碼器之該一或多個處理器接收指示該第一預測模式及該第二預測模式之資訊之指令。
TW101116559A 2011-05-12 2012-05-09 用於視訊編碼之濾波區塊效應之人為誤差 TW201309026A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161485442P 2011-05-12 2011-05-12
US201161492761P 2011-06-02 2011-06-02
US201161499563P 2011-06-21 2011-06-21
US201161506938P 2011-07-12 2011-07-12
US13/466,831 US9338476B2 (en) 2011-05-12 2012-05-08 Filtering blockiness artifacts for video coding

Publications (1)

Publication Number Publication Date
TW201309026A true TW201309026A (zh) 2013-02-16

Family

ID=46085265

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101116559A TW201309026A (zh) 2011-05-12 2012-05-09 用於視訊編碼之濾波區塊效應之人為誤差

Country Status (7)

Country Link
US (1) US9338476B2 (zh)
EP (1) EP2708026A1 (zh)
JP (1) JP5937200B2 (zh)
KR (1) KR101593289B1 (zh)
CN (1) CN103535034B (zh)
TW (1) TW201309026A (zh)
WO (1) WO2012154847A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001957A1 (ja) * 2011-06-28 2013-01-03 ソニー株式会社 画像処理装置と画像処理方法
US9232237B2 (en) 2011-08-05 2016-01-05 Texas Instruments Incorporated Block-based parallel deblocking filter in video coding
WO2013037254A1 (en) * 2011-09-13 2013-03-21 Mediatek Inc. Method and apparatus for reduction of deblocking filter
US9892188B2 (en) 2011-11-08 2018-02-13 Microsoft Technology Licensing, Llc Category-prefixed data batching of coded media data in multiple categories
KR20130090465A (ko) * 2012-02-06 2013-08-14 삼성전자주식회사 순차 주사 기반의 디블록킹 필터링 장치 및 방법
EP2665259A1 (en) * 2012-05-17 2013-11-20 Samsung Electronics Co., Ltd Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
US20140056363A1 (en) * 2012-08-23 2014-02-27 Yedong He Method and system for deblock filtering coded macroblocks
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
US10244242B2 (en) * 2014-06-25 2019-03-26 Qualcomm Incorporated Multi-layer video coding
US9832467B2 (en) * 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US20160105685A1 (en) * 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding
CN106470341B (zh) 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示***
WO2017093604A1 (en) * 2015-11-30 2017-06-08 Nokia Technologies Oy A method, an apparatus and a computer program product for encoding and decoding video
CN117221600A (zh) * 2016-06-22 2023-12-12 Lx 半导体科技有限公司 图像编码/解码设备以及传输图像数据的设备
EP3503556B1 (en) 2016-08-21 2024-05-01 LG Electronics Inc. Image coding/decoding method and apparatus therefor
CN109845255A (zh) * 2016-10-03 2019-06-04 夏普株式会社 用于将解块滤波器应用于重构视频数据的***和方法
CN110178371A (zh) * 2017-01-16 2019-08-27 世宗大学校产学协力团 影像编码/解码方法及装置
TW201842768A (zh) * 2017-04-06 2018-12-01 美商松下電器(美國)知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI833248B (zh) 2017-04-06 2024-02-21 美商松下電器(美國)知識產權公司 解碼方法及編碼方法
KR102296015B1 (ko) * 2017-04-06 2021-09-01 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
EP3609182A4 (en) * 2017-04-06 2020-04-08 Panasonic Intellectual Property Corporation of America ENCODING DEVICE AND METHOD, DECODING DEVICE AND METHOD
TW202344047A (zh) 2017-04-06 2023-11-01 美商松下電器(美國)知識產權公司 解碼裝置、編碼裝置及電腦可讀取之非暫時性記憶媒體
TWI832814B (zh) * 2017-04-06 2024-02-21 美商松下電器(美國)知識產權公司 解碼裝置及編碼裝置
EP3673651A1 (en) * 2017-08-22 2020-07-01 Panasonic Intellectual Property Corporation of America Image encoder, image decoder, image encoding method, and image decoding method
CA3078240A1 (en) * 2017-10-02 2019-04-11 Arris Enterprises Llc System and method for reducing blocking artifacts and providing improved coding efficiency
CN111837385B (zh) 2018-01-29 2024-04-30 交互数字Vc控股公司 利用重构画面的细化进行编码和解码
US11563970B2 (en) * 2018-02-26 2023-01-24 Interdigital Vc Holdings, Inc. Method and apparatus for generalized OBMC
FR3086487A1 (fr) 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
EP3633992A1 (en) 2018-10-02 2020-04-08 Comcast Cable Communications LLC Systems, methods, and apparatuses for processing video
EP3881552A4 (en) * 2018-11-15 2022-07-20 Telefonaktiebolaget Lm Ericsson (Publ) DEBLOCKING ON A VIDEO ENCODER AND/OR VIDEO DECODER
CA3126173A1 (en) * 2019-01-10 2020-07-16 Huawei Technologies Co., Ltd. Deblocking filter for sub-partition boundaries caused by intra sub-partition coding tool
CN109889853A (zh) * 2019-02-26 2019-06-14 北京大学深圳研究生院 一种去块效应滤波方法、***、设备及计算机可读介质
CN112449183B (zh) * 2019-09-03 2023-05-09 联咏科技股份有限公司 视频编码器、视频解码器以及视频***
US20230064234A1 (en) * 2020-02-06 2023-03-02 Interdigital Patent Holdings, Inc. Systems and methods for encoding a deep neural network

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
US7424501B2 (en) 2003-06-30 2008-09-09 Intel Corporation Nonlinear filtering and deblocking applications utilizing SIMD sign and absolute value operations
US8259565B2 (en) * 2004-09-16 2012-09-04 Qualcomm Inc. Call setup in a video telephony network
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US8681867B2 (en) 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
JP2009545920A (ja) 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置
FR2908007A1 (fr) 2006-10-31 2008-05-02 Thomson Licensing Sas Procede de codage d'une sequence d'images
US20080123750A1 (en) 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
WO2008120577A1 (ja) * 2007-03-29 2008-10-09 Kabushiki Kaisha Toshiba 画像符号化及び復号化の方法及び装置
KR20080107965A (ko) 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
EP2263381A1 (en) 2008-04-11 2010-12-22 Thomson Licensing Deblocking filtering for displaced intra prediction and template matching
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
WO2010051846A1 (en) 2008-11-06 2010-05-14 Nokia Corporation Fast block selection algorithm for video coding using spatially varying transform
JP5490404B2 (ja) 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
US8964833B2 (en) 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding

Also Published As

Publication number Publication date
US9338476B2 (en) 2016-05-10
KR101593289B1 (ko) 2016-02-11
EP2708026A1 (en) 2014-03-19
CN103535034B (zh) 2017-02-15
KR20140016375A (ko) 2014-02-07
US20120287994A1 (en) 2012-11-15
CN103535034A (zh) 2014-01-22
JP5937200B2 (ja) 2016-06-22
WO2012154847A1 (en) 2012-11-15
JP2014516219A (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
TW201309026A (zh) 用於視訊編碼之濾波區塊效應之人為誤差
JP7422684B2 (ja) ブロックベースの適応ループフィルタ(alf)の設計およびシグナリング
EP3417614B1 (en) Predicting filter coefficients from fixed filters for video coding
JP5869121B2 (ja) ビデオコーディングのための非正方形ブロックのデブロッキング
TWI479869B (zh) 色調片段位準量化系數偏移及解塊
JP6345694B2 (ja) 大きなhevcブロックアーティファクト用のブロッキネスメトリック
TWI527440B (zh) 在視訊寫碼中針對高效率視訊寫碼(hevc)延伸之多層之低複雜度支援
JP2019519141A (ja) フィルタ処理情報のシグナリング
TW201633787A (zh) 寫碼樹單元級可適性迴路濾波器
KR20170067766A (ko) 병렬 프로세싱을 위한 인트라 블록 복사 예측 제한들
TW201444350A (zh) 方形區塊預測
JP7423647B2 (ja) 異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング
JP2019534631A (ja) ピークサンプル適応オフセット
TW202127892A (zh) 用於視訊編碼的角度訊框內預測模式的依賴位置的訊框內預測組合
CN114208199A (zh) 用于视频译码的色度帧内预测单元
WO2019200277A1 (en) Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding
TWI845688B (zh) 用於視訊寫碼之合併模式寫碼
TW202418805A (zh) 視頻編解碼複雜性降低的幀內預測融合