CN102714721A - 编码图像块的方法和重构图像块的方法 - Google Patents

编码图像块的方法和重构图像块的方法 Download PDF

Info

Publication number
CN102714721A
CN102714721A CN2010800618659A CN201080061865A CN102714721A CN 102714721 A CN102714721 A CN 102714721A CN 2010800618659 A CN2010800618659 A CN 2010800618659A CN 201080061865 A CN201080061865 A CN 201080061865A CN 102714721 A CN102714721 A CN 102714721A
Authority
CN
China
Prior art keywords
block
coding
current
residual
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800618659A
Other languages
English (en)
Inventor
P.博德斯
D.索罗
J.维罗恩
E.弗朗索瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102714721A publication Critical patent/CN102714721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种编码图像的当前块的方法,该方法包括以下步骤:-为当前块确定(10)当前的编码参数(Pc),-从当前的编码参数(Pc)中为当前块的之前编码并重构的至少一个邻近块(Bv rec)确定(12)邻近的残差块(Bv res),以及-根据邻近的残差块(Bv res)利用当前的编码参数(Pc)编码(14)当前块(Bc)。

Description

编码图像块的方法和重构图像块的方法
技术领域
本发明涉及图像编码的总的领域。更具体地,本发明涉及编码图像块的方法和重构这种块的方法。
现有技术
在现有技术中,已知的是:根据图像的当前块Bc的邻近的一个块或者多个块的块内容来编码当前块Bc。实际上,当前块的内容和邻近块的内容经常是相关的。例如,参照图1,考虑块I,M,A和B或者它们中的一些块的内容来编码当前块Bc。更具体地,所考虑的邻近块的内容是在这些邻近块的编码以及至少部分重构之后的它们的内容。
还已知的是:属于若干图像的序列的图像的当前块Bc是根据该序列的被称为参考图像的(多个)其它图像的被称为参考块的块的内容而编码的,所述参考图像由例如运动矢量之类的运动数据来标识。实际上,当前块Bc的内容和参考块的内容经常是相关的。所考虑的参考块的内容是这些参考块的编码以及至少部分重构之后的它们的内容。现有技术中,已知的是:根据从与当前块Bc的邻近块相关联的运动矢量确定的(多个)预测运动矢量来为当前块Bc编码用于标识参考块的(多个)运动矢量。
此外,已知的是:为编码当前块Bc,从邻近的重构的残差块确定被称作二阶预测块的预测块。然后使用二阶预测块来预测当前残差块。典型地通过从例如使用运动矢量在同一图像或者另一图像中标识的、被称为一阶预测块的预测块中预测当前块来确定当前的残差块。
然而,即便起初当前块的内容和邻近块或者参考块的内容相关,由于对这些邻近块或者参考块编码且然后重构,当前块的内容和被至少部分重构的邻近块或者参考块的内容也不再一定相关或者不太相关。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此目的,本发明涉及一种编码图像的当前块的方法。该方法包括以下步骤:
-为当前块确定当前的编码参数,
-根据当前的编码参数为当前块的之前编码并重构的至少一个邻近块确定邻近的残差块,以及
-根据邻近的残差块利用当前的编码参数编码当前块。
根据本发明的特定方面,确定邻近的残差块的步骤包括以下步骤:
-使用当前的编码参数为邻近块确定预测块,以及
-通过从重构的邻近块提取预测块来确定邻近的残差块。
根据本发明的特定特征,当前块是从邻近像素预测的INTRA类型块,确定邻近的残差块的步骤包括以下步骤:
-使用当前的编码参数根据邻近像素为邻近块确定预测块,以及
-通过从重构的邻近块提取预测块来确定邻近的残差块。
有利地,根据邻近的残差块编码当前块的步骤包括以下步骤:
-根据邻近的残差块为当前块确定至少一个编码工具,以及
-利用该至少一个编码工具编码当前块。
根据本发明的特定特征,为当前块确定至少一个编码工具的步骤包括为编码当前块的系数的目的而确定系数的扫描顺序。
根据本发明的另一特定特征,为当前块确定至少一个编码工具的步骤包括确定变换。
有利地,根据邻近的残差块编码当前块的步骤包括以下步骤:
-为当前块确定当前的预测块,
-通过从当前块中提取当前的预测块来为当前块确定第一残差块,
-从邻近的残差块中确定残差预测块,以及
-通过从第一残差块中提取残差预测块来为当前块确定第二残差块,
-编码第二残差块。
本发明还涉及一种以编码数据流的形式重构图像的当前块的方法,其包括以下步骤:
-从编码数据流中为当前块解码当前的编码参数,
-利用当前的编码参数为之前重构的在空间上与当前块邻近的至少一个块确定由对邻近块编码而产生的邻近的残差块,以及
-根据邻近的残差块重构当前块。
根据本发明的特定方面,根据邻近的残差块重构当前块的步骤包括以下步骤:
-根据邻近的残差块为当前块确定至少一个编码工具,以及
-利用该至少一个编码工具重构当前块。
根据本发明的另一特定方面,根据邻近的残差块重构当前块的步骤包括以下步骤:
-从编码数据流中为当前块重构残差块,
-为当前块确定当前的预测块,
-从邻近的残差块确定残差预测块,以及
-通过合并残差块、当前的预测块和残差预测块来重构当前块。
附图说明
参照附图而不受限于附图,通过实施例和有利的实现方式将更好地理解和说明本发明,在附图中:
-图1示出了当前块Bc及其邻近块I,M,A,和B,
-图2示出了根据本发明的一种编码当前块的方法,
-图3示出了根据本发明的编码方法的具体的第一步骤,
-图4示出了当前块Bc和在当前图像Ic中重构的邻近块以及由运动矢量MV1标识的它们的各自的参考块,
-图5和图6示出了当前块Bc和重构的邻近块,
-图7和图8示出了当前块Bc和在当前图像Ic中的重构的邻近块以及它们各自的预测块,
-图9示出了根据第一实施例的编码方法的具体的第二步骤,
-图10示出了系数块和用于其系数的编码的其系数的扫描顺序,
-图11示出根据第二实施例的编码方法的具体的第二步骤,
-图12示出根据本发明的一种重构当前块的方法,
-图13示出根据第一实施例的重构方法的具体步骤,
-图14示出根据第二实施例的重构方法的具体步骤,
-图15示出根据本发明的编码装置,以及
-图16示出根据本发明的解码装置。
具体实施方式
图像序列是一系列的若干图像。每个图像包括其中每一个与至少一个图像数据相关联的像素点或者图像点。图像数据例如是亮度数据或者色度数据。
应以最宽泛的含义来理解术语“运动数据”。其包括运动矢量以及可能的使得能够在图像序列中标识参考图像的参考图像索引。其还可以包括指示被用来确定预测块的内插类型的信息。实际上,在与块Bc相关联的运动矢量不具有整数坐标时,必须在参考图像Iref中对图像数据进行内插来确定预测块Bp。通常通过运动估计方法,例如通过块配对(block pairing)方法,来计算与块相关联的运动数据。然而,本发明绝不受限于使得能够将运动矢量与块相关联的方法。
术语“残差数据”表示在提取其它数据之后获得的数据。该提取通常是逐个像素地从源数据中减去预测数据。然而,提取是更概括的并且特别地包括加权的减法。术语“残差数据”与术语“残差”同义。残差块是残差数据相关联的像素块。
术语“变换的残差数据”表示已经被施加了变换的残差数据。DCT(离散余弦变换)是诸如在2003年9月、J.Wiley&Sons出版的I.E.Richardson标题为“H.264 and MPEG-4 video compression”的书的第3.4.2.2章中描述的变换的示例。I.E.Richardson的书的第3.4.2.3章描述的小波变换以及Hadamard变换是其它示例。这种变换将例如残差亮度和/或色度数据之类的图像数据块“变换”为也被称为“频率数据块”或者“系数块”的“变换数据块”。
术语“预测数据”表示用于预测其它数据的数据。预测块是预测数据相关联的像素块。从与其预测(空间预测或者图像内预测)的块所属的图像相同的图像的一个块或者若干块,或者从其预测的块所属的图像的不同的图像(时间预测或者图像间预测)的一个块(单方向预测)或者若干块(双向预测)来获得预测块。
术语“预测模式”指定编码块的方式。在预测模式中,存在对应于空间预测的INTRA模式和对应于时间预测的INTER模式。预测模式可能指定分割块以对其编码的方式。因此,与16×16大小的块相关联的8×8INTER预测模式表示16×16块被分割为4个8×8块并且通过时间预测来预测。
术语“重构的数据”表示在将残差数据与预测数据进行合并之后获得的数据。合并通常是逐个像素地将预测数据与残差数据进行求和。然而,该合并是更概括的并且特别包括加权求和。重构块是重构的图像数据相关联的像素块。
当前块的邻近块是位于或多或少靠近当前块的附近、但是不一定毗连的块。
与当前像素(相应地是当前块)同位置(co-located)的像素(相应地是块)是位于不同图像的相同位置的像素。
要以最宽泛的含义来理解术语“编码”。编码可以包括但不一定包括对图像数据的变换和/或量化。同样,即便不是以二进制形式来显式地编码图像数据,即,即使在省略了熵编码的步骤时,也使用术语“编码”。
参照图2,本发明涉及一种编码当前图像Ic的当前块Bc的方法。
在步骤10期间,为当前块Bc确定编码参数Pc。例如,编码参数是预测模式(例如,INTER/INTRA模式,分割类型)、可能的运动数据(例如,运动矢量、参考图像索引)。已知的是:为了确定这种编码参数Pc而在可能的一组参数中选择对于当前块Bc使比特率失真类型的函数最小化的一组参数。所保留的该组参数是提供最佳的编码成本/失真折衷的参数。这种方法代价相对高。还已知的是:根据对当前块Bc的先验分析来预选择某个数量的参数而确定这种编码参数Pc。例如,根据对与当前块Bc邻近的块中的方向梯度的分析,可以选择INTRA预测模式。实际上,如果对方向梯度的分析表明在这些块中存在强的水平梯度,这指示存在垂直线。在这种情形下,垂直的INTRA预测模式是优选的。但本发明绝不限于用于确定编码参数Pc的方法。任何方法都是合适的。
在步骤12期间,根据编码参数Pc,为之前编码和重构的至少一个邻近块Bv确定邻近残差块Bv res。为此目的,参照图3,在步骤120期间使用编码参数Pc为重构的邻近块Bv rec确定预测块Bv pred。在步骤122期间,通过从邻近块Bv提取预测块Bv pred来确定邻近残差块Bv res。例如,如果在步骤10中为当前块Bc确定的编码参数Pc如下:16×16INTER预测模式,运动矢量MVc和参考图像Iref,则如图4所示,从相同的编码参数确定重构的邻近块Bv rec的预测块。根据另一示例,如果在步骤10中为当前块Bc确定的编码参数Pc如下:垂直16×16INTRA预测模式,则如图5所示,从相同的编码参数Pc确定重构的邻近块Bv rec的预测块。在该图中,从属于刚好位于在重构的邻近块Bv rec之上的块的像素P”中确定重构的邻近块Bv rec的预测块。
根据变形,在当前块是从邻近像素预测的INTRA类型的块时,从与用于预测当前块的那些编码参数Pc和像素P’相同的编码参数Pc和像素P’中确定重构的邻近块Bv rec的预测块。例如,如果在步骤10中为当前块Bc确定的编码参数Pc如下:垂直的16×16INTRA预测模式,则如图6所示,从与用于预测当前块Bc的那些编码参数Pc和像素P’相同的编码参数Pc和像素P’中确定重构的邻近块Bv rec的预测块。在该图中,从属于重构的邻近块Bv rec的像素P’中确定该邻近块的预测块。
根据又一变形,在当前块是根据属于通过模板匹配方法所标识的当前块Bc所属的图像Ic的另一块的像素预测的INTRA类型的块时,从与用于预测当前块的那些编码参数Pc和像素相同的编码参数Pc和像素中确定重构的邻近块Bv rec的预测块。例如,如果在步骤10中为当前块Bc确定的编码参数Pc如下:由模板匹配进行的4×4INTRA预测模式,则如图7所示,从与用于预测当前块Bc的那些编码参数和重构的邻近像素L,K,J,I,M,A,B,C,D相同的编码参数和重构的邻近像素L,K,J,I,M,A,B,C,D中确定重构的邻近块Bv rec的预测块。根据模板匹配预测方法,通过在当前图像Ic中搜索包括与当前块的邻近像素L,K,J,I,M,A,B,C,D最佳匹配的像素l,k,j,i,m,a,b,c和d的模板来确定当前块Bc的预测块。例如,像素l,k,j,i,m,a,b,c和d是使得逐个像素的差的绝对值的总和最小化的那些像素,即,
arg min ( l , k , j , i , m , a , b , c , d ) ( | L - l | + | K - k | + | J - j | + | I - i | + | M - m | + | A - a | + | B - b | + | C - c | + | D - d | ) .
一旦在图像Ic中标识了模板l,k,j,i,m,a,b,c和d,则直接确定预测块Bp和预测块Bv pred。它们相对于模板l,k,j,i,m,a,b,c和d占据与块Bc和Bv rec相对于模板L,K,J,I,M,A,B,C,D占据的位置相同的位置。
在以下提出的变形中,为之前编码并重构的当前块Bc的单个邻近块Bv确定邻近的残差块Bv res。根据另一变形,如图8所示,从若干预测块Bv pred中确定若干邻近的残差块。
在步骤14期间,考虑邻近的残差块Bv res来编码当前块Bc。根据在图9中示出的第一实施例,对当前块Bc的编码包括根据邻近的残差块Bv res确定140当前块的至少一个编码工具Oc并且利用该编码的工具Oc来编码142当前块。已知的是:为了编码当前块,使用变换将图像或者残差变换为系数。可以在一组若干变换中选择该变换,根据Bv res做出该选择。例如,选取的变换是使得块Bv res的编码成本最小化的变换。更确切地,利用该组变换中的每一个变换,对邻近的残差块Bv res进行变换以及可能的量化,然后通过熵编码进行编码。每种情况下,确定编码Bv res必需的比特数,并且选取使得该比特数最小的一组变换。在其中在步骤12中确定若干邻近的残差块Bv1 res,Bv2 res,Bv3 res的具体情况下,选取总的比特数最小的一组变换。该总的比特数是对在步骤12中确定的所有邻近的残差块进行编码必需的比特数。然后,使用所选取的变换来编码当前块。
根据另一变形,使用Bv res来确定Karhunen-Loève变换。为此目的,使用一个或者多个残差块Bv res作为随机变量来应用主分量(principalcomponent)分析。
根据又一变形,如果存在编码当前块Bc的若干量化类型,则以相同的方式选取量化类型。
还已知的是:为了编码系数而根据扫描顺序来扫描块。通常,对块的扫描顺序是固定的,并且对于编码器和解码器是已知的。以之字形进行块的扫描是这种扫描顺序的已知示例。在图10的左侧示出了之字形扫描顺序。根据本发明,依据Bv res来适配当前系数块的扫描顺序。例如,参照图10,如果块Bv res的系数是空(null),则置换当前块Bc中的对应系数,以便进一步编码。实际上,以这种方式扫描系数块来最终重组所有的空系数是特别有利的,这使得能够最小化编码成本。实际上,利用(RUN,LEVEL)类型编码,编码在值LEVEL的非空系数之前的零的数目。因此,最后重组空系数是令人感兴趣的。
在若干邻近块的情况下,使用这些块的统计。在步骤142期间,根据在步骤140确定的一个或多个编码工具来编码当前块Bc。步骤142典型地包括从编码参数Pc确定当前块Bc的残差块,对由此确定的残差块进行变换、量化和熵编码。该变换和/或量化可能考虑在步骤140中确定的编码工具。同样,熵编码可能考虑在步骤140确定的扫描顺序。
根据图11示出的第二实施例,对当前块Bc的编码包括对当前块Bc的二阶预测。二阶预测是预测残差自身,而一阶预测是预测亮度和/或色度图像数据。为此目的,在步骤146期间,从一个或多个邻近残差块中确定残差的预测块。例如,在其中在步骤12确定单个邻近的残差块Bv res的情况下,可以将其视为残差预测块Rpred。根据变形,残差预测块Rpred等于g(Bv res),其中g(.)是仅仅保留邻近的残差块Bv res的低频的低通滤波的函数。根据其它示例,g(.)是向邻近的残差块Bv res的低频比向其高频给予更多重要性的加权函数。在其中在步骤12中确定若干邻近的残差块Bv1 res,Bv2 res,Bv3 res的情况下,残差预测块Rpred等于f(Bv1 res,Bv2 res,Bv3 res,…),其中f(.)是使得能够将若干邻近的残差块组合在一起的函数。例如,f(.)是平均值函数。在该情形下,块Rpred的每个像素等于邻近的残差块Bv1 res,Bv2 res和Bv3 res的对应像素的平均值。根据另一示例,函数f(.)是中值函数。在该情形下,块Rpred的每个像素等于邻近的残差块Bv1 res,Bv2 res和Bv3 res的对应像素的中值。在步骤147期间,通过例如逐个像素地从一阶残差块中减去残差预测块Rpred进行提取来确定当前的二阶残差块R2。在步骤148期间,编码当前的二阶残差块R2。该步骤148典型地包括对当前的二阶残差块R2进行变换、量化然后熵编码。在步骤145期间,通过例如逐个像素地从当前块Bc中提取预测块Bpred来确定一阶残差块R1。例如,在步骤144期间,典型地从邻近块(INTRA模式)或者之前编码并重构的另一图像的块(INTER模式)中,确定预测块Bpred自身。
二阶预测使得能够减少编码成本,这是由于降低了要编码的残差量。
本发明还涉及一种图12示出的以编码数据流F的形式重构图像的当前块的方法。
在步骤20期间,从流F解码编码参数Pc。例如,编码参数是预测模式(例如,INTER/INTRA模式,分割类型)、可能的运动数据(例如,运动矢量、参考图像索引)。在步骤22期间,对于从当前块Bc重构的至少一个邻近块Bv,从当前编码参数Pc确定邻近的残差块Bv res。用于重构的方法的步骤22与用于编码的方法的步骤12相同。因此,可以在用于重构的方法的步骤22应用针对步骤12描述的所有实施例以及它们的变形。
在步骤24期间,考虑在步骤22中确定的一个或者多个邻近的残差块Bv res,来重构当前块Bc。
根据图13示出的第一实施例,重构当前块Bc包括根据邻近的残差块Bvres对于当前块确定240至少一个编码工具Oc并且利用该编码工具Oc重构242当前块。已知的是:重构当前块以便使用步骤14中的编码方法使用的变换的逆变换将系数变换为残差或者图像数据。可以在一组若干变换中选择该变换,根据Bv res进行该选择。根据本发明,以与编码方法在步骤142期间使用的方式相同的方式来选取变换。根据另一变形,使用Bv res来确定Karhunen-Loève变换。为此目的,使用一个或者多个残差块Bv res作为随机变量来应用主分量分析。
根据另一变形,如果存在编码当前块Bc的若干量化类型,则以相同的方式选取量化类型。
还已知的是:以在系数的编码期间使用的对偶方式(dual manner),根据块的扫描顺序重构块的系数。通常,对块的扫描顺序是固定的,并且对于编码器和解码器是已知的。以之字形进行块的扫描是这种扫描顺序的已知示例。根据本发明,根据与编码方法在步骤142中使用的方式相同的方式,根据Bv res来适配当前系数块的扫描顺序。
在步骤242期间,从在步骤240中确定的(多个)编码工具来重构当前块Bc。步骤242通常包括通过流F熵解码来重构系数块B,将系数块逆变换和逆量化为残差块,从编码参数Pc确定预测块以及将残差块和预测块进行合并。逆变换和/或逆量化可能考虑在步骤240中确定的编码工具。同样,熵解码可能考虑在步骤240确定的扫描顺序。
根据图14示出的第二实施例,对当前块Bc的重构包括对当前块Bc的二阶预测。二阶预测是预测残差自身,而一阶预测是预测亮度和/或色度图像数据。
在步骤244期间,重构当前的二阶残差块R2。该步骤通常包括熵解码F的至少一部分,然后进行逆量化和逆变换。
在步骤245期间,例如,典型地从邻近块(INTRA模式)或者之前重构的另一图像的块(INTER模式)确定预测块Bpred
在步骤246期间,从邻近的一个或多个残差块来确定残差的预测块Rpred。例如,在其中在步骤22确定单个邻近的残差块Bv res的情况下,可以将其视为残差预测块Rpred。根据变形,残差预测块Rpred等于g(Bv res),其中g(.)是仅仅保留邻近的残差块Bv res的低频的低通滤波的函数。根据其它示例,g(.)是向邻近的残差块Bv res的低频比向其高频给予更多重要性的加权函数。在其中在步骤22中确定若干邻近的残差块Bv1 res,Bv2 res和Bv3 res的情况下,残差预测块Rpred等于f(Bv1 res,Bv2 res,Bv3 res,…),其中f(.)是使得能够将若干邻近的残差块组合在一起的函数。例如,f(.)是平均值函数。在该情形下,块Rpred的每个像素等于邻近的残差块Bv1 res,Bv2 res和Bv3 res的对应像素的平均值。根据另一示例,函数f(.)是中值函数。在该情形下,块Rpred的每个像素等于邻近的残差块Bv1 res,Bv2 res和Bv3 res的对应像素的中值。
在步骤247期间,例如通过逐个像素地将重构的二阶残差块R2,预测块Bpred,和残差预测块Rpred相加进行合并来重构当前块Bc。
本发明还涉及参照图15描述的编码装置12和参照图16描述的解码装置13。在图15和图16中,示出的模块是可以对应于或者不能对应于物理上可区分的单元的功能单元。例如,这些模块或者它们中的一些可以在单个组件中被组合在一起,或者可以构成同一软件的功能。相反,一些模块可以由单独的物理实体组成。
参照图15,编码装置12接收属于图像序列的输入图像。每个图像被划分为像素块,每个像素块与至少一个图像数据相关联。编码装置12特别地实现具有时间预测的编码。在图15中仅仅示出了编码装置12的与具有时间预测的编码或者INTER编码有关的模块。本领域技术人员已知的未被示出的视频编码器的其它模块实现具有或者不具有空间预测的INTRA编码。编码装置12特别地包括计算模块1200,其能够例如通过逐个像素地从当前块Bc中减去预测块Bpred进行提取来生成残差数据块Bres。编码装置12还包括能够对残差块Bres进行变换然后将其量化为量化数据的模块1202。变换T例如是离散余弦变换(或者DCT)。编码装置12还包括能够将量化的数据编码为编码数据流F的熵编码模块1204。编码装置12还包括执行模块1202的逆操作的模块1206。模块1206执行逆量化Q-1,之后进行逆变换T-1。模块1206连接到计算模块1208,计算模块1208能够例如通过逐个像素地将来自模块1206的数据块和预测块Bp相加进行合并,以便生成被存储在存储器1210中的重构后的图像数据块。
编码装置12还包括运动估计模块1212,运动估计模块1212能够估计块Bc和存储器1210中存储的参考图像Iref的块之间的至少一个运动矢量MVc,该图像在之前已经被编码并且然后被重构。根据变形,在其中存储器1210没有连接到运动估计模块1212的情况下,可以在当前块Bc和原始的参考图像Ic之间执行运动估计。根据本领域技术人员公知的方法,运动估计模块针对运动数据(特别是运动矢量),以以下方式搜索参考图像Iref,所述方式为:使得在当前块Bc和通过运动数据标识的参考图像Iref中的块之间所计算的误差最小化。
通过运动估计模块1212向能够选择当前块Bc的编码参数的判定模块1214传输所确定的运动数据。特别地,判定模块1214在预定义的一组编码模式中确定块Bc的编码模式。判定模块1214由此实现编码方法的步骤10。所保留的编码模式例如是使得比特率失真类型准则最小化的编码模式。然而,本发明不限于该选择方法并且可以根据例如先验类型准则的另一准则来选择所保留的模式。根据判定模块1214确定的编码模式以及可能根据运动估计模块1212确定的运动数据(图像间预测),将通过判定模块1214选择的编码模式以及运动数据(例如在时间预测模式或者INTER模式的情况下的运动数据)传输给预测模块Bpred。所选择的编码模式以及可能有关的运动数据也被传输给熵编码模块1204以便在流F中编码。有利地,根据本发明的编码装置包括实现编码方法的步骤12的控制模块1218。具体地,在不同的编码模块1202、1306和1204中实现重构方法的步骤14。
参照图16,解码模块13在输入端接收代表图像序列的编码数据流F。流F例如是通过编码装置12经由信道传输的。解码装置13包括熵解码模块1300,其能够生成例如编码模式之类的解码数据和与图像内容有关的解码数据。
解码装置13还包括运动数据重构模块。根据第一实施例,运动数据重构模块是解码代表所述运动数据的流F的一部分的熵解码模块1300。根据未在图13示出的变形,运动数据重构模块是运动估计模块。这种经由解码装置13重构运动数据的解决方案被已知为“模板匹配”。
然后将与图像的内容有关的解码数据传输到能够执行逆量化以及之后的逆变换的模块1302。模块1303与编码装置12中的生成编码流F的模块1206相同。模块1302连接到计算模块1304,计算模块1304能够例如通过逐个像素地将来自模块1302的块与预测块Bpred相加进行合并,以便生成被存储在存储器1306中的重构后的当前块Bc。解码装置13还包括预测模块1308。预测模块1308根据熵解码模块1300为当前块解码的编码模式以及可能根据运动数据重构模块所确定的运动数据,来确定预测块Bpred。有利地,根据本发明的解码装置包括实现重构方法的步骤22的控制模块1218。具体地,在不同的重构模块1300和1302中实现重构方法的步骤24。

Claims (10)

1.一种编码图像的当前块(Bc)的方法,包括步骤:
-为所述当前块确定(10)当前的编码参数(Pc),
所述方法的特征在于,其包括以下步骤:
-从所述当前的编码参数(Pc)中为当前块的之前编码并重构的至少一个邻近块(Bv rec)确定(12)邻近的残差块(Bv res),以及
-根据所述邻近的残差块(Bv res),利用所述当前的编码参数(Pc)编码(14)所述当前块(Bc)。
2.根据权利要求1所述的编码方法,其中所述确定(12)邻近的残差块的步骤包括以下步骤:
-使用所述当前的编码参数为所述邻近块确定(120)预测块,以及
-通过从所述重构的邻近块提取所述预测块来确定(122)所述邻近的残差块。
3.根据权利要求1所述的编码方法,其中所述当前块是从邻近像素预测的INTRA类型块,所述确定(12)邻近的残差块的步骤包括以下步骤:
-使用所述当前的编码参数,根据所述邻近像素为所述邻近块确定(120)预测块,以及
-通过从所述重构的邻近块提取所述预测块来确定所述邻近的残差块。
4.根据权利要求1所述的编码方法,其中根据所述邻近的残差块编码(14)所述当前块的步骤包括以下步骤:
-根据所述邻近的残差块为所述当前块确定(140)至少一个编码工具(Oc),以及
-利用所述至少一个编码工具(Oc)编码(142)所述当前块。
5.根据权利要求4所述的编码方法,其中为所述当前块确定(140)至少一个编码工具(Oc)的步骤包括为编码所述当前块的系数的目的而确定所述系数的扫描顺序。
6.根据权利要求4所述的编码方法,其中为所述当前块确定(140)至少一个编码工具(Oc)的步骤包括确定变换。
7.根据权利要求1所述的编码方法,其中根据所述邻近的残差块编码(14)所述当前块的步骤包括以下步骤:
-为所述当前块确定(144)当前的预测块,
-通过从所述当前块中提取所述当前的预测块来为所述当前块确定(145)第一残差块,
-从所述邻近的残差块中确定(146)残差预测块,以及
-通过从所述第一残差块中提取所述残差预测块来为所述当前块确定(147)第二残差块,
-编码(148)所述第二残差块。
8.一种以编码数据流的形式重构图像的当前块的方法,包括以下步骤:
-从所述编码数据流中为所述当前块解码(20)当前的编码参数,
-利用所述当前的编码参数为之前重构的在空间上与当前块邻近的至少一个块确定(22)由对所述邻近块编码产生的邻近的残差块,以及
-根据所述邻近的残差块重构(24)所述当前块。
9.根据权利要求8所述的重构方法,其中根据所述邻近的残差块重构(24)所述当前块的步骤包括以下步骤:
-根据所述邻近的残差块为所述当前块确定(240)至少一个编码工具,以及
-利用所述至少一个编码工具重构(242)所述当前块。
10.根据权利要求8所述的重构方法,其中根据所述邻近的残差块重构(24)所述当前块的步骤包括以下步骤:
-从所述编码数据流中为所述当前块重构(244)残差块,
-为所述当前块确定(245)当前的预测块,
-从所述邻近的残差块确定(246)残差预测块,以及
-通过合并所述残差块、所述当前的预测块和所述残差预测块来重构(247)所述当前块。
CN2010800618659A 2009-11-19 2010-11-08 编码图像块的方法和重构图像块的方法 Pending CN102714721A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0958188 2009-11-19
FR0958188 2009-11-19
PCT/EP2010/067056 WO2011061089A1 (en) 2009-11-19 2010-11-08 Method for coding and method for reconstruction of a block of an image

Publications (1)

Publication Number Publication Date
CN102714721A true CN102714721A (zh) 2012-10-03

Family

ID=42244944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800618659A Pending CN102714721A (zh) 2009-11-19 2010-11-08 编码图像块的方法和重构图像块的方法

Country Status (8)

Country Link
US (1) US20120269263A1 (zh)
EP (1) EP2502420A1 (zh)
JP (1) JP5646641B2 (zh)
KR (1) KR20120116936A (zh)
CN (1) CN102714721A (zh)
BR (1) BR112012011256A2 (zh)
TW (1) TW201119407A (zh)
WO (1) WO2011061089A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625095A (zh) * 2011-01-27 2012-08-01 联合信源数字音视频技术(北京)有限公司 一种基于avs的帧间预测方法
CN107079165A (zh) * 2014-11-05 2017-08-18 联发科技(新加坡)私人有限公司 使用预测残差的视频编码方法及装置
CN108432247A (zh) * 2016-01-05 2018-08-21 韩国电子通信研究院 用于预测残差信号的方法和装置
WO2020211642A1 (zh) * 2019-04-15 2020-10-22 中兴通讯股份有限公司 码块的预测、解码方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9042440B2 (en) 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US8976861B2 (en) 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US20120163472A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Efficiently coding scanning order information for a video block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US9635383B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for computing a motion vector
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
FR2975856A1 (fr) * 2011-05-26 2012-11-30 France Telecom Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US9491469B2 (en) 2011-06-28 2016-11-08 Qualcomm Incorporated Coding of last significant transform coefficient
FR2982983A1 (fr) * 2011-11-22 2013-05-24 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
FR2992815A1 (fr) * 2012-06-27 2014-01-03 France Telecom Procede de codage d'un bloc courant d'une premiere composante d'image par rapport a un bloc de reference d'au moins une deuxieme composante d'image, dispositif de codage et programme d'ordinateur correspondant
FR2993084A1 (fr) * 2012-07-09 2014-01-10 France Telecom Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
US10681354B2 (en) * 2016-12-05 2020-06-09 Lg Electronics Inc. Image encoding/decoding method and apparatus therefor
FR3073112B1 (fr) * 2017-11-02 2021-04-02 Ateme Procede et systeme de traitement d'un contenu multimedia dans un reseau de zone metropolitaine
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159875A (zh) * 2007-10-15 2008-04-09 浙江大学 二重预测视频编解码方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674910B1 (en) * 1998-11-24 2004-01-06 Hyundai Electronics Industries Co., Ltd. Apparatus and method for image-compression encoding and decoding using adaptive transform
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100468844B1 (ko) * 2002-01-07 2005-01-29 삼성전자주식회사 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US20080008246A1 (en) * 2006-07-05 2008-01-10 Debargha Mukherjee Optimizing video coding
US8135063B2 (en) * 2006-09-08 2012-03-13 Mediatek Inc. Rate control method with frame-layer bit allocation and video encoder
BRPI0715772A2 (pt) * 2006-09-29 2013-07-16 Thomson Licensing prediÇço intra geomÉtrica
EP2381580A1 (en) * 2007-04-13 2011-10-26 Global IP Solutions (GIPS) AB Adaptive, scalable packet loss recovery
WO2008147125A1 (en) * 2007-05-29 2008-12-04 Lg Electronics Inc. A method and an apparatus for processing a video signal
JP4947364B2 (ja) * 2007-06-22 2012-06-06 ソニー株式会社 情報処理システムおよび方法、情報処理装置および方法、並びにプログラム
JP5334070B2 (ja) * 2009-02-13 2013-11-06 ブラックベリー リミテッド 画像処理における均衡ピクセル領域ひずみ分布を有する適合量子化

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159875A (zh) * 2007-10-15 2008-04-09 浙江大学 二重预测视频编解码方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHANGWEN LI ET AL: "SECOND ORDER PREDICTION ON H.264/AVC", 《PICTURE CODING SYMPOSIUM,IEEE,PISCATAWAY,NJ,USA》 *
SUNG DAE KIM ET AL: "NOVEL RESIDUAL PREDICTION SCHEME FOR HYBRID VIDEO CODING", 《IMAGE PROCESSING(ICIP),2009 16TH IEEE INTERNATIONAL CONFERENCE ON,IEEE,PISCATAWAY,NJ,USA》 *
SUNG DAE KIM ET AL: "NOVEL RESIDUAL PREDICTION SCHEME FOR HYBRID VIDEO CODING", 《IMAGE PROCESSING(ICIP),2009 16TH IEEE INTERNATIONAL CONFERENCE ON,IEEE,PISCATAWAY,NJ,USA》, 10 November 2009 (2009-11-10), XP031628512 *
YAN YE ET AL: "Improved H.264 Intra Coding Based on Bi-directional Intra Prediction,Directional Transform,and Adaptive Coefficient Scanning", 《15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING,IEEE,PISCATAWAY,NJ,USA》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625095A (zh) * 2011-01-27 2012-08-01 联合信源数字音视频技术(北京)有限公司 一种基于avs的帧间预测方法
CN102625095B (zh) * 2011-01-27 2014-12-10 联合信源数字音视频技术(北京)有限公司 一种基于avs的帧间预测方法
CN107079165A (zh) * 2014-11-05 2017-08-18 联发科技(新加坡)私人有限公司 使用预测残差的视频编码方法及装置
US10785475B2 (en) 2014-11-05 2020-09-22 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
CN108432247A (zh) * 2016-01-05 2018-08-21 韩国电子通信研究院 用于预测残差信号的方法和装置
WO2020211642A1 (zh) * 2019-04-15 2020-10-22 中兴通讯股份有限公司 码块的预测、解码方法及装置

Also Published As

Publication number Publication date
JP5646641B2 (ja) 2014-12-24
WO2011061089A1 (en) 2011-05-26
JP2013511874A (ja) 2013-04-04
KR20120116936A (ko) 2012-10-23
TW201119407A (en) 2011-06-01
EP2502420A1 (en) 2012-09-26
BR112012011256A2 (pt) 2016-04-19
US20120269263A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
CN102714721A (zh) 编码图像块的方法和重构图像块的方法
US11743487B2 (en) Method, device, and computer program for optimizing transmission of motion vector related information when transmitting a video stream from an encoder to a decoder
CN102845060B (zh) 用于视频的数据压缩
CN100452668C (zh) 用于在视频编码中选择插值滤波器类型的方法和***
RU2677254C1 (ru) Устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений
CN102474608B (zh) 解码代表图像序列的编码数据流的方法和编码图像序列的方法
US9554145B2 (en) Re-encoding image sets using frequency-domain differences
EP2168382B1 (en) Method for processing images and the corresponding electronic device
CN104221379A (zh) 自适应分区编码
KR20090058954A (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
JP5566406B2 (ja) 画像データのブロックを予測する方法、当該方法を実現する復号化及び符号化装置
JP5358485B2 (ja) 画像符号化装置
CN102763414A (zh) 编码和重构图像序列的块的方法
CN102792687A (zh) 用于视频的数据压缩

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121003