CN103139563A - 编码和重构像素块的方法以及相应设备 - Google Patents

编码和重构像素块的方法以及相应设备 Download PDF

Info

Publication number
CN103139563A
CN103139563A CN2012104777890A CN201210477789A CN103139563A CN 103139563 A CN103139563 A CN 103139563A CN 2012104777890 A CN2012104777890 A CN 2012104777890A CN 201210477789 A CN201210477789 A CN 201210477789A CN 103139563 A CN103139563 A CN 103139563A
Authority
CN
China
Prior art keywords
basic function
piece
phasing
residual error
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104777890A
Other languages
English (en)
Other versions
CN103139563B (zh
Inventor
D.索罗
A.马丁
E.弗朗索瓦
J.维龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103139563A publication Critical patent/CN103139563A/zh
Application granted granted Critical
Publication of CN103139563B publication Critical patent/CN103139563B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种编码像素块的方法,其包含如下步骤:从像素块和预测块中计算(100)残差的块;利用通过一组基函数定义的变换将残差的块变换(104)成系数的块;以及编码(106)系数的块,该方法在变换步骤(104)之前包含根据在像素块的因果邻域中计算的残差重新定相基函数的步骤(102)。该变换步骤使用重新定相基函数。

Description

编码和重构像素块的方法以及相应设备
技术领域
本发明涉及图像编码的一般领域。更具体地说,本发明涉及编码像素块的方法以及重构这样的块的方法。本发明还涉及编码这样的块的设备以及解码这样的块的设备。
背景技术
众所周知,为了编码像素块,在空间上或在时间上预测这个块,以便计算代表预测误差的残差的块。然后将残差的块变换成系数的块,因此将系数的块量化然后编码成F流。传统上,残差的块利用通过一组基函数定义的变换来变换。
变换的基函数一般与画面中的块的位置无关同等地应用。因此,当基函数未与在残差的块中观察到的信号适当同相时,会观察到频率扩展。例如,假设残差的块由与变换的基函数之一相对应的模式,即,与这个基函数相同的频率组成。当应用变换的块的信号与基函数同相时,该变换将生成其能量代表所涉及的信号的唯一系数。但是,当块的信号与基函数不同相时,该变换将生成几个系数。在这种情况下,与块同相的情况相反,变换之后的量化经常消除了一些系数。这样做的效果是导致信息丢失。这种信息丢失由变换域中的系数的量化和扩展引起。因此,应该注意到,在异相信号的情况下,那种能量因这种能量分布在几个系数上而且在精度上在相位层次上而丢失,这两个缺点产生了在画面和视频压缩的领域中众所周知的块效应。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此,本发明涉及编码像素的块的方法,其包含如下步骤:
-从像素块和预测块中生成残差的块;
-利用通过一组基函数定义的变换将残差的块变换成系数的块;以及
-编码系数的块。
有利的是,该编码方法在变换步骤之前包含根据在像素块的因果邻域中计算的残差重新定相基函数的步骤,以及该变换步骤使用重新定相基函数。
按照本发明的编码方法有利地使系数能够在通过降低编码成本提高编码效率的变换域中扩展。的确,通过重新定相变换的基函数编码的方法有利地使这种变换适用于要编码的信号。这种重新定相的变换更有效,因为它将信号,具体地说,残差误差压缩成数量减少的系数的能力提高了。
按照本发明的另一个方面,该变换是可分离的,该组基函数包含水平基函数和垂直基函数。水平和垂直基函数的重新定相步骤包含如下步骤:
a)利用水平基函数将像素块的因果邻域的至少一行残差变换成系数;
b)确定较大幅度系数;
c)识别与所确定系数相对应的水平基函数;
d)确定识别的水平基函数与残差行之间的水平空间偏移量;以及
e)利用确定的水平空间偏移量重新定相水平基函数;以及
f)垂直地对像素块的因果邻域的至少一个残差列重复步骤a)到e),以便利用在步骤d)中确定的垂直空间偏移量重新定相垂直基函数。
有利的是,按照与用于计算残差的块的预测模式相同的预测模式计算残差行和残差列的残差。
按照一个具体特征,垂直空间偏移量和水平空间偏移量通过相位相关来确定,该空间偏移量对应于称为主峰的最大相关峰。
按照一个特别有利实施例,该编码方法在步骤d)与e)之间包含通过从主峰和围绕主峰的相关峰中计算重心分别确定水平和垂直子像素偏移量的步骤。按照这个实施例,利用等于水平空间偏移量和水平子像素偏移量之和的偏移量重新定相水平基函数,利用等于垂直空间偏移量和垂直子像素偏移量之和的偏移量重新定相垂直基函数。
本发明还涉及重构像素的块的方法,其包含如下步骤:
-解码系数的块;
-利用通过一组基函数定义的变换将系数的块变换成残差的块;以及
-从残差的块和预测块中重构像素块。
有利的是,该重构方法在变换步骤之前包含根据在像素块的因果邻域中计算的残差重新定相基函数的步骤,以及该变换步骤使用重新定相基函数。
按照本发明的另一个方面,该变换是可分离的,该组基函数包含水平基函数和垂直基函数。水平和垂直基函数的重新定相步骤包含如下步骤:
a)利用水平基函数将像素块的因果邻域的至少一行残差变换成系数;
b)确定较大幅度系数;
c)识别与所确定系数相对应的水平基函数;
d)确定识别的水平基函数与残差行之间的水平空间偏移量;以及
e)利用确定的水平空间偏移量重新定相水平基函数;以及
f)垂直地对像素块的因果邻域的至少一个残差列重复步骤a)到e),以便利用在步骤d)中确定的垂直空间偏移量重新定相垂直基函数。
有利的是,按照与用于计算残差的块的预测模式相同的预测模式计算残差行和残差列的残差。
按照本发明的一个具体特征,垂直空间偏移量和水平空间偏移量通过相位相关来确定,该空间偏移量对应于称为主峰的最大相关峰。
按照另一个实施例,该重构方法在步骤d)与e)之间包含通过从主峰和围绕主峰的相关峰中计算重心分别确定水平和垂直子像素偏移量的步骤。按照这个实施例,利用等于水平空间偏移量和水平子像素偏移量之和的偏移量重新定相水平基函数,利用等于垂直空间偏移量和垂直子像素偏移量之和的偏移量重新定相垂直基函数。
本发明还涉及像素块编码设备,其包含:
-从像素块和预测块中计算残差的块的部件;
-利用通过一组基函数定义的变换将残差的块变换成系数的块的部件;以及
-编码系数的块的部件。
该编码设备进一步包含根据在像素块的因果邻域中计算的残差重新定相基函数的部件,以及该变换部件使用重新定相基函数。
本发明进一步涉及代表像素块的流的解码设备,其包含:
-从流中解码系数的块的部件;
-利用通过一组基函数定义的变换将系数的块变换成残差的块的部件;以及
-从残差的块和预测块中重构像素块的部件。
该解码设备进一步包含根据在像素块的因果邻域中计算的残差重新定相基函数的部件,以及该变换部件使用重新定相基函数。
无需附加信息地通过编码和重构方法对称进行的基函数重新定相需要被编码到流中。尤其,不必发送空间偏移量。
附图说明
通过参考附图对非限制性实施例以及有利实现加以描述,将更好地了解和例示本发明,在附图中:
-图1示出了按照本发明编码像素块bcur的方法;
-图2示出了像素块bcur以及这个块bcur的因果领域;
-图3示出了显示在图1中的编码方法的细节;
-图4示出了变换域中的函数Z和S;
-图5示出了变换域中和空间域中的相关函数;
-图6示出了按照本发明重构像素块的方法;
-图7示出了按照本发明的编码设备;以及
-图8示出了按照本发明的解码设备。
具体实施方式
本发明涉及重构图像序列的像素块的方法以及编码这样的块的方法。画面序列是一系列的几个画面。每个画面包含每一个与至少一项画面数据相关联的像素或画面点。一项图像数据是,例如,一项亮度数据或一项色度数据。在下文中,针对像素块来描述编码和重构方法。显然,这些方法可以应用在图像的几个块上和序列的几个图像上,以便分别编码和重构一个或多个图像。
术语“运动数据”应该从最宽泛的意义上来理解。它表示运动矢量以及可能表示使参考图像可以在图像序列中得到识别的参考图像索引。它还可以包含指示用于确定预测块的内插类型的一项信息。事实上,在与块Bc相关联的运动矢量未含有整数坐标的情况下,有必要内插参考图像Ir中的图像数据以确定预测块。与一个块相关联的运动数据一般通过运动估计方法,例如,通过块匹配来计算。但是,本发明决不会受使运动矢量可以与一个块相关联的方法限制。
术语“残差数据”或“残差误差”表示提取了其他数据之后获得的数据。该提取一般是源数据与预测数据的逐个像素相减。但是,该提取更一般,尤其包含加权相减以便,例如,考虑(account for)照度变化模型。术语“残差数据”与术语“残差”同义。残差块是与残差数据相关联的像素块。
术语“变换残差数据”表示已经应用了变换的残差数据。DCT(“离散余弦变换”)是如J.Wiley&Sons公司于2003年9月出版的I.E.Richardson所著的著作《H.264和MPEG-4视频压缩》第3.4.2.2章所述的这样变换的例子。I.E.Richardson所著的著作第3.4.2.3章所述的小波变换以及哈达玛(Hadamard)变换是其他例子。这样的变换将图像数据块,例如,残差亮度和/或色度数据块“变换”成也称为“变换块”、“频率数据块”或“系数块”的“变换数据块”。该系数块一般包含称为连续系数或DC系数的低频系数和称为AC系数的高频系数。术语“图像域”或“空间域”表示与亮度和/或色度值相关联的像素域。“频率域”或“变换域”代表系数域。将一种变换,例如,DCT应用于图像就从空间域变成变换域,相反,应用前一种变换的逆变换,例如,逆DCT就从变换域相反地变到空间域。
术语“预测数据”表示用于预测其他数据的数据。预测块是与预测数据相关联的像素块。一个预测块是从与预测的块所属的图像相同的图像(空间预测或图像内预测)的一个块或几个块中,或从与预测的块所属的图像不同的图像(时间预测或图像间预测)的一个(单向预测)或几个(双向预测或双预测)参考块中获得的。
术语“预测模式”表示预测块的方式。在预测模式当中,存在与空间预测相对应的INTRA模式和与时间预测相对应的INTER模式。预测模式可能规定划分块以便编码的方式。因此,与大小16×16的块相关联的8×8INTER预测模式表示将16×16块划分成4个8×8块并通过时间预测来预测。
术语“重构数据”表示将残差与预测数据合并之后获得的数据(例如,像素,块)。合并一般是预定数据与像差的相加。但是,该合并更一般,尤其包含加权相加以便,例如,考虑照度变化模型。重构块是重构像素的块。
关于图像的解码,术语“重构”和“解码”经常用作同义词。因此,“重构块”也被表示成术语“解码块”。
术语“编码”应该从最宽泛的意义上来理解。编码可以可能包含图像数据的变换和/或量化。它也可以只表示熵编码。
当前块的“因果邻域”表示包含在当前块之前编码和/或重构的像素的这个块的邻域。
参考图1,本发明涉及包含利用通过一组基函数定义的变换T的变换步骤那种类型的编码大小为N×N的像素块bcur的方法,其中N是整数。在步骤100期间,从像素块bcur和按照预测模式确定的预测块bp中计算残差块b。例如,b(i,j)=bcur(i,j)-bp(i,j),其中(i,j)是像素的坐标。
在步骤102期间,从块bcur的因果邻域中重新定相(rephase)变换T的基函数。在图2中通过区域ZCx和ZCy表示了这样邻域的例子。更准确地说,根据在这个因果邻域中计算的残差重新定相基函数。
在步骤104期间,利用重新定相基函数将残差块b变换成系数块B。系数块B按如下方式确定:
B=Tphase(b),其中Tphase是通过重新定相基函数定义的变换。
在步骤106期间,将系数块B编码在F流中。例如,可以量化然后通过VLC(可变长度编码)、CAVLC(上下文自适应可变长度编码)或甚至CABAC(上下文自适应二进制算术编码)类型的熵编码来编码系数块B。这些技术是图像编码领域的普通技术人员所众所周知的,这里不作进一步描述。本发明决不会受所使用的熵编码的类型限制。
这个具体实施例参考图3针对可分离变换来描述。在这种情况下。将该组基函数分离成垂直基函数Cy和水平基函数Cx。本实施例在DCT变换的具体情况下加以描述,但本发明决不会受这种变换限制。结合图3所述的实施例可应用于任何可分离变换。
在DCT的具体情况下,将基函数定义如下:
Cx=[cx(i,j)]N×N,以及 c x ( i , j ) = α ( i ) cos ( ( 2 j + 1 ) 2 N . i . π ) , 以及 c y ( i , j ) = α ( j ) cos ( ( 2 i + 1 ) 2 N . j . π ) ,
以及 α ( i ) = 1 / N i = 0 2 / N i ≠ 0 .
按如下方式将块b变换成系数块B:
B=[B(u,v)]N×N=Cx.b.Cy,其中(u,v)是频率域中的系数的坐标。
按照这个实施例,重新定相基函数的步骤102包含如下步骤:
-重新定相水平基函数;以及
-重新定相垂直基函数。
重新定相水平基函数的步骤结合图3的左半部来描述。
在步骤1020期间,利用水平基函数将在块bcur的因果邻域ZCx中计算的残差z(x)变换成表示在图4中的Z(u)系数。按照一个具体实施例,ZCx包含如图2所示正好位于当前块bcur上面的像素行。ZCx的每个像素与残差值z(x)相关联。因此ZCx是残差行。按照一种变体,ZCx包含位于当前块bcur上面的几行残差像素。残差z(x)是,例如,通过将针对当前块计算的残差误差推广到邻域ZCx计算的。因此,数值z(x)是通过使用与当前块bcur相关联的预测模式Mode以及可能使用用于计算残差块b的运动数据MV获得的。更准确地说,Mode和可能MV被用于为邻域ZCx的像素计算预测数据zp(x),从预测数据zp(x)中计算残差z(x)。例如,z(x)=zcur(x)-zp(x),其中zcur(x)是亮度或色度图像数据。
在步骤1022期间,确定较大幅度的系数Z(umax): u max = arg max U { Z } , 其中u≠0。
在步骤1024期间,识别与所确定系数相对应的水平基函数。为此,通过将在步骤1020中应用的变换的逆变换应用于如下定义和表示在图4中的中间函数S(u)返回到空间域:
·如果u=0,则S(u)=Z(u);
·如果u=umax,则S(u)=Z(u);
·否则,S(u)=0。
按照一个实施例,如果Z(umax)>TH,则进一步加以核实,其中TH是阈值。例如,TH是在系数编码期间使用的量化步长QP的倍数。因此,如果Z(umax)>TH,则只进行基函数的重新定相。
将S(u)的逆变换表示成s(x)。s(x)对应于因此从s(x)中识别的变换T的基函数之一。
在步骤1026期间,确定识别的水平基函数与残差行ZCx之间的水平空间偏移量(shift)dx。按照一个简单例示性例子,水平空间偏移量dx通过如图5所示的相位相关来确定。为此,通过傅里叶变换将残差行z(x)变换成变换信号FZ(u)。同样,通过傅里叶变换将s(x)变换成变换信号FS(x)。因此按照如下公式计算相关:
Corr ( u ) = FS ( u ) . FZ * ( u ) | FS ( u ) . FZ * ( u ) | ,
其中FZ*(u)是FZ(u)的共轭复数。
通过将傅里叶逆变换IFT应用于Corr(u)使变换域中的相关回到空间域。将空间域中的相关标记成corr(x):corr(x)=IFT(Corr(u))。
偏移量或相位dx通过确定空间域中的相关峰来获得: dx = arg max x { corr ( x ) } .
按照一种实施例变体,通过空间相关确定水平空间偏移量dx。更准确地说,对于可能偏移量的有限集合E中的每个偏移量dx,在利用dx重新定相的所识别基函数与残差行ZCx之间计算空间相关。所选的偏移量dx是空间相关最大的那个。例如,E={1,2,3,4}。按照一种变体,E={1,1.5,2,2.5,3,3.5,4},这使子像素偏移量能够得到确定。当然,E可以包括,例如,在1/4像素上,在1/8像素上等的更精确偏移量。
在步骤1028期间,利用在步骤1026中确定的水平空间偏移量重新定相水平基函数。在DCT的情况下,按如下重新定相Cx:
c x ( i , j ) = α ( i ) cos ( ( 2 ( j + dx ) + 1 ) 2 N . i . π ) .
同样,如图3的右半部所例示,垂直地对区域ZCy应用步骤1020到1028。利用在步骤1026中确定的垂直空间偏移量重新定相垂直基函数。在DCT的情况下,按如下重新定相Cy:
c y ( i , j ) = α ( j ) cos ( ( 2 ( i + dy ) + 1 ) 2 N . j . π ) .
按照一个有利实施例,在步骤1027期间细调(refine)在步骤1026期间确定的偏移量dx和dy。例如,如图5所例示,根据中心在主峰b上的用字母a,b和c标识的三个能量峰确定空间域中围绕相关峰的能量的重心。标记成b′的重心可以确定标记成δx的水平子像素偏移量和标记成δy的垂直子像素偏移量。按照这个实施例,在步骤1028使水平和垂直基函数分别偏移(dx+δx)和(dy+δy)。按照另一种变体,确定通过中心在主峰上的三个能量峰的已知解析函数,例如,抛物线。按照在水平还是在垂直工作,这个函数的极大值对应于偏移量(dx+δx)或(dy+δy)。
参考图6,本发明涉及包含利用通过一组基函数定义的变换T′的变换步骤那种类型的重构大小为N×N的像素块bcur的方法,其中N是整数。
在步骤200期间,从流F中解码代表要重构的块brec的系数块B。例如,系数块B可以通过VLC(可变长度编码)、CAVLC(上下文自适应可变长度编码)或甚至CABAC(上下文自适应二进制算术编码)类型的熵解码来解码并且可以去量化。这个步骤是编码方法的步骤106的逆。
在步骤202期间,从要重构的块的因果邻域中重新定相变换T′的基函数。在图2中通过区域ZCx和ZCy表示了这样邻域的例子。更准确地说,根据在这个因果邻域中计算的残差重新定相基函数。
在步骤204期间,利用重新定相基函数将系数块B变换成残差块b。残差块按如下方式确定:
b=T′phase(B),其中T′phase是通过重新定相基函数定义的变换。
在步骤206期间,从残差块b和按照预测模式确定的预测块bp中重构像素块brec。例如,b(i,j)=brec(i,j)-bp(i,j),其中(i,j)是像素的坐标。
上面参考图3,4和5针对编码方法所述的具体实施例同样应用于重构方法,尤其应用于重新定相基函数的步骤202。在步骤204期间按照如下公式将系数块B变换成残差块:b=Cy.B.Cx,其中Cx和Cy是dx和dy,可能(dx+δx)和(dy+δy)的重新定相水平和垂直基函数。
参考图7和8,本发明涉及像素块的编码设备编码器(CODER)和代表这样像素块的流F的解码设备解码器(DECODER)。在这些图中,所示的模块是可能对应于或可能不对应于物理上可区分单元的功能单元。例如,这些模块或其中的一些可以一起组合在单个组件中,或构成同一软件的功能。相反,一些模块可能由分开物理实体组成。
参考图7,编码设备CODER接收属于图像序列的图像I作为输入。每个图像被划分成每一个与至少一项图像数据,例如,亮度和/或色度相关联的像素块bcur。编码设备CODER尤其实现利用时间预测的编码。在图6中只示出了编码设备CODER与通过时间预测的编码或INTER编码有关的模块。未表示出来和视频编码器领域的普通技术人员熟知的其他模块实现利用或不利用空间预测的INTRA编码。编码设备CODER尤其包含了能够按照编码方法的步骤100,例如,通过逐个像素相减,从当前块Bcur中提取预测块bp以生成残差块b的计算模块ADD1。它进一步包含能够利用通过一组基函数定义的变换T将残差块b变换成系数块B的变换模块T。变换T是,例如,DCT。编码设备CODER进一步包含能够按照参考图1所述的编码过程的步骤102重新定相变换T的基函数的重新定相模块REPHAS。变换模块T因此按照编码方法的步骤104将一组重新定相基函数应用在块b上。变换模块T的输出端与能够将系数块B量化成量化数据的量化模块Q的输入端连接。量化模块Q的输出端与能够将量化数据编码成编码数据的流F的熵编码模块COD的输入端连接。编码方法的步骤106因此通过Q和COD模块来实现。它进一步包含与进行变换模块T的逆操作的模块IT连接、进行量化模块Q的逆操作的模块IQ。模块IT的输出端与计算模块ADD2连接,ADD2能够逐个像素地将来自模块IT的数据块与预测块bp相加,以生成存储在存储器MEM中的重构块。
编码设备CODER还包含能够估计块bcur与存储在存储器MEM中的参考图像Ir之间的至少一个运动矢量Vp的运动估计模块ME,这个图像是以前已经编码然后重构的。按照一种变体,运动估计可以在当前块bcur与对应于Ir的源图像之间作出,在该情况下存储器MEM不与运动估计模块ME连接。按照本领域的普通技术人员众所周知的方法,运动估计模块分别在参考图像Ir中和在相应源图像中搜索运动矢量,以便使在当前块bcur与使用所述运动矢量识别、分别在参考图像Ir中和在相应源图像中的块之间计算的误差最小。按照一种变体,运动矢量通过相位相关或总体运动估计或甚至通过“模板匹配”来确定。运动数据由运动估计模块ME发送给能够在预定的一组编码模式中为块bcur选择编码模式的判定模块DECISION。所选编码模式是,例如,使位速率-失真型准则最小的那种。但是,本发明不局限于这种选择方法,而是可以按照另一条准则,例如,先验型准则选择所选的模式。将判定模块DECISION选择的编码模式以及运动数据,例如,在时间预测模式或INTER模式的情况下一个或几个运动矢量发送给预测模块PRED。此外,将一个或几个运动矢量和所选编码模式发送给熵编码模块COD以便编码在流F中。如果判定模块DECISION保留预测模式INTER,则预测模块PRED根据运动估计模块ME确定的运动矢量,在以前重构和存储在存储器MEM中的参考图像Ir中确定预测块bp。如果判定模块DECISION保留预测模式INTRA,则预测模块PRED在当前图像中,在以前编码和存储在存储器MEM中的块之间确定预测块bp
参考图8,解码设备DECODER在输入端上接收代表图像序列或像块那样这样序列的一部分的编码数据的流F。流F是,例如,由编码设备CODER发送的。解码设备DECODER包含能够生成解码数据,例如,编码模式和与图像的内容有关的解码数据的熵解码模块DEC。解码设备DECODER进一步包含运动数据重构模块。按照第一实施例,该运动数据重构模块是解码代表运动矢量的流F的一部分的熵解码模块DEC。
按照未显示在图8中的一种变体,该运动数据重构模块是运动估计模块。这种通过解码设备DECOD重构运动数据的解决方案被称为“模板匹配”。
然后将与图像的内容有关的解码数据发送给能够进行解码数据的逆量化以获取系数块B的逆量化模块IQ。在模块DEC和IQ中实现重构方法的步骤200。模块IQ与能够进行编码设备CODER的模块T进行的变换的逆变换的变换模块IT连接。模块IQ和IT分别与生成编码流F的编码设备CODER的模块IQ和IT相同。解码设备DECODER进一步包含能够按照参考图6所述的重构方法的步骤202重新定相变换IT的基函数的重新定相模块REPHAS。变换模块IT因此按照重构方法的步骤204将一组重新定相基函数应用在系数块B上。模块IT与计算模块ADD3连接,ADD3能够,例如,通过逐个像素相加合并来自模块IT的残差块b和预测块bp,以生成存储在存储器MEM中的重构块brec。解码设备DECODER还包含与编码设备CODER的预测模块PRED相同的预测模块PRED。如果解码了预测模式INTER,则预测模块PRED通过熵解码模块DEC在以前重构和存储在存储器MEM中的参考图像Ir中确定预测块bcur。如果解码了预测模式INTRA,则预测模块PRED在当前图像中,在以前编码和存储在存储器MEM中的块之间确定预测块bp
显然,本发明不局限于上述的实施例。尤其,本领域的普通技术人员可以将任何变体应用于所述实施例,并组合它们以便从它们的各种优点中获益。尤其,根据因果邻域重新定相基函数可以与大小和1D,2D维度等无关地应用于任何类型的变换。同样,可以改变按照本发明的因果邻域的形状。

Claims (16)

1.一种编码像素块的视频编码方法,其包含如下步骤:
-从所述像素块和按照预测模式确定的预测块中计算(100)残差的块;
-利用通过一组基函数定义的变换将所述残差的块变换(104)成系数的块;以及
-编码(106)所述系数的块,
该方法的特征在于在变换步骤(104)之前包含根据在所述像素块的因果邻域中按照所述预测模式计算的残差重新定相所述基函数的步骤(102),以及该变换步骤使用重新定相基函数。
2.按照权利要求1所述的编码方法,其中所述变换是可分离的,所述该组基函数包含水平基函数和垂直基函数,以及其中重新定相所述基函数的步骤(102)包含如下步骤:
-重新定相水平基函数;以及
-重新定相垂直基函数。
3.按照权利要求2所述的编码方法,其中重新定相水平基函数包含:
a)利用水平基函数将所述像素块的因果邻域的至少一行残差变换(1020)成系数;
b)确定(1022)较大幅度系数;
c)识别(1024)与所述所确定系数相对应的水平基函数;
d)确定(1026)识别的水平基函数与所述残差行之间的水平空间偏移量;以及
e)利用确定的所述水平空间偏移量重新定相(1028)水平基函数;以及
其中重新定相垂直基函数包含垂直地对所述像素块的因果邻域的至少一个残差列重复的步骤a)到e),以便利用在步骤d)中确定的垂直空间偏移量重新定相垂直基函数。
4.按照权利要求3所述的编码方法,其中按照与用于计算所述残差的块的所述预测模式相同的预测模式计算所述残差行和所述残差列的残差。
5.按照权利要求3或4所述的编码方法,其中垂直空间偏移量和水平空间偏移量通过相位相关来确定(1026),所述空间偏移量对应于称为主峰的最大相关峰。
6.按照权利要求5所述的编码方法,其在步骤d)与e)之间包含通过从所述主峰和围绕所述主峰的相关峰中计算重心分别确定水平和垂直子像素偏移量的步骤(1027),以及其中利用等于所述水平空间偏移量和所述水平子像素偏移量之和的偏移量重新定相(1028)所述水平基函数,以及利用等于所述垂直空间偏移量和所述垂直子像素偏移量之和的偏移量重新定相(1028)所述垂直基函数。
7.一种视频解码方法,其包含如下步骤:
-解码(200)系数的块和预测模式;
-利用通过一组基函数定义的变换将所述系数的块变换(204)成残差的块;以及
-从所述残差的块和按照所述预测模式确定的预测块中重构(206)像素块,
该方法的特征在于在变换步骤之前包含根据在所述像素块的因果邻域中按照所述预测模式计算的残差重新定相所述基函数的步骤(202),以及该变换步骤使用重新定相基函数。
8.按照权利要求7所述的解码方法,其中所述变换是可分离的,所述该组基函数包含水平基函数和垂直基函数,以及其中重新定相所述基函数的步骤(102)包含如下步骤:
-重新定相水平基函数;以及
-重新定相垂直基函数。
9.按照权利要求8所述的解码方法,其中重新定相水平基函数包含:
a)利用水平基函数将所述像素块的因果邻域的至少一行残差变换(1020)成系数;
b)确定(1022)较大幅度系数;
c)识别(1024)与所述所确定系数相对应的水平基函数;
d)确定(1026)识别的水平基函数与所述残差行之间的水平空间偏移量;以及
e)利用确定的所述水平空间偏移量重新定相(1028)水平基函数;以及
其中重新定相垂直基函数包含垂直地对所述像素块的因果邻域的至少一个残差列重复的步骤a)到e),以便利用在步骤d)中确定的垂直空间偏移量重新定相垂直基函数。
10.按照权利要求9所述的解码方法,其中按照与用于计算所述残差的块的所述预测模式相同的预测模式计算所述残差行和所述残差列的残差。
11.按照权利要求9或10所述的解码方法,其中垂直空间偏移量和水平空间偏移量通过相位相关来确定(1026),所述空间偏移量对应于称为主峰的最大相关峰。
12.按照权利要求11所述的解码方法,其在步骤d)与e)之间包含通过从所述主峰和围绕所述主峰的相关峰中计算重心分别确定水平和垂直子像素偏移量的步骤(1027),以及其中利用等于所述水平空间偏移量和所述水平子像素偏移量之和的偏移量重新定相(1028)所述水平基函数,
以及利用等于所述垂直空间偏移量和所述垂直子像素偏移量之和的偏移量重新定相(1028)所述垂直基函数。
13.一种编码像素块的视频编码设备(CODER),其包含:
-从所述像素块和按照预测模式确定的预测块中计算残差的块的部件(ADD1);
-利用通过一组基函数定义的变换将所述残差的块变换成系数的块的部件(T);以及
-编码所述系数的块的部件(Q,COD),
该编码设备的特征在于进一步包含根据在所述像素块的因果邻域中按照所述预测模式计算的残差重新定相所述基函数的部件(REPHAS),以及所述变换部件(T)使用重新定相基函数。
14.按照权利要求13所述的编码设备,该编码设备适用于执行按照权利要求1到6之一所述的编码方法的步骤。
15.一种视频解码设备(DECODER),其包含:
-解码系数的块和预测模式的部件(DEC,IQ);
-利用通过一组基函数定义的变换将所述系数的块变换成残差的块的部件(IT);以及
-从所述残差的块和按照预测模式确定的预测块中重构所述像素块的部件(ADD3),
该解码设备的特征在于进一步包含根据在所述像素块的因果邻域中按照所述预测模式计算的残差重新定相所述基函数的部件(REPHAS),以及所述变换部件(T)使用重新定相基函数。
16.按照权利要求15所述的解码设备,该解码设备适用于执行按照权利要求7到12之一所述的编码方法的步骤。
CN201210477789.0A 2011-11-22 2012-11-22 编码和重构像素块的方法以及相应设备 Expired - Fee Related CN103139563B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1160614 2011-11-22
FR1160614A FR2982983A1 (fr) 2011-11-22 2011-11-22 Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants

Publications (2)

Publication Number Publication Date
CN103139563A true CN103139563A (zh) 2013-06-05
CN103139563B CN103139563B (zh) 2017-10-20

Family

ID=47143783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210477789.0A Expired - Fee Related CN103139563B (zh) 2011-11-22 2012-11-22 编码和重构像素块的方法以及相应设备

Country Status (7)

Country Link
US (1) US20130329786A1 (zh)
EP (1) EP2597871B1 (zh)
JP (1) JP6309188B2 (zh)
KR (1) KR20130056834A (zh)
CN (1) CN103139563B (zh)
FR (1) FR2982983A1 (zh)
TW (1) TWI558214B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111213382A (zh) * 2017-10-12 2020-05-29 交互数字Vc控股公司 用于视频编码和解码中的自适应变换的方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607588B (zh) * 2013-09-03 2016-11-02 电子科技大学 一种基于模板的残差变换系数重要图编码方法
US10785478B2 (en) * 2016-05-12 2020-09-22 Lg Electronics Inc. Intra prediction method and apparatus for video coding
US10869060B2 (en) * 2018-01-30 2020-12-15 Google Llc Efficient context model computation design in transform coefficient coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592421A (zh) * 2003-05-07 2005-03-09 株式会社Ntt都科摩 活动图像编码装置和方法以及活动图像解码装置和方法
WO2011031044A2 (ko) * 2009-09-14 2011-03-17 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9802235D0 (en) * 1998-02-03 1998-04-01 Nds Ltd Digital signal processing
JP2005130417A (ja) * 2003-10-01 2005-05-19 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
WO2007093629A1 (en) * 2006-02-17 2007-08-23 Thomson Licensing Process for coding images using intra prediction mode
TW200922334A (en) * 2007-11-02 2009-05-16 Univ Nat Chunghsing Low complexity frequency field motion estimation method adapted to wavelet video coding
KR101834825B1 (ko) * 2009-01-27 2018-03-06 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
WO2010146314A1 (fr) * 2009-06-19 2010-12-23 France Telecom Codage de vecteurs mouvement par competition de predicteurs
WO2010149554A1 (en) * 2009-06-22 2010-12-29 Thomson Licensing Process for matching pursuit based coding of video data for a sequence of images
TW201119407A (en) * 2009-11-19 2011-06-01 Thomson Licensing Method for coding and method for reconstruction of a block of an image
WO2011083573A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
WO2012035728A1 (ja) * 2010-09-16 2012-03-22 パナソニック株式会社 画像復号装置、画像符号化装置、それらの方法、プログラム、集積回路およびトランスコード装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592421A (zh) * 2003-05-07 2005-03-09 株式会社Ntt都科摩 活动图像编码装置和方法以及活动图像解码装置和方法
WO2011031044A2 (ko) * 2009-09-14 2011-03-17 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AURELIE MARTIN等: "Phase refinement for image prediction based on sparse representation", 《VISUAL INFORMATION PROCESSING AND COMMUNICATION》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111213382A (zh) * 2017-10-12 2020-05-29 交互数字Vc控股公司 用于视频编码和解码中的自适应变换的方法和装置
US11375191B2 (en) 2017-10-12 2022-06-28 Interdigital Vc Holdings, Inc. Method and apparatus for adaptive transform in video encoding and decoding
CN111213382B (zh) * 2017-10-12 2022-07-19 交互数字Vc控股公司 用于视频编码和解码中的自适应变换的方法和装置

Also Published As

Publication number Publication date
KR20130056834A (ko) 2013-05-30
EP2597871B1 (en) 2014-08-06
TW201334545A (zh) 2013-08-16
FR2982983A1 (fr) 2013-05-24
TWI558214B (zh) 2016-11-11
US20130329786A1 (en) 2013-12-12
JP2013110747A (ja) 2013-06-06
EP2597871A1 (en) 2013-05-29
JP6309188B2 (ja) 2018-04-11
CN103139563B (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN102893604B (zh) 用于视频的数据压缩
CN102474599B (zh) 用于对图像进行编码的方法和设备,用于对编码图像进行解码的方法和设备
CN102137263B (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
CN101494782B (zh) 视频编码方法和设备以及视频解码方法和设备
CN101663898B (zh) 二维自适应内插滤波器的滤波系数决定方法
CN102474608B (zh) 解码代表图像序列的编码数据流的方法和编码图像序列的方法
EP2741510A1 (en) Adaptive transformation of residual blocks depending on the intra prediction mode
KR101354151B1 (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
CN103248895B (zh) 一种用于hevc帧内编码的快速模式估计方法
CN101584215B (zh) 综合空时预测
CN104796714A (zh) 使用平面表达的增强帧内预测编码
CN102714721A (zh) 编码图像块的方法和重构图像块的方法
CN104094600A (zh) 用于包括量化参数预测的基于分层数据单元的视频编码和解码的方法和设备
CN102823250A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN103596004A (zh) Hevc中基于数学统计和分类训练的帧内预测方法及装置
CN100401779C (zh) 用于分级运动估计的方法
CN103139563A (zh) 编码和重构像素块的方法以及相应设备
CN103096064A (zh) 编码和重构像素块的方法以及相应设备
JP2013110747A5 (zh)
CN103430543A (zh) 重构和编码图像块的方法
KR20100044333A (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
KR20120058584A (ko) 이미지들의 시퀀스를 코딩하는 방법
KR100859073B1 (ko) 움직임 추정 방법
CN102763414B (zh) 编码和重构图像序列的块的方法
CN102804770B (zh) 使用代表性图块细化纹理的图像编码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190528

Address after: American Delaware

Patentee after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Patentee before: Thomson Licensing Corp.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171020

Termination date: 20201122

CF01 Termination of patent right due to non-payment of annual fee