CN101960857A - 运动图像编码以及译码装置 - Google Patents

Abstract

运动图像编码装置包含：设定在运动图像译码装置中的用于滤波处理的滤波系数，并设定对在滤波处理中的运算的舍入进行控制的舍入偏移量的设定部；把滤波系数以及舍入偏移量的信息作为编码数据输出的编码部。

Description

运动图像编码以及译码装置

技术领域

本发明涉及在编码数据上附加在运动图像译码装置中进行的用于控制滤波处理的信息的运动图像编码装置，以及根据附加在编码数据上的用于控制滤波处理的信息对译码图像进行滤波处理的运动图像译码装置。

背景技术

作为输出对译码图像进行了滤波处理的图像的技术，存在有如下技术：将滤波器设计成在编码装置中把输入图像和通过对译码图像进行滤波处理得到的图像的误差最小化，发送该滤波器的信息，输出在译码装置中通过使用该滤波信息对译码图像进行滤波处理得到的图像(S.Wittmann and T.Wedi，″Post-filter SEI message for 4:4:4 coding″，JVT of ISO/IEC MPEG&ITU-T VCEG，JVT-S030，April 2006(以下称为Wittmann))。由此，在译码装置中能够得到和输入图像的误差少的输出图像。

作为类似的技术，可以考虑如下方法：除了进行和Wittmann一样的处理之外，还把对译码图像进行滤波处理而得到的图像在预测图像的生成时作为参照图像来使用。由此，因为参照图像和输入图像的误差减少，所以能够得到在预测下一帧时消减预测误差的效果。

在上述技术中，当通过整数除法运算进行滤波处理的情况下，产生舍入(rounding)误差。因而，为了减少通过采用整数除法运算的滤波处理得到的图像和输入图像的误差，不但滤波系数而且舍入也需要与图像一致地进行控制。但是，在广泛使用的四舍五入的舍入中，不能与图像一致地控制舍入。

作为避免滤波处理的舍入误差的累计的技术，有在滤波处理的舍入中选择进位、舍位的技术(特开平11-69362号公报)。在该技术中，从编码装置向译码装置发送指定进位、舍位的信息。但是，能够选择的仅有进位、舍位，不能进行五舍六入这样的舍入。

如上所述，在以往技术中存在不能与图像一致地自由地控制舍入这种问题。

发明内容

本发明的目的在于提供一种运动图像编码·译码装置以及方法，通过与图像一致地自由地控制舍入，减少输入图像和参照图像的误差以及输入图像和输出图像的误差。

本发明的一种形态提供一种运动图像编码装置，具备：设定部，设定在运动图像译码装置中的用于滤波处理的滤波系数，并设定对在上述滤波处理中的运算的舍入进行控制的舍入偏移量；编码部，把上述滤波系数以及上述舍入偏移量的信息作为编码数据输出。

本发明的另一形态提供一种运动图像译码装置，具备：信息取得部，从编码数据中取得滤波系数以及舍入偏移量的信息；信号处理部，从上述编码数据中生成译码图像信号；滤波处理部，使用从上述编码数据中得到的上述滤波系数以及上述舍入偏移量，对上述译码图像信号的译码图像进行滤波处理。

附图说明

图1是表示第1种实施方式的运动图像编码装置的框图。

图2是表示第1种实施方式的运动图像编码装置的信号处理器的框图。

图3是表示第1种实施方式的运动图像编码装置的作用的流程图。

图4是表示第2种实施方式的运动图像译码装置的框图。

图5是表示第2种实施方式的运动图像译码装置的信号处理器的框图。

图6是表示第2种实施方式的运动图像译码装置的作用的流程图。

图7是表示第3种实施方式的运动图像编码装置的框图。

图8是表示第4种实施方式的运动图像译码装置的框图。

具体实施方式

以下，说明本发明的实施方式。

(第1种实施方式)

使用图1说明第1种实施方式的运动图像编码装置的构成。把输入图像信号101输入到信号处理器110。信号处理器110从预测器114接收预测图像信号108，计算该预测图像信号108和输入图像信号101的残差信号，把该残差信号变换为系数生成残差信息102。此外，信号处理器110根据预测图像信号108和残差信号，生成局部译码图像信号103。信号处理器110的局部译码图像信号输出端与帧存储器111连接，该残差信息输出端与可变长编码器115连接。帧存储器111存储局部译码图像信号103。预测器114根据存储在帧存储器111中的图像信号生成预测图像信号。

信号处理器110如图2所示那样具体地由减法器120、正交变换器121、量化器122、反量化器123、反正交变换器124以及加法器125构成。

帧存储器111与滤波器·舍入偏移量设计器112以及滤波处理器113连接。滤波器·舍入偏移量设计器112根据输入图像信号101以及局部译码图像信号104设计滤波系数以及舍入偏移量，生成滤波系数105以及舍入偏移量126。滤波处理器113使用滤波系数105以及舍入偏移量126对局部译码图像信号104进行滤波处理，生成图像信号106。

可变长编码器115对残差信息102、滤波系数105以及舍入偏移量126进行可变长编码，输出编码数据109。

参照图3的流程图说明上述构成的运动图像编码装置的作用。

把输入图像信号101输入到信号处理器110。在信号处理器110中，生成预测图像信号108和输入图像信号101的残差信号(S11)，生成对残差信号进行了正交变换的残差信息(例如DCT系数)102并输出(S12)。此外，根据预测图像信号108和残差信号生成局部译码图像信号103并输出(S13)。把残差信息102输入到可变长编码器115，把局部译码图像信号103存储在帧存储器111中。

在此使用图2说明信号处理器110的例子。把输入图像信号101输入到信号处理器110。把输入图像信号101输入到减法器120。在减法器120中，通过取输入图像信号101和预测图像信号108的差值生成残差信号116。在正交变换器121中，对残差信号116实施正交变换，生成变换系数117。在量化器122中对变换系数117进行量化。被量化的变换系数一方面作为残差信息102输入到可变长编码器，另一方面在用反量化器123进行反量化后，在反正交变换器124中进行反正交变换。在加法器125中，通过加算已再生的残差信号119和预测图像信号108，生成局部译码图像信号103。把局部译码图像信号103存储在帧存储器111中。

把从帧存储器111中读出的局部译码图像信号104输入到滤波器·舍入偏移量设计器112以及滤波处理器113。在滤波器·舍入偏移量设计器112中，根据输入图像信号101以及局部译码图像信号104设计滤波器以及舍入偏移量(S14)。即，滤波器·舍入偏移量设计器112进行在运动图像译码装置中用于滤波处理的滤波系数的设定以及控制滤波处理运算的舍入的舍入偏移量的设定。把滤波系数105以及舍入偏移量126输入到滤波处理器113以及可变长编码器115。

当在滤波器·舍入偏移量设计器112中设计滤波器后，进行滤波处理。即，在滤波处理器113中，使用滤波系数105以及舍入偏移量126对局部译码图像信号104进行滤波处理，生成图像信号106(S15)。

把图像信号106存储在帧存储器111中。把存储在帧存储器111中的图像信号作为参照图像信号107读出，输入到预测器114。在预测器114中，使用参照图像信号107进行预测，生成预测图像信号108(S16)。把预测图像信号108输入到信号处理器110。在可变长编码器115中，对残差信息102、滤波系数105以及舍入偏移量126进行可变长编码，生成包含这些代码的编码数据109(S17)。

在滤波处理器113中用下式进行滤波处理。

[数1]

$S_{\mathrm{flt}}(x,y)=(\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}^{\left(\mathrm{int}\right)}S(x+i,y+i)+{\mathrm{\δ}}^{\left(\mathrm{int}\right)})/D---\left(1\right)$

在此，S_flt(x，y)是通过滤波处理得到的图像的位置(x，y)的像素值，S(x，y)是局部译码图像的位置(x，y)的像素值，N是预先决定的自然数。h_ij ^(int)、δ^(int)、D是整数值，h_ij ^(int)是滤波系数，δ^(int)是舍入偏移量，D是预先决定的值。除法运算设为整数除法运算。h_ij ^(int)、δ^(int)输入在滤波器·舍入偏移量设计器112中设定的值。式(1)表示对在位于滤波处理对象像素(x，y)的周边上的像素值的加权和上加上了已设定的舍入偏移量δ^(int)的值进行整数除法运算。而且，滤波系数h_ij ^(int)相当于加权和的权重。

一般滤波处理从装置化的简便性、高速化的观点出发使用位移计算进行。当使用位移计算的情况下，作为D＝2ⁿ，使用下式。

[数2]

$S_{\mathrm{flt}}(x,y)=(\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}^{\left(\mathrm{int}\right)}S(x+i,y+j)+{\mathrm{\δ}}^{\left(\mathrm{int}\right)})>>n---\left(2\right)$

在滤波器·舍入偏移量设计器112中设定h_ij ^(int)、δ^(int)，使得通过滤波处理得到的图像和输入图像的误差减少。作为误差，例如可以使用以下的帧单位的平方误差。

[数3]

$\underset{x\∈X}{\mathrm{\Σ}}\underset{y\∈Y}{\mathrm{\Σ}}{(S_{\mathrm{flt}}(x,y)-S_{\mathrm{org}}(x,y))}^2---\left(3\right)$

在此，S_org(x，y)是输入图像的位置(x，y)的像素，X、Y分别是帧内的x坐标，y坐标的集合。作为求使平方误差为最小的滤波系数的方法，已知有求解Wiener-Hopf方程式的方法。在本实施方式中，因为有滤波系数h_ij ^(int)、舍入偏移量δ^(int)是整数值这一制约，所以采用以上述方法为基本的近似方法求滤波系数h_ij ^(int)、舍入偏移量δ^(int)。首先用下式近似式(1)。

[数4]

${\tilde{S}}_{\mathrm{flt}}(x,y)=\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}S(x+i,y+j)+\mathrm{\δ}---\left(4\right)$

在此，h_ij相当于h_ij ^(int)/D的近似值，δ相当于(δ^(int)-D/2)/D的近似值。而且，D/2是用于将整数除法运算近似到浮点小数除法运算的值。

当使用式(4)后，通过求解把用h_ij、δ对式(5)进行偏微分后的值设置成0得到的方程式，能够得到把通过滤波处理得到的图像和输入图像的平方误差设置成最小的h_ij、δ。

[数5]

$\underset{x\∈X}{\mathrm{\Σ}}\underset{y\∈Y}{\mathrm{\Σ}}{({\tilde{S}}_{\mathrm{flt}}(x,y)-S_{\mathrm{org}}(x,y))}^2---\left(5\right)$

即，只要求解涉及h_ij，δ的方程式即可。

[数6]

$\frac{\∂}{\∂h_{\mathrm{kl}}}\left(\underset{x\∈X}{\mathrm{\Σ}}\underset{y\∈Y}{\mathrm{\Σ}}{({\tilde{S}}_{\mathrm{flt}}(x,y)-S_{\mathrm{org}}(x,y))}^2\right)=0,(k=-N,\·\·\·,N,l=-N,\·\·\·,N)---\left(6\right)$

$\frac{\∂}{\∂\mathrm{\δ}}\left(\underset{x\∈X}{\mathrm{\Σ}}\underset{y\∈Y}{\mathrm{\Σ}}{({\tilde{S}}_{\mathrm{flt}}(x,y)-S_{\mathrm{org}}(x,y))}^2\right)=0---\left(7\right)$

因为h_ij是h_ij ^(int)/D的近似值，δ相当于(δ^(int)-D/2)/D近似值，所以，例如，可以根据下式求滤波系数h_ij ^(int)、舍入偏移量δ^(int)。

[数7]

表示不超过x的最大整数。

用此前说明的方法，以帧为单位求h_ij ^(int)、δ^(int)，并将其作为滤波系数105以及舍入偏移量126输出。

在本实施方式中因为可以与图像一致地控制舍入，所以和把舍入偏移量作为固定的值的情况相比，能够减少在运动图像编码装置中得到的输出图像和输入图像的误差。此外，因为能够减少输入图像和参照图像的误差，所以预测效率提高。

(第2种实施方式)

使用图4说明本发明的第2种实施方式的运动图像译码装置。该运动图像译码装置用可变长度译码器210、信号处理器211、帧存储器212、预测器213以及滤波处理器214构成，可变长译码器210对编码数据201进行译码，输出残差信息202、滤波系数209、舍入偏移量208。信号处理器211以残差信息202作为基础再生残差，用该残差和来自预测器213的预测图像信号207生成译码图像信号203。帧存储器212存储译码图像信号203。预测器213根据存储在帧存储器212中的图像信号生成预测图像信号207。

信号处理器211具体地说如图5所示那样用反量化器217、反正交变换器218以及加法器219构成。反量化器217对残差信息202进行反量化，生成变换系数215。反正交变换器218对变换系数215进行反正交变换，生成残差信号216。加法器219加算预测图像信号207和残差信号216生成译码图像信号203。

参照图6的流程图说明上述构成的运动图像编码装置的作用。

作为译码对象的编码数据201把从第1种实施方式的图1的运动图像编码装置输出的编码数据109经由存储***或者传送***输入到可变长译码器210。在译码对象的编码数据201中包含残差信息、滤波系数、舍入偏移量的信息的代码。这些各代码通过用可变长译码器210进行译码，输出残差信息202、滤波系数209、舍入偏移量208(S21)。把残差信息202输入到信号处理器211，把滤波系数209以及舍入偏移量208输入到滤波处理器214。在信号处理器211中以残差信息202为基础再生残差，根据预测图像信号207和再生后的残差生成译码图像信号203(S22)。

在此使用图4说明信号处理器211的例子。设编码数据用具有使用图2说明的图像信号处理器110的第1种实施方式的编码装置生成。把作为残差信息202进行了量化的变换系数输入到反量化器217。量化后的变换系数在用反量化器217进行了反量化后，通过在反正交变换器218中进行反正交变换，生成残差信号216。在加法器219中，通过在残差信号216上加算预测图像信号207，得到译码图像信号203。

把译码图像信号203存储在帧存储器212中，把从帧存储器212读出的译码图像信号204输入到滤波处理器214。在滤波处理器214中和第1种实施方式的滤波处理器113一样使用滤波系数209以及舍入偏移量208对译码图像信号204进行滤波处理，生成图像信号205(S23)。图像信号205被存储在帧存储器212中的同时作为输出图像信号输出。将存储在帧存储器212中的图像信号作为参照图像信号206读出，输入到预测器213。在预测器213中，使用参照图像信号206进行预测，生成预测图像信号207，把预测图像信号207输入到信号处理器211。

在本实施方式中因为可以按照图像一致地控制舍入，所以与把舍入偏移量作为固定值的情况相比，能够减少在运动图像编码装置中进行编码的输入图像和输出图像的误差。此外，因为能够减少输入图像和参照图像的误差，所以预测效率提高。

(第3种实施方式)

使用图7说明本发明的第3种实施方式。涉及本实施方式的运动图像编码装置的基本构成和第1种实施方式一样。但是，在本实施方式中，不设置图1的滤波处理器113，在预测器310中使用局部译码图像信号303作为参照图像信号304生成预测图像信号305。

即，如果采用图7的运动图像编码装置，当把输入图像信号301输入到信号处理器308中后，信号处理器308生成预测图像信号305和输入图像信号301的残差信号，生成变换了残差信号的残差信息302。此外，信号处理器308根据预测图像信号305和残差信号生成局部译码图像信号303。把残差信息302输入到可变长编码器311，把局部译码图像信号303存储在帧存储器309中。

在把存储在帧存储器309中的局部译码图像信号303作为参照图像信号304输入到预测器310中的同时输入到滤波器·舍入偏移量设计器312。在滤波器·舍入偏移量设计器312中，根据输入图像信号301以及局部译码图像信号304设计滤波器以及舍入偏移量。此时，滤波器·舍入偏移量设计器312设定滤波系数·舍入偏移量使得在运动图像译码装置中对译码图像进行滤波处理得到的图像和输入图像的误差减小。滤波器·舍入偏移量设计器312的动作只要和第1种实施方式的滤波器·舍入偏移量设计器112一样即可。把滤波系数307以及舍入偏移量313输入到可变长编码器311中并对其进行编码。

因为在本实施方式中可以按图像控制舍入，所以和把舍入偏移量设置成固定值的情况相比，可以减少在运动图像译码装置中得到的输出图像和输入图像的误差。

(第4种实施方式)

使用图8说明第4种实施方式。涉及本实施方式的运动图像译码装置的基本构成和第2种实施方式一样。但是，从滤波处理器413输出的图像信号406不存储在帧存储器411中，在预测器412中使用译码图像信号403作为参照图像信号404生成预测图像信号405。

即，如果采用图8的运动图像译码装置，当把编码数据401输入到可变长译码器409中时，可变长译码器409对编码数据401进行译码，输出残差信息402、滤波系数408、舍入偏移量407。把残差信息402输入到信号处理器410，把滤波系数408以及舍入偏移量407输入到滤波处理器413。信号处理器410以残差信息402为基础再生残差，根据预测器412的预测图像信号405和经过再生的残差生成译码图像信号403。译码图像信号403存储在帧存储器411中。帧存储器411的译码图像信号403作为参照图像信号404输入到预测器412。预测器412使用该参照图像信号404生成预测图像信号405。

在本实施方式中因为可以配合图像控制舍入，所以和把舍入偏移量设置成固定值的情况相比，能够减少在运动图像编码装置中进行了编码的输入图像和输出图像的误差。

如果采用本发明则通过按照图像自由地控制舍入，可以减少输入图像和参照图像的误差以及输入图像和输出图像的误差。

在本发明的实施方式中描述的本发明的方法能够通过计算机执行，此外，作为能够让计算机执行的程序，还可以存储在磁盘(软盘，硬盘等)、光盘(CD-ROM，DVD等)、半导体存储器等的记录媒体中并进行颁布。

本发明的图像编码以及译码方法以及装置用于通信媒体、存储媒体以及广播媒体等中的图像压缩处理。

Claims (9)

1.一种运动图像编码装置，其特征在于包括：

设定部，设定在运动图像译码装置中的用于滤波处理的滤波系数，并设定对在上述滤波处理中的运算的舍入进行控制的舍入偏移量；

编码部，把上述滤波系数以及上述舍入偏移量的信息作为编码数据输出。

2.根据权利要求1所述的运动图像编码装置，其特征在于包括：

信号处理部，对输入图像信号和预测图像信号进行信号处理生成局部译码图像；

滤波处理部，使用在上述运动图像译码装置中的为了滤波处理而设定的上述滤波系数以及上述舍入偏移量对上述局部译码图像进行滤波处理；

图像存储部，作为参照图像存储通过上述滤波处理得到的图像；

预测部，使用存储的图像生成上述预测图像信号。

3.根据权利要求2所述的运动图像编码装置，其特征在于：

上述滤波处理部对于在上述局部译码图像上位于滤波处理对象像素周围的像素的值的加权和上增加了上述舍入偏移量的值，通过进行整数除法运算来进行上述滤波处理。

4.根据权利要求3所述的运动图像编码装置，其特征在于：

上述信号处理部对上述输入图像信号和上述预测图像信号进行信号处理生成残差信息，上述编码部将上述残差信息和上述滤波系数以及上述舍入偏移量的信息一同进行编码，并输出上述编码数据。

5.根据权利要求4所述的运动图像编码装置，其特征在于：

上述设定部设定上述舍入偏移量，使得通过上述滤波处理得到的图像和输入图像的误差减小。

6.根据权利要求5所述的运动图像编码装置，其特征在于：

上述设定部使用上述输入图像信号和上述局部译码信号，求滤波系数以及舍入偏移量。

7.一种运动图像译码装置，其特征在于包括：

信息取得部，从编码数据中取得滤波系数以及舍入偏移量的信息；

信号处理部，从上述编码数据中生成译码图像信号；

滤波处理部，使用从上述编码数据中得到的上述滤波系数以及上述舍入偏移量，对上述译码图像信号的译码图像进行滤波处理。

8.根据权利要求7所述的运动图像译码装置，其特征在于包括：

存储部，把通过上述滤波处理得到的图像作为参照图像进行存储；

预测部，使用存储着的图像，生成上述预测图像信号，

上述信号处理部使用上述编码数据和上述预测图像信号，生成上述译码图像信号。

9.根据权利要求8所述的运动图像译码装置，其特征在于包括：

上述滤波处理部对于在上述译码图像中位于滤波处理对象像素周围的像素的值的加权和上增加了上述舍入偏移量的值，通过进行整数除法运算来进行滤波处理。

Images