CN1190292A

CN1190292A - 差错隐蔽方法和装置

Info

Publication number: CN1190292A
Application number: CN97120381A
Authority: CN
Inventors: 李尚勋
Original assignee: Daewoo Electronics Co Ltd
Current assignee: WiniaDaewoo Co Ltd
Priority date: 1996-12-27
Filing date: 1997-12-11
Publication date: 1998-08-12
Also published as: KR100196840B1; GB9725051D0; KR19980053566A; US5944851A; JPH10200887A; GB2320836A

Abstract

根据其位数,在逐块基础上划分通过发送信道从编码***发送的位流,并检验附加在每个位流中的奇偶校验位以判决每个位流是否是其中具有一个或多个差错位的差错位流。根据检验结果,选择每个位流或每个位流的近似位流作为最佳位流,其中近似位流是根据每个候选位流的掩蔽转换系数和在空间上与每个位流相邻的每个参考位流的掩蔽转换系数之间的近似度产生的。

Description

差错隐蔽方法和装置

本发明涉及一种用于视频信号解码***的差错隐蔽方法和装置，并特别涉及一种用于隐蔽在从基于块的图像信号编码器传送来的位流中的位差错的方法和装置。

在如可视电话，电话会议和高清晰度电视***这样的数字电视***中，由于视频帧信号中的视频行信号包括被称为像素值的一连串数字数据，需要大量的数字数据来限定每个视频帧信号。然而，由于传统发送信道的可用频宽是有限的，为了通过它发送大量数字数据，需要通过采用各种数据压缩技术来压缩和减少数据量，特别是在象可视电话和电话会议***这种低比特率视频信号编码器的情况下。在各种视频压缩技术中，将时间和空间压缩技术与统计编码技术结合起来的所谓混合编码技术被认为是最有效的。

大多数混合编码技术采用正交变换，变换系数的量化，和可变长度编码(VLC)。正交变换用于将数字图像数据块转换为一组变换系数，它能减少或去除其间的空间冗余。特别地，在象离散余弦变换(DCT)或类似变换中，图像数据被划分为多个非重叠的相同尺寸的块，例如8×8个像素的块，并且将每个块从空域变换到频域。

通过用量化和VLC处理这种变换系数数据，可将要发送的数据量有效地压缩。其后，经过发送信道将编码的图像信号发送到解码器。

然而，由于在发送过程中往往出现差错，为了减少或校正差错，通常通过采用各种差错控制编码方法对于编码的图像信号进行信道编码。在传统的差错控制编码方法中，将附加位增加到每组预定的信源码中，以便在解码的过程中检测和隐蔽差错。各种差错隐蔽方案如POCS(凸集投影)方法被建议用来隐蔽或估计包含差错的块的像素数据，从而补偿可能已在发送过程中出现的退化。然而，现有技术的这种差错隐蔽方法仍不能令人满意，因为它们不能充分考虑所给图像信号的特征。

此外，由于帧是以块为单位来编码的，因此会出现块效应，即在接收端块的边界线变为可见的现象；并且当量化步长变大时，即当系数的频率变高时，在这种情况下对块进行的是更为粗略的量化，块效应可能变得更加严重。因此，如果某一块比它的相邻块更亮或更暗，并且对块内DC系数采用固定的大的量化步长，则所述某一块和它的相邻块之间的亮度差可能变得更加明显，引起更严重的块效应并降低图像质量。尽管在具有运动补偿帧预测的帧间方式的编码中，块效应不是这样烦扰，但还是值得注意的。

因此，如果在以许多位流表示的视频信号中检测到由发送信道环境或类似环境产生的一个或更多位差错，则需要通过考虑与在其中检测到差错的任何位流相邻的邻近位流来校正或隐蔽差错位。

这种用于根据邻近位流来隐蔽位流中位差错的差错隐蔽技术之一在同时待审的共同转让申请，即美国序号No._____“用于隐蔽位流中差错的方法和装置”中已被披露。这种技术首先判决位流是否是有一个或多个差错位的差错位流。之后，当判决位流为差错位流时，获得差错位流的近似位流，将其作为用于差错位流的最佳位流提供，其中近似位流是根据候选位流和许多与差错位流相邻的邻近位流之间的近似度，通过选择多个候选位流之一而获得的，该候选位流是使用差错位流得到的。

然而在传统的差错隐蔽技术中，使用用候选位流和它们邻近位流的变换系数来计算两者之间的近似度，在候选位流的变换系数之间差值很小的情况下，这种方法可能不能提供最佳的位流。

因此，本发明的主要目的是通过考虑候选位流和它们邻近位流的频率特性，提供一种改进的方法和装置，用于隐蔽在由基于块的图像信号编码器发送来的位流中的差错。

根据本发明的一个方面，提供一种方法，用于隐蔽在逐块基础上的视频帧信号的位流中的位差错，以便有选择地将近似位流和该位流两者之一作为最佳位流提供给视频信号解码器，其中视频帧信号划分为多个相同尺寸的块，并且块的位流的位数互不相同，该方法包括的步骤：

(a)根据位流的位数顺序地找出与块相对应的位流。

(b)检验附加到每个位流中的奇偶校验位，以判决所述每个位流是否是其中具有一个或多个差错位的差错位流；

(c)如果判决所述每个位流不是差错位流，则将所述每个位流作为最佳位流输出，如果是其它情况，则通过使用差错位流产生多个候选位流，并判决每个候选位流是否具有第一类型的频率特征或第二类型的频率特征，以产生类型判决信号；

(d)根据类型判决信号，用第一和第二组预定加权值两者之一掩蔽所述每个候选位流以输出其掩蔽候选位流；以及

(e)产生所述每个位流的近似位流以将其作为最佳位流提供，其中近似位流是根据所述每个掩蔽候选位流和在空间上与差错位流相邻的参考位流之间的近似度而获得的，每个参考位流没有差错，或者其中的差错已经隐蔽。

根据本发明的另一方面，提供一种装置，用于隐蔽在逐块基础上的视频帧信号的位流中的位差错，以便有选择地将近似位流和该位流两者之一作为最佳位流提供给视频信号解码器，其中视频帧信号划分为多个相同尺寸的块，并且块的位流的位数互不相同，该装置包括：

用于根据位流的位数顺序地检测块的位流的设备；

差错检测设备，用于检验附加到每个位流中的奇偶校验位，以判决所述每个位流是否是其中具有一个或多个差错位的差错位流；

类型判决设备，如果判决所述每个位流不是差错位流，则将所述每个位流作为最佳位流输出，如果是其它情况，则通过使用差错位流产生多个候选位流，并判决每个候选位流是否具有第一类型的频率特征或第二类型的频率特征，以便产生类型判决信号；

掩蔽设备，根据类型判决信号，用第一和第二组预定加权值两者之一掩蔽所述每个候选位流以输出其掩蔽候选位流；以及

近似位流发生装置，用于产生所述每个位流的近似位流以将其作为最佳位流提供，其中近似位流是根据所述每个掩蔽候选位流和在空间上与差错位流相邻的参考位流之间的近似度而获得的，每个参考位流没有差错，或者其中的差错已经隐蔽。

从以下结合附图给出的优选实施例的描述中本发明的上述和其它目的和特征将显示出来，其中

图1是根据本发明用于隐蔽在由基于块的视频信号编码器发送来的位流中差错的装置的方框图。

图2示出图1中所示近似位流判决设备的功能图；

图3提供图2中所示近似计算器的详细方框图；

图4提供图3中所示块类型确定器的详细方框图；以及

图5示出说明根据本发明用于掩蔽一组位流变换系数的方法的图。

参照图1，其中示出了根据本发明的装置700的方框图，用于检测和隐蔽在以一连串位表示的视频帧信号中的一个或多个差错，其中视频帧信号被划分为多个宽度和高度例如为8×8或16×16个像素的相同尺寸的块，并以此种块来处理视频帧信号。

在逐块基础上通过发送信道发送的每个块的位流被送到差错检测电路100和开关200，其中位流包括用于差错检测的奇偶校验位以及视频数据。差错检测电路100顺序地接收块的位流，根据对其中奇偶校验位的检验来判决与每个块相对应的位流是否有一个或更多的差错位，并给开关200提供代表所述每个块的差错检测结果的开关控制信号。如果在一个块的位流中检测到一个或更多的差错位，则开关200将块的位流传送到候选位流发生器300和相邻块检测器400；而如果是其它情况，则开关200直接将位流送到缓冲器600。

如果确定块的位流有差错，意味着位流和块分别被视为差错位流和差错块，则候选位流发生器300将差错位流中的任何一位反向，以产生多个候选位流。换句话说，每个候选位流与差错位流有一位不同，从而候选位流相互之间有多至两位的不同。例如，如果差错位流”01011001”带有一位差错，则将提供8个候选位流。

在本发明另一种情况下，如果差错位流有两个或更多位差错，可通过考虑差错位流的参考位流来产生候选位流。例如，可将位于差错块的左上角，右上角和上侧及左侧的四个位流确定为候选位流。在本发明另一优选实施例中，可将平均位流和零位流增加到这四个位流中，从而产生六个候选位流，其中平均位流代表所述四个位流的平均，而零位流的所有位都为”0”。将这样产生的候选位流顺序地提供给近似位流判决设备500。

与此同时，相邻块检测器400根据差错块的位置数据确定其邻近块，并从缓冲器600恢复邻近块的位流，邻近块与差错块有预定的位置关系。根据本发明，位于差错块上侧和左侧的两个块可确定为邻近块，称为左块和上块。在本发明的另一种情况下，可将另一组块，例如在差错块的上侧，左侧和左上侧，确定为邻近块。然后将邻近块的位流作为差错块的差错位流的参考位流提供给近似位流判决设备500。

通过使用参考位流，近似位流判决设备500确定一个差错位流的近似位流，并将其提供给缓冲器600，其中近似位流是根据每个候选位流和参考位流之间的近似度从候选位流中选择的。

参考图2，示出了图1中所示近似位流判决设备500的优选实施例。如图2所示，来自候选位流发生器300的候选位流被顺序地送到第一统计解码器510和近似位流发生器560，同时来自相邻块检测器400的邻近块的参考位流被提供给第二统计解码器540。

在第一统计解码器510，通过使用例如可变长度解码(VLD)技术，将每个候选位流解码以产生统计解码数据。然后，在第一去量化器(IQ)520，对来自统计解码器510的统计解码数据进行去量化，以将对应于每个候选位流的一组转换系数作为一组候选转换系数提供给近似计算单元530。

与此同时，第二统计解码器540对邻近块的参考位流进行统计解码，以产生统计解码数据；之后第二IQ550对统计解码数据进行去量化，以将有关每个参考位流的一组转换系数作为一组参考转换系数提供给近似计算单元530。近似计算单元530在频域中而不是在空域中通过使用本发明的新颖的位流近似计算方法计算每个候选位流的近似度，以下将参照图3到5对该计算方法进行详细说明。

现在看图3，其中示出图2中所示本发明近似计算单元530的详细方框图。将来自图2中所示第一IQ520的候选块的每组候选转换系数提供给块类型确定器531，以确定每个候选块是否为第一类型块或第二类型块。在本发明的优选实施例中，第一类型块定义为包含的高频分量多于低频分量的块；第二类型块定义为包括的低频分量多于高频分量的块。

特别地，参照图4，首先在平均值计算器531a计算来自第一IQ520的候选块的每组候选转换系数的平均值，以便将所计算的平均值发送到绝对差值计算器531b。在绝对差值计算器531b，计算来自平均值计算器531a的所述每组候选转换系数的平均值和在来自第一IQ520的所述每组中的每个候选转换系数之间的绝对差值；之后，在块类型判决电路531c，将它们相加以提供所述每组候选转换系数的总的绝对差值。如果总的绝对差值大于一预定的阈值，则判决所述每个候选块为第一类型块，从而将该块输出到图3中所示第一掩蔽电路532中；如果不是这样，则判决所述每个候选块为第二类型块，从而将所述每个候选块转发到图3中所示第二掩蔽电路533中。此外，将代表第一或第二类型块的块类型判决信号从块类型判决电路531c输出以将其提供给图3中所示的近似计算电路534。

再参考图3，在第一掩蔽电路532，首先将加到其上的有8×8个像素的每个候选块的频率区域(frequency region)除以(divided by)N，例如7，如图5中所示，其中N为大于1的正整数。然后将第一组预定加权值分配给各相应的被除区域(divided region)；接下来将第一组中的每个预定加权值乘以属于与所述每个预定加权值对应的被除区域的每个候选转换系数，从而获得第一组掩蔽候选转换系数。类似的，第二掩蔽电路533，首先将加到其上的有8×8个像素的每个候选块的频率区域除以N。其后将第二组预定加权值分配给各相应的被除区域，其中将在第二组中的每个预定加权值乘以在与所述每个预定加权值对应的被除区域内的每个候选转换系数，从而获得第二组掩蔽候选转换系数。然后，将分别在第一和第二掩蔽电路532和533获得的第一和第二组掩蔽候选转换系数送到近似计算电路534。

在近似计算电路534，计算每个候选位流和每个邻近位流之间的近似度。即，为计算近似度，首先根据来自块类型确定器531的块类型判决信号，选择将来自第二IQ550的参考块的参考转换系数组乘以第一和第二组预定加权值两者中的任一个，从而获得所有参考块的掩蔽参考转换系数组。之后，根据所述每个候选位流的掩蔽候选转换系数组和所有参考位流的掩蔽参考转换系数组，计算所述每个候选位流的近似度。

例如，如果选择上块和左块的上位流和左位流作为参考位流，每个候选位流的近似度E_TOTAL定义如下：

E_TOTAL＝E_U+E_L其中上近似和左近似E_U和E_L分别代表候选块的掩蔽候选转换系数组与上块和左块的掩蔽参考转换系数组之间的近似度。每个候选位流的上近似和左近似E_U和E_L分别按如下公式计算：

E_{U} = Σ_{j = 1}^{N} {(C_{j}^{CAN} - C_{j}^{U})}^{2}

E_{L} = Σ_{j = 1}^{N} {(C_{j}^{CAN} - C_{j}^{L})}^{2}

其中C_j ^CAN，C_j ^U和C_j ^L分别代表所述每个候选位流，上位流和左位流的第j个掩蔽转换系数，N为转换系数的总数。重复进行这些过程，直到计算了所有候选位流的近似度为止。当获得了所有近似度时，将它们互相比较以从中选择一个最小近似度；并将所选择的最小近似度提供给图2中所示近似位流发生器560。

再回到图2，近似位流发生器560用一个近似位流替代差错位流，其中近似位流为在由图1中所示候选位流发生器300提供的所有候选位流中对应于所选最小近似度的候选位流；并将近似位流作为最佳位流提供给图1中所示缓冲器600。在图1中，缓冲器600通过使用每个块的位置数据存储每个块的最佳位流，其中最佳位流或者是从开关200传送来的位流本身，或者是从近似位流判决设备500送来的近似位流；然后，将存储的最佳位流提供给视频信号解码器(未示出)以便对其进行解码处理。

尽管本发明是相对于具体实施例进行描述的，但对于所属技术领域的熟练人员来说，显然可对本发明作出各种变化和修改，而不脱离如在以下的权利要求中所限定的本发明的实质和范围。

Claims

1.一种方法，用于隐蔽在逐块基础上的视频帧信号的位流中的位差错，以便有选择地将近似位流和该位流两者之一作为最佳位流提供给视频信号解码器，其中视频帧信号划分为多个相同尺寸的块，并且块的位流的位数互不相同，该方法包括步骤：

(a)根据位流的位数顺序地找出与块相对应的位流；

2.根据权利要求1的方法，其中步骤(c)包括步骤：

(c1)如果判决所述每个位流为差错位流，则通过将差错位流的一位或更多位反向产生候选位流；

(c2)将每个候选位流解码以获得所述每个候选位流的转换系数；以及

(c3)根据所述每个候选位流的转换系数判决所述每个候选位流是否具有第一类型的频率特征或第二类型的频率特征，以产生类型判决信号。

3.根据权利要求2的方法，其中步骤(c3)具有步骤：

(c31)计算所述每个候选位流的转换系数的平均值；

(c32)得出所述每个候选位流的平均值和每个转换系数之间的绝对差值，并通过将绝对差值相加来获得总的绝对差值；以及

(c33)将总的绝对差值与一预定的阈值比较以产生作为类型判决信号的比较信号，从而判决所述每个候选位流的类型，其中如果总的绝对差值大于预定的阈值，意味着所述每个候选位流包含的高频分量多于低频分量，则将所述每个候选位流判决为具有第一类型的频率特征，从而产生代表判决结果的比较信号；否则，意味着所述每个候选位流包含的低频分量多于高频分量，则将其判决为具有第二类型的频率特征，从而输出与判决结果相对应的比较信号。

4.根据权利要求3的方法，其中所述发生步骤(e)具有步骤：

(e1)将每个参考位流解码以得出所述每个参考位流的转换系数；

(e2)用选自两组预定加权值的一组预定加权值掩蔽所述每个参考位流的转换系数，以获得所述每个参考位流的掩蔽转换系数，其中预定加权值组是根据类型判决信号选择的；

(e3)顺序地计算所述每个候选位流的掩蔽转换系数和所述每个参考位流的掩蔽转换系数之间的每个近似度，从而提供所有候选位流的近似度；

(e4)将近似度互相比较以从中选择最小近似度；以及

(e5)产生对应于最小近似度的候选位流，将其作为差错位流的最佳位流。

5.根据权利要求4的方法，其中每个候选位流和每个参考位流的每个近似度E_REF按下式计算：

E_{REF} = Σ_{j = 1}^{N} {(C_{j}^{CAN} - C_{j}^{REF})}^{2}

其中C_j ^CAN和C_j ^REF分别代表所述每个候选和所述每个参考位流的第j个掩蔽转换系数，N为转换系数的总数。

6.根据权利要求1的方法，其中每个候选位流与差错位流有一位不同。

7.根据权利要求1的方法，其中参考位流为上块和左块的位流，该上块和左块位于差错位流块的上侧和左侧。

8.一种装置，用于隐蔽在逐块基础上的视频帧信号的位流中的位差错，以便有选择地将近似位流和该位流两者之一作为最佳位流提供给视频信号解码器，其中视频帧信号划分为多个相同尺寸的块，并且块的位流的位数互不相同，该装置包括：

用于根据位流的位数顺序地检测块的位流的设备；

类型判决设备，如果判决所述每个位流不是差错位流，则将所述每个位流作为最佳位流输出，如果是其它情况，则通过使用差错位流产生多个候选位流，并判决每个候选位流是否具有第一类型的频率特征或第二类型的频率特征，以产生类型判决信号；

近似位流发生设备，用于产生所述每个位流的近似位流以将其作为最佳位流提供，其中近似位流是根据所述每个掩蔽候选位流和在空间上与差错位流相邻的参考位流之间的近似度而获得的，每个参考位流没有差错，或者其中的差错已经隐蔽。

9.根据权利要求8的装置，其中类型判决设备包括：

候选位流发生设备，如果判决所述每个位流为差错位流，则通过将差错位流的一位或更多位反向产生候选位流；

将每个候选位流解码以获得所述每个候选位流的转换系数的设备；以及

类型确定器，用于根据所述每个候选位流的转换系数判决所述每个候选位流是否具有第一类型的频率特征或第二类型的频率特征，以产生类型判决信号。

10.根据权利要求9的装置，其中类型确定器具有：

平均值计算器，用于计算所述每个候选位流的转换系数的平均值；

总绝对差值计算器，用于得出所述每个候选位流的平均值和每个转换系数之间的绝对差值，并通过将绝对差值相加来获得总的绝对差值；以及

类型判决电路，用于将总的绝对差值与一预定的阈值比较以产生作为类型判决信号的比较信号，其中如果总的绝对差值大于预定的阈值，意味着所述每个候选位流包含的高频分量多于低频分量，则将所述每个候选位流判决为具有第一类型的频率特征，从而产生代表判决结果的比较信号；否则，意味着所述每个候选位流包含的低频分量多于高频分量，则将其判决为具有第二类型的频率特征，从而输出与判决结果相对应的比较信号。

11.根据权利要求10的装置，其中近似位流发生设备具有：

解码设备，用于将每个参考位流解码以得出所述每个参考位流的转换系数；

掩蔽电路，用于用选自两组预定加权值的一组预定加权值掩蔽所述每个参考位流的转换系数，以获得所述每个参考位流的掩蔽转换系数，其中预定加权值组是根据类型判决信号选择的；

近似计算电路，用于顺序地计算所述每个候选位流的掩蔽转换系数和所述每个参考位流的掩蔽转换系数之间的每个近似度，从而提供所有候选位流的近似度；

用于将近似度互相比较以从中选择最小近似度的设备；以及

用于产生对应于最小近似度的候选位流，将其作为差错位流的最佳位流的设备。

12.根据权利要求11的装置，其中每个候选位流和每个参考位流的每个近似度E_REF按下式计算：

E_{REF} = Σ_{J = 1}^{N} {(C_{J}^{CAN} - C_{J}^{REF})}^{2}

13.根据权利要求8的装置，其中每个候选位流与差错位流有一位不同。

14根据权利要求8的装置，其中参考位流为对应于上块和左块的位流，该上块和左块位于差错位流块的上侧和左侧。