CN1177259A - 包含随机目标对象的活动图象的编码和解码*** - Google Patents

Abstract

一种活动图象编码装置,包括:目标提取器,提取当前图象中包含的目标并输出目标轮廓数据;预测编码器,实现预测编码操作并产生运动信息、当前图象与参考图象的差值数据以及预测图象数据;目标差值生成器,在差值数据中选择目标区域内的差值数据从而对其进行编码,并产生被选差值数据和编码后的差值数据;加法器,接收预测图象数据和差值数据,并将二者相加从而根据相加结果更新参考图象数据。

Description

包含随机目标对象的 活动图象的编码 和解码***

本发明涉及包含随机目标对象的活动图象的编码和解码***。

近来，为了适用于可视电话和电视会议***以极低比特率发送活动图象的国际标准取得进展。为以极低比特率发送电视图象，人们广泛研究使用面向对象的编码技术，这种编码技术将活动图象中的有意义的目标分割然后将分割后的目标发送出去。面向对象的编码技术被认为是以极低比特率发送活动图象的一项基本技术。在活动图象的面向对象的编码中，需要运动预测技术以去掉关于目标的时间相关性并且为了提高编码效率还需要更精确的运动预测技术。

本发明的一个目的是为包含随机目标的活动图象提供一种编码装置，在该装置中，从图象中提取的随机目标被表示为网格，并且各网格的控制点被用作图象的运动预测编码。

本发明的另一个目的是提供一种解码装置，该解码装置将上述编码装置编得的数据解码。

为实现本发明的上述目的，提供一种用于将包含目标对象的当前图象进行编码的活动图象编码装置，该活动图象编码装置包括；目标对象提取单元，用以从接收到的当前图象数据中提取包含在当前图象中的目标对象并且输出表示所提取目标轮廓的目标轮廓数据；预测编码单元，利用当前图象数据、参考图象的预存数据、划分一个当前图象和参考图象的网格的各控制点实现预测编码操作并且产生涉及控制点的运动信息，当前图象和参考图象之间的差值数据以及预测图象数据；目标差值产生器，用以从来自预测编码单元的差值数据中选择目标区域内的差值数据从而根据目标提取单元输出的目标轮廓数据对被选差值数据进行编码并且输出被选差值数据和编码后的差值数据；以及加法单元，用以接收预测图象数据和被选差值数据，并将它们相加，同时利用加法结果得到的图象数据更新预存在预测编码单元中的参考图象数据，其中预测图象数据是从预测编码单元输出的，被选差值数据是从目标差值产生器选择的。

为了实现本发明的其他目的，还提供了一种用于将活动图象编码装置的输出进行解码的活动图象解码装置，该活动图象解码装置包括：目标轮廓恢复单元，用以将接收到的编码后目标轮廓数据解码并恢复表示当前图象中所包含目标轮廓的目标轮廓数据；差值数据解码单元，用以将接收到的编码后差值数据进行解码并输出差值数据；运动补偿解码单元，用以利用目标轮廓数据、预存参考图象数据、划分一个目标轮廓和参考图象的网格的控制点和有关控制点的运动信息实现运动补偿操作；加法单元，用于将由目标轮廓数据选择的预测图象数据和差值数据相加，并且利用相加结果得到的图象数据更新预存在运动补偿解码单元中的参考图象数据。

参照附图描述本发明的优先实施例，其中；

图1为按照本发明的优先实施例的活动图象编码装置的框图；

图2为图1中网格产生器的详细框图；

图3为对图1中装置所编码的数据进行解码的活动图象解码装置框图；

图4为按照本发明的另一优先实施例的活动图象编码装置框图；

图5为对图4装置所编码的数据进行解码的活动图象解码装置的框图。

参照附图详细描述本发明的优先实施例。

图1所示为按照本发明的优先实施例的活动图象编码装置，目标提取器10接收来自外部源的数字图象数据并从由接收的图象数据所表示的当前图象中提取随机目标。然后，该目标提取器10产生代表被提取目标轮廓信息的目标轮廓数据。该目标轮廓数据被提供给差值数据编码器20和后面将要描述的图3的解码装置。该目标轮廓数据包含确定该目标轮廓的各象素的空间位置或象素组成的段的空间位置。该目标提取器10将目标轮廓数据和接收到的当前图象数据输出到网格产生器12。该网格产生器12根据目标轮廓数据从当前图象中识别出目标区域并且对有关目标区域内的图象进行规则网格表示的信号处理。该网格产生器12的详细结构和操作将参照图2描述。

网格产生器12中的块形成器121(block former)接收从目标提取器10输出的当前图象数据和目标轮廓数据。该块形成器121将收到的图象数据所表示的当前图象划分为各具有预定大小的图象块，并且将代表图象块的图象块数据和目标轮廓数据加到块选择器123。该块选择器123根据目标轮廓数据在构成当前图象的全部图象块中选择包含目标区域中图象数据的图象块。代表被选图象块的数据和目标轮廓数据一起输出到目标图象生成器125(objectimage composer)。此处，只具有不属于目标区域的图象数据的图象块不被选择。因此代表未被选择的图象块的数据不被选到目标图象生成器125。接收被选图象块数据的目标图象生成器125合并各被选图象块，并把合并结果产生的代表目标图象的数据与目标轮廓数据一起送到网格生成器127。接收目标图象数据的网格生成器127将该目标图象划分为规则的矩形网格或规则的三解形网格。

在采用规则的矩形网格划分图象的情况下，网格生成器127将目标图象划分为各具有与块尺寸不同的预定尺寸的栅格。此处栅格的尺寸比块尺寸小。然后该网格生成器127在由划分得到的栅格的各顶点中将包含在目标区域中的各顶点确定为控制点，并且将具有控制点的栅格确定为规则的矩形栅格。该栅格生成器127将包含有关规则矩形栅格的控制点的图象数据的矩形网格数据输出到图1中所示的运动估计和补偿部件14。这里，涉及每一控制点的图象数据包括控制点的位置和在该控制点的位置处的灰度值。以及与该控制点相邻位置的各象素的位置及其灰度值。该网格生成器127还输出当前图象数据到差值计算器18。

在采用规则的三角形网格划分图象的情况下，该网格生成器127将通过上述过程得到的每一规则矩形网格根据网格中图象数据的相似性划分为两个规则的三角形网格。为了判断每一规则矩形网格的图象数据的相似性，该网格控制器127将对应于位于规则矩形网格中45°对角线方向上的两个控制点的象素值之间的差值与对应于其尺寸内-45°对角线方向上的两个控制点的象素值之间的差值进行比较。该网格生成器127按照较小差值的对角线方向划分矩形网格。其结果是每一矩形网格产生两个规则三角形网格。该网格生成器127将包含涉及规则三角形网格的控制点的图象数据的三角形网格数据输出到运动估计和补偿部件14。该网格生成器127还输出当前图象数据到差值计算器18。

该运动估计和补偿部件14利用存储器16中存储的参考图象数据和涉及来自网格生成器12的当前图象中目标图象的网格数据进行运动估计和补偿操作。该运动估计和补偿部件14首先将与每一网格的控制点有关的图象数据与存储器16中存储的参考图象数据作幅度的比较。理想情况下，每一控制点对应于单一象素。即：一个控制点由一个象素的空间位置和灰度值表示。然而，实际中只通过象素与象素比较很难恰好找到与参考图象中控制点相似的图象数据的位置。因此，涉及每一控制点的图象数据是与对应该控制点有关的象素和与对应该控制点邻近的多个象素的图象数据，如网格生成器127中所描述的。该运动估计与补偿部件14根据数据幅度比较结果确定具有与控制点的图象数据最近似的图象数据的参考图象中的位置。然后，运动估计和补偿部件14确定代表控制点及参考图象中相应位置之间的位移的运动矢量。如果对所有控制点确定各运动矢量，运动估计和补偿部件14利用所确定的各运动矢量进行空间变换如图象弯曲(image warping)，并产生当前图象的预测图象。代表预测图象的数据输出到差值计算器18和加法器24。代表对应所有控制点运动矢量的运动信息加到图3所示的装置。由于上述的空间变换在数字图象处理领域已广为人知，所以与之有关的详细描述将被省略。

差值计算器18计算从网格产生器12接收的当前图象与运动估计和补偿部件14输出的预测图象数据之间的差值。在当前图象和预测图象的各对应位置的各象素之间完成差值计算，并且该差值数据结果输出到差值数据编码器20。该差值数据编码器20对差值计算器18送来的差值数据中由目标提取器10的目标轮廓数据所确定的目标区域中的差值数据进行编码。如果由差值数据编码器20所编码的数据被规定为目标区域中的差值数据，则只有有关当前图象的目标的差值数据被编码。因此，差值数据编码器20能够对当前图象进行更有效的编码操作。该差值数据编码器20还对从目标提取器10接收的目标轮廓数据进行编码。为了对目标区域中的差值数据和目标轮廓数据进行编码，该差值数据编码器20使用的是熟为人知的包括离散余弦变换(DCT)等在内的正交变换编码方法。该编码后的目标轮廓数据、编码后的差值数据和运动信息经传送信道(未示出)被传送到后文中将要描述的图3中的解码装置，或者被记录在图3解码装置中使用的存储介质里。

差值数据解码器22接收来自差值数据编码器20的编码后差值数据并通过与差值数据编码器20的信号处理的相反过程恢复差值数据。加法器24将运动估计和补偿部件14输出的预测图象数据与差值数据解码器22的差值数据相加，并将相加结果输出到存储器16中。从加法器24输出的数据是已经完成运动估计和补偿的当前图象的数据，并且该数据被存储在存储器16中作为下一幅图象的运动估计和补偿用的参考图象数据。

如图3所示的活动图象解码装置接收编码后的差值数据、编码后的目标轮廓数据和由图1所示装置产生的运动信息。一目标轮廓恢复器30将编码后的目标轮廓数据解码。该目标轮廓数据输出到网格产生器34。接收该目标轮廓数据的该网格产生器34将整幅图象划分成各具有预定尺寸的栅格，并在由划分得到的栅格的各顶点中确定存在于由目标轮廓数据所确定的目标区域中的顶点作为控制点，以及确定具有控制点的栅格为矩形网格。在图1的网格生成器12被设计成产生代表矩形网格的网格数据的情况下，网格生成器34还产生代表矩形网格的网格数据。同时，在图1的网格生成器12被设计成产生有关三角形网格的网格数据的情况下，该网格生成器34产生关于三角形网格的网格数据。该网格生成器34将产生的网格数据加到运动补偿器38并且将目标轮廓数据加到加法器36。

同时，差值数据解码器32将图1装置产生的编码后的差值数据解码。该差值数据输出到加法器36。运动补偿器38接收网格生成器34输出的网格数据和由图1装置产生的运动信息。运动补偿器38利用包含在对应于当前图象的网格中的控制点、包含在运动信息中的对应于所有控制点的运动矢量以及存储在存储器40中的参考图象数据产生预测图象数据。为了产生预测图象数据，运动补偿器38利用对应于每一控制点的运动矢量找到最近似于该控制点的参考图象中的位置，然后利用空间变换(如图象弯曲)来产生当前图象的预测图象。该运动补偿器38输出产生的预测图象到加法器36。

该加法器36接收从运动补偿器38输出的预测图象数据和从差值数据解码器32输出的差值数据。该加法器36只将全部预测图象数据中由网格生成器34提供的目标轮廓数据所确定的目标区域中的预测图象数据与对应的差值数据相加。经过这样的运算有关当前图象中的目标的图象数据能被恢复。加法器36的输出数据存储在存储器40中用作下一幅图象运动补偿的参考图象数据。

图4所示为按照本发明另一优先实施例的活动图象编码装置。由于图4中与图1相同参考号的方块完成的是同样的功能，所以有关的详细描述被省略。图1装置使用当前图象得到的网格和存储在存储器16中的参考图象数据以产生预测图象数据。与之相反图4装置使用从存储器48中存储的参考图象数据得到的网格和外部输入的当前图象数据以产生预测图象数据。

外部的当前图象数据输入到目标提取器10以及运动估计和补偿部件44。该目标提取器10利用当前图象数据产生目标轮廓数据。该目标轮廓数据输出到差值数据编码器20。网格生成器42读取存储在存储器48中的参考图象数据并且将全部参考图象划分为规则的网格。对于这种划分，该网格生成器42将参考图象划分为规则矩形网格且再次将规则矩形网格划分为规则三角形网格。由于生成规则矩形网格和规则三角形网格的方法与图1中网格生成器12的信号处理相同，因此详细的描述被省略。

该网格生成器42的另一功能是从规则矩形网格或规则三角形网格产生不规则网格。产生不规则网格的过程如下：该网格生成器42从规则三角形网格的控制点中移去一个被选中的控制点，并且对移去该控制点的区域实现三角化。由三角化生成的三角形网格具有不规则的三角形状。这种移去控制点并进行三角化的过程重复进行直到剩余控制点的数量等于预定值。为了移去一个特定的控制点，需要提供当该控制点已经被从该控制点的支撑区(supportregion)去除时得到的图象图形(image descriptiveness)与当该控制点没有被去除时得到的图象图形之间的量化差值。这里，该支撑区是由对应控制点的各邻近控制点和连接这些邻近控制点的线所围绕的区域。在图象图形的各量化差值中对应最小差值的控制点对图象描述没有什么用处，因此被去除。不规则网格生成技术公开在题目名称为“基于去除自适应控制点的不规则三角形网格表示(Irregular Triangular Mesh Representation Based on Adaptive ControlPoint Removal)”的文章中，该文章发表在SPIE的1996年论文集的“可视通信和图象处理”(Visual Communications and Image Processing)中，作者KangW.Chun，Byung Woo Jean和Jae M.Jo。网格生成器42将有关最后生成的不规则三角形网格的信息(即代表剩余控制点和由该控制点围绕的不规则网格的不规则网格数据)输出到运动估计和补偿部件44。该网格生成器42还将从存储器48读取的参考图象数据输出到差值计算器46。

运动估计和补偿部件44接收外部输入的当前图象数据和网格生成器42产生的不规则网格数据并读取存储在存储器48中的参考图象数据。该运动估计和补偿部件44确定在具有最近似于不规则网格的控制点的图象数据在当前图象中的对应位置。在对应位置确定之后，该运动估计和补偿部件44产生控制点及相应位置之间的运动矢量并且利用当前图象使用空间变换产生预测图象。该预测图象数据加到差值计算器46和加法器24，并且代表运动矢量的运动信息经传送信道发送出去或被记录在存储介质中以供解码装置使用。

该差值计算器46产生来自网格生成器42的参考图象数据和来自运动估计和补偿部件44的预测图象数据之间的差值数据，并将该差值数据提供给差值数据编码器20。该差值数据编码器20对目标提取器10输出的目标轮廓数据和差值计算器46输出的差值数据进行编码。该差值数据编码器20以与图1中对应部分相同的方式处理输入数据。因此，从差值数据编码器20输出的编码后数据包括对目标区域中差值数据进行编码得到的数据和编码后的轮廓数据。编码后的数据经传送信道发送到接收端(图中未示)或记录在记录介质中(未示)。在编码后数据中的编码后差值数据被传送到差值数据解码器22。

该差值数据解码器22将在差值数据编码器中编码的差值数据解码，并将解码后的差值数据提供给加法器24。该加法器24将运动估计和补偿部件44提供的预测图象数据和差值数据解码器22的差值数据相加，其结果存储在存储器48中作为下一幅图象的运动估计和运动补偿的参考图象数据。

图5所示为对应图4装置的活动图象解码装置。由于图5中与图3中具有相同参考号的各方块完成的是相同的功能，所以其详细描述被忽略。该编码后的目标轮廓数据输入到目标轮廓恢复器30，同时运动信息输入到运动补偿器52。另外，编码后的差值数据输入到差值数据解码器32。该差值数据解码器32将编码后的差值数据解码并将解码后的差值数据输出到加法器56。该目标轮廓恢复器30将编码后的目标轮廓数据解码并将解码后的目标轮廓数据输出到网格生成器34。该网格生成器34读取存储在存储器54中的参考图象数据，并且将目标轮廓数据确定的参考图象中的目标区经与图4中网格生成器42同样的信号处理过程划分为不规则网格，网格生成器5 1输出的网格数据送到运动补偿器52。该运动补偿器52利用网格数据、运动信息和存储在存储器54中的参考图象数据产生预测图象数据。该加法器56将预测图象数据和差值数据解码器32输出的差值数据相加。其产生的当前图象存储在存储器54中以作为下一幅图象的运动补偿的参考图象数据。

如上所述，按照本发明的编码和解码***根据包含于图象中随机目标的网格表示实现运动估计和运动补偿。其结果是：与对整幅图象进行运动估计和运动补偿相比能够实现更有效的编码。因此，可以设计出适于应用极低比特率的装置。

虽然这里仅仅描述了本发明的某些实施例，而很明显在不脱离本发明的要旨和范围的情况下可以对本发明做许多修改。

Claims (18)

1.用于对包含目标的当前图象进行编码的活动图象编码装置，该活动图象编码装置包括：

目标提取装置，用以从收到的当前图象数据中提取其中包含的目标并输出表示所提取目标的轮廓的目标轮廓数据；

预测编码装置，它利用所述当前图象数据、预先存储的参考图象数据以及划分其中一幅当前图象和参考图象的网格的控制点实现预测编码操作，并产生涉及该控制点的运动信息、所述当前图象与所述参考图象之间的差值数据和预测图象数据；

目标差值生成器装置，用以在所述预测编码装置提供的所述差值数据中选择目标区内的差值数据从而根据目标提取装置输出的所述目标轮廓数据对所选差值数据据进行编码，并输出所述所选差值数据和所述编码后差值数据；和

加法装置，用以接收所述预测编码装置输出的所述预测图象数据和所述目标差值生成器装置输出的所述所选差值数据，并将所述预测图象数据和所述被选差值数据相加以及利用相加得到的图象数据对预存储在所述预测编码装置中的参考图象数据进行更新。

2.如权利要求1所述的活动图象编码装置，其中所述预测编码装置利用空间变换进行预测编码操作以产生所述预测图象数据。

3.如权利要求1所述的活动图象编码装置，其中所述预测编码装置包括：

存储器，用以存储参考图象数据；

网格生成器，用以根据来自所述目标提取装置的所述目标轮廓数据确定规则网格并输出代表该确定的规则网格的网格数据，其中该规则网格是在将整幅图象划分为预定尺寸的网格中具有位于所述当前图象的目标区内的顶点为控制点的规则网格；

运动估计和补偿部件，用以根据对有关该控制点的参考图象的运动估计生成运动信息，并利用存储在所述存储器中的所述参考图象数据和所述网格生成器输出的所述网格数据生成其控制点的运动被补偿的预测图象数据；及

差值数据生成器，用以生成所述当前图象数据与所述预测图象数据之间的差值数据。

4.如权利要求3所述的活动图象编码装置，其中所述网格生成器包括；

块生成器，用以输出代表多个块的图象块数据，其中这些块是划分与收到的所述当前图象数据有关的当前图象得到的，且每一块具有预定尺寸；

块选择器，用以在所述块生成器输出的所述图象块数据中选择包含由所述目标轮廓数据确定的目标区域的图象数据的图象块数据；

目标图象生成器，用以通过将所选图象块数据的图象块合并生成目标图象；以及

网格生成器，用以在以一定尺寸划分整幅图象的大量栅格的顶点中确定由所述目标图象生成器构成的目标区域内所包含的顶点作为控制点，并且确定具有这些控制点的栅格作为矩形网格。

5.如权利要求4所述的活动图象编码装置，其中所述网格生成器输出代表规则三角形网格的网格数据，该规则三角形网格是由规则矩形网格得到的。

6.如权利要求5所述的活动图象编码装置，其中所述规则三角形网格是根据每个规则矩形网格的控制点之间的数据相似性通过沿着45°或-45°对角方向划分网格得到的。

7.如权利要求1所述的活动图象编码装置，其中所述预测编码装置包括：

存储器，用以存储参考图象数据；

网格生成器，用以利用存储在所述存储器中的所述参考图象数据，确定具有位于该参考图象中作为控制点的顶点的不规则网格，并输出代表已确定的不规则网格的网格数据；

运动估计和补偿部件，用以根据对应控制点的当前图象的运动估计生成运动信息，以及利用所述当前图象数据和所述网格生成器输出的所述网格数据生成其控制点运动被补偿的预测图象数据；以及

差值数据生成器，用以生成所述参考图象数据和所述预测图象数据之间的差值数据。

8.如权利要求7所述的活动图象编码装置，其中所述网格生成器生成代表不规则网格的网格数据，该不规则网格是根据自适应控制点的去除由不规则三角形网格表示产生的。

9.根据权利要求1所述的活动图象编码装置，其中所述目标差值生成器装置对被选差值数据完成正交变换编码。

10.如权利要求1所述的活动图象编码装置，其中所述目标差值生成器装置包括：

差值数据编码器，用以从所述预测编码装置输出的差值数据中选择属于所述目标轮廓数据所确定的目标区域的差值数据，并且对被选的该差值数据和该目标轮廓数据进行编码从而输出编码后的差值数据和编码后的目标轮廓数据；以及

差值数据解码器，用以将所述差值编码器输出的编码后差值数据进行解码并输出被选差值数据。

11.为活动图象编码装置输出用的活动图象解码装置，该活动图象解码装置包括：

目标轮廓恢复装置，用以将接收到的编码后的目标轮廓数据进行解码，并恢复表示当前图象中包含的目标轮廓的目标轮廓数据；

差值数据解码装置，用以将接收到的编码后的差值数据进行解码并输出差值数据；

运动补偿解码装置，用以利用目标轮廓数据、预先存储的参考图象数据和划分其中一个目标轮廓和参考图象的网格的控制点以及有关该控制点的运动信息进行运动补偿操作；

加法装置，用以将所述目标轮廓数据所选择的预测图象数据与差值数据相加，并利用相加结果得到的图象数据更新预先存储在运动补偿解码装置中的参考图象数据。

12.如权利要求11所述的活动图象解码装置，其中所述差值数据解码装置对编码后的差值数据完成正交变换解码。

13.如权利要求11所述的活动图象解码装置，其中所述运动补偿解码装置利用空间变换实现运动补偿以产生预测图象数据。

14.如权利要求11所述的活动图象解码装置，其中所述运动补偿解码装置包括：

存储器，用以存储参考图象数据；

网格生成器，用以在以预定尺寸划分整幅图象的网格中确定具有位于由所述目标轮廓恢复装置输出的目标轮廓数据所确定的目标区域作为控制点的顶点的网格，并将代表所确定网格的网格数据和目标轮廓数据输出；以及

运动补偿部件，它利用存储在存储器中的所述参考图象数据和所述网格数据生成其相对于控制点的参考图象的运动被补偿的预测图象数据。

15.如权利要求14所述的活动图象解码装置，其中所述网格生成器输出的网格数据包括属于该所确定网格的顶点的位置信息。

16.如权利要求14所述的活动图象解码装置，其中所述网格生成器输出与规则矩形网格有关的网格数据。

17.如权利要求11所述的活动图象解码装置，其中所述活动图象解码装置包括：

存储器，用以存储参考图象数据；

网格生成器，用以确定网格和输出代表所确定网格的网格数据，其中该网格用以在存储于所述存储器中的参考图象数据中划分属于由目标轮廓数据确定的目标区的参考图象；以及

运动估计和补偿部件用以生成预测图象数据，该预测图象数据相对于属于该网格的控制点的参考图象的运动利用收到的运动信息、存储在存储器中的所述参考图象数据和所述网格数据被补偿。

18.如权利要求17所述的活动图象解码装置，其中所述网格生成器根据相对于属于目标区的参考图象的自适应控制点去除生成由不规则三角形网格表示所产生的代表该不规则网格的网格数据。

Images