CN1672432B - 用于编码数字视频信号的方法和设备 - Google Patents

Abstract

本发明涉及用于编码数字视频序列的方法和编码器，所述数字视频序列包括一些包含差异图的图像组，所述差异图被使用来从一个图像组的参考图像重构所述图像组的一个图像。该方法的特征在于包括以下步骤：编码要被使用于重构图像的差异图的类型，以及编码差异图。使用：在视频通信***中的编码器。

Description

用于编码数字视频信号的方法和设备

本发明涉及编码数字视频序列的方法，所述数字视频序列包括一些包含差异图(disparity map)的图像组，差异图被使用来从图像组的参考图像重构所述图像组的一个图像。本发明还涉及编码器，所述编码器实施所述方法。

这样的方法例如可被使用于视频通信***，所述***用于MPEG标准内的3D视频应用。

发明背景

视频通信***典型地包括带有编码器的发射机和带有译码器的接收机。这样的***接收输入数字视频序列，经由编码器编码所述序列，发送编码的序列到接收机，然后经由译码器译码发送的序列，最终得到输出数字视频序列，它是输入数字视频序列的重构的序列。接收机然后显示所述输出数字视频序列。3D数字视频序列包括一些带有对象的图像组，通常是一个第一个纹理图像组连同另一个被称为差异图像或差异图的图像组。图像包括一些像素。

数字视频信号的每个图像按在MPEG范围内已经提出的不同的通用编码方案被编码。例如，在1995年11月在MPEG Meeting of Dallas(Texas)期间由ISO/IEC编辑的、参考MPEG2标准的“Draft amendmentN°3 to 13818-2 Multi-view profile-JTC1/SC29/WG11N1088”，已设置了用于同一个视频序列的不同视图的编码的基础。正如在大多数传统的视频编码方案中那样，主要的原理不仅仅使用一个视频序列内的时间和空间冗余度，而且也使用在视频序列内不同的观看点之间的冗余度，其中每个观看点是一个图像，例如分别由左摄影机和右摄影机捕获的左图像和右图像。由于从两个稍微不同的观看点看见的视频序列的对象差别不太大，因此有可能藉助于预测矢量(也称为差异矢量)从参考观看点预测观看点的一大部分。

由于总有可能具有都是沿同一个方向的差异矢量，经常假设只有水平的差异矢量。在这种情形下，差异矢量由单个数值定义，称为差异数值。差异图是一个图像，其中每个像素被分配以一个差异数值。

这些差异数值被编码器编码并被发送到译码器。参考图像也被发送到译码器，例如左译码器。所述译码器在其它参数之外特别使用差异数值以从参考图像重构右图像。

有各种各样的、本领域技术人员熟知的编码方案，如基于DCT的、无损的游程编码或基于网格的方案，它们可被使用来编码图像。在所有这些编码方案中，差异数值通常是按n整数值(常常是在代表256灰度级的8比特数据上)被编码。

这些编码方案的一个不方便处是，在接收机端，人们不能精确地知道如何仅仅从这些灰度级数据来转换纹理图像的差异图。

事实上，取决于视频序列内容，纹理图像的差异图会剧烈地改变，因此该转换也剧烈地改变。

如果视频序列只包含在非常近的距离拍摄的对象，则差异可能需要相当精确，具有子像素的精度。相反，如果摄影机聚焦在相当远的对象，子像素精度就可能是不令人感兴趣的，而可能有某些非常大的差异数值。最后，可能有混合的情形，在场景内有不同的感兴趣的区域以及需要非线性变化的差异数值组。

所以，因为现有技术的差异图的转换的这个问题，在接收机端，常常要进行3D显示的人工调谐，以便：

-以3D方式正确地观看重构的视频序列，以使得重构的图像等于原始图像或比起原始图像具有很少的失真，和/或

-以3D方式正确地观看在一个先前的3D视频序列之后的由2个不同的广播装置发送的第二3D视频序列，例如如果这两个视频序列具有完全不同的、分配给它们的差异数值的话。

如果人工调谐必须非常经常地进行，则这造成3D视频序列的观看者的不方便。

发明目的及概要

因此，本发明的一个目的是提供用于编码数字视频序列的方法和编码器，所述数字视频序列包括一个包含参考图像以及与之相关的差异图的图像组，所述差异图包括对应于参考图像中的各个像素的相应值，这允许精确地转换差异图。

为此，所述方法包括以下步骤：

-对于在将所述差异图的相应值转换为相应差异值时所要应用的转换的类型进行编码，其中所述相应差异值被使用来基于该参考图像重构该图像组的图像，以及

-编码差异图。

另外，提供了一个编码器，其包括第一编码装置，其适配于对于在将所述差异图的相应值转换为相应差异值时所要应用的转换的类型进行编码，其中所述相应差异值被使用来基于该参考图像重构该图像组的图像，以及第二编码装置，用于编码差异图。

正如我们可以详细看到的，通过编码差异图的类型和更精确地通过编码从8比特的灰度级计算差异数值的方法，3D视频序列的差异图被有效地表示，以及在视频链的显示器端差异图的处理自动地进行。

附图简述

在参照附图和阅读以下详细说明后，将明白本发明的附加的目的、特性和优点，其中：

图1显示包括按照本发明的编码器和译码器的视频通信***，以及

图2是由图1的编码器执行的编码方法的示意图。

发明详细描述

在以下的说明中，本领域技术人员熟知的功能或结构将不作详细描述，因为它们会以不必要的细节模糊本发明。

本发明涉及用于编码数字视频序列的方法，所述数字视频序列包括一些图像组，通常是一个第一个纹理图像组连同被称为差异图像或差异图的另一个图像组。差异图被使用来从一个纹理图像组的参考图像重构所述纹理图像组的一个图像。

这样的方法可以在用于MPEG2或MPEG4中的3D视频应用的视频通信***SYS内使用，其中所述视频通信***包括发射机TRANS、传输媒体CH和接收机RECEIV。所述发射机TRANS和接收机RECEIV分别包括编码器ENC和译码器DEC。

为了通过传输媒体CH有效地发送一些视频序列，所述编码器ENC对于视频序列实施编码，然后编码的视频序列被发送到译码器DEC，其译码所述序列。最后，接收机RECEIV显示所述视频序列。

3D视频序列包括具有对象的一些图像组，其中图像由多个像素代表。

从两个稍微不同的观看点看见的视频序列的一个对象不是非常不同的。所以，藉助于预测矢量(也称为差异矢量)从参考观看点预测观看点的一大部分。

由于总有可能具有都是沿同一个方向的差异矢量(例如，按照外偏振约束条件校正原先的立体像对)，可以假设只有水平的差异矢量(视频摄影机的“并行立体设置”的一般情形)。在这种情形下，差异矢量由单个数值定义，被称为差异数值。在说明书的剩余部分，差异矢量将被称为差异数值。当然，这决不应是限制性的。差异图是一个图像，其中每个像素被分配以一个差异数值。

例如当参考图像和另一图像代表视频序列的同一个场景的两个不同的观看点时，这些差异数值允许定义在时间t在参考图像与另一个图像之间的对象的像素的移位。场景的两个观看点是由被放置在不同的地点的两个摄影机发出(issue)的。

为了由压缩算法有效地编码，差异数值由n整数值代表，经常是按代表256灰度级的8比特数据。主要的问题是在编码的n整数值与差异数值之间的转换可能是不同的类型。

差异图也涉及图像的对象的的深度。粗略地，在大多数3D图像的经典的表示法中，在参考图像中对象越远(大的深度)，在重构的图像中所述对象的运动越不明显。相反，在参考图像中对象越近，在重构的图像中所述对象的运动越明显。

为了减少经由传输媒体发送的信息，使用在观看点之间的冗余。因此，由于从两个不同的观看点看见的对象不是非常不同，有可能从另一个观看点预测一个观看点。一个观看点(即参考观看点)将被编码，以及经由传输媒体CH被发送到接收机RECEIV。所述接收机RECEIV将对其进行译码、重构原始参考观看点以及藉助于分配给所述参考观看点的差异矢量或数值从参考观看点得出另一个观看点。

编码器ENC包括第一编码装置，其适配于编码要被使用于重构图像的差异图的类型，以及第二编码装置，用于编码差异图。

视频序列的编码被如下地进行以及被显示于图2。

在第一步骤1)，差异图的类型被编码，其中类型代表转换(即计算)差异数值的方法。在一个非限制性实施例中，标记C1编码差异图的所述类型。在所述实施例的第一变例模式中，对用于视频序列内的每个图像设置所述标记C1。在所述实施例的第二变例模式中，例如在图像组的报头中对于图像组设置所述标记C1，所述报头在参考MPEG2标准的“ISO/IEC 13818-2：2000 Information technology-Genericcoding of moving picture and associated audio information：Video(ISO/IEC 13818-2：2000信息技术一移动画面和相关的音频信息的通用编码：视频)”中定义。

这个图像组(也称为GOP“画面组”)具有同一个差异图表示的特性，即，差异数值以相同的方式计算。类型标记例如可按3比特被编码以表示差异图。它也可以具有可变的长度。

以下的非限制性表示法可被应用于差异图：仿射(affine)、对数、多项式、分段平面。

例如，在仿射表示法的情形下，用以下公式计算差异数值。

差异数值＝(N_integer-Shift)/Dynamic，其中N_integer代表按8比特编码的256个灰度级，Shift代表图像相对于视频***(如电视机)的用户的3D立体景深特性(3D图像给出“进入”或“伸出”屏幕的感觉)，以8比特被编码，以及Dynamic代表对象在它们中间的深度，以4比特被编码。

在第二步骤2)，如果差异图表示法的表示需要某些参数，则这些参数也被编码。

例如，在仿射表示法的情形下，Shift和Dynamic数值是被编码的两个参数P1和P2。

在第三和最后的步骤3)，差异图(即，灰度级)用通用编码方法(如DCT、无损方法、网格方法...)被编码。

优选地，(一个或多个)标记C1和相关的参数P1，P2...被放置在编码的差异图之前。它们不必正好在差异图之前发送。

应当指出，标记(以及视情况而定，它的相关的参数P1，P2...)是与相关的图像或图像组一起被发送的。

在译码器DEC端，类型标记的知识将告诉所述译码器，它是否必须等待附加的参数。

因此，本发明的一个优点是告诉译码器、从而告诉接收机如何精确地使用图像上的差异表示，以便从一个纹理图像组的另一个图像重构纹理图像组的一个图像。

标记的使用允许简单地定义差异图的类型。而且，它不使用太多的存储器，与使用表格相反，所述表格例如将把有关如何移动像素的说明归于灰度级的每个数值。

这样的表格也具有这样的不方便性：每次差异图表示改变时都要发送这样的表格，也就是说，必须发送许多比特。

本发明的另一个优点在于，它根据参考观看点和相关的差异图改进观看点。事实上，利用标记C1(以及可能的话还利用各参数)，被重构的观看点的重构更为精确，因此，重构的观看点更好地拟合于原始观看点。(一个或多个)标记被使用来说明差异图应如何被解译，这允许对观众来说一致的3D效果，而不管什么转换功能原先被使用来编码差异数值。

最后，本发明的第三优点在于，当根据参考观看点和相关的差异图重构一个视图时，我们必须填充相应于在参考视图中未看到的、重构的视图的各部分的空洞。这些空洞的宽度取决于差异的动态，并因此取决于差异图表示。如果人们想要构建用于填充重构的视图中的空洞的图像的增强层，则对于计算差异数值的方法的精确的参考现在是可提供的。

应当看到，本发明并不限于上述的实施例，而是可以在不背离如在所附权利要求书中规定的本发明的精神和范围的条件下作出变化和修正。在这方面，作出以下结语。

应当看到，本发明并不限于上述的3D视频应用。它可以在使用用于处理信号的***的任何应用内使用，其中所述信号用灰度级(诸如加热信号)表征。

应当看到，按照本发明的方法并不限于上述的实施方案。

有各种各样的方式来通过硬件项或软件项或二者实施按照本发明的方法的功能，只要单个硬件或软件项可以执行几个功能。不排除硬件或软件项或二者的组件执行一个功能，因此形成单个功能，而不用修正按照本发明的处理视频信号的方法。

所述硬件或软件项可以以几个方式被实施，诸如分别藉助于连线的电子电路或藉助于适当编程的集成电路。集成电路可被包含在计算机或编码器中。在第二种情形下，正如之前所描述的那样，编码器包括第一编码装置，其适配于编码要被使用于重构图像的差异图的类型，以及第二编码装置，用于编码差异图，所述装置是如上所述的硬件或软件项。

集成电路包括指令组。因此，被包含在例如计算机编程的存储器或编码器存储器中的所述指令组可以使得计算机或编码器执行译码方法的不同的步骤。

指令组可以通过读取数据载体(例如盘之类)而被加载到编程的存储器中。业务提供商也可以通过通信网络(例如因特网之类)使得指令组是可供使用的。

在以下的权利要求书中的任何附图标记不应当被解释为限制权利要求。将会看到，动词“包括”和它的派生词并不排除除了在任何权利要求中规定的那些步骤或元件以外的其他步骤或元件的存在。在元件或步骤前面的冠词“一个”并不排除多个这样的元件或步骤的存在。

Claims (5)

1.一种编码数字视频序列的方法，所述数字视频序列包括一个包含参考图像以及与之相关的差异图的图像组，所述差异图包括对应于参考图像中的各个像素的相应灰度级值，其特征在于，该方法包括以下步骤：

-对于在将所述差异图的相应灰度级值转换为相应差异值时所要应用的转换的类型进行编码，其中所述相应差异值被使用来基于该参考图像重构该图像组的图像，以及

-编码差异图。

2.如权利要求1中要求的处理数字视频序列的方法，其特征在于，所要应用的转换的类型的编码是通过标记完成的。

3.如权利要求1中要求的处理数字视频序列的方法，其特征在于，所要应用的转换的类型的编码后面跟随一个公式的一组参数，所述转换是按照该公式而进行的。

4.一种用于编码数字视频序列的编码器(ENC)，所述数字视频序列包括一个包含参考图像以及与之相关的差异图的图像组，所述差异图包括对应于参考图像中的各个像素的相应灰度级值，其特征在于，该编码器包括：

第一编码装置，适配成对于在将所述差异图的相应灰度级值转换为相应差异值时所要应用的转换的类型进行编码，其中所述相应差异值被使用来基于该参考图像重构该图像组的图像；以及

第二编码装置，用于编码差异图。

5.一种能够接收数字视频序列的视频通信***，包括：如权利要求4中要求的、用于编码所述数字视频序列以便获得编码的视频信号的编码器(ENC)；用于发送编码的视频信号的传输信道；和用于译码所述编码的视频信号的译码器(DEC)。

Images