CN103650491A - 用于解码立体视频信号的方法和*** - Google Patents

Abstract

公开了一种用于解码包括一系列合成帧的类型的立体视频信号的方法和***，每个帧包括用于左眼的左图像和用于右眼的右图像。所述方法提供：检测所述合成帧中的至少一个内的一个或多个边缘；基于所述边缘检测来确定所述视频信号的立体格式；以及基于所确定的立体格式来提取右图像和左图像。

Description

用于解码立体视频信号的方法和***

技术领域

本发明涉及3D视频处理，并且特别涉及一种用于解码立体视频信号以显示3D视频内容的方法。

本发明还涉及一种用于通过实施前面提到的方法来处理3D视频的***。

背景技术

已知为了获得图像或视频内容中的3D效果，必须向左眼和右眼提供不同的图像，特别地，相同目标（一般来说，对象或场景）的两个不同视图。

可以通过计算机绘图学电子地生成或者可以通过置于不同位置中且指向相同目标的两个摄像机来获取这两个图像，通常被称为左图像和右图像。一般来说，两个摄像机镜头之间的距离是约6cm，即，类似于两只人眼之间的距离。

通过在不同时间处或利用不同偏振显示左图像和右图像，以及通过向用户相应地提供快门眼镜或偏光眼镜，可以向每只眼睛提供相同目标的不同视图，以便再现3D效果。

因此，立体（或3D）视频流需要两个不同的图像序列，一个用于左眼且一个用于右眼。这将需要相当的2D视频产品的传输带宽的两倍，这对意欲广播立体视频内容的广播公司来说造成了大问题。

为了克服该缺陷，最近由蓝光协会采用以降低带宽需求的解决方案是所谓的“2D+delta”解决方案，其中，在没有抽取的情况下传输左图像（作为2D图像），而将右图像作为相对于左图像的“差图像”进行传输。该解决方案也被称为MVC（多视点编码）并且在ITU H.264规范的附录H中公开。然而，该解决方案未提供充分的带宽减小。为了更好地减小带宽，还已知将两个视图混合在单个帧中，该单个帧也被称为“合成图像”或“合成帧”。通过抽取两个原始图像并且通过在合成图像中以不同方式组织经抽取的左图像和右图像的像素来以不同方式实现混合；作为示例，左图像和右图像可以被并排放置、一个在另一个之上（所谓的“顶-底”格式）放置、或者以棋盘或类似方式将它们混合。

因为不存在用于将左图像和右图像混合到合成帧中的标准方法，所以不同产生器根据不同立体格式产生3D视频内容。

为了准确地再现（在广播中接收到的或者由比如DVD或蓝光盘之类的支持物（support）或大容量存储器读取的）3D视频流，用户应该手动选择用于创建合成图像的3D格式的类型。然而，这是静态解决方案，不适于在任何情形中都使用（例如，在混合具有不同格式的不同3D视频内容的情况下）。

还存在下述缺陷：在接收侧处，即使知道要被再现的视频内容的立体格式（例如，并排），也不知道合成帧中的两个图像中的哪一个是左图像以及哪一个是右图像；将右图像发送到左眼且将左图像发送到右眼产生立体图像的破坏的3D呈现，造成令观看者不愉快的效果。

为了克服该最后缺陷，已知将指示用于合成帧的立体格式和每个子图像在合成帧中的位置的信息模式嵌入到（所传输或存储的）视频信号中。

然而，该解决方案具有增加发射侧处的计算复杂度以及需要解码器能够推断和准确地解释该信息模式的缺陷。

发明内容

本发明的目的是通过提供一种用于解码立体视频信号的非常高效且相对高成本收益的方法和***来克服上述缺陷。

此外，本发明的目的是提供一种用于解码立体视频信号的方法和***，其适用于多个立体格式，并且特别地适用于使用合成图像的那些立体格式。

另一目的是提供一种用于解码立体视频信号的方法和***，其在不需要信息模式嵌入到立体视频信号中的情况下识别立体视频信号的合成帧中的右图像和左图像。

本发明的这些和其他目的由一种用于解码立体视频信号的方法和***来实现，所述方法和***合并了形成本说明书的组成部分的所附权利要求的特征。

根据本发明的一个方面，该方法包括对立体视频流的一个或多个合成帧进行处理以确定使用哪个立体格式（或混合方法）的处理步骤。

该处理步骤优选地由实施用于找到合成帧内的边缘的方法的数学算法（比如离散拉普拉斯算子）来执行。

图像中的边缘是具有较强强度对比度的区域。通过识别合成图像中的边缘，数学算法还将找到将两个左和右图像的像素组分离的线。这些线通常是在其侧边上具有较强强度对比度的线。

优选地，通过将所检测到的边缘与对应于预定立体格式的预定边缘取向进行比较，可以确定用于对立体视频进行编码的立体格式。作为示例，并排格式在合成帧的中间具有垂直边缘，而顶底格式具有水平边缘。

优选地，因为图像可以具有其自身的边缘而与立体格式无关，所以将合成帧处理步骤的结果与将相同数学算法应用于合成图像而获得的统计数据进行比较。换言之，该方法可以包括（在操作期间或在解码器的设计阶段期间完成的）学习阶段，其中，由前面的所述数学算法来处理多个合成图像，并且其中，针对每个立体格式，创建所找到的边缘的统计，以及特别地，所找到的边缘的取向的统计。在操作期间，处理视频流的一个或多个合成帧以便检索边缘，并且将结果与这些统计进行比较以便识别所解码的视频信号的立体格式。

在一个优选实施例中，如果视频信号被压缩（例如利用MPEG技术），则基于帧的大小（即以字节/比特表示）来选择用于识别立体格式的合成帧。这样，通过仅选择大字节帧，可以丢弃比如在影片开始时的那些帧之类的帧，它们几乎全部是黑色的并因此对于识别格式来说无用（如果两个黑色图像被放置成一个在另一个旁边，则根本不存在边缘）。

根据本发明的方法允许视频流的立体格式的自动检测，这在实施上非常简单并且不会在接收侧处增加太多计算复杂度，因此具有低实施成本。

根据本发明的另一方面，该方法可以包括另一步骤，其中从由合成图像提取的两个图像开始，实施深度矩阵的计算。

根据本发明，计算该深度矩阵以确定哪一个是左图像且哪一个是右图像。再一次，这通过统计分析而进行。特别地，因为前景中的对象具有比背景中的对象更大的深度，所以如果深度矩阵在较低部分中呈现较高值，则这将指示已经在计算中使用关于哪一个是左图像的正确假设计算了深度矩阵，否则这意味着初始假设是错误的并且真正的左图像的确是在深度矩阵的计算中被看作右图像的图像。

因此，有利地，该方法在不在视频信号中添加任何信息模式的情况下辨别出右图像和左图像。因此，发射侧处的计算复杂度比使用信息模式的现有技术解决方案更低。

可以在可用的解码***（诸如商用机顶盒）上成功地实施本发明的方法。根据本发明的另一方面，实施上述方法的***包括：

-至少一个第一计算单元，其被适配成利用数学算法来处理立体视频流的合成帧中的一个或多个，以检测所述一个或多个合成帧中的每一个内的至少一个边缘，从而确定该立体视频流的格式；

-至少一个存储单元，其存储所述一个或多个合成帧中的一个的第一图像和第二图像。

附图说明

从根据本发明的用于解码立体视频信号的方法和***的优选非排他实施例的详细描述中，本发明的其他特征和优点将会更加显而易见，借助于附图将所述方法和***描述为非限制性示例，在附图中：

-图1是根据本发明的***的框图；

图2是根据本发明的方法的流程图。

这些图图示了本发明的不同方面和实施例，并且在适当的情况下，不同图中的相似结构、部件、材料和/或元件由类似的附图标记指示。

具体实施方式

图1示出一般用标号1指示的根据本发明的用于解码立体视频信号的***。

解码***1被适配成实施图2的方法并针对包括一系列合成帧的类型的立体视频信号进行操作，该一系列合成帧中的每一个合成帧包括用于左眼的左图像和用于右眼的右图像。

在图1的实施例中，解码***1包括用于接收视频信号、且特别地接收立体视频信号的天线5。

更一般地，解码***1可以是适于接收或读取视频帧的任何设备。作为非限制性示例，解码***1可以是被提供有以下各项的机顶盒或电视机：用于从外部设备接收视频信号的接收器、针对光学支持物（DVD或CD或蓝光盘）的读取器、用于读取比如USB存储棒和硬盘之类的大容量存储器的内容的设备、或用于读取磁性支持物的设备。

根据本发明的一个方面，解码***1包括第一计算单元2，第一计算单元2被适配成处理立体视频信号的一个或多个合成帧以确定该视频信号的立体格式，即，左图像和右图像以哪种方式混合在合成帧中。

作为非限制性示例，立体格式可以是并排、顶-底、棋盘、行交替或任何其他已知方法。在一个实施例中，计算单元2通常凭借被适配成检测立体视频信号的合成帧内的边缘的数学算法来分析（图2的步骤201）该合成帧。

因为合成帧中的右图像和左图像通常被取决于立体格式（以及因此取决于该立体格式的特性）的一个或多个边缘分离，所以通过检测合成帧内的边缘，可以确定（步骤202）视频信号的立体格式并且提取（步骤203）左图像和右图像。

优选地，对于处理步骤201，计算单元2利用了实施比如梯度法或拉普拉斯矩阵之类的方法的数学算法。算法的示例是已知的用于检测数字图像中的边缘的索贝尔（Sobel）算法；该算法针对每个像素提供边缘的值和方向，因而生成表示边缘的位置和取向的信息（特别地，在矩阵的形式下）作为输出。

因为左图像和右图像可以具有其自身的边缘而与立体格式无关，所以在优选实施例中，计算单元2对多个合成帧实施合成帧处理步骤。

在一个实施例中，计算单元2创建边缘矩阵，其包括与合成帧的像素相对应的多个元素。对于每个要被分析的合成帧，如果像素是边缘的一部分，则将对应矩阵元素的值增加一个或多个单位。这样，在已分析多个合成帧之后，计算单元将能够确定存在于所有（或几乎所有）合成帧中的边缘是哪些；这些边缘是取决于立体格式的边缘，并因此是对确定立体格式来说重要的那些边缘。

在一个优选实施例中，如果像素不是边缘的一部分，则将对应矩阵元素的值减小一个单位；这样，计算单元2更快地得到立体格式检测，这是因为以特定方式从边缘矩阵消除或移除临时边缘，从而允许计算单元2更快地得到决策。

要被分析的合成帧的数目可以是预定数目或者可以取决于合成帧处理步骤的结果；特别地，在该后一实施例中，实施处理步骤直到计算单元2处于以预定确定程度（例如90%）确定立体格式的位置为止。可以通过使用针对垂直和水平中心边缘（centering edge）的强度的贝叶斯概率来计算该确定程度。

通常，视频内容以具有一些字（典型地，片头字幕）的一些黑帧开始。这些类型的帧不适于识别立体视频格式，这是因为一个关于右图像且另一个关于左图像的两个黑色区域的并置不会创建边缘并且通常字被置于屏幕的z层中。因此，在优选实施例中，将合成帧处理步骤应用于对特定图或对象来说已知的所选帧。

在压缩数字视频流中，基于帧的大小来进行对这些帧的识别。包括大的均匀区（比如，片头黑帧）的帧被压缩得比表示图像中的多个对象的帧多得多，因此，在优选实施例中，计算单元2分析具有比预定阈值更大的文件尺寸的帧。

在一个实施例中，将在合成帧上实施的边缘检测分析的结果与在计算单元的学习阶段期间获得的数据进行比较。在该学习阶段期间，对具有不同立体格式的多个合成图像实施相同类型的边缘检测分析。

在一个实施例中，对于每种类型的立体格式，生成给出合成帧内的边缘分布的指示的统计表；这样，在操作期间，可以通过将相同边缘检测分析应用于一个或多个合成帧以及通过将结果与统计数据进行比较来识别视频流的立体格式。可以例如通过将对所分析的视频流做出的边缘检测分析结果的矢量投影到在学习阶段期间针对不同立体格式构造的边缘检测分析结果的空间上以及通过计算投影误差来进行比较。如果给定空间的投影误差低于预定阈值，则将该视频流的立体格式确定为与该空间相关联的立体格式。

已识别出立体格式，那么可以识别由其组成的两个图像，以及因此提取左图像和右图像（步骤203）。

根据本发明的另一方面，***1包括能够存储利用上述过程识别的两个图像的存储单元3。

直到该步骤，该方法自身不能够知道这两个图像中的哪一个是左图像且哪一个是右图像；因此，可以将解码***设置成基于立体格式来决定哪一个是左图像，例如如果格式是顶底，则可以将解码***设置成决定顶图像是左图像；如果格式是并排，则可以将解码***设置成决定合成帧的左半部上的图像是左图像。

在一个实施例（图2的步骤204）中，***1被适配成检测在合成帧内哪一个是左图像且哪一个是右图像。为此目的，解码***1还包括第二计算单元4，第二计算单元4被设计成计算指示与合成帧相对应的场景内对象的深度的深度矩阵（步骤204）。

用于计算深度矩阵（或有时被称为差异矩阵）的算法自身是已知的，并且因此在该说明书中不对其进行详细讨论。作为示例，用于计算深度矩阵的算法由MathWorks®提供。

这些算法需要右图像和左图像作为输入。

因为在图像前景中，对象看起来具有比背景对象更大的深度，所以如果已经使用真正的右图像作为右图像来准确地计算深度矩阵，则预期该深度矩阵在下半部中呈现更高的值。因此，通过检验更高深度值在深度矩阵中的位置，可以识别（步骤205）在合成帧中哪一个是右图像且哪一个是左图像。

可以使用完全左图像和右图像来计算深度矩阵，但是这需要巨大的计算复杂度。

由于这个原因，在一个实施例中，仅针对合成帧的减小部分计算深度矩阵，因此仅使用左图像和右图像的对应部分。一般来说，这些对应部分中的每一个包括相应图像的至少一个邻接像素组。此外，每一个邻接像素组都由在一侧长为N个像素且另一侧长为M个像素的矩形中包括的像素组成。

优选地，所考虑的像素组是正方形（即N=M），并且它们的尺寸与针对压缩而考虑的基本单元严格相关。

例如，在MPEG H.264编码中，针对压缩而考虑的基本单元是用于色度信号矩阵的8×8像素的块，因此N=8。

在一个实施例中，如果视频流是传输合成帧的类型的MPEG压缩视频流（因此未根据MVC进行压缩），则由解码***1实施的处理步骤（201-205）仅在某些帧上实施，特别地仅在I帧上实施。

如果图像的左和右边界包含任何相关深度线索（即，边缘），则图像的那些部分对于检测左图像和右图像来说是优选的。常规惯例是在垂直边界处不使对象从屏幕中出来，这是因为否则它们将会被对象后面的视频的帧切割，并且因此将破坏3D幻觉。因此，这些区中的对象应该全部都处于屏幕层上或后面。如果情况相反，则将左图像和右图像交换。

根据本发明的另一方面，第一计算单元2和第二计算单元4可以由单个CPU或类似物制成。

在操作上，当解码***1接收到或读取到立体视频信号时，本发明的***1的第一计算单元2开始处理所接收到的合成帧中的一个或多个以确定立体格式。

在该分析结束时，***1知道该立体格式并且（在优选实施例中）检测存在于合成帧中的两个图像中的哪一个是左图像且哪一个是右图像。

第一计算单元2将每个合成帧的两个子图像分离并且将它们存储在存储单元中。

在下一步骤中，第二计算单元4从存储单元3取得从相同合成帧提取的一对图像并且计算深度矩阵。

通过分析深度矩阵中深度值的分布，第二计算单元4通过识别前景对象是处于矩阵的下半部中还是上半部中来确定哪一个是左视图且哪一个是右视图。

上述公开内容示出本发明完成了所预期的目标并且特别地克服了现有技术的某些缺陷。

所描述的方法和***是非常高效且相对高成本收益的。

上述方法和实施该方法的***允许在没有用户的干预且不需要在立体视频信号内嵌入信号模式的情况下自动解码立体视频流。

可以通过包括程序编码装置的计算机的程序来有利地实施本发明的方法，当该程序在计算机上运行时，所述程序编码装置实施该方法的一个或多个步骤。因此，要理解保护范围被扩展到计算机的这种程序，并且此外还被扩展到在其中具有记录的消息的计算机可读装置，所述计算机可读装置包括用于当在计算机上运行该程序时实施该方法的一个或多个步骤的程序编码装置。

在如所附权利要求限定的本发明构思之内，根据本发明的***和方法容许多种变化和变形。在不偏离本发明范围的情况下，所有细节可以由其他技术上等同的部分代替。

尽管已经特别参考附图描述了***和方法，但是在该公开内容和权利要求中指代的数字仅为了可更好地理解本发明而使用，并不应意图以任何方式限制所要求保护的范围。

将不描述其他实施细节，因为本领域技术人员能够从上面说明书的教导开始实施本发明。

Claims (18)

1.用于解码包括一系列合成帧的类型的立体视频信号的方法，每个帧包括用于左眼的左图像和用于右眼的右图像，所述方法的特征在于包括下述步骤：

-检测（201）所述合成帧中的至少一个内的一个或多个边缘；

-基于所述边缘检测来确定（202）所述视频信号的立体格式；

-基于所确定的立体格式来提取（201-205）右图像和左图像。

2.根据权利要求1所述的方法，其中所述检测步骤（201）通过下述操作执行：利用实施找到图像边缘的方法的数学算法处理所述合成帧中的所述至少一个。

3.根据权利要求2所述的方法，其中所述确定步骤（202）通过下述操作执行：将所检测到的边缘与对应于合成帧的预定立体格式的预定边缘取向的信息进行比较。

4.根据权利要求3所述的方法，其中所述预定边缘取向的信息被包括在边缘的统计数据中，所述统计数据是通过将所述数学算法应用于与不同立体格式相对应的预定合成帧来获得的。

5.根据权利要求4所述的方法，还包括学习阶段，其中利用所述数学算法对多个合成帧进行处理，以针对每个立体格式创建边缘的所述统计数据。

6.根据前述权利要求中任一项所述的方法，其中所述右图像和左图像具有比预定阈值更大的尺寸。

7.根据前述权利要求中任一项所述的方法，其中所述提取步骤包括下述步骤：

-基于所确定的立体格式来识别（203）被包含在所述合成帧中的每一个中的两个图像；

-计算（204）所述两个图像的深度矩阵；

-通过基于所述深度矩阵识别前景对象在合成图像内的位置来确定（205）所述两个图像中的哪一个是所述右图像且所述两个图像中的哪一个是左图像。

8.根据权利要求7所述的方法，其中所述计算步骤（204）在所述两个图像中的第一图像的至少一个部分上以及在所述两个图像中的第二图像的至少一个对应部分上执行。

9.根据权利要求8所述的方法，其中第一和第二图像的所述部分是图像的左边界和右边界。

10.根据权利要求8所述的方法，其中所述图像部分包括矩形的像素，所述矩形的尺寸分别为N个像素和Ｍ个像素。

11.根据权利要求10所述的方法，其中N=M。

12.根据前述权利要求中任一项所述的方法，其中所述合成帧是通过根据在包括并排方法、顶-底方法、棋盘方法的组中选择的方法组合所述右图像与所述左图像来获得的。

13.用于解码包括一连串合成帧的类型的立体视频信号的***，每个帧包括用于左眼的左图像和用于右眼的右图像，所述***（1）被配置成包括用于实施根据权利要求1至12中任一项所述的方法的装置。

14.根据权利要求13所述的***，包括：

-至少一个第一计算单元（2），其被适配成处理所述合成帧中的一个或多个，以检测所述合成帧中的所述一个或多个中的每一个内的至少一个边缘，以便确定所述立体视频信号的格式；

-至少一个存储单元（3），其用于存储所述一个或多个合成帧中的一个的第一图像和第二图像。

15.根据权利要求14所述的***，包括：至少一个第二计算单元（4），其被适配成在所述两个图像中的所述第一图像的至少一个部分上以及在所述两个图像中的所述第二图像的至少一个对应部分上计算深度矩阵，以便确定所述第一图像和所述第二图像中的哪一个是所述左图像且哪一个是所述右图像。

16.根据权利要求15所述的***，其中所述第一计算单元（2）和所述第二计算单元（4）被包括在单个处理单元中。

17.包括计算机程序代码装置的计算机程序，所述计算机程序代码装置被适配成当在计算机上运行所述程序时执行权利要求1至12的方法的所有步骤。

18.一种计算机可读介质，在其上记录有程序，所述计算机可读介质包括被适配成当在计算机上运行所述程序时执行权利要求1至12的方法的所有步骤的计算机程序代码装置。

Images