CN101631257A - 一种实现二维视频码流立体播放的方法及装置 - Google Patents

Abstract

本发明公开了一种实现二维视频码流立体播放的方法及装置，主要技术方案包括：对二维视频码流中的每一帧图像进行处理，并将处理后的图像采用预设的显示方式显示；该处理过程包括：确定二维图像的深度信息，根据所述深度信息生成与所述二维图像对应的深度图像；根据所述深度图像中像素点的信息以及所述二维图像中像素点的信息，生成与所述二维图像对应的三维图像。采用该技术方案，避免了现有技术为了实现视频的立体播放效果而进行的复杂的前期制作过程，并且能够提高立体播放效果、节省存储空间。

Description

一种实现二维视频码流立体播放的方法及装置

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种实现二维视频码流立体播放的方法及装置。

背景技术

随着数字多媒体技术的日趋成熟，近年来国际上推出了数字立体电影并得以快速发展，由于数字立体电影给用户带来身临其境的良好体验，已成为目前电影行业的热门研究对象，并被国内外专家认定为电影工业发展的新增长点。

目前数字立体电影的制作主要基于在拍摄阶段和放映阶段进行的特殊处理实现，具体地，在拍摄阶段，利用两台摄影机仿真人眼视角并同时拍摄；在放映阶段，利用两台投影机同步放映至同一面银幕上，并以偏光镜片或通过将光栅加在显示设备表面以分离左右眼不同的画面。

采用以上技术制作立体电影时，在拍摄过程中对两台摄影机的同步性有非常严格的要求，因为即使是几十分之一秒的误差也会让左右眼在感官上产生不协调，因此实际应用中，采用以上技术在拍摄真人实景立体影片方面存在较大的难度，在同步性方面很难满足要求，从而影响立体电影的播放效果。另外，由于立体电影制作过程复杂以及制作费用高，因此目前还未得到广泛应用，仅应用在科技馆等特殊场所的本地播放。而且由于立体视频数据的数据量比二维视频码流的数据量的要大很多，因此无论是在存储方面还是编解码方面都有很高要求，而且数据量大也给网络实时播放、高清等的应用带来巨大的挑战。

综上所述，利用现有技术制作立体电影的过程复杂，播放效果差，并且由于制作方面的高要求，上述立体电影的制作方法也未得到广泛的应用。

发明内容

有鉴于此，本发明实施例提供一种实现二维视频码流立体播放的方法及装置，采用该技术方案，避免了现有技术为了实现视频的立体播放效果而进行的复杂的前期制作过程，并且能够提高立体播放效果、节省存储空间。

本发明实施例通过如下技术方案实现：

根据本发明实施例的一个方面，提供了一种实现二维视频码流立体播放的方法。

根据本发明实施例提供的实现二维视频码流立体播放的方法，对二维视频码流中的每一帧图像进行处理，并将处理后的图像采用预设的显示方式显示；该处理过程包括：

确定二维图像的深度信息，根据所述深度信息生成与所述二维图像对应的深度图像；

根据所述深度图像中像素点的信息以及所述二维图像中像素点的信息，生成与所述二维图像对应的三维图像。

根据本发明实施例的另一个方面，还提供了一种实现二维视频码流立体播放的装置。

根据本发明实施例提供的实现二维视频码流立体播放的装置，该装置用于对二维视频码流中每一帧二维图像进行处理，并将处理后的图像通过预设的显示方式显示；所述装置包括：

深度信息确定单元，用于确定二维图像的深度信息；

深度图像生成单元，用于根据所述深度信息确定单元确定的深度信息生成与所述二维图像对应的深度图像；

三维图像生成单元，用于根据所述深度图像中像素点的信息以及所述二维图像中像素点的信息，生成与所述二维图像对应的三维图像。

通过本发明实施例提供的上述至少一个技术方案，对二维视频码流中的每一帧图像进行处理，即首先根据确定的二维图像的深度信息生成与该二维图像对应的深度图像，然后根据该深度图像中像素点的信息以及二维图像中像素点的信息，生成与二维图像对应的三维图像，并将生成的三维图像采用预设的显示方式显示，从而能够实现二维视频码流立体播放，与现有技术相比，无需进行多视角拍摄，避免了为了达到立体播放效果而进行的复杂的前期制作过程，并且提高了立体播放效果，节省了存储空间。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中对二维图像进行处理的流程图一；

图2为本发明实施例中生成深度图像的流程图；

图3为本发明实施例中二维图像的示意图；

图4为本发明实施例中与图2所示二维图像对应的深度图像示意图；

图5为本发明实施例中对二维图像进行处理的流程图二；

图6为本发明实施例中实现二维视频码流立体播放的装置示意图一；

图7为本发明实施例中实现二维视频码流立体播放的装置示意图二。

具体实施方式

为了给出简化立体电影的制作过程以及提高播放效果的实现方案，本发明实施例提供了一种实现二维视频码流立体播放的方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

根据本发明实施例，首先提供了一种实现二维视频码流立体播放的方法，即对二维视频码流的每一帧二维图像进行处理，具体如图1所示，对二维图像的处理过程包括：

步骤101、确定二维图像的深度信息。

步骤102、根据确定的二维图像的深度信息，生成与该二维图像对应的深度图像。

步骤103、根据生成的深度图像中像素点的信息以及对应的二维图像中像素点的信息，生成与二维图像对应的三维图像。

根据上述流程将二维视频码流中的每一帧图像在播放前转换为三维图像，并将得到的三维图像通过设定的显示方式显示，即可实现二维视频码流的立体播放。

以下对上述流程中各个步骤的详细实现过程进行说明：

步骤101在确定二维图像的深度信息时所依据的基本原理如下：

根据二维图像中不同对象的位置关系，分别确定该不同对象与观看者的相对距离，并将确定的所述距离信息作为该二维图像的深度信息。

根据步骤101确定的深度信息用于表示图像中物体相对观看者的相对距离，为方便理解，对深度信息的确定过程举例如下：

例1：

图像中两个对象的位置关系为：第一对象的一部分被第二对象遮挡，则可以根据该位置关系，确定第一对象离观看者的相对距离较远，第二对象离观看者的相对距离较近，根据该原理，可以确定图像中不同对象相对于观看者的相对距离。

例2：

图像中两个对象的位置关系为：图像中两个对象互不遮挡，则根据该位置关系，可以进一步根据两个对象在图像中的大小与实际大小的比例关系确定离观看者的相对距离，如一个人和一个房子互不遮挡，人在图像中的大小和房子在图像中的大小相同，则显然人离观看者的相对距离较近，房子离观看者的相对距离较远，根据此原理，可以确定图像中不同对象相对于观看者的相对距离。

实际应用中，图像中不同对象的位置关系包括多种形式，例如，两个对象处于平行位置并且两个对象在图像中的大小与实际大小的比例相同，则据此可以确定这两个对象离观看者的相对距离相同，此处不再一一列举。

步骤102中，根据确定的二维图像的深度信息生成与该二维图像对应的深度图像的过程，如图2所述，包括如下步骤：

步骤201、根据二维图像的深度信息确定该二维图形中不同对象中各像素点的灰度值，其中，该对象与观看者的相对距离越小，则确定的该对象中像素点的灰度值越大；

步骤202、利用确定的各像素点的灰度值替换二维图像中对应像素点的像素值，生成与该二维图像对应的深度图像。

上述步骤201的具体实现过程如下：

生成深度图像的过程即将二维图像中不同位置场景中的像素点采用不同灰度值表示，例如，采用256色灰度图像表示，将图像中每一个像素点用0-255之间的一个像素值表示，其中，像素值为“0”表示黑色，像素值为“255”表示白色，介于黑白之间的灰色用“0”与“255”之间的像素值表示。根据该原理，与观看者的相对距离越远的场景中像素点对应的灰度值越小，也就是颜色越深，与观看者的相对距离越近的场景中像素点对应的灰度值越大，也就是颜色越浅。

为了更加直观地展现根据本发明实施例生成的深度图像的效果，结合图3和图4说明利用二维图像生成深度图像的具体过程：

如图3所示，为二维视频码流中的二维图像，根据图像中人手对象与人头对象的位置关系，即图像中的人在身前举起大拇指，可以确定人手与观看者的相对距离较近，人头与观看者的相对距离较远，则人手在深度图像中对应的颜色比人头在深度图像中对应的颜色浅，即组成人手的各像素点的灰度值比组成人头的各像素点的灰度值大，生成的深度图像如图4所示，通过该方式生成深度图像，在显示立体图像的时候，图像中的人手就会浮在图像中人头的前面，人手和人头不在同一平面，从而达到立体效果。

上述步骤103中，生成与二维图像对应的三维图像的过程也就是将二维图像转换为三维图像的过程，即确定二维图像中每个像素点在三维空间对应的三维坐标(X、Y、Z)以及每个像素点在三维空间对应的像素值，具体过程包括：

根据深度图像中像素点的灰度值，以及与该深度图像对应的二维图像中像素点的平面坐标和像素值，生成与二维图像对应的三维图像；

其中：

三维图像中各像素点的纵深坐标(即Z坐标)为该像素点在深度图像中的灰度值，该步骤所依据的原理包括：在生成深度图像时，像素点的灰度值是根据该像素点离观看者的相对距离确定的，而在三维图像中，Z坐标即表示物体距离观察者的距离，因此，将深度图像中每个像素点的灰度值作为各像素点在三维图像中对应的纵深坐标，即Z坐标；

三维图像中各像素点的平面坐标(即X、Y坐标)为该像素点在二维图像中的平面坐标(即X、Y坐标)，三维图像中各像素点的像素值为该像素点在二维图像中的像素值。

根据以上过程，就可以确定三维图像中每个像素点的三维坐标(X、Y、Z)以及每个像素点对应的像素值，从而可以得到三维图像。

根据本发明又一实施例，为了提高视频的立体播放效果，如图5所示，对二维图像的处理过程包括：

步骤501、确定二维图像的深度信息。

步骤502、根据确定的二维图像的深度信息，生成与该二维图像对应的深度图像。

步骤503、根据生成的深度图像中像素点的信息以及对应的二维图像中像素点的信息，生成与二维图像对应的三维图像。

步骤504、对生成的三维图像进行多视角渲染，其中，视角个数根据预设的显示方式确定。

根据上述流程将二维视频码流中的每一帧图像在播放前转换为三维图像，并对三维图像进行多视角渲染，将得到的三维图像通过设定的显示方式显示，从而使观看者在不同角度都可以体验到立体观看效果。

上述流程中，步骤501～步骤503的具体处理过程与上述步骤101～步骤103的具体处理过程相同，此处不再重复描述，以下对步骤504的处理过程进行详细描述：

步骤501中，对生成的三维图像进行多视角渲染时的视角个数，可以依据预设的三维图像的显示方式确定，例如，若预设的显示方式为通过立体显示器显示立体视频，则一般采用8个视角渲染，因为8视角可以使显示器的可视角度变大，即在4个不同的角度，分别渲染4组左右视角图，若观看者在显示器前偏左的位置观看，则看到的就是偏左的那组左右视角图，从而使得观看者在显示器的不同角度，可以观看到不同角度的画面；若预设的显示方式为通过偏光眼镜或者滤光眼镜显示立体视频，则一般只需要渲染2个视角，该2个视角一个为左视角一个为右视角，让渲染的左视角图进左眼，渲染的右视角图进右眼，从而使得观看者感受到不同角度的画面。

对于预设的其它立体图像的显示方式，都可以根据显示方式的特点确定视角个数，此处不一一列举。

确定渲染的视角个数后，可以采用3D MAX技术进行多视角渲染，即从不同的视角模拟不同角度的图片，从而得到不同视角的平面图信息。

根据本发明实施例将二维图像转换为三维图像后，根据预设的显示方式显示处理后的三维图像，从而可以实现二维视频码流的立体播放。其中，预设的显示方式可以有多种，例如，可以通过偏光眼镜或者滤光眼镜显示，或者通过立体显示器显示。采用预设的显示方式显示的过程即将视频信号进行分离，使得左右视角图通过不同显示方式的处理分别到达观看者的左右眼，使人眼能感受到真实的三维立体效果。

与上述流程对应，本发明实施例还提供了一种实现二维视频码流立体播放的装置，该装置用于对二维视频码流中每一帧二维图像进行处理，并将处理后的图像通过预设的显示方式显示，具体如图6所示，该装置包括：

深度信息确定单元601、深度图像生成单元602以及三维图像生成单元603；其中：

深度信息确定单元601，用于确定二维图像的深度信息；

深度图像生成单元602，用于根据深度信息确定单元601确定的深度信息生成与二维图像对应的深度图像；

三维图像生成单元603，用于根据深度图像生成单元602生成的深度图像中像素点的信息以及对应的二维图像中像素点的信息，生成与二维图像对应的三维图像。

一个实施例中，上述深度信息确定单元601在确定二维图像的深度信息时，包括：

根据二维图像中不同对象的位置关系，分别确定不同对象与观看者的相对距离，并将确定的相对距离信息作为该二维图像的深度信息。

一个实施例中，上述深度图像生成单元602，包括：

灰度值确定模块，用于根据深度信息确定单元601确定的深度信息确定不同对象中各像素点的灰度值，其中，图像中对象与观看者的相对距离越小，则确定的该对象中像素点的灰度值越大；

深度图像生成模块，用于利用灰度值确定模块确定的各像素点的灰度值替换二维图像中对应像素点的像素值，生成与该二维图像对应的深度图像。

一个实施例中，上述三维图像生成单元603在生成与二维图像对应的三维图像时，包括：

根据深度图像生成单元602生成的深度图像中像素点的灰度值以及二维图像中像素点的平面坐标以及像素值，生成与二维图像对应的三维图像；

其中，该三维图像中各像素点的平面坐标为各像素点在二维图像中的平面坐标，该三维图像中各像素点的纵深坐标为各像素点在深度图像中的灰度值，该三维图像中各像素点的像素值为各像素点在二维图像中的像素值。

一个实施例中，如图7所示，上述装置还包括：

渲染单元604，用于对三维图像生成单元603生成的三维图像进行多视角渲染，其中，视角个数根据所述预设的显示方式确定。

以上实施例所述装置中各单元或/和各模块所实现功能的具体实现过程与方法流程中相应功能的实现过程对应，此处不再重复描述。

通过本发明实施例提供的上述至少一个技术方案，对二维视频码流中的每一帧图像进行处理，即首先根据确定的二维图像的深度信息生成与该二维图像对应的深度图像，然后根据该深度图像中像素点的信息以及二维图像中像素点的信息，生成与二维图像对应的三维图像，并将生成的三维图像采用预设的显示方式显示，从而能够实现二维视频码流立体播放，与传统的立体视频制作方法相比，具有以下优势：

1、无需进行多视角拍摄，可以将原有的二维视频码流转换成立体码流进行播放，还可以将电视信号等直接进行立体播放，省去了立体视频前期的制作过程；

2、本发明实施例中进行立体播放的码流可以为二维视频码流，因此节省了存储开支。

3、应用范围广泛，可以应用到本地播放，将原始的二维码按照本发明实施例提供的方法进行处理，即可以得到立体播放效果；还可以应用到视频监控、网络游戏、虚拟现实等领域，给用户带来更强的视觉震撼，及更更真实的视觉效果。

4、观看更加灵活，根据本发明实施例，用户可以随心所好，同一码流实现两种观看效果，不采用本发明实施例提供的方法进行二维视频码流播放即可得到普通平面效果，使用本发明实施例提供的方法进行二维视频码流播放则可以得到立体效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1、一种实现二维视频码流立体播放的方法，其特征在于，对所述二维视频码流中的每一帧图像进行处理，并将处理后的图像采用预设的显示方式显示；所述处理过程包括：

确定二维图像的深度信息，根据所述深度信息生成与所述二维图像对应的深度图像；

根据所述深度图像中像素点的信息以及所述二维图像中像素点的信息，生成与所述二维图像对应的三维图像。

2、如权利要求1所述的方法，其特征在于，所述确定二维图像的深度信息，包括：

根据所述二维图像中不同对象的位置关系，分别确定所述不同对象与观看者的相对距离，并将确定的所述距离信息作为所述二维图像的深度信息。

3、如权利要求2所述的方法，其特征在于，所述根据所述深度信息生成与所述二维图像对应的深度图像，包括：

根据所述深度信息确定所述不同对象中各像素点的灰度值，其中，所述对象与观看者的相对距离越小，则确定的所述对象中像素点的灰度值越大；

利用确定的所述各像素点的灰度值替换所述二维图像中对应像素点的像素值，生成与所述二维图像对应的深度图像。

4、如权利要求1所述的方法，其特征在于，所述根据所述深度图像中像素点的信息以及所述二维图像中像素点的信息，生成与所述二维图像对应的三维图像，包括：

根据所述深度图像中像素点的灰度值，以及所述二维图像中像素点的平面坐标和像素值，生成与所述二维图像对应的三维图像；

其中，所述三维图像中各像素点的纵深坐标为所述像素点在所述深度图像中的灰度值，所述三维图像中各像素点的平面坐标为所述像素点在所述二维图像中的平面坐标，所述三维图像中各像素点的像素值为所述像素点在所述二维图像中的像素值。

5、如权利要求1所述的方法，其特征在于，所述处理过程还包括：

对生成的三维图像进行多视角渲染，所述视角个数根据所述预设的显示方式确定。

6、一种实现二维视频码流立体播放的装置，其特征在于，所述装置用于对二维视频码流中每一帧二维图像进行处理，并将处理后的图像通过预设的显示方式显示；所述装置包括：

深度信息确定单元，用于确定二维图像的深度信息；

深度图像生成单元，用于根据所述深度信息确定单元确定的深度信息生成与所述二维图像对应的深度图像；

三维图像生成单元，用于根据所述深度图像中像素点的信息以及所述二维图像中像素点的信息，生成与所述二维图像对应的三维图像。

7、如权利要求6所述的装置，其特征在于，所述深度信息确定单元在确定二维图像的深度信息时，包括：

根据所述二维图像中不同对象的位置关系，分别确定所述不同对象与观看者的相对距离，并将确定的所述距离信息作为所述二维图像的深度信息。

8、如权利要求7所述的装置，其特征在于，所述深度图像生成单元，包括：

灰度值确定模块，用于根据所述深度信息确定所述不同对象中各像素点的灰度值，其中，所述对象与观看者的相对距离越小，则确定的所述对象中像素点的灰度值越大；

深度图像生成模块，用于利用所述灰度值确定模块确定的各像素点的灰度值替换所述二维图像中对应像素点的像素值，生成与所述二维图像对应的深度图像。

9、如权利要求6所述的装置，其特征在于，所述三维图像生成单元在生成与所述二维图像对应的三维图像时，包括：

根据所述深度图像中像素点的灰度值以及所述二维图像中像素点的平面坐标以及像素值，生成与所述二维图像对应的三维图像；

其中，所述三维图像中各像素点的平面坐标为所述像素点在所述二维图像中的平面坐标，所述三维图像中各像素点的纵深坐标为所述像素点在所述深度图像中的灰度值，所述三维图像中各像素点的像素值为所述像素点在所述二维图像中的像素值。

10、如权利要求6所述的装置，其特征在于，还包括：

渲染单元，用于对所述三维图像生成单元生成的三维图像进行多视角渲染，所述视角个数根据所述预设的显示方式确定。

Images