CN102724528B - 一种深度图生成装置 - Google Patents

Abstract

本发明提出一种深度图生成装置，包括：输入模块，用于设置视频同步信号、用户变量输入参数、以及多通道图像数据；灰度转换模块，用于计算各个像素的灰度数据；深度最小路径求取模块，用于根据灰度数据生成最小深度路径；深度精化模块，用于根据最小深度路径得到精化深度数据和平滑深度数据；用户变量设置模块，用于根据用户变量输入参数，对平滑深度数据进行更新计算，以生成最终深度数据；同步信号处理模块，用于对视频同步信号进行输出同步处理；以及输出模块，用于设置输出参数，其中，输出参数包括各个像素的最终深度数据以及更新后的视频同步信号。根据本发明实施例的装置，具有计算速度快，可直接实时转换的优点。

Description

一种深度图生成装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种深度图生成装置。

背景技术

立体视频具有逼真的、身临其境的视觉效果，在广告、影视、游戏、体育展示等多个领域均有应用，特别是在立体电视领域具有广阔的应用前景。在立体视频内容制作过程中，通常需要将平面视频转换为立体视频。

通常，首先要生成深度图，由深度图可以生成所需视角的立体视频图像。现有技术生成深度图主要有三种途径，分别是人工绘制、半自动深度图生成以及全自动深度图生成。其中，人工绘制主要通过人工参与对图像进行区域分割再对不同区域进行深度赋值，这种方法对人工参与依赖性强，人力成本高，耗时巨大。半自动深度图生成是利用人工参与以及计算机辅助共同完成深度图绘制，目前主要有基于机器、基于图像分割等算法，这些方法计算复杂度高，实时性差，人工辅助成本以及较高。全自动深度图生成主要通过电脑进行计算，通过对图像理解进行深度图生成，如果要实现实时计算对硬件配置要求较高，设备便携性差，与电视或机顶盒等家用设备接口复杂。

发明内容

本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种计算速度快，可直接实时转换的深度图生成装置。

为了实现上述目的，根据本发明的深度图生成装置包括：输入模块，用于设置输入参数，其中，所述输入参数包括视频同步信号、用户变量输入参数、以及多通道图像数据；灰度转换模块，用于根据所述多通道图像数据计算各个像素的灰度数据；深度最小路径求取模块，用于根据所述各个像素的所述灰度数据生成所述各个像素的最小深度路径；深度精化模块，用于根据所述各个像素的所述最小深度路径进行精化取值，得到所述各个像素的精化深度数据，并生成所述各个像素的平滑深度数据；用户变量设置模块，用于根据所述用户变量输入参数，对所述各个像素的所述平滑深度数据进行更新计算，以生成所述各个像素的最终深度数据；同步信号处理模块，用于对各种分辨率下所述视频同步信号进行输出同步处理，得到更新后的视频同步信号；以及输出模块，用于设置输出参数，其中，所述输出参数包括所述各个像素的所述最终深度数据以及所述更新后的视频同步信号。

根据本发明实施例的深度图生成装置，具有如下优点：

1.该装置体积小、集成度高、硬件兼容性强、可置于可编程逻辑硬件以及专用芯片等多种硬件平台上。

2.该装置为硬件底层信号处理实现装置，基于单幅平面视频进行实时深度图生成，同时可根据用户设置进行输出，具有并行计算能力强、转换速度快、制作周期短、制作成本低的优点。

在本发明的一个实施例中，还包括：片上内存，所述片上内存包括灰度值行数据缓存空间和深度值行数据缓存空间。

在本发明的一个实施例中，所述用户变量输入参数包括深度调节信号。

在本发明的一个实施例中，输入的所述多通道图像数据为32位RGB图像数据或32位YUV图像数据。

在本发明的一个实施例中，所述灰度转换模块用于当所述多通道图像数据为RGB数据格式时，通过各通道数值加权整数化得到所述灰度数据，当所述多通道图像数据为YUV数据格式时，取亮度通道数值作为灰度数据。

在本发明的一个实施例中，所述灰度转换模块根据以下公式计算所述各个像素的灰度数据：当所述多通道图像数据为RGB数据格式时，gray={[(G+R)+(4R+2B)]+8G}>>4，其中，R、G、B表示所述多通道图像数据的红色通道、绿色通道、蓝色通道图像数据分量值，>>4表示右移四位，gray表示当前像素的灰度数据；以及当所述多通道图像数据为YUV数据格式时，gray=Y，其中Y表示所述多通道图像数据的亮度通道图像数据分量值。

在本发明的一个实施例中，所述深度最小路径求取模块用于：计算当前像素与各个方向相邻像素的灰度差比值；根据所述灰度差比值计算所述当前像素与所述各个方向相邻像素之间的深度路径数据；以及根据所述各个方向的所述深度路径数据，计算所述最小深度路径，其中，所述各个方向相邻像素包括正上方相邻像素、正左方相邻像素和右上方相邻像素，所述各个方向包括正上方、正左方和右上方。

在本发明的一个实施例中，所述计算当前像素与各方向相邻像素的灰度差比值的计算公式为：gray-top=(gray _i，j>(gray _i，j-1+1))?(gray-gray _i，j-1):d；gray-left=(gray_i，j>(gray_i-1，j+1))?(gray–gray_i-1，j):d；gray-top-right=(gray_i，j>(gray_i+1，j-1+1))?(gray–gray_i+1，j-1):d；其中，gray-top为当前像素与正上方相邻像素灰度差对比值，gray_i，j为当前像素灰度值，gray _i，j-1为正上方相邻像素灰度值，d为灰度约束值；gray-left为当前像素与正左方相邻像素灰度差对比值，gray_i-1，j为正左方相邻像素灰度值；gray-top-right为当前像素与右上方相邻像素灰度差对比值，gray _i+1,j-1为右上方相邻像素灰度值。

在本发明的一个实施例中，所述计算当前像素与各个方向相邻像素的深度路径数据的计算公式为：Depth-top=Depth _i，j-1+gray-top；Depth-left=Depth _i-1，j+gray-left；Depth-top-right=Depth _i+1，j-1+gray-top-right；其中，Depth-top为当前像素与正上方相邻像素的深度路径数据，Depth_i，j-1为正上方相邻像素深度值；Depth-left为当前像素与正左方相邻像素深度路径数据，Depth_i-1，j为正左方相邻像素深度值；Depth-top-right为当前像素与右上方相邻像素深度路径数据，Depth_i+1，j-1为右上方相邻像素深度值。

在本发明的一个实施例中，所述计算所述最小深度路径的计算公式为：Depth-min=min（Depth-top，Depth-left，Depth-top-right），其中，Depth-min为当前像素的所述最小深度路径，min表示比较大小并取其最小值。

在本发明的一个实施例中，所述深度精化模块包括：深度数据计算单元，用于对所述最小深度路径进行精化取值，得到所述精化深度数据；以及深度数据判断单元，用于对所述深度精化数据中的高频分量数据进行截断，得到所述平滑深度数据。

在本发明的一个实施例中，所述精化深度数据和所述平滑深度数据的计算公式分别为：Depth-min-final=(Depth-min>>4)+(Depth-min>>4)+(Depth-min>>4)；Depth-final=（Depth-min-final<t）?Depth-min-final：255，其中，Depth-min-final为当前像素的所述精化深度数据，Depth-final为当前像素的所述平滑深度数据，t为平滑阈值。

在本发明的一个实施例中，所述用户变量设置模块包括：深度数据缩放计算单元，用于根据用户输入变量设置多档深度数据，并根据用户的输入变量反馈对所述平滑深度数据进行更新，并将平滑深度数据更新数值作为所述输出深度数据。

在本发明的一个实施例中，所述同步信号处理模块包括帧同步信号同步计算单元、行同步信号同步计算单元、数据有效信号同步计算单元和场同步信号同步计算单元。

通过本发明提出的一种用户可调多分辨率深度图生成装置，能够将平面视频通过硬件底层信号进行直接实时转换生成对应深度图，兼容行分辨率在2047像素点以内的多种分辨率格式，包括1920*1080，1024*768，720*480，1440*900等图像格式，同时可以根据用户设置进行反馈进行深度数据求取。该装置体积小、硬件实现兼容性强且成本低，可以满足多种硬件平台实时立体内容制作的需求，使平面视频高效转化为立体视频。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的深度图生成装置的结构框图；以及

图2是根据本发明一个实施例的深度路径计算示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参考附图描述根据本发明实施例的深度图生成装置。

图1是根据本发明一个实施例的深度图生成装置的结构框图。如图1所示，该深度图生成装置包括：输入模块100、片上内存200、灰度转换模块300、深度最小路径求取模块400、深度精化模块500、用户变量设置模块600、同步信号处理模块700，以及输出模块800。具体地：

输入模块100用于设置输入参数，其中，输入参数包括复位信号、时钟信号、视频同步信号、用户变量输入参数、以及多通道图像数据。视频同步信号包括帧同步信号、行同步信号、数据有效信号和场同步信号。用户变量输入参数包括深度调节信号。多通道图像数据可为32位RGB图像数据或者32位YUV图像数据。输入模块100为外部输入信号接口，提供与硬件底层信号进行直接通信互联。

片上内存200包括灰度值行数据缓存空间210（图1中未示出）和深度值行数据缓存空间220（图1中未示出）。灰度值行数据缓存空间210用于缓存当前像素对应的当前行以及上一行的灰度值数据，以便深度最小路径求取模块400进行最小深度路径数据累加比较计算，灰度值行数据缓存空间210包括所需存取的灰度数据地址、时钟信号、写入数据、读写控制信号以及读出数据，最大可支持单行2047个数据地址位。深度值行数据缓存空间220用于缓存当前像素对应的当前行以及上一行的深度值数据，以便深度最小路径求取模块400进行最小深度路径数据累加比较计算，深度值行数据缓存空间220包括所需存取的深度数据地址、时钟信号、写入数据、读写控制信号以及读出数据，最大可支持单行2047个数据地址位。

灰度转换模块300根据输入的多通道图像数据计算各个像素的灰度数据。当多通道图像数据为RGB数据格式时，各个像素的灰度数据可通过该像素的各通道数值加权整数化得到；当多通道图像数据为YUV数据格式时，各个像素的灰度数据可通过直接取值该像素的亮度通道数值得到。

在本发明一个实施例中，采用下列公式计算各个像素的灰度数据：

当多通道图像数据为RGB数据格式时，gray={[(G+R)+(4R+2B)]+8G}>>4，其中，R、G、B表示多通道图像数据的红色通道、绿色通道、蓝色通道图像数据分量值，>>4表示右移四位，gray表示当前像素的灰度数据；以及

当多通道图像数据为YUV数据格式时，gray=Y，其中Y表示多通道图像数据的亮度通道图像数据分量值。

深度最小路径求取模块400用于根据灰度转换模块300中得到的各个像素的灰度数据生成各个像素的最小深度路径。结合图2，深度最小路径求取模块400求取最小深度路径的过程包括如下步骤：

步骤A.计算当前像素与正上方相邻像素、正左方相邻像素、右上方相邻像素的灰度差比值。

在本发明一个实施例中，计算当前像素与各方向相邻像素的灰度差比值的计算公式为：

gray-top=(gray _i，j>(gray _i，j-1+1))?(gray-gray _i，j-1):d；

gray-left=(gray _i，j>(gray _i-1，j+1))?(gray-gray _i-1，j):d；

gray-top-right=(gray _i，j>(gray _i+1，j-1+1))?(gray-gray_i+1，j-1):d。

其中，gray-top为当前像素与正上方相邻像素灰度差对比值，gray_i，j为当前像素灰度值，gray _i，j-1为正上方相邻像素灰度值，d为灰度约束值，可选地，1<d<3，优选地，d取值为2；gray-left为当前像素与正左方相邻像素灰度差对比值，gray_i-1，j为正左方相邻像素灰度值；gray-top-right为当前像素与右上方相邻像素灰度差对比值，gray _i+1，j-1为右上方相邻像素灰度值。

步骤B.根据当前像素与正上方相邻像素、正左方相邻像素、右上方相邻像素的灰度差比值，计算当前像素与正上方相邻像素、正左方相邻像素、右上方相邻像素之间的深度路径数据。

在本发明的一个实施例中，计算当前像素与各个方向相邻像素的深度路径数据的计算公式为：

Depth-top=Depth _i，j-1+gray-top；

Depth-left=Depth _i-1，j+gray-left；

Depth-top-right=Depth _i+1，j-1+gray-top-right。

其中，Depth-top为当前像素与正上方相邻像素的深度路径数据，Depth_i，j-1为正上方相邻像素深度值；Depth-left为当前像素与正左方相邻像素深度路径数据，Depth_i-1，j为正左方相邻像素深度值；Depth-top-right为当前像素与右上方相邻像素深度路径数据，Depth _i+1，j-1为右上方相邻像素深度值。

步骤C.根据当前像素与正上方相邻像素、正左方相邻像素、右上方相邻像素之间的深度路径数据，计算最小深度路径。

在本发明的一个实施例中，计算最小深度路径的计算公式为：

Depth-min=min（Depth-top，Depth-left，Depth-top-right）。

其中，Depth-min为当前像素的最小深度路径，min表示比较大小并取其最小值。

深度精化模块500用于包括：深度数据计算单元510（图中未示出）和深度数据判断单元520（图中未示出）。其中，深度数据计算单元510用于对最小深度路径进行精化取值，得到精化深度数据；深度数据判断单元520用于对深度精化数据中的高频分量数据进行截断，得到平滑深度数据。

在本发明的一个实施例中，精化深度数据和平滑深度数据的计算公式分别为：

Depth-min-final=(Depth-min>>4)+(Depth-min>>4)+(Depth-min>>4)；

Depth-final=（Depth-min-final<t）?Depth-min-final：255。

其中，Depth-min-final为当前像素的精化深度数据，Depth-final为当前像素的平滑深度数据，t为平滑阈值，可选地，251<t<261，优选地，t取值为256。通过该计算公式，可以对深度数据进行位数控制和高频分量截断，最终将深度数据数值范围控制在0-255之间。

用户变量设置模块600用于根据用户变量输入参数，对各个像素的平滑深度数据进行更新计算，以生成各个像素的最终深度数据。具体地，用户变量设置模块600包括：深度数据缩放计算单元，该单元用于根据用户输入变量设置多档深度数据（例如0档至N-1档，共N档），并根据用户的输入变量反馈（即用户指定某档档位）对平滑深度数据进行更新，并将平滑深度数据更新数值作为输出深度数据。

具体地，在本发明的一个实施例中，允许用户输入变量0～7来设置总共8档输出中的某一档输出，随后深度数据缩放单元根据得到的平滑深度数据乘以某一系数来来更新为某一档输出深度数据。鉴于二进制计算的硬件特征，可以各档的系数之间为1/2的幂函数形式，即可设置0档输出深度值为0，第1档的输出深度值为0.5⁷×(Depth-final)，第2档的输出深度值为0.5⁶×(Depth-final)，第3档的输出深度值为0.5⁵×(Depth-final)，……，第7档的输出深度值为0.5⁵×(Depth-final)。综上，当用户有输入时，深度数据根据用户设置档位进行更新；以及，对于运行时无用户输入的情况，可以设置默认输出为中间级的某档（例如第3档。

同步信号处理模块700用于对各种分辨率下的视频同步信号进行输出同步处理，得到更新后的视频同步信号。其中，同步信号处理模块700包括：帧同步信号同步计算单元、行同步信号同步计算单元、数据有效信号同步计算单元、场同步信号同步计算单元，分别用于根据深度数据生成的数据延迟周期数，进行帧同步信号、行同步信号、数据有效信号以及场同步信号的输出周期计算，保持和深度数据的输出周期同步，最终得到更新后的同步的帧同步信号、行同步信号、数据有效信号以及场同步信号。

最后，输出模块800用于设置输出参数，其中输出参数包括各个像素的最终深度数据以及更新后的视频同步信号。其中，最终深度数据通过用户变量设置模块600提供，最终深度数据为8位深度数据，范围为0-255，；更新后的视频同步信号由同步信号处理模块700提供，包括更新后的帧同步信号、行同步信号、数据有效信号和场同步信号。输出模块为装置外部输出信号接口，提供与硬件底层信号进行直接通信互联。

根据本发明实施例的深度图生成装置，具有如下优点：

1.该装置体积小、集成度高、硬件兼容性强、可置于可编程逻辑硬件以及专用芯片等多种硬件平台上。

2.该装置为硬件底层信号处理实现装置，基于单幅平面视频进行实时深度图生成，同时可根据用户设置进行输出，具有并行计算能力强、转换速度快、制作周期短、制作成本低的优点。

通过本发明提出的一种用户可调多分辨率深度图生成装置，能够将平面视频通过硬件底层信号进行直接实时转换生成对应深度图，兼容行分辨率在2047像素点以内的多种分辨率格式，包括1920*1080，1024*768，720*480，1440*900等图像格式，同时可以根据用户设置进行反馈进行深度数据求取。该装置体积小、硬件实现兼容性强且成本低，可以满足多种硬件平台实时立体内容制作的需求，使平面视频高效转化为立体视频。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种深度图的生成装置，其特征在于，包括：

输入模块，用于设置输入参数，其中，所述输入参数包括视频同步信号、用户变量输入参数、以及多通道图像数据；

灰度转换模块，用于根据所述多通道图像数据计算各个像素的灰度数据；

深度最小路径求取模块，用于首先计算当前像素与各个方向相邻像素的灰度差比值；然后根据所述灰度差比值计算所述当前像素与所述各个方向相邻像素之间的深度路径数据；接着根据所述各个方向的所述深度路径数据，计算所述最小深度路径，其中，所述各个方向相邻像素包括正上方相邻像素、正左方相邻像素和右上方相邻像素，所述各个方向包括正上方、正左方和右上方；

深度精化模块，用于根据所述各个像素的所述最小深度路径进行精化取值，得到所述各个像素的精化深度数据，并生成所述各个像素的平滑深度数据；

用户变量设置模块，用于根据所述用户变量输入参数，对所述各个像素的所述平滑深度数据进行更新计算，以生成所述各个像素的最终深度数据；

同步信号处理模块，用于对各种分辨率下所述视频同步信号进行输出同步处理，得到更新后的视频同步信号；以及

输出模块，用于设置输出参数，其中，所述输出参数包括所述各个像素的所述最终深度数据以及所述更新后的视频同步信号，

其中，所述计算当前像素与各方向相邻像素的灰度差比值的计算公式为：

gray-top＝(gray_i,j>(gray_i,j-1+1))？(gray-gray_i,j-1):d；

gray-left＝(gray_i,j>(gray_i-1,j+1))？(gray–gray_i-1,j):d；

gray-top-right＝(gray_i,j>(gray_i+1,j-1+1))？(gray–gray_i+1,j-1):d；

其中，gray-top为当前像素与正上方相邻像素灰度差对比值，gray_i,j为当前像素灰度值，gray_i,j-1为正上方相邻像素灰度值，d为灰度约束值；gray-left为当前像素与正左方相邻像素灰度差对比值，gray_i-1,j为正左方相邻像素灰度值；gray-top-right为当前像素与右上方相邻像素灰度差对比值，gray_i+1,j-1为右上方相邻像素灰度值，

其中，所述计算当前像素与各个方向相邻像素的深度路径数据的计算公式为：

Depth-top＝Depth_i,j-1+gray-top；

Depth-left＝Depth_i-1,j+gray-left；

Depth-top-right＝Depth_i+1,j-1+gray-top-right；

其中，Depth-top为当前像素与正上方相邻像素的深度路径数据，Depth_i,j-1为正上方相邻像素深度值；Depth-left为当前像素与正左方相邻像素深度路径数据，Depth_i-1,j为正左方相邻像素深度值；Depth-top-right为当前像素与右上方相邻像素深度路径数据，Depth_i+1,j-1为右上方相邻像素深度值，

其中，所述计算所述最小深度路径的计算公式为：

Depth-min＝min(Depth-top，Depth-left，Depth-top-right)，

其中，Depth-min为当前像素的所述最小深度路径，min表示比较大小并取其最小值。

2.如权利要求1所述的深度图的生成装置，其特征在于，还包括：片上内存，所述片上内存包括灰度值行数据缓存空间和深度值行数据缓存空间。

3.如权利要求1所述的深度图的生成装置，其特征在于，所述用户变量输入参数包括深度调节信号。

4.如权利要求1所述的深度图的生成装置，其特征在于，输入的所述多通道图像数据为32位RGB图像数据或32位YUV图像数据。

5.如权利要求1所述的深度图的生成装置，其特征在于，所述灰度转换模块用于当所述多通道图像数据为RGB数据格式时，通过各通道数值加权整数化得到所述灰度数据，当所述多通道图像数据为YUV数据格式时，取亮度通道数值作为灰度数据。

6.如权利要求5所述的深度图的生成装置，其特征在于，所述灰度转换模块根据以下公式计算所述各个像素的灰度数据：

当所述多通道图像数据为RGB数据格式时，gray＝{[(G+R)+(4R+2B)]+8G}>>4，其中，R、G、B表示所述多通道图像数据的红色通道、绿色通道、蓝色通道图像数据分量值，>>4表示右移四位，gray表示当前像素的灰度数据；以及

当所述多通道图像数据为YUV数据格式时，gray＝Y，其中Y表示所述多通道图像数据的亮度通道图像数据分量值。

7.如权利要求1所述的深度图的生成装置，其特征在于，所述深度精化模块包括：

深度数据计算单元，用于对所述最小深度路径进行精化取值，得到所述精化深度数据；以及

深度数据判断单元，用于对所述深度精化数据中的高频分量数据进行截断，得到所述平滑深度数据。

8.如权利要求7所述的深度图的生成装置，其特征在于，所述精化深度数据和所述平滑深度数据的计算公式分别为：

Depth-min-final＝(Depth-min>>4)+(Depth-min>>4)+(Depth-min>>4)；

Depth-final＝(Depth-min-final<t)？Depth-min-final：255，

其中，Depth-min-final为当前像素的所述精化深度数据，Depth-final为当前像素的所述平滑深度数据，t为平滑阈值。

9.如权利要求1所述的深度图的生成装置，其特征在于，所述用户变量设置模块包括：深度数据缩放计算单元，用于根据用户输入变量设置多档深度数据，并根据用户的输入变量反馈对所述平滑深度数据进行更新，并将平滑深度数据更新数值作为所述输出深度数据。

10.如权利要求1所述的深度图的生成装置，其特征在于，所述同步信号处理模块包括帧同步信号同步计算单元、行同步信号同步计算单元、数据有效信号同步计算单元和场同步信号同步计算单元。