CN112700485B

CN112700485B - 图像深度信息提取方法

Info

Publication number: CN112700485B
Application number: CN202011618768.7A
Authority: CN
Inventors: 曾晓宏
Original assignee: Chongqing College of Electronic Engineering
Current assignee: Chongqing College of Electronic Engineering
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2023-02-07
Anticipated expiration: 2040-12-31
Also published as: CN112700485A

Abstract

本发明涉及图像处理技术领域，具体为一种图像深度信息提取方法，包括如下内容：对彩色图像进行灰度处理和下采样得到灰度图像；对灰度图像边缘检测得到灰度边沿图像；对灰度边沿图像线性追踪得到线轨迹图；对线轨迹图深度赋值得到估计的初始的深度图；对估计的初始的深度图进行深度改良滤波得到改善的深度图；提取彩色图像的图像特征，利用图像特征和初始的深度图进行循环的深度滤波，得到最终的深度图；根据最终的深度图和彩色图像进行渲染，得到立体图像；对2D视频逐帧进行上述处理，得到3D视频；根据视频片源和用户人脸图像分析为用户自动播放3D影片和推荐3D眼镜。本方案简单易用、能得到较准确的深度图，并给用户优质的观影体验。

Description

图像深度信息提取方法

技术领域

本发明涉及图像处理技术领域，具体为一种图像深度信息提取方法。

背景技术

随着人类社会的进步和科学技术的发展，人们对信息处理和信息交流的要求越来越高，传统的机器视觉已经不能满足人们对三维物体识别的要求。因此，具有更高真实性，更让观众身临奇境的3D电视技术开始登上历史舞台。例如3D电视、3D立体投影仪等已投入市场，且价格越发平民化。但是现有3D片源的稀缺，制作成本昂贵，制作周期漫长，使得广大用户空有3D显示终端，却无丰富的3D视频内容可看，严重阻碍了3D电视的家用发展。如果能将目前大量的2D视频实时转为3D视频，则不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。因此，2D转3D技术成为当前3D技术发展的一个重要方向。深度图像由于具有物体三维特征信息，即深度信息，在2D转3D中发挥着至关重要的作用。

深度估计是2D转3D关键技术之一。深度估计指的是从景物的一幅或者多幅图像中自动、有效地估计深度信息。根据人工控制的是否使用，深度估计可以分作全自动深度估计和半自动深度估计两种方式。前者是设法得到图像结构和纹理等信息，再进行深度估计，但是有可能不能得到较为准确的深度图。后者建立在人与机器的交互，在图像中根据经验分辨出相应深度信息，相应的软件也是必不可少的，然后勾画出各个目标相应的轮廓，并给目标物体着上灰色阴影，这样的过程会不停地重复，直到确定相应的深度图为止，经过上述过程就能得到比较准确的深度图，立体显示效果也比较理想。但这种方法会消耗相当大的人力物力。因此研究者们越来越关注于怎样快速而又准确的获取比较准确的深度图。

研究者们目前提出的通过分析理解单目图像中的景物构图关系达成图像深度估计的方法，主要通过对实物相对高度信息的理想化利用，而最终得到图像的深度估计结果。但是现在很多针对单幅图像的深度估计方法都是需要某些假设条件的，比如，赫斯曼的方法需假设重建整个三维场景必须得到某些对象的已知确切信息。Saxena提出的方法：邻域像素特征的相关性在不同尺度下的值需要根据深度关系的特征来计算出来，接着想要综合估算各个像素的深度信息就必须要结合到Laplace算子的MRF以及Gauss模型。虽说上述方法进行较为准确的深度估计，但是计算太耗时复杂，加上原有的模型会在更换新的场景后消失，就不得不再一次重复采集数据。此外用户通过智能设备观看3D影片时，需要佩戴3D眼镜并自己选择 3D片源，而且有些用户佩戴的3D眼镜并不适合其佩戴，从而造成很差的观影体验。

发明内容

本发明的目的在于提供一种简单易用、能得到较准确的深度图和给用户优质的观影体验的图像深度信息提取方法。

本发明提供的基础方案为：图像深度信息提取方法，包括如下内容：

S1，灰度图像获取和下采样，对彩色图像进行灰度处理，获取灰度图像，并进行下采样；

S2，边缘检测，对灰度图像进行边缘检测，检测出灰度图像的边沿，得到灰度边沿图像；

S3，线性追踪，对灰度边沿图像的明显边缘从左到右进行追踪，得到水平不交叉的线轨迹图；

S4，深度赋值，根据线轨迹图从下到上分配深度值，得到估计的初始的深度图；

S5，深度改良滤波，通过滤除估计的初始的深度图的小边沿，保留大边沿，得到改善的深度图；

S6，深度滤波，提取彩色图像的图像特征，利用图像特征和初始的深度图进行循环的深度滤波，得到最终的深度图；

S7，图像渲染，根据最终的深度图和彩色图像进行渲染，得到立体图像；

S8，2D视频转换，对2D视频逐帧进行步骤S1～S7，得到3D视频；

S9，采集用户人脸图像，检测智能设备当前播放的视频是否存在3D片源，若存在，则通过智能设备上的摄像头采集观看视频的用户人脸图像；

S10，播放3D片源，根据用户人脸图像采用分析模型分析用户是否佩戴3D眼镜，若用户佩戴3D眼镜，则播放3D片源，若用户未佩戴3D眼镜，则提醒用户本影片存在3D片源，并让用户选择播放3D片源或2D片源；若用户选择播放2D片源，则播放2D片源，若用户选择播放3D片源，则播放3D片源，提醒用户佩戴3D眼镜并让用户选择是否需要推荐3D 眼镜；若需要，则根据用户人脸图像分析并推荐适合用户佩戴的3D眼镜。

与现有技术相比，本方案的优点在于：1、对彩色图像进行灰度处理，获取灰度图像后，进行下采样，可以减小后续计算的复杂程度。边缘检测大规模的减少信息量和去除了能够判定为不相关的信息，提高方法的运算速度，保存了图像完整的结构属性，保证方法的准确度。深度改良滤波对初始的深度图进行滤波，使其平滑强度更好，进一步改善最终的深度图的质量，进而提高算法的准确度。深度滤波不仅保护了图像特征而且也减少噪声敏感线轨迹引起的视觉假象，从而提高算法的准确度。

2、根据最终的深度图和彩色图像进行渲染，得到立体图像；对2D视频逐帧进行步骤 S1～S6，得到3D视频，从而实现2D视频到3D视频的转换，对于现有海量的2D影片进行转换得到3D影片，不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。

3、检测智能设备当前播放的视频是否存在3D片源，若存在，则通过智能设备上的摄像头采集观看视频的用户人脸图像；根据用户人脸图像采用分析模型分析用户是否佩戴3D眼镜，若用户佩戴3D眼镜，则播放3D片源，从而为用户提供更好的观影体验，若用户未佩戴3D眼镜，则提醒用户本影片存在3D片源，并让用户选择播放3D片源或2D片源；若用户选择播放2D片源，则播放2D片源，若用户选择播放3D片源，则播放3D片源，提醒用户佩戴3D眼镜并让用户选择是否需要推荐3D眼镜；若需要，则根据用户人脸图像分析并推荐适合用户佩戴的3D眼镜，帮助用户选择合适的3D眼镜，以减少用户选择的时间，为用户提供更好的观影体验。

进一步，所述S2中利用Sobel算子进行边缘检测，包括如下内容：

分别把垂直方向模板和水平方向模板对灰度图像中每个像素点作卷积和计算，计算处梯度值即是新灰度值；

设置合适的阈值TH，若新灰度值大于或等于TH，则判该像素点是图像边缘点。

有益效果：利用Sobel算子进行边缘检测，其检测速度快，对噪声存在平滑作用，对噪声也能有一些的抑制能力，能减少误差的积累，提高算法的准确度。

进一步，所述S2中利用改进的Sobel算子进行边缘检测，所述改进的Sobel算子为将 Sobel算子扩展成八个模板。

有益效果：改进的Sobel算子为将Sobel算子扩展成八个模板，以解决只能检测出水平和垂直方向的Sobel算子的问题，即检测出了部分伪边缘，使得边缘比较粗，降低了检测定位的精度。

进一步，所述改进的Sobel算子进行边缘检测，包括：经过八个方向模板对灰度图像进行逐点计算，取像素值的最大值用作像素点的新灰度值，选取合适的阈值TH，若新灰度值大于或等于TH，则判该像素点是图像边缘点。

有益效果：采用改进的Sobel算子进行边缘检测，对于纹理复杂的图像能得到较为理想的边缘检测效果。

进一步，所述S4中深度赋值为：由线轨迹图的初始线数n及参考图像行数确定初始状态时水平轨迹线的距离、初始轨迹线的行位置及每条水平轨迹线对应的深度值。

有益效果：由线轨迹图的初始线数n及参考图像行数确定初始状态时水平轨迹线的距离、初始轨迹线的行位置及每条水平轨迹线对应的深度值，从而得到估计的初始的深度图，为后续得到最终的深度图打下基础。

进一步，所述深度赋值的规律为从下到上深度递增，即每条轨迹线对应一个固定的深度值，在赋值时，从列的由下往上依次扫描，最初时赋值为255，扫描到线1时，赋值255-1×d， d为深度值间隔，直到扫描到下一个轨迹线n，赋值为255-n×d，依此类推，直到完成一行扫描及赋值，并进行下一行赋值，循环后完成整幅图像的赋值。

有益效果：从下到上深度递增的规律，是根据线轨迹图的深度赋值必须严格遵守，以此保证复制的准确性。

进一步，所述深度改良滤波和深度滤波均采用双边联合滤波。

有益效果：滤波器就是建立的一个数学模型，通过这个模型来将图像数据进行能量转化，能量低的就排除掉，噪声就是属于低能量部分，若本方案采用理想滤波器，会在图像中产生振铃现象，因此在采用联合双边滤波器，避免了振铃现象。

附图说明

图1是实施例图像深度信息提取方法的流程图；

图2是实施例图像深度信息提取方法中边缘检测流程图；

图3是实施例图像深度信息提取方法中各种算子进行边缘检测结果图；

图4是实施例图像深度信息提取方法中约束条件2中d_s(x,y)说明图；

图5是实施例图像深度信息提取方法中线性追踪流程图；

图6是实施例图像深度信息提取方法中由线轨迹图得到估计的初始的深度图的示意图；

图7是实施例图像深度信息提取方法中深度赋值算法的流程图；

图8是实施例图像深度信息提取方法中进行S1～S7的结果示意图。

具体实施方式

实施例基本如附图1所示：图像深度信息提取方法，包括如下内容：

S1，灰度图像获取和下采样，对彩色图像进行灰度处理，获取灰度图像，并进行下采样；对彩色图像进行灰度处理，具体为根据Gray＝(R×38+G×75+B×15)≥7，将彩色图像的RGB值转换为灰度值，进而形成灰度图像，在图像处理中通常使用YUV空间代表一帧一张256色灰度图像，即深度图。Y和UV分别表示图像的亮度和色度，3个分量各由8bit 表示，用十进制表示就是0-255。在一张U＝V＝128的灰度图像中，2D图像和各个像素的亮度值Y构成一一对应的关系，相应点的人眼与2D像素的相对距离用0到255表示。通常约定是，白色(即255)表示距离最近，而黑色(即0)则表示距人眼最远。因此，2D图中物体的深度信息比较直观的由深度图给出。对彩色图像进行灰度处理，获取灰度图像后，进行下采样，可以减小后续计算的复杂程度。所述下采样的原理为：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)×(N/s)尺寸的得分辨率图像，s为M和N的公约数，如果考虑的是矩阵形式的图像，需要将原始图像s×s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值：

如果图像按列向量化，变成了1×(MN)的向量之后，下采样过程也应当有一个对应的矩阵，这个矩阵的大小为(MN/s²)×(MN)。

S2，边缘检测，对灰度图像进行边缘检测，检测出灰度图像的边沿，得到灰度边沿图像，对灰度图像进行边缘检测，边缘检测大规模的减少信息量和去除了能够判定为不相关的信息，提高方法的运算速度，保存了图像完整的结构属性，保证方法的准确度。深度改良滤波对初始的深度图进行滤波，使其平滑强度更好，进一步改善最终的深度图的质量，进而提高算法的准确度。所述边缘检测采用的算子可以为Sobel算子或者改进的Sobel算子，所述Sobel 算子进行边缘检测包括如下内容：

所述改进的Sobel算子为将Sobel算子扩展成八个模板，所述改进的Sobel算子进行边缘检测为：经过八个方向模板对灰度图像进行逐点计算，取像素值的最大值用作像素点的新灰度值，选取合适的阈值TH，若新灰度值大于或等于TH，则判该像素点是图像边缘点。所述八个方向模板包括水平方向模板和垂直方向模板，且均匀分布在一个圆周上。改进的Sobel 算子能解决只能检测出水平和垂直方向的Sobel算子的问题，即检测出了部分伪边缘，使得边缘比较粗，降低了检测定位的精度。采用改进的Sobel算子进行边缘检测，对于纹理复杂的图像能得到较为理想的边缘检测效果。

本实施例中采用的算子是Sobel算子，利用Sobel算子进行边缘检测，具体算法如图2 所示，其中参考图像Iref，初始线数n，分辨率Wi×Hi，控制参数a、b、c，权重α、β、γ。相对于其它算子其检测速度快，对噪声存在平滑作用，对噪声也能有一些的抑制能力，如图3所示。

S3，线性追踪，对灰度边沿图像的明显边缘从左到右进行追踪，得到水平不交叉的线轨迹图；具体包括：将理想的线轨迹追踪算法改进了一种能量功能。这种能量功能被三种约束条件模拟化。第一个是对于追踪Strong边界的约束条件。第二个是对于处罚垂直方向上的突然变化的一个平滑约束条件。第三个是对于处罚在线垂直方向上重大的变化的一个弹性约束条件，从而避免垂直位置离最开始的垂直位置太远。约束条件如下所示：

约束条件1：边缘追踪条件，E_lt(x,y)＝exp(-edge(x,y)/a)

约束条件2：平滑约束条件，E_s(x,y)＝d_s(x,y)/b

约束条件3：弹性约束条件，E_e(x,y)＝d_e(x,y)/c

a,b,c是控制参量，其取决于输入图像特征并且是试探性地被定义，E_lt(x,y)为边缘追踪约束，a为边缘轨迹约束的控制参数；E_s(x,y)为平滑约束，b为光滑约束的控制参数，E_e(x,y)为弹性约束，c为弹性约束的控制参数，在边缘图上edge(x,y)表示了(x,y) 点的边界值。d_s(x,y)表示了在(x,y)点从当前像素点到替补像素点的垂直距离，如图4 所示。d_e(x,y)表示从最初线图上左边界的起始位置到(x,y)点替补像素点的垂直距离。

线性追踪过程的规则：①轨迹线的数目是一定的；②轨迹线不能相互交叉；③一条轨迹线在任何一点斜率不能为无穷大；④一条轨迹线必须从左边界扩展到右边界；⑤轨迹线界定的分割区域应该对应分配一个固定的深度值。

满足上述要求的一种比较理想的线轨迹追踪方法可以总结为以下：这条线的线轨迹从最初的左边点开始的并且选择下一个像素点。被选中的像素点应该有高的边缘值，在Y轴上位置的变化平稳顺利，并且这个像素点在Y轴上不能离最初点太远。所述线性追踪过程会一直重复，直到到达图像的右边界。

综上，线轨迹追踪的问题可以用下公式表示出来：

在该公式中，α,β,γ是控制每个能量的重要权重因数。线性追踪过程中，采用的是ICM 算法用以最小化功能损耗。算法具体流程，如图5所示。

S4，深度赋值，根据线轨迹图从下到上分配深度值，得到估计的初始的深度图，如图6 所示；具体为由线轨迹图的初始线数n及参考图像行数确定初始状态时水平轨迹线的距离、初始轨迹线的行位置及每条水平轨迹线对应的深度值。所述深度赋值的规律为从下到上深度递增，即每条轨迹线对应一个固定的深度值，在赋值时，从列的由下往上依次扫描，最初时赋值为255，扫描到线1时，赋值255-1×d，d为深度值间隔，直到扫描到下一个轨迹线n，赋值为255-n×d，依此类推，直到完成一行扫描及赋值，并进行下一行赋值，循环后完成整幅图像的赋值。从下到上深度递增的规律，是根据线轨迹图的深度赋值必须严格遵守，以此保证复制的准确性。深度赋值算法的具体流程图如图7所示。

S5，深度改良滤波，采用双边联合滤波通过滤除估计的初始的深度图的小边沿，保留大边沿，得到最终的深度图；滤波器就是建立的一个数学模型，通过这个模型来将图像数据进行能量转化，根据预设的能量阈值，将低于能量阈值的能量排除掉，噪声就是属于低能量部分，若本方案采用理想滤波器，会在图像中产生振铃现象，因此在采用联合双边滤波器，避免了振铃现象。

S6，深度滤波，提取彩色图像的图像特征，利用图像特征和初始的深度图进行循环的深度滤波，得到最终的深度图；所述深度滤波采用双边联合滤波，深度滤波不仅保护了图像特征而且也减少噪声敏感线轨迹引起的视觉假象，从而提高算法的准确度。

S7，图像渲染，根据最终的深度图和彩色图像进行渲染，得到立体图像。

采用上述S1～S7，基于Win7 Professional的平台进行实验，实验采用普通2D图片，分辨率为642*642，进行深度估计时所使用的参数值如下表所示：

a	b	c	α	β	Υ	n
							0.10	125	125	0.4	0.3	0.3	50

得到结果如图8所示。深度估计质量与上表的参数设置密切相关。一般情况下，线轨迹数为50，当线轨迹数小于10时，由于比较大的深度改变将产生不连续的感知深度。控制参数a一般为边缘轨迹像素值的平均值，b和c为图像高度的1/4，权重α为0.4，β和Υ都为0.3。

S8，2D视频转换，对2D视频逐帧进行步骤S1～S7，得到3D视频。

S9，采集用户人脸图像，检测智能设备当前播放的视频是否存在3D片源，若存在，则通过智能设备上的摄像头采集观看视频的用户人脸图像。

S10，播放3D片源，根据用户人脸图像采用分析模型分析用户是否佩戴3D眼镜，所述分析模型为由若干组人脸数据经过训练生成的神经网络模型，若用户佩戴3D眼镜，则播放3D片源，从而为用户提供更好的观影体验，若用户未佩戴3D眼镜，则提醒用户本影片存在3D片源，并让用户选择播放3D片源或2D片源；若用户选择播放2D片源，则播放2D片源，若用户选择播放3D片源，则播放3D片源，提醒用户佩戴3D眼镜并让用户选择是否需要推荐3D眼镜；若需要，则根据用户人脸图像分析并推荐适合用户佩戴的3D眼镜，可以根据用户是否佩戴眼镜推荐框架式3D眼镜或者夹片式3D眼镜，根据用户脸型和面部尺寸推荐各种型号的3D眼镜，帮助用户选择合适的3D眼镜，以减少用户选择的时间，为用户提供更好的观影体验。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims

1.图像深度信息提取方法，其特征在于：包括如下内容：

S2，边缘检测，对灰度图像进行边缘检测，检测出灰度图像的边沿，得到灰度边沿图像；所述S2中利用改进的Sobel算子进行边缘检测，所述改进的Sobel算子为将Sobel算子扩展成八个模板；所述改进的Sobel算子进行边缘检测，包括：经过八个方向模板对灰度图像进行逐点计算，取像素值的最大值用作像素点的新灰度值，选取合适的阈值TH，若新灰度值大于或等于TH，则判该像素点是图像边缘点；所述八个方向模板包括水平方向模板和垂直方向模板，且均匀分布在一个圆周上；

S8，2D视频转换，对2D视频逐帧进行步骤S1～S7，得到3D视频；

S10，播放3D片源，根据用户人脸图像采用分析模型分析用户是否佩戴3D眼镜，若用户佩戴3D眼镜，则播放3D片源，若用户未佩戴3D眼镜，则提醒用户本影片存在3D片源，并让用户选择播放3D片源或2D片源；若用户选择播放2D片源，则播放2D片源，若用户选择播放3D片源，则播放3D片源，提醒用户佩戴3D眼镜并让用户选择是否需要推荐3D眼镜；若需要，则根据用户人脸图像分析并推荐适合用户佩戴的3D眼镜，根据用户是否佩戴眼镜推荐框架式3D眼镜或者夹片式3D眼镜，根据用户脸型和面部尺寸推荐各种型号的3D眼镜。

2.根据权利要求1所述的图像深度信息提取方法，其特征在于：所述S2中利用Sobel算子进行边缘检测，包括如下内容：

3.根据权利要求1所述的图像深度信息提取方法，其特征在于：所述S4中深度赋值为：由线轨迹图的初始线数n及参考图像行数确定初始状态时水平轨迹线的距离、初始轨迹线的行位置及每条水平轨迹线对应的深度值。

4.根据权利要求3所述的图像深度信息提取方法，其特征在于：所述深度赋值的规律为从下到上深度递增，即每条轨迹线对应一个固定的深度值，在赋值时，从列的由下往上依次扫描，最初时赋值为255，扫描到线1时，赋值255-1×d，d为深度值间隔，直到扫描到下一个轨迹线n，赋值为255-n×d，依此类推，直到完成一行扫描及赋值，并进行下一行赋值，循环后完成整幅图像的赋值。

5.根据权利要求1所述的图像深度信息提取方法，其特征在于：所述深度改良滤波和深度滤波均采用双边联合滤波。