CN109146767A - 基于深度图的图像虚化方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度图的图像虚化方法及装置，所述基于深度图的图像虚化方法包括：获得原图对应的深度图和人像轮廓图；以人像轮廓图为模板对深度图的人像轮廓进行优化处理；以进行优化处理后的深度图为虚化系数对原图进行背景虚化处理；根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理。本发明提供的基于深度图的图像虚化方法及装置，通过以人像轮廓图为模板对深度图的人像轮廓进行优化，保证了背景虚化时人像和背景的边界清晰准确、过度自然。

Description

基于深度图的图像虚化方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度图的图像虚化方法及装置。

背景技术

背景虚化是指将图像中的背景部分进行模糊化处理而将前景部分清晰地显示，是被广泛使用的一种能够很好地突出主体、表达视觉美感的拍摄手段。一些专业相机能够直接拍摄出背景虚化后的图像，但这对于相机镜头的光圈以及变焦倍数的要求都较高。对于诸如手机或者平板电脑之类的电子设备的摄像头，由于受到设备体积、厚度等因素的限制，其镜头性能无法匹及专业相机，所以不能直接拍摄出背景虚化后的图像。为此，需要采用图像处理软件来实现对图像的背景虚化。现有技术中已经提出一些数字图像虚化处理的方法，例如基于物体空间的景深渲染方法、基于图像空间的景深渲染方法等。基于物体空间的景深渲染方法虽然效果相当逼真，但是其计算量大、内存消耗多，难以直接快速地得到结果；基于图像空间的景深渲染方法计算速度快，但是当输入的深度图边缘轮廓不准确时，虚化后的图像会出现人像与背景的边界模糊、过度不自然，尤其是人像的头发部分易出现颜色泄露和虚化不连续的问题。

发明内容

本发明所要解决的是现有的图像虚化方法不能快速地获得清晰准确、过度自然的人像与背景的边界的问题。

本发明通过下述技术方案实现：

一种基于深度图的图像虚化方法，包括：获得原图对应的深度图和人像轮廓图；以人像轮廓图为模板对深度图的人像轮廓进行优化处理；以进行优化处理后的深度图为虚化系数对原图进行背景虚化处理；根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理。采用本发明提供的方法对图像进行虚化，计算量小、渲染速度快，便于在移动端集成。同时，在人像边缘部分能够很好地避免背景颜色泄露到前景，保持人像与背景之间锐利清晰的边缘，且虚化具有良好的连续性，使得最终整体虚化更接近实际单反大光圈的拍摄效果。

可选的，采用深度学习的方式获得原图对应的人像轮廓图。深度学习作为一种新兴强大的机器学习理论和工具，当前期的训练样本足够多时，其模型就能输出稳定、准确的结果。使用深度学习获得的人像轮廓图更为准确，便于后续虚化处理细节的提升。

可选的，获得原图对应的人像轮廓图包括：进行人脸识别以获得原图的人像区域并记录矩形框的位置；以原图的人像区域为输入、采用深度学习模型卷积神经网络为判断核以获得包含人像轮廓的二值图像。

可选的，以人像轮廓图为模板对深度图的人像轮廓进行优化处理包括：获得人像轮廓图在深度图中对应的局部深度区域；根据人像轮廓图提取局部深度区域的前景和局部深度区域的背景；修正局部深度区域的前景边界和局部深度区域的背景边界的错误深度值；对修正后的局部深度区域的前景和修正后的局部深度区域的背景进行融合处理。使用人像轮廓图对深度图进行优化处理可以让深度值更符合原图边缘的分布，有效避免背景深度值溢出到前景或前景深度值溢出到背景。

可选的，获得人像轮廓图在深度图中对应的局部深度区域包括：对深度图进行缩放处理以使缩放处理后的深度图的大小与原图的大小相同；根据原图的人像区域尺寸对缩放处理后的深度图进行裁剪。

可选的，根据人像轮廓图提取局部深度区域的前景和局部深度区域的背景包括：生成前景深度子图和背景深度子图，并对前景深度子图和背景深度子图的灰度值进行初始化，前景深度子图的大小、背景深度子图的大小和局部深度区域的大小相同，前景深度子图的数据类型、背景深度子图的数据类型和局部深度区域的数据类型相同；以人像轮廓图的灰度值为判断条件将局部深度区域的灰度值填充到前景深度子图和背景深度子图中：若人像轮廓图的灰度值为1，则将局部深度区域的灰度值填充到前景深度子图中，否则将局部深度区域的灰度值填充到背景深度子图中。

可选的，修正局部深度区域的前景边界和局部深度区域的背景边界的错误深度值包括：创建形态学运算模板；采用形态学运算模板分别对局部深度区域的前景和局部深度区域的背景做M次形态学腐蚀运算，再采用形态学运算模板分别对进行过形态学腐蚀运算的局部深度区域的前景和进行过形态学腐蚀运算的局部深度区域的背景做N次形态学膨胀运算，N大于M。

可选的，基于灰度值对修正后的局部深度区域的前景和修正后的局部深度区域的背景进行融合处理。

可选的，根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理包括：

使用高斯核对人像轮廓图进行模糊处理；

对原图的人像区域和进行模糊处理后的人像轮廓图进行拉伸处理；

以进行拉伸处理后的人像轮廓图的灰度值为权重，对进行拉伸后的原图的人像区域和进行背景虚化处理后的原图进行融合处理。

本发明还提供一种基于深度图的图像虚化装置，包括：深度图获得模块，用于获得原图对应的深度图；人像轮廓图获得模块，用于获得原图对应的人像轮廓图；优化处理模块，用于以人像轮廓图为模板对深度图的人像轮廓进行优化处理；背景虚化处理模块，用于以进行优化处理后的深度图为虚化系数对原图进行背景虚化处理；融合处理模块，用于根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理。

本发明与现有技术相比，具有如下的优点和有益效果：

1、采用深度学习提取人像轮廓图，相比于传统的采用抠图算法确定人像和背景，其提取结果更为快速、准确。

2、将深度学习提取的人像轮廓用于优化深度图，使得深度图在人像、背景交界处的深度值更为准确，后续以深度值为虚化参数时，其虚化结果也更准确。

3、以人像轮廓为模板融合拉伸后的原图和进行背景虚化处理后的原图，使得最终虚化后图像在人像与背景的过度之间既能保持锐利清晰的边缘又能保证虚化效果的连续性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1是本发明实施例的基于深度图的图像虚化方法的流程示意图；

图2是本发明实施例对双目摄像头采集的图像进行虚化处理的示意图；

图3是本发明实施例对单目摄像头采集的图像进行虚化处理的示意图；

图4是本发明实施例的基于深度图的图像虚化装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

图1是本实施例的基于深度图的图像虚化方法的流程示意图，所述基于深度图的图像虚化方法，包括：

步骤S1，获得原图对应的深度图和人像轮廓图。具体地，本实施例提供的图像虚化方法适用于对单目摄像头获得的图像进行虚化处理，也适用于对多目摄像头获得的图像进行虚化处理。基于采用不同方法获得的原图，生成深度图的方法也是不一样的。例如，对于TOF(Time of Flight)摄像头和结构光摄像头，可以通过摄像头本身的功能直接获得原图对应的深度图；而对于双目摄像头，可以选取主摄像头采集的图像作为原图，通过基于稠密立体匹配的方法和基于稀疏匹配的方法获得原图对应的深度图。因此，本实施例对于如何获得原图对应的深度图不做限定。在本实施例中，采用深度学习的方式获得原图对应的人像轮廓图。具体地，获得原图对应的人像轮廓图包括步骤S11和步骤S12。

步骤S11，进行人脸识别以获得原图的人像区域并记录矩形框的位置。人脸识别技术可以自动识别原图中的人像，并采用矩形框裁剪出原图中的人像区域。本领域技术人员知晓如何采用深度学习进行人脸识别，在此不再赘述。矩形框的位置记为Rec(x，y，width，height)，其中，Rec.x为矩形框的左上角相对于原图的X轴坐标值，Rec.y为矩形框的左上角相对于原图的Y轴坐标值，Rec.width为矩形框的宽度值，Rec.height为矩形框的高度值。

步骤S12，以原图的人像区域为输入、采用深度学习模型卷积神经网络为判断核以获得包含人像轮廓的二值图像。具体地，以二进制数据“1”表示人像部分，以二进制数据“0”表示背景部分，获得的二值图像即为原图对应的人像轮廓图。

步骤S2，以人像轮廓图为模板对深度图的人像轮廓进行优化处理。进一步，本步骤包括步骤S21至步骤S24。

步骤S21，获得人像轮廓图在深度图中对应的局部深度区域。具体地，对深度图进行缩放处理以使缩放处理后的深度图的大小与原图的大小相同；根据原图的人像区域尺寸对缩放处理后的深度图进行裁剪。由于获得的深度图与原图长宽成比例，深度图经过缩放处理和裁剪后得到的局部深度区域就与人像轮廓图文件相对应。在本实施例中，原图的人像区域是进行人脸识别获得，因而可以根据所述矩形框的位置对缩放处理后的深度图进行裁剪。

步骤S22，根据人像轮廓图提取局部深度区域的前景和局部深度区域的背景。具体地，生成前景深度子图和背景深度子图，并对前景深度子图和背景深度子图的灰度值进行初始化，前景深度子图的大小、背景深度子图的大小和局部深度区域的大小相同，前景深度子图的数据类型、背景深度子图的数据类型和局部深度区域的数据类型相同。进一步，对前景深度子图和背景深度子图的灰度值进行初始化，可以将前景深度子图和背景深度子图的灰度值初始化为0，也可以将前景深度子图和背景深度子图的灰度值初始化为1，在本实施例中以将前景深度子图和背景深度子图的灰度值初始化为0进行说明。初始化完成后，以人像轮廓图的灰度值为判断条件将局部深度区域的灰度值填充到前景深度子图和背景深度子图中：若人像轮廓图的灰度值为1，则将局部深度区域的灰度值填充到前景深度子图中，否则将局部深度区域的灰度值填充到背景深度子图中。填充完成后，获得的前景深度子图即为局部深度区域的前景，获得的背景深度子图即为局部深度区域的背景。

步骤S23，修正局部深度区域的前景边界和局部深度区域的背景边界的错误深度值。边界的错误深度值是指人像边界的深度值变成了背景边界的深度值，或者背景边界的深度值变成了人像边界的深度值。例如，在一幅图像中，人的肩部位置距离摄像头为2米，建筑物距离摄像头为5米，在出现错误时，深度图中肩部位置距离摄像头变成了为5米，或者建筑物距离摄像头变成了为2米。进行修正时，首先创建形态学运算模板。在本实施例中，采用视觉库opencv中的getStructuringElement函数创建了一个5*5大小的椭圆形模板。需要说明的是，形态学运算模板的创建也可以通过编程实现而不使用已有的视觉库，形态学运算模板的形状和大小也可以设定为其他值。例如，还可以将形态学运算模板设置为圆形。形态学运算模板的大小设定取决于对效率和精细程度的平衡：形态学运算模板设置得越大，计算速度越快但精细程度越低；形态学运算模板设置得越小，计算速度越慢但精细程度越高。根据创建的形态学运算模板，采用形态学运算模板分别对局部深度区域的前景和局部深度区域的背景做M次形态学腐蚀运算，再采用形态学运算模板分别对进行过形态学腐蚀运算的局部深度区域的前景和进行过形态学腐蚀运算的局部深度区域的背景做N次形态学膨胀运算，N大于M。通过将形态学膨胀运算的次数设置为大于形态学腐蚀运算的次数，以保证经过运算的局部深度区域的前景、局部深度区域的背景的非零区域不比运算之前的小。

步骤S24，对修正后的局部深度区域的前景和修正后的局部深度区域的背景进行融合处理，进行融合处理后获得的图像即为对深度图的人像轮廓进行优化处理获得的结果。在本实施例中，基于灰度值对修正后的局部深度区域的前景和修正后的局部深度区域的背景进行融合处理。本步骤可以按照以下公式进行：

p_depthmask＝p_mask×p_foredepth+(1-p_mask)×p_backdepth

其中，p_depthmask为进行优化处理后的深度图中像元p的灰度值，p_mask为人像轮廓图中像元p的灰度值，p_foremask为修正后的局部深度区域的前景中像元p的灰度值，p_backdepth为修正后的局部深度区域的背景中像元p的灰度值。本领域技术人员知晓，基于灰度值对图像进行融合处理的计算公式并不限于本实施例中列举的这一种，例如，当人像轮廓图中像元p的灰度值p_mask的范围为0至255时，上述公式的计算结果还需要再除以255。因此，本实施例对于对修正后的局部深度区域的前景和修正后的局部深度区域的背景进行融合处理的公式不作限定。

步骤S3，以进行优化处理后的深度图为虚化系数对原图进行背景虚化处理。本步骤可以采用现有的方法实现，例如可以采用申请号为“201710160627.7”、发明名称为“一种交互式图像虚化方法及装置”的中国专利申请中公开的方法。

具体地，根据进行优化处理后的深度图获取原图中待虚化背景区域的深度，确定原图中人像区域的最近深度和最远深度，其中，原图中人像区域的最近深度和最远深度采用以下计算方法：

前景最近深度：

前景最远深度：

其中，U为原图中待虚化背景区域，其深度为Z_U，Z_U从进行优化处理后的深度图中获取，c为允许弥散圆直径，f为相机焦距，M为相机内参系数。根据原图中人像区域的最近深度和最远深度确定虚化系数，其中，虚化系数的计算方法为：

其中，C_p为虚化系数，z_U为像平面到镜面的距离，z_p为点p在的聚焦点到到镜面的距离，N为相机内参。

获得虚化系数后，以原图I^R(p)为基础，利用高斯模型对背景进行虚化：

其中，I(p)为点p虚化后的像素值，G(p)为高斯函数：

其中，(u，v)为点p邻域内一点的坐标，δ(D_out(p+(u，v))为一个脉冲函数：

高斯方差计算如下：

其中，C_p为虚化系数，p_s为图像像元尺寸。

步骤S4，根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理。进一步，本步骤包括步骤S41至步骤S43。

步骤S41，使用高斯核对人像轮廓图进行模糊处理。在本实施例中，使用3*3高斯核做模糊，让边缘有一定的过度。需要说明的是，高斯核的大小可以根据保持人像边缘锐利程度和前景背景自然过渡之间的平衡需求进行设定，本实施例对此不作限定。

步骤S42，对原图的人像区域和进行模糊处理后的人像轮廓图进行拉伸处理。在进行虚化模糊时，背景边缘可能扩散了，因而需要进行拉伸处理将模糊的边缘覆盖住。在本实施例中，拉伸的大小可以根据以下公式确定：

其中，fw为需要拉伸的宽度，fh为需要拉伸的高度，Srcsub.width为原图的人像区域原有的宽度，Srcsub.height为原图的人像区域原有的高度，D为拉伸程度控制参数。需要说明的是，D设置得越小，拉伸的程度就越大。具体可以根据背景的虚化程度来设定：如果虚化程度高，那么边缘扩散就可能越厉害，拉伸就需要越大，D就设置得越小。需要说明的是，本步骤进行拉伸处理也可以根据其他公式进行，只要能够实现进行拉伸处理后将模糊的边缘覆盖住即可。

步骤S43，以进行拉伸处理后的人像轮廓图的灰度值为权重，对进行拉伸后的原图的人像区域和进行背景虚化处理后的原图进行融合处理，进行融合处理后获得的图像即为原图对应的最终虚化图像。在本实施例中，本步骤按照以下公式进行：

p′(i，j)＝mask(i-Rec.y+fh/2，j-Rec.x+fw/2)×Srcsub(i-Rec.y+fh/2，j-Rec.x+fw/2)+[1-mask(i-Rec.y+fh/2，j-Rec.x+fw/2)]×p(i，j)

其中，Rec.y≤i＜Rec.y+Rec.height，Rec.x≤j＜Rec.x+Rec.width，Rec.y为矩形框的左上角相对于原图的Y轴坐标值，Rec.height为矩形框的高度值，Rec.x为矩形框的左上角相对于原图的X轴坐标值，Rec.width为矩形框的宽度值，p′(i，j)为融合处理后位于第i行、第j列的像元的灰度值，mask(i-Rec.y+fh/2，j-Rec.x+fw/2)为进行拉伸处理后的人像轮廓图中第i-Rec.y+fh/2行、第j-Rec.x+fw/2列的像元的灰度值，p(i，j)为进行背景虚化处理后的原图中第i行、第j列的像元的灰度值，Srcsub(i-Rec.y+fh/2，j-Rec.x+fw/2)为进行拉伸处理后的原图的人像区域中第i-Rec.y+fh/2行、第j-Rec.x+fw/2列的像元的灰度值。需要说明的是，本步骤进行融合处理也可以根据其他公式进行，本实施例对此不作限定。

综上所述，本实施例提供的基于深度图的图像虚化方法，计算量小、渲染速度快，便于在移动端集成。另一方面，在人像边缘部分能够很好地避免背景颜色泄露到前景，保持前景与背景之间锐利清晰的边缘，且虚化具有良好的连续性，使得最终整体虚化更接近实际单反大光圈的拍摄效果。进一步，本实施例提供的图像虚化方法对单目摄像头或者双目摄像头获取的图像都适用，仅在深度图获得方式存在差别，对双目摄像头采集的图像进行虚化处理的示意图如图2所示，对单目摄像头采集的图像进行虚化处理的示意图如图3所示。参考图2，对双目摄像头采集的图像进行虚化处理时，将主摄像头采集的图像作为本实施例的原图，通过基于稠密立体匹配的算法、基于稀疏立体匹配的算法或者其他现有算法对主摄像头采集的图像和辅助摄像头采集的图像进行立体匹配，以获得原图对应的深度图。参考图3，对TOF摄像头、结构光摄像头等单目摄像头采集的图像进行虚化处理时，可通过摄像头本身的功能直接获得原图对应的深度图。

实施例2

基于实施例1提供的图像虚化方法，本实施例提供一种基于深度图的图像虚化装置。图4是本实施例的图像虚化装置的结构示意图，包括：深度图获得模块1、人像轮廓图获得模块2、优化处理模块3、背景虚化处理模块4以及融合处理模块5。

具体地，所述深度图获得模块1用于获得原图对应的深度图，所述人像轮廓图获得模块2用于获得原图对应的人像轮廓图，所述优化处理模块3用于以人像轮廓图为模板对深度图的人像轮廓进行优化处理，所述背景虚化处理模块4用于以进行优化处理后的深度图为虚化系数对原图进行背景虚化处理，所述融合处理模块5用于根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理。在本实施例中，所述深度图获得模块1和所述人像轮廓图获得模块2对应实现步骤S1，所述优化处理模块3对应实现步骤S2，所述背景虚化处理模块4对应实现步骤S3，所述融合处理模块5对应实现步骤S4，因此图像虚化装置中的具体实施方式可参考实施例1中的实施例部分，在此不再赘述。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图的图像虚化方法，其特征在于，包括：

获得原图对应的深度图和人像轮廓图；

以人像轮廓图为模板对深度图的人像轮廓进行优化处理；

以进行优化处理后的深度图为虚化系数对原图进行背景虚化处理；

根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理。

2.根据权利要求1所述的基于深度图的图像虚化方法，其特征在于，采用深度学习的方式获得原图对应的人像轮廓图。

3.根据权利要求2所述的基于深度图的图像虚化方法，其特征在于，获得原图对应的人像轮廓图包括：

进行人脸识别以获得原图的人像区域并记录矩形框的位置；

以原图的人像区域为输入、采用深度学习模型卷积神经网络为判断核以获得包含人像轮廓的二值图像。

4.根据权利要求1所述的基于深度图的图像虚化方法，其特征在于，以人像轮廓图为模板对深度图的人像轮廓进行优化处理包括：

获得人像轮廓图在深度图中对应的局部深度区域；

根据人像轮廓图提取局部深度区域的前景和局部深度区域的背景；

修正局部深度区域的前景边界和局部深度区域的背景边界的错误深度值；

对修正后的局部深度区域的前景和修正后的局部深度区域的背景进行融合处理。

5.根据权利要求4所述的基于深度图的图像虚化方法，其特征在于，获得人像轮廓图在深度图中对应的局部深度区域包括：

对深度图进行缩放处理以使缩放处理后的深度图的大小与原图的大小相同；

根据原图的人像区域尺寸对缩放处理后的深度图进行裁剪。

6.根据权利要求4所述的基于深度图的图像虚化方法，其特征在于，根据人像轮廓图提取局部深度区域的前景和局部深度区域的背景包括：

生成前景深度子图和背景深度子图，并对前景深度子图和背景深度子图的灰度值进行初始化，前景深度子图的大小、背景深度子图的大小和局部深度区域的大小相同，前景深度子图的数据类型、背景深度子图的数据类型和局部深度区域的数据类型相同；

以人像轮廓图的灰度值为判断条件将局部深度区域的灰度值填充到前景深度子图和背景深度子图中：若人像轮廓图的灰度值为1，则将局部深度区域的灰度值填充到前景深度子图中，否则将局部深度区域的灰度值填充到背景深度子图中。

7.根据权利要求4所述的基于深度图的图像虚化方法，其特征在于，修正局部深度区域的前景边界和局部深度区域的背景边界的错误深度值包括：

创建形态学运算模板；

采用形态学运算模板分别对局部深度区域的前景和局部深度区域的背景做M次形态学腐蚀运算，再采用形态学运算模板分别对进行过形态学腐蚀运算的局部深度区域的前景和进行过形态学腐蚀运算的局部深度区域的背景做N次形态学膨胀运算，N大于M。

8.根据权利要求4所述的基于深度图的图像虚化方法，其特征在于，基于灰度值对修正后的局部深度区域的前景和修正后的局部深度区域的背景进行融合处理。

9.根据权利要求1所述的基于深度图的图像虚化方法，其特征在于，根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理包括：

使用高斯核对人像轮廓图进行模糊处理；

对原图的人像区域和进行模糊处理后的人像轮廓图进行拉伸处理；

以进行拉伸处理后的人像轮廓图的灰度值为权重，对进行拉伸后的原图的人像区域和进行背景虚化处理后的原图进行融合处理。

10.一种基于深度图的图像虚化装置，其特征在于，包括：

深度图获得模块，用于获得原图对应的深度图；

人像轮廓图获得模块，用于获得原图对应的人像轮廓图；

优化处理模块，用于以人像轮廓图为模板对深度图的人像轮廓进行优化处理；

背景虚化处理模块，用于以进行优化处理后的深度图为虚化系数对原图进行背景虚化处理；

融合处理模块，用于根据人像轮廓图对原图的人像区域和进行背景虚化处理后的原图进行融合处理。