CN107085825A - 图像虚化方法、装置及电子设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供一种图像虚化方法、装置及电子设备，所述方法包括：获取摄像装置采集的原始图像，其中，原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；对原始图像进行校正，以复原原始图像中的失真部分；对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图；对原始图像和深度图进行融合，得到背景虚化图像。本发明解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。

Description

图像虚化方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像虚化方法、装置及电子设备。

背景技术

光圈是一个用来控制光线透过镜头，进入机身内感光面光量的装置，它通常是在镜头内。光圈通过控制镜头通光量，进而控制图像拍摄装置最终的拍摄效果。而对于手机等移动设备的图像拍摄装置，由于其镜头受到手机大小和成本等的限制而无法安装光圈，于是出现了利用图像处理领域的虚化背景技术模拟光圈的虚化效果，以此实现手机等移动设备拍摄的图像的虚化的方法。

目前，常用于手机等移动设备的图像虚化方法首先要求用户手动框选图像中需要处理的区域，之后利用图像处理工具对用户框选的区域进行相同或渐变尺度的高斯模糊等操作，最终输出具有背景虚化效果的图像，整个操作过程繁琐且背景区域框定不准确，需要花费用户大量时间。

发明内容

本发明的目的在于提供一种图像虚化方法、装置及电子设备，用以改善上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明提供了一种图像虚化方法，应用于设置有摄像装置的电子设备，摄像装置包括第一镜头和第二镜头，所述图像虚化方法包括：获取摄像装置采集的原始图像，其中，原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；对原始图像进行校正，以复原原始图像中的失真部分；对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图；对原始图像和深度图进行融合，得到背景虚化图像。

本发明还提供了一种图像虚化装置，应用于设置有摄像装置的电子设备，摄像装置包括第一镜头和第二镜头，图像虚化装置包括原始图像获取模块、原始图像校正模块、立体匹配处理模块及图像虚化模块，其中，原始图像获取模块用于获取摄像装置采集的原始图像，其中，原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；原始图像校正模块用于对原始图像进行校正，以复原原始图像中的失真部分；立体匹配处理模块用于对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图；图像虚化模块用于对原始图像和深度图进行融合，得到背景虚化图像。

本发明还提供了一种电子设备，电子设备包括摄像装置，摄像装置包括第一镜头和第二镜头，电子设备还包括存储器、处理器，处理器与摄像装置电连接、以及图像虚化装置，所述图像虚化装置存储于存储器中并包括一个或多个由处理器执行的软件功能模组，其包括：原始图像获取模块、原始图像校正模块、立体匹配处理模块及图像虚化模块，其中，原始图像获取模块用于获取摄像装置采集的原始图像，其中，原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；原始图像校正模块用于对原始图像进行校正，以复原原始图像中的失真部分；立体匹配处理模块用于对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图；图像虚化模块用于对原始图像和深度图进行融合，得到背景虚化图像。

相对现有技术，本发明具有以下有益效果：本发明提供的一种图像虚化方法、装置及电子设备，通过获取同一摄像装置拍摄的，具有同一取景范围的第一图像和第二图像，对第一图像和第二图像分别进行校正、图像规正及颜色分割后，利用立体匹配算法获得第一图像和第二图像共同的深度图，将原始图像与该深度图进行融合，根据深度图确定原始图像的背景区域，并对该背景区域进行虚化，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的电子设备的方框示意图。

图2示出了本发明实施例提供的图像虚化方法流程图。

图3为图2示出的步骤S102的子步骤流程图。

图4为图2示出的步骤S105的子步骤流程图。

图5为图2示出的步骤S107的子步骤流程图。

图6示出了本发明实施例提供的图像虚化装置的方框示意图。

图7为图6示出的图像虚化装置中原始图像校正模块的方框示意图。

图8为图6示出的图像虚化装置中立体匹配处理模块的方框示意图。

图9为图6示出的图像虚化装置中图像虚化模块的方框示意图。

图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-摄像装置；106-显示屏；200-图像虚化装置；201-原始图像获取模块；202-原始图像校正模块；2021-第一校正单元；2022-第二校正单元；203-颜色分割模块；204-关键词生成模块；205-立体匹配处理模块；2051-局部窗口匹配单元；2052-双向匹配单元；2053-初始视差图获得单元；2054-稠密视差图获得单元；2055-图像转换单元；206-深度图滤波模块；207-图像虚化模块；2071-深度信息获取单元；2072-背景区域确定单元；2073-背景虚化单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1示出了本发明较佳实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于智能手机、平板电脑、膝上型便携计算机、车载电脑、个人数字助理(personal digital assistant，PDA)、穿戴式移动终端等等。所述电子设备100包括图像虚化装置200、存储器101、存储控制器102、处理器103、外设接口104、摄像装置105和显示屏106。

所述存储器101、存储控制器102、处理器103、外设接口104、摄像装置105和显示屏106各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像虚化装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作***(operating system，OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述图像虚化装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。

所述外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104、处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

摄像装置105用于采集原始图像，摄像装置105包括第一镜头和第二镜头，第一镜头用于采集原始图像中的第一图像，第二镜头用于采集原始图像中的第二图像。在本实施例中，摄像装置105可以是，但不限于双目摄像头或者多目摄像头等。

显示屏106用于实现用户与电子设备100之间的交互，具体可以是，但不限于显示屏106将经过背景虚化处理后的图像进行显示。

第一实施例

请参照图2，图2示出了本发明实施例提供的图像虚化方法流程图。图像虚化方法包括以下步骤：

步骤S101，获取摄像装置采集的原始图像，其中，原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像。

在本发明实施例中，摄像装置105可以选用双目摄像头，双目摄像头采集原始图像信息，返回两张对应的图像，分别为第一镜头采集的第一图像、以及第二镜头采集的第二图像，第一图像可以是双目摄像头采集的原始图像信息中的左图，第二图像可以是双目摄像头采集的原始图像信息中的右图。

步骤S102，对原始图像进行校正，以复原原始图像中的失真部分。

在本发明实施例中，对原始图像进行校正，也就是对第一图像和第二图像分别进行校正，以复原原始图像中的失真部分，第一视差可以是第一图像和第二图像的垂直视差，换句话说，第一图像和第二图像的第一视差匹配，也就是使得第一图像和第二图像，具有相同的垂直视差。对原始图像进行校正时首先需要判断原始图像的均匀性，再根据均匀性的不同，选择几何校正或者灰度校正。判断原始图像的均匀性的方法可以是，但不限于先求出原始图像的平均灰度，再求出在以平均灰度为中心的一定灰度范围内像素所占的百分比，最后通过百分比的不同来判断出均匀性的不同。

请参照图3，步骤S102可以包括以下子步骤：

子步骤S1021，当原始图像的灰度分布均匀时，对原始图像进行几何校正，以复原原始图像中的失真部分。

在本发明实施例中，对原始图像进行几何校正的方法可以是，但不限于首先，获取原始图像的图像信息，图像信息可以是原始图像中像元的属性信息，例如，像元的坐标信息、像素值信息等；其次，建立校正变换函数，确定校正后的原始图像的图像信息范围；最后，对原始图像进行像元变换，像元变换完成之后再进行像元亮度值重采样，像元亮度值重采样是由于校正后的原始图像的像元点在原始图像中的行列号不是或不全是整数关系，所以需要根据校正后的原始图像上的各像元在原始图像中的位置，对原始图像按一定规则重新采样，进行亮度值的插值运算，建立新的图像矩阵就可以得到最终校正完成的第一图像和第二图像。

子步骤S1022，当原始图像的灰度分布不均匀时，对原始图像进行灰度校正，对经过灰度校正后的原始图像，进行几何校正，以复原原始图像中的失真部分。

在本发明实施例中，当原始图像的灰度分布不均匀时，首先需要对原始图像进行灰度校正，灰度校正的方法可以是，但不限于获取原始图像的图像信息，针对该图像信息的灰度分布情况，对原始图像的每个像素点逐点进行不同程度的灰度级校正，使得整幅原始图像的灰度分布均匀。对经过灰度校正的原始图像，再采用子步骤S1021中介绍的方法进行几何校正，就可以得到最终校正完成的第一图像和第二图像。

步骤S103，对校正后的第一图像和第二图像分别进行图像规正。

在本发明实施例中，图像规正的目的在于，消除因图像噪声、光照条件等因素造成对应像素点在第一图像和第二图像上的颜色差异。作为一种实施方式，对校正后的第一图像和第二图像分别进行图像规正的方法可以是，但不限于：首先，根据像素的亮度值，计算校正后的第一图像和第二图像的累积直方图；其次，以校正后的第一图像作为参考图像，以校正后的第二图像作为目标图像，将参考图像的累积直方图按像素个数平均分为10段，分别找出每一段的亮度上下边界值，由此确定参考图像与目标图像对应段间的线性映射关系；最后，对目标图像中的每一个像素点，求其在累积直方图中的分段号，再根据相应的映射公式将其亮度值映射为另一个值。

需要说明的是，参考图像和目标图像可以根据实际需要自行确定，因此以校正后的第二图像作为参考图像，以校正后的第一图像作为目标图像进行图像规正的方法，也属于本发明的保护范围。

步骤S104，对规正后的第一图像和第二图像分别进行颜色分割，提取图像中颜色一致性区域。

在本发明实施例中，以规正后的第一图像为例，对其进行颜色分割，提取图像中的颜色一致性区域的方法可以是，但不限于根据规正后的第一图像的颜色信息，采用meanshift图像分割算法对其进行颜色分割，利用概率分布的梯度寻找分布峰值，将规正后的第一图像中的每一个像素点归类到相应的密度模式下，从而实现聚类，使得每一个分割区域内的像素点都具有相同的颜色值。

步骤S105，对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图。

在本发明实施例中，对校正后的第一图像和第二图像进行立体匹配处理的方法可以是，但不限于：1、对校正后的第一图像和第二图像分别进行局部窗口匹配得到两幅视差图；2、应用双向匹配策略消除在局部窗口匹配过程中产生的误匹配点；3、将两幅视差图合成为一幅初始视差图，并填充误匹配点的视差信息；4、对初始视差图进行处理优化，得到稠密视差图；5、根据视差与深度之间的关系，将稠密视差图转换为深度图。

请参照图4，步骤S105可以包括以下子步骤：

子步骤S1051，根据颜色一致性区域，对校正后的第一图像和第二图像分别进行局部窗口匹配，得到第一视差图和第二视差图，其中，第一视差图为将校正后的第一图像作为参考图像，与校正后的第二图像进行局部窗口匹配所得，第二视差图为将校正后的第二图像作为参考图像，与校正后的第一图像进行局部窗口匹配所得。

在本发明实施例中，根据颜色一致性区域，以校正后的第一图像作为参考图像，与校正后的第二图像进行局部窗口匹配得到第一视差图的方法可以是：以参考图像作为基准图像，以基准图像的待匹配点为中心像素点创建一个大小为5*5的窗口，在目标图像中搜索与待匹配点邻域同样大小为5*5的像素领域，依次与待匹配点的窗口进行比较，使用自适应的像素异性测量作为相似度测量函数，如下式：

D(x,y,d)＝(1-θ)D_SAD(x,y,d)+θD_GRAD(x,y,d)

其中，N(x,y)是以待匹配点(x,y)为中心像素点的5*5窗口；表示图像梯度的水平分量；表示图像梯度的垂直分量；θ表示权重。

在本发明实施例中，根据颜色一致性区域，以校正后的第二图像作为参考图像，与校正后的第一图像进行局部窗口匹配得到第二视差图的方法与上述得到第一视差图的方法一致，在此不再赘述。

在本发明实施例中，由于从校正后的第一图像到校正后的第二图像匹配，和从校正后的第二图像到校正后的第一图像匹配都是针对同一场景物体进行匹配的，因此非遮挡区域的对应像素的视差只存在正负号的差异，视差值相等，则两幅视差图中不一致的地方就被可以认为是由于遮挡等引起的误匹配，因此通过上述方法得到的第一视差图和第二视差图中均包含很多误匹配点。

子步骤S1052，应用双向匹配策略来消除局部窗口匹配过程中产生的误匹配点。

在本发明实施例中，应用双向匹配策略来消除局部窗口匹配过程中产生的误匹配点的方法可以是：

1、双向匹配策略可以是假设从校正后的第一图像到校正后的第二图像的视差图为L，从校正后的第二图像到校正后的第一图像的视差图为R，校正后的第一图像上的像素(x_r，y)与校正后的第二图像上的像素(x_r，y)是一对匹配点，由于本发明实施例中进行立体匹配的图像都是经过校正的图像，因此只存在水平视差，该像素点在第一视差图和第二视差图中的视差值分别为d_lr(x_l，y)、d_rl(x_r，y)。

2、通过如下公式消除局部窗口匹配过程中产生的误匹配点：

其中，x_r＝x_l+d_lr(x_l，y)，当两幅视差图中对应点的视差误差满足|d_lr(x_l，y)+d_rl(x_r，y)|≤λ(λ为允许的视差误差阈值)时，则表明对应点视差匹配正确。当视差误差不满足|d_lr(x_l，y)+d_rl(x_r，y)|≤λ时，表明该点为误匹配点，则将该点视差值赋值为0。

子步骤S1053，将第一视差图和第二视差图进行融合，得到初始视差图，填充误匹配点的视差信息。

在本发明实施例中，将第一视差图和第二视差图进行融合，得到初始视差图的方法可以是：

1、根据摄像装置105的外参数矩阵中的平移向量t计算比例系数α，其中，t_L、t_R分别为第一镜头、第二镜头的外参数矩阵中的平移向量。

2、将第一视差图和第二视差图融合为初始视差图，并填充误匹配点的视差信息，融合公式如下：

其中，I(x,y)为初始视差图，I_L(x,y)为第一视差图，I_R(x,y)为第二视差图，δ表示一个误差阈值。

子步骤S1054，对初始视差图进行处理优化，得到稠密视差图。

在本发明实施例中，经过上述过程得到的初始视差图中仍然存在很多空白值，因此，需要对其进行优化。对初始视差图进行处理优化的方法可以是：首先，假设参考图像中每个颜色分割区域内视差值是相等的；其次，对于每个颜色一致性区域，给定相应的视差。具体实现时，可采用如下简单的处理，就是取颜色一致性区域内的所有像素的中间视差值作为整个分割区域的视差，其数学表示如下面公式，使得每个像素都有其视差值，最后得到了一个高质量的稠密视差图。

其中，I_SEG(x,y)表示颜色一致性区域。

子步骤S1055，根据视差与深度之间的关系，将稠密视差图转换为深度图。

在本发明实施例中，根据深度值与其视差的关系其中，Z表示深度值，B表示第一镜头与第二镜头之间的间距，f为摄像装置105的焦距，D为视差，则在视差已知的情况下，计算出每个像素的深度值，从而将稠密视差图转换为深度图。

步骤S106，对深度图进行滤波处理，去除深度图中的干扰信息。

在本发明实施例中，根据得到的深度图的结果，可以选择不同的滤波模式进行滤波，去除深度图中的噪声等干扰信息。作为一种实施方式，当深度图中存在孤立的噪声点时，选择中值滤波，也就是把深度图中孤立的噪声点的像素值用该点的一个邻域中各像素点的值的中值代替，从而消除孤立的噪声点；当深度图中存在区域性噪声时，选择均值滤波，也就是用均值代替原深度图中的各个像素值；当深度图中存在高斯噪声时，选择高斯滤波，也就是用一个模板扫描深度图中的每一个像素，用模板确定的领域内像素的加权平均灰度值去代替模板中心像素点的值。

步骤S107，对原始图像和深度图进行融合，得到背景虚化图像。

在本发明实施例中，可以对第一图像和深度图进行融合，得到第一图像的背景虚化图像，也可以对第二图像和深度图进行融合，得到第二图像的背景虚化图像。

请参照图5，步骤S107可以包括以下子步骤：

子步骤S1071，根据深度图获取深度信息。

在本发明实施例中，根据深度图获取深度图中每一个像素的深度信息。

子步骤S1072，根据深度信息确定原始图像的背景区域。

在本发明实施例中，确定原始图像中前景区域和背景区域之间的临界深度，将大于临界深度的深度信息对应在原始图像中的像素区域确定为原始图像的背景区域。

子步骤S1073，对原始图像中处于背景区域部分的内容进行虚化处理，得到背景虚化图像。

在本发明实施例中，对原始图像中处于背景区域部分的内容进行虚化处理的方法可以是：1、对深度信息进行归一化，获得归一化后的深度信息；2、将归一化后的深度信息中处于背景区域部分的区间均分为q段，获得q个背景区间；3、根据预先设置的最大模糊半径确定q个背景区间各自对应的虚化系数，该虚化系数包括模糊半径和标准差；4、根据q个背景区间各自对应的模糊半径和标准差，分别对q个背景区间各自对应在原始图像中的像素区域进行虚化处理。

在本发明实施例中，首先，通过获取同一摄像装置105拍摄的，具有同一取景范围的第一图像和第二图像，采用不同的校正方法对该第一图像和第二图像进行校正，使得第一图像和第二图像的垂直视差匹配；其次，对对校正后的第一图像和第二图像分别进行图像规正，消除因图像噪声、光照条件等因素造成对应像素点在第一图像和第二图像上的颜色差异，并对规正后的第一图像和第二图像分别进行颜色分割，提取图像中颜色一致性区域；再次，根据颜色一致性区域，对校正后的第一图像和第二图像分别进行局部窗口匹配，并应用双向匹配策略来消除局部窗口匹配过程中产生的误匹配点，从而提高了匹配精度，最终获得一个准确而稠密的深度图；最后，获取该深度图的深度信息，根据深度信息确定原始图像的背景区域，并对该背景区域进行虚化，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。

第二实施例

请参照图6，图6示出了本发明实施例提供的图像虚化装置200的方框示意图。图像虚化装置200包括原始图像获取模块201、原始图像校正模块202、颜色分割模块203、关键词生成模块204、立体匹配处理模块205、深度图滤波模块206及图像虚化模块207。

原始图像获取模块201，用于获取摄像装置采集的原始图像，其中，原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像。

在本发明实施例中，原始图像获取模块201可以用于执行步骤S101。

原始图像校正模块202，用于对原始图像进行校正，以复原原始图像中的失真部分。

在本发明实施例中，原始图像校正模块202可以用于执行步骤S102。

请参照图7，图7为图6示出的图像虚化装置200中原始图像校正模块202的方框示意图。原始图像校正模块202包括第一校正单元2021及第二校正单元2022。

第一校正单元2021，用于当原始图像的灰度分布均匀时，对原始图像进行几何校正，以复原原始图像中的失真部分。

在本发明实施例中，第一校正单元2021可以用于执行子步骤S1021。

第二校正单元2022，用于当原始图像的灰度分布不均匀时，对原始图像进行灰度校正，对经过灰度校正后的原始图像，进行几何校正，以复原原始图像中的失真部分。

在本发明实施例中，第二校正单元2022可以用于执行子步骤S1022。

颜色分割模块203，用于对校正后的第一图像和第二图像分别进行图像规正。

在本发明实施例中，颜色分割模块203可以用于执行步骤S103。

关键词生成模块204，用于对规正后的第一图像和第二图像分别进行颜色分割，提取图像中颜色一致性区域。

在本发明实施例中，关键词生成模块204可以用于执行步骤S104。

立体匹配处理模块205，用于对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图。

在本发明实施例中，立体匹配处理模块205可以用于执行步骤S105。

请参照图8，图8为图6示出的图像虚化装置200中立体匹配处理模块205的方框示意图。立体匹配处理模块205包括局部窗口匹配单元2051、双向匹配单元2052、初始视差图获得单元2053、稠密视差图获得单元2054及图像转换单元2055。

局部窗口匹配单元2051，用于根据颜色一致性区域，对校正后的第一图像和第二图像分别进行局部窗口匹配，得到第一视差图和第二视差图，其中，第一视差图为将校正后的第一图像作为参考图像，与校正后的第二图像进行局部窗口匹配所得，第二视差图为将校正后的第二图像作为参考图像，与校正后的第一图像进行局部窗口匹配所得。

在本发明实施例中，局部窗口匹配单元2051可以用于执行子步骤S1051。

双向匹配单元2052，用于应用双向匹配策略来消除局部窗口匹配过程中产生的误匹配点。

在本发明实施例中，双向匹配单元2052可以用于执行子步骤S1052。

初始视差图获得单元2053，用于将第一视差图和第二视差图进行融合，得到初始视差图，填充误匹配点的视差信息。

在本发明实施例中，初始视差图获得单元2053可以用于执行子步骤S1053。

稠密视差图获得单元2054，用于对初始视差图进行处理优化，得到稠密视差图。

在本发明实施例中，稠密视差图获得单元2054可以用于执行子步骤S1054。

图像转换单元2055，用于根据视差与深度之间的关系，将稠密视差图转换为深度图。

在本发明实施例中，图像转换单元2055可以用于执行子步骤S1055。

深度图滤波模块206，用于对深度图进行滤波处理，去除深度图中的干扰信息。

在本发明实施例中，深度图滤波模块206可以用于执行步骤S106。

图像虚化模块207，用于对原始图像和深度图进行融合，得到背景虚化图像。

在本发明实施例中，图像虚化模块207可以用于执行步骤S107。

请参照图9，图9为图6示出的图像虚化装置200中图像虚化模块207的方框示意图。图像虚化模块207包括深度信息获取单元2071、背景区域确定单元2072及背景虚化单元2073。

深度信息获取单元2071，用于根据深度图获取深度信息。

在本发明实施例中，深度信息获取单元2071可以用于执行子步骤S1071。

背景区域确定单元2072，用于根据深度信息确定原始图像的背景区域。

在本发明实施例中，背景区域确定单元2072可以用于执行子步骤S1072。

背景虚化单元2073，用于对原始图像中处于背景区域部分的内容进行虚化处理，得到背景虚化图像。

在本发明实施例中，背景虚化单元2073可以用于执行子步骤S1073。

综上所述，本发明提供的一种图像虚化方法、装置及电子设备，所述方法包括：获取摄像装置采集的原始图像，其中，原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；对原始图像进行校正，以复原原始图像中的失真部分；对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图；对原始图像和深度图进行融合，得到背景虚化图像。本发明通过获取同一摄像装置拍摄的，具有同一取景范围的第一图像和第二图像，对第一图像和第二图像分别进行校正、图像规正及颜色分割后，利用立体匹配算法获得第一图像和第二图像共同的深度图，将原始图像与该深度图进行融合，根据深度图确定原始图像的背景区域，并对该背景区域进行虚化，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种图像虚化方法，其特征在于，应用于设置有摄像装置的电子设备，所述摄像装置包括第一镜头和第二镜头，所述方法包括：

获取摄像装置采集的原始图像，其中，所述原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；

对所述原始图像进行校正，以复原所述原始图像中的失真部分；

对校正后的所述第一图像和所述第二图像进行立体匹配处理，以获得深度图；

对所述原始图像和所述深度图进行融合，得到背景虚化图像。

2.如权利要求1所述的方法，其特征在于，所述对所述原始图像进行校正的步骤，包括：

当所述原始图像的灰度分布均匀时，对所述原始图像进行几何校正，以复原所述原始图像中的失真部分；

当所述原始图像的灰度分布不均匀时，对所述原始图像进行灰度校正，对经过灰度校正后的所述原始图像，进行几何校正，以复原所述原始图像中的失真部分。

3.如权利要求1所述的方法，其特征在于，所述对校正后的第一图像和第二图像进行立体匹配处理，以获得深度图的步骤之前，所述方法还包括：

对校正后的所述第一图像和所述第二图像分别进行图像规正；

对规正后的所述第一图像和所述第二图像分别进行颜色分割，提取图像中颜色一致性区域。

4.如权利要求3所述的方法，其特征在于，所述对校正后的所述第一图像和所述第二图像进行立体匹配处理，以获得深度图的步骤，包括：

根据颜色一致性区域，对校正后的所述第一图像和所述第二图像分别进行局部窗口匹配，得到第一视差图和第二视差图，其中，所述第一视差图为将校正后的所述第一图像作为参考图像，与校正后的所述第二图像进行局部窗口匹配所得，所述第二视差图为将校正后的所述第二图像作为参考图像，与校正后的所述第一图像进行局部窗口匹配所得；

应用双向匹配策略来消除局部窗口匹配过程中产生的误匹配点；

将所述第一视差图和所述第二视差图进行融合，得到初始视差图，填充所述误匹配点的视差信息；

对所述初始视差图进行处理优化，得到稠密视差图；

根据视差与深度之间的关系，将所述稠密视差图转换为所述深度图。

5.如权利要求1所述的方法，其特征在于，所述对所述原始图像和所述深度图进行融合，得到背景虚化图像的步骤，包括：

根据所述深度图获取深度信息；

根据所述深度信息确定所述原始图像的背景区域；

对所述原始图像中处于背景区域部分的内容进行虚化处理，得到背景虚化图像。

6.一种图像虚化装置，其特征在于，应用于设置有摄像装置的电子设备，所述摄像装置包括第一镜头和第二镜头，所述图像虚化装置包括：

原始图像获取模块，用于获取摄像装置采集的原始图像，其中，所述原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；

原始图像校正模块，用于对所述原始图像进行校正，以复原所述原始图像中的失真部分；

立体匹配处理模块，用于对校正后的所述第一图像和所述第二图像进行立体匹配处理，以获得深度图；

图像虚化模块，用于对所述原始图像和所述深度图进行融合，得到背景虚化图像。

7.如权利要求6所述的装置，其特征在于，所述原始图像校正模块包括：

第一校正单元，用于当所述原始图像的灰度分布均匀时，对所述原始图像进行几何校正，以复原所述原始图像中的失真部分；

第二校正单元，用于当所述原始图像的灰度分布不均匀时，对所述原始图像进行灰度校正，对经过灰度校正后的所述原始图像，进行几何校正，以复原所述原始图像中的失真部分。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

图像规正模块，用于对校正后的第一图像和第二图像分别进行图像规正；

颜色分割模块，用于对规正后的第一图像和第二图像分别进行颜色分割，提取图像中颜色一致性区域。

9.如权利要求8所述的装置，其特征在于，所述立体匹配处理模块包括：

局部窗口匹配单元，用于根据颜色一致性区域，对校正后的第一图像和第二图像分别进行局部窗口匹配，得到第一视差图和第二视差图，其中，第一视差图为将校正后的第一图像作为参考图像，与校正后的第二图像进行局部窗口匹配所得，第二视差图为将校正后的第二图像作为参考图像，与校正后的第一图像进行局部窗口匹配所得；

双向匹配单元，用于应用双向匹配策略来消除局部窗口匹配过程中产生的误匹配点；

初始视差图获得单元，用于将所述第一视差图和第二视差图进行融合，得到初始视差图，填充所述误匹配点的视差信息；

稠密视差图获得单元，用于对所述初始视差图进行处理优化，得到稠密视差图；

图像转换单元，用于根据视差与深度之间的关系，将所述稠密视差图转换为深度图。

10.一种电子设备，其特征在于，所述电子设备包括摄像装置，所述摄像装置包括第一镜头和第二镜头，所述电子设备还包括：

存储器；

处理器，所述处理器与所述摄像装置电连接；以及

图像虚化装置，所述装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，其包括：

原始图像获取模块，用于获取摄像装置采集的原始图像，其中，所述原始图像包括第一镜头采集的第一图像、以及第二镜头采集的第二图像；

原始图像校正模块，用于对所述原始图像进行校正，以复原所述原始图像中的失真部分；

立体匹配处理模块，用于对校正后的所述第一图像和所述第二图像进行立体匹配处理，以获得深度图；

图像虚化模块，用于对所述原始图像和所述深度图进行融合，得到背景虚化图像。