CN109727193B - 图像虚化方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种图像虚化方法、装置及电子设备，涉及图像处理技术领域，本发明实施例提供的一种图像虚化方法、装置及电子设备，可以通过对待处理图像进行轮廓检测，得到待处理图像包含的至少一个子轮廓，确定待处理图像的焦点，从至少一个子轮廓中选取包含焦点的焦点子轮廓，所述焦点子轮廓为焦点所在的对象的外轮廓。将待处理图像中焦点子轮廓对应的图像区域作为焦平面区域，基于所述焦平面区域对待处理图像进行虚化。该方法可以突出焦点所在的对象，增强图像的展示效果，进而提高用户体验。

Description

图像虚化方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像虚化方法、装置及电子设备。

背景技术

随着科学技术的发展和技术产业化应用水平的提升，移动终端等电子设备的功能越来越强大，大部分移动终端都配置了较高性能的摄像头，以便用户进行拍照或录像。虽然移动终端等电子设备配置有较高性能的摄像头，但后期仍需对其拍摄的图像进行处理以改善图像的质量。

在实际应用过程中，用户进行虚化时的意图多为将焦点所在的对象进行突出，将图像中除去焦点所在的对象之外的其它区域进行虚化。目前的图像虚化方式中确定的包含焦点的区域是预定范围内的区域，预设范围通常是一个具有规则轮廓的图形。然而，焦点所在的对象可以是人物、车辆、动物、植物或其它的对象，对象的轮廓是不规则的，所以通过上述方法无法突出焦点所在的对象，用户体验较差。

发明内容

有鉴于此，本发明的目的在于提供一种图像虚化方法、装置及电子设备，缓解了现有的图像虚化方式无法突出焦点所在的对象的问题，提高了用户体验。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种图像虚化方法，包括：

对待处理图像进行轮廓检测，得到所述待处理图像包含的至少一个子轮廓；

确定所述待处理图像的焦点；

从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓，将所述待处理图像中焦点子轮廓对应的图像区域作为焦平面区域；

对所述待处理图像进行模糊处理，得到模糊图像；

对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，确定所述待处理图像的焦点的步骤，包括：

接收用户选定的焦点；或者，将所述待处理图像的中心点作为焦点。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓的步骤，包括：

逐一将所述至少一个子轮廓中的每个子轮廓作为当前子轮廓；如果所述当前子轮廓包括与所述焦点具有相同横坐标的至少两个竖直交点和与所述焦点具有相同纵坐标的至少两个水平交点，并且所述至少两个竖直交点分别位于所述焦点的两侧，所述至少两个水平交点也分别位于所述焦点的两侧，将所述当前子轮廓作为包含所述焦点的焦点子轮廓。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓的步骤，包括：

从所述至少一个子轮廓中选取包括所述焦点的竖直交点和所述焦点的水平交点的子轮廓，组成候选子轮廓集；所述竖直交点与所述焦点具有相同横坐标；所述水平交点与所述焦点具有相同纵坐标；

逐一将所述候选子轮廓集中的每个子轮廓作为当前子轮廓，判断所述当前子轮廓上的至少两个竖直交点是否位于所述焦点的两侧，并且所述当前子轮廓上的至少两个水平交点是否位于所述焦点的两侧；

如果是，将所述当前子轮廓作为包含所述焦点的焦点子轮廓。

结合第一方面的第二种或第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法包括：

计算所述焦点的纵坐标与每个竖直交点的纵坐标的差值；

计算任意两个差值的乘积；

判断所述纵坐标的差值的乘积中是否存在负值；

如果是，则确定所述至少两个竖直焦点位于所述焦点的两侧；

计算所述焦点的横坐标与每个水平交点的横坐标的差值；

计算任意两个差值的乘积；

判断所述横坐标的差值的乘积中是否存在负值；

如果是，则确定所述至少两个水平交点位于所述焦点的两侧。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像的步骤，包括：

获取所述待处理图像的焦平面区域对应的焦平面图像以及所述模糊图像中除所述焦平面区域之外的焦平面外区域图像；

根据所述焦平面图像和所述焦平面外区域图像，得到虚化后的图像。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，获取所述待处理图像的焦平面区域对应的焦平面图像以及所述模糊图像中除所述焦平面区域之外的焦平面外区域图像的步骤，包括：

根据所述焦点子轮廓构建蒙版图像；所述蒙版图像为与所述待处理图像具有相同尺寸的二值图像，所述蒙版图像中焦点子轮廓内部的区域具有第一像素值，所述蒙版图像中焦点子轮廓外部的区域具有第二像素值；

通过所述蒙版图像获取所述待处理图像中的焦平面图像；

通过所述蒙版图像获取所述模糊图像中的焦平面外区域图像。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，根据所述焦平面图像和所述焦平面外区域图像，得到虚化后的图像的步骤，包括：

根据所述蒙版图像确定所述焦平面图像中各个像素点对应的融合系数；

根据所述焦平面图像中各个像素点的像素值与对应的融合系数的乘积，以及所述焦平面外区域图像中各个像素点的像素值，确定所述虚化后的图像中各个像素点的像素值。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，根据所述蒙版图像确定所述焦平面图像中各个像素点对应的融合系数的步骤，包括：

根据所述蒙版图像中各个像素点的像素值，计算所述蒙版图像的质心；

根据所述蒙版图像的质心和所述蒙版图像焦点子轮廓内部的区域中各个像素点的像素值，计算所述焦平面图像中各个像素点对应的融合系数。

第二方面，本发明实施例还提供一种图像虚化装置，包括：

轮廓检测模块，用于对待处理图像进行轮廓检测，得到所述待处理图像包含的至少一个子轮廓；

焦点获取模块，用于确定所述待处理图像的焦点；

焦点区域确定模块，用于从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓，将所述待处理图像中焦点子轮廓对应的图像区域作为焦平面区域；

模糊处理模块，用于对所述待处理图像进行模糊处理，得到模糊图像；

虚化处理模块，用于对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面中任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供的一种图像虚化方法、装置及电子设备，可以通过对待处理图像进行轮廓检测，得到待处理图像包含的至少一个子轮廓，确定待处理图像的焦点，从至少一个子轮廓中选取包含焦点的焦点子轮廓，所述焦点子轮廓为焦点所在的对象的外轮廓。将待处理图像中焦点子轮廓对应的图像区域作为焦平面区域，基于所述焦平面区域对待处理图像进行虚化。该方法可以突出焦点所在的对象，增强图像的展示效果，进而提高用户体验。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种图像虚化方法的流程图；

图3示出了本发明实施例所提供的从子轮廓中选择焦点子轮廓的示意图；

图4示出了本发明实施例所提供的另一种图像虚化方法的流程图；

图5示出了一种蒙版图像的示意图；

图6示出了本发明实施例所提供的一种图像虚化装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术只能基于包含焦点的预设范围内的区域对图像进行虚化的问题，本发明实施例提供的一种图像虚化方法、装置及电子设备，可以缓解现有的图像虚化方法无法突出焦点所在对象的问题，提高用户体验。以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像虚化方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)、图形处理单元(Graphics ProcessingUnit，GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如图片、视频等)，还可以将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

所述图像采集装置110可以拍摄用户期望的图像(例如图片、视频等)，将所拍摄的图像存储在所述存储装置104中以供其它组件使用。所述图像采集装置110还可以在拍摄图像之前，捕获预拍摄场景的视频流，以供用户预览。在一种可选的实施例中，图像采集装置110可以包括彩色相机。彩色相机可以采集进入相机视野范围内的物体的彩色图像。

示例性地，用于实现根据本发明实施例的图像虚化方法和装置的示例电子设备可以被实现在计算机或服务器上，也可以被实现在诸如电子相机、智能手机、平板电脑等移动终端上。

实施例二：

本实施例提供了一种图像虚化方法，图2示出了该图像增强方法的流程图。该需要说明的是，在图2的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。

如图2所示，该方法包括如下步骤：

步骤S202，对待处理图像进行轮廓检测，得到待处理图像包含的至少一个子轮廓。

其中，待处理图像可以是图像采集装置实时采集的图像，例如，图像采集装置实时拍摄的图片，或者图像采集装置在拍摄图片之前所捕获的预拍摄场景的图像。待处理图像也可以是预先存储的图像，例如，预先在电子设备的存储装置中的图像，或者是电子设备通过网络或其它方式从其它设备上下载的图像。另外，待检测图像可以是图片格式的图像，也可以是视频中的图像帧，本发明实施例不作限制。

子轮廓可以是待处理图像所包含的对象的外轮廓，可以通过外周轮廓线或边框的形式表达。所述对象可以是人物、车辆、动物、植物或其它具有边框的对象，轮廓检测可以检测出待处理图像中包含的所有对象的外轮廓，或者说可以检测出待处理图像包含的所有子轮廓。例如，在具有花和树叶的待处理图像中，检测到的子轮廓可以包括多个花的轮廓和多个树叶的轮廓。

可选地，可以采用边缘检测算法对待处理图像进行轮廓检测，边缘检测算法通过检测待处理图像中亮度变化明显的点，来确定待处理图像包含的子轮廓。

步骤S204，确定待处理图像的焦点。

在一种可选的实施例中，可以将待处理图像展示给用户，用户可以通过人机交互界面观看待处理图像，并且可以在待处理图像上通过点击等方式选择焦点。电子设备可以接收用户选定的焦点。

在另一种可选的实施例中，可以将待处理图像的中心点作为焦点。例如，电子设备如果在预设时间内没有接收到用户选定的焦点，或者没有为用户提供选择焦点的功能，则可以将待处理图像的中心点作为焦点。

步骤S206，从至少一个子轮廓中选取包含焦点的焦点子轮廓，将待处理图像中焦点子轮廓对应的图像区域作为焦平面区域。

逐一将至少一个子轮廓中的每个子轮廓作为当前子轮廓。如果当前子轮廓包括与焦点具有相同横坐标的至少两个竖直交点和与焦点具有相同纵坐标的至少两个水平交点，并且至少两个竖直交点分别位于焦点的两侧，至少两个水平交点也分别位于焦点的两侧，则可以将当前子轮廓作为包含焦点的焦点子轮廓。

结合图3所示，待处理图像包括子轮廓A、子轮廓B、子轮廓C。已经确定待处理图像的焦点P，子轮廓A与焦点P存在两个竖直交点，分别为交点A3和交点A4，同时，子轮廓A与焦点P还存在两个水平交点，分别为交点A1和交点A2。其中，交点A3和交点A4位于焦点P的两侧，但交点A1和交点A2却位于焦点P的同侧，所以，子轮廓A不是焦点子轮廓。子轮廓B与焦点P存在两个水平交点，分别为交点B1和交点B2，但子轮廓B与焦点P不存在竖直交点，所以，子轮廓B也不是焦点子轮廓。子轮廓C与焦点P存在两个竖直交点，分别为交点C2和交点C4，同时，子轮廓C与焦点P还存在两个水平交点，分别为交点C1和交点C3。其中，交点C2和交点C4位于焦点P的两侧，交点C1和交点C3也位于焦点P的两侧，所以，子轮廓C是焦点子轮廓。

步骤S208，对待处理图像进行模糊处理，得到模糊图像。

示例性地，可以采用指数模糊算法(Exponential blur)、均值模糊算法(BoxBlur，也可称为方框模糊算法)、堆栈模糊算法(Stack Blur)或高斯模糊算法(GaussianBlur)等方法中的任意一种对待处理图像进行模糊处理，得到模糊图像。

例如，在一种可选的实施例中，可以通过高斯模糊方法对待处理图像进行模糊处理，得到模糊图像。高斯模糊可以理解为使每一个像素点(可以作为中心像素点)的像素值均取其周边像素点的像素值的加权平均值。计算加权平均值时，选取范围越大，图像越模糊。可以通过预先设定的高斯核半径来确定选取范围的大小，高斯核半径越大，图像越模糊。根据不同需要，高斯核半径可以设置为1、3或5。求取某个中心像素点的像素值时，相对于该中心像素点来说，不同位置的像素点对应的权重不同，权重的分布符合正态分布，可以通过权重矩阵表示。例如，高斯核半径为1时，权重矩阵可以为：

该权重矩阵也可以称为高斯卷积核，对待处理图像进行高斯模糊处理的过程，可以理解为采用高斯卷积核与待处理图像进行卷积的过程，卷积后得到模糊图像。

步骤S208也可以不在步骤S206之后执行。例如，步骤S208可以在步骤S206、步骤S204甚至步骤S202之前执行，本发明实施例不作限制。

步骤S210，对模糊图像和待处理图像的焦平面区域进行融合处理，得到虚化后的图像。

该步骤可以理解为采用待处理图像的焦平面区域替换模糊图像中与焦平面区域相对应的区域，合成为虚化后的图像。

综上可知，本发明实施例提供的图像虚化方法，可以通过对待处理图像进行轮廓检测，得到待处理图像包含的至少一个子轮廓，确定待处理图像的焦点，然后从至少一个子轮廓中选取包含焦点的焦点子轮廓，所述焦点子轮廓为焦点所在的对象的外轮廓。将待处理图像中焦点子轮廓对应的图像区域作为焦平面区域，再对待处理图像进行模糊处理，得到模糊图像，通过对模糊图像和待处理图像的焦平面区域进行融合处理，得到虚化后的图像，缓解了现有的图像虚化方式无法突出焦点所在对象的问题，增强了图像的展示效果，进而提高了用户体验。

实施例三：

在上述实施例二的基础上，本实施例结合一种具体应用场景介绍本发明实施例提供的一种图像虚化方法，图4示出了本实施例所提供的一种图像虚化方法的流程图。例如，用户在使用电子设备拍照的过程中，可以开启实时图像虚化功能，电子设备将通过下文所描述的图像虚化方法对图像采集装置捕获的预览视频流中的图像帧进行处理，该方法包括如下步骤：

步骤S402，将待处理图像输入预先训练好的轮廓检测模型，得到轮廓检测模型输出的轮廓集，所述轮廓集中包括至少一个子轮廓。

其中，轮廓检测模型用于检测待处理图像中包含的所有子轮廓。轮廓检测模型可以采用卷积神经网络(如CNN网络、VGG网络等)。轮廓检测模型的训练过程可以包括：获取多个标定图像，所述标定图像中的轮廓已被精确标注，将多个标定图像分成训练集、验证集和测试集。利用训练集对轮廓检测模型进行训练，调整轮廓检测模型内的网络参数，通过验证集对训练过程中的轮廓检测模型进行验证。当轮廓检测模型的训练精度和验证精度都达到设定阈值时，训练完成。采用测试集对轮廓检测模型进行测试，衡量轮廓检测模型的性能。

步骤S404，确定待处理图像的焦点。

步骤S406，从至少一个子轮廓中选取包括焦点的竖直交点和焦点的水平交点的子轮廓，组成候选子轮廓集。

其中，竖直交点与焦点具有相同横坐标；水平交点与焦点具有相同纵坐标。

对于待处理图像中的每一个子轮廓，逐一判断位于该子轮廓的轮廓线上的所有点是否与所述焦点具有相同的横坐标和纵坐标，可以找到竖直交点和水平交点。如果该子轮廓同时包括所述焦点的竖直交点和所述焦点的水平交点，将该子轮廓加入候选子轮廓集中。

步骤S408，逐一将候选子轮廓集中的每个子轮廓作为当前子轮廓，判断当前子轮廓上的至少两个竖直交点是否位于焦点的两侧，并且当前子轮廓上的至少两个水平交点是否位于焦点的两侧；如果是，则执行步骤S410，如果否，则将下一个子轮廓作为当前子轮廓，执行步骤S408。

步骤S410，将当前子轮廓作为包含焦点的焦点子轮廓，将待处理图像中焦点子轮廓对应的图像区域作为焦平面区域。

示例性的，如果当前子轮廓仅包括一个竖直交点或者仅包括一个水平交点，则当前子轮廓不是焦点子轮廓，继续判断下一个子轮廓是否满足上述条件。

如果当前子轮廓包括两个竖直交点和两个水平交点，则可以先判断当前子轮廓上的两个竖直交点是否位于焦点的两侧，可以采用如下方法，包括：将焦点的纵坐标与第一竖直交点的纵坐标的差值，作为第一差值，将焦点的纵坐标与第二竖直交点的纵坐标的差值，作为第二差值，判断第一差值与第二差值的乘积是否为负，如果是，则确定所述两个竖直焦点位于所述焦点的两侧。然后判断当前子轮廓上的两个水平交点是否位于所述焦点的两侧，可以采用如下方法，包括：将焦点的横坐标与第一水平交点的横坐标的差值，作为第三差值；将焦点的横坐标与第二水平交点的横坐标的差值，作为第四差值；判断第三差值与第四差值的乘积是否为负，如果是，则确定所述两个水平交点位于所述焦点的两侧。如果两个条件同时满足，即两个竖直焦点位于所述焦点的两侧和两个水平交点位于所述焦点的两侧，则可以将当前子轮廓作为焦点子轮廓。如果两个条件中的一种一个不满足，则当前子轮廓不是焦点子轮廓，继续判断下一个子轮廓是否满足上述条件。

在一些实施例中，可以先判断当前子轮廓上的两个竖直交点是否位于焦点的两侧，再判断当前子轮廓上的两个水平交点是否位于所述焦点的两侧。在另一些实施例中，也可以先判断当前子轮廓上的两个水平交点是否位于所述焦点的两侧，再判断当前子轮廓上的两个竖直交点是否位于焦点的两侧。在另一些实施例中，还可以同时判断是否满足上述两个条件。

如果当前子轮廓包括多于两个竖直交点，只要其中一个竖直交点与其它竖直交点不在所述焦点的同一侧，即满足当前子轮廓上的至少两个竖直交点位于焦点的两侧这一条件。可以计算焦点的纵坐标与每一个竖直交点的纵坐标的差值，然后计算任意两个差值的乘积。若得到的所有乘积均为正值，说明当前子轮廓上的所有竖直交点均位于所述焦点的同一侧。只要所述乘积中存在一个负值，则说明当前子轮廓上的至少两个竖直交点位于焦点的两侧。同理，如果当前子轮廓包括多于两个水平交点，只要其中一个水平交点与其它水平交点不在所述焦点的同一侧，即满足当前子轮廓上的至少两个水平交点位于焦点的两侧这一条件。可以计算焦点的横坐标与每一个水平交点的横坐标的差值，然后计算任意两个差值的乘积。若得到的所有乘积均为正值，说明当前子轮廓上的所有水平交点均位于所述焦点的同一侧。只要所述乘积中存在一个负值，则说明当前子轮廓上的至少两个水平交点位于焦点的两侧。

步骤S412，对待处理图像进行模糊处理，得到模糊图像。

步骤S414，获取待处理图像的焦平面区域对应的焦平面图像以及模糊图像中除焦平面区域之外的焦平面外区域图像。

确定焦点子轮廓后，可以根据焦点子轮廓构建蒙版图像。所述蒙版图像为与待处理图像具有相同尺寸的二值图像，蒙版图像中焦点子轮廓内部的区域具有第一像素值，蒙版图像中焦点子轮廓外部的区域具有第二像素值。示例性地，第一像素值可以是255，第二像素值可以是0。图5示出了一种蒙版图像的示意图，如图5所示的蒙版图像，其中白色区域为焦点子轮廓内部的区域，黑色区域为焦点子轮廓外部的区域。

通过蒙版图像可以获取待处理图像中的焦平面图像。由于蒙版图像为二值图像，蒙版图像中焦点子轮廓外部的区域具有第二像素值0，利用蒙版图像中各个像素点的像素值与待处理图像中各个像素点的像素值对应相乘，即可得到待处理图像中的焦平面图像，去除待处理图像中其它区域的图像。上述过程可以理解为图5中的白色区域各个像素点的像素值与待处理图像对应的各个像素点的像素值相乘，则得到焦平面图像。设待处理图像为S，蒙版图像为Mask，则焦平面图像可以表示为S*Mask。

通过蒙版图像可以获取模糊图像中的焦平面外区域图像。利用预设值减去蒙版图像中各个像素点的像素值，该预设值可以是第一像素值，如255。该步骤可以理解为将蒙版图像反色，将图5所示的蒙版图像反色后，焦点子轮廓内部的区域变为黑色区域，焦点子轮廓外部的区域变为白色区域。反色后的蒙版图像中各个像素点的像素值与模糊图像中各个像素点的像素值对应相乘，即可得到模糊图像中的焦平面外区域图像，去除模糊图像中其它区域的图像。设模糊图像为A，则焦平面外区域图像可以表示为(255-Mask)*A。

步骤S416，根据焦平面图像和焦平面外区域图像，得到虚化后的图像。

可选地，可以先根据蒙版图像确定焦平面图像中各个像素点对应的融合系数，然后根据焦平面图像中各个像素点的像素值与对应的融合系数的乘积，以及焦平面外区域图像中各个像素点的像素值，确定虚化后的图像中各个像素点的像素值。

其中，可以采用如下方法确定焦平面图像中各个像素点对应的融合系数：

步骤1，根据蒙版图像中各个像素点的像素值，计算蒙版图像的质心，通过下述的算式(1)可以计算蒙版图像的质心横坐标的值x₀，通过下述的算式(2)可以计算蒙版图像的质心纵坐标的值y₀。

其中，f(x,y)为蒙版图像中的各个像素点的像素值。蒙版图像的质心横坐标的值x₀为蒙版图像各个像素点的横坐标的值乘以f(x,y)的总和与f(x,y)的总和的比值。蒙版图像的质心纵坐标的值y₀为蒙版图像各个像素点的纵坐标的值乘以f(x,y)的总和与f(x,y)的总和的比值。

步骤2，根据蒙版图像的质心和蒙版图像焦点子轮廓内部的区域中各个像素点的像素值，计算焦平面图像中各个像素点对应的融合系数。

其中，通过算式(3)计算焦平面图像中各个像素点对应的融合系数：

其中，K为融合系数，(x,y)为蒙版图像中焦点子轮廓内部的区域的各个像素点的坐标值，x₀为蒙版图像的质心横坐标的值，y₀为蒙版图像的质心纵坐标的值。

根据焦平面图像中各个像素点的像素值与对应的融合系数的乘积，以及焦平面外区域图像中各个像素点的像素值，可以确定虚化后的图像中各个像素点的像素值，进而得到虚化后的图像。根据上述描述，虚化后的图像Output可以表示为：Output＝S*Mask*K+(255-Mask)*A。

实施例四：

对应于前述方法实施例，本实施例提供了一种图像虚化装置，参见图6所示的一种图像虚化装置的结构示意图，该装置包括：

轮廓检测模块61，用于对待处理图像进行轮廓检测，得到所述待处理图像包含的至少一个子轮廓；

焦点获取模块62，用于确定所述待处理图像的焦点；

焦点区域确定模块63，用于从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓，将所述待处理图像中焦点子轮廓对应的图像区域作为焦平面区域；

模糊处理模块64，用于对所述待处理图像进行模糊处理，得到模糊图像；

虚化处理模块65，用于对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像。

焦点获取模块62还可以用于：接收用户选定的焦点；或者，将所述待处理图像的中心点作为焦点。

在一种可选的实施例中，焦点区域确定模块63还可以用于：逐一将所述至少一个子轮廓中的每个子轮廓作为当前子轮廓；如果所述当前子轮廓包括与所述焦点具有相同横坐标的至少两个竖直交点和与所述焦点具有相同纵坐标的至少两个水平交点，并且所述至少两个竖直交点分别位于所述焦点的两侧，所述至少两个水平交点也分别位于所述焦点的两侧，将所述当前子轮廓作为包含所述焦点的焦点子轮廓。

在另一种可选的实施例中，焦点区域确定模块63还可以用于：从所述至少一个子轮廓中选取包括所述焦点的竖直交点和所述焦点的水平交点的子轮廓，组成候选子轮廓集；所述竖直交点与所述焦点具有相同横坐标；所述水平交点与所述焦点具有相同纵坐标；逐一将所述候选子轮廓集中的每个子轮廓作为当前子轮廓，判断所述当前子轮廓上的至少两个竖直交点是否位于所述焦点的两侧，并且所述当前子轮廓上的至少两个水平交点是否位于所述焦点的两侧；如果是，将所述当前子轮廓作为包含所述焦点的焦点子轮廓。

如果所述当前子轮廓包括两个竖直交点和两个水平交点；焦点区域确定模块63还可以用于：将所述焦点的纵坐标与第一竖直交点的纵坐标的差值，作为第一差值；将所述焦点的纵坐标与第二竖直交点的纵坐标的差值，作为第二差值；判断所述第一差值与所述第二差值的乘积是否为负；以及用于：将所述焦点的横坐标与第一水平交点的横坐标的差值，作为第三差值；将所述焦点的横坐标与第二水平交点的横坐标的差值，作为第四差值；判断所述第三差值与所述第四差值的乘积是否为负。

虚化处理模块65还可以用于：获取所述待处理图像的焦平面区域对应的焦平面图像以及所述模糊图像中除所述焦平面区域之外的焦平面外区域图像；根据所述焦平面图像和所述焦平面外区域图像，得到虚化后的图像。

虚化处理模块65还可以用于：根据所述焦点子轮廓构建蒙版图像；所述蒙版图像为与所述待处理图像具有相同尺寸的二值图像，所述蒙版图像中焦点子轮廓内部的区域具有第一像素值，所述蒙版图像中焦点子轮廓外部的区域具有第二像素值；通过所述蒙版图像获取所述待处理图像中的焦平面图像；通过所述蒙版图像获取所述模糊图像中的焦平面外区域图像。

虚化处理模块65还可以用于：根据所述蒙版图像确定所述焦平面图像中各个像素点对应的融合系数；根据所述焦平面图像中各个像素点的像素值与对应的融合系数的乘积，以及所述焦平面外区域图像中各个像素点的像素值，确定所述虚化后的图像中各个像素点的像素值。虚化处理模块65还可以用于：根据所述蒙版图像中各个像素点的像素值，计算所述蒙版图像的质心；根据所述蒙版图像的质心和所述蒙版图像焦点子轮廓内部的区域中各个像素点的像素值，计算所述焦平面图像中各个像素点对应的融合系数。

本发明实施例提供的图像虚化装置，可以通过对待处理图像进行轮廓检测，得到待处理图像包含的至少一个子轮廓，确定待处理图像的焦点，然后从至少一个子轮廓中选取包含焦点的焦点子轮廓，将待处理图像中焦点子轮廓对应的图像区域作为焦平面区域，再对待处理图像进行模糊处理，得到模糊图像，通过对模糊图像和待处理图像的焦平面区域进行融合处理，得到虚化后的图像，缓解了现有的图像虚化方式无法突出焦点所在的对象的问题，提高了用户体验感。

本实施例所提供的图像虚化装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，包括图像采集装置、处理器和存储装置。所述图像采集装置用于拍摄图像。所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如下图像虚化方法的步骤：

对待处理图像进行轮廓检测，得到所述待处理图像包含的至少一个子轮廓；

确定所述待处理图像的焦点；

从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓，将所述待处理图像中焦点子轮廓对应的图像区域作为焦平面区域；

对所述待处理图像进行模糊处理，得到模糊图像；

对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像。

进一步地，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行前述方法实施例所提供的方法的步骤。

本发明实施例所提供的一种图像虚化方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像虚化方法，其特征在于，包括：

对待处理图像进行轮廓检测，得到所述待处理图像包含的至少一个子轮廓；

确定所述待处理图像的焦点；

从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓，将所述待处理图像中焦点子轮廓对应的图像区域作为焦平面区域；

对所述待处理图像进行模糊处理，得到模糊图像；

对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像；

对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像的步骤，包括：获取所述待处理图像的焦平面区域对应的焦平面图像以及所述模糊图像中除所述焦平面区域之外的焦平面外区域图像；根据所述焦平面图像和所述焦平面外区域图像，得到虚化后的图像；

根据所述焦平面图像和所述焦平面外区域图像，得到虚化后的图像的步骤，包括：根据所述焦平面图像中各个像素点的像素值与各所述像素点所对应的融合系数的乘积，以及所述焦平面外区域图像中各个像素点的像素值，确定所述虚化后的图像中各个像素点的像素值；其中，所述融合系数根据所述待处理图像所对应的蒙版图像确定，所述蒙版图像为与所述待处理图像具有相同尺寸的二值图像。

2.根据权利要求1所述的方法，其特征在于，确定所述待处理图像的焦点的步骤，包括：

接收用户选定的焦点；或者，将所述待处理图像的中心点作为焦点。

3.根据权利要求1所述的方法，其特征在于，从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓的步骤，包括：

逐一将所述至少一个子轮廓中的每个子轮廓作为当前子轮廓；如果所述当前子轮廓包括与所述焦点具有相同横坐标的至少两个竖直交点和与所述焦点具有相同纵坐标的至少两个水平交点，并且所述至少两个竖直交点分别位于所述焦点的两侧，所述至少两个水平交点也分别位于所述焦点的两侧，将所述当前子轮廓作为包含所述焦点的焦点子轮廓。

4.根据权利要求1所述的方法，其特征在于，从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓的步骤，包括：

从所述至少一个子轮廓中选取包括所述焦点的竖直交点和所述焦点的水平交点的子轮廓，组成候选子轮廓集；所述竖直交点与所述焦点具有相同横坐标；所述水平交点与所述焦点具有相同纵坐标；

逐一将所述候选子轮廓集中的每个子轮廓作为当前子轮廓，判断所述当前子轮廓上的至少两个竖直交点是否位于所述焦点的两侧，并且所述当前子轮廓上的至少两个水平交点是否位于所述焦点的两侧；

如果是，将所述当前子轮廓作为包含所述焦点的焦点子轮廓。

5.根据权利要求3或4所述的方法，其特征在于，所述方法包括：

计算所述焦点的纵坐标与每个竖直交点的纵坐标的差值；

计算任意两个差值的乘积；

判断所述纵坐标的差值的乘积中是否存在负值；

如果是，则确定所述至少两个竖直焦点位于所述焦点的两侧；

计算所述焦点的横坐标与每个水平交点的横坐标的差值；

计算任意两个差值的乘积；

判断所述横坐标的差值的乘积中是否存在负值；

如果是，则确定所述至少两个水平交点位于所述焦点的两侧。

6.根据权利要求1所述的方法，其特征在于，获取所述待处理图像的焦平面区域对应的焦平面图像以及所述模糊图像中除所述焦平面区域之外的焦平面外区域图像的步骤，包括：

根据所述焦点子轮廓构建蒙版图像；所述蒙版图像中焦点子轮廓内部的区域具有第一像素值，所述蒙版图像中焦点子轮廓外部的区域具有第二像素值；

通过所述蒙版图像获取所述待处理图像中的焦平面图像；

通过所述蒙版图像获取所述模糊图像中的焦平面外区域图像。

7.根据权利要求1所述的方法，其特征在于，根据蒙版图像确定所述焦平面图像中各个像素点对应的融合系数的步骤，包括：

根据蒙版图像中各个像素点的像素值，计算所述蒙版图像的质心；

根据所述蒙版图像的质心和所述蒙版图像焦点子轮廓内部的区域中各个像素点的像素值，计算所述焦平面图像中各个像素点对应的融合系数。

8.一种图像虚化装置，其特征在于，包括：

轮廓检测模块，用于对待处理图像进行轮廓检测，得到所述待处理图像包含的至少一个子轮廓；

焦点获取模块，用于确定所述待处理图像的焦点；

焦点区域确定模块，用于从所述至少一个子轮廓中选取包含所述焦点的焦点子轮廓，将所述待处理图像中焦点子轮廓对应的图像区域作为焦平面区域；

模糊处理模块，用于对所述待处理图像进行模糊处理，得到模糊图像；

虚化处理模块，用于对所述模糊图像和所述待处理图像的焦平面区域进行融合处理，得到虚化后的图像；

所述虚化处理模块，用于获取所述待处理图像的焦平面区域对应的焦平面图像以及所述模糊图像中除所述焦平面区域之外的焦平面外区域图像；根据所述焦平面图像和所述焦平面外区域图像，得到虚化后的图像；

所述虚化处理模块，用于根据所述焦平面图像中各个像素点的像素值与各所述像素点所对应的融合系数的乘积，以及所述焦平面外区域图像中各个像素点的像素值，确定所述虚化后的图像中各个像素点的像素值；其中，所述融合系数根据所述待处理图像所对应的蒙版图像确定，所述蒙版图像为与所述待处理图像具有相同尺寸的二值图像。

9.一种电子设备，其特征在于，包括处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7中任一项所述的方法的步骤。