CN111563908B - 一种图像处理方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法及相关装置，其中，方法包括：获取原始图像中第一前景区域对应的待处理图像，所述原始图像还包括第一背景区域；根据所述待处理图像确定所述原始图像对应的三值图像，所述三值图像包括第二前景区域、第二背景区域和未知区域，所述未知区域包括所述第一前景区域与所述第二前景区域之间的差异区域和所述第一背景区域与所述第二背景区域之间的差异区域；根据所述三值图像提取所述原始图像中的所述第一前景区域对应的目标图像。采用本申请实施例，可以根据获取的待处理图像生成三值图像，从而得到包含前景信息的目标图像，有利于提高抠图精度和效率。

Description

一种图像处理方法及相关装置

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法及相关装置。

背景技术

近年来，随着图像处理技术的发展，图像处理变得越来越普遍，用户可以在智能移动终端中对图像的特定区域进行处理，例如用户可以对图像中的人脸区域进行美颜处理，也可以对图像中背景区域进行虚化、替换处理等。而在对特定区域处理之前，还需对特定区域进行“抠图”，即从图像中将特定区域的图像准确地提取出来，得到单独的图层。

目前，抠图的过程中需要用户多次手动在图像中的前景区域和背景区域分别涂上不同的标记，以得到三值图像，进而根据三值图像对特定区域进行提取。这种抠图的方法需要用户交互，抠图效率低。

发明内容

本申请实施例提供一种图像处理方法及相关装置，可以根据获取的待处理图像生成三值图像，从而得到包含前景信息的目标图像，有利于提高抠图效率，能够满足更多场合对图像处理的需求。

第一方面，本申请实施例提供了一种图像处理方法，该图像处理方法包括：获取原始图像中第一前景区域对应的待处理图像，上述原始图像还包括第一背景区域；根据上述待处理图像确定上述原始图像对应的三值图像，上述三值图像包括第二前景区域、第二背景区域和未知区域，上述未知区域包括上述第一前景区域与上述第二前景区域之间的差异区域，以及上述第一背景区域与上述第二背景区域之间的差异区域；根据上述三值图像提取上述原始图像中的上述第一前景区域对应的目标图像。

结合第一方面，在一种可能的实现方式中，上述根据上述待处理图像确定上述原始图像对应的三值图像，包括：对上述待处理图像进行二值化处理，得到上述待处理图像对应的二值图像；获取预设的扫描元素和处理参数，上述扫描元素为预设形状和尺度的图像，上述扫描元素的尺度小于或等于上述待处理图像的尺度；使用上述扫描元素按照上述处理参数扫描上述二值图像，得到扫描结果；根据上述扫描结果确定上述原始图像对应的三值图像。

结合第一方面，在一种可能的实现方式中，上述根据上述扫描结果确定上述原始图像对应的三值图像，包括：确定第一区域，上述第一区域由上述扫描结果中上述扫描元素完全包含于上述二值图像时，上述扫描元素中的参考点所在的区域组成；确定第二区域，上述第二区域由上述扫描结果中上述扫描元素与上述二值图像的交集不为空时，上述参考点所在的区域组成；将上述第一区域与上述第二区域之间的差异区域确定为上述未知区域；根据上述待处理图像和上述未知区域确定上述原始图像对应的三值图像。

结合第一方面，在一种可能的实现方式中，上述根据上述三值图像提取上述原始图像中的上述第一前景区域对应的目标图像，包括：确定上述三值图像中上述未知区域包含的每一个像素的类别和上述类别对应的透明度，得到分割图像，上述类别包括前景和背景，上述分割图像为灰度图像；根据上述原始图像和上述分割图像得到上述第一前景区域对应的目标图像。

结合第一方面，在一种可能的实现方式中，上述待处理图像为上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息。

结合第一方面，在一种可能的实现方式中，上述获取原始图像中第一前景区域对应的待处理图像，包括：提取上述待处理图像中上述第一前景区域对应的掩膜；获取上述待处理图像中上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息；将上述掩膜与上述深度图像进行融合处理，得到上述待处理图像。

结合第一方面，在一种可能的实现方式中，上述方法还包括：根据上述原始图像和上述目标图像确定上述第一背景区域对应的图像；对上述第一背景区域对应的图像进行处理；将上述原始图像中的上述第一背景区域对应的图像替换为处理后的第一背景区域对应的图像。

第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：

获取模块，用于获取原始图像中第一前景区域对应的待处理图像，上述原始图像还包括第一背景区域；

第一确定模块，用于根据上述待处理图像确定上述原始图像对应的三值图像，上述三值图像包括第二前景区域、第二背景区域和未知区域，上述未知区域包括上述第一前景区域与上述第二前景区域之间的差异区域，以及上述第一背景区域与上述第二背景区域之间的差异区域；

提取模块，用于根据上述三值图像提取上述原始图像中的上述第一前景区域对应的目标图像。

结合第二方面，在一种可能的实现方式中，上述第一确定模块，具体用于：

对上述待处理图像进行二值化处理，得到上述待处理图像对应的二值图像；

获取预设的扫描元素和处理参数，上述扫描元素为预设形状和尺度的图像，上述扫描元素的尺度小于或等于上述待处理图像的尺度；

使用上述扫描元素按照上述处理参数扫描上述二值图像，得到扫描结果；

根据上述扫描结果确定上述原始图像对应的三值图像。

结合第二方面，在一种可能的实现方式中，上述第一确定模块，具体用于：

确定第一区域，上述第一区域由上述扫描结果中上述扫描元素完全包含于上述二值图像时，上述扫描元素中的参考点所在的区域组成；

确定第二区域，上述第二区域由上述扫描结果中上述扫描元素与上述二值图像的交集不为空时，上述参考点所在的区域组成；

将上述第一区域与上述第二区域之间的差异区域确定为上述未知区域；

根据上述待处理图像和上述未知区域确定上述原始图像对应的三值图像。

结合第二方面，在一种可能的实现方式中，上述提取模块，具体用于：

确定上述三值图像中上述未知区域包含的每一个像素的类别和上述类别对应的透明度，得到分割图像，上述类别包括前景和背景，上述分割图像为灰度图像；

根据上述原始图像和上述分割图像得到上述第一前景区域对应的目标图像。

结合第二方面，在一种可能的实现方式中，上述待处理图像为上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息。

结合第二方面，在一种可能的实现方式中，上述获取模块，具体用于：

提取上述待处理图像中上述第一前景区域对应的掩膜；

获取上述待处理图像中上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息；

将上述掩膜与上述深度图像进行融合处理，得到上述待处理图像。

结合第二方面，在一种可能的实现方式中，上述装置还包括：

第二确定模块，用于根据上述原始图像和上述目标图像确定上述第一背景区域对应的图像；

处理模块，用于对上述第一背景区域对应的图像进行处理；

替换模块，用于将上述原始图像中的上述第一背景区域对应的图像替换为处理后的第一背景区域对应的图像。

第三方面，本申请实施例提供了一种计算机设备，该设备包括存储器和处理器、收发器；所述处理器分别与所述存储器和所述收发器相连，其中，所述存储器存储有计算机程序代码，所述处理器和所述收发器用于调用所述程序代码，执行上述第一方面和/或第一方面任一种可能的实现方式提供的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。

在本申请实施例中，通过获取原始图像中的第一前景区域对应的待处理图像，根据待处理图像得到原始图像对应的三值图像，进而通过抠图的方法，得到原始图像中前景对应的目标图像。即获取原始图像的前景部分的待处理图像确定出前景部分对应的大致区域，进一步根据大致区域确定出三值图像中的前景区域、背景区域和未知区域，从而得到三值图，进一步抠图得到目标图像。由此可见，在得到三值图像的过程中无需用户手动涂抹或者标记，可以直接生成三值图像，有利于提升了抠图的效率，能够满足更多场合对图像处理的需求。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是本申请实施例提供的一种图像处理方法的架构示意图；

图3a是本申请实施例提供的一种对二值图像进行扫描的场景示意图；

图3b是本申请实施例提供的一种对二值图像进行扫描的另一场景示意图；

图3c是本申请实施例提供的一种对二值图像进行扫描的又一场景示意图；

图4是本申请实施例提供的一种图像处理方法的另一流程示意图；

图5是本申请实施例提供的一种图像处理方法的结果示意图；

图6是本申请实施例提供的一种图像处理装置的结构示意图；

图7是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请实施例提供的一种图像处理方法的流程示意图，本申请实施例提供的图像处理方法可包括如下步骤101-104：

101、获取原始图像中第一前景区域对应的待处理图像。

本申请实施例提供的一种图像处理方法可以应用于计算机设备，该计算机设备可以通过安装图像处理的应用程序执行本申请实施例提供的图像处理方法，也可以直接执行上述图像处理方法。其中，计算机设备可以包括服务器、手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID，mobile internet device)等，在此不做限制。每个计算机设备都可以基于安装的图像处理应用获取原始图像中第一前景区域对应待处理图像，也可以直接获取原始图像中第一前景区域对应的待处理图像。进一步对获取到的待处理图像进行处理，确定出原始图像中的三个区域(前景区域、背景区域以及未知区域)，即得到三值图像，进而根据三值图像提取出原始图像中的第一前景区域对应的目标图像。

具体的，一副图像中包含前景和背景，前景为图像中位于主体前面或者靠近前沿的人或者物，而背景是用以陪衬前景，或组成戏剧环境的一部分。具有烘托主体和装饰环境等作用，并有助于增强画面的空间深度，平衡构图和美化画面。前景区域为原始图像中前景部分对应的区域，背景区域为原始图像中背景部分对应的区域，其中，对于划分为前景和背景的区域，在一个区域内的颜色、亮度、景深等是有连续性的，而前景与背景相交的区域会出现不连续颜色或者亮度或者景深等。

为了更好地说明本申请实施例提供的图像处理方法，下面进一步结合图2对本申请实施例提供的图像处理方法进行说明。请一并参阅图2，图2是本申请实施例提供的一种图像处理方法的架构示意图。如图2所示，计算机设备获取原始图像201，该原始图像201中包含前景区域和背景区域，其中，为了描述方便，将原始图像201中，想要分割出来的精确的前景区域定义为第一前景区域，原始图像201包括第一前景区域和第一背景区域，将三值图像中的前景区域定义为第二前景区域，将三值图像中的背景区域定义为第二背景区域。其中，原始图像一般为RGB(红(R)、绿(G)、蓝(B))格式或者YUV(明度(Y)、色度(U)、浓度(V))格式的彩色图像。通过将原始图像201输入深度神经网络中得到的待处理图像可以为第一前景区域对应的掩膜(mask)202，待处理图像也可以是包含第一前景区域对应的对象的深度信息的深度图像203。或者，还可以是得到第一前景区域对应的掩膜202和深度图像203融合得到的图像204。其中，可以根据第一前景区域对应的掩膜202确定原始图像201对应的三值图像(trimap图)205，也可以根据深度图像203确定原始图像201对应的三值图像205，还可以根据融合处理后的图像204确定原始图像201对应的三值图像。图2以第一前景区域对应的掩膜202确定三值图像205为例进行绘制，详见图2中实线部分。其中，三值图像205包括第二前景区域、第二背景区域和未知区域，其中，三值图像205中包含的第二前景区域与原始图像201中的第一前景区域不同，三值图像205中包含的第二背景区域与原始图像201中的第一背景区域也不同，第一前景区域与第二前景区域之间的差异区域，以及第一背景区域与第二背景区域之间的差异区域组成三值图像205中的未知区域。进一步根据三值图像205和原始图像得到第一前景区域的图像，即α图(alpha图)206，进而根据α图206和原始图像201得到原始图像201中第一前景区域对应的目标图像207。

具体的，获取原始图像中第一前景区域对应的待处理图像，可以是获取原始图像，然后对获取到的原始图像输入至预先训练好的深度神经网络中，得到深度神经网络输出的第一前景区域对应的掩膜(mask)，其中掩膜可以是二值图像，也可以是多值图像(如将彩色图像中感兴趣的区域提取出来作为掩膜)。将原始图像中的前景区域作为待处理的区域。上述待处理图像也可以是由特殊的相机(如双目相机、深度相机，深度相机可以包括结构光相机或者时间飞行相机(TOF))拍摄到的原始图像对应的深度图像(depth map)，其中，深度图像包含了第一前景区域对应的对象(即被拍摄对象)的深度信息，即深度图像的像素值反映了图像中的物体到拍摄的相机所在平面的距离。深度图像可以是计算机设备内置的深度摄像头拍摄得到，也可以是从其他设备接收得到。进一步的，上述待处理图像还可以是将上述得到的深度神经网络输出的掩膜(mask)与上述深度图像进行图像融合处理后得到的。其中，图像融合可以是将采集到的前景图像的深度信息或景物特征融合到一张图像上，融合后的图像可以抑制更多背景区域的出现，换言之可以更突出前景区域。需要说明的是，待处理图像的掩膜(mask)是一个在前景区域和背景区域分割不精确的图像，可能没有完全包含原始图像的前景区域，还可能包含了原始图像的部分背景区域。而本申请提供的图像处理方法，可以改善前景区域和背景区域的边缘，从而提高分割的精度。

需要说明的是，本申请中提及的“前景区域对应的图像”、“前景区域”为同一对象的不同表述方式。

102、根据上述待处理图像确定上述原始图像对应的三值图像。

具体的，首先，将待处理图像进行二值化处理，得到待处理图像对应的二值图像。其中，二值图像中，掩膜包含的前景区域可以是白色区域，掩膜中除前景区域以外的区域可以是黑色区域。若获取到的待处理图像是由深度神经网络输出的第一前景区域对应的掩膜时，可以将待处理图像直接进行二值化处理，若获取到的待处理图像是深度图像时，深度图像是一副灰度图像，可以根据预设的像素值范围得到深度图像对应的二值图像，若获取到的待处理图像是深度图像和第一前景区域对应的掩膜的融合处理后的图像时，也可以通过预设的像素值阈值，对待处理图像进行二值化处理，得到融合处理后的图像对应的二值图像。

在一种可能的实现方式中，可以通过对二值图像进行图像腐蚀和图像膨胀处理得到原始图像对应的三值图像。为了更好地说明本申请实施例提供的图像处理方法，下面进一步结合图3a-图3c对本申请实施例提供的图像处理方法进行说明。请一并参阅图3a-图3c，图3a-图3c均是本申请实施例提供的一种对二值图像进行扫描的场景示意图。如图3a所示，左侧为二值图像，以像素值为0和1为例，二值图像中的灰色方格为像素值为1的区域，白色方格为像素值为0的区域。图3a右侧为扫描元素，扫描元素包含一个预设的参考点，如图3a中扫描元素左上角所示，其中，扫描元素包含的三个像素值均为1。需要说明的是，扫描元素的尺度小于或等于二值图像的尺度，一般扫描元素的尺度远小于二值图像的尺度，图3a仅为示例，并非实际扫描元素的尺寸。图3b为使用扫描元素扫描二值图像的过程，图3c为使用扫描元素扫描二值图像的扫描结果。其中，扫描元素的尺度、形状以及参考点的位置可以是预设的。对图像进行扫描操作之前，还需要获取处理参数，处理参数可以包括图像扫描的扫描顺序。可选的，可以是先对二值图像进行图像腐蚀处理再进行图像膨胀处理，也可以是先对二值图像进行图像膨胀处理再进行图像腐蚀处理。具体的，可以按照处理参数中的处理顺序使用扫描元素对二值图像进行扫描。需要说明的是，处理参数和扫描元素的参数(如参考点在扫描元素中的位置，扫描元素的尺度、形状等)可以根据图像处理的需求进行调整和修改，这里不做限定。需要说明的是，三值图像中的未知区域的尺度越大(或者未知区域在三值图像中的占比越大)，后续抠图处理的精度就越高，抠图效果就越好。

在一种可能的实现方式中，为了描述方便，以二值图像中前景区域的像素值为1，背景区域的像素值为0进行讲解，在扫描元素对二值图像进行扫描的过程中，可一并参阅图3b和图3c，当扫描元素被完全包含于二值图像中像素值为1的前景区域时，即图3b中灰色区域，保留扫描元素中参考点对应的区域，不保留(即腐蚀)其他像素值为1的白色区域，得到图像腐蚀处理一个像素的结果。扫描元素需从左上角第一个位置扫描到右下角的最后一个位置结束，得到整体图像膨胀处理的结果。其中，将扫描结果中参考点对应的区域确定为第一区域，如图3c中的灰色区域所示。

在一种可能的实现方式中，在扫描元素对二值图像进行扫描的过程中，可一并参阅图3b和图3c，如图3b所示，以扫描一个像素为例，当扫描元素与二值图像像素值为1的部分(即灰色区域)的交集不为空的情况下，将扫描元素参考点的位置所组成的区域在二值图像的像素值为0的区域膨胀出来，得到图像膨胀处理一个像素的结果。同样的，扫描元素需从左上角第一个位置扫描到右下角的最后一个位置结束，得到整体图像膨胀处理的结果。其中，将扫描结果中，上述扫描元素与二值图像的交集不为空时，参考点所在的区域确定为第二区域，如图3c中灰色区域所示，上述第二区域包含二值图像中像素值为1的部分。

进一步的，将第一区域和第二区域之间的差异区域确定为三值图像中的未知区域，将图像腐蚀处理后的第一区域，确定为三值图像中的前景区域，即第二前景区域，将除未知区域和第一区域以外的其他区域，确定为三值图像中的背景区域，即第二背景区域，得到三值图像。

进一步的，可以对上述三值图像进行图像上采样处理，即对三值图像的尺度进行放大调节。其中，可以采用内插法，在原三值图像的像素基础上，在像素点之间进行插值，***新的元素，从而对原三值图像进行放大。

在一种可能的实现方式中，可以使用传统插值算法，如：双线性插值的方法对原三值图像进行放大，通过四个已知的值从两个方向来共同确定未知的值的方法；也可以使用最近邻插值的方法，即将四个相邻像素点中距离最近的一个邻点的值作为该点的值的方法。也可以使用基于边缘的图像插值算法，在图像的边缘区与和非边缘区域采用不同的插值方法。还可以使用基于区域的插值算法，如：可以将原三值图像分割为多个区域，对插值的点映射到不同的区域，判断插值点所属的区域，进而根据插值点的领域像素设计不同的插值公式，最终得到插值点的值。

需要知道的是，由于算法的复杂性，通过深度神经网络或者深度图分割出的前景区域和背景区域的图像都只能在较小的尺度上得到，然后进行插值得到原图的尺度，这样会使得前景区域和背景区域分割的边缘不够精确。而本申请提供的图像处理方法可以通过对三值图像进行上采样处理，得到较大尺度的三值图像，从而能够在较大尺度下或者原始图像尺度下分割前景区域和背景区域，同时不造成精度的损失，能够达到平衡前景区域边缘处理的精度与耗时的作用。

103、根据上述三值图像提取上述原始图像中的上述第一前景区域对应的目标图像。

在一种可能的实现方式中，可以结合三值图像和原始图像进行图像抠图，得到原始图像中第一前景区域对应的图像，其中从三值图像中进行抠图得到的α图(alpha图)是一个二值图像，即抠图将三值图像中未知区域中的前景区域和背景区域分割开，得到α图。进一步的，根据α图和原始图像，可以得到原始图像中第一前景区域对应的目标图像，目标图像则是原始图像对应的第一前景区域对应的彩色图像。其中，抠图算法是确定三值图像中的未知区域包含的每一个像素是前景的透明度和背景的透明度，得到分割图像(α图)，进而根据α图得到目标图像。

在本申请实施例中，通过获取原始图像中的第一前景区域对应的待处理图像，根据待处理图像得到原始图像对应的三值图像，进而通过抠图的方法，得到原始图像中前景对应的目标图像。即获取原始图像的前景部分的待处理图像确定出前景部分对应的大致区域，进一步根据大致区域确定出三值图像中的前景区域、背景区域和未知区域，从而得到三值图，进一步抠图得到目标图像。由此可见，在得到三值图像的过程中无需用户手动涂抹或者标记，可以直接生成三值图像，有利于提升了抠图的效率，能够满足更多场合对图像处理的需求。

请参阅图4，图4是本申请实施例提供的一种图像处理方法的另一流程示意图。其中，步骤103中根据三值图像提取原始图像中第一前景图像对应的目标图像的具体实施方式可如图4所示，本申请实施例提供的图像处理方法的可包括如下步骤401-402：

401、确定三值图像中未知区域包含的每一个像素的类别和透明度，得到分割图像。

在一种可能的实现方式中，抠图处理的过程就是确定三值图像中未知区域包含的每一个像素的类别和类别对应的透明度，其中，类别包括了前景和背景，前景对应的透明度和背景对应的透明度之和为1(公式1中前景和背景的透明度之和为1)。即抠图处理为了求解公式(1)中未知数：

I＝αF+(1-α)B  (1)

其中，I表示原始图像，F表示原始图像中的前景，B表示原始图像中的背景，α表示透明度，α的值大于等于0且小于等于1。前景F和背景B的合成方式是通过透明度α来操作的，其中，这三个值都是未知量，对于能够完全确定为前景的像素α＝1；反之，对于能够完全确定为背景的像素α＝0。在抠图处理结束之后，得到分割图像(即α图)，分割图像为分割开第一前景区域和第一背景区域的二值图像，在分割图像中可以使用黑色区域代表第一背景区域，白色区域代表第一前景区域。

在一种可能的实现方式中，已知原始图像要得到三个未知量，可以通过基于传递的算法，如泊松方法，封闭(closed-form)方法，也可以基于采样的算法，如贝叶斯方法，还可以基于深度神经网络的方法，都可以得到α图，。在本申请实施例中，可以使用共享(shared)的方法或者整体(global)的方法，其中，共享(shared)的方法能够更快的处理得到前景F对应的α图，能够满足对实时性要求比较高的图像处理场景，如用户通过移动终端拍摄图像进行快速处理，得到拍摄图像对应的前景，进而对前景或者背景进行变换处理。

402、根据原始图像和上述分割图像得到第一前景区域对应的目标图像。

在一种可能的实现方式中，在得到α图后，可以根据原始图像和α图像得到原始图像对应的彩色图像，即目标图像。其中，可以通过合成的方法将α图与原始图像合成得到目标图像。

可选的，在得到目标图像后，可以调节目标区域的颜色、尺度等，以达到用户期望的效果。可选的，在得到目标图像后，也可以根据目标图像和原始图像，得到第一背景区域对应的彩色图像，进一步调节该彩色图像的颜色、尺度，得到处理后的图像，用处理后的图像替换原第一背景区域对应的图像。例如，在一张人像图像中，可以通过抠图得到目标图像，即人像区域的图像，并对该人像区域的图像(即目标图像)进行美颜、风格化处理，也可以将目标图像的背景替换为其他的图像，也可以对该人像图像中的背景进行虚化、去色等处理，以达到美观的效果。

为了更好的说明本申请实施例提供的图像处理方法，请一并参阅图5，图5是本申请实施例提供的一种图像处理方法的结果示意图，如图5所示，第一行的三幅图依次为包含人像的原始图像、三值图像以及抠图处理后得到的α图；第二行的三幅图依次为目标图像，对目标图像进行“大眼处理”的图像，以及对背景区域“渐变”处理后的图像。

在本申请实施例中，通过获取原始图像中的第一前景区域对应的待处理图像，根据待处理图像得到原始图像对应的三值图像，进而通过抠图的方法，得到原始图像中前景对应的目标图像。即获取原始图像的前景部分的待处理图像确定出前景部分对应的大致区域，进一步根据大致区域确定出三值图像中的前景区域、背景区域和未知区域，从而得到三值图，进一步抠图得到目标图像。由此可见，在得到三值图像的过程中无需用户手动涂抹或者标记，可以直接生成三值图像，有利于提升了抠图的效率，能够满足更多场合对图像处理的需求。并且，采用抠图的方法对三值图进行处理，提升了图像处理的精度，提升分割图像中前景部分的效果。

请参阅图6，图6是本申请实施例提供的一种图像处理装置的结构示意图。

该图像处理装置60包括：

获取模块61，用于获取原始图像中第一前景区域对应的待处理图像，上述原始图像还包括第一背景区域；

第一确定模块62，用于根据上述待处理图像确定上述原始图像对应的三值图像，上述三值图像包括第二前景区域、第二背景区域和未知区域，上述未知区域包括上述第一前景区域与上述第二前景区域之间的差异区域，以及上述第一背景区域与上述第二背景区域之间的差异区域；

提取模块63，用于根据上述三值图像提取上述原始图像中的上述第一前景区域对应的目标图像。

在一种可能的实现方式中，上述第一确定模块62，具体用于：

对上述待处理图像进行二值化处理，得到上述待处理图像对应的二值图像；

获取预设的扫描元素和处理参数，上述扫描元素为预设形状和尺度的图像，上述扫描元素的尺度小于或等于上述待处理图像的尺度；

使用上述扫描元素按照上述处理参数扫描上述二值图像，得到扫描结果；

根据上述扫描结果确定上述原始图像对应的三值图像。

在一种可能的实现方式中，上述第一确定模块62，具体用于：

确定第一区域，上述第一区域由上述扫描结果中上述扫描元素完全包含于上述二值图像时，上述扫描元素中的参考点所在的区域组成；

确定第二区域，上述第二区域由上述扫描结果中上述扫描元素与上述二值图像的交集不为空时，上述参考点所在的区域组成；

将上述第一区域与上述第二区域之间的差异区域确定为上述未知区域；

根据上述待处理图像和上述未知区域确定上述原始图像对应的三值图像。

在一种可能的实现方式中，上述提取模块63，具体用于：

确定上述三值图像中上述未知区域包含的每一个像素的类别和上述类别对应的透明度，得到分割图像，上述类别包括前景和背景，上述分割图像为灰度图像；

根据上述原始图像和上述分割图像得到上述第一前景区域对应的目标图像。

在一种可能的实现方式中，上述待处理图像为上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息。

在一种可能的实现方式中，上述获取模块61，具体用于：

提取上述待处理图像中上述第一前景区域对应的掩膜；

获取上述待处理图像中上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息；

将上述掩膜与上述深度图像进行融合处理，得到上述待处理图像。

在一种可能的实现方式中，上述装置60还包括：

第二确定模块64，用于根据上述原始图像和上述目标图像确定上述第一背景区域对应的图像；

处理模块65，用于对上述第一背景区域对应的图像进行处理；

替换模块66，用于将上述原始图像中的上述第一背景区域对应的图像替换为处理后的第一背景区域对应的图像。

在本申请实施例中，通过获取原始图像中的第一前景区域对应的待处理图像，根据待处理图像得到原始图像对应的三值图像，进而通过抠图的方法，得到原始图像中前景对应的目标图像。即获取原始图像的前景部分的待处理图像确定出前景部分对应的大致区域，进一步根据大致区域确定出三值图像中的前景区域、背景区域和未知区域，从而得到三值图，进一步抠图得到目标图像。由此可见，在得到三值图像的过程中无需用户手动涂抹或者标记，可以直接生成三值图像，有利于提升了抠图的效率，能够满足更多场合对图像处理的需求。

请参阅图7，图7是本申请实施例提供的一种计算机设备的结构示意图，如图7所示，本实施例中的计算机设备70可以包括：

处理器701，收发器702，和存储器705，此外，上述计算机设备70还可以包括：用户接口704，和至少一个通信总线703。其中，通信总线703用于实现这些组件之间的连接通信。其中，用户接口704可以包括显示屏(Display)、键盘(Keyboard)，存储器706可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器705可选的还可以是至少一个位于远离前述处理器701和前述收发器702的存储装置。如图7所示，作为一种计算机存储介质的存储器705中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。

在图7所示的计算机设备700中，收发器702可提供网络通讯功能，以使服务器间可进行通信；而用户接口704主要用于为用户提供输入的接口；而处理器701可以用于调用存储器705中存储的设备控制应用程序，执行如下操作：

上述处理器701，用于获取原始图像中第一前景区域对应的待处理图像，上述原始图像还包括第一背景区域；

上述处理器701，用于根据上述待处理图像确定上述原始图像对应的三值图像，上述三值图像包括第二前景区域、第二背景区域和未知区域，上述未知区域包括上述第一前景区域与上述第二前景区域之间的差异区域，以及上述第一背景区域与上述第二背景区域之间的差异区域；

上述处理器701，用于根据上述三值图像提取上述原始图像中的上述第一前景区域对应的目标图像。

在一种可能的实现方式中，上述处理器701还用于：

对上述待处理图像进行二值化处理，得到上述待处理图像对应的二值图像；

获取预设的扫描元素和处理参数，上述扫描元素为预设形状和尺度的图像，上述扫描元素的尺度小于或等于上述待处理图像的尺度；

使用上述扫描元素按照上述处理参数扫描上述二值图像，得到扫描结果；

根据上述扫描结果确定上述原始图像对应的三值图像。

在一种可能的实现方式中，上述处理器701还用于：

确定第一区域，上述第一区域由上述扫描结果中上述扫描元素完全包含于上述二值图像时，上述扫描元素中的参考点所在的区域组成；

确定第二区域，上述第二区域由上述扫描结果中上述扫描元素与上述二值图像的交集不为空时，上述参考点所在的区域组成；

将上述第一区域与上述第二区域之间的差异区域确定为上述未知区域；

根据上述待处理图像和上述未知区域确定上述原始图像对应的三值图像。

在一种可能的实现方式中，上述处理器701还用于：

确定上述三值图像中上述未知区域包含的每一个像素的类别和上述类别对应的透明度，得到分割图像，上述类别包括前景和背景，上述分割图像为灰度图像；

根据上述原始图像和上述分割图像得到上述第一前景区域对应的目标图像。

在一种可能的实现方式中，上述待处理图像为上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息。

在一种可能的实现方式中，上述处理器701还用于：

提取上述待处理图像中上述第一前景区域对应的掩膜；

获取上述待处理图像中上述第一前景区域对应的深度图像，上述深度图像包括上述第一前景区域对应的对象的深度信息；

将上述掩膜与上述深度图像进行融合处理，得到上述待处理图像。

在一种可能的实现方式中，上述处理器701还用于：

根据上述原始图像和上述目标图像确定上述第一背景区域对应的图像；

对上述第一背景区域对应的图像进行处理；

将上述原始图像中的上述第一背景区域对应的图像替换为处理后的第一背景区域对应的图像。

应当理解，在一些可行的实施方式中，上述处理器701可以是中央处理单元(central processing unit，CPU)，该处理器701还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器705可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器705的一部分还可以包括非易失性随机存取存储器。

具体实现中，上述计算机设备70可通过其内置的各个功能模块执行如上述图1至图5中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

在本申请实施例中，通过获取原始图像中的第一前景区域对应的待处理图像，根据待处理图像得到原始图像对应的三值图像，进而通过抠图的方法，得到原始图像中前景对应的目标图像。即获取原始图像的前景部分的待处理图像确定出前景部分对应的大致区域，进一步根据大致区域确定出三值图像中的前景区域、背景区域和未知区域，从而得到三值图，进一步抠图得到目标图像。由此可见，在得到三值图像的过程中无需用户手动涂抹或者标记，可以直接生成三值图像，有利于提升了抠图的效率，能够满足更多场合对图像处理的需求。并且，采用抠图的方法对三值图进行处理，提升了图像处理的精度，提升分割图像中前景部分的效果。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图1至图5中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

上述计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者上述计算机设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smartmedia card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本发明的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

获取原始图像中第一前景区域对应的待处理图像，所述原始图像还包括第一背景区域；

根据所述待处理图像确定所述原始图像对应的三值图像，所述三值图像包括第二前景区域、第二背景区域和未知区域，所述未知区域包括所述第一前景区域与所述第二前景区域之间的差异区域，以及所述第一背景区域与所述第二背景区域之间的差异区域，所述原始图像对应的三值图像为将所述待处理图像进行二值化处理，得到所述待处理图像对应的二值图像后，对二值图像进行图像腐蚀和图像膨胀处理得到的；

若所述待处理图像是所述第一前景区域对应的深度图像，所述深度图像包括所述第一前景区域对应的对象的深度信息，所述深度图像为灰度图像，根据预设的像素值范围得到所述深度图像对应的二值图像；

若所述待处理图像是所述深度图像和所述第一前景区域对应的掩膜的融合处理后的图像，根据预设的像素值阈值，对待处理图像进行二值化处理，得到融合处理后的图像对应的二值图像；

在所述三值图像的像素点之间进行插值，得到处理后的三值图像；

确定所述三值图像中所述未知区域包含的每一个像素的类别和所述类别对应的透明度，得到分割图像，所述类别包括前景和背景，所述分割图像为灰度图像，所述原始图像的像素的参数为I，，其中，F表示原始图像中的前景，B表示原始图像中的背景，α表示透明度，每个像素点前景的透明度和背景的透明度之和为1；

根据所述原始图像和所述分割图像确定所述第一前景区域对应的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理图像确定所述原始图像对应的三值图像，包括：

对所述待处理图像进行二值化处理，得到所述待处理图像对应的二值图像；

获取预设的扫描元素和处理参数，所述扫描元素为预设形状和尺度的图像，所述扫描元素的尺度小于或等于所述待处理图像的尺度；

使用所述扫描元素按照所述处理参数扫描所述二值图像，得到扫描结果；

根据所述扫描结果确定所述原始图像对应的三值图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述扫描结果确定所述原始图像对应的三值图像，包括：

确定第一区域，所述第一区域由所述扫描结果中所述扫描元素完全包含于所述二值图像时，所述扫描元素中的参考点所在的区域组成；

确定第二区域，所述第二区域由所述扫描结果中所述扫描元素与所述二值图像的交集不为空时，所述参考点所在的区域组成；

将所述第一区域与所述第二区域之间的差异区域确定为所述未知区域；

根据所述待处理图像和所述未知区域确定所述原始图像对应的三值图像。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取原始图像中第一前景区域对应的待处理图像，包括：

提取所述待处理图像中所述第一前景区域对应的掩膜；

获取所述待处理图像中所述第一前景区域对应的深度图像，所述深度图像包括所述第一前景区域对应的对象的深度信息；

将所述掩膜与所述深度图像进行融合处理，得到所述待处理图像。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

根据所述原始图像和所述目标图像确定所述第一背景区域对应的图像；

对所述第一背景区域对应的图像进行处理；

将所述原始图像中的所述第一背景区域对应的图像替换为处理后的第一背景区域对应的图像。

6.一种图像处理装置，其特征在于，所述装置包括用于执行如权利要求1-5任一项所述的方法的模块。

7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-5任一项所述的方法。

Images