CN107025457A - 一种图像处理方法和装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法和装置；本发明实施例在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；该方案可以减少误检和漏检的概率，大大提高分割的精准性，以及改善图像的融合效果。

Description

一种图像处理方法和装置

技术领域

本发明涉及计算机技术领域，具体涉及一种图像处理方法和装置。

背景技术

随着智能移动终端的普及，随时随地进行拍摄记录已经逐渐成为人们生活的一种方式，以此同时，图像处理，比如对图像进行美化或特效等处理也越来越受到人们的欢迎。

在特效处理中，元素替换是最为常见的技术之一。以替换天空元素为例，在现有技术中，一般可以基于图像中天空的颜色和位置等信息，进行阈值判断，然后，根据判断结果对图像进行天空分割，并将分割后得到的天空区域替换为其他的元素，比如烟火、驯鹿、或二次元太空，等等，从而使得处理后的图像可以达到一种特殊的效果。

在对现有技术的研究和实践过程中，本发明的发明人发现，由于现有方案在对图像进行区域划分时，主要是基于颜色和位置等信息进行阈值判断，因此，容易造成误检和漏检，大大影响分割的精准性、以及图像的融合效果，比如产生失真或不够平滑，等等。

发明内容

本发明实施例提供一种图像处理方法和装置；可以提高分割的精准性，以及改善融合效果。

本发明实施例提供一种图像处理方法，包括：

接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；

获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；

根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；

基于条件随机场对所述初始概率图进行优化，得到分割效果图；

根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。

相应的，本发明实施例还提供一种图像处理装置，包括：

接收单元，用于接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；

获取单元，用于获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；

预测单元，用于根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；

优化单元，用于基于条件随机场对所述初始概率图进行优化，得到分割效果图；

融合单元，用于根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。

本发明实施例在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；由于该方案中的语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，因此，相对于现有方案而言，可以大大减少误检和漏检的概率；此外，由于该方案还可以利用条件随机场对分割后的初始概率图进行优化，因此，可以得到更为精细的分割结果，大大提高分割的精准性，有利于减少图像失真的情况，改善图像的融合效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的图像处理方法的场景示意图；

图1b是本发明实施例提供的图像处理方法的流程图；

图2a是本发明实施例提供的图像处理方法的另一流程图；

图2b是本发明实施例提供的图像处理方法中图像处理请求的界面示例图；

图2c是本发明实施例提供的图像处理方法中天空分割的示例图；

图2d是本发明实施例提供的图像处理方法的处理流程框架图；

图3a是本发明实施例提供的图像处理装置的结构示意图；

图3b是本发明实施例提供的图像处理装置的另一结构示意图；

图4是本发明实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像处理方法和装置，其中，该图像处理装置具体可以集成在服务器等设备中。

例如，参见图1a，当用户需要对某张图像进行处理时，可以通过终端向服务器发送图像处理请求，其中，该图像处理请求指示需要处理的图像、以及需要替换的元素类型等信息。服务器在接收到图像处理请求后，可以获取与该元素类型对应的语义分割模型(该语义分割模型由深度神经网络训练而成)，然后，根据该语义分割模型，对该图像中每一像素属于该元素类型的概率进行预测，得到一张分割概率图，为了描述方便，在本发明实施例中，将该分割概率图称为初始概率图。此后，服务器还可以采用条件随机场等方式对该初始概率图进行优化，以得到更精细的分割结果(即得到分割效果图)，然后，根据分割结果将该图像与预设元素素材进行融合，比如，可以通过融合算法将分割效果图中的第一颜色部分(比如白色部分)与可替换的元素素材相结合，以及将分割效果图中的第二颜色部分(比如黑色部分)与图像相结合，然后，将两个结合结果进行合成，并将合成得到的处理后图像提供给终端，等等。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

实施例一、

本实施例将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在服务器等设备中。

一种图像处理方法，包括：接收图像处理请求，该图像处理请求指示需要处理的图像、以及需要替换的元素类型，获取与该元素类型对应的语义分割模型，该语义分割模型由深度神经网络训练而成，根据该语义分割模型，对该图像中每一像素属于该元素类型的概率进行预测，得到初始概率图，基于条件随机场对该初始概率图进行优化，得到分割效果图，根据该分割效果图将该图像与预设元素素材进行融合，得到处理后图像。

如图1b所示，该图像处理方法的具体流程可以如下：

101、接收图像处理请求。

例如，具体可以接收终端或其他网络侧设备发送的图像处理请求，等等。其中，该图像处理请求可以指示需要处理的图像、以及需要替换的元素类型等信息。

所谓元素类型，指的是元素的类别，而元素指的是可承载视觉信息的基本要素，比如，若该图像处理请求指示需要替换的元素类型为“天空”，则表明，需要对该图像中的所有天空部分进行替换；又比如，若该图像处理请求指示需要替换的元素类型为“人像”，则表明，需要对该图像中的所有人像部分进行替换，以此类推，等等。

102、获取与该元素类型对应的语义分割模型，该语义分割模型由深度神经网络训练而成。

例如，若在步骤101中，所接收到的图像处理请求指示需要替换的元素类型为“天空”，则此时，可以获取与“天空”对应的语义分割模型，而若在步骤101中，所接收到的图像处理请求指示需要替换的元素类型为“人像”，则此时，可以获取与“人像”对应的语义分割模型，等等。

可选的，该语义分割模型可以预先保存在该图像处理装置或其他存储设备中，在需要使用时，由该图像处理装置进行获取，或者，该语义分割模型也可以由该图像处理装置自行建立而成，即，在步骤“获取与该元素类型对应的语义分割模型”之前，该图像处理方法还可以包括：

建立该元素类型对应的语义分割模型，比如，具体可以如下：

获取包含有该元素类型的训练数据，根据该训练数据，利用深度神经网络对预设的语义分割初始模型进行训练，得到该元素类型对应的语义分割模型。

例如，以建立“天空”对应的语义分割模型为例，具体可以收集一定数量(比如8000张等)的包含天空的图片，然后，根据这些图片，利用深度神经网络对预设的语义分割初始模型进行调整(fine tune)，最终得到的模型便是“天空”对应的语义分割模型。

需说明的是，该预设的语义分割初始模型可以根据实际应用的需求预先进行设置，比如，可以采用预先训练好的针对一般场景20个类别的语义分割模型，等等。

103、根据该语义分割模型，对该图像中每一像素属于该元素类型的概率进行预测，得到初始概率图；例如，具体可以如下：

(1)将该图像导入该语义分割模型，以预测该图像中每一像素属于该元素类型的概率。

例如，以该元素类型为“天空”为例，则此时，可以将该图像导入“天空”对应的语义分割模型，以预测该图像中每一像素属于“天空”的概率。

又例如，以该元素类型为“人像”为例，则此时，可以将该图像导入“人像”对应的语义分割模型，以预测该图像中每一像素属于“人像”的概率，以此类推，等等。

(2)根据该概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图。

例如，具体可以确定该概率是否大于预设阈值，若是，则将相应像素在预设蒙版上的颜色设置为第一颜色，若否，则将相应像素在预设蒙版上的颜色设置为第二颜色，在确定该图像中所有像素在预设蒙版上的颜色均设置完毕后，输出设置颜色后的预设蒙版，得到初始概率图。

即此时可以得到一只包含第一颜色和第二颜色的蒙版，其中，该蒙版中的第一颜色表示相应像素属于该元素类型的概率较大，而第二颜色表示相应像素属于该元素类型的概率较小，因此，为了描述方便，在本发明实施例中，将该输出的蒙版称为初始概率图。

其中，该预设阈值可以根据实际应用的需求进行设置，比如，以该预设阈值具体为80％，且该元素类型为“天空”为例，若某个像素A属于“天空”的概率大于80％，则可以将像素A在预设蒙版上的颜色设置为第一颜色，否则，若像素A属于“天空”的概率小于等于80％，则可以将像素A在预设蒙版上的颜色设置为第二颜色，等等。

其中，第一颜色和第二颜色也可以根据实际应用的需求而定，比如，可以将第一颜色设置为白色，将第二颜色设置为黑色，或者，也可以将第一颜色设置为粉色，而将第二颜色设置为绿色，等等。为了描述方便，在本发明实施例中，将均以第一颜色为白色，而第二颜色为黑色为例进行说明。

104、基于条件随机场(CRF或CRFs，Conditional Random Fields，也称为条件随机域)对该初始概率图进行优化，得到分割效果图。

例如，具体可以将该初始概率图中的像素映射至条件随机场中的节点，确定节点之间的边约束的相似性，并根据边约束的相似性对该初始概率图中像素的分割结果进行调整，得到分割效果图。

其中，条件随机场是一种判别式概率模型，是随机场的一种。如同马尔可夫随机场，条件随机场为具有无向的图模型，图模型中的节点(即顶点)代表随机变量，节点间的连线代表随机变量间的相依关系。条件随机场具有表达长距离依赖性和交叠性特征的能力，能够较好地解决标注(分类)偏置等问题的优点，而且所有特征可以进行全局归一化，能够求得全局的最优解，因此，可以利用条件随机场来优化该初始概率图，以达到优化分割结果的目的。

需说明的是，由于分割效果图是由初始概率图优化得到的，因此，该分割效果图同样也是一张包含第一颜色和第二颜色的蒙版。

105、根据该分割效果图将该图像与预设元素素材进行融合，得到处理后图像；例如，具体可以如下：

(1)按照预设策略获取可替换的元素素材。

其中，该预设策略可以根据实际应用的需求进行设置，比如，可以接收用户触发的素材选择指令，然后，根据该素材选择指令从素材库获取相应的素材，作为可替换的元素素材，等等。

可选的，为了增加该元素素材的多样性，还可以采用随机截取的方式可获取该元素素材，即步骤“按照预设策略获取可替换的元素素材”也可以包括：

获取候选图像，对该候选图像进行随机截取，并将截取到的图像作为可替换的元素素材，等等。

其中，该候选图像可以通过在网络上进行获取，或者，也可以由用户进行上传，甚至，也可以由用户直接在终端屏幕或网页上截图，然后提供给该图像处理装置，等等，在此不再赘述。

(2)通过融合算法将该分割效果图中的第一颜色部分与获取到的元素素材相结合，得到第一结合图。

由于第一颜色部分的像素属于该需要替换的元素类型的概率较高，因此，此时，可以通过融合算法，将该部分与获取到的元素素材进行结合，即可以将该部分的像素均替换为获取到的元素素材。

(3)通过融合算法将该分割效果图中的第二颜色部分与该图像相结合，得到第二结合图。

由于第二颜色部分的像素属于该需要替换的元素类型的概率较低，因此，此时，可以通过融合算法，将该部分与原图像进行结合，即保留该部分的像素。

需说明的是，可选的，为了提高融合效果，或者实现其他的特效效果，在将第二颜色部分与该图像相结合之前，还可以对该图像进行一定预处理，比如进行色彩变换，对比度调整、亮度调整、饱和度调整、和/或添加其他特效蒙版等，然后，再通过融合算法，将第二颜色部分与该预处理后的图像进行结合，以得到第二结合图。

(4)将第一结合图和第二结合图进行合成，得到处理后图像。

这样，便可以将图像中需要进行替换的元素替换为该元素素材，比如将图像中的“天空”替换为“太空”，等等，在此不再赘述。

可选的，为了使得融合结果更为真实，避免由于概率预测不准确所导致的噪声或缺失，还可以在融合之前，对该分割效果图进行一定处理，以使得其分割边界更为光滑、以及替换区域的连接处的颜色过渡可以更为自然；即在步骤“根据该分割效果图将该图像与预设元素素材进行融合，得到处理后图像”之前，该图像处理方法还可以包括：

对该分割效果图进行外观模型(Appearance Model)算法和/或图像形态学操作处理，得到处理后分割效果图。

则此时，步骤“根据该分割效果图将该图像与预设元素素材进行融合，得到处理后图像”可以包括：根据处理后分割效果图，将该图像与预设元素素材进行融合，比如进行透明度(Alpha)融合，得到处理后图像。

其中，外观模型算法是广泛应用于模式识别领域的一种特征点提取方法，它可以对纹理进行统计建模，并将形状和纹理两个统计模型进一步融合为表观模型。而图像形态学操作处理可以包括降噪处理和/或连通域分析等处理，通过外观模型算法或图像形态学操作等处理后的分割效果图，其分割边界可以更为光滑、且替换区域的连接处的颜色过渡可以更为自然。

还需说明的是，本发明实施例所说的“Alpha融合”指的是基于Alpha值来进行融合，其中，Alpha主要是用来指定像素的透明等级。一般的，可以为每个像素的alpha部分保留8位，alpha的有效值在[0，255]范围内，[0，255]代表不透明度[0％，100％]。因此，像素的alpha为0时，表示完全透明，像素的alpha为128时，表示50％透明，像素的alpha为255时，表示完全不透明。

由上可知，本实施例在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；由于该方案中的语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，因此，相对于现有方案而言，可以大大减少误检和漏检的概率；此外，由于该方案还可以利用条件随机场对分割后的初始概率图进行优化，因此，可以得到更为精细的分割结果，大大提高分割的精准性，有利于减少图像失真的情况，改善图像的融合效果。

实施例二、

根据实施例一所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该图像处理装置具体集成在服务器，且该需要替换的元素为“天空”为例进行说明。

如图2a和2d所示，一种图像处理方法，具体流程可以如下：

201、终端向服务器发送图像处理请求，其中，该图像处理请求可以指示需要处理的图像、以及需要替换的元素类型等信息。

其中，该图像处理请求的触发方式可以有多种，比如，可以通过点击或滑动网页或客户端界面上的触发键来触发，或者，也可以通过输入预设指令来进行触发，等等。

例如，以点击触发键来进行触发为例，参见图2b，当用户需要将图片A中的天空部分替换为其他元素，比如替换为“太空”元素或增加“云朵”时，可以通过上传图片A，并点击触发键“玩一次”来触发生成图像处理请求，并向服务器发送该图像处理请求，其中，该图像处理请求指示需要处理的图像为图像A，以及需要替换的元素类型为“天空”。

需说明的是，在本实施例中，将均以需要替换的元素为“天空”为例进行说明，应当理解的，该需要替换的元素类型也可以是其他类型，比如“人像”、“眼睛”或“植物”，等等，其实现与此类似，在此不再赘述。

202、服务器接收到该图像处理请求后，获取与“天空”对应的语义分割模型，该语义分割模型由深度神经网络训练而成。

可选的，该语义分割模型可以预先保存在该图像处理装置或其他存储设备中，在需要使用时，由该图像处理装置进行获取，或者，该语义分割模型也可以由该图像处理装置自行建立而成，例如，可以获取包含有该元素类型的训练数据，比如，收集一定数量的包含天空的图片，然后，根据该训练数据(即包含天空的图片)，利用深度神经网络对预设的语义分割初始模型进行训练，得到该“天空”对应的语义分割模型。

需说明的是，该预设的语义分割初始模型可以根据实际应用的需求预先进行设置，比如，可以采用预先训练好的针对一般场景20个类别的语义分割模型，等等。

203、服务器将该图像导入该语义分割模型，以预测该图像中每一像素属于该“天空”的概率。

例如，若在步骤202中，所接收到的图像处理请求中，指示需要处理的图像为图片A，则此时，可以将图片A以三通道彩色图像的方式导入到该“天空”对应的语义分割模型中，以预测该图像A中每一像素属于该“天空”的概率，然后，执行步骤204。

204、服务器根据该概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图。

例如，具体可以确定该概率是否大于预设阈值，若是，则将相应像素在预设蒙版上的颜色设置为第一颜色，若否，则将相应像素在预设蒙版上的颜色设置为第二颜色，在确定该图像中所有像素在预设蒙版上的颜色均设置完毕后，输出设置颜色后的预设蒙版，得到初始概率图。

其中，该预设阈值可以根据实际应用的需求进行设置，比如，以该预设阈值具体为80％为例，若某个像素K属于“天空”的概率大于80％，则可以将该像素K在预设蒙版上的颜色设置为第一颜色，否则，若某个像素K属于“天空”的概率小于等于80％，则可以将该像素K在预设蒙版上的颜色设置为第二颜色，等等。

其中，第一颜色和第二颜色也可以根据实际应用的需求而定，比如，可以将第一颜色设置为白色，将第二颜色设置为黑色，或者，也可以将第一颜色设置为粉色，而将第二颜色设置为绿色，等等。

比如，以第一颜色设置为白色，将第二颜色设置为黑色为例，则将图片A导入该语义分割模型后，可以得到如图2c所示的初始概率图。

205、服务器基于条件随机场对该初始概率图进行优化，得到分割效果图。

例如，服务器可以将该初始概率图中的像素映射至条件随机场中的节点，确定节点之间的边约束的相似性，并根据边约束的相似性对该初始概率图中像素的分割结果进行调整，得到分割效果图。

由于条件随机场是一种无向图模型，因此，可以将图像中的每一个像素都对应条件随机场中的一个节点，并预设包括颜色、纹理、以及位置等参数的先验信息，这样，节点之间的边约束相似的像素便具有相似的分割结果，所以，可以根据边约束的相似性对该初始概率图中像素的分割结果进行调整，使得天空分割结果更为精细，例如，参加图2c，基于条件随机场对该初始概率图进行优化后，可以得到分割结果更为精细的分割效果图。

206、服务器对该分割效果图进行外观模型算法和/或图像形态学操作处理，得到处理后分割效果图，然后，执行步骤207。

其中，图像形态学操作处理可以包括降噪处理和/或连通域分析等处理。通过外观模型算法或图像形态学操作等处理后的分割效果图，其分割边界可以更为光滑、且替换区域的连接处的颜色过渡可以更为自然。

需说明的是，步骤206为可选步骤，若不执行步骤206，则在步骤205执行完毕后，可以直接执行步骤207，并在步骤208中，通过融合算法将该分割效果图、图像、以及元素素材进行融合，得到处理后图像。

207、服务器按照预设策略获取可替换的元素素材。

其中，该预设策略可以根据实际应用的需求进行设置，比如，可以接收用户触发的素材选择指令，然后，根据该素材选择指令从素材库获取相应的素材，作为可替换的元素素材，等等。

可选的，为了增加该元素素材的多样性，还可以采用随机截取的方式可获取该元素素材，比如，服务器可以获取候选图像，然后，对该候选图像进行随机截取，并将截取到的图像作为可替换的元素素材，等等。

其中，该候选图像可以通过在网络上进行获取，或者，也可以由用户进行上传，甚至，也可以由用户直接在终端屏幕或网页上截图，然后提供给该图像处理装置，等等，在此不再赘述。

208、服务器通过融合算法将该处理后分割效果图、图像、以及元素素材进行融合，得到处理后图像。

例如，还是以第一颜色为白色，第二颜色为黑色为例进行说明，则此时，服务器可以通过融合算法将该分割效果图中的白色部分与获取到的元素素材相结合，得到第一结合图，以及，通过融合算法将该分割效果图中的黑色部分与该图像A相结合，得到第二结合图，然后，将第一结合图和第二结合图进行合成，得到处理后图像。

由于白色部分的像素属于该“天空”的概率较高，因此，此时，可以通过融合算法，将该部分的像素均替换为获取到的元素素材，而由于黑色部分的像素属于“天空”的概率较低，因此，此时，可以通过融合算法，将该部分的像素与原图像A进行结合，即保留该部分的像素，这样，将第一结合图和第二结合图进行合成后，便可以将原图像A中的“天空”替换为相应的元素素材，比如将图像A中的“天空”替换为“圣诞的夜空”，等等，参见图2d，在此不再赘述。

需说明的是，可选的，如图2d所示，为了提高融合效果，或者实现其他的特效效果，在将黑色部分(即第二颜色部分)与该图像A相结合之前，还可以对该图像A进行一定预处理，比如进行色彩变换，对比度调整、亮度调整、饱和度调整、和/或添加其他特效蒙版等，然后，再通过融合算法，将黑色部分与该预处理后的图像A进行结合，以得到第二结合图，在此不再赘述。

209、服务器将处理后图像发送给终端。

比如，可以在相应客户端的界面上显示该处理后图像。可选的，该服务器还可以提供相应的保存途径和/或分享接口，以供用户进行保护和/或分享，比如，可以将该处理后图像保存在云端或本地(即终端中)，以及将该处理后图像分享至微博、朋友圈、和/或***至即时聊天工具的聊天对话界面中，等等，在此不再赘述。

由上可知，本实施例在接收到图像处理请求后，可以根据该请求的指示获取与“天空”对应的语义分割模型，根据该模型预测图像中每一像素属于“天空”的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的“天空”部分替换为预设元素素材的目的；由于该方案中的语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，因此，相对于现有方案而言，可以大大减少误检和漏检的概率；此外，由于该方案还可以利用条件随机场对分割后的初始概率图进行优化，因此，可以得到更为精细的分割结果，大大提高分割的精准性，有利于减少图像失真的情况，改善图像的融合效果。

实施例三、

为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置具体可以集成在服务器等设备中。

如图3a所示，该图像处理装置包括接收单元301、获取单元302、预测单元303、优化单元304、以及融合单元305，如下：

(1)接收单元301；

接收单元301，用于接收图像处理请求，该图像处理请求指示需要处理的图像、以及需要替换的元素类型等信息。

(2)获取单元302；

获取单元302，用于获取与该元素类型对应的语义分割模型，该语义分割模型由深度神经网络训练而成。

例如，若接收单元301所接收到的图像处理请求指示需要替换的元素类型为“天空”，则此时，获取单元302可以获取与“天空”对应的语义分割模型，而若接收单元301所接收到的图像处理请求指示需要替换的元素类型为“人像”，则此时，获取单元302可以获取与“人像”对应的语义分割模型，等等，在此不再列举。

可选的，该语义分割模型可以预先保存在该图像处理装置或其他存储设备中，在需要使用时，由该图像处理装置进行获取，或者，该语义分割模型也可以由该图像处理装置自行建立而成，即如图3b所示，该图像处理装置还可以包括模型建立单元306，如下：

该模型建立单元306，可以用于建立该元素类型对应的语义分割模型，比如，具体可以如下：

获取包含有该元素类型的训练数据，根据该训练数据，利用深度神经网络对预设的语义分割初始模型进行训练，得到该元素类型对应的语义分割模型。

其中，该预设的语义分割初始模型可以根据实际应用的需求预先进行设置，比如，可以采用预先训练好的针对一般场景20个类别的语义分割模型，等等。

(3)预测单元303；

预测单元303，用于根据该语义分割模型，对该图像中每一像素属于该元素类型的概率进行预测，得到初始概率图。

例如，该预测单元303可以包括预测子单元和设置子单元，如下：

预测子单元，可以用于将该图像导入该语义分割模型，以预测该图像中每一像素属于该元素类型的概率。

例如，以该元素类型为“天空”为例，则此时，预测子单元可以将该图像导入“天空”对应的语义分割模型，以预测该图像中每一像素属于“天空”的概率。

设置子单元，可以用于根据该概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图。

比如，该设置子单元，具体可以用于确定该概率是否大于预设阈值，若是，则将相应像素在预设蒙版上的颜色设置为第一颜色；若否，则将相应像素在预设蒙版上的颜色设置为第二颜色；在确定该图像中所有像素在预设蒙版上的颜色均设置完毕后，输出设置颜色后的预设蒙版，得到初始概率图。

其中，该预设阈值可以根据实际应用的需求进行设置，而第一颜色和第二颜色也可以根据实际应用的需求而定，比如，可以将第一颜色设置为白色，将第二颜色设置为黑色，等等。

(4)优化单元304；

优化单元304，用于基于条件随机场对该初始概率图进行优化，得到分割效果图。

例如，该优化单元304，具体可以用于将该初始概率图中的像素映射至条件随机场中的节点，确定节点之间的边约束的相似性，根据边约束的相似性对该初始概率图中像素的分割结果进行调整，得到分割效果图。

(5)融合单元305；

融合单元305，用于根据该分割效果图将该图像与预设元素素材进行融合，得到处理后图像。

例如，该融合单元305可以包括素材获取子单元、第一融合子单元、第二融合子单元和合成子单元，如下：

该素材获取子单元，用于按照预设策略获取可替换的元素素材。

其中，该预设策略可以根据实际应用的需求进行设置，比如，该素材获取子单元，具体可以用于接收用户触发的素材选择指令，根据该素材选择指令从素材库获取相应的素材，作为可替换的元素素材，等等。

可选的，为了增加该元素素材的多样性，还可以采用随机截取的方式可获取该元素素材，即：

该素材获取子单元，具体用于获取候选图像，对该候选图像进行随机截取，并将截取到的图像作为可替换的元素素材。

其中，该候选图像可以通过在网络上进行获取，或者，也可以由用户进行上传，甚至，也可以由用户直接在终端屏幕或网页上截图，然后提供给该图像处理装置，等等，在此不再赘述。

该第一融合子单元，可以用于通过融合算法将该分割效果图中的第一颜色部分与获取到的元素素材相结合，得到第一结合图。

该第二融合子单元，可以用于通过融合算法将该分割效果图中的第二颜色部分与该图像相结合，得到第二结合图。

该合成子单元，可以用于将第一结合图和第二结合图进行合成，得到处理后图像。

可选的，为了使得融合结果更为真实，避免由于概率预测不准确所导致的噪声或缺失，还可以在融合之前，对该分割效果图进行一定处理，以使得其分割边界更为光滑、以及替换区域的连接处的颜色过渡可以更为自然；即如图3b所示，该图像处理装置还可以包括预处理单元307，如下：

该预处理单元307，可以用于对该分割效果图进行外观模型算法和/或图像形态学操作处理，得到处理后分割效果图。

则此时，融合单元305，具体可以用于根据处理后分割效果图，将该图像与预设元素素材进行融合，得到处理后图像。

其中，图像形态学操作处理可以包括降噪处理和/或连通域分析等处理，在此不再赘述。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例在接收到图像处理请求后，可以由获取单元302根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，并由预测单元303根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，由优化单元304基于条件随机场对该初始概率图进行优化，并由融合单元305利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；由于该方案中的语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，因此，相对于现有方案而言，可以大大减少误检和漏检的概率；此外，由于该方案还可以利用条件随机场对分割后的初始概率图进行优化，因此，可以得到更为精细的分割结果，大大提高分割的精准性，有利于减少图像失真的情况，改善图像的融合效果。

实施例四、

本发明实施例还提供一种服务器，如图4所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

服务器还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

接收图像处理请求，该图像处理请求指示需要处理的图像、以及需要替换的元素类型，获取与该元素类型对应的语义分割模型，该语义分割模型由深度神经网络训练而成，根据该语义分割模型，对该图像中每一像素属于该元素类型的概率进行预测，得到初始概率图，基于条件随机场对该初始概率图进行优化，得到分割效果图，根据该分割效果图将该图像与预设元素素材进行融合，得到处理后图像。

例如，具体可以按照预设策略获取可替换的元素素材，然后，通过融合算法将该分割效果图中的第一颜色部分与获取到的元素素材相结合，得到第一结合图，以及通过融合算法将该分割效果图中的第二颜色部分与该图像相结合，得到第二结合图，再然后，将第一结合图和第二结合图进行合成，得到处理后图像。

可选的，该语义分割模型可以预先保存在该图像处理装置或其他存储设备中，在需要使用时，由该图像处理装置进行获取，或者，该语义分割模型也可以由该图像处理装置自行建立而成，即处理器401还可以运行存储在存储器402中的应用程序，从而实现如下功能：

获取包含有该元素类型的训练数据，根据该训练数据，利用深度神经网络对预设的语义分割初始模型进行训练，得到该元素类型对应的语义分割模型。

其中，该预设的语义分割初始模型可以根据实际应用的需求预先进行设置，比如，可以采用预先训练好的针对一般场景20个类别的语义分割模型，等等。

可选的，为了使得融合结果更为真实，避免由于概率预测不准确所导致的噪声或缺失，还可以在融合之前，对该分割效果图进行一定处理，以使得其分割边界更为光滑、以及替换区域的连接处的颜色过渡可以更为自然；即处理器401还可以运行存储在存储器402中的应用程序，从而实现如下功能：

对该分割效果图进行外观模型算法和/或图像形态学操作处理，得到处理后分割效果图，这样，后续在融合时，便可以根据该处理后分割效果图，将该图像与预设元素素材进行融合，得到处理后图像，详见前面的实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例的服务器在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；由于该方案中的语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，因此，相对于现有方案而言，可以大大减少误检和漏检的概率；此外，由于该方案还可以利用条件随机场对分割后的初始概率图进行优化，因此，可以得到更为精细的分割结果，大大提高分割的精准性，有利于减少图像失真的情况，改善图像的融合效果。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种图像处理方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；

获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；

根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；

基于条件随机场对所述初始概率图进行优化，得到分割效果图；

根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图，包括：

将所述图像导入所述语义分割模型，以预测所述图像中每一像素属于所述元素类型的概率；

根据所述概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图，包括：

确定所述概率是否大于预设阈值；

若是，则将相应像素在预设蒙版上的颜色设置为第一颜色；

若否，则将相应像素在预设蒙版上的颜色设置为第二颜色；

在确定所述图像中所有像素在预设蒙版上的颜色均设置完毕后，输出设置颜色后的预设蒙版，得到初始概率图。

4.根据权利要求1所述的方法，其特征在于，所述基于条件随机场对所述初始概率图进行优化，得到分割效果图，包括：

将所述初始概率图中的像素映射至条件随机场中的节点；

确定节点之间的边约束的相似性；

根据边约束的相似性对所述初始概率图中像素的分割结果进行调整，得到分割效果图。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像，包括：

按照预设策略获取可替换的元素素材；

通过融合算法将所述分割效果图中的第一颜色部分与获取到的元素素材相结合，得到第一结合图；

通过融合算法将所述分割效果图中的第二颜色部分与所述图像相结合，得到第二结合图；

将第一结合图和第二结合图进行合成，得到处理后图像。

6.根据权利要求5所述的方法，其特征在于，所述按照预设策略获取可替换的元素素材，包括：

获取候选图像，对所述候选图像进行随机截取，并将截取到的图像作为可替换的元素素材；或者，

接收用户触发的素材选择指令，根据所述素材选择指令从素材库获取相应的素材，作为可替换的元素素材。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像之前，还包括：

对所述分割效果图进行外观模型算法和/或图像形态学操作处理，得到处理后分割效果图；

所述根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像，包括：根据处理后分割效果图，将所述图像与预设元素素材进行融合，得到处理后图像。

8.根据权利要求1至4任一项所述的方法，其特征在于，所述获取与所述元素类型对应的语义分割模型之前，还包括：

获取包含有所述元素类型的训练数据；

根据所述训练数据，利用深度神经网络对预设的语义分割初始模型进行训练，得到所述元素类型对应的语义分割模型。

9.一种图像处理装置，其特征在于，包括：

接收单元，用于接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；

获取单元，用于获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；

预测单元，用于根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；

优化单元，用于基于条件随机场对所述初始概率图进行优化，得到分割效果图；

融合单元，用于根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。

10.根据权利要求9所述的装置，其特征在于，所述预测单元包括预测子单元和设置子单元；

所述预测子单元，用于将所述图像导入所述语义分割模型，以预测所述图像中每一像素属于所述元素类型的概率；

所述设置子单元，用于根据所述概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图。

11.根据权利要求10所述的装置，其特征在于，所述设置子单元，具体用于：

确定所述概率是否大于预设阈值；

若是，则将相应像素在预设蒙版上的颜色设置为第一颜色；

若否，则将相应像素在预设蒙版上的颜色设置为第二颜色；

在确定所述图像中所有像素在预设蒙版上的颜色均设置完毕后，输出设置颜色后的预设蒙版，得到初始概率图。

12.根据权利要求9所述的装置，其特征在于，

所述优化单元，具体用于将所述初始概率图中的像素映射至条件随机场中的节点，确定节点之间的边约束的相似性，根据边约束的相似性对所述初始概率图中像素的分割结果进行调整，得到分割效果图。

13.根据权利要求9至12任一项所述的装置，其特征在于，所述融合单元包括素材获取子单元、第一融合子单元、第二融合子单元和合成子单元；

所述素材获取子单元，用于按照预设策略获取可替换的元素素材；

所述第一融合子单元，用于通过融合算法将所述分割效果图中的第一颜色部分与获取到的元素素材相结合，得到第一结合图；

所述第二融合子单元，用于通过融合算法将所述分割效果图中的第二颜色部分与所述图像相结合，得到第二结合图；

所述合成子单元，用于将第一结合图和第二结合图进行合成，得到处理后图像。

14.根据权利要求13所述的装置，其特征在于，

所述素材获取子单元，具体用于获取候选图像，对所述候选图像进行随机截取，并将截取到的图像作为可替换的元素素材；或者，

所述素材获取子单元，具体用于接收用户触发的素材选择指令，根据所述素材选择指令从素材库获取相应的素材，作为可替换的元素素材。

15.根据权利要求9至12任一项所述的装置，其特征在于，还包括预处理单元；

所述预处理单元，用于对所述分割效果图进行外观模型算法和/或图像形态学操作处理，得到处理后分割效果图；

所述融合单元，具体用于根据处理后分割效果图，将所述图像与预设元素素材进行融合，得到处理后图像。

16.根据权利要求9至12任一项所述的装置，其特征在于，还包括模型建立单元；

所述模型建立单元，用于获取包含有所述元素类型的训练数据，根据所述训练数据，利用深度神经网络对预设的语义分割初始模型进行训练，得到所述元素类型对应的语义分割模型。