CN114022674A - 一种图像分割方法、装置、存储介质及电子设备 - Google Patents

Abstract

在本说明书提供的图像分割方法中，预设的图像分割模型获取到待处理图像与文本后，可以分别提取图像特征与文本特征，并根据图像特征与文本特征查询到预设的标准图像中与待处理图像相关的图像，采用该相关图像对待处理图像的图像特征进行增强，得到增强图像特征。增强图像特征在要分割的目标物处的图像特征信息丰富，图像分割模型可以根据该图像特征精准的实现对目标物的分割。在待处理图像中目标物视觉信息较弱而导致待处理图像的图像特征中目标物部分的特征不足时，本说明书中提供的图像分割方法可以有效增强待处理图像中目标物的视觉信息，丰富目标物部分的图像特征，从而避免分割不准确与分割错误的情况，取得更好的分割效果。

Description

一种图像分割方法、装置、存储介质及电子设备

技术领域

本说明书涉及图像处理领域，尤其涉及一种图像分割方法、装置、存储介质及电子设备。

背景技术

在图像分割中，以语言为导向的图像分割技术是目前发展最迅速的技术之一，该技术在给定一张图像和对该图像中任意一个目标物的语言描述的情况下，可以根据语言描述确定图像中对应的目标物，并将图像中对应的目标物准确地分割出来，有着广泛的应用前景。但目前，以语言为导向的图像分割任务存在着一个难点：当语言描述所指向的目标物在图像中视觉信息较弱时，会导致分割结果不准确，或是分割错误。

在现有的以语言为导向的图像分割技术中，通常会先利用卷积神经网络(Convolutional Neural Networks，CNN)提取给定图像的图像特征，并利用长短期记忆网络(Long Short-Term Memory，LSTM)/门控循环单元(Gate Recurrent Unit，GRU)提取给定语言描述的文本特征。将提取出的图像特征与文本特征进行跨模态融合后得到多模态特征，并利用多模态特征对图像进行分割。

可以看出，现有技术并不能解决上文中提出的难点。如果给定的语言描述所指向的目标物在图像中出现被遮挡、分辨率过低或是光照不足等情况，导致目标物的图像特征较弱，现有技术很可能会出现分割结果不准确甚至分割错误的情况。

发明内容

本说明书提供一种图像分割方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种图像分割方法，包括：

确定待处理图像以及所述待处理图像对应的文本；

将所述待处理图像与所述文本输入到预设的图像分割模型中，以通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，通过所述模型中的文本特征提取子网提取文本特征；

根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像；

通过所述图像特征提取子网提取所述相关图像的图像特征；

通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征；

根据所述增强图像特征，从所述待处理图像中分割出目标物。

可选的，根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像，具体包括：

针对每个标准图像，对比该标准图像所对应的文本与所述待处理图像对应的文本的文本相似度，若所述文本相似度大于指定阈值，则将该标准图像作为待定图像；

针对每个待定图像，对比该待定图像与所述待处理图像的图像相似度；

根据所述待处理图像与每个待定图像的图像相似度，从各待定图像中选择相关图像。

可选的，所述图像特征提取子网包括若干卷积层；

通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，具体包括：

分别通过所述图像特征提取子网的每个卷积层提取所述待处理图像的图像特征；

通过所述图像特征提取子网提取所述相关图像的图像特征，具体包括：

分别通过所述图像特征提取子网的每个卷积层提取所述相关图像的图像特征。

可选的，通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征，具体包括：

通过所述模型中的特征融合子网，针对所述图像特征提取子网的每个卷积层，确定由该卷积层提取的待处理图像的图像特征与由该卷积层提取的所述相关图像的图像特征的相关矩阵；

根据所述相关矩阵，提取出所述相关图像的图像特征中与待处理图像中的目标物相关的部分；

将所述相关图像的图像特征中与所述目标物相关的部分与待处理图像的图像特征进行融合，得到该卷积层对应的混合图像特征；

将各卷积层对应的混合图像特征以及所述文本特征进行融合，得到增强图像特征。

可选的，将各卷积层对应的混合图像特征以及所述文本特征进行融合，得到增强图像特征，具体包括：

将各卷积层对应的混合图像特征输入进长短期记忆LSTM网络中；

通过所述LSTM网络将各混合图像特征进行融合，得到多层混合图像特征；

将所述多层混合图像特征以及所述文本特征进行融合，得到增强图像特征。

可选的，将所述多层混合图像特征以及所述文本特征进行融合，得到增强图像特征，具体包括：

针对所述多层混合图像特征中的每个元素，确定所述文本特征中的每个元素相对于所述多层混合图像特征中的该元素的权重；

根据所述文本特征中的每个元素与所述文本特征中的每个元素相对于所述多层混合图像特征中的该元素的权重，确定所述文本特征相对于所述多层混合图像特征中的该元素的综合权重；

采用所述文本特征相对于所述多层混合图像特征中的每个元素的综合权重，对所述多层混合图像特征中的每个元素进行加权，得到加权后的多层混合图像特征；

根据所述加权后的多层混合图像特征，得到增强图像特征。

可选的，根据所述加权后的多层混合图像特征，得到增强图像特征，具体包括：

从所述图像特征提取子网的各卷积层中选取指定卷积层；

获取由所述指定卷积层提取的待处理图像的图像特征，作为细节图像特征；

将所述细节图像特征与所述加权后的多层混合图像特征进行融合，得到增强图像特征。

可选的，将所述细节图像特征与所述加权后的多层混合图像特征进行融合，得到增强图像特征，具体包括：

根据所述细节图像特征和所述加权后的多层图像特征，确定所述细节图像特征中与所述目标物相关的区域；

根据所述细节图像特征中与目标物细节相关的区域，确定所述细节图像特征对所述多层混合图像特征的每个元素的调整权重；

根据所述调整权重，利用所述细节图像特征对所述多层混合图像特征进行调整，得到增强图像特征。

本说明书提供了一种图像分割装置，所述装置包括：

确定模块，确定待处理图像以及所述待处理图像对应的文本；

第一提取模块，将所述待处理图像与所述文本输入到预设的图像分割模型中，以通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，通过所述模型中的文本特征提取子网提取文本特征；

查询模块，根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像；

第二提取模块，通过所述图像特征提取子网提取所述相关图像的图像特征；

融合模块，通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征；

分割模块，根据所述增强图像特征，从所述待处理图像中分割出目标物。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像分割方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像分割方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的图像分割方法中，预设的图像分割模型获取到待处理图像与文本后，可以分别提取图像特征与文本特征，并根据图像特征与文本特征查询到预设的标准图像中与待处理图像相关的图像，采用该相关图像对待处理图像的图像特征进行增强，得到增强图像特征。增强图像特征在要分割的目标物处的图像特征信息丰富，图像分割模型可以根据该图像特征精准的实现对目标物的分割。在待处理图像中目标物视觉信息较弱而导致待处理图像的图像特征中目标物部分的特征不足时，本说明书中提供的图像分割方法可以有效增强待处理图像中目标物的视觉信息，丰富目标物部分的图像特征，从而避免分割不准确与分割错误的情况，取得更好的分割效果。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中一种图像分割方法的流程示意图；

图2为本说明书提供的图像分割方法中采用的图像分割模型的结构示意图；

图3为本说明书提供的图像分割模型中的图像特征提取子网的结构功能示意图；

图4为本说明书提供的图像分割模型中的特征融合子网中第一融合层的结构功能示意图；

图5为本说明书提供的图像分割模型中的特征融合子网中第二融合层的结构功能示意图；

图6为本说明书提供的图像分割模型中的特征融合子网中第三融合层的结构功能示意图；

图7为本说明书提供的一种图像分割装置的示意图；

图8为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以语言为导向的图像分割(以下简称为图像分割)，是一种根据给定的待处理图像与文本，将待处理图像中与文本描述所对应的目标物分割出来的技术。实现这种技术的关键在于，在待处理图像的图像特征中准确地找到与文本描述相对应的目标物。目前，绝大多数图像分割技术都是按照上述思路来实现的：在获取到待处理图像与文本后，采用CNN和LSTM/GRU分别提取图像特征和文本特征，利用CNN提取出的图像特征与语言特征进行跨模态融合，得到多模态特征，并根据该多模态特征对待处理图像进行分割预测。

但是通过对现有技术方案的模型复现，可以发现，只有当文本所指向的目标物在待处理图像中较为明显时，现有的技术方案可以获得较为精确的分割结果；当文本所指向的目标物在待处理图像中因为被遮挡、光照不足、分辨率太低等原因导致视觉信息较弱时，现有的技术方案的分割精准度会急剧下降，甚至产生分割错误的问题。

不难看出，现有的技术方案的主要关注点是怎样为图像与文本建立更好的对应关系，而并未考虑当待处理图像中目标物的视觉信息较弱时该如何应对。为了解决图像分割任务中，当待处理图像中目标物的视觉信息较弱而产生的分割不准确甚至分割错误的问题，本说明书给出了一种优化后的图像分割方法。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中一种图像分割方法的流程示意图，具体包括以下步骤：

S100：确定待处理图像以及所述待处理图像对应的文本。

本说明书所提供的图像分割方法可以由任何具有计算功能的电子设备来完成，所述具有计算功能的电子设备包括但不限于终端、服务器等设备。

在以语言为导向的图像分割技术中，需要根据给定的文本内容所指向的目标物将待处理图像中对应的目标物分割出来，因此，待处理图像和待处理图像对应的文本是完成此技术的基础。在确定待处理图像和对待处理图像对应的文本后，才能够进行后续步骤。

S102：将所述待处理图像与所述文本输入到预设的图像分割模型中，以通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，通过所述模型中的文本特征提取子网提取文本特征。

本说明书中的方法采用一个图像分割模型来完成图像分割任务中的部分工作，该图像分割模型的结构如图2所示，该图像分割模型包含图像特征提取子网、文本特征提取子网、特征融合子网、分割子网。在本步骤中，将步骤S100中获取到的待处理图像以及待处理图像对应的文本输入进已经训练好的图像分割模型中，并使用模型中的图像特征提取子网提取待处理图像的图像特征，使用模型中的文本特征提取子网提取文本的文本特征。

其中，提取特征的方法可以有多种，例如，可以在图像特征提取子网中采用CNN、残差网络(Residual Network，ResNet)来提取图像特征，可以在文本特征提取子网中采用循环神经网络(Recurrent Neural Network,RNN)、LSTM来提取文本特征，本文对提取特征的方法不做限制。

S104：根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像。

在数据库中，会预先存储大量标准图像以及每个标准图像对应的文本，在后续步骤中经过筛选后的标准图像用于对待处理图像中的目标物的图像特征进行增强，因此每个标准图像中通常清楚地富含与各种不同的目标物所对应的一种物体的图像特征信息。利用步骤S102中得到的待处理图像的图像特征和文本的文本特征，与每一个标准图像的图像特征以及与标准图像对应的文本的文本特征进行对比，根据对比结果，确定出相关图像。

具体的，针对每个标准图像，对比该标准图像所对应的文本与所述待处理图像对应的文本的文本相似度，若所述文本相似度大于指定阈值，则将该标准图像作为待定图像；针对每个待定图像，对比该待定图像与所述待处理图像的图像相似度；根据所述待处理图像与每个待定图像的图像相似度，从各待定图像中选择相关图像。其中，从待定图像中选择出的相关图像可以是一个或两个以上，具体可从待定图像中选择与待处理图像的图像相似度最高的待定图像作为相关图像。

例如，在一个图像分割任务中，需要根据文本X从待处理图像A中分割出目标物。在将文本X和待处理图像A输入进本说明书中的图像分割模型后，图像分割模型中的文本特征提取子网可以用BERT算法提取文本X的文本特征，图像特征提取子网可以用VGG16算法提取待处理图像A的图像特征。针对每一个标准图像，图像分割模型中的文本特征提取子网可以用BERT算法提取该标准图像对应的文本的文本特征，计算该标准图像所对应的文本特征与文本X的文本特征间的余弦相似度，作为文本相似度，若文本相似度大于一定阈值，则将该标准图像计为待定图像。针对每个待定图像，图像特征提取子网可以用VGG16算法提取该待定图像的图像特征，计算该待定图像的图像特征与待处理图像A的图像特征之间的余弦相似度，作为图像相似度，将图像相似度最高的一个待定图像作为最终的相关图像。

S106：通过所述图像特征提取子网提取所述相关图像的图像特征。

在本说明书提供的图像分割方法中，需要用相关图像的图像特征对待处理图像的图像特征进行增强，因此在此步骤中，可按如图2所示的模型结构，利用图像分割模型中的图像特征提取子网将步骤S104中得到的相关图像的图像特征提取出来。

S108：通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征。

此步骤中的相关图像是在步骤S104中通过文本相似度以及图像相似度筛选的图像，因此该相关图像中一定清楚的富含待处理图像所对应的文本指向的目标物的图像特征。由此，将相关图像的图像特征与待处理图像的图像特征进行融合，便可得到目标物信息更丰富的待处理图像的图像特征，即增强图像特征。

S110：根据所述增强图像特征，从所述待处理图像中分割出目标物。

图像分割模型可以通过分割子网，根据步骤S108中得到的增强图像特征，对待处理图像进行分割，将目标物从待处理图像中分割出，具体的分割方法在本说明书中不做限制。

在现有图像分割技术中，在遇到待处理图像中目标物的视觉信息不明显的情况下，大概率会出现分割不准确、分割错误的现象。本说明书所提供的图像分割方法，在获取到待处理图像和待处理图像所对应的文本后，利用与文本所指向的待处理图像中的目标物相关的图像，对待处理图像进行了增强，丰富了待处理图像的图像特征中目标物部分的信息。在遇到待处理图像中目标物的视觉信息不明显，导致目标物部分的图像特征不够充足的情况下，本说明书所提供的分割方法可以有效地对待处理图像中目标物部分的图像特征进行补强，使最终的分割结果保持准确，而不会出现分割错误的情况。

本说明书实施例中如图2所示的图像分割模型中的图像特征提取子网可由若干个卷积层级联实现。为了得到更好的图像分割效果，本说明书提供的图像分割方法在提取图像特征时，可以提取图像特征提取子网中多个卷积层的图像特征。

具体可如图3所示，所述图像特征提取子网包括若干卷积层；分别通过所述图像特征提取子网的每个卷积层提取所述待处理图像的图像特征；并分别通过所述图像特征提取子网的每个卷积层提取所述相关图像的图像特征。在图3中，用相同的序号表示每个卷积层与该卷积层提取出的图像特征的对应关系。

本领域技术人员应明白，在神经网络提取图像特征时，神经网络中的不同卷积层所输出的图像特征的维度也是不同的，因此，可以选择先将每个同一卷积层内待处理图像的图像特征与相关图像的图像特征进行融合，得到对应于该卷积层的混合图像特征，之后再将不同卷积层所对应的混合图像特征和文本特征融合到一起，得到增强图像特征。

因此，图像分割模型中的特征融合子网内部可以配置如下：若干个第一融合层、第二融合层以及第三融合层。其中，第一融合层的数量可以与图像特征提取子网中卷积层的数量相对应。

将每个同一卷积层内待处理图像的图像特征与相关图像的图像特征进行融合的方法，可由所述模型中的特征融合子网中的若干个第一融合层通过如图4所示步骤完成，其中，黑色实心圆点代表融合操作。针对所述图像特征提取子网的每个卷积层，确定由该卷积层提取的待处理图像的图像特征与由该卷积层提取的所述相关图像的图像特征的相关矩阵；根据所述相关矩阵，提取出所述相关图像的图像特征中与待处理图像中的目标物相关的部分；将所述相关图像的图像特征中与所述目标物相关的部分与待处理图像的图像特征进行融合，得到该卷积层对应的混合图像特征。

同一卷积层提取出的图像特征的维度相同，图像特征内包含的元素数量也相同，因此可以采用reshape操作将待处理图像的图像特征和/或相关图像的图像特征调整为特定的维度，以便于进行矩阵乘法。对同一卷积层提取出的待处理图像的图像特征与相关图像的图像特征进行矩阵乘法，可以得到该待处理图像的图像特征与该相关图像的图像特征之间的相关矩阵，该相关矩阵可以表征相关图像的图像特征相对于待处理图像的图像特征上每一个元素的相关性。正如上文中所说的，在步骤S104中筛选得到相关图像的图像特征中应富含待处理图像中目标物的信息，因此，相关矩阵的图像特征应与待处理图像的目标物部分的图像特征的相关性较高。由此可得，将相关图像的图像特征与上述相关矩阵做矩阵乘法，可以从相关图像的图像特征中提取出与待处理图像中的目标物相关的部分。

为了实现对待处理图像的图像特征中目标物部分的增强，在提取出相关图像的图像特征中与待处理图像中目标物相关的部分后，可以将相关图像的图像特征中与待处理图像中目标物相关的部分融合进待处理图像的图像特征中，得到混合图像特征。融合的方法可以有多种，具体的，可以直接将相关图像的图像特征中与待处理图像中目标物相关的部分与待处理图像的图像特征进行按位乘或按位加；也可以先利用图像分割模型中的掩膜矩阵提取出待处理图像的图像特征中的目标物部分，将待处理图像的图像特征中的目标物部分与相关图像的图像特征中与待处理图像中目标物相关的部分进行按位乘之后，再将得到的结果按位加回待处理图像的图像特征上，消除目标物以外部分的图像特征可能造成的干扰，进一步提升精确度。需要说明的是，上述例子只是此步骤可采用的众多融合方法的一种，本说明书对具体的融合方法不做限制。

需要说明的是，下述将各卷积层得到的混合图像特征融合到一起，得到多层混合图像特征的操作，以及将文本特征与多层混合图像特征融合到一起，得到加权后的多层混合图像特征的操作，都是由特征融合子网中的第二融合层完成的，为了给出更直观的模型结构，本说明书中的图5将上述两个操作一起给出，即给出完整的第二融合层的结构。

同样的，将各卷积层得到的混合图像特征融合到一起，得到多层混合图像特征的方法也有多种，本说明书所提供的图像分割方法在将个卷积层得到的混合图像特征融合到一起时，采用如图5所示的方法，将各卷积层对应的混合图像特征按特定的顺序输入进LSTM中；通过LSTM将各混合图像特征进行融合，得到多层混合图像特征。同时，可以在LSTM中加入卷积层，用于将各混合图像特征的维度调整为相同维度，便于在LSTM中进行融合的处理。图5中，黑色实心圆点代表融合操作，每个混合图像特征后所跟序号代表该混合图像特征是由对应序号的卷积层中的待处理图像的图像特征和相关图像的图像特征由对应的第一融合层经过如图4所示的方法融合后得到的。

在完成所有对图像特征的处理后，可以将文本特征融合进图像特征中，得到同时包含图像特征和文本特征的多模态特征，以用于对待处理图像进行分割操作。如图5所示，可针对多层混合图像特征中的每个元素，确定所述文本特征中的每个元素相对于多层混合图像特征中的该元素的权重；根据所述文本特征中的每个元素与所述文本特征中的每个元素相对于多层混合图像特征中的该元素的权重，确定所述文本特征相对于多层混合图像特征中的该元素的综合权重，具体可以为，针对多层混合图像特征中的每个元素，将所述文本特征中的每个元素与所述文本特征中的每个元素相对于多层混合图像特征中的该元素的权重相乘后得到的结果累加，得到所述文本特征相对于多层混合图像特征中的该元素的综合权重；采用所述文本特征相对于多层混合图像特征中的每个元素的综合权重，对多层混合图像特征中的每个元素进行加权，得到加权后的多层混合图像特征，即多模态特征。具体可以为，可将该多模态特征作为增强图像特征，完成对待处理图像的分割，并取得更好的分割效果。

再者，为了进一步提高图像分割任务的精准度，还可在得到上述加权后的多层混合图像特征后，由特征融合子网中的第三融合层进行如图6所示的步骤，其中，黑色实心圆点代表融合操作。从所述图像特征提取子网的各卷积层中选取指定卷积层；获取由所述指定卷积层提取的待处理图像的图像特征，作为细节图像特征；根据所述细节图像特征和所述加权后的多层混合图像特征，确定所述细节图像特征中与所述目标物相关的区域；根据所述细节图像特征中与目标物细节相关的区域，确定所述细节图像特征对所述多层混合图像特征的每个元素的调整权重；根据所述调整权重，利用所述细节图像特征对所述多层混合图像特征进行调整，得到增强图像特征。

在上述方法中，从指定卷积层中提取出的细节图像特征包含了目标物的边缘、纹理、材质等细节信息，因此需要该细节图像特征的分辨率相对较高。本领域技术人员应该明白，一般情况下，在用于提取图像特征的神经网络中，越靠前的卷积层所提取出的图像特征的分辨率越高。由于本说明书中的图像特征提取子网中各卷积层是级联的，因此，可以根据各卷积层级联排序的先后顺序，选取图像特征提取子网的卷积层中排序的序号为指定序号的卷积层，将该卷积层之前的一个或多个卷积层作为指定卷积层。其中，所述指定序号可根据需要进行设定，例如指定序号可以为第2个。

在根据细节图像特征和加权后的多层图像特征确定出细节图像特征中与目标物相关的区域，并以此来确定细节图像特征对多层混合图像特征的每个元素的调整权重时，可以细节使图像特征对多层混合图像特征中与目标物细节有关的元素的调整权重较高，对多层混合图像特征中与目标物细节无关的元素的调整权重较低。经过调整后得到的增强图像特征，包含了目标物的细节信息，可以获得更好的分割效果。

通过上述方法，本说明书可以利用待处理图像的细节图像特征增强待处理图像中目标物的图像特征信息，进一步提高分割的精准度。因此，在待处理图像中目标物的视觉信息不明显的情况下，本说明书所提供的图像分割方法可以取得远优于现有技术的分割效果。

以上是本说明书提供的图像分割方法，基于同样的思路，本说明书还提供了相应的图像分割装置，如图7所示。

图7为本说明书提供的一种图像分割装置示意图，具体包括：

确定模块200，确定待处理图像以及所述待处理图像对应的文本；

第一提取模块202，将所述待处理图像与所述文本输入到预设的图像分割模型中，以通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，通过所述模型中的文本特征提取子网提取文本特征；

查询模块204，根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像；

第二提取模块206，通过所述图像特征提取子网提取所述相关图像的图像特征；

融合模块208，通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征；

分割模块210，根据所述增强图像特征，从所述待处理图像中分割出目标物。

在一可选的实施例：

所述查询模块204，具体用于针对每个标准图像，对比该标准图像所对应的文本与所述待处理图像对应的文本的文本相似度，若所述文本相似度大于指定阈值，则将该标准图像作为待定图像；针对每个待定图像，对比该待定图像与所述待处理图像的图像相似度；根据所述待处理图像与每个待定图像的图像相似度，从各待定图像中选择相关图像。

在一可选的实施例：

所述图像特征提取子网包括若干卷积层；

所述第一提取模块202，具体用于分别通过所述图像特征提取子网的每个卷积层提取所述待处理图像的图像特征；

所述第二提取模块206，具体用于分别通过所述图像特征提取子网的每个卷积层提取所述相关图像的图像特征。

在一可选的实施例：

所述融合模块208，具体用于通过所述模型中的特征融合子网，针对所述图像特征提取子网的每个卷积层，确定由该卷积层提取的待处理图像的图像特征与由该卷积层提取的所述相关图像的图像特征的相关矩阵；根据所述相关矩阵，提取出所述相关图像的图像特征中与待处理图像中的目标物相关的部分；将所述相关图像的图像特征中与所述目标物相关的部分与待处理图像的图像特征进行融合，得到该卷积层对应的混合图像特征；将各卷积层对应的混合图像特征以及所述文本特征进行融合，得到增强图像特征。

在一可选的实施例：

所述融合模块208，具体用于将各卷积层对应的混合图像特征输入进长短期记忆LSTM网络中；通过所述LSTM网络将各混合图像特征进行融合，得到多层混合图像特征；将所述多层混合图像特征以及所述文本特征进行融合，得到增强图像特征。

在一可选的实施例：

所述融合模块208，具体用于针对所述多层混合图像特征中的每个元素，确定所述文本特征中的每个元素相对于所述多层混合图像特征中的该元素的权重；根据所述文本特征中的每个元素与所述文本特征中的每个元素相对于所述多层混合图像特征中的该元素的权重，确定所述文本特征相对于所述多层混合图像特征中的该元素的综合权重；采用所述文本特征相对于所述多层混合图像特征中的每个元素的综合权重，对所述多层混合图像特征中的每个元素进行加权，得到加权后的多层混合图像特征；根据所述加权后的多层混合图像特征，得到增强图像特征。

在一可选的实施例：

所述融合模块208，具体用于从所述图像特征提取子网的各卷积层中选取指定卷积层；获取由所述指定卷积层提取的待处理图像的图像特征，作为细节图像特征；将所述细节图像特征与加权后的多层混合图像特征进行融合，得到增强图像特征。

在一可选的实施例：

所述融合模块208，具体用于根据所述细节图像特征和所述加权后的多层图像特征，确定所述细节图像特征中与所述目标物相关的区域；根据所述细节图像特征中与目标物细节相关的区域，确定所述细节图像特征对所述多层混合图像特征的每个元素的调整权重；根据所述调整权重，利用所述细节图像特征对所述多层混合图像特征进行调整，得到增强图像特征。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的图像分割方法。

本说明书还提供了图8所示的电子设备的示意结构图。如图8所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的图像分割方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种图像分割方法，其特征在于，包括：

确定待处理图像以及所述待处理图像对应的文本；

将所述待处理图像与所述文本输入到预设的图像分割模型中，以通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，通过所述模型中的文本特征提取子网提取文本特征；

根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像；

通过所述图像特征提取子网提取所述相关图像的图像特征；

通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征；

根据所述增强图像特征，从所述待处理图像中分割出目标物。

2.如权利要求1所述的方法，其特征在于，根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像，具体包括：

针对每个标准图像，对比该标准图像所对应的文本与所述待处理图像对应的文本的文本相似度，若所述文本相似度大于指定阈值，则将该标准图像作为待定图像；

针对每个待定图像，对比该待定图像与所述待处理图像的图像相似度；

根据所述待处理图像与每个待定图像的图像相似度，从各待定图像中选择相关图像。

3.如权利要求1所述的方法，其特征在于，所述图像特征提取子网包括若干卷积层；

通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，具体包括：

分别通过所述图像特征提取子网的每个卷积层提取所述待处理图像的图像特征；

通过所述图像特征提取子网提取所述相关图像的图像特征，具体包括：

分别通过所述图像特征提取子网的每个卷积层提取所述相关图像的图像特征。

4.如权利要求3所述的方法，其特征在于，通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征，具体包括：

通过所述模型中的特征融合子网，针对所述图像特征提取子网的每个卷积层，确定由该卷积层提取的待处理图像的图像特征与由该卷积层提取的所述相关图像的图像特征的相关矩阵；

根据所述相关矩阵，提取出所述相关图像的图像特征中与待处理图像中的目标物相关的部分；

将所述相关图像的图像特征中与所述目标物相关的部分与待处理图像的图像特征进行融合，得到该卷积层对应的混合图像特征；

将各卷积层对应的混合图像特征以及所述文本特征进行融合，得到增强图像特征。

5.如权利要求4所述的方法，其特征在于，将各卷积层对应的混合图像特征以及所述文本特征进行融合，得到增强图像特征，具体包括：

将各卷积层对应的混合图像特征输入进长短期记忆LSTM网络中；

通过所述LSTM网络将各混合图像特征进行融合，得到多层混合图像特征；

将所述多层混合图像特征以及所述文本特征进行融合，得到增强图像特征。

6.如权利要求5所述的方法，其特征在于，将所述多层混合图像特征以及所述文本特征进行融合，得到增强图像特征，具体包括：

针对所述多层混合图像特征中的每个元素，确定所述文本特征中的每个元素相对于所述多层混合图像特征中的该元素的权重；

根据所述文本特征中的每个元素与所述文本特征中的每个元素相对于所述多层混合图像特征中的该元素的权重，确定所述文本特征相对于所述多层混合图像特征中的该元素的综合权重；

采用所述文本特征相对于所述多层混合图像特征中的每个元素的综合权重，对所述多层混合图像特征中的每个元素进行加权，得到加权后的多层混合图像特征；

根据所述加权后的多层混合图像特征，得到增强图像特征。

7.如权利要求6所述的方法，其特征在于，根据所述加权后的多层混合图像特征，得到增强图像特征，具体包括：

从所述图像特征提取子网的各卷积层中选取指定卷积层；

获取由所述指定卷积层提取的待处理图像的图像特征，作为细节图像特征；

将所述细节图像特征与加权后的多层混合图像特征进行融合，得到增强图像特征。

8.如权利要求7所述的方法，其特征在于，将所述细节图像特征与加权后的多层混合图像特征进行融合，得到增强图像特征，具体包括：

根据所述细节图像特征和所述加权后的多层混合图像特征，确定所述细节图像特征中与所述目标物相关的区域；

根据所述细节图像特征中与目标物细节相关的区域，确定所述细节图像特征对所述加权后的多层混合图像特征的每个元素的调整权重；

根据所述调整权重，利用所述细节图像特征对所述加权后的多层混合图像特征进行调整，得到增强图像特征。

9.一种图像分割装置，其特征在于，包括：

确定模块，确定待处理图像以及所述待处理图像对应的文本；

第一提取模块，将所述待处理图像与所述文本输入到预设的图像分割模型中，以通过所述模型中的图像特征提取子网提取所述待处理图像的图像特征，通过所述模型中的文本特征提取子网提取文本特征；

查询模块，根据所述待处理图像的图像特征以及文本特征，在预先存储的各标准图像中，查询与所述待处理图像和所述文本相关的标准图像，作为相关图像；

第二提取模块，通过所述图像特征提取子网提取所述相关图像的图像特征；

融合模块，通过所述模型中的特征融合子网融合所述待处理图像的图像特征和所述相关图像的图像特征，得到增强图像特征；

分割模块，根据所述增强图像特征，从所述待处理图像中分割出目标物。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～8任一项所述的方法。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～8任一项所述的方法。

Images