CN113705666B - 分割网络训练方法、使用方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，公开了一种分割网络训练方法、装置、设备及存储介质，其中，方法包括：根据第一图片训练集对第一分割网络进行有监督训练，得到初步图像分割网络；利用初步图像分割网络对第一图片训练集及第二图片训练集中的图片进行特征提取，得到对应的第一图片特征集及第二图片特征集；根据第一图片特征集及第二图片特征集对第二分割网络进行训练，得到图像来源识别网络；根据第二图片训练集对初步图像分割网络进行无监督迭代训练，并获取输出的分割结果图；根据图像来源识别网络和分割结果图评估初步图像分割网络是否训练完成；当初步图像分割网络训练完成时，输出目标图像分割网络。

Description

分割网络训练方法、使用方法、装置、设备及存储介质

技术领域

本申请涉及人工智能的技术领域，尤其涉及一种分割网络训练方法、使用方法、装置、设备及存储介质。

背景技术

图像分割是一项广泛使用的技术，如证件照换底色、电影电视特效、视频会议等，可以使用该技术将场景中的目标人像图像从背景中分割出来，图像分割技术不仅能带来娱乐价值，在某些场景还能保证用户的隐私。但是，现有技术中，因为图像分割领域内公开的图像数据集有限，且与实际中拍摄到的图片差异较大，导致使用公开数据集训练所得到的图像分割网络对实际中拍摄到的图片进行图片分割的效果较差。

发明内容

本申请的主要目的在于提供一种分割网络训练方法、使用方法、装置、设备及存储介质，旨在结合有监督学习以及无监督学习对分割网络进行训练，提高分割网络对日常生活中拍摄到的图片的分割能力。

第一方面，本申请提供一种分割网络训练方法，包括：

获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；

根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；

利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；

根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；

根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；

根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；

当所述初步图像分割网络训练完成时，输出目标图像分割网络。

第二方面，本申请还提供一种分割网络训练装置，所述分割网络训练装置包括：

第一训练图片获取模块：用于获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；

第一网络训练模块：用于根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；

第二训练图片获取模块：用于利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；

第二网络训练模块：用于根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；

第三网络训练模块：用于根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；

目标网络校验模块：用于根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；

目标网络获取模块：用于当所述初步图像分割网络训练完成时，输出目标图像分割网络。

第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的分割网络训练方法的步骤。

第四方面，本申请还提供一种存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的分割网络训练方法的步骤。

本申请中，在需要进行待办事项提醒时，通过分析用户的当前定位信息以及历史定位信息，判断用户是否处于出行状态，当判断到用户处于出行状态时，往后调整分割网络训练时间。当用户不处于出行状态时，通过采集用户所处环境的环境信息，判断所处环境的环境复杂度，并根据环境复杂度以及逾期风险系数匹配对应的提醒方式，对用户进行提醒。通过本申请，可以提高分割网络训练效果。

本申请中，获取带有语义分割标签的第一图片，得到第一图片训练集、获取未带有语义分割标签的第二图片，得到第二图片训练集。根据第一图片训练集对第一分割网络进行有监督训练，得到初步图像分割网络。利用初步图像分割网络对第一图片训练集及第二图片训练集中的图片进行特征提取，获得第一图片训练集对应的第一图片特征集，及第二图片训练集对应的第二图片特征集。根据第一图片特征集以及第二图片特征集对第二分割网络进行训练，得到图像来源识别网络。初步图像分割网络根据第二图片训练集进行无监督学习训练，无监督学习训练的过程中输出分割结果图。根据图像来源识别网络对分割结果图进行校验，校验通过时，初步图像分割网络训练完成，输出目标图像分割网络。通过本申请，目标图像分割网络对日常生活中拍摄到的图片具备良好的图片分割效果。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种分割网络训练方法的步骤流程示意图；

图2是图1中步骤S11的一种具体实施方式对应的步骤流程图；

图3是图2中步骤S113的一种具体实施方式对应的步骤流程图；

图4是图1中步骤S13的一种具体实施方式对应的步骤流程图；

图5为本申请实施例提供的一种分割网络训练装置的示意性框图；

图6为本申请实施例提供的一种计算机设备的结构示意性框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。

本申请实施例提供一种分割网络训练方法、使用方法、装置、设备及存储介质。其中，该分割网络训练方法可应用于终端设备或服务器中，该终端设备可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；该服务器可以为单台的服务器，也可以为由多台服务器组成的服务器集群。以下以该欺诈识别方法应用于服务器为例进行解释说明。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请实施例提供的一种分割网络训练方法的步骤流程示意图。

如图1所示，该分割网络训练方法包括步骤S10至步骤S16。

步骤S10，获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同。

在一些实施方式中，第一图片训练集中的图片，为来自网上公开的专门用于图像语义分割网络训练的图片，在第一图片训练集中，每一张图片都设置有与其对应的像素级语义分割标签。第二图片训练集中的图片，为实际生活中拍摄得到的图片，第二图片训练集中的图片不设置有语义分割标签。

第一图片训练集以及第二图片训练集中的图片所对应的主元素类别相同。示例性的，假设第一图片训练集中的图片都是关于人像方面的图片，则第二图片训练集中的图片需与第一图片训练集中的图片的主元素类别相同。即，第二图片训练集中的图片同为关于人像方面的图片。

在一些实施方式中，第一图片训练集需要包括30000张以上的带有像素级语义分割标签的人像图片，第二图片训练集需要包括2000张以上的来自生活拍摄的人像图片。

可以理解，假设第一图片训练集以及第二图片训练集都是关于人像类别的图片，因为第一图片训练集中的图片是专门用于训练图像语义分割网络的，通常来说图片中人像与背景之间的色彩以及光照差异会比较明显。而第二图片训练集中的图片是来源于生活拍摄，可能存在各种各样复杂的情况，比如图片中人像与背景之间的色彩相近。

步骤S11、根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络。

可以理解，因为第一图片训练集的图片均设置有其对应的像素级语义分割标签，第一分割网络使用第一图片训练集进行迭代训练的过程，为有监督的训练学习过程。

如图2所示，在一些实施方式中，步骤S11包括：步骤S110至步骤S115。

步骤S110、依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；

步骤S111、利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；

步骤S112、利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；

步骤S113、根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；

步骤S114、根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；

步骤S115、当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。

本实施方式中，第一分割网络通过第一卷积层提取第一图片的背景特征，得到第一得分图。通过第二卷积层提取第一图片的主元素特征，得到第二得分图。

其中，第一得分图对应像素点的得分越高，表明第一图片中该像素点为背景的可能性越大。相应的，第二得分图对应像素点的得分越高，表明第一图片中对应该像素点为主元素的可能性越大。

可以理解，第一得分图以及第二得分图中，得分高的像素点，表明第一分割网络对这些区域的识别度高。如果第一图片的某一些像素点对应第一得分图以及第二得分图的得分都很低，表明第一分割网络目前对这些像素点的识别度很低，以致无法识别这些像素点是属于第一图片的背景，还是属于第一图片的主元素。此时，需要增加这些像素点的训练权重值，让第一分割网络在后续训练中对这些识别度低的像素点加强训练。

本实施方式中，先通过卷积层去识别第一分割网络对第一图片识别度低的像素点，然后对应调整第一图片各个像素的训练权重值，得到第一图片对应的训练权重信息。获得第一图片对应的训练权重信息后，第一分割网络根据第一图片以及第一图片对应的训练权重信息进行训练，可以提高训练效果。

在一些实施方式中，第一分割网络为基于MobileNetV2网络结构构件得到的分割网络，通过这种方式，能够在保持模型性能的前提下，降低模型大小，同时提升模型训练速度。

第一分割网络在训练过程中，根据损失函数计算分割损失，并通过反向传播优化第一分割网络的参数。在一些实施方式中，可以通过设置第一分割模型的epoch参数，来设定第一分割模型使用第一图片训练集进行训练的次数，当训练次数达到设置的epoch值时，第一分割网络训练完成。此时，锁定第一分割网络的参数，即得到初步图像分割网络。

在一些实施方式中，所述预设值可以设置为300，即将第一分割网络的epoch参数设置为300，当第一分割网络根据第一图片训练集进行训练的循环次数达到300轮时，训练完成。训练完成时，第一分割网络对于第一图片训练集中的图片已具有良好的语义分割能力。

如图3所示，在一些实施方式中，步骤S113包括：步骤S1130至步骤S1133。

步骤S1130、根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；

步骤S1131、根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；

步骤S1132、识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；

步骤S1133、提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。

在一些实施方式中，合并第一得分图以及第二得分图的过程为，新建一个与第一得分图以及第二得分图等同尺寸的图片，即预设得分图，用于记录第一得分图以及第二得分图的合并结果。依次遍历第一得分图以及第二得分图对应的像素点，第一得分图对应该像素点记录有第一得分，第二得分图对应该像素点记录有第二得分，通过预设函数获取第一得分以及第二得分之间的最大得分，并填充到新建图片对应的像素点中。遍历完成时，新建图片中已经记录有第一得分图以及第二得分图中对应像素的最大得分，此时，新建图片即为第一图片的分割得分图。在一些实施方式中，预设函数可以为Max(a,b)函数，通过Max(a,b)函数，可以获取a与b中的最大值。

可以理解，分割得分图不仅反映了第一分割网络对第一图片各个像素点的识别情况，还体现了对应像素点的训练权重值。像素点对应的得分越高，其对应的训练权重值也越高。根据所述分割得分图，可以获取对应第一图片的初始训练权重信息。

在一些实施方式中，所述预设得分值可以设置为0.5，而分割得分图中的对应像素点的得分区间为0至1。此时，在分割得分图中，若对应像素点的得分达到0.5，则意味着第一分割网络对第一图片中对应这些像素点的识别度高。相应的，若对应像素点的得分低于0.5，则意味着第一分割网络对第一图片中对应这些像素点的识别度低，根据识别度低的像素点所组成的集合，即为不理想得分像素。提高初始训练权重信息中对应不理想得分像素集的训练权重值，即得到第一图片的训练权重信息。

本实施方式中，通过提高第一分割网络对第一图片识别度低的像素所对应的权重值，在后续第一分割网络通过第一图片进行训练的过程中，可以对第一图片识别度差的像素进行加强训练学习。通过本实施方式，可以提高第一分割网络的训练效率以及训练效果。

步骤S12、利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集。

将第一图片训练集作为输入图片集输入第一分割网络，通过第一分割网络对第一图片训练集中的图片进行特征提取，所得到的特征图片所组成的集合，即为第一图片特征集。

可以理解，因为第一图片训练集中的图片为专门用于图像语义分割网络训练的图片，所以在第一图片训练集中，图片的主元素与背景的色彩，光照方面差异明显，并且，初步图像分割网络是根据第一图片训练集中的图片进行监督学习训练得到，因此，初步图像分割网络对第一图片训练集中的图片有良好的图片分割效果。

将第二图片训练集作为输入图片集输入第一分割网络，通过第一分割网络对第二图片训练集中的图片进行分割处理，所得到的特征图片所组成的集合，即为第二图片特征集。

可以理解，第二图片训练集中的图片是来源于日常生活拍摄，受限于拍摄设备，拍摄环境，拍摄目标等影响，可能存在图片的主元素与背景的色彩、光照差异相近的情况。并且，初步图像分割网络也不是根据第二图片训练集中的图片训练获得，因此，初步图像分割网络对第二图片训练集中的图片的分割效果会比较差，达不到其对第一图片训练集中的图片的分割能力水平。

可以理解，因为初步图像分割网络对第一图片训练集的图片识别能力要优于第二图片训练集。而第一图片特征集为通过初步图像分割网络输入第一图片训练集获得，相应的，第二图片特征集为通过初步图像分割网络输入第二图片训练集获得，即第一图片特征集中图片的图像分割效果要优于第二图片特征集中图片的图像分割效果。

步骤S13、根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络。

可以理解，初步图像分割网络对第一图片训练集以及第二图片训练集中的图片的分割能力不同，因此，第一图片特征集、及第二图片特征集中的图片特征存在差异，也即，第一图片特征集、及第二图片特征集中的图片所对应的图片特征不同，第一图片特征集中的图片的图片分割品质比第二图片特征集中的图片高。根据第一图片特征集以及第二图片特征集训练得到的图像来源识别网络，可以识别输入图片所对应的图片特征，从而确定输入图片的图片分割品质是对应第一图片特征集，还是对应第二图片特征集。

如图4所示，在一些实施方式中，步骤S13包括：步骤S130至步骤S134。

步骤S130、对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；

步骤S131、根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；

步骤S132、根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；

步骤S133、根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；

步骤S134、当所述第二分割网络训练完成时，输出图像来源识别网络。

在一些实施方式中，对第一图片特征集中的图片设置第一标签，对第二图片特征集中的图片设置第二标签，则根据第一图片特征集以及第二图片特征集对第二分割网络进行迭代训练的过程，为有监督训练学习过程。

通过给不同的图片特征集设置不同的标签，第二分割网络可以根据输入图片所设置的是第一标签或是第二标签来区分输入图片，从而在训练过程中，帮助第二分割网络识别第一图片特征集以及第二图片特征集的区别图像特征。

可以理解，第二分割网络在训练过程中，根据第二损失函数计算分割损失，并通过反向传播优化第二分割网络的参数。相应的，第二分割网络识别第一图片特征集及第二图片特征集中图片的区别特征的能力会越来越强。第二分割网络在训练过程中，根据输入第一图片特征集所得到的第一输出图片，以及输入第二图片特征集所得到的第二输出图片，可以推断第二分割网络的学习进度。

当第二分割网络训练完成时，锁定第二分割网络的参数，即得到图像来源识别网络。根据图像来源识别网络，可以识别输入图片所对应的图片分割特征，从而判断输入图片的图片分割特征是对应第一图片特征集，还是对应第二图片特征集。

进一步的，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，步骤S134包括：当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。

可以理解，当第一输出图片所对应的特征标签均为第一特征标签，且第二输出图片所对应的特征标签均为第二特征标签时，说明第二分割网络通过训练学习，已经可以识别输入图片所对应的图片分割特征是与第一图片特征集中的图片对应，还是与第二图片特征集中的图片对应，此时，第二分割网络训练完成。

可以理解，第一输出图片对应的输入图片来自第一图片特征集，第二输出图片对应的输入图片来自第二图片特征集。因为初步图像分割网络对第一图片训练集的图片的图片分割能力犹豫比第二图片训练集的图片，即第一图片特征集中的图片分割品质比第二图片特征集中的图片的分割品质高，则第二分割网络在训练过程中，通过识别输入图片所对应的图片分割特征，可以判断输入图片的分割品质，进而给对应输入图片的输出图片设置特征标签。

若输入图片达到第一图片特征集中图片对应的图片分割品质，第二分割网络可以设置输出图片的特征标签为第一特征标签，否则，则设置输出图片的特征标签为第二特征标签，则第二分割网络训练完成。

步骤S14、根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图。

可以理解，取消锁定初步图像分割网络的参数，给初步图像分割网络设置对应的分割损失函数，并对初步图像分割网络输入第二图片训练集中的图片，即可对初步图像分割网络进行训练，训练过程中，根据损失函数计算分割损失，并通过反向传播优化初步图像分割网络的参数。初步图像分割网络在训练过程中的输出图片，即为分割结果图。

因为第二图片训练集中的图片不设置有语义分割标签，初步图像分割网络使用第二图片训练集中的图片进行迭代训练的过程为无监督学习过程。

步骤S15、根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成。

可以理解，根据图像来源识别网络，可以识别输入图片所对应的图片分割特征是与第一图片特征集中的图片对应，还是与第二图片特征集中的图片对应。

在初步图像分割网络没有使用第二图片训练集进行训练之前，初步图像分割网络对第一图片训练集以及第二图片训练集中的图片的分割能力不同，具体体现在，初步图像分割网络对第一图片训练集中的图片，比对第二图片训练集中的图片有更为良好的图片分割效果。

在初步图像分割网络使用第二图片训练集进行训练的过程中，初步图像分割网络通过训练学习，对第二图片训练集中的图片的图片分割能力逐渐提高。

在一些实施方式中，当初步图像分割网络对第二图片训练集中的图片的图片分割能力达到其对第一图片训练集中的图片的图片分割能力水平时，对初步图像分割网络输入第二图片训练集中的图片，并将对应输出的分割结果图输入图像来源识别网络，图像来源识别网络识别到分割结果图的图片分割特征与第一图片特征集中的图片对应，则初步图像分割网络训练完成。

进一步的，步骤S15包括：步骤S150至步骤S151。

步骤S150、利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；

步骤S151、当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。

可以理解，图像来源识别网络根据输入图片所对应的图片分割特征，去设置输出图片的特征标签。

向图像来源识别网络输入分割结果图，当输出的分割结果特征图所对应的标签为第一特征标签时，说明分割结果图的图片分割特征与第一图片特征集对应，也即初步图像分割网络使用第二图片训练集中的图片进行无监督学***。此时，初步图像分隔网络训练完成。

步骤S16、当所述初步图像分割网络训练完成时，输出目标图像分割网络。

初步图像分割网络训练完成时，停止训练并锁定初步图像分割网络的参数，即得到目标图像分割网络。

本申请中，获取带有语义分割标签的第一图片，得到第一图片训练集、获取未带有语义分割标签的第二图片，得到第二图片训练集。根据第一图片训练集对第一分割网络进行有监督训练，得到初步图像分割网络。利用初步图像分割网络对第一图片训练集及第二图片训练集中的图片进行特征提取，获得第一图片训练集对应的第一图片特征集，及第二图片训练集对应的第二图片特征集。根据第一图片特征集以及第二图片特征集对第二分割网络进行训练，得到图像来源识别网络。随即，根据第二图片训练集对初步图像分割网络进行无监督训练，并获取初步图像分割网络在训练的过程中输出的分割结果图。根据图像来源识别网络对分割结果图进行校验，校验通过时，初步图像分割网络训练完成，输出目标图像分割网络。

通过本申请，训练得到的目标图像分割网络对无标签的第二图片，可以取得等同于对有标签的第一图片的分割效果。

本申请实施例还提供的一种分割网络使用方法，分割网络使用方法包括步骤S20至步骤S21。

步骤S20、获取待处理图片；

步骤S21、利用图像分割网络对所述待处理图片进行图像分割处理，得到对应所述待处理图片的目标结果图，其中，所述图像分割网络为通过如本申请所述的分割网络训练方法训练得到。

可以理解，通过如本申请所述的分割网络训练方法训练得到的图像分割网络，即使输入无标签图片，也可以取得非常良好的图片分割效果。

请参照图5，图5为本申请实施例提供的一种分割网络训练装置的示意性框图。

如图5所示，该分割网络训练装置201，包括：

第一训练图片获取模块2011：用于获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；

第一网络训练模块2012：用于根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；

第二训练图片获取模块2013：用于利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；

第二网络训练模块2014：用于根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；

第三网络训练模块2015：用于根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；

目标网络校验模块2016：用于根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；

目标网络获取模块2017：用于当所述初步图像分割网络训练完成时，输出目标图像分割网络。

在一些实施方式中，所述第一网络训练模块2012在根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络时，包括：

依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；

利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；

利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；

根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；

根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；

当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。

在一些实施方式中，所述第一网络训练模块2012在根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息时，包括：

根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；

根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；

识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；

提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。

在一些实施方式中，所述第二网络训练模块2014在根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络时，包括：

对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；

根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；

根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；

根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；

当所述第二分割网络训练完成时，输出图像来源识别网络。

在一些实施方式中，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述第二网络训练模块2014在根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成时，包括：

当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。

在一些实施方式中，所述目标网络校验模块2016在根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成时，包括：

利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；

当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述分割网络训练方法实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备包括但不限定于服务器。

如图6所示，该计算机设备301包括通过***总线连接的处理器3011、存储器和网络接口，其中，存储器可以包括存储介质3012和内存储器3015，存储介质3012可以是非易失性的，也可以是易失性的。

存储介质3012可存储操作***和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器3011执行任意一种分割网络训练方法。

处理器3011用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器3015为存储介质3012中的计算机程序的运行提供环境，该计算机程序被处理器3011执行时，可使得处理器3011执行任意一种分割网络训练方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器3011可以是中央处理单元(Central Processing Unit，CPU)，该处理器3011还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一些实施方式中，所述处理器3011用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；

根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；

利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；

根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；

根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；

根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；

当所述初步图像分割网络训练完成时，输出目标图像分割网络。

在一些实施方式中，所述处理器3011在根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络时，用于实现：

依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；

利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；

利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；

根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；

根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；

当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。

在一些实施方式中，所述处理器3011在根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息时，用于实现：

根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；

根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；

识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；

提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。

在一些实施方式中，所述处理器3011在根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络时，用于实现：

对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；

根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；

根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；

根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；

当所述第二分割网络训练完成时，输出图像来源识别网络。

在一些实施方式中，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述处理器3011在根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成时，用于实现：

当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。

在一些实施方式中，所述处理器3011在根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成时，用于实现：

利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；

当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述计算机设备的具体工作过程，可以参考前述分割网络训练方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种存储介质，该存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请分割网络训练方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种分割网络训练方法，其特征在于，包括：

获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；

根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；通过依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出所述初步图像分割网络；

利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；

根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；

根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；

根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；

当所述初步图像分割网络训练完成时，输出目标图像分割网络。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息，包括：

根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；

根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；

识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；

提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络，包括：

对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；

根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；

根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；

根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；

当所述第二分割网络训练完成时，输出图像来源识别网络。

4.根据权利要求3所述的方法，其特征在于，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成，包括：

当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。

5.根据权利要求4所述的方法，其特征在于，所述根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成，包括：

利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；

当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像分割网络训练完成。

6.一种分割网络使用方法，其特征在于，所述方法包括：

获取待处理图片；

利用图像分割网络对所述待处理图片进行图像分割处理，得到对应所述待处理图片的目标结果图，其中，所述图像分割网络为通过权利要求1-5任一项所述的方法训练得到。

7.一种分割网络训练装置，其特征在于，所述装置包括：

第一训练图片获取模块：用于获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；

第一网络训练模块：用于根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；通过依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出所述初步图像分割网络；

第二训练图片获取模块：用于利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；

第二网络训练模块：用于根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；

第三网络训练模块：用于根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；

目标网络校验模块：用于根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；

目标网络获取模块：用于当所述初步图像分割网络训练完成时，输出目标图像分割网络。

8.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至5中任一项所述的分割网络训练方法的步骤，或，实现如权利要求6所述的分割网络使用方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的分割网络训练方法的步骤，或，实现如权利要求6所述的分割网络使用方法的步骤。