CN110517278B - 图像分割和图像分割网络的训练方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种图像分割方法、图像分割网络的训练方法、图像分割装置、图像分割网络的训练装置、计算机设备和可读存储介质。该方法包括：获取待分割图像；将待分割图像输入预设的图像分割网络进行图像分割处理，得到待分割图像的目标分割结果；其中，图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；主体损失为训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，边缘损失为训练样本图像针对目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；根据目标分割结果从待分割图像中分割出针对目标对象的主体区域的图像。采用本方法能够提高边缘分割的精度。

Description

图像分割和图像分割网络的训练方法、装置和计算机设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像分割方法、图像分割网络的训练方法、图像分割装置、图像分割网络的训练装置、计算机设备和可读存储介质。

背景技术

在直播、视频、虚化等诸多图像或视频的应用场景中，往往需要对图像中的人像部分进行抠图处理，以提取出人像部分的图像；人像部分可以为头部人像、半身人像、全身人像等，以支持用户的个性化操作。

然而，因为由于人体姿态层出不穷、人与人间的空间位置关系变幻莫测、人与物间的空间位置变化无常、背景噪音复杂、拍摄角度多变、光线强弱多变、红外强度不一等诸多因素，传统的人像抠图方法在人像边缘上表现得非常糟糕，存在人像边缘模糊、错误等抠图精度较差的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高边缘分割精度的图像分割方法、图像分割网络的训练方法、图像分割装置、图像分割网络的训练装置、计算机设备和可读存储介质。

第一方面，一种图像分割方法，所述方法包括：

获取待分割图像；

将所述待分割图像输入预设的图像分割网络进行图像分割处理，得到所述待分割图像的目标分割结果；其中，所述图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；所述主体损失为所述训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，所述边缘损失为所述训练样本图像针对所述目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；

根据所述目标分割结果从所述待分割图像中分割出针对所述目标对象的主体区域的图像。

在其中一个实施例中，所述方法还包括：

获取所述训练样本图像；所述训练样本图像标注有图像分割标注结果，所述图像分割标注结果包括主体区域的分割标注结果和边缘区域的分割标注结果；

将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失；

根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，得到所述图像分割网络。

在其中一个实施例中，所述初始图像分割网络包括卷积神经子网络、主体分割子网络和边缘分割子网络，所述主体分割子网络和所述边缘分割子网络共享所述卷积神经子网络；

将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果，包括：

将所述训练样本图像输入所述卷积神经子网络进行特征提取处理，得到所述卷积神经子网络的输出特征图；

将所述卷积神经子网络的输出特征图分别输入所述主体分割子网络和所述边缘分割子网络进行解码处理，分别得到所述主体区域的分割预测结果和所述边缘区域的分割预测结果。

在其中一个实施例中，所述主体分割子网络和边缘分割子网络均为特征金字塔网络类型，且分别与所述卷积神经子网络存在多个层级之间的横向连接；

将所述卷积神经子网络的输出特征图分别输入所述主体分割子网络和所述边缘分割子网络进行解码处理，分别得到所述主体区域的分割预测结果和所述边缘区域的分割预测结果，包括：

将所述卷积神经子网络的所述多个层级的输出特征图输入所述主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对所述主体特征图进行解码处理得到所述主体区域的分割预测结果；

将所述多个层级的输出特征图输入所述边缘分割子网络的相应层级进行特征融合处理得到边缘特征图，并对所述边缘特征图进行解码处理得到所述边缘区域的分割预测结果。

在其中一个实施例中，所述主体区域的分割预测结果包括：所述主体分割子网络中最后层级输出的主体特征图的第一解码处理结果，所述边缘区域的分割预测结果包括：所述边缘分割子网络中最后层级输出的边缘特征图的第二解码处理结果；

相应地，计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失，包括：

根据所述主体区域的分割标注结果和所述第一解码处理结果，计算所述主体损失；以及根据所述边缘区域的分割标注结果和所述第二解码处理结果，计算所述边缘损失。

在其中一个实施例中，所述根据所述主体区域的分割标注结果和所述第一解码处理结果，计算所述主体损失；以及根据所述边缘区域的分割标注结果和所述第二解码处理结果，计算所述边缘损失，包括：

计算所述主体区域的分割标注结果和所述第一解码处理结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和所述第二解码处理结果之间的损失作为所述边缘损失。

在其中一个实施例中，所述主体区域的分割预测结果还包括：所述主体分割子网络中至少一个中间层级输出的主体特征图的第三解码处理结果，所述边缘区域的分割预测结果还包括：所述边缘分割子网络中至少一个中间层级输出的边缘特征图的第四解码处理结果；

所述根据所述主体区域的分割标注结果和所述第一解码处理结果，计算所述主体损失；以及根据所述边缘区域的分割标注结果和所述第二解码处理结果，计算所述边缘损失，包括：

分别对所述主体区域的分割标注结果和所述边缘区域的分割标注结果进行下采样处理，得到所述主体区域的中间分割标注结果和所述边缘区域的中间分割标注结果；

计算所述主体区域的分割标注结果和所述第一解码处理结果之间的损失，并计算所述主体区域的中间分割标注结果和所述第三解码处理结果之间的损失，以及求和得到所述主体损失；

计算所述边缘区域的分割标注结果和所述第二解码处理结果之间的损失，并计算所述边缘区域的中间分割标注结果和所述第四解码处理结果之间的损失，以及求和得到所述边缘损失。

在其中一个实施例中，所述方法还包括：

根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域；

根据所述特征区域，确定所述训练样本图像中各像素点的权值；其中，所述训练样本图像的主体损失和边缘损失，与所述各像素点的权值相关；所述特征区域中的像素点的权值高于所述训练样本图像中除所述特征区域以外的其它区域的像素点的权值。

在其中一个实施例中，所述根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域，包括：

根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域；

对所述边缘区域进行形态学处理，并根据形态学处理结果确定所述边缘区域中具有预设形态学特征的特征区域；

和/或，

计算所述边缘区域的局部曲率，并确定局部曲率大于预设曲率阈值的特征区域。

在其中一个实施例中，所述根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，包括：

基于所述主体损失对所述主体分割子网络的待训练参数进行调整；

基于所述边缘损失对所述边缘分割子网络的待训练参数进行调整；

基于所述主体损失和所述边缘损失的加权求和，对所述卷积神经子网络的待训练参数进行调整。

在其中一个实施例中，所述图像分割网络包括：卷积神经子网络和主体分割子网络；所述主体分割子网络与所述卷积神经子网络存在多个层级之间的横向连接；

将所述待分割图像输入预设的图像分割网络进行图像分割处理，得到所述待分割图像的目标分割结果，包括：

将所述待分割图像输入所述卷积神经子网络进行特征提取处理，得到所述卷积神经子网络中所述多个层级的输出特征图；

将所述多个层级的输出特征图输入所述主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对所述主体特征图进行解码处理得到所述待分割图像的目标分割结果。

第二方面，一种图像分割网络的训练方法，所述方法包括：

获取训练样本图像；所述训练样本图像标注有图像分割标注结果，所述图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；

将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失；

根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络。

第三方面，一种图像分割装置，包括：

待分割图像获取模块，用于获取待分割图像；

图像分割处理模块，将所述待分割图像输入预设的图像分割网络进行图像分割处理，得到所述待分割图像的目标分割结果；其中，所述图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；所述主体损失为所述训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，所述边缘损失为所述训练样本图像针对所述目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；

主体区域分割模块，用于根据所述目标分割结果从所述待分割图像中分割出针对所述目标对象的主体区域的图像。

第四方面，一种图像分割网络的训练装置，包括：

训练样本图像获取模块，用于获取训练样本图像；所述训练样本图像标注有图像分割标注结果，所述图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；

神经网络处理模块，用于将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

损失计算模块，用于计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失；

神经网络训练模块，用于根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络。

第五方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面和/或第二方面中任一项所述方法的步骤。

第六方面，一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面和/或第二方面中任一项所述方法的步骤。

上述图像分割方法、图像分割网络的训练方法、图像分割装置、图像分割网络的训练装置、计算机设备和可读存储介质，采用主体损失来引导图像分割网络关注目标对象的主体(全局)，同时采用边缘损失来引导图像分割网络关注目标对象的边缘，从而使得图像分割网络能够在对目标对象的主体进行准确分割的基础上，进一步提高对目标对象的边缘的分割的精度；而且，因为主体区域与边缘区域存在共同的边界，因此在训练过程中，主体区域的分割预测结果与边缘区域的分割预测结果也是相辅相成的，可以相互促进提高训练效率和分割精度，因此基于本实施例的图像分割网络所得到的目标对象的主体区域的图像其边缘精度更高。

附图说明

图1为一个实施例中图像分割方法的应用环境图；

图2为一个实施例中图像分割方法的流程示意图；

图3a为一个实施例中图像分割网络的训练过程的流程示意图；

图3b为一个实施例中图像分割网络的示意图；

图3c为一个实施例中图像分割网络的示意图；

图4为一个实施例中图像分割方法的流程示意图；

图5为一个实施例中图像分割处理过程的流程示意图；

图6为一个实施例中图像分割网络的训练方法的流程示意图；

图7为一个实施例中图像分割装置的结构框图；

图8为一个实施例中图像分割网络的训练装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像分割方法，可以但不限于应用于如图1所示的应用环境中。其中，拍摄装置12可以拍摄获取待分割图像，并将待分割图像发送给计算机设备11；计算机设备11可以基于本申请的图像分割方法从待分割图像中分割出针对目标对象的主体图像。其中，计算机设备11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、服务器等。

在一个实施例中，如图2所示，提供了一种图像分割方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

S201，获取待分割图像。

上述待分割图像可以是计算机设备接收到的其它设备发送的图像，如拍摄装置、其它计算机设备等，也可以是计算机设备本地存储的图像，或者是其它来源的图像。总之，计算机设备需要对上述待分割图像进行图像分割处理；例如当目标对象为人时，即进行人像抠图处理，具体地，当目标对象为人的头部时，为头部人像抠图处理。当然，本实施例对目标对象并不进行限制，目标对象可以包括但不限于：人、花卉、物品等的整体或者特定部分，也可以是组合；以目标对象为人为例，目标对象可以是泛指的人，也可以具体为某个特定的人。此外，待分割图像可以为二维图像、也可以为三维图像。

当然，在S201之后，本实施例还可以对待分割图像进行各种类型的预处理，然后才将预处理后的待分割图像输入图像分割网络中；各种类型的预处理包括但不限于以下内容中的至少一种：图像减去均值的处理、图像标准化处理(如通过姿态矫正将头部人像姿态矫正为标准姿态)等；本实施例对此并不限制。

S202，将待分割图像输入预设的图像分割网络进行图像分割处理，得到待分割图像的目标分割结果；其中，图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；主体损失为训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，边缘损失为训练样本图像针对目标对象的边缘区域的分割标注结果与分割预测结果之间的损失。

其中，本申请中的图像分割网络可以为U-net(一种可以对二维图像进行图像分割的神经网络)、V-net(一种可以对三维图像进行图像分割的神经网络)、PSP-net(PyramidScene Parsing Network，金字塔场景分析网络)、FCN(Fully Convolutional Network，全卷积神经网络)等分割网络，还可以采用Res Net(残差神经网络)，Inception(将1x1、3x3等各个尺寸的卷积特征和池化特征堆叠在一起)等架构进行优化。

可以理解的是，待分割图像可以被分割为：目标对象的主体区域、目标对象的边缘区域和背景区域，其中，边缘区域为主体区域和背景区域之间的过渡区域；边缘区域的大小可以自行设置，例如，可以预设边缘区域的宽度与主体区域的最大尺度之间的比例系数，或者预设边缘区域的宽度。

相应地，训练样本图像也存在主体区域和边缘区域，在本实施例中，示例性地，边缘区域的分割标注结果可以为二值化图像，可以表征在真实情况下各像素点是否为目标对象的边缘区域；边缘区域的分割预测结果也可以为二值化图像，可以表征在图像分割网络的预测情况下各像素点是否为目标对象的边缘区域；边缘区域的分割预测结果也可以为概率化图像，可以表征在图像分割网络的预测情况下各像素点为目标对象的边缘区域的概率。主体区域的分割标注结果和分割预测结果与上面类似，这里不再赘述。

可见，本实施例可以采用主体损失来引导图像分割网络关注目标对象的主体(全局)，同时采用边缘损失来引导图像分割网络关注目标对象的边缘，从而使得图像分割网络能够在对目标对象的主体进行准确分割的基础上，进一步提高对目标对象的边缘的分割的精度。而且，因为主体区域与边缘区域存在共同的边界，因此在训练过程中，主体区域的分割预测结果与边缘区域的分割预测结果也是相辅相成的，可以相互促进提高训练效率和分割精度。

S203，根据目标分割结果从待分割图像中分割出针对目标对象的主体区域的图像。

其中，目标分割结果可以是待分割图像中针对目标对象的主体区域的分割预测结果，也可以是边缘区域的分割预测结果，或者是二者的综合；本实施例对此并不限制。以目标分割结果为主体区域的分割预测结果为例，本实施例中图像分割网络输出的主体区域的分割预测结果精度更高，从另一角度也说明，边缘区域的分割预测结果精度也更高，因此从待分割图像中分割出主体区域的图像的边缘精度更高。以目标分割结果为边缘区域的分割预测结果为例，边缘区域所包围的区域为主体区域，因此同样可以分割出边缘精度更高的主体区域的图像。

在本实施例的图像分割方法中，采用主体损失来引导图像分割网络关注目标对象的主体(全局)，同时采用边缘损失来引导图像分割网络关注目标对象的边缘，从而使得图像分割网络能够在对目标对象的主体进行准确分割的基础上，进一步提高对目标对象的边缘的分割的精度；而且，因为主体区域与边缘区域存在共同的边界，因此在训练过程中，主体区域的分割预测结果与边缘区域的分割预测结果也是相辅相成的，可以相互促进提高训练效率和分割精度，因此基于本实施例的图像分割网络所得到的目标对象的主体区域的图像其边缘精度更高。

在一个实施例中，如图3a所示，示出了上述图像分割方法中图像分割网络的训练过程，具体可以包括：

S301，获取训练样本图像；训练样本图像标注有图像分割标注结果，图像分割标注结果包括主体区域的分割标注结果和边缘区域的分割标注结果。

示例性地，训练样本图像可以直接标注有主体区域的分割标注结果和边缘区域的分割标注结果；训练样本图像也可以标注有整体的图像分割标注结果，可以从图像分割标注结果中确定针对目标对象的主体区域中各像素点的位置，并根据主体区域中各像素点的位置生成主体区域的分割标注结果，以及根据主体区域中各像素点的位置确定主体区域的轮廓，以及根据主体区域的轮廓和预设的边缘宽度，确定边缘区域的分割标注结果。

S302，将训练样本图像输入初始图像分割网络进行图像分割处理，得到训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果。

S303，计算主体区域的分割标注结果和分割预测结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和分割预测结果之间的损失作为边缘损失。

示例性地，损失可以采用Smooth L1loss类型(平滑的L1损失)损失函数进行计算，对于离群点更加鲁棒，相比于L2损失，其对离群点(指的是距离中心较远的点)、异常值(outlier)不敏感，可控制梯度的量级使训练时不容易跑飞；该函数实际上就是一个分段函数，在[-1,1]之间实际上就是L2损失，这样解决了L1的不光滑问题，在[-1,1]区间外，实际上就是L1损失，这样就解决了离群点梯度***的问题。

S304，根据主体损失和边缘损失，对初始图像分割网络的待训练参数进行调整，得到图像分割网络。

在一种实施方式中，主体分割和边缘分割采用同一网络进行。例如，初始图像分割网络为全卷积神经网络，该全卷积神经网络可以对输入的训练样本图像进行图像分割处理，得到训练样本图像的分割预测结果，并从分割预测结果中提取出主体区域的分割预测结果和边缘区域的分割预测结果。其中，提取过程可以参照上述针对分割标注结果的提取过程，这里不再赘述。相应地，S304的训练过程可以包括：将主体损失和边缘损失的加权求和结果作为初始图像分割网络的损失函数的值，并基于梯度下降法等方式对初始图像分割网络的待训练参数进行调整，得到图像分割网络。

在一种实施方式中，主体分割和边缘分割可以分别采用不同的网络进行。例如，参照图3b所示，初始图像分割网络可以包括卷积神经子网络、主体分割子网络和边缘分割子网络，主体分割子网络和边缘分割子网络共享卷积神经子网络。其中，卷积神经子网络用于对输入图像进行特征提取处理(相当于编码处理)，得到图像特征；主体分割子网络用于对图像特征进行解码处理，得到输入图像的主体区域的分割结果；边缘分割子网络用于对图像特征进行解码处理，得到输入图像的边缘区域的分割结果。

相应地，S304的训练过程可以包括：基于主体损失对主体分割子网络的待训练参数进行调整；基于边缘损失对边缘分割子网络的待训练参数进行调整；基于主体损失和边缘损失的加权求和，对卷积神经子网络的待训练参数进行调整。示例性地，在训练过程中，可以在每一步训练时，先基于主体损失对主体分割子网络的待训练参数进行调整，然后基于边缘损失对边缘分割子网络的待训练参数进行调整，最后基于主体损失和边缘损失的加权求和，对卷积神经子网络的待训练参数进行调整。当然，也可以在训练过程中，先基于主体损失和边缘损失的加权求和，对卷积神经子网络的待训练参数进行预训练，当卷积神经子网络预训练完成后，再对主体分割子网络、边缘分割子网络、卷积神经子网络基于相应的损失进行交替训练。

如此，在本实施例中，可以基于主体损失和边缘损失的加权求和，对卷积神经子网络进行调整，以提高训练过程中卷积神经子网络输出的特征图的精确性；同时，基于主体损失对主体分割子网络进行训练，使得主体分割子网络的主体分割预测结果精度更高，基于边缘损失对边缘分割子网络进行训练，使得边缘分割子网络的边缘分割预测结果精度更高，因此兼顾了主体分割预测结果和边缘分割预测结果的精度，进一步提高训练得到的图像分割网络对目标对象的边缘分割的精度。

相应地，上述S302可以包括：将训练样本图像输入卷积神经子网络进行特征提取处理，得到卷积神经子网络的输出特征图；将卷积神经子网络的输出特征图分别输入主体分割子网络和边缘分割子网络进行解码处理，分别得到主体区域的分割预测结果和边缘区域的分割预测结果。

可以理解的是，卷积神经网络可以包括依次连接的多个卷积块，因此可以输出最后一个卷积块输出的特征图作为上述卷积神经网络的输出特征图。主体分割子网络和边缘分割子网路可以分别对上述最后一个卷积块输出的特征图进行解码处理，分别输出主体区域的分割预测结果和边缘区域的分割预测结果。其中，卷积块可以为卷积层+批归一化层+relu层(relu激活函数)这样的结构，也可以仅包括卷积层，也可以是其它结构。

参照图3c所示，主体分割子网络和边缘分割子网络可以均为特征金字塔网络类型，且分别与卷积神经子网络存在多个层级之间的横向连接。相应地，上述根据卷积神经子网络的输出特征图确定分割预测结果的过程，可以包括：将卷积神经子网络的多个层级的输出特征图输入主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对主体特征图进行解码处理得到主体区域的分割预测结果；将多个层级的输出特征图输入边缘分割子网络的相应层级进行特征融合处理得到边缘特征图，并对边缘特征图进行解码处理得到边缘区域的分割预测结果。

卷积神经子网络可以包括自底向顶依次连接的多个层级的卷积块，每个层级对应不同尺度(高度×宽度)的特征图，且一般自底向顶输出的特征图的尺度越来越大；相应地，特征金字塔可以包括自顶向底依次连接的多个层级的特征金字塔模块，每个层级对应不同尺度的特征图，且一般自顶向底尺度越来越大，最后层级对应的尺度一般与输入图像的尺度相同。因此，主体分割子网络和边缘分割子网络可以分别与卷积神经子网络存在多个层级之间的横向连接，以对卷积神经子网络输出的多个层级的输出特征图进行特征融合处理，并基于特征融合处理得到的具有不同尺度特征的特征图进行解码处理，得到相应的分割预测结果，从而提高分割精度。

需要解释的是，示例性地，对主体分割子网络和边缘分割子网络而言，特征融合处理过程可以包括：根据特征金字塔子网络中当前层级的上一层级的输出特征图和卷积神经子网络中当前层级的输出特征图，融合得到特征金字塔子网络中当前层级的输出特征图，直至融合得到特征金字塔子网络中最后层级的输出特征图。当然，可以在进行融合处理前对卷积神经子网络中当前层级的输出特征图进行卷积处理，和/或对上一层级的输出特征图进行上采样处理，本实施例对此并不限制。其中，特征金字塔子网络中最顶层级的输出特征图可以为卷积神经子网络最后层级的输出特征图，或者最后层级的输出特征图经过卷积处理后的特征图。

相应地，针对上述特征金字塔网络类型的主体分割子网络和边缘分割子网络，主体区域的分割预测结果可以包括：主体分割子网络中最后层级输出的主体特征图的第一解码处理结果，边缘区域的分割预测结果可以包括：边缘分割子网络中最后层级输出的边缘特征图的第二解码处理结果，则计算机设备可以根据主体区域的分割标注结果和第一解码处理结果，计算主体损失；以及根据边缘区域的分割标注结果和第二解码处理结果，计算边缘损失。

在一种实施方式中，计算机设备可以计算主体区域的分割标注结果和第一解码处理结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和第二解码处理结果之间的损失作为边缘损失。

在一种实施方式中，主体区域的分割预测结果还包括：主体分割子网络中至少一个中间层级输出的主体特征图的第三解码处理结果，边缘区域的分割预测结果还包括：边缘分割子网络中至少一个中间层级输出的边缘特征图的第四解码处理结果；则计算机设备可以分别对主体区域的分割标注结果和边缘区域的分割标注结果进行下采样处理，得到主体区域的中间分割标注结果和边缘区域的中间分割标注结果；计算主体区域的分割标注结果和第一解码处理结果之间的损失，并计算主体区域的中间分割标注结果和第三解码处理结果之间的损失，以及求和得到主体损失；计算边缘区域的分割标注结果和第二解码处理结果之间的损失，并计算边缘区域的中间分割标注结果和第四解码处理结果之间的损失，以及求和得到边缘损失。

可以理解的是，主体区域的中间分割标注结果和第三解码处理结果之间的损失，以及边缘区域的中间分割标注结果和第四解码处理结果之间的损失均可以认为是一种中继监督(Intermediate Supervision)损失，可以进一步引导主体分割子网络更关注主体区域，引导边缘分割子网络更关注边缘区域，提高边缘分割精度；同时可以解决训练过程中随着网络深度加深而梯度消失的问题，提高训练效率。当然，在本实施例中，以边缘分割子网络为例，边缘损失可以包括多个中间层级输出的边缘特征图的解码处理结果与相应的中间分割标注结果之间的中继监督损失。

需要说明的是，上述中间层级所对应的中间分割标注结果是对分割标注结果进行上采样所得到的；其中，上采样所采用的上采样率，与最后层级所对应的尺度和上述中间层级所对应的尺度之间的大小关系相关。一般地，金字塔子网络中上一层级的尺度为下一层级的尺度的两倍，即宽度和高度均为两倍的关系，因此当最后层级与上述中间层级相差M个层级时，上采样率为2^M；例如当最后层级和上述中间层级为相邻层级时，M＝1，上采样率为2。

示例性地，卷积神经子网络可以分别由1个CB卷积块、2个RXB卷积块(一个RXB组)、3个RXB卷积块(一个RXB组)、4个RXB卷积块(一个RXB组)、5个RXB卷积块(一个RXB组)依次连接组成。其中，上述CB块为普通的卷积块；上述每个RXB块可以是具有残差结构的卷积块，具体可以是ResNeXt结构(通过分组卷积降低网络参数以及计算量)，但是属于不同RXB组的各RXB卷积块进行分组卷积时的分组数目可以不同。卷积神经子网络还可以包括一个PSP块(一种卷积块)，PSP块可以包括金字塔场景分析网络中基于特征图进行不同尺度的卷积处理，并对卷积处理得到的不同尺度的特征图进行上采样处理后在进行拼接(Concat)处理的网络结构，因此卷积神经子网络的最后一个层级的输出特征图具有不同尺度的特征，从而可以进一步提高分割精度。

示例性地，主体分割子网络包括多个特征金字塔模块(如P5-P1)，还可以包括MaskHead(主体模块)，可以对最后层级输出的主体特征图进行解码处理得到主体区域的分割预测结果，即第一解码处理结果；此外，该主体模块还可以对至少一个中间层级输出的主体特征图进行解码处理得到主体区域的分割预测结果，即第三解码处理结果。相应地，边缘分割子网络可以包括多个特征金字塔模块，与主体分割子网络的多个特征金字塔模块结构可以相同，但网络参数不同；还可以包括Edge Head(边缘模块)，可以对最后层级输出的边缘特征图进行解码处理得到边缘区域的分割预测结果，即第二解码处理结果；此外，该边缘模块还可以对至少一个中间层级输出的边缘特征图进行解码处理得到边缘区域的分割预测结果，即第四解码处理结果。其中，主体模块和边缘模块均可以为卷积块+卷积块+sigmoid(S型生长曲线函数)的结构，也可以为其它解码结构，本实施例并不限定主体模块与边缘模块的结构。

在一个实施例中，如图4所示，本实施例涉及对边缘区域中复杂区域的关注，使得对复杂区域的分割更加精准，具体可以包括：

S401，根据图像分割标注结果，确定训练样本图像中针对目标对象的边缘区域中的特征区域。

可以理解的是，以人像为例，在进行人像分割时，边缘较为平滑的区域(如身体侧面、腿部侧面)一般分割精度较高，或者分割精度不高但影响不大；但是对于一些复杂区域，例如脖颈区域、头发区域、手指区域等更能反映人像特征的区域，边缘分割精度较低，容易出现缺损等严重情况。本实施例则需要对这些复杂区域进行识别，并在训练过程中引导图像分割网络着重对复杂区域的分割精度。

在一种实施方式中，以人像为例，计算机设备可以根据图像分割标注结果确定人像的边缘区域，并通过预设的人像识别算法对训练样本图像进行识别，确定关键点区域的位置，以及根据关键点区域的位置确定边缘区域中与关键点区域的位置在预设距离阈值内的区域为特征区域。其中，关键点区域包括但不限于脖颈区域、手掌区域等。其中，人像识别算法可以为训练好的用于进行人体姿态识别的神经网络模型。

在一种实施方式中，计算机设备可以根据图像分割标注结果，确定训练样本图像中针对目标对象的边缘区域；对边缘区域进行形态学处理，并根据形态学处理结果确定边缘区域中具有预设形态学特征的特征区域；和/或，计算边缘区域的局部曲率，并确定局部曲率大于预设曲率阈值的特征区域。

其中，形态学处理包括但不限于膨胀处理、腐蚀处理、开运算处理、闭运算处理等，可以确定出边缘区域中明显的极大值区域、极小值区域、封闭区域或半封闭区域(如手指区域)等特征区域；曲率较大的区域为弯曲程度大的区域(如指尖区域、脖颈区域等)，同样为特征区域。

S402，根据特征区域，确定训练样本图像中各像素点的权值；其中，训练样本图像的主体损失和边缘损失，与各像素点的权值相关；特征区域中的像素点的权值高于训练样本图像中除特征区域以外的其它区域的像素点的权值。

其中，以上各区域包括至少一个属于该区域的像素点。以边缘损失为例，在边缘损失的计算过程中，可以先计算每个像素点在边缘分割标注结果中是边缘区域的概率值(实际为0或1)和在边缘分割预测结果中是边缘区域的概率值的差值，然后计算该差值的Smooth函数值，最终将每个像素点对应的Smooth函数值进行加权求和，得到边缘损失。示例性地，一般情况下，每个像素点的权值均可以为1；而在本实施例中，可以将特征区域中的像素点的权值更改为2，3，5等大于1的数，从而相对地提高边缘区域中复杂区域的像素点的分割预测结果对边缘损失的影响，从而提高边缘区域中复杂区域的分割精度。

在一个实施例中，参照图5所示，图像分割网络包括：卷积神经子网络和主体分割子网络；主体分割子网络与卷积神经子网络存在多个层级之间的横向连接；则图像分割处理过程，可以包括：

S501，将待分割图像输入卷积神经子网络进行特征提取处理，得到卷积神经子网络中多个层级的输出特征图；

S502，将多个层级的输出特征图输入主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对主体特征图进行解码处理得到待分割图像的目标分割结果。

具体的图像分割处理过程可以参照上面的描述，这里不再赘述。

可以理解的是，上面描述的是图像分割网络的训练过程。但是在采用训练好的图像分割网络进行图像分割处理的过程中，图像分割网络可以仅包括：卷积神经子网络和主体分割子网络，目标分割结果为主体区域的分割预测结果；或者仅包括卷积神经子网络和边缘分割子网络，目标分割结果为边缘区域的分割预测结果；从而可以降低预测过程中的计算量，并简化图像分割网络的模型参数，有利于图像分割网络在小型终端中的部署。

在一个实施例中，如图6所示，提供了一种图像分割网络的训练方法，可以包括：

S601，获取训练样本图像；训练样本图像标注有图像分割标注结果，图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；

S602，将训练样本图像输入初始图像分割网络进行图像分割处理，得到训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

S603，计算主体区域的分割标注结果和分割预测结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和分割预测结果之间的损失作为边缘损失；

S604，根据主体损失和边缘损失，对初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络。

关于图像分割网络的训练方法的具体限定可以参见上文中对于图像分割方法的限定，在此不再赘述。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种图像分割装置，包括：待分割图像获取模块71、图像分割处理模块72和主体区域分割模块73，其中：

待分割图像获取模块71，用于获取待分割图像；

图像分割处理模块72，将待分割图像输入预设的图像分割网络进行图像分割处理，得到待分割图像的目标分割结果；其中，图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；主体损失为训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，边缘损失为训练样本图像针对目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；

主体区域分割模块73，用于根据目标分割结果从待分割图像中分割出针对目标对象的主体区域的图像。

可选地，上述装置还可以包括：神经网络训练模块，神经网络模型训练模块可以包括：

训练样本图像获取单元，用于获取训练样本图像；训练样本图像标注有图像分割标注结果，图像分割标注结果包括主体区域的分割标注结果和边缘区域的分割标注结果；

神经网络处理单元，用于将训练样本图像输入初始图像分割网络进行图像分割处理，得到训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

损失计算单元，用于计算主体区域的分割标注结果和分割预测结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和分割预测结果之间的损失作为边缘损失；

神经网络训练单元，用于根据主体损失和边缘损失，对初始图像分割网络的待训练参数进行调整，得到图像分割网络。

可选地，初始图像分割网络包括卷积神经子网络、主体分割子网络和边缘分割子网络，主体分割子网络和边缘分割子网络共享卷积神经子网络；神经网络处理单元具体用于将训练样本图像输入卷积神经子网络进行特征提取处理，得到卷积神经子网络的输出特征图；将卷积神经子网络的输出特征图分别输入主体分割子网络和边缘分割子网络进行解码处理，分别得到主体区域的分割预测结果和边缘区域的分割预测结果。

可选地，主体分割子网络和边缘分割子网络均为特征金字塔网络类型，且分别与卷积神经子网络存在多个层级之间的横向连接；神经网络处理单元还用于将卷积神经子网络的多个层级的输出特征图输入主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对主体特征图进行解码处理得到主体区域的分割预测结果；将多个层级的输出特征图输入边缘分割子网络的相应层级进行特征融合处理得到边缘特征图，并对边缘特征图进行解码处理得到边缘区域的分割预测结果。

可选地，主体区域的分割预测结果包括：主体分割子网络中最后层级输出的主体特征图的第一解码处理结果，边缘区域的分割预测结果包括：边缘分割子网络中最后层级输出的边缘特征图的第二解码处理结果；相应地，损失计算单元具体用于根据主体区域的分割标注结果和第一解码处理结果，计算主体损失；以及根据边缘区域的分割标注结果和第二解码处理结果，计算边缘损失。

可选地，损失计算单元还用于计算主体区域的分割标注结果和第一解码处理结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和第二解码处理结果之间的损失作为边缘损失。

可选地，主体区域的分割预测结果还包括：主体分割子网络中至少一个中间层级输出的主体特征图的第三解码处理结果，边缘区域的分割预测结果还包括：边缘分割子网络中至少一个中间层级输出的边缘特征图的第四解码处理结果；损失计算单元还用于分别对主体区域的分割标注结果和边缘区域的分割标注结果进行下采样处理，得到主体区域的中间分割标注结果和边缘区域的中间分割标注结果；计算主体区域的分割标注结果和第一解码处理结果之间的损失，并计算主体区域的中间分割标注结果和第三解码处理结果之间的损失，以及求和得到主体损失；计算边缘区域的分割标注结果和第二解码处理结果之间的损失，并计算边缘区域的中间分割标注结果和第四解码处理结果之间的损失，以及求和得到边缘损失。

可选地，神经网络模型训练模块还可以包括：

特征区域确定单元，用于根据图像分割标注结果，确定训练样本图像中针对目标对象的边缘区域中的特征区域；

权值确定单元，用于根据特征区域，确定训练样本图像中各像素点的权值；其中，训练样本图像的主体损失和边缘损失，与各像素点的权值相关；特征区域中的像素点的权值高于训练样本图像中除特征区域以外的其它区域的像素点的权值。

可选地，特征区域确定单元具体用于根据图像分割标注结果，确定训练样本图像中针对目标对象的边缘区域；对边缘区域进行形态学处理，并根据形态学处理结果确定边缘区域中具有预设形态学特征的特征区域；和/或，计算边缘区域的局部曲率，并确定局部曲率大于预设曲率阈值的特征区域。

可选地，神经网络训练单元具体用于基于主体损失对主体分割子网络的待训练参数进行调整；基于边缘损失对边缘分割子网络的待训练参数进行调整；基于主体损失和边缘损失的加权求和，对卷积神经子网络的待训练参数进行调整。

可选地，图像分割网络包括：卷积神经子网络和主体分割子网络；主体分割子网络与卷积神经子网络存在多个层级之间的横向连接；图像分割处理模块72可以包括：特征提取单元，用于将待分割图像输入卷积神经子网络进行特征提取处理，得到卷积神经子网络中多个层级的输出特征图；图像分割单元，用于将多个层级的输出特征图输入主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对主体特征图进行解码处理得到待分割图像的目标分割结果。

在一个实施例中，如图8所示，提供了一种图像分割网络的训练装置，包括：训练样本图像获取模块81、神经网络处理模块82、损失计算模块83和神经网络训练模块84，其中：

训练样本图像获取模块81，用于获取训练样本图像；训练样本图像标注有图像分割标注结果，图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；

神经网络处理模块82，用于将训练样本图像输入初始图像分割网络进行图像分割处理，得到训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

损失计算模块83，用于计算主体区域的分割标注结果和分割预测结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和分割预测结果之间的损失作为边缘损失；

神经网络训练模块84，用于根据主体损失和边缘损失，对初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络。

关于图像分割装置的具体限定可以参见上文中对于图像分割方法的限定，关于图像分割网络的训练装置的具体限定可以参见上文中对于图像分割网络的训练方法的限定，在此不再赘述。上述图像分割装置和图像分割网络的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割方法和/或图像分割网络的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待分割图像；

将待分割图像输入预设的图像分割网络进行图像分割处理，得到待分割图像的目标分割结果；其中，图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；主体损失为训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，边缘损失为训练样本图像针对目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；

根据目标分割结果从待分割图像中分割出针对目标对象的主体区域的图像。

另一方面也可以实现以下步骤：

获取训练样本图像；训练样本图像标注有图像分割标注结果，图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；

将训练样本图像输入初始图像分割网络进行图像分割处理，得到训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

计算主体区域的分割标注结果和分割预测结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和分割预测结果之间的损失作为边缘损失；

根据主体损失和边缘损失，对初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络。

在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时一方面可以实现以下步骤：

获取待分割图像；

将待分割图像输入预设的图像分割网络进行图像分割处理，得到待分割图像的目标分割结果；其中，图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；主体损失为训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，边缘损失为训练样本图像针对目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；

根据目标分割结果从待分割图像中分割出针对目标对象的主体区域的图像。

另一方面也可以实现以下步骤：

获取训练样本图像；训练样本图像标注有图像分割标注结果，图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；

将训练样本图像输入初始图像分割网络进行图像分割处理，得到训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

计算主体区域的分割标注结果和分割预测结果之间的损失作为主体损失，以及计算边缘区域的分割标注结果和分割预测结果之间的损失作为边缘损失；

根据主体损失和边缘损失，对初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像分割方法，其特征在于，包括：

获取待分割图像；

将所述待分割图像输入预设的图像分割网络进行图像分割处理，得到所述待分割图像的目标分割结果；其中，所述图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；所述主体损失为所述训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，所述边缘损失为所述训练样本图像针对所述目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；

根据所述目标分割结果从所述待分割图像中分割出针对所述目标对象的主体区域的图像；

所述方法还包括：获取所述训练样本图像；所述训练样本图像标注有图像分割标注结果；根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域；

所述根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域，包括：

根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域；对所述边缘区域进行形态学处理，并根据形态学处理结果确定所述边缘区域中具有预设形态学特征的特征区域；和/或，计算所述边缘区域的局部曲率，并确定局部曲率大于预设曲率阈值的特征区域。

2.根据权利要求1所述的方法，其特征在于，所述图像分割标注结果包括主体区域的分割标注结果和边缘区域的分割标注结果；在所述获取所述训练样本图像之后，还包括：

将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失；

根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，得到所述图像分割网络。

3.根据权利要求2所述的方法，其特征在于，所述初始图像分割网络包括卷积神经子网络、主体分割子网络和边缘分割子网络，所述主体分割子网络和所述边缘分割子网络共享所述卷积神经子网络；

将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果，包括：

将所述训练样本图像输入所述卷积神经子网络进行特征提取处理，得到所述卷积神经子网络的输出特征图；

将所述卷积神经子网络的输出特征图分别输入所述主体分割子网络和所述边缘分割子网络进行解码处理，分别得到所述主体区域的分割预测结果和所述边缘区域的分割预测结果。

4.根据权利要求3所述的方法，其特征在于，所述主体分割子网络和边缘分割子网络均为特征金字塔网络类型，且分别与所述卷积神经子网络存在多个层级之间的横向连接；

将所述卷积神经子网络的输出特征图分别输入所述主体分割子网络和所述边缘分割子网络进行解码处理，分别得到所述主体区域的分割预测结果和所述边缘区域的分割预测结果，包括：

将所述卷积神经子网络的所述多个层级的输出特征图输入所述主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对所述主体特征图进行解码处理得到所述主体区域的分割预测结果；

将所述多个层级的输出特征图输入所述边缘分割子网络的相应层级进行特征融合处理得到边缘特征图，并对所述边缘特征图进行解码处理得到所述边缘区域的分割预测结果。

5.根据权利要求4所述的方法，其特征在于，所述主体区域的分割预测结果包括：所述主体分割子网络中最后层级输出的主体特征图的第一解码处理结果，所述边缘区域的分割预测结果包括：所述边缘分割子网络中最后层级输出的边缘特征图的第二解码处理结果；

相应地，计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失，包括：

根据所述主体区域的分割标注结果和所述第一解码处理结果，计算所述主体损失；以及根据所述边缘区域的分割标注结果和所述第二解码处理结果，计算所述边缘损失。

6.根据权利要求5所述的方法，其特征在于，所述根据所述主体区域的分割标注结果和所述第一解码处理结果，计算所述主体损失；以及根据所述边缘区域的分割标注结果和所述第二解码处理结果，计算所述边缘损失，包括：

计算所述主体区域的分割标注结果和所述第一解码处理结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和所述第二解码处理结果之间的损失作为所述边缘损失。

7.根据权利要求5所述的方法，其特征在于，所述主体区域的分割预测结果还包括：所述主体分割子网络中至少一个中间层级输出的主体特征图的第三解码处理结果，所述边缘区域的分割预测结果还包括：所述边缘分割子网络中至少一个中间层级输出的边缘特征图的第四解码处理结果；

所述根据所述主体区域的分割标注结果和所述第一解码处理结果，计算所述主体损失；以及根据所述边缘区域的分割标注结果和所述第二解码处理结果，计算所述边缘损失，包括：

分别对所述主体区域的分割标注结果和所述边缘区域的分割标注结果进行下采样处理，得到所述主体区域的中间分割标注结果和所述边缘区域的中间分割标注结果；

计算所述主体区域的分割标注结果和所述第一解码处理结果之间的损失，并计算所述主体区域的中间分割标注结果和所述第三解码处理结果之间的损失，以及求和得到所述主体损失；

计算所述边缘区域的分割标注结果和所述第二解码处理结果之间的损失，并计算所述边缘区域的中间分割标注结果和所述第四解码处理结果之间的损失，以及求和得到所述边缘损失。

8.根据权利要求2所述的方法，其特征在于，在所述根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域之后，还包括：

根据所述特征区域，确定所述训练样本图像中各像素点的权值；其中，所述训练样本图像的主体损失和边缘损失，与所述各像素点的权值相关；所述特征区域中的像素点的权值高于所述训练样本图像中除所述特征区域以外的其它区域的像素点的权值。

9.根据权利要求3-7中任一项所述的方法，其特征在于，所述根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，包括：

基于所述主体损失对所述主体分割子网络的待训练参数进行调整；

基于所述边缘损失对所述边缘分割子网络的待训练参数进行调整；

基于所述主体损失和所述边缘损失的加权求和，对所述卷积神经子网络的待训练参数进行调整。

10.根据权利要求1所述的方法，其特征在于，所述图像分割网络包括：卷积神经子网络和主体分割子网络；所述主体分割子网络与所述卷积神经子网络存在多个层级之间的横向连接；

将所述待分割图像输入预设的图像分割网络进行图像分割处理，得到所述待分割图像的目标分割结果，包括：

将所述待分割图像输入所述卷积神经子网络进行特征提取处理，得到所述卷积神经子网络中所述多个层级的输出特征图；

将所述多个层级的输出特征图输入所述主体分割子网络的相应层级进行特征融合处理得到主体特征图，并对所述主体特征图进行解码处理得到所述待分割图像的目标分割结果。

11.一种图像分割网络的训练方法，其特征在于，所述方法包括：

获取训练样本图像；所述训练样本图像标注有图像分割标注结果，所述图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失；

根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络；

所述方法还包括：根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域；

所述根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域，包括：

根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域；对所述边缘区域进行形态学处理，并根据形态学处理结果确定所述边缘区域中具有预设形态学特征的特征区域；和/或，计算所述边缘区域的局部曲率，并确定局部曲率大于预设曲率阈值的特征区域。

12.一种图像分割装置，其特征在于，包括：

待分割图像获取模块，用于获取待分割图像；

图像分割处理模块，将所述待分割图像输入预设的图像分割网络进行图像分割处理，得到所述待分割图像的目标分割结果；其中，所述图像分割网络是基于训练样本图像的主体损失和边缘损失训练得到的；所述主体损失为所述训练样本图像针对目标对象的主体区域的分割标注结果与分割预测结果之间的损失，所述边缘损失为所述训练样本图像针对所述目标对象的边缘区域的分割标注结果与分割预测结果之间的损失；

主体区域分割模块，用于根据所述目标分割结果从所述待分割图像中分割出针对所述目标对象的主体区域的图像；

所述装置还包括神经网络训练模块：所述神经网络模型训练模块，包括训练样本图像获取单元，用于获取所述训练样本图像；所述训练样本图像标注有图像分割标注结果；特征区域确定单元，用于根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域；

所述特征区域确定单元，还用于：根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域；对所述边缘区域进行形态学处理，并根据形态学处理结果确定所述边缘区域中具有预设形态学特征的特征区域；和/或，计算所述边缘区域的局部曲率，并确定局部曲率大于预设曲率阈值的特征区域。

13.一种图像分割网络的训练装置，其特征在于，包括：

训练样本图像获取模块，用于获取训练样本图像；所述训练样本图像标注有图像分割标注结果，所述图像分割标注结果包括针对目标对象的主体区域的分割标注结果和边缘区域的分割标注结果；

神经网络处理模块，用于将所述训练样本图像输入初始图像分割网络进行图像分割处理，得到所述训练样本图像的主体区域的分割预测结果和边缘区域的分割预测结果；

损失计算模块，用于计算所述主体区域的分割标注结果和分割预测结果之间的损失作为所述主体损失，以及计算所述边缘区域的分割标注结果和分割预测结果之间的损失作为所述边缘损失；

神经网络训练模块，用于根据所述主体损失和所述边缘损失，对所述初始图像分割网络的待训练参数进行调整，得到训练后的图像分割网络；

所述装置还包括特征区域确定单元，用于根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域中的特征区域；

所述特征区域确定单元，还用于：根据所述图像分割标注结果，确定所述训练样本图像中针对目标对象的边缘区域；对所述边缘区域进行形态学处理，并根据形态学处理结果确定所述边缘区域中具有预设形态学特征的特征区域；和/或，计算所述边缘区域的局部曲率，并确定局部曲率大于预设曲率阈值的特征区域。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。

15.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

Images