CN113971671A

CN113971671A - 实例分割方法、装置、电子设备及存储介质

Info

Publication number: CN113971671A
Application number: CN202010733970.8A
Authority: CN
Inventors: 杨杰; 刘西洋
Original assignee: SF Technology Co Ltd
Current assignee: SF Technology Co Ltd
Priority date: 2020-07-24
Filing date: 2020-07-24
Publication date: 2022-01-25

Abstract

本申请提供一种实例分割方法、装置、电子设备及计算机可读存储介质。该实例分割方法包括：对待分割图像进行特征提取处理，得到所述待分割图像的第一全局特征图；根据所述第一全局特征图进行特征预测，得到所述待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图；根据所述二值化分割图和所述第一分类特征图，得到所述待分割图像的实例分割结果。本申请中避免了对ROI区域进行特征提取过程中的位置信息损失的问题，提高了实例分割的预测精度。

Description

实例分割方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种实例分割方法、装置、电子设备及计算机可读存储介质。

背景技术

计算机视觉是用各种成像***代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。其中，实例分割是计算机视觉中的常用处理任务。实例分割，是对图像中每个物体进行区分和标注。实例分割对于行为识别、公共安全、视频监控等领域具有重大的指导意义。

现有的实例分割一般是基于目标检测算法来完成的，比如在目标检测算法得到的目标边框的基础上，即得到目标的ROI(region of interest，感兴趣区域)的基础上，对ROI进行区域特征提取，并经过一系列mask卷积之后得到目标的分割结果。

但是，由于在对ROI进行特征提取过程中，会对特征层进行尺度调整和缩放，这会造成特征图的位置信息损失，从而造成实例分割的预测精度降低的问题。

发明内容

本申请提供一种实例分割方法、装置、电子设备及计算机可读存储介质，旨在解决由于现有实例分割方法在对ROI区域进行特征提取过程中对特征层进行尺度调整和缩放，造成特征图的位置信息损失，进而造成实例分割的预测精度低的问题。

第一方面，本申请提供一种实例分割方法，所述方法包括：

对待分割图像进行特征提取处理，得到所述待分割图像的第一全局特征图；

根据所述第一全局特征图进行特征预测，得到所述待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；

根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图；

根据所述二值化分割图和所述第一分类特征图，得到所述待分割图像的实例分割结果。

第二方面，本申请提供一种实例分割装置，所述实例分割装置包括：

第一特征提取单元，用于对待分割图像进行特征提取处理，得到所述待分割图像的第一全局特征图；

第二特征提取单元，用于根据所述第一全局特征图进行特征预测，得到所述待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；

分割单元，用于根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图；

确定单元，用于根据所述二值化分割图和所述第一分类特征图，得到所述待分割图像的实例分割结果。

在本申请一种可能的实现方式中，所述分割单元具体还用于：

根据所述第一动态卷积特征图，获取所述第一实例特征图的卷积核大小；

根据所述卷积核大小，对所述第一实例特征图进行卷积计算，得到所述待分割图像的像素点特征图；

根据预设像素点阈值，对所述像素点特征图进行二值化处理，得到所述待分割图像的二值化分割图。

采用训练后实例分割网络中的目标分割子网络，根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图。

在本申请一种可能的实现方式中，所述实例分割装置还包括训练单元，所述训练单元具体用于：

获取目标图像，其中，所述目标图像已标注类别特征信息和二值化分割信息；

采用预设实例分割网络，对所述目标图像进行特征提取处理，得到所述目标图像的第二全局特征图；

采用预设实例分割网络中的目标分割子网络，根据所述第二全局特征图确定所述目标图像的二值化分割图，得到所述目标图像的分割预测结果；

采用预设实例分割网络中的分类子网络，对所述第二全局特征图进行分类，得到所述目标图像的分类预测结果；

根据所述分割预测结果和所述分类预测结果，对所述预设实例分割网络进行训练，得到训练后实例分割网络。

在本申请一种可能的实现方式中，所述目标分割子网络包括特征提取模块和动态卷积模块，所述训练单元具体还用于：

采用所述特征提取模块，对所述第二全局特征图进行实例特征提取处理，得到所述目标图像的第二实例特征图；

采用所述动态卷积模块，对所述第二全局特征图进行卷积特征预测处理，得到所述目标图像的第二动态卷积特征图；

采用所述目标分割子网络，根据所述第二实例特征图和所述第二动态卷积特征图，确定所述目标图像的二值化分割图，得到所述目标图像的分割预测结果。

在本申请一种可能的实现方式中，所述训练单元具体还用于：

根据所述类别特征信息和所述分类预测结果，确定所述分类子网络的分类损失值；

根据所述二值化分割信息和所述分割预测结果，确定所述目标分割子网络的分割损失值；

根据所述分类损失值和所述分割损失值，对所述预设实例分割网络进行训练，得到训练后实例分割网络。

在本申请一种可能的实现方式中，所述目标图像还标注了目标边框信息，所述训练单元具体还用于：

采用预设实例分割网络中的边框回归子网络，根据所述第二全局特征图确定所述目标图像的目标边框，得到所述目标图像的边框回归结果；

根据所述目标边框信息和所述边框回归结果，确定所述边框回归子网络的边框回归损失值；

根据所述边框回归损失值、所述分类损失值和所述分割损失值，对所述预设实例分割网络进行训练，得到训练后实例分割网络。

第三方面，本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种实例分割方法中的步骤。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的实例分割方法中的步骤。

本申请通过对待分割图像进行特征提取处理得到待分割图像的第一全局特征图；根据第一全局特征图，获取待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；根据第一实例特征图和第一动态卷积特征图，获取待分割图像的二值化分割图；根据待分割图像的二值化分割图和第一分类特征图，得到待分割图像的实例分割结果。一方面，可以针对待分割图像完成目标的实例分割。另一方面，由于待分割图像的二值化分割图，是直接根据待分割图像进行全卷积特征提取后得到的第一全局特征图，进行特征提取后得到的；因此避免了以往实例分割算法中需要基于ROI区域进行特征提取的问题，进而避免了在对ROI区域进行特征提取处理中对特征尺度的不等比例调整、缩放，所导致的特征图的位置信息损失，从而提高了实例分割的精确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中提供的实例分割图像的场景示意图；

图2是本申请实施例所提供的实例分割***的场景示意图；

图3是本申请实施例提供的实例分割方法的一种流程示意图；

图4是本申请实施例提供的实例分割方法的一种总体框架示意图；

图5是本申请实施例提供的二值化分割图的一种场景示意图；

图6是本申请实例中提供的实例分割结果的场景示意图；

图7是本申请实施例中提供的实例分割装置的一个实施例结构示意图；

图8是本申请实施例中提供的电子设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。

本申请实施例提供一种实例分割方法、装置、电子设备和计算机可读存储介质。其中，该实例分割装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

实例分割是对图像中的语义目标进行实例层面的分割，采用实例分割结果进行计数，在行为识别、公共安全、视频监控等领域得到了广泛应用。例如，请参照图1，图1是本申请实施例中提供的实例分割图像的场景示意图，以图像中的气球作为实例分割的目标，实例分割的目的在于确定图像中哪些像素点位置上是气球的像素点、以及确定分别隶属于每个气球(如气球1、气球2、气球3、气球4、气球5)的像素点，从而可以实现对气球进行计数。

通用的实例分割技术一般基于目标检测算法，即先进行两阶段或一阶段的目标检测算法，在目标检测算法得到的目标边框的基础上，对ROI区域进行特征提取处理、并通过一系列mask卷积处理之后，得到目标的分割结果。这类实例分割方法在采用ROI区域进行特征提取处理过程中，会对特征层进行尺度调整和缩放处理，这会对全卷积特征图的带来位置信息的损失。此外，采用两阶段的目标检测方法，会带来计算复杂度的提升，这往往意味着计算速度的下降。

基于现有的相关技术存在的上述缺陷，本申请实施例提供了实例分割方法，至少在一定程度上克服现有的相关技术所存在的缺陷。

本申请实施例实例分割方法的执行主体可以为本申请实施例提供的实例分割装置，或者集成了该实例分割装置的服务器设备、物理主机或者用户设备(User Equipment，UE)等不同类型的电子设备，其中，实例分割装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。

该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本申请实施例提供的实例分割方法，可以基于动态卷积完成图像的实例分割，无需基于ROI区域进行特征提取，避免了对ROI进行特征提取过程中的位置信息损失的问题，提高了实例分割的预测精度。

参见图2，图2为本申请实施例所提供的实例分割***的场景示意图。其中，该实例分割***可以包括电子设备100，电子设备100中集成有实例分割装置。例如，该电子设备可以获取待分割图像，并对待分割图像进行特征提取处理得到第一全局特征图；根据第一全局特征图，获取待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；根据第一实例特征图和第一动态卷积特征图，获取待分割图像的二值化分割图；根据二值化分割图和第一分类特征图，得到待分割图像的实例分割结果。

另外，如图2所示，该实例分割***还可以包括存储器200，用于存储数据，如存储图像数据、视频数据，例如部署在特定场景区域(如分拣场地、地铁安检区域)的摄像头在一段时间拍摄到的图像数据、视频数据等。

需要说明的是，图2所示的实例分割***的场景示意图仅仅是一个示例，本申请实施例描述的实例分割***以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着实例分割***的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

下面，开始介绍本申请实施例提供的实例分割方法，本申请实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。该实例分割方法包括：对待分割图像进行特征提取处理，得到所述待分割图像的第一全局特征图；根据所述第一全局特征图进行特征预测，得到所述待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图；根据所述二值化分割图和所述第一分类特征图，得到所述待分割图像的实例分割结果。

参照图3，图3为本申请实施例提供的实例分割方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该实例分割方法包括步骤S10～S40，其中：

S10、对待分割图像进行特征提取处理，得到所述待分割图像的第一全局特征图。

待分割图像即为待进行实例分割的图像，第一全局特征图是指对待分割图像进行卷积特征提取后，所得到的特征图。

本申请实施例中，以通过训练后实例分割网络(具体结构可参照下文描述)进行实例分割为例，说明如何根据待分割图像确定待分割图像的实例分割结果。

其中，在对待分割图像进行实例分割之前，需要根据实例分割的具体应用场景获取待分割图像。

例如，在一些实施方式中，为了通过计算机视觉技术统计处于特定区域(如地铁安检区域、超市出入口)的人数，通常会预先在特定区域部署摄像头，使得摄像头的视野范围覆盖特定区域，从而可以通过在特定区域部署的摄像头拍摄图像，并将所拍摄图像作为待分割图像。

其中，可以预先设计任意深度的全卷积网络作为实例分割网络的主干网络，用于对待分割图像进行特征提取。例如，可以采用常用的语义分割网络(如BiSeNet网络)的主干网络，用于对待分割图像进行特征提取处理，以得到待分割图像的第一全局特征图。

S20、根据所述第一全局特征图进行特征预测，得到所述待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图。

其中，第一实例特征图是指尺寸大小为M*N、深度为K的特征图；其中K为预设值、M*N为第一全局特征图的尺寸大小。

第一动态卷积特征图是指尺寸大小为M*N、深度为(Q*K)的特征图；其中K为预设值、M*N为第一全局特征图的尺寸大小。

第一分类特征图是指图中每个点可以表示为：以点(x_i,y_i)为中心点的目标分类结果(用C表示)的特征图。

请参照图4，图4是本申请实施例提供的实例分割方法的一种总体框架示意图。

如图4所示，实例分割网络可以包括主干网络、分类子网络、目标分割子网络。其中，实例分割网络的具体训练过程可以参照以下步骤A1～A5、A31～A33、A51～A53、以及B1～B2中的各步骤，在此不再赘述。

主干网络，用于输出待分割图像的第一全局特征图。例如，主干网络以待分割图像(如单张超市出入口的RGB图片)作为输入，对待分割图像进行特征提取处理，以M*N*D的深度特征图(即第一全局特征图)作为输出，其中，M*N表示第一全局特征图的尺寸、D表示特征通道数。

其中，通过试验发现，通过语义分割网络的主干网络作为实例分割网络的主干网络，对待分割图像进行特征提取处理，可以使得模型(实例分割网络)训练的收敛速度更快；此外，还可以获得更丰富的多尺度信息的第一全局特征图，为后续进行数据处理提供更丰富的尺度信息。

分类子网络，用于根据第一全局特征图输出待分割图像的第一分类特征图。例如，分类子网络以M*N*D的第一全局特征图作为输入，输出M*N*C的第一分类特征图，其中C为目标分类种类。第一分类特征图与原图片(待分割图像)的尺寸为等比例大小，第一分类特征图中每个点可以表示为以该点为中心点的目标分类结果。

目标分割子网络，用于根据第一全局特征图输出待分割图像的二值化分割图。目标分割子网络还包括特征提取模块和动态卷积模块。

特征提取模块，用于根据第一全局特征图输出待分割图像的第一实例特征图。比如，特征提取模块的输入为M*N*D的第一全局特征图，输出为M*N*K的第一实例特征图，其中K表示特征图深度，K为预设值，可以根据具体需求而设置，如K＝512。

动态卷积模块，用于根据第一全局特征图输出待分割图像的第一动态卷积特征图。比如，动态卷积模块的输入为M*N*D的第一全局特征图，输出为M*N*(Q*K)的第一动态卷积特征图；其中，Q*K表示以点(x_i,y_i)为中心点的目标的一维动态卷积核，K为预设值，可以根据具体需求而设置，如K＝512。

S30、根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图。

在一些实施例中，“根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图”，具体可以包括：根据所述第一动态卷积特征图，获取所述第一实例特征图的卷积核大小；根据所述卷积核大小，对所述第一实例特征图进行卷积计算，得到所述待分割图像的像素点特征图；根据预设像素点阈值，对所述像素点特征图进行二值化处理，得到所述待分割图像的二值化分割图。

例如，动态卷积模块输出为M*N*(Q*K)的第一动态卷积特征图，其中Q*K(如9*K)表示以点(x_i,y_i)为中心点的目标的一维动态卷积核。首先，根据第一动态卷积特征图确定第一实例特征图的卷积核大小，具体地：将一维动态卷积核Q*K调整为三维动态卷积核P*P*K(如3*3*K)，其中，Q＝P*P，P、P、K分别为三维动态卷积核长度、宽度、深度；并将三维动态卷积核P*P*K作为第一实例特征图的卷积核大小。

然后，对第一实例特征图进行卷积计算得到待分割图像的像素点特征图，比如，根据第一实例特征图的卷积核大小(如3*3*K)，对第一实例特征图(如M*N*K)进行卷积操作，得到M*N*1的特征图，并作为待分割图像的像素点特征图。其中，待分割图像的像素点特征图包括了每个像素点的特征值。

最后，根据预设像素点阈值，对像素点特征图进行二值化处理，得到待分割图像的二值化分割图。其中，预设像素点阈值可以根据具体需求设置具体取值，在此不作限定。比如，预设像素点阈值为0.5，则将待分割图像的像素点特征图中小于0.5的像素点的特征值设置为最小值0，将大于等于0.5的像素点的特征值设置为最大值1，从而可以得到待分割图像的二值化分割图。如图5所示，图5是本申请实施例提供的二值化分割图的一种场景示意图。

上述预设像素点阈值、像素点特征值的最小值、像素点特征值的最大值仅为举例，具体可以根据实际情况进行设置，不以此为限。

由以上内容可以看出，通过根据第一全局特征图实时预测出第一动态卷积特征图；并根据第一动态卷积特征图确定动态的卷积核大小，对第一实例特征图进行卷积计算，确定待分割图像的像素点特征图；再对像素点特征图进行二值化处理得到待分割图像的二值化分割图。由于可以确定动态的卷积核大小对第一实例特征图进行卷积计算得到待分割图像的像素点特征图，因此可以针对不同的目标进行自适应地计算相应的动态卷积核，使得待分割图像的二值化分割图更加准确，进而使得目标的分割结果更加准确。

在一些实施例中，可以采用训练后实例分割网络中的目标分割子网络，根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图。

例如，实例分割网络中的目标分割子网络可以根据第一动态卷积特征图，获取第一实例特征图的卷积核大小；根据卷积核大小，对第一实例特征图进行卷积计算，得到待分割图像的像素点特征图；根据预设像素点阈值，对像素点特征图进行二值化处理，得到待分割图像的二值化分割图。具体可以参照前述举例，此处不再赘述。

由以上内容可以看出，由于针对不同的目标进行自适应地计算相应的动态卷积核，训练后的实例分割网络可以充分学习和挖掘目标分割的更优表达方式。因此基于实例分割网络的目标分割自网络确定动态的卷积核大小，并对第一实例特征图进行卷积计算得到待分割图像的像素点特征图，可以使得待分割图像的二值化分割图更加准确，进而使得目标的分割结果更加准确。

S40、根据所述二值化分割图和所述第一分类特征图，得到所述待分割图像的实例分割结果。

具体地，将待分割图像的二值化分割图中，分类结果为目标(如人、或气球)分类的连续多个像素点作为一个目标(如一个人、或一个气球)的实例分割结果，从而可以得到待分割图像的实例分割结果。

进一步地，可以根据待分割图像的实例分割结果，统计图像中目标(如目标为人)的数量。更进一步地，还可以根据待分割图像的实例分割结果，识别图像中目标(如目标为人)的动作。

为了方便理解，请参照图6，图6是本申请实例中提供的实例分割结果的场景示意图。以待分割图像是超市出入口的区域图像、目标是人为例，结合具体场景进行说明。

例如，待分割图像的二值化分割图如图6中(1)所示，根据第一分类特征图可知图6(1)中各点的分类结果(即可以确定哪些位置是人的像素点位置)，进而可以根据待分割图像的二值化分割图、第一分类特征图，确定如图6中(2)所示实例分割结果：即分割出每个单独的目标“人1”、“人2”、“人3”。

由以上内容可以看出，通过对待分割图像进行特征提取处理得到待分割图像的第一全局特征图；根据第一全局特征图，获取待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；根据第一实例特征图和第一动态卷积特征图，获取待分割图像的二值化分割图；根据待分割图像的二值化分割图和第一分类特征图，得到待分割图像的实例分割结果。一方面，可以针对待分割图像完成目标的实例分割。另一方面，由于待分割图像的二值化分割图，是直接根据待分割图像进行全卷积特征提取后得到的第一全局特征图，进行特征提取后得到的；因此避免了以往实例分割算法中需要基于ROI区域进行特征提取的问题，进而避免了在对ROI区域进行特征提取处理中对特征尺度的不等比例调整、缩放，所导致的特征图的位置信息损失，从而提高了实例分割的精确度。

其中，通过以下步骤A1～A5对预设实例分割网络进行模型训练，得到训练后实例分割网络，其中：

A1、获取目标图像。

其中，目标图像已标注类别特征信息和二值化分割信息。

目标图像的类别特征信息是指目标图像实际的分类特征图。目标图像实际的分类特征图是指图中每个点可以表示为：以点(x_i,y_i)为中心点的目标分类结果(用C表示)的特征图。

目标图像的二值化分割信息是指目标图像实际的二值化分割图。

A2、采用预设实例分割网络，对所述目标图像进行特征提取处理，得到所述目标图像的第二全局特征图。

其中，第二全局特征图是指对目标图像进行卷积特征提取后，所得到的特征图。

在一些实施方式中，预设实例分割网络包括主干网络、分类子网络、目标分割子网络。

在一些实施方式中，预设实例分割网络包括主干网络、分类子网络、目标分割子网络、边框回归子网络。

其中，主干网络、分类子网络、目标分割子网络的作用，以及网络的输入、输出可以参照以上步骤S20中的阐述，在此不再赘述。边框回归子网络的作用，以及网络的输入、输出可以参照以下步骤B1～B2中的阐述，在此不再赘述。

具体地，将已标注类别特征信息和二值化分割信息的目标图像输入至预设实例分割网络中，以调用预设实例分割网络中的主干网络对目标图像进行特征提取处理，得到目标图像的第二全局特征图。

主干网络，用于根据目标图像输出待分割图像的第一全局特征图。例如，主干网络以目标图像(如单张地铁安检区域的RGB图片)作为输入，对目标图像进行特征提取处理，以M*N*D的深度特征图(即第二全局特征图)作为输出，其中，M*N表示第二全局特征图的尺寸、D表示特征通道数。

A3、采用预设实例分割网络中的目标分割子网络，根据所述第二全局特征图确定所述目标图像的二值化分割图，得到所述目标图像的分割预测结果。

其中，目标图像的分割预测结果是指通过预测得到的目标图像的二值化分割图。

在一些实施方式中，目标分割子网络可以包括特征提取模块和动态卷积模块。

其中，特征提取模块、动态卷积模块的作用，以及模块的输入、输出可以参照以上步骤S20中的阐述，在此不再赘述。

此时，“采用预设实例分割网络中的目标分割子网络，根据所述第二全局特征图确定所述目标图像的二值化分割图，得到所述目标图像的分割预测结果”具体可以包括以下步骤A31～A33，其中：

A31、采用所述特征提取模块，对所述第二全局特征图进行实例特征提取处理，得到所述目标图像的第二实例特征图。

其中，第二实例特征图是指尺寸大小为M*N、深度为K的特征图；其中K为预设值、M*N为第二全局特征图的尺寸大小。

具体地，将第二全局特征图输入至特征提取模块，以调用特征提取模块根据第二全局特征图输出目标图像的第二实例特征图。比如，特征提取模块的输入为M*N*D的第二全局特征图，输出为M*N*K的第二实例特征图，其中K表示特征图深度。

A32、采用所述动态卷积模块，对所述第二全局特征图进行卷积特征预测处理，得到所述目标图像的第二动态卷积特征图。

其中，第二动态卷积特征图是指尺寸大小为M*N、深度为(Q*K)的特征图；其中K为预设值、M*N为第二全局特征图的尺寸大小。

具体地，将第二全局特征图输入至动态卷积模块，以调用动态卷积模块根据第二全局特征图输出目标图像的第二动态卷积特征图。比如，动态卷积模块的输入为M*N*D的第二全局特征图，预测并输出为M*N*(Q*K)的第二动态卷积特征图；其中，Q*K表示以点(x_i,y_i)为中心点的目标的一维动态卷积核，K为预设值，可以根据具体需求而设置，如K＝512。

A33、采用所述目标分割子网络，根据所述第二实例特征图和所述第二动态卷积特征图，确定所述目标图像的二值化分割图，得到所述目标图像的分割预测结果。

其中，目标图像的分割预测结果是指通过对第二实例特征图进行卷积后，所得到的目标图像的二值化分割图。

具体地，调用目标分割子网络根据第二动态卷积特征图，获取第二实例特征图的卷积核大小；根据第二实例特征图的卷积核大小，对第二实例特征图进行卷积计算，得到目标图像的像素点特征图；根据预设像素点阈值，对目标图像的像素点特征图进行二值化处理，得到目标图像的二值化分割图，即得到目标图像的分割预测结果。

例如，动态卷积模块输出为M*N*(Q*K)的第二动态卷积特征图，其中Q*K(如9*K)表示以点(x_i,y_i)为中心点的目标的一维动态卷积核。首先，根据第二动态卷积特征图确定第二实例特征图的卷积核大小，具体地：将一维动态卷积核Q*K调整为三维动态卷积核P*P*K(如3*3*K)，其中，Q＝P*P，P、P、K分别为三维动态卷积核长度、宽度、深度；并将三维动态卷积核P*P*K作为第二实例特征图的卷积核大小。

然后，对第二实例特征图进行卷积计算得到目标图像的像素点特征图，比如，根据第二实例特征图的卷积核大小(如3*3*K)，对第二实例特征图(如M*N*K)进行卷积操作，得到M*N*1的特征图，并作为目标图像的像素点特征图。其中，目标图像的像素点特征图包括了每个像素点的特征值。

最后，根据预设像素点阈值，对目标图像的像素点特征图进行二值化处理，得到目标图像的二值化分割图。其中，预设像素点阈值可以根据具体需求设置具体取值，在此不作限定。比如，预设像素点阈值为0.5，则将目标图像的像素点特征图中小于0.5的像素点的特征值设置为最小值0，将大于等于0.5的像素点的特征值设置为最大值1，从而可以得到目标图像的二值化分割图。

由以上内容可以看出，通过采用特征提取模块，对第二全局特征图进行实例特征提取处理，得到目标图像的第二实例特征图，使得训练后实例分割网络还可以根据第一全局特征图确定待分割图像的第一实例特征图。

通过采用动态卷积模块，对第二全局特征图进行卷积特征预测处理，得到目标图像的第二动态卷积特征图使得训练后实例分割网络还可以根据第一全局特征图确定第一动态卷积特征图。

采用目标分割子网络，根据第二实例特征图和第二动态卷积特征图，确定目标图像的二值化分割图，得到目标图像的分割预测结果，可以使得训练后实例分割网络根据第一实例特征图和第一动态卷积特征图，所确定的待分割图像的二值化分割图的精度可以得到提升。

A4、采用预设实例分割网络中的分类子网络，对所述第二全局特征图进行分类，得到所述目标图像的分类预测结果。

其中，目标图像的分类预测结果是指通过预测得到的目标图像的第二分类特征图。第二分类特征图是指图中每个点可以表示为：以点(x_i,y_i)为中心点的目标分类结果(用C表示)的特征图。

具体地，调用预设实例分割网络中的分类子网络对第二全局特征图进行分类，得到目标图像的分类预测结果。其中，预设实例分割网络中的分类子网络，用于根据第二全局特征图预测并输出目标图像的第二分类特征图。例如，分类子网络以M*N*D的第二全局特征图作为输入，输出M*N*C的第二分类特征图，其中C为目标分类种类。第二分类特征图与原图片(目标图像)的尺寸为等比例大小，第二分类特征图中每个点可以表示为以该点为中心点的目标分类结果。

A5、根据所述分割预测结果和所述分类预测结果，对所述预设实例分割网络进行训练，得到训练后实例分割网络。

此时，训练后实例分割网络可以用于对待分割图像进行特征提取处理，得到待分割图像的第一全局特征图。还可以用于根据第一全局特征图，确定待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图。此外，还可以用于根据第一实例特征图和第一动态卷积特征图，获取待分割图像的二值化分割图。

由以上内容可以看出，预设实例分割网络通过根据标注后的目标图像，采用分类子网络对目标图像的第二全局特征图进行分类预测、采用目标分割子网络对目标图像的第二全局特征图进行分割结果预测；并根据分割预测结果和分类预测结果，对预设实例分割网络进行训练，得到训练后实例分割网络。可以使得训练后实例分割网络用于确定第一分类特征图、待分割图像的二值化分割图。

在本申请的一些实施例中，预设实例分割网络可以包括主干网络、分类子网络、目标分割子网络，可以结合分类子网络的分类损失值、目标分割子网络的分割损失值，对预设实例分割网络进行训练，得到训练后实例分割网络。此时，“根据所述分割预测结果和所述分类预测结果，对所述预设实例分割网络进行训练，得到训练后实例分割网络”具体可以包括以下步骤A51～A53，其中：

A51、根据所述类别特征信息和所述分类预测结果，确定所述分类子网络的分类损失值。

在一些实施方式中，为了提升分类子网络的分类准确性，分类损失函数可以采用传统的交叉熵损失函数等。

例如，可以通过如下公式(1)作为分类损失函数(Focal Loss函数)，计算出分类子网络的分类损失值：

其中，Loss_class为分类损失值，p为分类概率，N表示各个点，α、γ为Focal Loss的超参数，一般情况下，α设置为0.25、γ设置为2，label表示类别标签(即类别特征信息)。

A52、根据所述二值化分割信息和所述分割预测结果，确定所述目标分割子网络的分割损失值。

在一些实施方式中，分割损失函数可以采用传统的交叉熵损失函数。

在一些实施方式中，为了提升目标分割子网络的分割准确性，分割损失函数可以采用Dice Loss损失函数。例如，可以通过如下公式(2)作为分割损失函数，计算出目标分割子网络的分割损失值：

其中，Loss_mask为分割损失值，X、Y分别为目标图像实际的二值化分割图、实例分割网络预测得到的目标图像的二值化分割图。

发明人在实践过程中发现，采用Dice Loss损失函数进行训练，网络收敛速度快相比于传统pixel-level的loss函数(如加权或不加权交叉熵函数、Focal Loss函数)更快，最后的验证集精度也很高；因此可以有效地提升实例分割结果的准确率。

A53、根据所述分类损失值和所述分割损失值，对所述预设实例分割网络进行训练，得到训练后实例分割网络。

在一些实施方式中，根据以下公式(3)确定模型训练的总损失值：

Loss＝a₁Loss_class+a₂Loss_mask 公式(3)

其中，Loss为模型训练的总损失值，Loss_class为分类损失值，Loss_mask为分割损失值，a₁、a₂为比例系数，用于平衡分类损失值、分割损失值之间的比例大小。

然后，以公式(3)确定模型训练的总损失值为优化目标，对预设实例分割网络进行训练，得到训练后实例分割网络。

由以上内容可以看出，通过结合分类损失值和分割损失值作为网络训练的总损失值，并以总损失值作为优化目标，对预设实例分割网络进行训练，从使得训练后实例分割网络在分类损失、分割损失上最优，从而提高了训练后实例分割网络的实例分割精确度。

在本申请的一些实施例中，预设实例分割网络可以包括主干网络、分类子网络、目标分割子网络、边框回归子网络。为了进一步提高训练后实例分割网络的实例分割预测精度，可以同时结合分类子网络的分类损失值、目标分割子网络的分割损失值、边框回归子网络的边框回归损失值，对预设实例分割网络进行训练，得到训练后实例分割网络。

具体地，可以通过如下步骤B1～B2确定边框回归子网络的边框回归损失值，其中：

B1、采用预设实例分割网络中的边框回归子网络，根据所述第二全局特征图确定所述目标图像的目标边框，得到所述目标图像的边框回归结果；

具体地，将第二全局特征图输入预设实例分割网络中的边框回归子网络，以调用预设实例分割网络中的边框回归子网络，根据第二全局特征图确定目标图像的目标边框，得到目标图像的边框回归结果。

其中，边框回归子网络，用于根据第二全局特征图输出目标图像的边框回归结果。例如，边框回归子网络以M*N*D的第二全局特征图作为输入，输出M*N*(h*w)的边框回归特征图，其中h、w分别表示以点(x_i,y_i)为中心点的目标的长、宽，即可得到目标图像中的目标的位置信息。边框回归特征图中每个点(x_i,y_i)可以表示为以该点(x_i,y_i)为中心点的目标的长(h)、宽(w)。

其中，目标图像的边框回归结果是指以点(x_i,y_i)为中心点的目标的长h和宽w，即目标的位置信息。其中，目标的位置信息可以表示为中心点(x,y)和长宽(h,w)，或者可以表示为根据中心点(x,y)和长宽(h,w)进一步转化所得到的目标的左上角坐标(x1,y1)和右下角坐标(x2,y2)，转化公式如下公式(4)～公式(7)：

x1＝x-w/2 公式(4)

y1＝y-h/2 公式(5)

x2＝x-w/2 公式(6)

y2＝y-h/2 公式(7)

B2、根据所述目标边框信息和所述边框回归结果，确定所述边框回归子网络的边框回归损失值。

在一些实施方式中，为了提升边框回归子网络预测的目标边框的准确性，边框回归损失函数可以采用L1_Loss损失函数等。L1_Loss损失函数，也被称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)。总的说来，它是把目标值与估计值的绝对差值的总和最小化。

例如，可以通过如下公式(8)作为边框回归损失函数，计算出边框回归子网络的边框回归损失值：

其中，Loss_reg为边框回归损失值，N表示各个点，h、w分别为以点(x_i,y_i)为中心点的实际目标的长、宽，

分别为以点(x_i,y_i)为中心点的网络预测目标的长、宽。

此时，“根据所述分类损失值和所述分割损失值，对所述预设实例分割网络进行训练，得到训练后实例分割网络”具体可以包括：根据所述边框回归损失值、所述分类损失值和所述分割损失值，对所述预设实例分割网络进行训练，得到训练后实例分割网络。

具体地，在一些实施方式中，根据以下公式(9)确定模型训练的总损失值：

Loss＝a₁Loss_class+a₂Loss_mask+a₃Loss_reg 公式(9)

其中，Loss为模型训练的总损失值，Loss_class为分类损失值，Loss_mask为分割损失值，Loss_reg为边框回归损失值，a₁、a₂、a₃为比例系数，用于平衡分类损失值、分割损失值、边框回归损失值之间的比例大小。

然后，以公式(9)确定模型训练的总损失值为优化目标，对预设实例分割网络进行训练，得到训练后实例分割网络。

由以上内容可以看出，通过结合边框回归损失值、分类损失值和分割损失值作为网络训练的总损失值，并以总损失值作为优化目标，对预设实例分割网络进行训练，从使得训练后实例分割网络在边框回归损失值、分类损失、分割损失上最优，从而提高了训练后实例分割网络的实例分割精确度。

为了更好实施本申请实施例中实例分割方法，在实例分割方法基础之上，本申请实施例中还提供一种实例分割装置，如图7所示，为本申请实施例中实例分割装置的一个实施例结构示意图，该实例分割装置700包括：

第一特征提取单元701，用于对待分割图像进行特征提取处理，得到所述待分割图像的第一全局特征图；

第二特征提取单元702，用于根据所述第一全局特征图进行特征预测，得到所述待分割图像的第一实例特征图、第一动态卷积特征图、以及第一分类特征图；

分割单元703，用于根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图；

确定单元704，用于根据所述二值化分割图和所述第一分类特征图，得到所述待分割图像的实例分割结果。

在本申请的一些实施例中，所述分割单元703具体还用于：

在本申请的一些实施例中，所述实例分割装置还包括训练单元(图中未示出)，所述训练单元具体用于：

在本申请的一些实施例中，所述目标分割子网络包括特征提取模块和动态卷积模块，所述训练单元具体还用于：

在本申请的一些实施例中，所述训练单元具体还用于：

在本申请的一些实施例中，所述目标图像还标注了目标边框信息，所述训练单元具体还用于：

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由于该实例分割装置可以执行本申请如图1至图6对应任意实施例中实例分割方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中实例分割方法所能实现的有益效果，详见前面的说明，在此不再赘述。

此外，为了更好实施本申请实施例中实例分割方法，在实例分割方法基础之上，本申请实施例还提供一种电子设备，参阅图8，图8示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器801，处理器801用于执行存储器802中存储的计算机程序时实现如图1至图6对应任意实施例中实例分割方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

电子设备可包括，但不仅限于处理器801、存储器802。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器801、存储器802、输入输出设备以及网络接入设备等通过总线相连。

处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

存储器802可用于存储计算机程序和/或模块，处理器801通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的实例分割装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图6对应任意实施例中实例分割方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图6对应任意实施例中实例分割方法中的步骤，具体操作可参考如图1至图6对应任意实施例中实例分割方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图6对应任意实施例中实例分割方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中实例分割方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请实施例所提供的一种实例分割方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种实例分割方法，其特征在于，所述方法包括：

2.根据权利要求1所述的实例分割方法，其特征在于，所述根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图，包括：

3.根据权利要求1所述的实例分割方法，其特征在于，所述根据所述第一实例特征图和所述第一动态卷积特征图，获取所述待分割图像的二值化分割图，包括：

4.根据权利要求3所述的实例分割方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的实例分割方法，其特征在于，所述目标分割子网络包括特征提取模块和动态卷积模块，所述采用预设实例分割网络中的目标分割子网络，根据所述第二全局特征图确定所述目标图像的二值化分割图，得到所述目标图像的分割预测结果，包括：

6.根据权利要求4所述的实例分割方法，其特征在于，所述根据所述分割预测结果和所述分类预测结果，对所述预设实例分割网络进行训练，得到训练后实例分割网络，包括：

7.根据权利要求6所述的实例分割方法，其特征在于，所述目标图像还标注了目标边框信息，所述方法还包括：

根据所述分类损失值和所述分割损失值，对所述预设实例分割网络进行训练，得到训练后实例分割网络，包括：

8.一种实例分割装置，其特征在于，所述实例分割装置包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的实例分割方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的实例分割方法中的步骤。