CN111429463A - 实例分割方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了实例分割方法、装置、电子设备和存储介质。所述方法包括：基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；根据所述热力特征图确定实例的中心点；从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。有益效果在于，利用中心点预测的方式确定实例位置，省去了无关点的计算，提升了速度；并且能够在像素级别进行精细分割，精度更高。

Description

实例分割方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机视觉领域，具体涉及实例分割方法、装置、电子设备和存储介质。

背景技术

高精地图构建过程中，往往需要对图像进行识别，例如区分挨在一起的不同交通标志牌。又例如，自动驾驶场景下，马路上距离较近的行人和车辆也需要进行区分。

目前，通常采用计算机视觉技术来完成上述任务。但是仅靠语义分割无法完成此类任务，因此需要实例分割来区分不同的个体。现有技术中往往采用二阶段(two-stage)类型的神经网络来实现实例分割，但是存在计算成本较大且速度较慢的问题。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的计算机视觉任务中的实例分割方法、装置、设备和存储介质。

依据本申请的一个方面，提供了一种计算机视觉任务中的实例分割方法，包括：基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；根据所述热力特征图确定实例的中心点；从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。

可选地，所述根据所述热力特征图确定实例的中心点包括：在所述热力特征图中提取局部最大响应点，根据局部最大响应点的位置确定实例的中心点位置。

可选地，所述根据局部最大响应点的位置确定实例的中心点位置包括：基于一阶段网络的主干网络，生成所述图像的偏移特征图；根据所述局部最大响应点的位置，从所述偏移特征图中提取出相应的偏移特征；根据所述局部最大响应点的位置以及所述偏移特征确定实例的中心点位置。

可选地，所述根据所述中心点位置以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征包括：根据所述中心点位置以及提取出的尺寸特征确定所述实例的占据区域；从所述全局显著性特征图中裁剪出与所述占据区域对应的全局显著性特征。

可选地，所述根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果包括：根据提取出的尺寸特征和提取出的形状特征确定实例的轮廓特征；根据所述轮廓特征与提取出的全局显著性特征生成实例的掩模。

可选地，所述主干网络为卷积神经网络。

可选地，各特征图具有相同的宽度和高度。

依据本申请的另一方面，提供了一种计算机视觉任务中的实例分割装置，包括：特征图生成单元，用于基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；中心点确定单元，用于根据所述热力特征图确定实例的中心点；特征提取单元，用于从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；实例分割单元，用于根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。

可选地，所述中心点确定单元，用于在所述热力特征图中提取局部最大响应点，根据局部最大响应点的位置确定实例的中心点位置。

可选地，所述特征图生成单元，用于基于一阶段网络的主干网络，生成所述图像的偏移特征图；所述特征提取单元，用于根据所述局部最大响应点的位置，从所述偏移特征图中提取出相应的偏移特征；根据所述局部最大响应点的位置以及所述偏移特征确定实例的中心点位置。

可选地，所述特征提取单元，用于根据所述中心点位置以及提取出的尺寸特征确定所述实例的占据区域；从所述全局显著性特征图中裁剪出与所述占据区域对应的全局显著性特征。

可选地，所述实例分割单元，用于根据提取出的尺寸特征和提取出的形状特征确定实例的轮廓特征；根据所述轮廓特征与提取出的全局显著性特征生成实例的掩模。

可选地，所述主干网络为卷积神经网络。

可选地，各特征图具有相同的宽度和高度。

依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请提出了一种基于一阶段(one-stage)的实例分割方案。能够基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图，根据热力特征图确定实例的中心点，从尺寸特征图和形状特征图中分别提取出与中心点对应的尺寸特征以及与中心点对应的形状特征，根据中心点以及提取出的尺寸特征，从全局显著性特征图中提取全局显著性特征，根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。有益效果在于，利用中心点预测的方式确定实例位置，省去了无关点的计算，提升了速度；并且能够在像素级别进行精细分割，精度更高。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的一种计算机视觉任务中的实例分割方法的流程示意图；

图2示出了根据本申请一个实施例的一种实例分割方法的流程示意图；

图3示出了根据本申请一个实施例的一种计算机视觉任务中的实例分割装置的结构示意图；

图4示出了根据本申请一个实施例的电子设备的结构示意图；

图5示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

掩模-区域卷积神经网络(Mask-RCNN)是一种有代表性的二阶段实例分割网络。该方案需要先进行感兴趣区域(ROI框)的预测，产生大量无意义的框，然后再进行分割，计算成本较大且速度较慢。

张量-掩模(TensorMask)则是一种一阶段实例分割方案，该方案虽然不需要提前进行框的预测，但由于需要在每个点上预测一个掩模(mask)，也较为耗时。

极坐标掩模(PolarMask)也是一种一阶段实例分割方案，该方案也是不依赖提前提取的ROI直接预测mask，但是该方案将mask建模为从中心点出发的几条射线构成的多边形结构，无法精细的描述物体的轮廓。

有鉴于此，本申请的技术方案采用了一阶段网络进行实例分割，将实例分割拆成两个部分：一部分是基于中心点进行较为粗糙的轮廓特征预测，以区分不同的实例；另一部分则是通过全局显著性在来实现像素级别的精细分割。

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的一种计算机视觉任务中的实例分割方法的流程示意图。如图1所示，该方法包括：

步骤S110，基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图。

具体地，主干网络可以是卷积神经网络，执行包含多个分支任务。

其中，热力特征图(heatmap)的通道数量可以是实例的类别数量。本申请的技术方案可以应用于各类需要计算机视觉任务作为技术支持的场景，包括但不限于高精建图的交通标志识别，自动驾驶的障碍物检测、监控的目标检测等等，进一步可应用到快递物流、外卖送餐等实际业务场景中。因此，该方案既可以在线使用，也可以离线使用。

相对应地，要分割的实例与场景有关，比如自动驾驶场景下，需要将行人及车辆分别作为实例进行分割，即使是同一类型的车辆也需要分割成多个实例。

尺寸特征用于表征实例的大小，尺寸通常体现为宽和高，尺寸特征图的通道数可以为2；形状特征则用于表征实例的形状，形状特征图的通道数可以与面积有关。全局显著性特征图可以具体表现为一张单通道的灰度图像，以灰度值表征原图像中像素点的全局显著性。

步骤S120，根据热力特征图确定实例的中心点。一般地，一个实例对应一个中心点。这样相较于预先选出多个ROI的做法，大大减少了对无关区域的涉及，从而减小候选的计算量。

特征图与原图像具有对应关系，确定了中心点也就相当于分别确定了特征图以及原图像中指定点的位置。

步骤S130，从尺寸特征图和形状特征图中分别提取出与中心点对应的尺寸特征以及与中心点对应的形状特征。

步骤S140，根据中心点以及提取出的尺寸特征，从全局显著性特征图中提取全局显著性特征。

步骤S150，根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。

可见，图1所示的方法，利用中心点预测的方式确定实例位置，省去了无关点的计算，提升了速度；并且不同于PolarMask采用极坐标系建模实例Mask的方式，本申请通过提取更多特征，在像素级别进行精细分割，精度更高。

在本申请的一个实施例中，上述方法中，根据热力特征图确定实例的中心点包括：在热力特征图中提取局部最大响应点，根据局部最大响应点的位置确定实例的中心点位置。

Heatmap中，一般每个热度较高的区域对应一个实例，但本申请在使用heatmap时并不直接根据它来得到一个实例的占据区域，而是仅得到一个与实例对应的点，再通过与其他特征相互配合来确定实例的占据区域。

因此，本申请采用计算局部响应的方式，通过提取局部最大响应点来确定实例的中心点位置。

将局部最大响应点当作是实例中心点是一种虽可行但精度并不高的方式，因此在本申请的一个实施例中，上述方法中，根据局部最大响应点的位置确定实例的中心点位置包括：基于一阶段网络的主干网络，生成图像的偏移特征图；根据局部最大响应点的位置，从偏移特征图中提取出相应的偏移特征；根据局部最大响应点的位置以及偏移特征确定实例的中心点位置。

偏移特征与热力特征相互配合，能够进一步确保中心点的精度，偏移特征可以具体是一个位置偏移量offset。

在本申请的一个实施例中，上述方法中，根据中心点位置以及提取出的尺寸特征，从全局显著性特征图中提取全局显著性特征包括：根据中心点位置以及提取出的尺寸特征确定实例的占据区域；从全局显著性特征图中裁剪出与占据区域对应的全局显著性特征。

例如，确定中心点坐标为(30，50)，尺寸特征为16×16(高×宽)，则占据区域为以(24，44)，(24，56)，(36，44)以及(36，56)为四个顶点的矩形。

在本申请的实施例中，如果各特征图尺寸不同，那么在根据一个特征图中的点去另一特征图提取特征时，还需要进行变换，较为不便，因此在本申请的一个实施例中，上述方法中，各特征图具有相同的宽度和高度。

这样在确定了中心点后，就相当于一次性确定了各特征图中的中心点，可以方便地进行相应特征的提取。

在本申请的一个实施例中，上述方法中，根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果包括：根据提取出的尺寸特征和提取出的形状特征确定实例的轮廓特征；根据轮廓特征与提取出的全局显著性特征生成实例的掩模。

形状特征可以描述该点存在物体的形状，尺寸特征可以描述该点存在物体的大小，因此二者结合起来就可以确定实例的轮廓特征。然后可以选用将轮廓特征与提取出的全局显著性特征相乘的方式，生成实例的掩模mask。

图2示出了根据本申请一个实施例的一种实例分割方法的流程示意图。如图2所示，图像在输入到主干网络后，通过五个分支分别输出全局显著性Saliency特征图、形状Shape特征图、尺寸Size特征图、热力heatmap特征图以及偏移Offset特征图。这些特征图都具有相同的高度和宽度，因此位置可以一一对应，方便运算。

接下来，先在热力特征图上提取局部最大响应，获取其对应位置点，结合该位置点和偏移特征图对应位置上的点的值，确定实例的中心点，以进行后续特征的提取。

然后，在形状特征图中提取中心点对应位置的形状特征，将其作为该点存在物体(即要分割的实例)的形状。在尺寸特征图中提取中心点对应位置的尺寸特征，将其作为该点存在物体的大小。以上两个信息结合起来得到轮廓特征。

再然后，在全局显著性特征图中利用中心点的对应位置以及确定的实例大小进行剪切，得到全局显著性特征。

最后，将中心点的轮廓特征与全局显著性特征相乘，作为最终预测的实例分割结果mask。图中的“person(人)”、“bench(长椅)”代表实例的类别。

图3示出了根据本申请一个实施例的一种计算机视觉任务中的实例分割装置的结构示意图。如图3所示，计算机视觉任务中的实例分割装置300包括：

特征图生成单元310，用于基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图。

具体地，主干网络可以是卷积神经网络，执行包含多个分支任务。

其中，热力特征图(heatmap)的通道数量可以是实例的类别数量。本申请的技术方案可以应用于各类需要计算机视觉任务作为技术支持的场景，包括但不限于高精建图的交通标志识别，自动驾驶的障碍物检测、监控的目标检测等等，进一步可应用到快递物流、外卖送餐等实际业务场景中。因此，该方案既可以在线使用，也可以离线使用。

相对应地，要分割的实例与场景有关，比如自动驾驶场景下，需要将行人及车辆分别作为实例进行分割，即使是同一类型的车辆也需要分割成多个实例。

尺寸特征用于表征实例的大小，尺寸通常体现为宽和高，尺寸特征图的通道数可以为2；形状特征则用于表征实例的形状，形状特征图的通道数可以与面积有关。全局显著性特征图可以具体表现为一张单通道的灰度图像，以灰度值表征原图像中像素点的全局显著性。

中心点确定单元320，用于根据热力特征图确定实例的中心点。

一般地，一个实例对应一个中心点。这样相较于预先选出多个ROI的做法，大大减少了对无关区域的涉及，从而减小候选的计算量。

特征图与原图像具有对应关系，确定了中心点也就相当于分别确定了特征图以及原图像中指定点的位置。

特征提取单元330，用于从尺寸特征图和形状特征图中分别提取出与中心点对应的尺寸特征以及与中心点对应的形状特征；根据中心点以及提取出的尺寸特征，从全局显著性特征图中提取全局显著性特征。

实例分割单元340，用于根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。

可见，图3所示的装置，利用中心点预测的方式确定实例位置，省去了无关点的计算，提升了速度；并且不同于PolarMask采用极坐标系建模实例Mask的方式，本申请通过提取更多特征，在像素级别进行精细分割，精度更高。

在本申请的一个实施例中，上述装置中，中心点确定单元320，用于在热力特征图中提取局部最大响应点，根据局部最大响应点的位置确定实例的中心点位置。

Heatmap中，一般每个热度较高的区域对应一个实例，但本申请在使用heatmap时并不直接根据它来得到一个实例的占据区域，而是仅得到一个与实例对应的点，再通过与其他特征相互配合来确定实例的占据区域。

因此，本申请采用计算局部响应的方式，通过提取局部最大响应点来确定实例的中心点位置。

将局部最大响应点当作是实例中心点是一种虽可行但精度并不高的方式，因此在本申请的一个实施例中，上述装置中，中心点确定单元320，用于基于一阶段网络的主干网络，生成图像的偏移特征图；根据局部最大响应点的位置，从偏移特征图中提取出相应的偏移特征；根据局部最大响应点的位置以及偏移特征确定实例的中心点位置。

偏移特征与热力特征相互配合，能够进一步确保中心点的精度，偏移特征可以具体是一个位置偏移量offset。

在本申请的一个实施例中，上述装置中，特征提取单元330，用于根据中心点位置以及提取出的尺寸特征确定实例的占据区域；从全局显著性特征图中裁剪出与占据区域对应的全局显著性特征。

例如，确定中心点坐标为(30，50)，尺寸特征为16×16(高×宽)，则占据区域为以(24，44)，(24，56)，(36，44)以及(36，56)为四个顶点的矩形。

在本申请的实施例中，如果各特征图尺寸不同，那么在根据一个特征图中的点去另一特征图提取特征时，还需要进行变换，较为不便，因此在本申请的一个实施例中，上述方法中，各特征图具有相同的宽度和高度。

这样在确定了中心点后，就相当于一次性确定了各特征图中的中心点，可以方便地进行相应特征的提取。

在本申请的一个实施例中，上述装置中，实例分割单元340，用于根据提取出的尺寸特征和提取出的形状特征确定实例的轮廓特征；根据轮廓特征与提取出的全局显著性特征生成实例的掩模。

形状特征可以描述该点存在物体的形状，尺寸特征可以描述该点存在物体的大小，因此二者结合起来就可以确定实例的轮廓特征。然后可以选用将轮廓特征与提取出的全局显著性特征相乘的方式，生成实例的掩模mask。

综上所述，本申请提出了一种基于一阶段(one-stage)的实例分割方案。能够基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图，根据热力特征图确定实例的中心点，从尺寸特征图和形状特征图中分别提取出与中心点对应的尺寸特征以及与中心点对应的形状特征，根据中心点以及提取出的尺寸特征，从全局显著性特征图中提取全局显著性特征，根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。有益效果在于，利用中心点预测的方式确定实例位置，省去了无关点的计算，提升了速度；并且能够在像素级别进行精细分割，精度更高。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的计算机视觉任务中的实例分割装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图4示出了根据本申请一个实施例的电子设备的结构示意图。具体到自动驾驶场景，该电子设备可以为自动驾驶设备。该电子设备400包括处理器410和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器420。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器420具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码431的存储空间430。例如，用于存储计算机可读程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码431。计算机可读程序代码431可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所述的计算机可读存储介质。

图5示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码431，可以被电子设备400的处理器410读取，当计算机可读程序代码431由电子设备400运行时，导致该电子设备400执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码431可以执行上述任一实施例中示出的方法。计算机可读程序代码431可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种计算机视觉任务中的实例分割方法，包括：

基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；

根据所述热力特征图确定实例的中心点；

从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；

根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；

根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。

2.如权利要求1所述的方法，其特征在于，所述根据所述热力特征图确定实例的中心点包括：

在所述热力特征图中提取局部最大响应点，根据局部最大响应点的位置确定实例的中心点位置。

3.如权利要求2所述的方法，其特征在于，所述根据局部最大响应点的位置确定实例的中心点位置包括：

基于一阶段网络的主干网络，生成所述图像的偏移特征图；

根据所述局部最大响应点的位置，从所述偏移特征图中提取出相应的偏移特征；

根据所述局部最大响应点的位置以及所述偏移特征确定实例的中心点位置。

4.如权利要求1所述的方法，其特征在于，所述根据所述中心点位置以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征包括：

根据所述中心点位置以及提取出的尺寸特征确定所述实例的占据区域；

从所述全局显著性特征图中裁剪出与所述占据区域对应的全局显著性特征。

5.如权利要求1所述的方法，其特征在于，所述根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果包括：

根据提取出的尺寸特征和提取出的形状特征确定实例的轮廓特征；

根据所述轮廓特征与提取出的全局显著性特征生成实例的掩模。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述主干网络为卷积神经网络。

7.如权利要求1-5中任一项所述的方法，其特征在于，各特征图具有相同的宽度和高度。

8.一种计算机视觉任务中的实例分割装置，包括：

特征图生成单元，用于基于一阶段网络的主干网络，分别生成图像的热力特征图、尺寸特征图、形状特征图和全局显著性特征图；

中心点确定单元，用于根据所述热力特征图确定实例的中心点；

特征提取单元，用于从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征；根据所述中心点以及提取出的尺寸特征，从所述全局显著性特征图中提取全局显著性特征；

实例分割单元，用于根据提取出的尺寸特征、提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。

9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。

Images