CN112132832B - 一种增强图像实例分割的方法、***、设备及介质 - Google Patents

一种增强图像实例分割的方法、***、设备及介质 Download PDF

Info

Publication number
CN112132832B
CN112132832B CN202010846608.1A CN202010846608A CN112132832B CN 112132832 B CN112132832 B CN 112132832B CN 202010846608 A CN202010846608 A CN 202010846608A CN 112132832 B CN112132832 B CN 112132832B
Authority
CN
China
Prior art keywords
training network
frame
intersection ratio
feature map
target frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010846608.1A
Other languages
English (en)
Other versions
CN112132832A (zh
Inventor
张润泽
范宝余
赵雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010846608.1A priority Critical patent/CN112132832B/zh
Publication of CN112132832A publication Critical patent/CN112132832A/zh
Priority to PCT/CN2021/096542 priority patent/WO2022037170A1/zh
Priority to US18/011,135 priority patent/US11748890B2/en
Application granted granted Critical
Publication of CN112132832B publication Critical patent/CN112132832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种增强图像实例分割的方法、***、设备和存储介质，方法包括：在主训练网络中设置与主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；将原始图片输入主训练网络，将增强图片输入辅助训练网络；判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值；以及响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。本发明通过加入辅助分支，利用较大的预测框与目标框的交并比值来进行实例分割，极大地降低了样本不平衡带来的影响。

Description

一种增强图像实例分割的方法、***、设备及介质
技术领域
本发明涉及目标检测领域，更具体地，特别是指一种增强图像实例分割的方法、***、计算机设备及可读介质。
背景技术
实例分割是基于目标检测技术发展起来的一个领域，是比目标检测更难的问题。要求在目标检测的基础上，还要求分割出物体的像素。同时它与语义分割也存在着很大的不同。语义分割只是区分图像中像素点具体属于哪一种类别，同一物体不同实例不需要分割出来。实例分割可看成目标检测和语义分割的结合，因此研究难度也相应提升。
目前常用的实例分割算法是Mask RCNN(一种针对目标检测和实例分割任务的网络)算法。Mask RCNN是在Faster RCNN(一种目标检测网络)添加新分支进行像素级别预测。该分支输出二进制掩码，表示像素是否属于目标对象。将这些掩码同分类结果和检测框结合起来，便形成了实例分割。Mask RCNN从网络结构上来看只是在Faster RCNN基础上加了一个分支，因此Faster RCNN存在的训练样本分布不平衡问题，在Mask RCNN中依然存在，因而如何解决训练样本分布不平衡的问题，成为急需解决的问题。
发明内容
有鉴于此，本发明实施例的目的在于提出一种增强图像实例分割的方法、***、计算机设备及计算机可读存储介质，通过加入辅助分支，利用较大的预测框与目标框的交并比值来进行实例分割，极大地降低了样本不平衡带来的影响；提出特征图交换策略，增强网络鲁棒性；添加辅助分支损失及KL散度损失，进一步增强实例分割性能。
基于上述目的，本发明实施例的一方面提供了一种增强图像实例分割的方法，包括如下步骤：在主训练网络中设置与所述主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；将原始图片输入主训练网络，将增强图片输入辅助训练网络；判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值；以及响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。
在一些实施方式中，所述对原始图片进行数据增强以得到增强图片包括：对所述原始图片的坐标框进行预设距离的位移。
在一些实施方式中，还包括：基于所述主训练网络产生多个尺度的第一语义特征图，基于所述辅助训练网络产生多个尺度的第二语义特征图，并将相同尺度的所述第一语义特征图和所述语义第二特征图以预定概率进行交换。
在一些实施方式中，还包括：在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失。
在一些实施方式中，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：将初始坐标框与所述第一语义特征图结合得到第一分类特征图，将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图，根据所述第一分类特征图和所述第二分类特征图得到散度损失。
在一些实施方式中，所述根据所述第一分类特征图和所述第二分类特征图得到散度损失包括：计算相同尺度的第一分类特征图和第二分类特征图的子散度损失，并将所有尺度的子散度损失相加得到散度损失。
在一些实施方式中，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：根据坐标框的距离和尺度信息分别得到主回归损失和辅助回归损失。
本发明实施例的另一方面，还提供了一种增强图像实例分割***，包括：增强模块，配置用于在主训练网络中设置与所述主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；输入模块，配置用于将所述原始图片输入主训练网络，将所述增强图片输入所述辅助训练网络；判断模块，配置用于判断所述辅助训练网络产生的第二预测框与目标框的交并比值是否大于所述主训练网络产生的第一预测框与目标框的交并比值；以及执行模块，配置用于响应于所述第二预测框与目标框的交并比值大于所述第一预测框与目标框的交并比值，用所述第二预测框与目标框的交并比值替换所述第一预测框与目标框的交并比值进行图像实例分割。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：通过加入辅助分支，利用较大的预测框与目标框的交并比值来进行实例分割，极大地降低了样本不平衡带来的影响；提出特征图交换策略，增强网络鲁棒性；添加辅助分支损失及KL散度损失，进一步增强实例分割性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的增强图像实例分割的方法的实施例的示意图；
图2为本发明提供的增强图像实例分割的计算机设备的实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种增强图像实例分割的方法的实施例。图1示出的是本发明提供的增强图像实例分割的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、在主训练网络中设置与主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；
S2、将原始图片输入主训练网络，将增强图片输入辅助训练网络；
S3、判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值；以及
S4、响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。
本发明实施例以Mask RCNN进行举例说明，但这并不是对训练网络的限制，在其他的实施例中可以采用其他的训练网络。Mask RCNN的网络框架由backbone(骨干)网络，RPN(候选区域)网络，Head(头部)网络组成。首先输入图片经过骨干网络，可以得到具有语义信息的语义特征图。语义特征图经过RPN网络可以得到初始候选坐标框。将初始坐标框与骨干网络输出语义特征图结合得到用于具体分类回归所需要的分类特征图。将新产生的分类特征图经过不同的Head网络可以完成不同的任务。比如将分类特征图输入分类网络可以判断该候选框的类别，将分类特征图输入回归网络可以定位该候选框的位置，将分类特征图输入分割网络可以对候选框中的实例进行像素级别的分割。
在进行最终分类、回归、分割任务前，需要进行正负样本的选取，而正负样本是依据候选框同Ground Truth(地面真值)的交并比确定的，Mask RCNN中选取候选框采用的是随机采样的方式。样本的分布在IoU(预测框与目标框的交并比)上并不是均匀分布的，生成候选框时随机采样会造成背景框远远大于框中GT的框，是目标物体的区域只占很小一部分，背景占了绝大多数的位置，所以大部分样本都挤在了IoU在0到0.05的区间了。这就造成了样本采样不平衡问题。
本发明实施例针对这个问题设计了辅助分支以采用大IoU进行分割的方案。添加辅助分支一定程度上会带来训练的不稳定性，本发明实施例为了缓解这个问题，提出了特征图交换的方式，增强模型的泛化能力。本发明实施例添加了辅助分支的损失，在主分支与辅助分支还添加了KL散度损失，进一步提升实例分割的精度。
在主训练网络中设置与主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片。在一些实施方式中，所述对原始图片进行数据增强以得到增强图片包括：对所述原始图片的坐标框进行预设距离的位移。由于图片中的坐标框相对于原始图片发生了较大位移，因而在训练过程中的检测框相对于原始图片的Ground Truth来说IOU会增大。
将原始图片输入主训练网络，将增强图片输入辅助训练网络。判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值。响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。
在一些实施方式中，还包括：基于所述主训练网络产生多个尺度的第一语义特征图，基于所述辅助训练网络产生多个尺度的第二语义特征图，并将相同尺度的所述第一语义特征图和所述语义第二特征图以预定概率进行交换。由于引进了新的分支，且产生的特征图相对于原先的特征图来说是一种特征增强。因此本发明实施例为了进一步增强模型的鲁棒性，在主训练网络和辅助训练网络之间引入了特征图交换模块。具体模块可以添加在骨干网络与FPN网络之间。由于每个分支的骨干网络会产生四个尺度的特征图，特征图交换模块以一定概率在同一个尺度的特征层进行交换。例如，主训练网络产生A1、A2、A3和A4四个尺度的特征图，辅助训练网络产生B1、B2、B3和B4四个尺度的特征图，A1和B1可以以一定的概率进行交换。
在一些实施方式中，还包括：在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失。整体的网络结构包括主分支损失与辅助分支损失：主分支损失与辅助分支损失均为分类损失和回归损失，且分类损失采用交叉熵损失，回归损失采用IoU损失。本发明实施例为了学习到两分支的相似性，还引入了主分支与辅助分支的KL散度损失。
在一些实施方式中，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：将初始坐标框与所述第一语义特征图结合得到第一分类特征图，将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图，根据所述第一分类特征图和所述第二分类特征图得到散度损失。
在一些实施方式中，所述根据所述第一分类特征图和所述第二分类特征图得到散度损失包括：计算相同尺度的第一分类特征图和第二分类特征图的子散度损失，并将所有尺度的子散度损失相加得到散度损失。由于FPN输出5个尺度的特征，因此每个尺度的特征都会计算一个KL散度损失。最终的KL散度损失是5个尺度的和。KL散度DKL的公式如下，其中，p、q分别代表主分支和辅助分支的特征图，xi代表第i个尺度。
Figure BDA0002643233530000061
在一些实施方式中，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：根据坐标框的距离和尺度信息分别得到主回归损失和辅助回归损失。
当前主流的回归损失采用的是smooth L1Loss。虽然从一定程度上缓解了误差增长过快的情形，但是损失函数与IoU的概念并不是完全等价的。且smooth L1损失对尺度极为敏感，因而本方案采用了改进的IoU损失作为回归损失。
传统的IoU损失公式如下，p表示预测框，g表示ground truth。Intersection表示预测框和ground truth的交集，Union表示并集：
Figure BDA0002643233530000071
但是上述公式没有考虑到预测框同ground truth之间没有交集情形，因而不容易收敛。本发明实施例针对上述情形设计了新的IoU损失，加入坐标框的距离及尺度信息，让回归损失更容易收敛。具体公式如下：
Figure BDA0002643233530000072
pc是预测框中心点坐标，gc是ground truth的中心坐标。c是预测框和groundtruth目标框的最小闭包的对角线距离。
在模型训练上，本发明实施例运用当前主流的深度学习框架pytorch、深度学习模型库torchvision、目标检测框架mmdetection。本发明实施例的辅助分支只在训练过程起作用，在测试中只用主分支，因此推理阶段参数和Mask RCNN网络完全一致。
本方案的实验环境和实验参数如下：
本方案是在8块V100 GPU的实验环境下进行，数据库采用的是COCO数据集。每个GPU可处理的图片数量是2，初始学***翻转，图片短边设定为800，长边设定为1333.测试时，为了公平比较，没有采用Soft-NMS方法。
在COCO test-2017数据集结果如下：
AP<sub>SEG</sub> AP<sub>BBOX</sub>
Mask RCNN(ResNet50) 34.2 37.3
+辅助分支 35.4 38.5
+特征图交换 36.0 39.2
+KL散度损失 36.6 40.1
APSEG表示分割性能值，APBBOX表示坐标框性能值。如上表所示，采用现有技术的情形下，分割性能值为34.2，坐标框性能值为37.3，在加入了辅助分支后，分割性能值上升到了35.4，坐标框性能值上升到了38.5，在进行了特征图交换后，分割性能值进一步上升到36.0，坐标框性能值也进一步上升到了39.2，在进行了KL散度损失后，分割性能值进一步上升到36.6，坐标框性能值也进一步上升到了40.1。基于上述实验结果，本发明实施例在模型整体性能上有了较大程度的提高，在基础网络结构上有2.4个点的提升。
需要特别指出的是，上述增强图像实例分割的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于增强图像实例分割的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种增强图像实例分割***，包括：增强模块，配置用于在主训练网络中设置与所述主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；输入模块，配置用于将所述原始图片输入主训练网络，将所述增强图片输入所述辅助训练网络；判断模块，配置用于判断所述辅助训练网络产生的第二预测框与目标框的交并比值是否大于所述主训练网络产生的第一预测框与目标框的交并比值；以及执行模块，配置用于响应于所述第二预测框与目标框的交并比值大于所述第一预测框与目标框的交并比值，用所述第二预测框与目标框的交并比值替换所述第一预测框与目标框的交并比值进行图像实例分割。
在一些实施方式中，所述增强模块配置用于：对所述原始图片的坐标框进行预设距离的位移。
在一些实施方式中，还包括：交换模块，配置用于基于所述主训练网络产生多个尺度的第一语义特征图，基于所述辅助训练网络产生多个尺度的第二语义特征图，将相同尺度的所述第一语义特征图和所述语义第二特征图以预定概率进行交换。
在一些实施方式中，还包括：损失模块，配置用于在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失。
在一些实施方式中，所述损失模块配置用于：将初始坐标框与所述第一语义特征图结合得到第一分类特征图，将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图，根据所述第一分类特征图和所述第二分类特征图得到散度损失。
在一些实施方式中，所述损失模块配置用于：计算相同尺度的第一分类特征图和第二分类特征图的子散度损失，并将所有尺度的子散度损失相加得到散度损失。
在一些实施方式中，所述损失模块配置用于：根据坐标框的距离和尺度信息分别得到主回归损失和辅助回归损失。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、在主训练网络中设置与主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；S2、将原始图片输入主训练网络，将增强图片输入辅助训练网络；S3、判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值；以及S4、响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。
在一些实施方式中，所述对原始图片进行数据增强以得到增强图片包括：对所述原始图片的坐标框进行预设距离的位移。
在一些实施方式中，还包括：基于所述主训练网络产生多个尺度的第一语义特征图，基于所述辅助训练网络产生多个尺度的第二语义特征图，并将相同尺度的所述第一语义特征图和所述语义第二特征图以预定概率进行交换。
在一些实施方式中，还包括：在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失。
在一些实施方式中，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：将初始坐标框与所述第一语义特征图结合得到第一分类特征图，将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图，根据所述第一分类特征图和所述第二分类特征图得到散度损失。
在一些实施方式中，所述根据所述第一分类特征图和所述第二分类特征图得到散度损失包括：计算相同尺度的第一分类特征图和第二分类特征图的子散度损失，并将所有尺度的子散度损失相加得到散度损失。
在一些实施方式中，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：根据坐标框的距离和尺度信息分别得到主回归损失和辅助回归损失。
如图2所示，为本发明提供的上述增强图像实例分割的计算机设备的一个实施例的硬件结构示意图。
以如图2所示的装置为例，在该装置中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。
处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的增强图像实例分割的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的增强图像实例分割的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据增强图像实例分割的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可接收输入的用户名和密码等信息。输出装置304可包括显示屏等显示设备。
一个或者多个增强图像实例分割的方法对应的程序指令/模块存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的增强图像实例分割的方法。
执行上述增强图像实例分割的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行如上方法的计算机程序。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，增强图像实例分割的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种增强图像实例分割的方法，其特征在于，包括以下步骤：
在主训练网络中设置与所述主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；
将原始图片输入主训练网络，将增强图片输入辅助训练网络；
判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值；以及
响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。
2.根据权利要求1所述的方法，其特征在于，所述对原始图片进行数据增强以得到增强图片包括：
对所述原始图片的坐标框进行预设距离的位移。
3.根据权利要求1所述的方法，其特征在于，还包括：
基于所述主训练网络产生多个尺度的第一语义特征图，基于所述辅助训练网络产生多个尺度的第二语义特征图，并将相同尺度的所述第一语义特征图和所述第二语义特征图以预定概率进行交换。
4.根据权利要求3所述的方法，其特征在于，还包括：
在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失。
5.根据权利要求4所述的方法，其特征在于，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：
将初始坐标框与所述第一语义特征图结合得到第一分类特征图，将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图，根据所述第一分类特征图和所述第二分类特征图得到散度损失。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一分类特征图和所述第二分类特征图得到散度损失包括：
计算相同尺度的第一分类特征图和第二分类特征图的子散度损失，并将所有尺度的子散度损失相加得到散度损失。
7.根据权利要求4所述的方法，其特征在于，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：
根据坐标框的距离和尺度信息分别得到主回归损失和辅助回归损失。
8.一种增强图像实例分割的***，其特征在于，包括：
增强模块，配置用于在主训练网络中设置与所述主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；
输入模块，配置用于将所述原始图片输入主训练网络，将所述增强图片输入所述辅助训练网络；
判断模块，配置用于判断所述辅助训练网络产生的第二预测框与目标框的交并比值是否大于所述主训练网络产生的第一预测框与目标框的交并比值；以及
执行模块，配置用于响应于所述第二预测框与目标框的交并比值大于所述第一预测框与目标框的交并比值，用所述第二预测框与目标框的交并比值替换所述第一预测框与目标框的交并比值进行图像实例分割。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-7任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。
CN202010846608.1A 2020-08-21 2020-08-21 一种增强图像实例分割的方法、***、设备及介质 Active CN112132832B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010846608.1A CN112132832B (zh) 2020-08-21 2020-08-21 一种增强图像实例分割的方法、***、设备及介质
PCT/CN2021/096542 WO2022037170A1 (zh) 2020-08-21 2021-05-27 一种增强图像实例分割的方法、***、设备及介质
US18/011,135 US11748890B2 (en) 2020-08-21 2021-05-27 Instance segmentation method and system for enhanced image, and device and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010846608.1A CN112132832B (zh) 2020-08-21 2020-08-21 一种增强图像实例分割的方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN112132832A CN112132832A (zh) 2020-12-25
CN112132832B true CN112132832B (zh) 2021-09-28

Family

ID=73850476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010846608.1A Active CN112132832B (zh) 2020-08-21 2020-08-21 一种增强图像实例分割的方法、***、设备及介质

Country Status (3)

Country Link
US (1) US11748890B2 (zh)
CN (1) CN112132832B (zh)
WO (1) WO2022037170A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132832B (zh) * 2020-08-21 2021-09-28 苏州浪潮智能科技有限公司 一种增强图像实例分割的方法、***、设备及介质
CN112634174B (zh) * 2020-12-31 2023-12-12 上海明略人工智能(集团)有限公司 一种图像表示学习方法及***
CN113191461B (zh) * 2021-06-29 2021-09-17 苏州浪潮智能科技有限公司 一种图片识别方法、装置、设备及可读存储介质
CN114066788B (zh) * 2021-10-26 2024-03-29 华南理工大学 一种平衡的实例分割数据合成方法
CN116385278B (zh) * 2022-12-30 2023-10-10 南京航空航天大学 一种低光照图像视觉特征自监督表示方法和***
CN116563665B (zh) * 2023-04-25 2024-07-02 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法、装置及设备
CN116645523B (zh) * 2023-07-24 2023-12-01 江西蓝瑞存储科技有限公司 一种基于改进RetinaNet的快速目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472594A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 目标跟踪方法、信息***方法及设备
CN110807422A (zh) * 2019-10-31 2020-02-18 华南理工大学 一种基于深度学习的自然场景文本检测方法
CN110910334A (zh) * 2018-09-15 2020-03-24 北京市商汤科技开发有限公司 一种实例分割方法、图像处理设备及计算机可读存储介质
CN111462009A (zh) * 2020-03-31 2020-07-28 上海大学 基于分割矩形区域相似度的出血点预测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201616095D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd A neural network and method of using a neural network to detect objects in an environment
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
US10977844B2 (en) * 2017-11-29 2021-04-13 Adobe Inc. Presenting multiple image segmentations
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation
US10852379B2 (en) * 2018-06-07 2020-12-01 Siemens Healthcare Gmbh Artifact reduction by image-to-image network in magnetic resonance imaging
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
CN109446889B (zh) * 2018-09-10 2021-03-09 苏州飞搜科技有限公司 基于孪生匹配网络的物体追踪方法及装置
US11200424B2 (en) * 2018-10-12 2021-12-14 Adobe Inc. Space-time memory network for locating target object in video content
CN111435432B (zh) * 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN110738125B (zh) 2019-09-19 2023-08-01 平安科技（深圳）有限公司 利用Mask R-CNN选择检测框的方法、装置及存储介质
US11200455B2 (en) * 2019-11-22 2021-12-14 International Business Machines Corporation Generating training data for object detection
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
US11640714B2 (en) * 2020-04-20 2023-05-02 Adobe Inc. Video panoptic segmentation
US20220027659A1 (en) * 2020-05-20 2022-01-27 Google Llc Learning illumination from diverse portraits
CN112132832B (zh) 2020-08-21 2021-09-28 苏州浪潮智能科技有限公司 一种增强图像实例分割的方法、***、设备及介质
US20220156944A1 (en) * 2020-11-13 2022-05-19 Samsung Electronics Co., Ltd. Apparatus and method with video processing
CN112697044B (zh) * 2020-12-17 2021-11-26 北京航空航天大学 一种基于无人机平台的静态刚性物体视觉测量方法
CN115131645A (zh) * 2021-03-26 2022-09-30 佳能株式会社 神经网络的训练和应用方法、装置及存储介质
US12002266B2 (en) * 2021-10-15 2024-06-04 Adobe Inc. Graph-based video instance segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910334A (zh) * 2018-09-15 2020-03-24 北京市商汤科技开发有限公司 一种实例分割方法、图像处理设备及计算机可读存储介质
CN110472594A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 目标跟踪方法、信息***方法及设备
CN110807422A (zh) * 2019-10-31 2020-02-18 华南理工大学 一种基于深度学习的自然场景文本检测方法
CN111462009A (zh) * 2020-03-31 2020-07-28 上海大学 基于分割矩形区域相似度的出血点预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进Faster RCNN的毫米波图像实时目标检测;侯冰基 等;《激光与光电子学进展》;20190731;第56卷(第13期);第131009-1至131009-7页 *

Also Published As

Publication number Publication date
US11748890B2 (en) 2023-09-05
CN112132832A (zh) 2020-12-25
US20230177695A1 (en) 2023-06-08
WO2022037170A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
CN112132832B (zh) 一种增强图像实例分割的方法、***、设备及介质
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN111640089A (zh) 一种基于特征图中心点的缺陷检测方法及装置
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112528845B (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN114005012A (zh) 多模态预训练模型的训练方法、装置、设备及存储介质
CN108334805A (zh) 检测文档阅读顺序的方法和装置
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN112100450A (zh) 一种图计算数据分割方法、终端设备及存储介质
CN111898735A (zh) 蒸馏学习方法、装置、计算机设备和存储介质
CN111027412A (zh) 一种人体关键点识别方法、装置及电子设备
CN112836820A (zh) 用于图像分类任务的深度卷积网络训方法、装置及***
CN112465122A (zh) 优化神经网络模型中原始维度算子的装置和方法
Liu et al. Traffic sign recognition algorithm based on improved YOLOv5s
CN115375986A (zh) 一种模型蒸馏方法及装置
CN108596120A (zh) 一种基于深度学习的目标检测方法和装置
CN110942062B (zh) 图像验证码生成方法、介质、装置和计算设备
CN111260659A (zh) 一种基于初始标注点指导的图像交互分割方法
CN116028832A (zh) 一种样本聚类处理方法、装置、存储介质及电子设备
CN114511862B (zh) 表格识别方法、装置及电子设备
CN110992371B (zh) 一种基于先验信息的人像分割方法、装置及电子设备
CN111382834B (zh) 一种置信度比较方法及装置
CN113963204A (zh) 一种孪生网络目标跟踪***及方法
Diaz-Zapata et al. Yolo-based panoptic segmentation network
CN111461139A (zh) 一种复杂场景下的多目标视觉显著性分层检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant