CN113160233A - 利用稀疏标注数据集训练实例分割神经网络模型的方法 - Google Patents
利用稀疏标注数据集训练实例分割神经网络模型的方法 Download PDFInfo
- Publication number
- CN113160233A CN113160233A CN202110362718.5A CN202110362718A CN113160233A CN 113160233 A CN113160233 A CN 113160233A CN 202110362718 A CN202110362718 A CN 202110362718A CN 113160233 A CN113160233 A CN 113160233A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- training
- data set
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 title abstract description 6
- 238000012986 modification Methods 0.000 claims abstract description 7
- 230000004048 modification Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000004304 visual acuity Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims 1
- 230000000306 recurrent effect Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 10
- 239000013589 supplement Substances 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000001000 micrograph Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了利用稀疏标注数据集训练实例分割神经网络模型的方法,通过设计两阶段训练策略,在初始阶段和精修阶段通过不同的方式补充缺失的负样本,逐渐提供可靠的负样本监督信号,进而提升神经网络模型的判别能力。本发明解决了在稀疏标注数据的情况下,避免神经网络模型在训练的过程中被误导的问题,并使得神经网络模型具备一定的抗干扰能力。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及利用稀疏标注数据集训练实例分割神经网络模型的方法。
背景技术
目前,关于如何利用稀疏标注数据集训练实例分割神经网络模型的方法,相应的研究工作较少。有人提出可以认为与标注区域相邻的区域是可靠的负样本,但是这样的负样本采样策略存在非常严重的偏差,即提供的都是目标区域周边的负样本,而无法提供远离目标区域的负样本。也有人提出针对性的损失函数,通过损失阈值筛选出较为可靠的负样本,但这样的方法对于损失阈值的预设置较为敏感,并且在数据标注噪声较为严重时,效果不佳。
深度学习技术已经在图像处理领域中取得了巨大的成功,它们的成功都离不开神经网络模型的优异表现。在训练神经网络模型的过程中,数据及对应的标签(金标准)是除网络模型结构之外的关键因素之一。如果数据集的标签是不完美的,即存在一些错误标注引入的噪声标签,则会对网络的训练造成负面影响。尤其是当这样的噪声标签情况严重时,神经网络模型的表现会严重变差。
这一不完美标签情况在高分辨率图像(例如图像尺寸极大的显微镜图像) 的目标检测应用中异常严重。这是因为高分辨率图像通常具有非常大的图像尺寸,并且包含难以计数的目标数量(例如显微镜图像中的细胞),因此在高分辨率图像中标识出每一个目标,进而得到完美的标签是几乎不可能完成的。为了降低标注难度以及提升标注效率,通常的做法是,只标注极少量比较具有代表性的目标,也称为稀疏标注。通过这样方式完成的数据标注,也是不完美标注,因为未标注区域包含大量待识别目标。并且,这类稀疏标注的数据,在高分辨率图像中非常普遍。
通常,针对目标检测任务训练神经网络模型的过程中,需要标注数据集提供正样本(目标区域)与负样本(背景区域)的监督。在完全标注数据情形下,正样本来自于标注区域,未标注区域则自然被认为是负样本。然而,稀疏标注数据集仅仅提供部分正样本监督。由于未标注区域不仅包含背景,也包含目标,因此不能被认为是可靠的负样本,进而缺失负样本监督。因此,稀疏标注数据对于神经网络模型的训练是存在负面影响的。
因此,本发明解决了在稀疏标注数据的情况下,避免神经网络模型在训练的过程中被误导,使得神经网络模型具备一定的抗干扰能力。
发明内容
针对现有技术存在的问题,本发明提供利用稀疏标注数据集训练实例分割神经网络模型的方法。
为实现上述目的,本发明的具体方案如下:
提供利用稀疏标注数据集训练实例分割神经网络模型的方法,包括如下步骤:
S1,生成原始稀疏标注数据集;
S2,生成负向样本增广数据集;
S3,混合负向样本增广数据集与原始稀疏标注数据集;
S4,初始阶段训练,形成预训练神经网络模型;
S5,精修阶段训练,根据自步学习参数生成伪标签,基于伪标签数据集训练神经网络模型,生成最终神经网络模型。
进一步地,步骤S4初始阶段训练中,按照公式
训练神经网络模型,
进一步地,在步骤S4初始阶段训练中,训练样本为
其中是负向样本增广图像,是负向样本增广图像对应的标注。进一步地,在步骤S5精修阶段训练中,采用自步学习训练神经网络模型,根据公式在每个训练的轮次t,动态地维护神经网络模型的预测结果,其中f(xi,θt) 是神经网络模型针对图像i在第t轮次的输出,是根据历史预测维护的神经网络模型预测累积结果,α是当前输出的权重。
进一步地,在步骤S5精修阶段训练中,在训练轮次t,根据神经网络模型的累积预测结果在未标注区域中选取最为可信的前rt%的像素作为伪标签中的负样本监督;随着训练轮次t的增加,神经网络模型的分辨能力提升,rt%也根据公式
线性增大,其中T是训练的总轮次,rstart和rend分别是预设的开始和结束时选取的作为伪标签中负样本监督的像素个数占整个未标注像素个数的比例。
进一步地,在步骤S7精修阶段训练中,
在轮次t时的训练样本为
,并且对于每个像素j的伪标签由公式
确定。
进一步地,在步骤S5中还包括:
S51,判断是否达到最大迭代次数;
S52,如未达到最大迭代次数,更新自步学习参数;
S53,达到最大迭代次数,进入下一步,生成最终神经网络模型。
进一步地,所述神经网络模型是卷积神经网络模型或循环神经网络模型。
采用本发明的技术方案,具有以下有益效果:
本发明公开了利用稀疏标注数据集训练实例分割神经网络模型的方法,通过设计两阶段训练策略,在初始阶段和精修阶段通过不同的方式补充缺失的负样本,逐渐提供可靠的负样本监督信号,进而提升神经网络模型的判别能力。本发明解决了在稀疏标注数据的情况下,避免神经网络模型在训练的过程中被误导的问题,并使得神经网络模型具备一定的抗干扰能力。
附图说明
图1是本发明实施方式的流程图。
具体实施方式
以下结合附图和具体实施例,对本发明进一步说明。
结合图1:本发明的方法原理/步骤概述
实例分割,机器自动从图像中用目标检测方法框出不同实例,再用语义分割方法在不同实例区域内进行逐像素标记;本发明通过两阶段训练策略,提供利用稀疏标注数据集训练实例分割神经网络模型的方法。
公式(1)中,y=0代表背景/负样本,y=1代表前景/目标/正样本/细胞核, y=-1代表未标注区域,除了y=-1,y=0或1都参与神经网络模型训练。
本发明通过设计一个两阶段训练策略解决这一问题,分别是初始阶段 (start-up)和精修阶段(refinement)。两个阶段通过不同的方式补充缺失的负样本,逐渐提供可靠的负样本监督信号,进而提升神经网络模型的判别能力。
负向样本增广(Negative Data Augmentation,NDA)是扩充训练数据的技术,NDA通过一些变换,将图像的语义信息打破,因此可认为NDA图像中不再含有目标区域。因此,在初始阶段,随机初始化的神经网络模型没有判别能力,本发明通过NDA提供缺失的背景监督,并按照公式(1)训练神经网络模型。因此,初始阶段的训练样本为
自步学习(Self-Paced Learning,SPL)是渐进式的学习策略,它通过神经网络模型的输出,从中选取较为可靠的未标注样本,并赋予伪标签,进行神经网络模型的训练。当初始阶段结束后,神经网络模型已经具备一定的判别能力,因此在精修阶段,本发明转而采用SPL训练策略进一步提升神经网络模型表现。具体地,在这一阶段,根据公式(2),本发明在每个训练的轮次t,动态地维护网络的预测结果:
其中f(xi,θt)是神经网络模型针对图像i在第t轮次(当前)的输出,是根据历史预测维护的神经网络模型预测累积结果,α是当前输出的权重。这一过程可以被简单理解为,当前输出和历史输出的加权和作为当前的维护结果。在训练轮次t,根据网络的累积预测结果本发明在未标注区域中选取最为可信的前rt%的像素作为伪标签中的负样本监督。其中,随着训练轮次t的增加,神经网络模型的分辨能力提升,rt%也根据公式(3)线性增大。
其中,T是训练的总轮次,rstart和rend分别是预设的开始和结束时的选取的作为伪标签中负样本监督的像素个数占整个未标注像素个数的比例。因此精修阶段,在轮次t时的训练样本为
并且对于每个像素j,伪标签则由公式(4)确定。
rt是一个0到1之间的值,rstart和rend决定rt的上下界。rt从rstart逐渐增大至rend。
rt是选取的作为伪标签中负样本监督的像素个数占整个未标注像素个数的比例。
例如一张图像120个像素。20个像素被标成前景了,那未标注像素就是100 个。然后当前的rt=0.4那么,就要从未标注的100个像素中挑选40个像素出来。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。
Claims (8)
1.利用稀疏标注数据集训练实例分割神经网络模型的方法,其特征在于,包括如下步骤:
S1,生成原始稀疏标注数据集;
S2,生成负向样本增广数据集;
S3,混合负向样本增广数据集与原始稀疏标注数据集;
S4,初始阶段训练,形成预训练神经网络模型;
S5,精修阶段训练,根据自步学习参数生成伪标签,基于伪标签数据集训练神经网络模型,生成最终神经网络模型。
7.根据权利要求1所述的利用稀疏标注数据集训练实例分割神经网络模型的方法,其特征在于在步骤S5中还包括:
S51,判断是否达到最大迭代次数;
S52,如未达到最大迭代次数,更新自步学习参数;
S53,达到最大迭代次数,进入下一步,生成最终神经网络模型。
8.根据权利要求1所述的利用稀疏标注数据集训练实例分割神经网络模型的方法,其特征在于:所述神经网络模型是卷积神经网络模型或循环神经网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110362718.5A CN113160233A (zh) | 2021-04-02 | 2021-04-02 | 利用稀疏标注数据集训练实例分割神经网络模型的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110362718.5A CN113160233A (zh) | 2021-04-02 | 2021-04-02 | 利用稀疏标注数据集训练实例分割神经网络模型的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113160233A true CN113160233A (zh) | 2021-07-23 |
Family
ID=76886415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110362718.5A Pending CN113160233A (zh) | 2021-04-02 | 2021-04-02 | 利用稀疏标注数据集训练实例分割神经网络模型的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160233A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342888A (zh) * | 2023-05-25 | 2023-06-27 | 之江实验室 | 一种基于稀疏标注训练分割模型的方法及装置 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204597A (zh) * | 2016-07-13 | 2016-12-07 | 西北工业大学 | 一种基于自步式弱监督学习的视频物体分割方法 |
CN108629785A (zh) * | 2018-05-10 | 2018-10-09 | 西安电子科技大学 | 基于自步学习的三维磁共振胰腺图像分割方法 |
CN108764281A (zh) * | 2018-04-18 | 2018-11-06 | 华南理工大学 | 一种基于半监督自步学习跨任务深度网络的图像分类方法 |
CN109544190A (zh) * | 2018-11-28 | 2019-03-29 | 北京芯盾时代科技有限公司 | 一种欺诈识别模型训练方法、欺诈识别方法及装置 |
CN109697469A (zh) * | 2018-12-26 | 2019-04-30 | 西北工业大学 | 一种基于一致性约束的自学习小样本遥感图像分类方法 |
CN109741332A (zh) * | 2018-12-28 | 2019-05-10 | 天津大学 | 一种人机协同的图像分割与标注方法 |
CN109949316A (zh) * | 2019-03-01 | 2019-06-28 | 东南大学 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
CN109949317A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
CN110084131A (zh) * | 2019-04-03 | 2019-08-02 | 华南理工大学 | 一种基于深度卷积网络的半监督行人检测方法 |
CN110969623A (zh) * | 2020-02-28 | 2020-04-07 | 北京深睿博联科技有限责任公司 | 一种肺部ct多征象自动检测方法、***、终端及存储介质 |
CN111476283A (zh) * | 2020-03-31 | 2020-07-31 | 上海海事大学 | 基于迁移学习的青光眼眼底图像识别方法 |
CN111563533A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 |
CN112084327A (zh) * | 2019-06-14 | 2020-12-15 | 国际商业机器公司 | 在保留语义的同时对稀疏标注的文本文档的分类 |
CN112381098A (zh) * | 2020-11-19 | 2021-02-19 | 上海交通大学 | 基于目标分割领域自学习的半监督学习方法和*** |
CN112489050A (zh) * | 2020-12-13 | 2021-03-12 | 成都易书桥科技有限公司 | 一种基于特征迁移的半监督实例分割算法 |
CN112541928A (zh) * | 2020-12-18 | 2021-03-23 | 上海商汤智能科技有限公司 | 网络训练方法及装置、图像分割方法及装置和电子设备 |
-
2021
- 2021-04-02 CN CN202110362718.5A patent/CN113160233A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204597A (zh) * | 2016-07-13 | 2016-12-07 | 西北工业大学 | 一种基于自步式弱监督学习的视频物体分割方法 |
CN108764281A (zh) * | 2018-04-18 | 2018-11-06 | 华南理工大学 | 一种基于半监督自步学习跨任务深度网络的图像分类方法 |
CN108629785A (zh) * | 2018-05-10 | 2018-10-09 | 西安电子科技大学 | 基于自步学习的三维磁共振胰腺图像分割方法 |
CN109544190A (zh) * | 2018-11-28 | 2019-03-29 | 北京芯盾时代科技有限公司 | 一种欺诈识别模型训练方法、欺诈识别方法及装置 |
CN109697469A (zh) * | 2018-12-26 | 2019-04-30 | 西北工业大学 | 一种基于一致性约束的自学习小样本遥感图像分类方法 |
CN109741332A (zh) * | 2018-12-28 | 2019-05-10 | 天津大学 | 一种人机协同的图像分割与标注方法 |
CN109949316A (zh) * | 2019-03-01 | 2019-06-28 | 东南大学 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
CN109949317A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
CN110084131A (zh) * | 2019-04-03 | 2019-08-02 | 华南理工大学 | 一种基于深度卷积网络的半监督行人检测方法 |
CN112084327A (zh) * | 2019-06-14 | 2020-12-15 | 国际商业机器公司 | 在保留语义的同时对稀疏标注的文本文档的分类 |
CN110969623A (zh) * | 2020-02-28 | 2020-04-07 | 北京深睿博联科技有限责任公司 | 一种肺部ct多征象自动检测方法、***、终端及存储介质 |
CN111476283A (zh) * | 2020-03-31 | 2020-07-31 | 上海海事大学 | 基于迁移学习的青光眼眼底图像识别方法 |
CN111563533A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 |
CN112381098A (zh) * | 2020-11-19 | 2021-02-19 | 上海交通大学 | 基于目标分割领域自学习的半监督学习方法和*** |
CN112489050A (zh) * | 2020-12-13 | 2021-03-12 | 成都易书桥科技有限公司 | 一种基于特征迁移的半监督实例分割算法 |
CN112541928A (zh) * | 2020-12-18 | 2021-03-23 | 上海商汤智能科技有限公司 | 网络训练方法及装置、图像分割方法及装置和电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342888A (zh) * | 2023-05-25 | 2023-06-27 | 之江实验室 | 一种基于稀疏标注训练分割模型的方法及装置 |
CN116342888B (zh) * | 2023-05-25 | 2023-08-11 | 之江实验室 | 一种基于稀疏标注训练分割模型的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
CN111723585B (zh) | 一种风格可控的图像文本实时翻译与转换方法 | |
CN112183203B (zh) | 一种基于多尺度像素特征融合的实时交通标志检测方法 | |
CN110969129B (zh) | 一种端到端税务票据文本检测与识别方法 | |
CN113255659B (zh) | 一种基于MSAFF-Yolov3的车牌校正检测识别方法 | |
CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
CN111126115A (zh) | 暴力分拣行为识别方法和装置 | |
CN112819837B (zh) | 一种基于多源异构遥感影像的语义分割方法 | |
CN112070174A (zh) | 一种基于深度学习的自然场景下文本检测方法 | |
JP2023514294A (ja) | オブジェクトディテクタのためのベイジアンデュアルオートエンコーダを利用したエクスプレイナブルアクティブラーニング方法及びそれを利用したアクティブラーニングデバイス | |
CN116910752B (zh) | 一种基于大数据的恶意代码检测方法 | |
Wu et al. | Background segmentation for vehicle re-identification | |
CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
CN113361467A (zh) | 基于领域适应的车牌识别方法 | |
CN113160233A (zh) | 利用稀疏标注数据集训练实例分割神经网络模型的方法 | |
CN116452862A (zh) | 基于领域泛化学习的图像分类方法 | |
CN116091774A (zh) | 基于提示学习的弱监督语义分割方法与装置 | |
CN111832497B (zh) | 一种基于几何特征的文本检测后处理方法 | |
CN114529894A (zh) | 一种融合空洞卷积的快速场景文本检测方法 | |
Chen et al. | Mixed pseudo labels for semi-supervised object detection | |
CN116912184B (zh) | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及*** | |
CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
CN1585458A (zh) | 利用支持向量机进行视频字幕定位和提取的方法 | |
Zayene et al. | Arabic video text recognition based on multi-dimensional recurrent neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |
|
RJ01 | Rejection of invention patent application after publication |