CN112906796B - 一种针对不确定性标记数据的医学图像分类方法 - Google Patents
一种针对不确定性标记数据的医学图像分类方法 Download PDFInfo
- Publication number
- CN112906796B CN112906796B CN202110203910.XA CN202110203910A CN112906796B CN 112906796 B CN112906796 B CN 112906796B CN 202110203910 A CN202110203910 A CN 202110203910A CN 112906796 B CN112906796 B CN 112906796B
- Authority
- CN
- China
- Prior art keywords
- network
- classification
- data
- loss
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对不确定性标记数据的医学图像分类方法,展示了一种针对不确定标记数据训练的深度学习模型;对于多个医生标注且标注结果一致的确定标记数据直接用分类网络来提取类别特征信息;对于有多个医生标注且标注不完全相同的不一致标记数据,利用不一致标记数据及其互补标签训练反事实网络,然后构建反注意力机制模块辅助确定分类网络的学习;对于仅有一个医生标注的单标记数据,首先利用单标记数据来训练弱分类网络,然后构建一致性注意力机制模块辅助确定分类网络的学习。本发明中能从不一致标记数据中学习到确定的类别反事实信息,并且能将从单标记数据中学得的信息中有效部分增强、噪声部分减弱,达到较好的分类效果。
Description
技术领域
本发明属于医学图像处理技术领域,具体涉及一种医学图像分类方法。
背景技术
近年来,基于深度卷积神经网络(deep convolutional neural networks,DCNNs)的方法在计算机视觉,尤其是图像分类任务上取得了巨大的成功。发表于会议《2019IEEE/CVF International Conference on Computer Vision(ICCV)》中的论文《Learning WithUnsure Data for Medical Image Diagnosis》提出了一种有序回归模型完成医学影像的分类,并在两个医学影像分类任务上验证了模型的有效性。由于给不同图像标注的医生个数不同且医生的经验理解不同,得到的医学图像数据分为三类:由多个医生标注且标注一致的确定标记数据;由多个医生标注且标注不完全相同的不一致标记数据;仅由一个医生标注的可信度不如确定标记数据的单标记数据。该方法将不一致标记数据候选标签的平均值作为真实标签,并同等对待单标记数据和确定标记数据。然而不一致标记数据标签的均值并不一定代表真实类别,单标记数据的标签只有一个医生的标注也不能保证完全准确,这样使用不确定标记数据会给分类器的学习带来偏差,并不能使网络有效地学习到不确定标记数据中的特征信息。
在医学图像分类任务中,确定标记数据很难收集,而不确定标记数据相对容易获取,且数量更多。深度学习技术依赖于准确的数据标签,所以使用不确定标记数据有效地训练深度神经网络仍然是一个具有挑战性的问题。
虽然深度学习模型能有效地从确定标记数据中学习到正确的分类信息,然而不确定标记数据中也含有大量的特征信息,用传统的深度学习模型很难正确地利用这些信息。
发明内容
为了克服现有技术的不足,本发明提供了一种针对不确定性标记数据的医学图像分类方法。该方法展示了一种针对不确定标记数据训练的深度学习模型。其中确定标记数据是由多个医生标注且标注结果一致,这部分数据具有唯一确定的正向类别标签,因此本发明直接用分类网络来提取确定标记数据中的类别特征信息,简称确定分类网络。而对于具有多个医生标注且标注不完全相同的不一致标记数据,它的正向类别标签的不确定性很大,所以无法给出确定的正向类别标签来训练分类网络,但是多个医生都未标注的类别标签,也就是代表其一定不属于的类别的互补标签,是确定的信息。为此本发明利用不一致标记数据及其互补标签训练反事实网络,然后构建反注意力机制模块将学习到的确定的反事实信息辅助确定分类网络的学习。最后,对于仅有一个医生标注的单标记数据,该类数据标签的置信度虽然低于确定标记数据,但也包含了一部分有效的类别特征,为了挖掘该部分数据中的有效类别特征信息,本发明首先利用单标记数据来训练弱分类网络,然后构建一致性注意力机制模块增强有用信息减弱噪声信息,进而辅助确定分类网络的学习,达到较好的分类效果。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1:基于确定标记数据、不一致标记数据以及单标记数据训练的医学图像分类模型包括三个子网络模块和两个注意力网络;
三个子网络模块均为能够实现分类功能的卷积神经网络且三个网络结构完全相同;三个子网络模块的名称分别为确定分类网络、反事实网络和弱分类网络;
两个注意力网络的名称分别为反注意力机制网络和一致性注意力机制网络;反注意力机制网络包括Q个反注意力机制模块;一致性注意力机制网络包括Q个一致性注意力机制模块;
步骤2:训练确定分类网络;
使用确定标记数据及其类别标签训练确定分类网络,确定分类网络输出确定标记数据样本所属类别;训练确定分类网络使用的损失函数为多分类交叉熵损失函数:
其中,LossC代表确定分类网络的损失,m1是确定标记数据类别数目,y′i是输入数据的真实标签,yi是输入数据属于类别i的预测结果;
步骤3:训练反事实网络;
使用不一致标记数据及其互补标签训练反事实网络,从确定的互补标签中学习到不一致标记数据确定不属于类别的信息;训练反事实网络使用的损失函数为预测结果与互补标签中每个类别的交叉熵损失的均值:
其中,LossCF代表反事实网络的损失,m2是互补标签类别数目,是输入不一致标记数据的互补标签;若则i是该不一致标记数据可能属于的类别之一,若则i是该不一致标记数据一定不属于的类别;是反事实网络的预测值;
步骤4:训练弱分类网络;
使用单标记数据及其类别标签训练弱分类网络;弱分类网络训练使用的损失函数为弱分类网络预测结果与类别标签的多分类交叉熵损失:
步骤5:构建反注意力机制模块;
反注意力机制网络的每一个反注意力机制模块分别与确定分类网络和反事实网络的倒数第1个学习块到倒数第Q个学习块对应;第n个反注意力机制模块的输入是确定分类网络第n个学习块的特征和反事实网络第n个学习块的特征第n个反注意力机制模块的输出如下定义:
步骤6:构建一致性注意力机制模块
一致性注意力机制网络的每一个一致性注意力机制模块分别与确定分类网络和弱分类网络的倒数第1个学习块到倒数第Q个学习块对应;第n个一致性注意力机制模块输入是确定分类网络第n个学习块的特征和弱分类网络第n个学习块的特征第n个一致性注意力机制模块的输出如下定义:
步骤8:联合微调医学图像分类模型;
使用确定标记数据及其类别标签和互补标签联合微调医学图像分类模型,输入一个样本进入模型的三个子网络模块共得到三个输出,分别为确定分类网络输出的正向类别预测结果、反事实网络输出的互补类别预测结果以及弱分类网络输出的低置信度正向类别预测结果;医学图像分类模型的损失函数由三部分构成,定义如下:
Loss=LossC+μ*LossCF+δ*LossW (6)
训练医学图像分类模型通过使损失函数Loss最小化,并且优化权重μ和δ,得到最优的分类模型。
本发明的有益效果如下:
现有的图像分类方法并没有把不一致标记数据、单标记数据和确定标记数据区分开来,所以不可避免地会给分类器的训练带来偏差。本发明中提出的根据不一致标记数据和单标记数据的特性设计的深度神经网络模型,能从不一致标记数据中学习到确定的类别反事实信息,并且能将从单标记数据中学得的信息中有效部分增强、噪声部分减弱,达到较好的分类效果,从而使得分类网络的训练和优化朝着正确的方向进行。
附图说明
图1是本发明的模型结构示意图。
图2是本发明模型中反注意力机制模块的结构图。
图3是本发明模型中一致性注意力机制模块的结构图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
为了更好地挖掘不确定标记数据中的有效信息,本发明提出了一种针对不确定性标记数据的医学图像分类方法,如图1所示,包括以下步骤:
步骤1:基于确定标记数据、不一致标记数据以及单标记数据训练的医学图像分类模型包括三个子网络模块和两个注意力网络;
三个子网络模块均为能够实现分类功能的卷积神经网络且三个网络结构完全相同;三个子网络模块的名称分别为确定分类网络、反事实网络和弱分类网络;图1中左边的子网络为弱分类网络,中间的子网络为确定分类网络,右边的子网络为反事实网络;
两个注意力网络的名称分别为反注意力机制网络和一致性注意力机制网络;反注意力机制网络包括Q个反注意力机制模块;一致性注意力机制网络包括Q个一致性注意力机制模块;
步骤2:训练确定分类网络;
使用确定标记数据及其类别标签训练确定分类网络,确定分类网络输出确定标记数据样本所属类别;训练确定分类网络使用的损失函数为多分类交叉熵损失函数:
其中,LossC代表确定分类网络的损失,m1是确定标记数据类别数目,y′i是输入数据的真实标签,yi是输入数据属于类别i的预测结果;
步骤3:训练反事实网络;
使用不一致标记数据及其互补标签训练反事实网络,从确定的互补标签中学习到不一致标记数据确定不属于类别的信息,该信息在联合训练中可以用来辅助确定分类网络的学习;训练反事实网络使用的损失函数为预测结果与互补标签中每个类别的交叉熵损失的均值:
其中,LossCF代表反事实网络的损失,m2是互补标签类别数目,是输入不一致标记数据的互补标签;若则i是该不一致标记数据可能属于的类别之一,若则i是该不一致标记数据一定不属于的类别;是反事实网络的预测值;
步骤4:训练弱分类网络;
使用单标记数据及其类别标签训练弱分类网络;弱分类网络训练使用的损失函数为弱分类网络预测结果与类别标签的多分类交叉熵损失:
步骤5:构建反注意力机制模块;
由于反事实网络学得的信息是不一致标记数据类别信息的反事实,所以使用反注意力机制模块将反事实信息取反,用来辅助确定分类网络的学习;如图2所示,反注意力机制网络的每一个反注意力机制模块分别与确定分类网络和反事实网络的倒数第1个学习块到倒数第Q个学习块对应;第n个反注意力机制模块的输入是确定分类网络第n个学习块的特征和反事实网络第n个学习块的特征第n个反注意力机制模块的输出如下定义:
其中sigmoid将特征的值规范到(0,1),n∈[1,2,…,Q];通过对特征进行取反的操作,将反事实网络学到的确定不属于信息转化为属于,然后作用于特征增加了有用信息的传递同时弱化了干扰信息;生成的新特征实现反事实网络对确定分类网络的辅助;
步骤6:构建一致性注意力机制模块;
弱分类网络学得的信息中不仅包含有用的信息还有噪声,所以使用一致性注意力机制模块放大弱分类网络中与确定分类网络特征信息较为一致的有用部分,减弱相差较大的噪声部分;如图3所示,一致性注意力机制网络的每一个一致性注意力机制模块分别与确定分类网络和弱分类网络的倒数第1个学习块到倒数第Q个学习块对应;第n个一致性注意力机制模块输入是确定分类网络第n个学习块的特征和弱分类网络第n个学习块的特征第n个一致性注意力机制模块的输出如下定义:
其中abs代表取绝对值,sigmoid将特征的值规范到(0,1);先对特征和特征进行规范化,后取两者差值的绝对值;弱分类网络生成的特征可信度不如确定分类网络高,但并非一无是处,弱分类网络生成的特征与确定分类网络生成的特征接近的部分更为可信,相差较大的地方可信度较低,所以取两者差值的绝对值可以突出两者之间差异较大的部分,用1减去插值的绝对值则就突出了较为一致的部分,以此作为注意力来辅助确定分类网络的特征计算;生成的新特征实现弱分类网络对确定分类网络的辅助;
步骤8:联合微调医学图像分类模型;
使用确定标记数据及其类别标签和互补标签联合微调医学图像分类模型,输入一个样本进入模型的三个子网络模块共得到三个输出,分别为确定分类网络输出的正向类别预测结果、反事实网络输出的互补类别预测结果以及弱分类网络输出的低置信度正向类别预测结果;医学图像分类模型的损失函数由三部分构成,定义如下:
loss=LossC+μ*LossCF+δ*LossW (6)
训练医学图像分类模型通过使损失函数Loss最小化,并且优化权重μ和δ,得到最优的分类模型。
Claims (1)
1.一种针对不确定性标记数据的医学图像分类方法,其特征在于,包括以下步骤:
步骤1:基于确定标记数据、不一致标记数据以及单标记数据训练的医学图像分类模型包括三个子网络模块和两个注意力网络;
三个子网络模块均为能够实现分类功能的卷积神经网络且三个网络结构完全相同;三个子网络模块的名称分别为确定分类网络、反事实网络和弱分类网络;
两个注意力网络的名称分别为反注意力机制网络和一致性注意力机制网络;反注意力机制网络包括Q个反注意力机制模块;一致性注意力机制网络包括Q个一致性注意力机制模块;
步骤2:训练确定分类网络;
使用确定标记数据及其类别标签训练确定分类网络,确定分类网络输出确定标记数据样本所属类别;训练确定分类网络使用的损失函数为多分类交叉熵损失函数:
其中,LossC代表确定分类网络的损失,m1是确定标记数据类别数目,y′i是输入数据的真实标签,yi是输入数据属于类别i的预测结果;
步骤3:训练反事实网络;
使用不一致标记数据及其互补标签训练反事实网络,从确定的互补标签中学习到不一致标记数据确定不属于类别的信息;训练反事实网络使用的损失函数为预测结果与互补标签中每个类别的交叉熵损失的均值:
其中,LossCF代表反事实网络的损失,m2是互补标签类别数目,是输入不一致标记数据的互补标签;若则i是该不一致标记数据可能属于的类别之一,若则i是该不一致标记数据一定不属于的类别;是反事实网络的预测值;
步骤4:训练弱分类网络;
使用单标记数据及其类别标签训练弱分类网络;弱分类网络训练使用的损失函数为弱分类网络预测结果与类别标签的多分类交叉熵损失:
步骤5:构建反注意力机制模块;
反注意力机制网络的每一个反注意力机制模块分别与确定分类网络和反事实网络的倒数第1个学习块到倒数第Q个学习块对应;第n个反注意力机制模块的输入是确定分类网络第n个学习块的特征和反事实网络第n个学习块的特征第n个反注意力机制模块的输出如下定义:
步骤6:构建一致性注意力机制模块
一致性注意力机制网络的每一个一致性注意力机制模块分别与确定分类网络和弱分类网络的倒数第1个学习块到倒数第Q个学习块对应;第n个一致性注意力机制模块输入是确定分类网络第n个学习块的特征和弱分类网络第n个学习块的特征第n个一致性注意力机制模块的输出如下定义:
步骤8:联合微调医学图像分类模型;
使用确定标记数据及其类别标签和互补标签联合微调医学图像分类模型,输入一个样本进入模型的三个子网络模块共得到三个输出,分别为确定分类网络输出的正向类别预测结果、反事实网络输出的互补类别预测结果以及弱分类网络输出的低置信度正向类别预测结果;医学图像分类模型的损失函数由三部分构成,定义如下:
Loss=LossC+μ*LossCF+δ*LossW (6)
训练医学图像分类模型通过使损失函数Loss最小化,并且优化权重μ和δ,得到最优的分类模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110203910.XA CN112906796B (zh) | 2021-02-23 | 2021-02-23 | 一种针对不确定性标记数据的医学图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110203910.XA CN112906796B (zh) | 2021-02-23 | 2021-02-23 | 一种针对不确定性标记数据的医学图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112906796A CN112906796A (zh) | 2021-06-04 |
CN112906796B true CN112906796B (zh) | 2022-11-29 |
Family
ID=76124464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110203910.XA Active CN112906796B (zh) | 2021-02-23 | 2021-02-23 | 一种针对不确定性标记数据的医学图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112906796B (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169527B (zh) * | 2017-06-06 | 2020-04-03 | 西北工业大学 | 基于协同深度学习的医学图像分类方法 |
US10860888B2 (en) * | 2018-01-05 | 2020-12-08 | Whirlpool Corporation | Detecting objects in images |
CN108764281A (zh) * | 2018-04-18 | 2018-11-06 | 华南理工大学 | 一种基于半监督自步学习跨任务深度网络的图像分类方法 |
US10936628B2 (en) * | 2018-05-30 | 2021-03-02 | International Business Machines Corporation | Automatic processing of ambiguously labeled data |
US10769766B1 (en) * | 2018-05-31 | 2020-09-08 | Amazon Technologies, Inc. | Regularized multi-label classification from partially labeled training data |
CA3061717A1 (en) * | 2018-11-16 | 2020-05-16 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
EP3748550A1 (en) * | 2019-06-07 | 2020-12-09 | Siemens Healthcare GmbH | Method for learning from data with label noise |
CN110458249B (zh) * | 2019-10-10 | 2020-01-07 | 点内(上海)生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类*** |
CN112132186A (zh) * | 2020-08-26 | 2020-12-25 | 安徽工业大学 | 一种存在部分缺失和未知类别标记的多标记分类方法 |
-
2021
- 2021-02-23 CN CN202110203910.XA patent/CN112906796B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112906796A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
CN113076994B (zh) | 一种开集域自适应图像分类方法及*** | |
CN107239730B (zh) | 智能汽车交通标志识别的四元数深度神经网络模型方法 | |
CN108304864B (zh) | 深度对抗度量学习方法及装置 | |
CN107194418B (zh) | 一种基于对抗特征学习的水稻蚜虫检测方法 | |
CN114492574A (zh) | 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法 | |
CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
CN105426826A (zh) | 一种基于标签噪声纠正的众包标注数据质量提升方法 | |
CN110647907B (zh) | 利用多层分类和字典学习的多标签图像分类算法 | |
CN107220663B (zh) | 一种基于语义场景分类的图像自动标注方法 | |
CN112434686B (zh) | 针对ocr图片的端到端含错文本分类识别仪 | |
CN113420775A (zh) | 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法 | |
CN105893941B (zh) | 一种基于区域图像的人脸表情识别方法 | |
CN113554027A (zh) | 一种报销单据图像文本信息校准与提取方法 | |
CN117516937A (zh) | 基于多模态特征融合增强的滚动轴承未知故障检测方法 | |
CN113239720A (zh) | 一种基于深度迁移学习的地铁车辆走行部故障诊断方法 | |
CN112906796B (zh) | 一种针对不确定性标记数据的医学图像分类方法 | |
CN109145749B (zh) | 一种跨数据集的面部表情识别模型构建及识别方法 | |
CN113158878B (zh) | 一种基于子空间的异构迁移故障诊断方法、***和模型 | |
CN116110047A (zh) | 基于ocr-ner的结构化电子病历构建方法和*** | |
CN116433909A (zh) | 基于相似度加权多教师网络模型的半监督图像语义分割方法 | |
CN113592045B (zh) | 从印刷体到手写体的模型自适应文本识别方法和*** | |
CN109255794A (zh) | 一种标准件深度全卷积特征边缘检测方法 | |
CN113962999A (zh) | 基于高斯混合模型和标签矫正模型的噪声标签分割方法 | |
CN114882338A (zh) | 基于图神经网络的图像关键点匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |