CN107169527B - 基于协同深度学习的医学图像分类方法 - Google Patents

基于协同深度学习的医学图像分类方法 Download PDF

Info

Publication number
CN107169527B
CN107169527B CN201710417724.XA CN201710417724A CN107169527B CN 107169527 B CN107169527 B CN 107169527B CN 201710417724 A CN201710417724 A CN 201710417724A CN 107169527 B CN107169527 B CN 107169527B
Authority
CN
China
Prior art keywords
training
learning
image
collaborative
networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710417724.XA
Other languages
English (en)
Other versions
CN107169527A (zh
Inventor
夏勇
张建鹏
谢雨彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710417724.XA priority Critical patent/CN107169527B/zh
Publication of CN107169527A publication Critical patent/CN107169527A/zh
Application granted granted Critical
Publication of CN107169527B publication Critical patent/CN107169527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了一种基于协同深度学习的医学图像分类方法，用于解决现有医学图像分类方法分类准确率差的技术问题。技术方案是采用两个深度卷积神经网络之间协同学习方法，通过成对学习模式进行训练，每次模型接受图像对儿作为输入，一对儿图像分别被输送到对应的深度卷积神经网络中。采用微调预训练模型的方法对这些深度卷积网络进行初始化和训练，设计一个协同学习***，使两个深度网络进行互助学习。该协同***用来对图像对儿的异同属性进行监督，即是否属于用一个类别，并且实时地将两个深度卷积网络产生的协同误差进行反向传播、修正网络的权值，从而进一步加强网络学习特征表征的能力，能够更加有效地对易混淆样本作出准确地判别。

Description

基于协同深度学习的医学图像分类方法
技术领域
本发明涉及一种医学图像分类方法，特别是涉及一种基于协同深度学习的医学图像分类方法。
背景技术
医学图像分类方法在医学检索、文献综述和医学研究等方面具有极其重要的作用，一直是计算机辅助诊断和医学研究领域中的热点研究问题。在过去无数研究者的数十年研究中，形成了一套完整的传统模式下的图像分类技术。其核心要素是手工特征提取和分类器的设计两个部分。尽管有一套非常完善的理论体系，传统的图像分类方法很难实现最优特征和最优分类器的无缝联合，这导致其性能受到很大的影响。近年来，深度学习技术的出现给图像分类问题带来了新的突破，端到端模式下特征自学习具有非常强大的图像表征能力。深度学习中的卷积神经网络模型被成功地应用到了医学图像分类问题中，并且相对于传统图像分类技术取得了巨大的突破。但是不同于拥有海量数据的自然场景图像分类问题，医学图像往往需要专业的领域专家进行标注，其代价非常昂贵，因此，医学领域中有标注的数据非常稀少。此外，医学图像分类问题中显著的类内差异性和类间相似性给分类问题带来了极大的困扰，我们需要根据成像的模态而非成像的组织部位进行类别判断，影像中解剖结构和位置的差异很容易使得模型在分类过程中被严重混淆。
文献“Kumar A,Kim J,Lyndon D,et al.An Ensemble of Fine-TunedConvolutional Neural Networks for Medical Image Classification[J].IEEEJournal of Biomedical&Health Informatics,2016,PP(99):1-1.”公开了一种基于多个预训练网络集成的医学图像分类方法。该方法利用大规模图像目标分类数据库ImageNet训练多个卷积神经网络，根据小样本的医学影像数据对这些预训练网络进行微调，使得这些网络的参数适应医学图像分类任务。大量的实验已经证明了深度神经网络具有很强的特征迁移能力，这从一定程度上解决了医学影像分类中的小样本学***均得到最后的分类概率，这种集成的思想能够进一步提升模型的分类性能。文献所述方法通过将多个预训练模型输出的预测概率平均得到最后的分类结果，这些预训练网络在训练和预测的时候彼此相互独立，对于那些很难分对的样本来说，简单的集成方法并不能改善最后的分类结果。因此，该文献中的方法并不能很好地解决医学影像分类中类内差异和类间相似的问题。
发明内容
为了克服现有医学图像分类方法分类准确率差的不足，本发明提供一种基于协同深度学习的医学图像分类方法。该方法采用两个深度卷积神经网络之间协同学习方法，通过成对学习模式进行训练，每次模型接受图像对作为输入，一对儿图像分别被输送到对应的深度卷积神经网络中。由于医学图像分类问题中的数据量都比较小，故采用微调预训练模型的方法对这些深度卷积网络进行初始化和训练。为了增强网络特征学习能力，设计一个协同学习***巧妙地使两个深度网络进行互助学习。该协同***用来对图像对的异同属性进行监督，即是否属于用一个类别，并且实时地将两个深度卷积网络产生的协同误差进行反向传播、修正网络的权值，从而进一步加强网络学习特征表征的能力，能够更加有效地对易混淆样本作出准确地判别。
本发明解决其技术问题所采用的技术方案是：一种基于协同深度学习的医学图像分类方法，其特点是包括以下步骤：
步骤一、采用预训练残差深度卷积神经网络的参数分别初始化两个卷积神经网络的参数θA,θB，以及协同学习***的参数θVS,初始化学习率η(t)和超参数λ。
步骤二、采用图像对的训练模式对模型进行训练。每输入一个图像对，两个深度预训练神经网络分别在倒数第二个全连接层生成深度特征，记为xA T、xB T,将这两个深度特征进行联结得到一个组合特征，记为(xA T，xB T),模型的三个监督信号分别为yA,yB和yVS。
步骤三、分别计算两个预训练卷积网络和协同学习***产生的损失值lA(θA),lB(θB)和lVS(θVS)。
Figure GDA0002147255060000021
Figure GDA0002147255060000022
Figure GDA0002147255060000023
其中，M是训练集样本的个数，K是分类类别个数，K’值取2。
步骤四、计算梯度值：
Figure GDA0002147255060000031
Figure GDA0002147255060000032
Figure GDA0002147255060000033
Figure GDA0002147255060000034
这里
Figure GDA0002147255060000035
λ是协同信号的权重因子，最后更新模型参数：
θA＝θA-η(t)·ΔA，θB＝θB-η(t)·ΔB。
本发明的有益效果是：该方法采用两个深度卷积神经网络之间协同学习方法，通过成对学习模式进行训练，每次模型接受图像对作为输入，一对儿图像分别被输送到对应的深度卷积神经网络中。由于医学图像分类问题中的数据量都比较小，故采用微调预训练模型的方法对这些深度卷积网络进行初始化和训练。为了增强网络特征学习能力，设计一个协同学习***巧妙地使两个深度网络进行互助学习。该协同***用来对图像对的异同属性进行监督，即是否属于用一个类别，并且实时地将两个深度卷积网络产生的协同误差进行反向传播、修正网络的权值，从而进一步加强网络学习特征表征的能力，能够更加有效地对易混淆样本作出准确地判别。
由于采用了协同学习机制，深度卷积神经网络的特征学习能力得到了加强，克服了医学图像中存在的显著类内差异和类间相似问题而导致的基于深度学习的分类算法效果不佳的难点，预训练网络之间相互学习、共同提高的策略使得模型对易分错的样本具有很好的辨别能力，大大提高了医学图像分类的准确率。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明基于协同深度学习的医学图像分类方法具体步骤如下：
1.图像对输入。
采用图像对的输入方式，随机从训练图像中抽样两个图像，分别输入到两个相应的卷积神经网络中进行训练。每一对儿图像有三个监督信号，分别是两个图像各自的类别标签以及这一对儿图像是否属于同一类别，这三个信号共同监督模型的训练。
2.双重深度卷积神经网络训练。
双重深度卷积神经网络模块是本算法中基本的组成部分，它包括两个完整的、具有独立功能的卷积神经网络A和B。原则上来说，任意结构的卷积神经网络都可以被基于深度学习模型的深层特征提取应用到该算法模块中。但是，考虑到医学图像数据的有限性和残差网络对图像的强大特征表征能力，便采用微调预训练网络的技术将残差网络作为两个卷积网络的初始模型。该预训练网络包括50个学习层，并且这些学习层的参数都是从ImageNet大规模图像数据集上学习得到的。卷积神经网络A和B的可学习参数分别标记为θA、θB，这里θA和θB不共享参数。为了使预训练的残差网络参数能够适应拟合医学图像分类的数据，对于一个K分类问题来说，需要去除原始残差网络中的所有全连接层，用1024个神经元的全连接层和K个神经元的全连接层来代替。这些新添加层的参数通过均匀分布U(-0.05,0.05)来初始化，并且每一个深度网络的损失函数设置为交叉熵函数
Figure GDA0002147255060000041
这里M是整个训练集的样本容量，用随机梯度下降算法来优化卷积神经网络的参数θ。两个深度卷积神经网络分别从输入的图像对中接受输入序列，各自有相应的真实标签来监督两个网络各自分类学习的过程。
3.协同学习***。
为了使两个神经网络之间互相学习、共同提高特征表达能力，独特设计了一个协同学习***。该***用于监督前面输入的图像对是否来自于同一个类别，其监督信号是图像对的异同属性。随机从训练数据中选择图像对，其属性值表示为
Figure GDA0002147255060000042
这里xA和xB是从卷积神经神经网络A、B中学***衡问题，人为地控制正负样本的比例维持在45％-55％。xA和xB在结合层被连接到一起，然后连接一个带有2个神经元的全连接层。为了实现第三个监督信号的正常工作，需要额外添加一个softmax层，使用以下的交叉熵损失函数去监测协同信号。
Figure GDA0002147255060000051
这里θVS是协同学习***的网络参数。
4.训练过程。
①初始化两个卷积神经网络和***学习***的网络参数θA,θB,θVS，设置学习率η(t)，以及超参数λ。
②输入一个图像对，两个深度卷积神经网络产生两个输入图像的深度特征表征xA和xB。
③联结来自两个卷积神经网络的图像对的特征表征，记为(xA T，xB T)，三个监督信号分别为yA、yB和yVS。
④根据公式(1)和(3)计算由两个深度卷积神经网络和协同学习***产生的损失值lA(θA),lB(θB)和lVS(θVS)。
⑤计算梯度值：
Figure GDA0002147255060000052
Figure GDA0002147255060000053
Figure GDA0002147255060000054
Figure GDA0002147255060000055
这里
Figure GDA0002147255060000056
λ是协同信号的权重因子。
⑥更新模型参数：θA＝θA-η(t)·ΔA，θB＝θB-η(t)·ΔB。
5.测试过程。
在测试时，对于一个测试图像x，深度卷积神经网络A和B分别给出了预测结果
Figure GDA0002147255060000057
和
Figure GDA0002147255060000058
即最后一个全连接层的激活值。这时，额外的协同学习***在最后的分类预测中被丢弃，最后输入图像x的预测标签即为
Figure GDA0002147255060000059

Claims (1)

1.一种基于协同深度学习的医学图像分类方法，其特征在于包括以下步骤：
步骤一、采用预训练残差深度卷积神经网络的参数分别初始化两个深度卷积神经网络A和B的参数θA,θB，以及协同学习***的参数θVS,初始化学习率η(t)和超参数λ；
步骤二、采用图像对的训练模式对模型进行训练；每输入一个图像对，两个深度预训练神经网络分别在倒数第二个全连接层生成深度特征，记为xA T、xB T,将这两个深度特征进行联结得到一个组合特征，记为(xA T，xB T),模型的三个监督信号分别为yA,yB和yVS；
步骤三、分别计算两个预训练卷积网络和协同学习***产生的损失值lA(θA),lB(θB)和lVS(θVS)；
Figure FDA0002147255050000011
Figure FDA0002147255050000012
Figure FDA0002147255050000013
其中，M是训练集样本的个数，K是分类类别个数，K’值取2；
步骤四、计算梯度值：
Figure FDA0002147255050000014
Figure FDA0002147255050000015
Figure FDA0002147255050000016
Figure FDA0002147255050000017
这里
Figure FDA0002147255050000018
λ是协同信号的权重因子，最后更新模型参数：
θA＝θA-η(t)·ΔA，θB＝θB-η(t)·ΔB；
步骤五、对于一个测试图像x，深度卷积神经网络A和B分别给出了预测结果
Figure FDA0002147255050000019
和
Figure FDA00021472550500000110
即最后一个全连接层的激活值；这时，额外的协同学习***在最后的分类预测中被丢弃，最后输入图像x的预测标签即为
Figure FDA0002147255050000021
CN201710417724.XA 2017-06-06 2017-06-06 基于协同深度学习的医学图像分类方法 Active CN107169527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710417724.XA CN107169527B (zh) 2017-06-06 2017-06-06 基于协同深度学习的医学图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710417724.XA CN107169527B (zh) 2017-06-06 2017-06-06 基于协同深度学习的医学图像分类方法

Publications (2)

Publication Number Publication Date
CN107169527A CN107169527A (zh) 2017-09-15
CN107169527B true CN107169527B (zh) 2020-04-03

Family

ID=59825096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710417724.XA Active CN107169527B (zh) 2017-06-06 2017-06-06 基于协同深度学习的医学图像分类方法

Country Status (1)

Country Link
CN (1) CN107169527B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109152A (zh) * 2018-01-03 2018-06-01 深圳北航新兴产业技术研究院 医学图像分类和分割方法和装置
CN108416535B (zh) * 2018-03-27 2021-08-13 中国科学技术大学 基于深度学习的专利价值评估的方法
CN108734138B (zh) * 2018-05-24 2020-10-30 浙江工业大学 一种基于集成学习的黑色素瘤皮肤病图像分类方法
CN110008971B (zh) * 2018-08-23 2022-08-09 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN110472663A (zh) * 2019-07-15 2019-11-19 西北工业大学 基于内省学习的遥感图像分类方法
CN110688888B (zh) * 2019-08-02 2022-08-05 杭州未名信科科技有限公司 一种基于深度学习的行人属性识别方法和***
CN110705516B (zh) * 2019-10-18 2022-10-25 大连海事大学 一种基于协同网络结构的鞋底花纹图像聚类方法
CN111310578B (zh) * 2020-01-17 2023-05-02 上海乐普云智科技股份有限公司 一种心搏数据样本分类网络的生成方法和装置
CN112906796B (zh) * 2021-02-23 2022-11-29 西北工业大学深圳研究院 一种针对不确定性标记数据的医学图像分类方法
CN113284136A (zh) * 2021-06-22 2021-08-20 南京信息工程大学 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法
CN114187288A (zh) * 2021-12-20 2022-03-15 浙江大学嘉兴研究院 基于协同深度学习和肺部ct图像的covid-19检测方法
CN114120289B (zh) * 2022-01-25 2022-05-03 中科视语(北京)科技有限公司 一种行车区域与车道线识别方法及***
CN114580571B (zh) * 2022-04-01 2023-05-23 南通大学 一种基于迁移互学习的小样本电力设备图像分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662931A (zh) * 2012-04-13 2012-09-12 厦门大学 一种基于协同神经网络的语义角色标注方法
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662931A (zh) * 2012-04-13 2012-09-12 厦门大学 一种基于协同神经网络的语义角色标注方法
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Collaborative Deep Learning for Recommender Systems;Hao Wang 等;《arXiv》;20150618;第1-10页 *
基于深度学习的交通拥堵预测模型研究;谭娟 等;《计算机应用研究》;20151031;第32卷(第10期);第2951-2954页 *

Also Published As

Publication number Publication date
CN107169527A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107169527B (zh) 基于协同深度学习的医学图像分类方法
CN108095716B (zh) 一种基于置信规则库和深度神经网络的心电信号检测方法
CN109685135B (zh) 一种基于改进型度量学习的少样本图像分类方法
CN111563533B (zh) 基于图卷积神经网络融合多种人脑图谱的受试者分类方法
CN108398268B (zh) 一种轴承性能退化评估方法
CN106682694A (zh) 一种基于深度学习的敏感图像识别方法
CN102520341A (zh) 一种基于Bayes-KFCM算法的模拟电路故障诊断方法
CN108921285A (zh) 基于双向门控循环神经网络的序列中单一元素分类方法
CN110321810A (zh) 单通道信号双路分离方法、装置、存储介质及处理器
CN109102002A (zh) 结合卷积神经网络和概念机递归神经网络的图像分类方法
CN109840595A (zh) 一种基于群体学习行为特征的知识追踪方法
CN112686372A (zh) 基于深度残差gru神经网络的产品性能预测方法
CN111210002A (zh) 一种基于生成对抗网络模型的多层学术网络社区发现方法、***
CN109993208A (zh) 一种有噪声图像的聚类处理方法
CN114155436A (zh) 长尾分布的遥感图像目标识别逐步蒸馏学习方法
CN111310719B (zh) 一种未知辐射源个体识别及检测的方法
CN107729988B (zh) 基于动态深度置信网络的蓝藻水华预测方法
CN115659254A (zh) 一种双模态特征融合的配电网电能质量扰动分析方法
CN112784872A (zh) 一种基于开放集联合迁移学习的跨工况故障诊断方法
CN115600669A (zh) 基于局部分类器的高效深层脉冲神经网络学习方法
CN112101659A (zh) 一种基于堆叠去噪自编码器的复杂装备寿命预测方法
CN113762513B (zh) 一种基于dna链置换的dna神经元学习方法
CN115272881A (zh) 动态关系蒸馏的长尾遥感图像目标识别方法
CN115130651A (zh) 一种记忆环路多层异构机制启发的脉冲神经网络
CN108090905B (zh) 产线异常的判断方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant