CN113610118A - 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质 - Google Patents
一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113610118A CN113610118A CN202110814221.2A CN202110814221A CN113610118A CN 113610118 A CN113610118 A CN 113610118A CN 202110814221 A CN202110814221 A CN 202110814221A CN 113610118 A CN113610118 A CN 113610118A
- Authority
- CN
- China
- Prior art keywords
- evidence
- glaucoma
- fundus image
- sample
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 208000010412 Glaucoma Diseases 0.000 claims abstract description 149
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000011176 pooling Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000036285 pathological change Effects 0.000 description 7
- 231100000915 pathological change Toxicity 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 206010003694 Atrophy Diseases 0.000 description 2
- 230000037444 atrophy Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003733 optic disk Anatomy 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010030919 Optic disc haemorrhage Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质，方法为：使用眼底图像样本训练教师网络，然后生成眼底图像样本的证据图谱；设计包括证据图谱预测和青光眼预测两个分支的多任务学生网络；根据青光眼分类标签、教师网络和学生网络的预测结果，设计样本先验加权系数和样本反馈损失系数，基于该两个系数设计学生网络的损失函数；以眼底图像样本同时作为学生网络两个预测分支的输入，以分类标签作为青光眼预测分支的输出，以标签证据图谱作为证据图谱预测分支的输出，基于损失函数训练学生网络；使用训练完毕的学生网络，生成待分类眼底图像的青光眼分类标签和证据图谱。本发明提升分类准确率并生成分类决策的证据图谱。
Description
技术领域
本发明属于图像信息处理领域，特别涉及一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法。
背景技术
青光眼已成为世界上第二大致盲眼病，威胁着超过6500万人的视觉健康。青光眼发展缓慢，其症状在早期阶段比较轻度，使患者很容易忽略病情，从而对其视力造成不可逆转的损害。因此，早期筛查和治疗对于防治青光眼至关重要。青光眼的常见临床诊断方法是视神经头(ONH)检查，是指眼科医生对眼底图像中的青光眼的病理现象和生理结构进行综合分析。主要的病理变化是神经视网膜边缘糜烂、视杯扩张、视网膜神经纤维层缺陷、视盘出血和β- 区旁弧萎缩(β-PPA)等，这些细微的病变为医生提供了诊断依据。
近年来，随着计算机技术的发展，已经提出了许多基于数字视网膜图像的青光眼辅助诊断算法，这些方法主要包括基于特征工程的机器学***均池化后再连接到全连接层以实现青光眼分类，该方法根据每张特征图对应的全连接层的权重来加权不同的特征图以生成证据图谱，从而提供可解释性，可以参考论文《Clinical Interpretable Deep Learning Model for GlaucomaDiagnosis》(载于IEEE Journal of Biomedical and Health Informatics，2019年)。但是这种方法对于特征图进行全局平均池化会导致信息损失，并且只根据对应的权重对特征图进行加权来生成证据图谱缺乏可靠性。此外，该方法无法克服青光眼硬样本的干扰，筛查准确度受限制。总之，现有的青光眼筛查方法由于以下难题都面临着性能瓶颈：a.训练样本比例不均衡。大多数开源数据集或临床收集数据集都有很大一部分正常类的眼底图像，而青光眼阳性样本通常很少。如果使用具有不平衡类别的数据集训练模型，将导致预测出现偏差。 b.一些硬样本的存在会影响模型的准确性。在青光眼发病的早期阶段，症状较轻，难以区分。一些患者先天性视神经发育不良或伴有其他眼科疾病和外伤，该模型很难正确识别这些稀有硬样本，从而降低其敏感性和准确性，这在其临床应用中是不可接受的。c.类间差异很小，但是类内差异很大。青光眼有多种类型，其眼底图像特征不同。青光眼和非青光眼之间的总体差异很小，因此该模型的准确性难以进一步提高。d.缺乏可解释性。由于诸如CNN之类的模型具有黑匣子特征，因此无法提供诊断证据，这使其无法满足临床应用标准。
课程学习为改善非凸优化和模型泛化性能提供了新思路。古典课程学习根据任务难度对样本进行排序。在训练过程中，训练数据集从简单样本逐渐扩展为困难样本，以提高训练模型的性能。尽管课程学习可以通过从困难到容易的顺序训练模型来增强泛化能力，但是现有方法仍然不能完全克服青光眼自动诊断算法存在的上述问题。面对训练样本分布不均，存在硬样本以及类间相似度较大的情况，预测结果存在偏差，无法进一步提高模型的训练效果。更重要的是，这些方法通常缺乏可解释性，并且无法可视化用于诊断青光眼的决策依据。
在此背景下，研究一种可同时进行青光眼的无偏筛查和模型决策区域可视化的多任务课程式学习方法尤其重要。
发明内容
本发明提供一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法，可以解决已有青光眼筛查方法难以克服训练样本不均衡分布、无法准确识别困难样本实现无偏筛查并且缺乏一定可解释性的问题。
为实现上述技术目的，本发明采用如下技术方案：
一种基于多任务课程式学习的眼底图像分类方法，包括以下步骤：
步骤A，设计基于自注意力机制的教师网络；以眼底图像样本作为输入、青光眼分类标签作为输出，对教师网络进行监督训练；使用训练完毕的教师网络生成每个眼底图像样本对应的标签证据图谱；
步骤B，设计多任务学生网络，包括证据图谱预测分支和青光眼预测分支；
步骤C，根据眼底图像样本的青光眼分类标签和训练完毕的教师网络的预测结果，设计眼底图像样本的样本先验加权系数θ；根据眼底图像样本的青光眼分类标签和学生网络的当前预测结果，设计眼底图像样本的样本反馈损失系数α；根据眼底图像样本的样本先验加权系数θ和样本反馈损失系数α，设计训练多任务学生网络的损失函数；
步骤D，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的标签证据图谱作为证据图谱预测分支的输出，基于步骤C设计的损失函数训练多任务学生网络；
步骤E，将待分类的眼底图像输入至训练完毕的学生网络，输出得到待分类的眼底图像的青光眼分类标签和证据图谱。
在更优的技术方案中，所述教师网络依次包括：移除全连接层的ResNet-34主干结构、卷积层、GC自注意力机制模块、全局平均池化层和全连接层；其中，在移除全连接层的ResNet-34主干结构中，第2至第5个池化层的输出均被降采样为同一预设值大小并合并，合并结果经过卷积层进行通道压缩，再跟上GC自注意力机制模块，最后经过全局平均池化层和全连接层进行预测分类。
在更优的技术方案中，采用Grad CAM++算法根据训练完毕的教师网络生成每个眼底图像样本对应的标签证据图谱，得到的标签证据图谱为像素值为0-1的激活图。
在更优的技术方案中，所述多任务学生网络的青光眼预测分支包括五个阶段的卷积模块，最后一个卷积模块后跟上一个全连接层用于预测分类，每个阶段的卷积模块包括若干个残差模块并且在最后一个残差块后连接一个池化层；
所述多任务学生网络的证据图谱预测分支包括三个阶段卷积模块，与青光眼预测分支的前三个阶段相同；证据图谱预测分支的每个阶段卷积模块对应设置一个映射层，用于将证据图谱预测分支各阶段的输出特征图为映射为相同大小；所述证据图谱预测分支还包括多孔金字塔池化模块和sigmoid激活层，多孔金字塔池化模块对映射得到的大小相同的特征图进行解码，再由sigmoid激活层进行激活，输出得到证据图谱；
将证据图谱预测分支输出的证据图谱，按青光眼预测分支的第三个阶段的输出特征图尺寸进行下采样，再将下采样得到的图像与青光眼预测分支的第三个阶段的输出特征图进行广播相乘，再输出到证据图谱预测分支第四个阶段的卷积模块。
在更优的技术方案中，所述多任务学生网络在证据图谱预测分支和青光眼预测分支之间还设置协同学习模块，设证据图谱预测分支第i个阶段的卷积模块输出特征图为Ei，设青光眼预测分支第i个阶段的卷积模块输出特征图为Gi，协同学习模块的计算表示为：
式中，[,]表示特征图的合并操作，i∈{1,2}，g和f表示用于学习特征交互作用映射关系的卷积操作，
表示逐像素相加合并；
和
分别是协同学习模块输出的特征图；
然后将特征图
和
分别替代Gi和Ei作为青光眼预测分支和证据图谱预测分支第i+1 个阶段卷积模块的输入特征图。
在更优的技术方案中，眼底图像样本的样本先验加权系数θ和样本反馈损失系数α的计算式为：
式中，i是眼底图像样本的标号，θi是眼底图像样本i对应的样本先验加权系数，
是眼底图像样本i对应的先验加权作用条件系数，
是教师网络对眼底图像样本i所预测的青光眼类别的置信度，y′ti,y′si分别代表教师网络和学生网络对眼底图像样本i的预测标签，yi是眼底图像样本i的真实标签，yi＝＝1表示眼底图像样本i的青光眼分类标签为阳性；
αi是眼底图像样本i对应的样本反馈损失系数，
是眼底图像样本i对应的反馈损失作用条件系数，
是学生网络对眼底图像样本i所预测的青光眼类别的置信度；
训练多任务学生网络的损失函数为：
Ltotal＝LEM+[1+λθi+(1-λ)σi]Lclass
式中，Ltotal为多任务学生网络的集成损失，Lclsss为青光眼预测分支的损失，LEM为证据图谱预测分支的损失，λ指的是均衡系数，Lclsss和LEM的计算式为：
Lclass＝-[yi·logpi+(1-yi)·log(1-pi)]
LEM＝Ldice+Lce
式中，pi表示将眼底图像样本i预测为真实标签的概率；Ldice表示证据图谱预测分支的 DICE系数损失，Lce表示证据图谱预测分支的交叉熵损失；j为眼底图像样本i中的像素标号， N为眼底图像样本i的像素总数，qj表示眼底图像样本i中的像素j被预测为真实标签值的概率，gj表示像素j的真实标签。
在更优的技术方案中，在步骤E得到证据图谱后，还包括：采用双线性插值技术将证据图谱放大至待分类的眼底图像同等大小，然后通过伪彩色处理得出彩色热图，最后按一定比例融合眼底图像以及彩色热图，得出证据图谱的最终可视化结果。
一种基于多任务课程式学习的眼底图像分类装置，包括：教师网络模块和多任务学生网络模块；其中，
所述教师网络模块，结构基于自注意力机制设计，并使用眼底图像样本作为输入、青光眼分类标签作为输出进行监督训练得到，且训练完毕后用于生成每个眼底图像样本对应的标签证据图谱；
所述多任务学生网络模块，结构包括证据图谱预测分支和青光眼预测分支；且训练所述多任务学生网络的损失函数，是根据眼底图像样本的样本先验加权系数θ和样本反馈损失系数α设计得到；其中，样本先验加权系数θ根据眼底图像样本的青光眼分类标签和训练完毕的教师网络的预测结果设计得到，样本反馈损失系数α根据眼底图像样本的青光眼分类标签和学生网络的当前预测结果设计得到；
所述多任务学生网络模块，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的标签证据图谱作为证据图谱预测分支的输出，基于损失函数训练得到；
所述多任务学生网络模块在训练完毕后，用于对输入的待分类的眼底图像进行青光眼分类并输出证据图谱。
一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项技术方案所述的眼底图像分类方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项技术方案所述的眼底图像分类方法。
有益效果
本发明根据眼底图像输出青光眼的类型和证据图谱，可用于辅助青光眼的无偏筛查和决策筛查结果的证据可视图像，解决了已有青光眼筛查方法难以克服的训练样本分布不均衡、无法准确识别困难样本实现无偏筛查以及缺乏一定可解释性的问题，有效降低了青光眼筛查预测偏差，提升诊断准确率，并且可生成反映细微病理变化的证据图谱以帮助临床医生探索精细病变区域。具体而言，本发明的有益效果如下：
1、本发明提供了MTCLF将课程学习与多任务处理方法相结合，以同时满足青光眼的无偏诊断和证据图谱的预测，该证据图谱可反映细微病理变化因此具备一定的可解释性，从而可用于帮助临床医生探索精细病变区域。
2、本发明可广泛应用于辅助青光眼筛查，以帮助眼科医生诊断青光眼，并且提供反映细微病变的证据图谱以协助临床医生探索病变部位。
3、本发明精心设计的教师网络以ResNet-34为骨架，提取了不同深度的语义特征图来构造判别模块，并采用GC自注意力机制模块使网络关注空间信息和通道信息，有利于增强教师网络对于硬样本的挖掘能力以及增强所生成的证据图谱对于关键辨别特征的描述能力。
4、本发明精心设计的多任务学生网络由双分支网络骨架结构、协同学习模块、多任务损失函数组成。学生网络独特设计的证据图谱预测分支由不同深度、不同大小的特征图进行合并并配合多孔金字塔池化模块以构建证据图谱，可以达到增加感受野范围、增强特征编码能力的作用。学生网络的双分支之间通过独特设计的协同学习模块进行特征的共享和交互，可有效地提高青光眼筛查和证据图谱预测的准确性。学生网络将其输出的证据图谱对青光眼预测分支的深层特征图进行加权，这使青光眼预测分支可以基于证据图谱提供的先验信息聚焦于青光眼辨别关键区域，可以极大地改善青光眼预测的性能。
5、本发明在样本空间中针对学生网络设计了课程式学习策略。通过充分利用训练完毕的教师网络提供的样本先验信息和学生网络训练过程的反馈信息，设计了两个课程式加权系数θ和σ，在学生网络的训练过程中动态权衡每个批次中每个样本的损失，使得学生网络可以专注于难分类的硬样本以提高青光眼筛查能力，并且可以自适应地调整训练样本的贡献，以削弱正负样本不均衡分布带来的影响。θ是样本先验损失系数，它反映了教师网络提供的关于青光眼阳性硬样本的先验信息，用于指导学生网络对于青光眼阳性硬样本的挖掘和辨别。σ是样本反馈损失系数，它反映了训练过程中学生网络的学习状态，作用于所有类别的错误分类样本，重点作用于类别之间具有高度相似性的错误分类样本，从而挖掘错分的硬样本以及类间具有高度相似性的模糊样本。
附图说明
图1为本发明实施例1中所述识别方法整体框架流程图；
图2为本发明实施例1中的教师网络的结构图；
图3为本发明实施例1中的教师网络生成的标签证据图谱；
图4为本发明实施例1中的双分支多任务学生网络架构；
图5为本发明实施例1所设计的协同学习模块；
图6为本发明实施例1所述样本先验课程系数θ的曲线；
图7为本发明实施例1所述样本反馈损失系数σ的曲线；
图8为本发明实施例1提供的第一组证据图谱预测效果对比图，其中8(a)为待分类的眼底图像，图8(b)为学生网络生成的证据图谱激活图EM，图8(c)为证据图谱的最终可视化结果。
图9为本发明实施例1提供的第二组证据图谱预测效果对比图，其中9(a)为待分类的眼底图像，图9(b)为学生网络生成的证据图谱激活图EM，图9(c)为证据图谱的最终可视化结果。
图10为本发明实施例1提供的第三组证据图谱预测效果对比图，其中10(a)为待分类的眼底图像，图10(b)为学生网络生成的证据图谱激活图EM，图10(c)为证据图谱的最终可视化结果。
具体实施方式
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
实施例1
本实施例1提供一种基于多任务课程式学习的眼底图像分类方法，如图1所示，按以下步骤进行：
步骤A，设计基于自注意力机制的教师网络；以眼底图像样本作为输入、青光眼分类标签作为输出，对教师网络进行监督训练；
1)设计基于自注意力机制的教师网络
教师网络的结构如图2所示，依次包括：移除全连接层的ResNet-34主干结构、卷积层、 GC自注意力机制模块、全局平均池化层和全连接层。在移除全连接层的ResNet-34主干结构中，将每个池化层后的一组特征图按顺序命名为第1至第5组特征图，并且将第2至第5组特征图降采样为7×7的大小，将它们合并在一起，再通过3×3大小的卷积核对合并后的特征图进行卷积操作，生成新的通道数为1024且大小为7×7的特征图。然后使用GC自注意力机制模块构建生成特征图的全局上下文信息以及不同特征图的通道之间的相关性，将通过 GC自注意力机制模块获得的特征图进行全局平均池化操作，然后将池化层连接到1024个神经元的全连接层，最后通过全连接的方式连接到2个输出神经元，分别对应于青光眼正负类别。
GC自注意力机制模块是一个全局上下文建模框架，不仅可以有效地对远距离依赖性进行建模，而且具有通道注意机制的作用。采用GC自注意力机制模块可以显著增强教师网络对于青光眼关键特征的抽取能力，它不仅有助于教师网络发现对应于不同空间位置的青光眼辨别关键性特征，为证据图谱的生成提供了保证，而且还有助于提升教师网络的青光眼筛查能力，尤其是硬样本的识别能力，为课程系数的生成提供了保证。
2)教师网络训练
将整理完毕的带有青光眼分类标签的眼底图像样本数据集按照8:2的比例划分为训练集和验证集，采用训练集对教师网络进行监督训练，直到验证集的损失不再下降则教师网络训练完毕。
3)标签证据图谱生成
采用Grad CAM++算法使用训练完毕的教师网络生成每个眼底图像样本对应的标签证据图谱[如图3(b)所示]。Grad CAM++算法可参考论文《Grad-CAM++:GeneralizedGradient-Based Visual Explanations for Deep Convolutional Networks》。标签证据图谱为像素值范围0到1的激活图，大小为112×112×1，像素值强度接近1的区域代表着对于青光眼诊断起作用的关键区域，像素值强度接近0的区域则说明该区域作用很小。因此，标签证据图谱可以反映输入眼底图像中关键性的青光眼辨别区域，突出显示局部空间特征。它起着两个重要的作用：充当学生网络的证据图谱预测分支的标签；为学生网络的训练提供了先验知识，对学生网络的深层特征图进行加权，以增强其检测困难样本的能力。
步骤B，设计多任务学生网络
本实施例中的学生网络是一个多任务卷积神经网络，如图4所示，由双分支网络骨架结构、协同学习模块、多任务损失函数组成。
1)双分支网络骨架结构
双分支网络骨架结构采用基础残差模块作为基本特征提取模块，由两个相互关联的具有不同长度的分支组成，分别为青光眼预测分支和证据图谱预测分支。基础残差模块由1×1卷积，3×3卷积和1×1卷积的顺序组合再结合残差连接所构成。
青光眼预测分支由五个阶段的卷积模块组成，最后一个卷积模块后跟上一个全连接层用于预测分类，每个阶段包括若干个残差模块并且在最后一个残差块后进行池化操作以减小特征图的大小。第1阶段为一个7×7大小的卷积核，步长为2。第2到第5阶段的基础残差模块的个数分别为3、4、6、3，将第1到第5阶段的输出特征图按顺序符号化为G1到G5。
证据图谱预测分支由三个阶段卷积模块组成，与青光眼预测分支的前三个阶段相同。它们的输出特征图分别用符号表示为E1、E2和E3。
为了更准确地预测证据图谱并在眼底图像中突出显示青光眼诊断的关键区域，本方法将不同深度、不同大小的特征图进行合并以达到增加感受野范围、增强特征编码能力的作用。具体地，本方法将证据图谱预测分支三个阶段的输出特征图E1、E2和E3映射到与E2相同的空间大小然后再合并，将所得特征图由多孔金字塔池化模块(atrous spatialpyramid pooling, ASPP)进行解码再经过sigmoid激活函数输出最终的证据图谱EM。EM为像素值范围为0到1 的激活图，大小为112×112×1。ASPP模块通过不同空洞率的卷积核对特征图进行卷积操作，可以充分挖掘不同感受野的多尺度特征，以实现证据图谱的精准重构，具体结构可参考论文《Rethinking Atrous Convolution for Semantic ImageSegmentation》。接下来，将证据图谱EM 下采样到与青光眼预测分支的特征图G3相同的空间大小，再与其进行广播相乘，这使青光眼预测分支可以基于证据图谱提供的先验信息聚焦于青光眼诊断的关键区域，可以极大地改善青光眼预测的性能。由基本计算模块组成的串行卷积神经网络中，为了增加卷积运算的感受野并避免计算量的多次增加，在每个计算阶段之后使用池化操作来减少特征图的大小。尽管池化操作可以实现平移不变性，但它也导致图像中局部对象之间的精确空间关系的丢失。就青光眼的临床诊断而言，视杯、视盘和盘沿区域的相对空间位置和大小可得出许多重要的指标，例如杯盘比(CDR)，这对青光眼分类非常重要。此外，在多次池化后，眼底图像中与青光眼有关的细微病变区域很容易消失，如视盘出血、β区旁弧萎缩(β-PPA)、视神经纤维层损伤等。教师网络生成的证据图谱EM包含此类关键局部特征和空间相对位置信息，学生网络使用EM来构建注意力机制，以整合目标边缘特征和空间信息，从而增强特征图中青光眼筛查的相关区域并抑制无关区域。
2)协同学习模块
双分支网络骨架结构可以同时执行证据图预测的语义分割任务和用于青光眼筛查的分类任务。尽管这两个任务的输出具有不同的模式，但它们都依赖于卷积神经网络提取的语义特征，这些语义特征反映了细微病变的大小、位置、边缘和纹理信息，并且具有很强的共性。
为了共享和交互双分支之间的特征，在双分支学生网络的第1卷积阶段和第2卷积阶段后加入所设计的设计协同学习模块(CLM)，如图5所示，作为两个分支之间信息交互的桥梁，可有效提高青光眼筛查的准确性和证据图谱预测的准确性。
协同学习模块的设计如下：考虑到第1和第2阶段青光眼预测分支的特征图Gi和证据图谱预测分支特征图Ei，协同学习模块考虑将Gi和Ei合并，并使用两个3×3大小的卷积运算来学习特定于不同任务的特征交互的映射关系，生成交互式特征图。然后，通过像素逐加法将学习到的交互式特征图与原始特征图合并，从而使得Gi与Ei实现特征的共享和交换。采用
和
分别表示Gi和Ei经过特征交互操作之后的特征图，它们的计算被表示为
其中[,]表示特征图的合并操作，i表示第i阶段输出的特征图序号，i∈{1,2}，g和f表示用于学习特征交互作用映射关系的3×3卷积操作，
表示逐像素相加合并。
由CLM输出的特征图
和
代替Gi与Ei作为学生网络后一个卷积阶段的输入特征图。
步骤C，设计训练多任务学生网络的损失函数
本实施例用于训练多任务学生网络的损失函数，设计为一个集成损失函数，包括青光眼预测分类的损失Lclass和证据图谱预测分支的损失LEM，以实现多任务监督学习。
其中，青光眼预测分支的损失Lclass使用交叉熵损失函数，其公式如下：
Lclass＝-[yi·logpi+(1-yi)·log(1-pi)] (2)
式中，yi是眼底图像样本i的真实标签，pi表示将眼底图像样本i预测为真实标签的概率。
证据图谱预测分支的损失LEM，其计算公式为：
LEM＝Ldice+Lce (3)
式中，Ldice表示证据图谱预测分支的DICE系数损失，Lce表示证据图谱预测分支的交叉熵损失；j为眼底图像样本i中的像素标号，N为眼底图像样本i的像素总数，qj表示眼底图像样本i中的像素j被预测为真实标签值的概率，gj表示像素j的真实标签。
然后，通过设计两个课程式权重系数，即眼底图像样本的先验加权系数θ和反馈损失系数α，来加权融合青光眼预测分类的损失Lclass和证据图谱预测分支的损失LEM，得到用于训练多任务学生网络的损失函数，表达式为：
Ltotal＝LEM+[1+λθi+(1-λ)σi]Lclass
现有青光眼开源数据库或者临床收集数据集中正负样本分布不均衡，很容易影响模型的训练过程，使训练后的模型严重偏向负样本，导致敏感性降低。此外，CNN模型对稀有硬样本的学习能力较差，这也影响了青光眼筛查的性能。为了解决上述两个问题，本实施例在样本空间中针对学生网络设计了课程式学习策略。通过充分利用训练完毕的教师网络提供的样本先验信息和学生网络训练过程的反馈信息，本实施例在损失函数中设计了两个课程式加权系数，即眼底图像样本的样本先验加权系数θ和样本反馈损失系数α，在学生网络的训练过程中动态权衡每个批次中每个样本的损失。以这样的方式使得学生网络可以专注于难分类的硬样本以提高青光眼无偏差筛查能力，并且可以自适应地调整训练样本的贡献，以削弱正样本和负样本不均衡分布带来的影响。
样本先验加权系数θ，反映的是教师网络提供的关于难分类的阳性样本的先验信息。在训练完毕的教师网络的指导下，学生网络的训练过程可以重点聚焦于青光眼阳性硬样本，以达到挖掘硬样本的目的。样本先验加权系数θ通过以下公式进行计算：
其中，i是样本标号，pt是教师网络预测的青光眼类别的置信度，它根据训练完毕的教师网络对样本i计算得出的结果进行Softmax操作，然后取青光眼类别相对应的输出值而得到。 y′ti代表教师网络对于样本i的预测标签，yi是真实标签。
限制了课程系数θ的作用条件，仅当学生网络错误地预测青光眼阳性样本时课程系数θ才在损失的加权调整中发挥作用。θ的曲线如图6所示。
样本反馈损失系数α，反映的是训练过程中学生网络的学***衡训练收益。σ通过以下公式计算：
其中，
是指对学生网络输出的结果进行Softmax操作之后对应于青光眼类别的置信度， y′si代表学生网络对于样本i的预测标签，。
限定了课程系数σ的作用条件，仅在学生网络错误地预测正样本或者负样本时才起作用。σ的曲线如图7所示。
当教师网络对青光眼阳性训练样本i进行测试时置信度
并且分类错误时，它被认为是硬样本。因此，加权因子θ将增加样本i所对应的Lclsss的权重，但对其他样本无效。置信度
越接近0，样本i的错误分类程度就越大，因此这将促进学生网络对样本i重点关注。
σ作用于所有类别的错误分类样本，尤其是重点作用于类别之间具有高度相似性的错误分类样本。在学生网络的训练过程中，当样本i被学生网络错误分类并且其对应青光眼类别置信度
接近0.5时，它处于分类的关键区域。在这种情况下，σ的值将会增大，并使学生网络更加关注于关键样本i，从而可以加快训练过程，并挖掘类间具有高度相似性的模糊样本。
在本实施例中，多任务学生网络损失函数中的均衡系数λ设置为0.5。
步骤D，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的标签证据图谱作为证据图谱预测分支的输出，基于步骤C设计的损失函数训练多任务学生网络。
在本实施例中，多任务学生网络的训练过程基于PyTorch平台，Intel Xeon E5-2678 v3 CPU 和GeForce RTX 2080Ti显卡(GPU)进行，使用Adam优化器和余弦退火学习率调整策略，最后获取训练完毕的学生网络。
步骤E，将待分类的眼底图像输入至训练完毕的学生网络，输出得到待分类的眼底图像的青光眼分类标签和证据图谱。
获取待分类的青光眼眼底图像[如图8(a)、图9(a)或图10(a)所示]，输入至训练完毕的学生网络进行前向传播计算，得到青光眼的自动分类结果和证据图谱EM[如图8(b)、图9(b)或图10(c)所示]。
为方便可视化证据图谱EM以及其对应的眼底图像激活区域，本实施例首先采用双线性插值技术将证据图谱EM放大至待分类的眼底图像同等大小，然后通过伪彩色处理得出彩色热图，最后按0.5：0.5的比例融合眼底图像以及彩色热图，得出证据图谱的最终可视化结果[如图8(c)、图9(c)或图10(c)所示]。
实施例2
本实施例提供一种基于多任务课程式学习的眼底图像分类装置，包括：教师网络模块和多任务学生网络模块；其中，
所述教师网络模块，结构基于自注意力机制设计，并使用眼底图像样本作为输入、青光眼分类标签作为输出进行监督训练得到，且训练完毕后用于生成每个眼底图像样本对应的标签证据图谱；
所述多任务学生网络模块，结构包括证据图谱预测分支和青光眼预测分支；且训练所述多任务学生网络的损失函数，是根据眼底图像样本的样本先验加权系数θ和样本反馈损失系数α设计得到；其中，样本先验加权系数θ根据眼底图像样本的青光眼分类标签和训练完毕的教师网络的预测结果设计得到，样本反馈损失系数α根据眼底图像样本的青光眼分类标签和学生网络的当前预测结果设计得到；
所述多任务学生网络模块，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的标签证据图谱作为证据图谱预测分支的输出，基于损失函数训练得到；
所述多任务学生网络模块在训练完毕后，用于对输入的待分类的眼底图像进行青光眼分类并输出证据图谱。
本实施例中的各模块的具体结构和工作原理，与实施例1中所述相同，本实施例不再重复阐述。
实施例3
本实施例提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现实施例1所述的方法。
实施例4
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的方法。
以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。
Claims (10)
1.一种基于多任务课程式学习的眼底图像分类方法，其特征在于，包括以下步骤：
步骤A，设计基于自注意力机制的教师网络；以眼底图像样本作为输入、青光眼分类标签作为输出，对教师网络进行监督训练；使用训练完毕的教师网络生成每个眼底图像样本对应的证据图谱；
步骤B，设计多任务学生网络，包括证据图谱预测分支和青光眼预测分支；
步骤C，根据眼底图像样本的青光眼分类标签和训练完毕的教师网络的预测结果，设计眼底图像样本的样本先验加权系数θ；根据眼底图像样本的青光眼分类标签和学生网络的当前预测结果，设计眼底图像样本的样本反馈损失系数α；根据眼底图像样本的样本先验加权系数θ和样本反馈损失系数α，设计训练多任务学生网络的损失函数；
步骤D，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的证据图谱作为证据图谱预测分支的输出，基于步骤C设计的损失函数训练多任务学生网络；
步骤E，将待分类的眼底图像输入至训练完毕的学生网络，输出得到待分类的眼底图像的青光眼分类标签和证据图谱。
2.根据权利要求1所述的眼底图像分类方法，其特征在于，所述教师网络从输入至输出依次包括：移除全连接层的ResNet-34主干结构、卷积层、GC自注意力机制模块、全局平均池化层和全连接层；其中，在移除全连接层的ResNet-34主干结构中，第2至第5个池化层的输出均被降采样为同一预设值大小并合并，合并结果经过卷积层进行通道压缩，再跟上GC自注意力机制模块，最后经过全局平均池化层和全连接层进行预测分类。
3.根据权利要求1所述的眼底图像分类方法，其特征在于，采用Grad CAM++算法根据训练完毕的教师网络生成每个眼底图像样本对应的标签证据图谱，得到的标签证据图谱为像素值为0-1的激活图。
4.根据权利要求1所述的眼底图像分类方法，其特征在于，所述多任务学生网络的青光眼预测分支包括五个阶段的卷积模块，最后一个卷积模块后跟上一个全连接层用于预测分类，每个阶段的卷积模块包括若干个残差模块并且在最后一个残差块后连接一个池化层；
所述多任务学生网络的证据图谱预测分支包括三个阶段卷积模块，与青光眼预测分支的前三个阶段相同；证据图谱预测分支的每个阶段卷积模块对应设置一个映射层，用于将证据图谱预测分支各阶段的输出特征图为映射为相同大小；所述证据图谱预测分支还包括多孔金字塔池化模块和sigmoid激活层，多孔金字塔池化模块对映射得到的大小相同的特征图进行解码，再由sigmoid激活层进行激活，输出得到证据图谱；
将证据图谱预测分支输出的证据图谱，按青光眼预测分支的第三个阶段的输出特征图尺寸进行下采样，再将下采样得到的图像与青光眼预测分支的第三个阶段的输出特征图进行广播相乘，再输出到证据图谱预测分支第四个阶段的卷积模块。
5.根据权利要求4所述的眼底图像分类方法，其特征在于，所述多任务学生网络在证据图谱预测分支和青光眼预测分支之间还设置协同学习模块，设证据图谱预测分支第i个阶段的卷积模块输出特征图为Ei，设青光眼预测分支第i个阶段的卷积模块输出特征图为Gi，协同学习模块的计算表示为：
式中，[,]表示特征图的合并操作，i∈{1,2}，g和f表示用于学习特征交互作用映射关系的卷积操作，
表示逐像素相加合并；
和
分别是协同学习模块输出的特征图；
然后将特征图
和
分别替代Gi和Ei作为青光眼预测分支和证据图谱预测分支第i+1个阶段卷积模块的输入特征图。
6.根据权利要求1所述的眼底图像分类方法，其特征在于，眼底图像样本的样本先验加权系数θ和样本反馈损失系数α的计算式为：
式中，i是眼底图像样本的标号，θi是眼底图像样本i对应的样本先验加权系数，
是眼底图像样本i对应的先验加权作用条件系数，
是教师网络对眼底图像样本i所预测的青光眼类别的置信度，y′ti,y′si分别代表教师网络和学生网络对眼底图像样本i的预测标签，yi是眼底图像样本i的真实标签，yi＝＝1表示眼底图像样本i的青光眼分类标签为阳性；
αi是眼底图像样本i对应的样本反馈损失系数，
是眼底图像样本i对应的反馈损失作用条件系数，
是学生网络对眼底图像样本i所预测的青光眼类别的置信度；
训练多任务学生网络的损失函数为：
Ltotal＝LEM+[1+λθi+(1-λ)σi]Lclass
式中，Ltotal为多任务学生网络的集成损失，Lclsss为青光眼预测分支的损失，LEM为证据图谱预测分支的损失，λ指的是均衡系数，Lclsss和LEM的计算式为：
Lclass＝-[yi·logpi+(1-yi)·log(1-pi)]
LEM＝Ldice+Lce
式中，pi表示将眼底图像样本i预测为真实标签的概率；Ldice表示证据图谱预测分支的DICE系数损失，Lce表示证据图谱预测分支的交叉熵损失；j为眼底图像样本i中的像素标号，N为眼底图像样本i的像素总数，qj表示眼底图像样本i中的像素j被预测为真实标签值的概率，gj表示像素j的真实标签。
7.根据权利要求1所述的眼底图像分类方法，其特征在于，在步骤E得到证据图谱后，还包括：采用双线性插值技术将证据图谱放大至待分类的眼底图像同等大小，然后通过伪彩色处理得出彩色热图，最后按一定比例融合眼底图像以及彩色热图，得出证据图谱的最终可视化结果。
8.一种基于多任务课程式学习的眼底图像分类装置，其特征在于，包括：教师网络模块和多任务学生网络模块；其中，
所述教师网络模块，结构基于自注意力机制设计，并使用眼底图像样本作为输入、青光眼分类标签作为输出进行监督训练得到，且训练完毕后用于生成每个眼底图像样本对应的标签证据图谱；
所述多任务学生网络模块，结构包括证据图谱预测分支和青光眼预测分支；且训练所述多任务学生网络的损失函数，是根据眼底图像样本的样本先验加权系数θ和样本反馈损失系数α设计得到；其中，样本先验加权系数θ根据眼底图像样本的青光眼分类标签和训练完毕的教师网络的预测结果设计得到，样本反馈损失系数α根据眼底图像样本的青光眼分类标签和学生网络的当前预测结果设计得到；
所述多任务学生网络模块，以眼底图像样本同时作为证据图谱预测分支和青光眼预测分支的输入，以对应的青光眼分类标签作为青光眼预测分支的输出，以对应的标签证据图谱作为证据图谱预测分支的输出，基于损失函数训练得到；
所述多任务学生网络模块在训练完毕后，用于对输入的待分类的眼底图像进行青光眼分类并输出证据图谱。
9.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814221.2A CN113610118B (zh) | 2021-07-19 | 2021-07-19 | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110814221.2A CN113610118B (zh) | 2021-07-19 | 2021-07-19 | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610118A true CN113610118A (zh) | 2021-11-05 |
| CN113610118B CN113610118B (zh) | 2023-12-12 |
Family
ID=78337900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110814221.2A Active CN113610118B (zh) | 2021-07-19 | 2021-07-19 | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610118B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049519A (zh) * | 2021-11-17 | 2022-02-15 | 江西航天鄱湖云科技有限公司 | 一种光学遥感图像场景分类方法 |
| CN114155496A (zh) * | 2021-11-29 | 2022-03-08 | 西安烽火软件科技有限公司 | 一种基于自注意力的车辆属性多任务协同识别方法 |
| CN117422911A (zh) * | 2023-10-20 | 2024-01-19 | 哈尔滨工业大学 | 一种协同学习驱动的多类别全切片数字病理图像分类*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345446A (zh) * | 2018-09-18 | 2019-02-15 | 西华大学 | 一种基于对偶学习的图像风格转移算法 |
| CN109685152A (zh) * | 2018-12-29 | 2019-04-26 | 北京化工大学 | 一种基于dc-spp-yolo的图像目标检测方法 |
| CN109829877A (zh) * | 2018-09-20 | 2019-05-31 | 中南大学 | 一种视网膜眼底图像杯盘比自动评估方法 |
| CN110097084A (zh) * | 2019-04-03 | 2019-08-06 | 浙江大学 | 通过投射特征训练多任务学生网络的知识融合方法 |
| CN111160474A (zh) * | 2019-12-30 | 2020-05-15 | 合肥工业大学 | 一种基于深度课程学习的图像识别方法 |
| US20200211695A1 (en) * | 2018-12-27 | 2020-07-02 | Shanghai United Imaging Intelligence Co., Ltd. | Methods and devices for grading a medical image |
| CN112560948A (zh) * | 2020-12-15 | 2021-03-26 | 中南大学 | 数据偏差下的眼底图分类方法及成像方法 |
-
2021
- 2021-07-19 CN CN202110814221.2A patent/CN113610118B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345446A (zh) * | 2018-09-18 | 2019-02-15 | 西华大学 | 一种基于对偶学习的图像风格转移算法 |
| CN109829877A (zh) * | 2018-09-20 | 2019-05-31 | 中南大学 | 一种视网膜眼底图像杯盘比自动评估方法 |
| US20200211695A1 (en) * | 2018-12-27 | 2020-07-02 | Shanghai United Imaging Intelligence Co., Ltd. | Methods and devices for grading a medical image |
| CN109685152A (zh) * | 2018-12-29 | 2019-04-26 | 北京化工大学 | 一种基于dc-spp-yolo的图像目标检测方法 |
| CN110097084A (zh) * | 2019-04-03 | 2019-08-06 | 浙江大学 | 通过投射特征训练多任务学生网络的知识融合方法 |
| CN111160474A (zh) * | 2019-12-30 | 2020-05-15 | 合肥工业大学 | 一种基于深度课程学习的图像识别方法 |
| CN112560948A (zh) * | 2020-12-15 | 2021-03-26 | 中南大学 | 数据偏差下的眼底图分类方法及成像方法 |
Non-Patent Citations (5)
| Title |
|---|
| GUO F等: "MTCLF: A multitask curriculum learning framework for unbiased glaucoma screenings", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, vol. 221, pages 1 - 13 * |
| XUAN NIE等: "GEME: Dual-stream multi-task GEnder-based micro-expression recognition", 《NEUROCOMPUTING》, vol. 427, pages 13 - 28, XP086447682, DOI: 10.1016/j.neucom.2020.10.082 * |
| 徐强等: "不同纹理复杂度图像生成中CycleGAN循环一致损失系数优化选择方法", 《计算机科学》, vol. 46, no. 1, pages 100 - 106 * |
| 曹占涛: "深度学习在医学图像辅助诊断中的应用研究", 《中国博士学位论文全文数据库 (医药卫生科技辑)》, no. 7, pages 060 - 1 * |
| 郭璠等: "语义特征图引导的青光眼筛查方法", 《计算机辅助设计与图形学学报》, vol. 33, no. 3, pages 363 - 375 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049519A (zh) * | 2021-11-17 | 2022-02-15 | 江西航天鄱湖云科技有限公司 | 一种光学遥感图像场景分类方法 |
| CN114155496A (zh) * | 2021-11-29 | 2022-03-08 | 西安烽火软件科技有限公司 | 一种基于自注意力的车辆属性多任务协同识别方法 |
| CN114155496B (zh) * | 2021-11-29 | 2024-04-26 | 西安烽火软件科技有限公司 | 一种基于自注意力的车辆属性多任务协同识别方法 |
| CN117422911A (zh) * | 2023-10-20 | 2024-01-19 | 哈尔滨工业大学 | 一种协同学习驱动的多类别全切片数字病理图像分类*** |
| CN117422911B (zh) * | 2023-10-20 | 2024-04-30 | 哈尔滨工业大学 | 一种协同学习驱动的多类别全切片数字病理图像分类*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610118B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abdar et al. | UncertaintyFuseNet: robust uncertainty-aware hierarchical feature fusion model with ensemble Monte Carlo dropout for COVID-19 detection | |
| Li et al. | Automatic detection of diabetic retinopathy in retinal fundus photographs based on deep learning algorithm | |
| Dutta et al. | Classification of diabetic retinopathy images by using deep learning models | |
| CN108806792B (zh) | 深度学习面诊*** | |
| CN109543719B (zh) | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| Arjmand et al. | Deep learning in liver biopsies using convolutional neural networks | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Nahiduzzaman et al. | Detection of various lung diseases including COVID-19 using extreme learning machine algorithm based on the features extracted from a lightweight CNN architecture | |
| Tan et al. | Lightweight pyramid network with spatial attention mechanism for accurate retinal vessel segmentation | |
| Wang et al. | Explainable multitask Shapley explanation networks for real-time polyp diagnosis in videos | |
| CN117010971B (zh) | 一种基于人像识别的智能健康险提供方法及*** | |
| Tian et al. | Learning discriminative representations for fine-grained diabetic retinopathy grading | |
| Zhang et al. | PCANet: pyramid context-aware network for retinal vessel segmentation | |
| CN115423790A (zh) | 一种基于视觉文本融合的前房角图像分级方法 | |
| CN114998300A (zh) | 一种基于多尺度信息融合网络的角膜溃疡分类方法 | |
| Fu et al. | Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation | |
| Guo et al. | MTCLF: A multitask curriculum learning framework for unbiased glaucoma screenings | |
| de Vente et al. | Automated COVID-19 grading with convolutional neural networks in computed tomography scans: A systematic comparison | |
| CN114330484A (zh) | 弱监督学习糖尿病视网膜病变分级与病灶识别方法及*** | |
| Ahmed et al. | An effective deep learning network for detecting and classifying glaucomatous eye. | |
| CN113033330A (zh) | 一种基于轻型卷积神经网络的舌体姿态异常判别方法 | |
| Brown et al. | Deep learning for computer-aided diagnosis in ophthalmology: a review | |
| Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation | |
| Xu et al. | A Tuberculosis Detection Method Using Attention and Sparse R-CNN. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |