CN114418999B - 基于病变关注金字塔卷积神经网络的视网膜病变检测*** - Google Patents

基于病变关注金字塔卷积神经网络的视网膜病变检测*** Download PDF

Info

Publication number
CN114418999B
CN114418999B CN202210066319.9A CN202210066319A CN114418999B CN 114418999 B CN114418999 B CN 114418999B CN 202210066319 A CN202210066319 A CN 202210066319A CN 114418999 B CN114418999 B CN 114418999B
Authority
CN
China
Prior art keywords
layer
basic module
resolution
image
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210066319.9A
Other languages
English (en)
Other versions
CN114418999A (zh
Inventor
李翔
罗浩
王豪
张九思
乔新宇
蒋宇辰
尹珅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210066319.9A priority Critical patent/CN114418999B/zh
Publication of CN114418999A publication Critical patent/CN114418999A/zh
Application granted granted Critical
Publication of CN114418999B publication Critical patent/CN114418999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于病变关注金字塔卷积神经网络的视网膜病变检测***，本发明涉及视网膜病变检测***。本发明的目的是为了解决现有视网膜病变检测准确率低的问题。***包括：图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类。本发明用于医学图像处理领域。

Description

基于病变关注金字塔卷积神经网络的视网膜病变检测***
技术领域
本发明属于医学图像处理领域，具体涉及视网膜病变检测***。
背景技术
糖尿病视网膜病变是一种由糖尿病并发症引起的眼病。它可以引起视网膜损伤、视力丧失和失明，是目前造成视力障碍的主要原因。糖尿病视网膜病变作为公共卫生领域最具挑战性的疾病之一，其诊断和分类对临床治疗过程具有重要意义。早期的准确分类可以导致更有效和有针对性的治疗，以避免视力损害和进一步的后果。在临床过程中，医生主要通过眼底图像进行分类，眼底图像含有丰富的病理信息和病理标志物。用于分类的病理生物标志物主要包括微动脉瘤、硬渗出物、软渗出物和出血等。眼科医生根据这些生物标记物的数量和严重程度进行疾病分类，但这是一个耗时耗力的过程。因此设计自动化的视网膜病变分类方法具有重要的临床应用价值。
随着深度学习技术的快速发展和计算机硬件设备计算能力的显著提高，基于卷积神经网络的方法在视网膜疾病诊断中展示了较高的精度。现有的基于卷积神经网络的方法的流程主要包括两部分，首先使用卷积层提取眼底图像特征，然后将特征映射为具体的疾病等级。现有的技术仍旧存在许多问题：
(1)眼科医生在临床诊断过程中主要根据微动脉瘤等病变生物标志物进行诊断。而现有的卷积神经网络模型输入图像后直接输出分类结果，不能提供病变标志物等诊断依据。因此，现有方法不能和实际临床过程很好的结合，对医生的实际使用造成困惑。
(2)低分辨率图像能够更快速定位病变位置，但缺乏病变区域的详细信息。高分辨率图像中病变的详细信息更清晰，而非病变区域也会反向产生更多的干扰。现有的方法没有考虑图像分辨率的影响，直接使用单一分辨率图像进行病变分类。
发明内容
本发明的目的是为了解决现有基于卷积神经网络的眼底图像视网膜病变检测中可解释性较弱，不能利用多分辨率图像信息，导致视网膜病变检测准确率低的问题，而提出基于病变关注金字塔卷积神经网络的视网膜病变检测***。
基于病变关注金字塔卷积神经网络的视网膜病变检测***包括：
图像处理主模块、神经网络主模块、训练主模块、检测主模块；
所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；
所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；
所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；
所述检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类。
本发明的有益效果为：
1、本发明首次提出了一种基于病变关注金字塔卷积神经网络的视网膜病变分类方法，该方法整合了不同分辨率的图像信息，其中由低分辨率网络逐级引导高分辨率网络聚焦于病变区域，最终利用高分辨率网络中对于病变部位更清晰的特征进行诊断。
2、为所提出的基于病变关注金字塔卷积神经网络的视网膜病变分类方法设计了弱监督定位模块，解决了现有基于卷积神经网络的眼底图像视网膜病变检测中可解释性较弱的问题，弱监督定位模块只利用图像级别的标注就可以提供像素级别的病变定位，并且通过热度图的形式展示出来，提高了视网膜病变检测准确率。
3、由实验得知，本发明有着良好的视网膜病变诊断性能，其中正确率可以达到93.2％，灵敏度可以达到88.2％，特异性可以达到95.4％，具有先进水平。
附图说明
图1为本发明方法流程图；
图2为病变关注金字塔卷积神经网络构架示意图；
图3a为原始图像1图；
图3b为针对原始图像1图检测出的病变激活图病变位置展示图；
图4a为原始图像2图；
图4b为针对原始图像2图检测出的病变激活图病变位置展示图；
图5a为原始图像3图；
图5b为针对原始图像3图检测出的病变激活图病变位置展示图；
图6a为原始图像4图；
图6b为针对原始图像4图检测出的病变激活图病变位置展示图。
具体实施方式
具体实施方式一：本实施方式基于病变关注金字塔卷积神经网络的视网膜病变检测***包括：
图像处理主模块、神经网络主模块、训练主模块、检测主模块；
所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；
所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；
所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；
所述检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；具体过程为：
步骤A1、对原始视网膜病变图像进行预处理，构造多分辨率图像；具体过程为：
获取原始视网膜病变图像集，将每张图像的分辨率大小调整为一组1024×1024，512×512和256×256的多分辨率图像；
视网膜图像周围有一些背景区域并不影响分类结果，所以将每组1024×1024，512×512和256×256的多分辨率图像以图像中心裁剪为896×896，448×448和224×224的多分辨率图像(1024×1024裁剪为896×896，512×512裁剪为448×448，256×256裁剪为224×224)，每组图像作为金字塔网络的一个输入；
步骤A2、对多分辨率图像进行归一化操作，对归一化操作后图像进行数据增强，获得预处理后的原始视网膜病变图像；
为了提高所训练网络的鲁棒性，首先对裁剪为896×896，448×448和224×224的多分辨率图像进行归一化操作，归一化的结果Xnorm：
Figure BDA0003480429270000031
其中，X是图像，Xmin是图像中最小的像素点，Xmax是图像中最大像素点；
同时，在训练过程中进行了数据增强，具体操作为以概率p1对归一化后图像进行随机水平翻转，以概率p2对归一化后图像进行垂直翻转，获得预处理后的原始视网膜病变图像。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；具体过程为：
病变关注金字塔卷积神经网络模型包括低分辨率网络，中分辨率网络、高分辨率网络和弱监督定位模块；
B1、所述低分辨率网络依次包括基本模块1、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7；
所述中分辨率网络依次包括基本模块1、基本模块3和基本模块4；
所述高分辨率网络依次包括基本模块1、基本模块2、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7；
所述基本模块1依次包括第一卷积层、BN层、ReLU激活层、最大池化层；
所述基本模块2包括第二卷积层、BN层、ReLU激活层；
所述基本模块3依次包括第三卷积层、BN层、ReLU激活层、第四卷积层、BN层、ReLU激活层、第五卷积层、BN层、ReLU激活层；
所述基本模块4依次包括第六卷积层、BN层、ReLU激活层、第七卷积层、BN层、ReLU激活层、第八卷积层、BN层、ReLU激活层；
所述基本模块5依次包括第九卷积层、BN层、ReLU激活层、第十卷积层、BN层、ReLU激活层、第十一卷积层、BN层、ReLU激活层；
所述基本模块6依次包括第十二卷积层、BN层、ReLU激活层、第十三卷积层、BN层、ReLU激活层、第十四卷积层、BN层、ReLU激活层；
所述基本模块7包括全连接层FC；
B2、基于低分辨率网络构造弱监督定位模块。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述B2中基于低分辨率网络构造弱监督定位模块；具体过程为：
低分辨率网络输入分辨率为224×224大小的图像，输出为低分辨率图像的分类结果；
弱监督定位模块的构造(获取病变位置激活图)过程为：
根据低分辨率网络输出的低分辨率图像的分类结果和低分辨率网络中间层特征计算病变激活图，具体过程为：
首先，将分辨率为224×224的图像输入低分辨率网络中，获取分类结果和中间层特征图，即
[ylow,f]＝Lownet(I224)
其中I224是分辨率为224×224的图像，Lownet是低分辨率网络，ylow是低分辨率网络对于分辨率为224×224的图像的分类结果，f是低分辨率网络中间层特征，来自低分辨网络中的基本模块5的输出；
然后计算分类结果ylow对于中间层特征f的梯度，将梯度经过一个全局平均池化层(Global Average Pooling，GAP)，得到分类结果ylow对于低分辨网络中的基本模块5中第十一卷积层中(1024个通道)所有通道的权重：
Figure BDA0003480429270000051
其中αi是ylow对于低分辨率网络中的基本模块5中第十一卷积层中第i个通道的权重(i为基本模块5中第十一卷积层1024个通道中的任一个)，GAP代表全局平均池化层；
最后将低分辨网络中的基本模块5输出特征图和权重进行线性组合并且使用ReLU(Rectified Linear Unit)激活函数获取病变位置激活图：
Figure BDA0003480429270000052
其中LCAM是病变位置激活图，这是一个二维矩阵，代表图像中每个区域对病变的贡献；LCAM值越大，则此区域对于病变的贡献越大。从这个意义上说，LCAM能突出病变区域，到达只使用图像级标签就获得像素级病变信息的目的。
构建总体病变关注金字塔卷积神经网络中的低分辨率网络，中分辨率网络和高分辨率网络，总图网络结构如图2所示。低分辨率网络，中分辨率网络和高分辨率网络都是由卷积层和全连接层组成的，其目的是进行图像特征提取以及根据图像特征进行病变最终分类。表1展示了构造三个网络的基本模块。其中Conv代表卷积层，其后的1×1，3×3，7×7为卷积层中卷积核的大小，数字64，128，256，512，1024，2048为卷积层中特征的通道数；FC代表全连接层；MP代表最大池化层。低分辨率网络由基本模块1、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7顺序连接。中分辨率网络由基本模块1、基本模块3和基本模块4顺序连接。高分辨率网络由基本模块1、基本模块2、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7顺序连接。
表1网络构造基本模块及配置
Figure BDA0003480429270000053
Figure BDA0003480429270000061
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述低分辨率网络和高分辨率网络中全连接层的输出(低分辨率网络和高分辨率网络中全连接层的输出)都使用了Softmax函数作为损失函数；
Softmax是一种通过类别概率的对数计算损失的损失函数，定义如下：
Figure BDA0003480429270000062
其中
Figure BDA0003480429270000063
为第k类预测的概率值，yk第k类的真实值(共两类，病变和未病变)。
在整体网络结构中，低分辨率网络和高分辨率网络都具有全连接层，全连接层的输出为分类结果。两者的全连接层有不同的目的，低分辨率网络的输出主要用于获取病变激活图，高分辨率网络的输出作为最终分类结果。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述病变关注金字塔卷积神经网络模型连接关系为：
图像输入低分辨率网络中基本模块1，基本模块1输出图像特征输入基本模块3，基本模块3输出图像特征输入基本模块4，基本模块4输出图像特征输入基本模块5，基本模块5输出图像特征输入基本模块6，基本模块6输出图像特征输入基本模块7，基本模块7输出图像特征即为低分辨率网络输出图像特征；
将获取的病变位置激活图输入中分辨率网络中基本模块3；
将获取的病变位置激活图输入高分辨率网络中基本模块3；
将低分辨率网络输出图像特征输入中分辨率网络中基本模块1，基本模块1输出图像特征输入基本模块3，基本模块3输出图像特征输入基本模块4，基本模块4输出图像特征即为中分辨率网络输出图像特征；
将中分辨率网络输出图像特征输入高分辨率网络中基本模块1，基本模块1输出图像特征输入基本模块2，基本模块2输出图像特征输入基本模块3，基本模块3输出图像特征输入基本模块4，基本模块4输出图像特征输入基本模块5，基本模块5输出图像特征输入基本模块6，基本模块6输出图像特征输入基本模块7，基本模块7输出图像特征即为高分辨率网络输出图像特征。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述第一卷积层卷积核大小为7×7，通道数为64；
所述第二卷积层卷积核大小为3×3，通道数为64；
所述第三卷积层卷积核大小为1×1，通道数为64；
所述第四卷积层卷积核大小为3×3，通道数为64；
所述第五卷积层卷积核大小为1×1，通道数为256；
所述第六卷积层卷积核大小为1×1，通道数为128；
所述第七卷积层卷积核大小为3×3，通道数为128；
所述第八卷积层卷积核大小为1×1，通道数为512；
所述第九卷积层卷积核大小为1×1，通道数为256；
所述第十卷积层卷积核大小为3×3，通道数为256；
所述第十一卷积层卷积核大小为1×1，通道数为1024；
所述第十二卷积层卷积核大小为1×1，通道数为512；
所述第十三卷积层卷积核大小为3×3，通道数为512；
所述第十四卷积层卷积核大小为1×1，通道数为2048。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；具体过程为：
步骤C1、初始化网络参数(权重和偏置)，设置合适的学习率，学习率的设置要大致满足网络的拟合过程，通常先设置一个初始学习率，当训练过程到一定程度时学习率开始衰减；设置最大训练轮数，所有训练相关的超参数设置完毕后开始训练；
步骤C2、将预处理后的原始视网膜病变图像中分辨率为224×224的图像输入低分辨率网络中，进行训练，直至达到最大训练轮数或收敛，获得训练好的低分辨率网络，保留训练好的低分辨率网络的参数(替换病变关注金字塔卷积神经网络模型中低分辨率网络参数)；
基于训练好的低分辨率网络获得病变位置激活图；
单独训练低分辨率网络。由于低分辨率网络要获取网络中间层特征和低分辨率网络的分类结果，然后通过弱监督定位模块获取病变位置激活图。所以低分辨率网络要具有一定的病变分类能力，其获取的病变位置激活图才更有效。
步骤C3、将训练好的低分辨率网络和病变位置激活图放入病变关注金字塔卷积神经网络模型中，将预处理后的原始视网膜病变图像输入病变关注金字塔卷积神经网络模型进行训练，直至到达训练轮数或收敛(达到设置的训练轮数或者多轮之内高分辨率网络正确率没有提高则认为整体网络已经收敛)，获得训练好的病变关注金字塔卷积神经网络模型，保存此时训练好的网络参数(练好的病变关注金字塔卷积神经网络模型中的高分辨率网络输出的结果作为分类结果)。
初始化网络参数、设置训练神经网络的超参数；进行网络训练：先训练低分辨率网络，并使用网络中间层特征图经过弱监督定位模块获取病变位置激活图。再将经过训练的低分辨率网络和病变位置激活图放入整体网络框架中，进行整体网络结构训练。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤四中使用训练好的模型进行测试并计算性能指标；具体过程为：
步骤D1、获取待测视网膜病变图像集，将每张图像的分辨率大小调整为一组1024×1024，512×512和256×256的多分辨率图像；
将每组1024×1024，512×512和256×256的多分辨率图像以图像中心裁剪为896×896，448×448和224×224的多分辨率图像(1024×1024裁剪为896×896，512×512裁剪为448×448，256×256裁剪为224×224)，每组图像作为金字塔网络的一个输入；
为了提高所训练网络的鲁棒性，首先对裁剪为896×896，448×448和224×224的多分辨率图像进行归一化操作；
将归一化操作后的待测视网膜病变图像输入训练好的病变关注金字塔卷积神经网络模型，收集病变关注金字塔卷积神经网络模型中高分辨率网络输出的分类结果；
步骤D2、计算高分辨率网络输出的分类结果的性能指标。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述步骤D2中计算高分辨率网络输出的分类结果的性能指标；表达式为：
Figure BDA0003480429270000091
Figure BDA0003480429270000092
Figure BDA0003480429270000093
其中，TP指分类结果中的真阳性，FP指分类结果中的假阳性，TN指分类结果中的真阴行，FN指分类结果中的假阴性。
其它步骤及参数与具体实施方式一至九之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
下面结合Messidor公共数据集阐述本发明的具体实施方式：
Messidor公共数据集包含1200张糖尿病视网膜病变图像，其中病变按照严重程度被分为三级。数据集中训练集包含800张图像，测试集包含400张图像。
执行步骤一：
执行步骤A1、读取训练集的800张图像，将每张图像的大小调整为一组1024×1024,512×512和256×256的多分辨率图像，然后以图像中心裁剪为896×896,448×448和224×224的图像。
执行步骤A2、构建训练数据生成器，对图像进行归一化操作，以概率p1对图像进行随机水平翻转，以概率p2对图像进行垂直翻转，p1和p2都为0.5。训练数据加载器一直迭代循环不断产生数据。
执行步骤二：
执行步骤B1、总体网络结构包括低分辨率网络、中分辨率网络、高分辨率网络和弱监督定位模块。按照基本模块1、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7得顺序，顺次连接组成低分辨率网络。按照基本模块1、基本模块3和基本模块4的顺序，顺次连接组成中分辨率网络。按照基本模块1、基本模块2、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7的顺序，顺次连接组成高分辨率网络。
执行步骤B2、在低分辨率网络的基础上构造弱监督定位模块，将分辨率为224×224大小的图像输入低分辨率网络中，并获取低分辨率图像的分类结果和中间层特征：
[ylow,f]＝Lownet(I224)
其中I224是分辨率为224的图像,Lownet是低分辨率网络，ylow是低分辨率网络对于图像的分类结果，f是网络中间层特征，来自低分辨网络中的基本模块5。
然后计算分类结果ylow对于中间层特征f的梯度，将梯度经过一个全局平均池化层(Global Average Pooling，GAP)计算特征图的对于所有通道的权重：
Figure BDA0003480429270000101
其中αi是ylow对于特征图中第i个通道的权重GAP代表全局平均池化层。
最后将特征图和权重进行线性组合并且使用ReLU(Rectified Linear Unit)激活函数获取病变激活图：
Figure BDA0003480429270000102
LCAM是病变激活图，这是一个二维矩阵，代表图像中每个区域对病变的贡献。
执行步骤B3、为低分辨率网络和高分辨率网络的输出计算损失函数，损失函数使用Softmax函数计算每类的概率值同时计算损失函数。损失函数为：
Figure BDA0003480429270000103
其中
Figure BDA0003480429270000104
为第k类预测的概率值，yk第k类的真实值。
执行步骤三：
执行步骤C1、
初始化网络参数设置训练过程的超参数，训练采用批量迭代法，批量大小设定为16。初始学习率设置为0.0002。优化器使用Adam优化器。
执行步骤C2、先迭代低分辨率网络，迭代轮数为30轮，迭代过程的一轮定义为训练集中的所有图像都迭代一遍。当低分辨率网络达到设置的训练轮数后则认为低分辨率网络已经具有较好的分类能力，保存此时训练好的网络参数。然后使用弱监督地位模块获取所有图像的病变位置激活图。
执行步骤C3、将训练好的低分辨率网络和获取的病变位置激活图放入总体网络结构中。对总体网络结构进行训练，训练轮数设置为70轮，学习率为初始学习率，当训练执行35轮后开始线性衰减学习率。
执行步骤C4、整体网络达到设置的训练轮数则认为整体网络已经收敛，保存此时训练好的网络参数。
执行步骤四：
执行步骤D1、将测试集图像执行步骤一的图像预处理过程，将测试集每张图像都调整为一组1024×1024,512×512和256×256的图像各一张，然后以图像中心裁剪为896×896,448×448和224×224的大小。处理好后的图像输入整体网络中，此过程不执行网络参数的更新。收集高分辨率网络的输出作为最终分类结果。
执行步骤D2、计算测试结果的正确率等性能指标。
表2视网膜病变诊断结果
Figure BDA0003480429270000111
由上表可以看出，本发明方法在视网膜病变诊断正确率、灵敏度、特异性、曲线下面积四个评价指标中都有提高。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.基于病变关注金字塔卷积神经网络的视网膜病变检测***，其特征在于：所述***包括：
图像处理主模块、神经网络主模块、训练主模块、检测主模块；
所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；
所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；
所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；
所述检测主模块用于加载训练好的病变关注金字塔卷积神经网络模型，对待测试视网膜病变图像进行分类；
所述图像处理主模块用于采集原始视网膜病变图像，对采集的原始视网膜病变图像进行预处理，获得预处理后的原始视网膜病变图像；具体过程为：
步骤A1、对原始视网膜病变图像进行预处理，构造多分辨率图像；具体过程为：
获取原始视网膜病变图像集，将每张图像的分辨率大小调整为一组1024×1024，512×512和256×256的多分辨率图像；
将每组1024×1024，512×512和256×256的多分辨率图像以图像中心裁剪为896×896，448×448和224×224的多分辨率图像；
步骤A2、对多分辨率图像进行归一化操作，对归一化操作后图像进行数据增强，获得预处理后的原始视网膜病变图像；
对裁剪为896×896，448×448和224×224的多分辨率图像进行归一化操作，归一化的结果Xnorm：
Figure FDA0003793648390000011
其中，X是图像，Xmin是图像中最小的像素点，Xmax是图像中最大像素点；
以概率p1对归一化后图像进行随机水平翻转，以概率p2对归一化后图像进行垂直翻转，获得预处理后的原始视网膜病变图像；
所述神经网络主模块用于搭建病变关注金字塔卷积神经网络模型；具体过程为：
病变关注金字塔卷积神经网络模型包括低分辨率网络，中分辨率网络、高分辨率网络和弱监督定位模块；
B1、所述低分辨率网络依次包括基本模块1、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7；
所述中分辨率网络依次包括基本模块1、基本模块3和基本模块4；
所述高分辨率网络依次包括基本模块1、基本模块2、基本模块3、基本模块4、基本模块5、基本模块6和基本模块7；
所述基本模块1依次包括第一卷积层、BN层、ReLU激活层、最大池化层；
所述基本模块2包括第二卷积层、BN层、ReLU激活层；
所述基本模块3依次包括第三卷积层、BN层、ReLU激活层、第四卷积层、BN层、ReLU激活层、第五卷积层、BN层、ReLU激活层；
所述基本模块4依次包括第六卷积层、BN层、ReLU激活层、第七卷积层、BN层、ReLU激活层、第八卷积层、BN层、ReLU激活层；
所述基本模块5依次包括第九卷积层、BN层、ReLU激活层、第十卷积层、BN层、ReLU激活层、第十一卷积层、BN层、ReLU激活层；
所述基本模块6依次包括第十二卷积层、BN层、ReLU激活层、第十三卷积层、BN层、ReLU激活层、第十四卷积层、BN层、ReLU激活层；
所述基本模块7包括全连接层FC；
B2、基于低分辨率网络构造弱监督定位模块；
所述B2中基于低分辨率网络构造弱监督定位模块；具体过程为：
低分辨率网络输入分辨率为224×224大小的图像，输出为低分辨率图像的分类结果；
弱监督定位模块的构造过程为：
根据低分辨率网络输出的低分辨率图像的分类结果和低分辨率网络中间层特征计算病变激活图，具体过程为：
首先，将分辨率为224×224的图像输入低分辨率网络中，获取分类结果和中间层特征图，即
[ylow,f]＝Lownet(I224)
其中I224是分辨率为224×224的图像，Lownet是低分辨率网络，ylow是低分辨率网络对于分辨率为224×224的图像的分类结果，f是低分辨率网络中间层特征，来自低分辨网络中的基本模块5的输出；
然后计算分类结果ylow对于中间层特征f的梯度，将梯度经过一个全局平均池化层，得到分类结果ylow对于低分辨网络中的基本模块5中第十一卷积层中所有通道的权重：
Figure FDA0003793648390000021
其中αi是ylow对于低分辨率网络中的基本模块5中第十一卷积层中第i个通道的权重，GAP代表全局平均池化层；
最后将低分辨网络中的基本模块5输出特征图和权重进行线性组合并且使用ReLU激活函数获取病变位置激活图：
Figure FDA0003793648390000031
其中LCAM是病变位置激活图；
所述低分辨率网络和高分辨率网络中全连接层的输出都使用了Softmax函数作为损失函数；
定义如下：
Figure FDA0003793648390000032
其中
Figure FDA0003793648390000033
为第k类预测的概率值，yk第k类的真实值；
所述病变关注金字塔卷积神经网络模型连接关系为：
图像输入低分辨率网络中基本模块1，基本模块1输出图像特征输入基本模块3，基本模块3输出图像特征输入基本模块4，基本模块4输出图像特征输入基本模块5，基本模块5输出图像特征输入基本模块6，基本模块6输出图像特征输入基本模块7，基本模块7输出图像特征即为低分辨率网络输出图像特征；
将获取的病变位置激活图输入中分辨率网络中基本模块3；
将获取的病变位置激活图输入高分辨率网络中基本模块3；
将低分辨率网络输出图像特征输入中分辨率网络中基本模块1，基本模块1输出图像特征输入基本模块3，基本模块3输出图像特征输入基本模块4，基本模块4输出图像特征即为中分辨率网络输出图像特征；
将中分辨率网络输出图像特征输入高分辨率网络中基本模块1，基本模块1输出图像特征输入基本模块2，基本模块2输出图像特征输入基本模块3，基本模块3输出图像特征输入基本模块4，基本模块4输出图像特征输入基本模块5，基本模块5输出图像特征输入基本模块6，基本模块6输出图像特征输入基本模块7，基本模块7输出图像特征即为高分辨率网络输出图像特征。
2.根据权利要求1所述基于病变关注金字塔卷积神经网络的视网膜病变检测***，其特征在于：所述第一卷积层卷积核大小为7×7，通道数为64；
所述第二卷积层卷积核大小为3×3，通道数为64；
所述第三卷积层卷积核大小为1×1，通道数为64；
所述第四卷积层卷积核大小为3×3，通道数为64；
所述第五卷积层卷积核大小为1×1，通道数为256；
所述第六卷积层卷积核大小为1×1，通道数为128；
所述第七卷积层卷积核大小为3×3，通道数为128；
所述第八卷积层卷积核大小为1×1，通道数为512；
所述第九卷积层卷积核大小为1×1，通道数为256；
所述第十卷积层卷积核大小为3×3，通道数为256；
所述第十一卷积层卷积核大小为1×1，通道数为1024；
所述第十二卷积层卷积核大小为1×1，通道数为512；
所述第十三卷积层卷积核大小为3×3，通道数为512；
所述第十四卷积层卷积核大小为1×1，通道数为2048。
3.根据权利要求2所述基于病变关注金字塔卷积神经网络的视网膜病变检测***，其特征在于：所述训练主模块利用预处理后的原始视网膜病变图像对搭建好的病变关注金字塔卷积神经网络模型进行训练，获得训练好的病变关注金字塔卷积神经网络模型；具体过程为：
步骤C1、初始化网络参数，设置学习率，设置最大训练轮数；
步骤C2、将预处理后的原始视网膜病变图像中分辨率为224×224的图像输入低分辨率网络中，进行训练，直至达到最大训练轮数或收敛，获得训练好的低分辨率网络，保留训练好的低分辨率网络的参数；
基于训练好的低分辨率网络获得病变位置激活图；
步骤C3、将训练好的低分辨率网络和病变位置激活图放入病变关注金字塔卷积神经网络模型中，将预处理后的原始视网膜病变图像输入病变关注金字塔卷积神经网络模型进行训练，直至到达训练轮数或收敛，获得训练好的病变关注金字塔卷积神经网络模型，保存此时训练好的网络参数。
4.根据权利要求3所述基于病变关注金字塔卷积神经网络的视网膜病变检测***，其特征在于：对训练好的病变关注金字塔卷积神经网络模型进行测试并计算性能指标；具体过程为：
步骤D1、获取待测视网膜病变图像集，将每张图像的分辨率大小调整为一组1024×1024，512×512和256×256的多分辨率图像；
将每组1024×1024，512×512和256×256的多分辨率图像以图像中心裁剪为896×896，448×448和224×224的多分辨率图像；
对裁剪为896×896，448×448和224×224的多分辨率图像进行归一化操作；
将归一化操作后的待测视网膜病变图像输入训练好的病变关注金字塔卷积神经网络模型，收集病变关注金字塔卷积神经网络模型中高分辨率网络输出的分类结果；
步骤D2、计算高分辨率网络输出的分类结果的性能指标。
5.根据权利要求4所述基于病变关注金字塔卷积神经网络的视网膜病变检测***，其特征在于：所述步骤D2中计算高分辨率网络输出的分类结果的性能指标；表达式为：
Figure FDA0003793648390000051
Figure FDA0003793648390000052
Figure FDA0003793648390000053
其中，TP指分类结果中的真阳性，FP指分类结果中的假阳性，TN指分类结果中的真阴行，FN指分类结果中的假阴性。
CN202210066319.9A 2022-01-20 2022-01-20 基于病变关注金字塔卷积神经网络的视网膜病变检测*** Active CN114418999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210066319.9A CN114418999B (zh) 2022-01-20 2022-01-20 基于病变关注金字塔卷积神经网络的视网膜病变检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210066319.9A CN114418999B (zh) 2022-01-20 2022-01-20 基于病变关注金字塔卷积神经网络的视网膜病变检测***

Publications (2)

Publication Number Publication Date
CN114418999A CN114418999A (zh) 2022-04-29
CN114418999B true CN114418999B (zh) 2022-09-23

Family

ID=81276146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210066319.9A Active CN114418999B (zh) 2022-01-20 2022-01-20 基于病变关注金字塔卷积神经网络的视网膜病变检测***

Country Status (1)

Country Link
CN (1) CN114418999B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496954B (zh) * 2022-11-03 2023-05-12 中国医学科学院阜外医院 眼底图像分类模型构建方法、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN111259982B (zh) * 2020-02-13 2023-05-12 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111369581B (zh) * 2020-02-18 2023-08-08 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111739075B (zh) * 2020-06-15 2024-02-06 大连理工大学 一种结合多尺度注意力的深层网络肺部纹理识别方法
CN112733961A (zh) * 2021-01-26 2021-04-30 苏州大学 基于注意力机制的糖尿病视网膜病变的分类方法及***
CN112837330B (zh) * 2021-03-02 2024-05-10 中国农业大学 基于多尺度双注意力机制和全卷积神经网络的叶分割方法

Also Published As

Publication number Publication date
CN114418999A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
Wan et al. Deep convolutional neural networks for diabetic retinopathy detection by image classification
CN108389201B (zh) 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN110060774B (zh) 一种基于生成式对抗网络的甲状腺结节识别方法
Bilal et al. Diabetic retinopathy detection and classification using mixed models for a disease grading database
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
CN109584254A (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN114926477B (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
CN110910377B (zh) 一种基于神经网络的脑梗死mri图像识别方法
CN112116009B (zh) 基于卷积神经网络的新冠肺炎x射线图像识别方法及***
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN112862756A (zh) 识别甲状腺肿瘤病理图像中病变类型及基因突变的方法
Bilal et al. Diabetic retinopathy detection using weighted filters and classification using CNN
CN114418999B (zh) 基于病变关注金字塔卷积神经网络的视网膜病变检测***
CN113269230A (zh) 一种基于时序高维特征提取的多肺炎ct分类方法及装置
Zhang et al. MC-UNet multi-module concatenation based on U-shape network for retinal blood vessels segmentation
CN113786185B (zh) 一种基于卷积神经网络的静态脑网络特征提取方法和***
Xu et al. Application of artificial intelligence technology in medical imaging
CN116363438B (zh) 一种基于多模态的儿童脑炎分类***
Liu et al. Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images
CN111951228B (zh) 一种融合梯度激活映射和深度学习模型的癫痫灶定位***
CN109480842B (zh) 用于诊断功能性消化不良的***及设备
CN114330484A (zh) 弱监督学习糖尿病视网膜病变分级与病灶识别方法及***
Cheng et al. Research on Feature Extraction Method of Fundus Image Based on Deep Learning
Jerry et al. Automatic Classification of Retinal Fundus Images for Diabetic Retinopathy Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant