CN113160119A - 一种基于深度学习的糖尿病视网膜病变图像分类方法 - Google Patents
一种基于深度学习的糖尿病视网膜病变图像分类方法 Download PDFInfo
- Publication number
- CN113160119A CN113160119A CN202110159376.7A CN202110159376A CN113160119A CN 113160119 A CN113160119 A CN 113160119A CN 202110159376 A CN202110159376 A CN 202110159376A CN 113160119 A CN113160119 A CN 113160119A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- diabetic retinopathy
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 206010012601 diabetes mellitus Diseases 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 201000010099 disease Diseases 0.000 claims description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 208000017442 Retinal disease Diseases 0.000 claims description 5
- 206010038923 Retinopathy Diseases 0.000 claims description 5
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 201000007914 proliferative diabetic retinopathy Diseases 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 230000002265 prevention Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 5
- 201000004569 Blindness Diseases 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 208000009857 Microaneurysm Diseases 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000006550 Mydriasis Diseases 0.000 description 1
- 206010038862 Retinal exudates Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 201000001421 hyperglycemia Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习的糖尿病视网膜病变图像分类方法，在对数据集进行归一化，图像预处理、数据集扩充等数据集预处理操作后，提高输入网络图像的质量，利用深度学习神经网络模型对处理后的数据集进行训练生成糖尿病视网膜病变诊断模型。该网络模型与其他方法相比具有较高的识别率和合适的算法复杂度，不仅可以减少因人为因素导致出现误诊的现象，还可以极大地缩短糖尿病视网膜病变诊断的时间，对于糖网病患者的早期预防和治疗具有重要意义。
Description
技术领域
本发明涉及深度学习技术领域，更具体地说，涉及一种基于深度学习的糖尿病视网膜病变图像分类方法。
背景技术
糖尿病视网膜病变(DiabeticRetinopathy，DR)也称糖网病，是糖尿病的一种眼部表现，也是当今世界上造成视力损害和失明的主要原因。研究证明，高血糖、高血压、高血脂及糖尿病都是糖尿病视网膜病变发生的重要危险因素。根据WHO数据统计，中国糖尿病患者的人数高达1.1亿，是拥有糖尿病人数最多的国家。而糖尿病视网膜病变在糖尿病人群中的患病率为65％，也就意味着在中国有6700万人可能患糖网病。如果糖网病没有得到及时的治疗，发展到后期使患者的视力急剧下降，最终会导致患者失明，严重影响患者的正常生活。根据研究表明，患糖尿病的时间越长，糖尿病视网膜病变发生的几率就越高，但是如果进行有效的早期诊断和治疗可以使糖网病患者出现视力下降或者失明的概率降低90％。
在临床上诊断糖尿病视网膜病变的传统方法是进行全面的眼科检测，包括视觉敏感度、裂隙灯、散瞳检查等，检测流程复杂，需要耗费一定的人力物力。由于糖尿病视网膜病变的病灶种类多样，在早期筛查过程中，若能对眼底图像进行自动分类，就可以为临床医生节省大量的诊断时间，使得借助机器学习和深度学习方法实现糖网病诊断的研究得到人们重视。
现阶段利用机器学习方法对患者眼底图像进行分类的精确度较高，但是目前大多机器学习算法需要高质量的图像作为数据集，并且在获取图像数据时需要通过有经验的眼科医生对眼底图像进行分类标注，因此在模型搭建前期仍需要做大量的准备工作。与此同时，利用深度学习进行糖尿病视网膜病变诊断的方法也在快速发展，现有工作大多是通过对眼底图片中血管和视盘的分割来间接进行病变检测。随着深度学习网络模型的规模和深度不断增加，使其在图像识别任务中准确率迅速提升，但是目前医学影像数据集偏小是导致深度学习方法在该领域中识别效果不佳的主要原因。
目前，糖尿病视网膜病变的检测主要是依赖医生的人工判断，该项工作费时费力，对医生的相关经验要求较高。面对大量的糖尿病患者，急需大幅提高检测效率，缩短检测时间。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种基于深度学习的糖尿病视网膜病变图像分类方法。
本发明解决其技术问题所采用的技术方案是：构造一种基于深度学习的糖尿病视网膜病变图像分类方法，包括：
采集糖尿病患者视网膜病变图像数据，进行图像预处理后，划分训练集和测试集；
结合ResNet神经网络模型和DenseNet神经网络模型，构建深层神经网络模型，并将作为训练集的糖尿病患者视网膜病变图像数据输入深层神经网络模型中进行训练，调节网络参数与函数，至输出的结果为准确分类结果为止，训练完成后将作为测试集的糖尿病患者视网膜病变图像数据输入训练好的深层神经网络模型，验证深层神经网络模型的准确性；
将实时拍摄的糖尿病患者视网膜病变图像数据输入训练完成的深层神经网络模型，通过网络模型的计算，输出的结果作为对输入的糖尿病患者视网膜病变图像进行分类。
其中，在采集糖尿病患者视网膜病变图像数据的步骤中，提取多名糖尿病患者的双眼高分辨率彩色图像，根据视网膜病变的程度划分为正常、轻度、中度、重度和增殖型糖尿病视网膜病变五个等级，并用0-4标识等级，其中，0对应于正常健康状态，4是最严重的状态。
其中，图像预处理的方式至少包括对标记后的糖尿病患者双眼高分辨率彩色图像数据进行图像去噪、图像滤波、特征增强、归一化及数据扩增的操作。
其中在对糖尿病患者双眼高分辨率彩色图像数据进行图像滤波的步骤中，采用边缘检测算法的方式增强糖尿病视网膜病变图像中眼底血斑的特征，以提高模型识别的准确性。
其中，在对糖尿病患者双眼高分辨率彩色图像数据进行特征增强的步骤中，包括步骤：
用糖尿病患者双眼高分辨率彩色图像的原图减去高斯模糊(GaussianBlur) 图，得到两图差异；
用GaussianBlur算法得到最终特征增强后的糖尿病患者双眼高分辨率彩色图像.
其中，在对糖尿病患者双眼高分辨率彩色图像数据进行归一化的步骤中，将数据增强后的糖尿病患者双眼高分辨率彩色图像固定至512*512的分辨率。
其中，在对糖尿病患者双眼高分辨率彩色图像数据进行数据扩增的步骤中，在不改变原数据集图像患病等级的基础上对图像进行缩放、旋转、翻转、改变亮度操作，使各个患病等级的糖尿病视网膜病变图像数据集中的图像数量相等。
其中，用于图像分类的深层神经网络模型结合ResNet神经网络模型和 DenseNet神经网络模型的特点，包含代表稠密块的Dense Block和代表残差块的Resnet Block在内的5个block，每个block之间都有过渡层进行卷积核池化；模型输入是分辨率为512x512的图片,通过Softmax分类器进行分类；
在将训练集输入到模型中，图片进行卷积操作，卷积核的大小为7x7，步长为2，经过卷积操作之后的输出的长度和宽度均为256，经过最大池化操作，池化层后的输出特征图的长度和宽度为128x128；在卷积层之后，将样本图像输入到稠密块中，稠密块之后是转换层，用于进行卷积核平均池化的操作，在经过稠密块和转换层之后,模型输出图片的长度和宽度都为16x16；进一步采用添加残差块的做法，经过残差块之后，模型的输出的维度为8x8x1024，对输出进行平均池化，然后和一个1024个神经元的层进行连接，最后通过sofmax分类器进行分类,输出糖尿病视网膜病变图像的病变分类结果。
其中，采用模型准确率、空间复杂度两个指标来客观评价各类识别网络的分类效果：
用于评估模型分类效果的指标有准确率和平均准确率，计算公式分别如下：
其中mcorrect表示分类正确的样本个数，mtotal表示全部测试的样本个数；N为模型分类类别数，Accuracyi表示第i个类别的识别准确率；
用模型空间复杂度来评估模型的好坏，模型空间复杂度决定了模型的参数数量，模型参数越多，训练模型所需的数据量就越大，当训练数据量不足以匹配模型参数时，会导致训练模型过拟合问题；模型空间复杂度由模型总参数量和各层输出特征图的空间占用两部分组成，计算公式如下：
其中D、K、M分别表示卷积神经网络的卷积层数、特征图尺寸以及卷积核尺寸，n表示卷积神经网路卷积层标签，C表示卷积层的输出通道数，同时也等于上一卷积层的输出通道数，式中第一项表示神经网络模型总参数量，第二项表示输出特征图的空间占用。
本发明提供了一种基于深度学习的糖尿病视网膜病变图像分类方法，在对数据集进行归一化，图像预处理、数据集扩充等数据集预处理操作后，提高输入网络图像的质量，利用深度学习神经网络模型对处理后的数据集进行训练生成糖尿病视网膜病变诊断模型。该网络模型与其他方法相比具有较高的识别率和合适的算法复杂度，不仅可以减少因人为因素导致出现误诊的现象，还可以极大地缩短糖尿病视网膜病变诊断的时间，对于糖网病患者的早期预防和治疗具有重要意义。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的一种基于深度学习的糖尿病视网膜病变图像分类方法的流程示意图。
图2是本发明提供的一种基于深度学习的糖尿病视网膜病变图像分类方法中深层神经网络模型的架构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
如图1所示，本发明提供了一种基于深度学习的糖尿病视网膜病变图像分类方法，包括：
采集糖尿病患者视网膜病变图像数据，进行图像预处理后，划分训练集和测试集；
结合ResNet神经网络模型和DenseNet神经网络模型，构建深层神经网络模型，并将作为训练集的糖尿病患者视网膜病变图像数据输入深层神经网络模型中进行训练，调节网络参数与函数，至输出的结果为准确分类结果为止，训练完成后将作为测试集的糖尿病患者视网膜病变图像数据输入训练好的深层神经网络模型，验证深层神经网络模型的准确性；
将实时拍摄的糖尿病患者视网膜病变图像数据输入训练完成的深层神经网络模型，通过网络模型的计算，输出的结果作为对输入的糖尿病患者视网膜病变图像进行分类。
其中，在采集糖尿病患者视网膜病变图像数据的步骤中，提取多名糖尿病患者的双眼高分辨率彩色图像，且左右眼的眼底图像分辨率相同。根据视网膜病变的程度划分为正常、轻度、中度、重度和增殖型糖尿病视网膜病变五个等级，其病变特征主要表现为微动脉血管瘤、硬性渗出、棉絮斑、出血点等。并用0-4标识等级，其中，0对应于正常健康状态，4是最严重的状态。
其中，图像预处理的方式至少包括对标记后的糖尿病患者双眼高分辨率彩色图像数据进行图像去噪、图像滤波、特征增强、归一化及数据扩增的操作。
其中在对糖尿病患者双眼高分辨率彩色图像数据进行图像滤波的步骤中，采用边缘检测算法的方式增强糖尿病视网膜病变图像中眼底血斑的特征，以提高模型识别的准确性。
但是经过训练测试发现该边缘检测算法将镜片上的灰尘或者其他光学问题识别为血斑，将健康的原始图像经过处理后识别为增殖性糖尿病视网膜病变。因此，为了提高模型识别的准确率，必须要避免使用经过滤波器处理的图像。
其中，在对糖尿病患者双眼高分辨率彩色图像数据进行特征增强的步骤中，包括步骤：
用糖尿病患者双眼高分辨率彩色图像的原图减去高斯模糊(GaussianBlur) 图，得到两图差异；
用GaussianBlur算法得到最终特征增强后的糖尿病患者双眼高分辨率彩色图像。
图像中出血点和硬性渗出物特征变得清晰可见，微动脉瘤特征被放大，分类模型可以最大化的学习到有用特征，以帮助模型得到更好的训练结果。
其中，在对糖尿病患者双眼高分辨率彩色图像数据进行归一化的步骤中，将数据增强后的糖尿病患者双眼高分辨率彩色图像固定至512*512的分辨率。
对数据集进行分析，发现来自训练和测试数据集的图像具有不同的分辨率、长宽比、颜色，以及存在各种不同的裁剪方式，并且有的数据图像的质量非常差，存在失焦情况等。而利用深度卷积神经网络对数据集图像进行训练时需要一个固定的输入维度，因此需要调整眼底图像的大小使所有数据集具有固定的分辨率。如果图像分辨率过低会失去眼底图像的细节特征，而分辨率过大会增加模型的训练成本，经过试验将图像固定至512*512的分辨率，一方面可以保证眼底图像的细节特征，另一方面可以加快模型的训练速度。
其中，在对糖尿病患者双眼高分辨率彩色图像数据进行数据扩增的步骤中，在不改变原数据集图像患病等级的基础上对图像进行缩放、旋转、翻转、改变亮度操作，使各个患病等级的糖尿病视网膜病变图像数据集中的图像数量相等。数据扩增后，对样本数目较多的类别影响较小，而数目较少的类别向数目多的类别扩充补齐。
如图2所示，用于图像分类的深层神经网络模型结合ResNet神经网络模型和DenseNet神经网络模型的特点，包含代表稠密块的Dense Block和代表残差块的ResnetBlock在内的5个block，每个block之间都有过渡层进行卷积核池化；模型输入是分辨率为512x512的图片,通过Softmax分类器进行分类；
在将训练集输入到模型中，图片进行卷积操作，卷积核的大小为7x7，步长为2，经过卷积操作之后的输出的长度和宽度均为256，经过最大池化操作，池化层后的输出特征图的长度和宽度为128x128；在卷积层之后，将样本图像输入到稠密块中，稠密块之后是转换层，用于进行卷积核平均池化的操作，在经过稠密块和转换层之后,模型输出图片的长度和宽度都为16x16；进一步采用添加残差块的做法，经过残差块之后，模型的输出的维度为8x8x1024，对输出进行平均池化，然后和一个1024个神经元的层进行连接，最后通过sofmax分类器进行分类,输出糖尿病视网膜病变图像的病变分类结果。
网络模型结构如表1所示：
表1网络模型结构
采用模型准确率、空间复杂度两个指标来客观评价各类识别网络的分类效果：
用于评估模型分类效果的指标有准确率和平均准确率，计算公式分别如下：
其中mcorrect表示分类正确的样本个数，mtotal表示全部测试的样本个数；N为模型分类类别数，Accuracyi表示第i个类别的识别准确率；
用模型空间复杂度来评估模型的好坏，模型空间复杂度决定了模型的参数数量，模型参数越多，训练模型所需的数据量就越大，当训练数据量不足以匹配模型参数时，会导致训练模型过拟合问题；模型空间复杂度由模型总参数量和各层输出特征图的空间占用两部分组成，计算公式如下：
其中D、K、M分别表示卷积神经网络的卷积层数、特征图尺寸以及卷积核尺寸，n表示卷积神经网路卷积层标签，C表示卷积层的输出通道数，同时也等于上一卷积层的输出通道数，式中第一项表示神经网络模型总参数量，第二项表示输出特征图的空间占用。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (9)
1.一种基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，包括：
采集糖尿病患者视网膜病变图像数据，进行图像预处理后，划分训练集和测试集；
结合ResNet神经网络模型和DenseNet神经网络模型，构建深层神经网络模型，并将作为训练集的糖尿病患者视网膜病变图像数据输入深层神经网络模型中进行训练，调节网络参数与函数，至输出的结果为准确分类结果为止，训练完成后将作为测试集的糖尿病患者视网膜病变图像数据输入训练好的深层神经网络模型，验证深层神经网络模型的准确性；
将实时拍摄的糖尿病患者视网膜病变图像数据输入训练完成的深层神经网络模型，通过网络模型的计算，输出的结果作为对输入的糖尿病患者视网膜病变图像进行分类。
2.根据权利要求1所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，在采集糖尿病患者视网膜病变图像数据的步骤中，提取多名糖尿病患者的双眼高分辨率彩色图像，根据视网膜病变的程度划分为正常、轻度、中度、重度和增殖型糖尿病视网膜病变五个等级，并用0-4标识等级，其中，0对应于正常健康状态，4是最严重的状态。
3.根据权利要求2所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，图像预处理的方式至少包括对标记后的糖尿病患者双眼高分辨率彩色图像数据进行图像去噪、图像滤波、特征增强、归一化及数据扩增的操作。
4.根据权利要求3所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，在对糖尿病患者双眼高分辨率彩色图像数据进行图像滤波的步骤中，采用边缘检测算法的方式增强糖尿病视网膜病变图像中眼底血斑的特征，以提高模型识别的准确性。
5.根据权利要求3所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，在对糖尿病患者双眼高分辨率彩色图像数据进行特征增强的步骤中，包括步骤：
用糖尿病患者双眼高分辨率彩色图像的原图减去高斯模糊(GaussianBlur)图，得到两图差异；
用GaussianBlur算法得到最终特征增强后的糖尿病患者双眼高分辨率彩色图像。
6.根据权利要求5所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，在对糖尿病患者双眼高分辨率彩色图像数据进行归一化的步骤中，将数据增强后的糖尿病患者双眼高分辨率彩色图像固定至512*512的分辨率。
7.根据权利要求3所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，在对糖尿病患者双眼高分辨率彩色图像数据进行数据扩增的步骤中，在不改变原数据集图像患病等级的基础上对图像进行缩放、旋转、翻转、改变亮度操作，使各个患病等级的糖尿病视网膜病变图像数据集中的图像数量相等。
8.根据权利要求1所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，用于图像分类的深层神经网络模型结合ResNet神经网络模型和DenseNet神经网络模型的特点，包含代表稠密块的Dense Block和代表残差块的Resnet Block在内的5个block，每个block之间都有过渡层进行卷积核池化；模型输入是分辨率为512x512的图片,通过Softmax分类器进行分类；
在将训练集输入到模型中，图片进行卷积操作，卷积核的大小为7x7，步长为2，经过卷积操作之后的输出的长度和宽度均为256，经过最大池化操作，池化层后的输出特征图的长度和宽度为128x128；在卷积层之后，将样本图像输入到稠密块中，稠密块之后是转换层，用于进行卷积核平均池化的操作，在经过稠密块和转换层之后,模型输出图片的长度和宽度都为16x16；进一步采用添加残差块的做法，经过残差块之后，模型的输出的维度为8x8x1024，对输出进行平均池化，然后和一个1024个神经元的层进行连接，最后通过sofmax
分类器进行分类,输出糖尿病视网膜病变图像的病变分类结果。
9.根据权利要求1所述的基于深度学习的糖尿病视网膜病变图像分类方法，其特征在于，采用模型准确率、空间复杂度两个指标来客观评价各类识别网络的分类效果：
用于评估模型分类效果的指标有准确率和平均准确率，计算公式分别如下：
其中mcorrect表示分类正确的样本个数，mtotal表示全部测试的样本个数；N为模型分类类别数，Accuracyi表示第i个类别的识别准确率；
用模型空间复杂度来评估模型的好坏，模型空间复杂度决定了模型的参数数量，模型参数越多，训练模型所需的数据量就越大，当训练数据量不足以匹配模型参数时，会导致训练模型过拟合问题；模型空间复杂度由模型总参数量和各层输出特征图的空间占用两部分组成，计算公式如下：
其中D、K、M分别表示卷积神经网络的卷积层数、特征图尺寸以及卷积核尺寸，n表示卷积神经网路卷积层标签，C表示卷积层的输出通道数，同时也等于上一卷积层的输出通道数，式中第一项表示神经网络模型总参数量，第二项表示输出特征图的空间占用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110159376.7A CN113160119A (zh) | 2021-02-04 | 2021-02-04 | 一种基于深度学习的糖尿病视网膜病变图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110159376.7A CN113160119A (zh) | 2021-02-04 | 2021-02-04 | 一种基于深度学习的糖尿病视网膜病变图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113160119A true CN113160119A (zh) | 2021-07-23 |
Family
ID=76882765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110159376.7A Pending CN113160119A (zh) | 2021-02-04 | 2021-02-04 | 一种基于深度学习的糖尿病视网膜病变图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160119A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494196A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
| CN116823760A (zh) * | 2023-06-25 | 2023-09-29 | 深圳市眼科医院(深圳市眼病防治研究所) | 早产儿视网膜病变治疗方式的自动识别方法及*** |
| CN117877692A (zh) * | 2024-01-02 | 2024-04-12 | 珠海全一科技有限公司 | 一种视网膜病变个性化差异分析方法 |
| CN117936079A (zh) * | 2024-03-21 | 2024-04-26 | 中国人民解放军总医院第三医学中心 | 基于流形学习的糖尿病视网膜病变识别方法、介质及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018201633A1 (zh) * | 2017-05-04 | 2018-11-08 | 深圳硅基仿生科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别*** |
| CN109691979A (zh) * | 2019-01-07 | 2019-04-30 | 哈尔滨理工大学 | 一种基于深度学习的糖尿病视网膜图像病变分类方法 |
| CN109948719A (zh) * | 2019-03-26 | 2019-06-28 | 天津工业大学 | 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 |
| CN110210570A (zh) * | 2019-06-10 | 2019-09-06 | 上海延华大数据科技有限公司 | 基于深度学习的糖尿病视网膜病变图像多分类方法 |
| CN111260551A (zh) * | 2020-01-08 | 2020-06-09 | 华南理工大学 | 一种基于深度学习的视网膜超分辨重建***及方法 |
-
2021
- 2021-02-04 CN CN202110159376.7A patent/CN113160119A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018201633A1 (zh) * | 2017-05-04 | 2018-11-08 | 深圳硅基仿生科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别*** |
| CN109691979A (zh) * | 2019-01-07 | 2019-04-30 | 哈尔滨理工大学 | 一种基于深度学习的糖尿病视网膜图像病变分类方法 |
| CN109948719A (zh) * | 2019-03-26 | 2019-06-28 | 天津工业大学 | 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 |
| CN110210570A (zh) * | 2019-06-10 | 2019-09-06 | 上海延华大数据科技有限公司 | 基于深度学习的糖尿病视网膜病变图像多分类方法 |
| CN111260551A (zh) * | 2020-01-08 | 2020-06-09 | 华南理工大学 | 一种基于深度学习的视网膜超分辨重建***及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李琼;柏正尧;刘莹芳;: "糖尿病性视网膜图像的深度学习分类方法", 中国图象图形学报, no. 10 * |
| 杜霞;: "基于深度卷积网络的糖尿病性视网膜病变分类", 现代计算机(专业版), no. 11 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494196A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
| CN114494196B (zh) * | 2022-01-26 | 2023-11-17 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
| CN116823760A (zh) * | 2023-06-25 | 2023-09-29 | 深圳市眼科医院(深圳市眼病防治研究所) | 早产儿视网膜病变治疗方式的自动识别方法及*** |
| CN117877692A (zh) * | 2024-01-02 | 2024-04-12 | 珠海全一科技有限公司 | 一种视网膜病变个性化差异分析方法 |
| CN117936079A (zh) * | 2024-03-21 | 2024-04-26 | 中国人民解放军总医院第三医学中心 | 基于流形学习的糖尿病视网膜病变识别方法、介质及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615051B (zh) | 基于深度学习的糖尿病视网膜图像分类方法及*** | |
| CN113160119A (zh) | 一种基于深度学习的糖尿病视网膜病变图像分类方法 | |
| US10413180B1 (en) | System and methods for automatic processing of digital retinal images in conjunction with an imaging device | |
| SujithKumar et al. | Automatic detection of diabetic retinopathy in non-dilated RGB retinal fundus images | |
| CN110648344B (zh) | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 | |
| CN104102899B (zh) | 视网膜血管识别方法及装置 | |
| CN112837805B (zh) | 基于深度学习的眼睑拓扑形态特征的提取方法 | |
| CN111785363A (zh) | 一种基于ai引导的慢性病辅助诊断*** | |
| WO2010131944A2 (en) | Apparatus for monitoring and grading diabetic retinopathy | |
| Liu et al. | Segmenting nailfold capillaries using an improved U-net network | |
| Dai et al. | A novel meibomian gland morphology analytic system based on a convolutional neural network | |
| Su et al. | Superficial punctate keratitis grading for dry eye screening using deep convolutional neural networks | |
| CN111461218A (zh) | 糖网病眼底图像的样本数据标注*** | |
| CN114549520A (zh) | 基于全卷积注意力增强网络的视网膜病理切片分析*** | |
| Muddamsetty et al. | Multi-level quality assessment of retinal fundus images using deep convolution neural networks | |
| Zhang et al. | Hierarchical detection of red lesions in retinal images by multiscale correlation filtering | |
| Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
| CN114334124A (zh) | 一种基于深度神经网络的病理性近视检测*** | |
| Chakrabarty et al. | A novel approach to glaucoma screening using computer vision | |
| Sampson et al. | Evaluation of focus and deep learning methods for automated image grading and factors influencing image quality in adaptive optics ophthalmoscopy | |
| CN111292285A (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 | |
| Kanakatte et al. | A decision support system for retinal image defect detection | |
| CN111291706B (zh) | 一种视网膜图像视盘定位方法 | |
| Resita et al. | Color RGB and structure GLCM method to feature extraction system in endoscope image for the diagnosis support of otitis media disease | |
| Azeroual et al. | Convolutional Neural Network for Segmentation and Classification of Glaucoma. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |