CN115661066A - 基于分割和分类相融合的糖尿病性视网膜病变检测方法 - Google Patents

基于分割和分类相融合的糖尿病性视网膜病变检测方法 Download PDF

Info

Publication number
CN115661066A
CN115661066A CN202211290018.0A CN202211290018A CN115661066A CN 115661066 A CN115661066 A CN 115661066A CN 202211290018 A CN202211290018 A CN 202211290018A CN 115661066 A CN115661066 A CN 115661066A
Authority
CN
China
Prior art keywords
data
image
pictures
steps
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211290018.0A
Other languages
English (en)
Inventor
陈宇
徐仕豹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202211290018.0A priority Critical patent/CN115661066A/zh
Publication of CN115661066A publication Critical patent/CN115661066A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于分割和分类相融合的糖尿病性视网膜病变检测方法，基于分割和分类相融合的糖尿病性视网膜病变检测方法：首先获取相关IDRiD和DDR的数据集。对数据集进行预处理，将其裁剪为512x512的尺寸，同时进行对比度增强，使得图像的病变信息表现的更加明显。为了降低DR分类的难度和解决图像域差异的问题，我们采用两阶段的分类网络实现DR的五分类。在第一阶段中，使用ST‑Net对NPDR和PDR数据进行分类。在第二阶段中，使用改进的UNet和ViSion Transformer相结合(称为MT‑SNet)对病变进行分割，再融入到原始图像中。在分割后的NPDR数据中，再使用SRVGG进行分类。

Description

基于分割和分类相融合的糖尿病性视网膜病变检测方法
技术领域：
本发明涉及糖尿病视网膜领域，尤其涉及一种基于分割和分类相融合的糖尿病性视网膜病变检测方法。
背景技术：
目前，糖尿病视网膜病变诊断检测的研究领域已经有了很多重要发现。国外基于全局图像的糖尿病视网膜分类针对全图的整体特征信息来设计不同的特征提取方法进行分类，不需要针对单一的病灶特征信息进行特定的检测方法，避免复杂的特征提取工作。2014年Antal提出了一种基于整体的糖尿病视网膜病变筛查方法。该方法是基于从几种视网膜图像处理算法的输出中提取的特征，例如图像级别(质量评估，预筛查，AM/FM)，病变特定(微动脉瘤，渗出液)和解剖结构(黄斑，视盘)。然后由一组机器学习分类器做出有关疾病存在的最终判断。2016年Pratt提出了一种基于CNN的方法，用于从数字眼底图像诊断DR并对其严重性进行准确分类。开发了具有CNN特性的体系结构和数据增强功能的网络，该网络可以识别分类任务中涉及的复杂特征，例如视网膜上的微动脉瘤，渗出液和出血，因此可以自动进行诊断，而无需用户输入。2019年Torre等提出了糖尿病性视网膜病深度学习可解释的分类器。一方面，它将视网膜图像分类为具有可分辨特征的不同严重程度。另一方面，该分类器能够通过为隐藏和输入空间中的每个点分配分数来解释分类结果。
在我国，已经有很多高等院校进行了糖尿病视网膜分类检测的研究，并且取得很多成果。2012年，哈尔滨工业大学的陈向在分类阶段，针对分辨硬性渗出的需求，分析其图像中的特点后对所有待检验区域抽取了44个特征向量，使用支持向量机(SupportVectorMachine,SVM)进行分类，进而获得最终的分类器。2017年，人工智能技术得到了社会各界的广泛关注,深度学习日渐成为人工智能领域的主流学习算法。2017年，北京交通大学的丁蓬莉根据视网膜数据集的特殊性提出了一系列图像预处理方式，设计了紧凑的神经网络模型—CompactNet，比较了迭代次数和Kappa，可以得出CompactNet网络的微调方法要优于其他的网络的结论。先对图像数据集进行了数据预处理，使得不同类别的数量得到均衡。然后在DSN中添加了针对分类的监督信号，使得网络训练的准确率提高，训练时间也由15天减少至2.5天。同年，深圳大学的熊彪使用卷积神经网络对视网膜图像进行分类。在进行数据预处理扩增图像后，使用迁移学习对网络结构进行预训练，最后使用视网膜图像对网络进行训练。2018年周磊为了实现DR分类提出的一种多阶段注意力模型，这种注意力机制与CNN相结合提高分类的准确率。此外，使用稠密条件随机场进行图像分割，并使用多目标的分割算法对病灶进行了分割。
发明内容：
本发明为了克服现有方法的不足和缺点，提出一种基于分割和分类相融合的糖尿病性视网膜病变检测方法，特别是针对目前该领域数据存在域差异的问题，该发明将病变进行分割，作为分类的主要依据。以解决糖尿病视网膜病变诊断检测数据域差异的问题。
一种基于分割和分类相融合的糖尿病性视网膜病变检测方法，其特征在于，包括如下步骤：
步骤1：获取IDRiD和DDR公开的数据集，同时对数据集进行预处理；
步骤2：使用设计的ST-Net对NPDR和PDR数据进行分类；
步骤3：基于传统的UNet网络，对其中的Encoder进行改进，并融入VisionTransformer(构成MT-SNet)对NPDR的视网膜病变分割。并将分割的病变再融入到对应的原始视网膜图中；
步骤4：使用所设计的SRVGG对分割后的NPDR数据进行分类。
步骤1的实现包括：
步骤1.1：获取IDRiD和DDR公开的数据，其中IDRiD数据集采集431张视网膜图片，其中含有病变的一共81张，54张作为训练集，27张作为测试集，同时对每张图片进行标注了病变等级；
步骤1.2：DDR数据集采集了13673张视网膜图片，其中6835张作为训练集，2733张作为验证集，4105张作为测试集，同时对其中的757张图片进行了病变标注；
步骤1.3：先对数据进行裁剪，将多余的黑色边框裁剪掉。同时利用直方图均衡化实现数据对比度增强；
步骤1.4：通过重采样的方式实现类平衡。先对数据量大的类缩减样本，再通过旋转、裁剪、反转等方式对数据量小的类扩增。
步骤2的实现包括：
步骤2.1：在ResNet-50的基础上添加RGA注意力机制，构成新的ST-Net；
步骤2.2：使用ST-Net对NPDR和PDR数据进行分类。
步骤3的实现包括：
步骤3.1:在UNet基础上，将其Encoder部分替换为VGG16，同时对卷积进行分块，并去掉最后的全连接层；
步骤3.2:在修改后的UNet中引入Vision Transformer；
步骤3.2.1:对Encoder得到的图像进行序列化:
Encoder得到的矩阵格式不符合Vision Transformer的输入格式。按着VisionTransformer的介绍，需要经过一个图像序列化的过程，将输入的图像形状重塑为2Dpatch，patch的表示如公式(1)：
Figure BDA0003901007300000041
其中每个patch的大小是P×P，
Figure BDA0003901007300000042
是图像patch的数量(即输入序列长度)。
步骤3.2.2：获取并添加病变的位置信息：
经过图像序列化之后，使用可训练线性投影将矢量化patches Xp映射到潜在的D维嵌入空间。为了编码Patch的空间信息，我们学习了特定的病变位置信息。这些位置被添加到patch中，以保留位置信息，具体过程如公式(2)。
Figure BDA0003901007300000043
其中E是patch的嵌入投影，
Figure BDA0003901007300000044
表示学习到的病变位置。
步骤3.2.3：带有病灶位置的序列输入到Vision Transformer中进行特征提取，重复十二次：
Vision Transformer块由L层多头自我注意(MSA)和多层感知机(MLP)块组成(公式(3)(4))。因此，第τth层的输出可写入如下。
Q′ε＝MSA(LN(Qε-1))+Qε-1 (3)
Qε＝MLP(LN(Q′ε))+Q′ε (4)
其中LN(～)表示层归一化操作符，Qε表示编码图像表示。
步骤3.3：利用分割网络将视网膜图像的病变进行分割，并将分割后的图像与原始对应的图像融合。
步骤4的实现包括：
步骤4.1基RepVGG，在此基础上加入空间注意力机制，构成SRVGG；
步骤4.2利用分割后DDR数据集训练网络；
步骤4.3利用SRVGG对DDR数据集进行分类，实现NPDR的分类。最终结合第一阶段的结果，实现DR五分类，计算过程如公式(5)。
Figure BDA0003901007300000051
附图说明：
图1是分割和分类相融合的糖尿病性视网膜病变检测方法流程图。
图2基于分割和分类相融合的糖尿病性视网膜病变检测方法的结构图。
具体实施方式：
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施的整体流程示意图，如图1所示，该方法包括：
步骤1：获取IDRiD和DDR公开的数据集，同时对数据集进行预处理；
步骤2：使用设计的ST-Net对NPDR和PDR数据进行分类；
步骤3：基于传统的UNet网络，对其中的Encoder进行改进，并融入VisionTransformer(构成MT-SNet)对NPDR的视网膜病变分割。并将分割的病变再融入到对应的原始视网膜图中；
步骤4：使用所设计的SRVGG对分割后的NPDR数据进行分类。
步骤1的实现包括：
步骤1.1：获取IDRiD和DDR公开的数据，其中IDRiD数据集采集431张视网膜图片，其中含有病变的一共81张，54张作为训练集，27张作为测试集，同时对每张图片进行标注了病变等级；
步骤1.2：DDR数据集采集了13673张视网膜图片，其中6835张作为训练集，2733张作为验证集，4105张作为测试集，同时对其中的757张图片进行了病变标注；
步骤1.3：先对数据进行裁剪，将多余的黑色边框裁剪掉。同时利用直方图均衡化实现数据对比度增强；
步骤1.4：通过重采样的方式实现类平衡。先对数据量大的类缩减样本，再通过旋转、裁剪、反转等方式对数据量小的类扩增。
步骤2的实现包括：
步骤2.1：在ResNet-50的基础上添加RGA注意力机制，构成新的ST-Net；
步骤2.2：使用ST-Net对NPDR和PDR数据进行分类。
步骤3的实现包括：
步骤3.1:在UNet基础上，将其Encoder部分替换为VGG16，同时对卷积进行分块，去掉最后的全连接层；
步骤3.2:在修改后的UNet中引入Vision Transformer；
步骤3.2.1:对Encoder得到的图像进行序列化:
Encoder得到的矩阵格式不符合Vision Transformer的输入格式。按着VisionTransformer的介绍，需要经过一个图像序列化的过程，将输入的图像形状重塑为2Dpatch，patch的表示如公式(1)：
Figure BDA0003901007300000061
其中每个patch的大小是P×P，
Figure BDA0003901007300000062
是图像patch的数量(即输入序列长度)。
步骤3.2.2:获取并添加病变的位置信息:
经过图像序列化之后，使用可训练线性投影将矢量化patches Xp映射到潜在的D维嵌入空间。为了编码Patch的空间信息，我们学习了特定的病变位置信息。这些位置被添加到patch中，以保留位置信息，具体过程如公式(2)。
Figure BDA0003901007300000071
其中E是patch的嵌入投影，
Figure BDA0003901007300000072
表示学习到的病变位置。
步骤3.2.3：带有病灶位置的序列输入到Vision Transformer中进行特征提取，重复十二次：
Vision Transformer块由L层多头自我注意(MSA)和多层感知机(MLP)块组成(公式(3)(4))。因此，第τth层的输出可写入如下。
Q′ε＝MSA(LN(Qε-1))+Qε-1 (3)
Qε＝MLP(LN(Q′ε))+Q′ε (4)
其中LN(～)表示层归一化操作符，Qε表示编码图像表示。
步骤3.3：利用分割网络将视网膜图像的病变进行分割，并将分割后的图像与原始对应的图像融合。
步骤4的实现包括：
步骤4.1基RepVGG，在此基础上加入空间注意力机制，构成SRVGG；
步骤4.2利用分割后DDR数据集训练网络；
步骤4.3利用SRVGG对DDR数据集进行分类，实现NPDR的分类。
Figure BDA0003901007300000073
表1、表2和表三分别是本发明方法与其它先进方法在分割和分类两个领域的对比情况，结果充分表明本发明方法在糖尿病视网膜病变检测任务上的优越性。
表1 提出的方法与以往先进研究的比较(多病变分割实验)
Figure BDA0003901007300000081
表2 提出的网络与流行网络的比较(共同使用处理后的的同一个数据集)
Figure BDA0003901007300000082
表3 提出的方法与先进研究在分类指标上的对比
Figure BDA0003901007300000091
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。

Claims (1)

1.基于分割和分类相融合的糖尿病性视网膜病变检测方法，其特征在于：包括如下步骤：
步骤1：获取IDRiD和DDR公开的数据集，同时对数据集进行预处理；
步骤2：使用设计的ST-Net对NPDR和PDR数据进行分类；
步骤3：基于传统的UNet网络，对其中的Encoder进行改进，并融入Vision Transformer(构成MT-SNet)对NPDR的视网膜病变分割。并将分割的病变再融入到对应的原始视网膜图中；
步骤4：使用所设计的SRVGG对分割后的NPDR数据进行分类。
步骤1包括如下步骤：
步骤1.1：获取IDRiD和DDR公开的数据，其中IDRiD数据集采集431张视网膜图片，其中含有病变的一共81张，54张作为训练集，27张作为测试集，同时对每张图片进行标注了病变等级；
步骤1.2：DDR数据集采集了13673张视网膜图片，其中6835张作为训练集，2733张作为验证集，4105张作为测试集，同时对其中的757张图片进行了病变标注；
步骤1.3：先对数据进行裁剪，将多余的黑色边框裁剪掉。同时利用直方图均衡化实现数据对比度增强；
步骤1.4：通过重采样的方式实现类平衡。先对数据量大的类缩减样本，再通过旋转、裁剪、反转等方式对数据量小的类扩增。
步骤2包括如下步骤：
步骤2.1：在ResNet-50的基础上添加RGA注意力机制，构成新的ST-Net；
步骤2.2：使用ST-Net对NPDR和PDR数据进行分类。
步骤3包括如下步骤：
步骤3.1:在UNet基础上，将其Encoder部分替换为VGG16，同时对卷积进行分块，并去掉最后的全连接层；
步骤3.2:在修改后的UNet中引入Vision Transformer；
步骤3.2.1:对Encoder得到的图像进行序列化；
Encoder得到的矩阵格式不符合Vision Transformer的输入格式。按着VisionTransformer的介绍，需要经过一个图像序列化的过程，将输入的图像形状重塑为2Dpatch，patch的表示如公式(1)：
Figure FDA0003901007290000021
其中每个patch的大小是P×P，
Figure FDA0003901007290000022
是图像patch的数量(即输入序列长度)。
步骤3.2.2:获取并添加病变的位置信息；
经过图像序列化之后，使用可训练线性投影将矢量化patches Xp映射到潜在的D维嵌入空间。为了编码Patch的空间信息，我们学习了特定的病变位置信息。这些位置被添加到patch中，以保留位置信息，具体过程如公式(2)。
Figure FDA0003901007290000023
其中E是patch的嵌入投影，
Figure FDA0003901007290000024
表示学习到的病变位置。
步骤3.2.3:带有病灶位置的序列输入到Vision Transformer中进行特征提取，重复十二次；
Vision Transformer块由L层多头自我注意(MSA)和多层感知机(MLP)块组成(公式(3)(4))。因此，第τth层的输出可写入如下。
Q′ε＝MSA(LN(Qε-1))+Qε-1 (3)
Qε＝MLP(LN(Q′ε))+Q′ε (4)
其中LN(～)表示层归一化操作符，Qε表示编码图像表示。
步骤3.3:利用分割网络将视网膜图像的病变进行分割，并将分割后的图像与原始对应的图像融合。
步骤4包括如下步骤：
步骤4.1基于RepVGG，在此基础上加入空间注意力机制，构成SRVGG；
步骤4.2利用分割后DDR数据集训练网络；
步骤4.3利用SRVGG对DDR数据集进行分类，实现NPDR的分类,最终结合第一阶段的结果，实现DR五分类，计算过程如公式(5)。
Figure FDA0003901007290000031
CN202211290018.0A 2022-10-21 2022-10-21 基于分割和分类相融合的糖尿病性视网膜病变检测方法 Pending CN115661066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211290018.0A CN115661066A (zh) 2022-10-21 2022-10-21 基于分割和分类相融合的糖尿病性视网膜病变检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211290018.0A CN115661066A (zh) 2022-10-21 2022-10-21 基于分割和分类相融合的糖尿病性视网膜病变检测方法

Publications (1)

Publication Number Publication Date
CN115661066A true CN115661066A (zh) 2023-01-31

Family

ID=84988584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211290018.0A Pending CN115661066A (zh) 2022-10-21 2022-10-21 基于分割和分类相融合的糖尿病性视网膜病变检测方法

Country Status (1)

Country Link
CN (1) CN115661066A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721760A (zh) * 2023-06-12 2023-09-08 东北林业大学 融合生物标志物的多任务糖尿病性视网膜病变检测算法
CN117078697A (zh) * 2023-08-21 2023-11-17 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721760A (zh) * 2023-06-12 2023-09-08 东北林业大学 融合生物标志物的多任务糖尿病性视网膜病变检测算法
CN116721760B (zh) * 2023-06-12 2024-04-26 东北林业大学 融合生物标志物的多任务糖尿病性视网膜病变检测算法
CN117078697A (zh) * 2023-08-21 2023-11-17 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法
CN117078697B (zh) * 2023-08-21 2024-04-09 南京航空航天大学 一种基于级联模型融合的眼底病种检测方法

Similar Documents

Publication Publication Date Title
Math et al. Adaptive machine learning classification for diabetic retinopathy
Li et al. Fully automated detection of retinal disorders by image-based deep learning
Seeböck et al. Unsupervised identification of disease marker candidates in retinal OCT imaging data
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
Bilal et al. Diabetic retinopathy detection and classification using mixed models for a disease grading database
Haloi Improved microaneurysm detection using deep neural networks
CN115661066A (zh) 基于分割和分类相融合的糖尿病性视网膜病变检测方法
CN106940816A (zh) 基于3d全连接卷积神经网络的ct图像肺结节检测***
CN112132817A (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN109064455B (zh) 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN108027364A (zh) 用于确定细胞学分析***中的细胞充分性的***及方法
CN114066884B (zh) 视网膜血管分割方法及装置、电子设备和存储介质
David et al. Retinal Blood Vessels and Optic Disc Segmentation Using U‐Net
Vij et al. A novel deep transfer learning based computerized diagnostic Systems for Multi-class imbalanced diabetic retinopathy severity classification
Zhou et al. Automatic optic disc detection in color retinal images by local feature spectrum analysis
Huang et al. Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach
Lyu et al. Fundus image based retinal vessel segmentation utilizing a fast and accurate fully convolutional network
Yang et al. Retinal vessel segmentation based on an improved deep forest
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
Miao et al. Classification of diabetic retinopathy based on multiscale hybrid attention mechanism and residual algorithm
Aranha et al. Deep transfer learning strategy to diagnose eye-related conditions and diseases: An approach based on low-quality fundus images
Devi et al. A deep transfer learning approach for identification of diabetic retinopathy using data augmentation
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
Shamrat et al. An advanced deep neural network for fundus image analysis and enhancing diabetic retinopathy detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination