CN115587979B - 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 - Google Patents

基于三阶段注意力网络的糖尿病视网膜病变分级的方法 Download PDF

Info

Publication number
CN115587979B
CN115587979B CN202211233514.2A CN202211233514A CN115587979B CN 115587979 B CN115587979 B CN 115587979B CN 202211233514 A CN202211233514 A CN 202211233514A CN 115587979 B CN115587979 B CN 115587979B
Authority
CN
China
Prior art keywords
representing
network
attention
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211233514.2A
Other languages
English (en)
Other versions
CN115587979A (zh
Inventor
蹇木伟
陈鸿瑜
王芮
举雅琨
杨成东
武玉增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiude Intelligent Technology Co ltd
Linyi University
Shandong University of Finance and Economics
Original Assignee
Shandong Jiude Intelligent Technology Co ltd
Linyi University
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiude Intelligent Technology Co ltd, Linyi University, Shandong University of Finance and Economics filed Critical Shandong Jiude Intelligent Technology Co ltd
Priority to CN202211233514.2A priority Critical patent/CN115587979B/zh
Publication of CN115587979A publication Critical patent/CN115587979A/zh
Application granted granted Critical
Publication of CN115587979B publication Critical patent/CN115587979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法,包括两部分，一是构建针对糖尿病视网膜病变分级任务的三阶段网络模型，该模型可以将复杂的糖尿病视网膜病变五分类任务拆分成特定的二/三分类任务，使具有特定病变的类别由特定的模型进行分类，有利于提升整体分级的准确性。二是在三阶段模型中分别加入注意力模块，其中设计了一种非局部空间注意力模块，该模块可以使模型具有兼顾上下文信息且对病变的空间位置信息敏感，可以有效的将易混淆类别进行准确分类，从而提升每个阶段模型的准确率和整体模型的分类效率。

Description

基于三阶段注意力网络的糖尿病视网膜病变分级的方法
技术领域
本发明涉及计算机视觉领域以及医疗技术领域，具体而言，特别涉及一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法。
背景技术
糖尿病视网膜病变(Diabetic Retinopathy,DR)是糖尿病的一种并发症，它是导致失明和视力残疾的最常见的病症。根据2003年《国际临床DR分类体系》，DR根据眼底病变可分为无DR、轻、中、重度非增生性DR (NPDR)和增生性DR (PDR) 五个阶段，其中增生性DR的病变程度最严重。目前医学中的主要治疗手段是抗血管内皮生长因子（VEGF）注射或激光光凝治疗。但尽管存在治疗方法，发生失明的概率很大程度上仍取决于早期诊断。
基于深度学习的疾病分级在解决临床问题方面取得了巨大成功。疾病分级预测患病类别可以辅助医生完成疾病早期诊断。目前针对糖尿病视网膜病变严重程度分级的模型被提出，但其分级准确率仍有待进一步提升，对于模型准确率不高的原因，有以下几点可能性：1）卷积神经网络中的卷积核是一种局部特征提取操作，对于上下文信息关注不够，这在DR分级中存在一定的局限性，因为在眼底图像中，可能存在长距离的相似病灶，如微动脉瘤。2）对于DR中的不同病灶，它们的形状也有所不同，如微动脉瘤在眼底图像中成点状，出血及渗出物则有可能成片状，因此模型不仅要提取纹理特征，也要适当的提取形状特征。3）现有大多数模型在DR严重程度分级中，有/无DR的二分类任务表现很好，但在轻/中/重DR和增殖性DR的多分类任务中的表现不尽人意。
综上所述，对于DR严重程度分级任务，提升模型性能的着力点可以放在模型设计、结合眼底图像中的上下文信息以及提取更多病灶的形状特征上。
发明内容
为了弥补现有技术的不足，本发明为提高糖尿病视网膜病变严重程度分级的效率，更好的辅助医师对患者的早期诊断，设计了一种基于非局部注意力的三阶段网络模型。本发明提供了一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法。
本发明是通过如下技术方案实现的：一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法，具体包括以下步骤：
S1、构建数据集：首先根据数据集的原始五分类标签，将其重映射为相应的二分类标签和三分类标签；然后将数据集划分为训练集和测试集，并依照三类标签将原始训练集划分为三种特定训练集、/>、/>；
S2、设计非局部注意力模块：包括非局部通道注意力模块和非局部空间注意力模块/>；非局部注意力模块包含特征提取、非局部注意力计算两部分，两部分以并行的方式设计，图像/>进入模块后的输出为非局部通道注意力图/>或非局部空间注意力图；
S3：构建基于多标签的多分类网络模型并训练；模型根据S1中重定义的三类标签将网络分为Stage1、Stage2和Stage3三个阶段，其中Stage1和Stage2为二分类任务，Stage3为三分类任务，在网络模型的训练阶段这三部分是独立运行的，测试阶段则是串行；即将S1所述训练集、/>、/>分别输入到三种模型中进行训练，得到训练完成的三种模型；
S4：将所述测试集依次输入到三阶段网络模型中进行预测，得到最终的预测结果；
S5：模型评估：利用准确率（Accuracy）指标对网络分级效果进行综合评价。
作为优选方案，步骤S1采用kaggle上的APTOS 2019Blindness Detection公开数据集，该数据集的原始标签为，其中0代表无DR，1代表轻度DR，2代表中度DR，3代表重度DR，4代表增殖性DR，具体包括以下步骤：
S1-1、将数据集以8：2比例划分为原始训练集和测试集；
S1-2、依据数据集自带的五分类标签，将划分出的原始训练集重新构建为多标签，即，/>,2,3}，其中/>中0代表无DR，1代表有DR；/>中0代表非增值性，1代表增殖性DR；/>中1代表轻度DR，2代表中度DR，3代表重度DR；
S1-3、根据新的标签，将原始训练集构建为三种特定训练集、/>、/>，其中/>包含原始训练集的全部样本；/>仅包含有DR的样本；/>仅包含非增值性DR样本；
作为优选方案，步骤S2具体包括以下步骤：
S2-1、构建非局部通道注意力模块：
S2-1-1、采用三层卷积进行特征提取，并在其中加入了ResNet网络中的残差块，图像进行特征提取后得到特征图/>：
(I))))) （1）；
其中、/>分别代表1x1卷积和3x3卷积，/>表示ReLU激活函数。
S2-1-2、非局部通道注意力部分分为全局感知和通道注意力两个子部分；首先对图像进行全局信息建模，数学化表示为：
（2）；
其中i是要计算其响应的输出位置的索引，j是所有可能位置的索引，代表一个1x1卷积，/>是一个归一化参数；/>由公式（3）表示：
（3）；
其中和/>分别代表两个不同的1x1卷积；
S2-1-3、将得到的具有上下文信息的进一步进入通道注意力部分，生成通道注意力向量/>，数学化表示为：
(/>Pool(/>)))/>(/>MaxPool(/>))) （4）；
其中，Pool和MaxPool分别代表平均池化和最大池化操作，然后利用全连接层和/>来学习通道之间的依赖关系/>代表Sigmoid激活函数；/>表示按元素相加操作；
S2-1-4、将通道注意力向量与特征图/>融合，得到带通道注意力的特征图，再通过shortcut操作得到最终非局部通道注意力模块/>的输出/>，数学化表示为：
（5）；
其中代表按元素相乘操作，/>代表按元素相加操作；
S2-2、构建非局部空间注意力模块：
S2-2-1、与S2-1中S2-1-1的特征提取操作类似，不同的是将3x3卷积替换为13x13的大核卷积，增加有效感受野，使特征图具有更多的形状偏置。图像进行特征提取后得到特征图/>：
(I))))) （6）
S2-2-2、非局部空间注意力部分分为全局建模和生成空间注意力两个子部分；全局建模操作同S2-1中公式（2）和（3），得到具有上下文信息的图像。
S2-2-3、进一步进入空间注意力部分，生成空间注意力向量/>，数学化表示为：
（7）
其中代表7x7卷积，/>代表Sigmoid激活函数，AvgPool和MaxPool分别表示平均池化操作和最大池化操作。
S2-2-4、同S2-1中的公式（5）操作，得到最终非局部空间注意力模块的输出。
作为优选方案，步骤S3中构建三阶段网络模型Stage1、Stage2、Stage3，具体包括以下步骤：
S3-1、构建Stage1；Stage1以作为基本结构，通过堆叠/>，/>，...，/>并在最后加入两层/>、/>作为分类头，得到Stage1网络模型。图像I进入Stage1将得到两分类结果，数学化表达如下：
(.../>（8）
))) （9）
其中分别表示模型预测样本类别/>的概率值；
S3-2构建Stage2、3；Stage2、3均以作为基本结构/>通过堆叠/>，/>，...，并在最后加入两层/>、/>作为分类头，得到Stage2、3网络模型。图像I进入Stage2将得到两分类结果，数学化表达如下：
(.../>（10）
))) （11）
其中分别表示模型预测样本类别/>的概率值。
图像I进入Stage3将得到三分类结果，数学化表达如下：
(.../>（12）
))) （13）
其中分别表示模型预测样本类别/>的概率值。
S3-3、构建不同阶段的模型优化目标；Stage1、Stage2由于是二分类网络，采用交叉熵损失函数：
（14）
其中N表示样本个数，表示第i个样本的标签，/>表示第i个样本为正的概率；在Stage1中/>；Stage2中/>；
Stage3的训练集采用Focal-Loss作为其损失函数：
（15）
其中和/>是两个超参数，这里设置为0.25和2，/>表示第i个样本的权重，/>用来控制难易分类样本，/>表示预测第i个样本的概率值，/>；
S3-4:将S1所述训练集、/>、/>分别输入到三种模型中进行训练，得到训练完成的三种模型。
作为优选方案，骤S4具体包括以下步骤：
S4-1、将测试集样本输入到训练后的Stage1网络中，得到二分类结果。若=0，则作为最终预测结果/>=0；若/>=1，则说明该图像存在DR病变，则图像进入Stage2中进行进一步预测；
S4-2、图像进入Stage2网络中，得到二分类结果；若/>=1，则作为最终预测结果/>=4；若/>=0，则说明该图像中DR病变为非增值性，则图像进入Stage3中进行进一步预测；
S4-3、图像进入Stage3网络中，得到三分类结果。Stage3网络预测的结果将作为最终预测的结果/>=/>。
作为优选方案，步骤S5具体包括以下步骤：
S5-1、比较测试集中所有样本的预测值和标签/>，计算分类正确的个数/>：
（16）；
其中N为测试集中样本总数，i表示测试集中的第i个样本。
S5-2、根据公式计算准确率以评判模型性能：
（17）。
本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本发明内容主要包括两部分，一是构建针对糖尿病视网膜病变分级任务的三阶段网络模型，该模型可以将复杂的糖尿病视网膜病变五分类任务拆分成特定的二/三分类任务，使具有特定病变的类别由特定的模型进行分类，有利于提升整体分级的准确性。二是在三阶段模型中分别加入注意力模块，其中设计了一种非局部空间注意力模块，该模块可以使模型具有兼顾上下文信息且对病变的空间位置信息敏感，可以有效的将易混淆类别进行准确分类，从而提升每个阶段模型的准确率和整体模型的分类效率。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的总体流程图；
图2为非局部通道注意力模块示意图；
图3为非局部空间注意力模块示意图；
图4为网络训练-测试流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明为提高糖尿病视网膜病变严重程度分级的效率，更好的辅助医师对患者的早期诊断，设计了一种基于非局部注意力的三阶段网络模型。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。下面结合图1至图3对本发明的实施例的基于三阶段注意力网络的糖尿病视网膜病变分级的方法进行具体说明。
本发明提出了一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法，具体包括以下步骤：
S1、构建数据集：首先根据数据集的原始五分类标签，将其重映射为相应的二分类标签和三分类标签；然后将数据集划分为训练集和测试集，并依照三类标签将原始训练集划分为三种特定训练集、/>、/>；采用kaggle上的APTOS 2019Blindness Detection公开数据集，该数据集的原始标签为/>，其中0代表无DR，1代表轻度DR，2代表中度DR，3代表重度DR，4代表增殖性DR，如图1所示，具体包括以下步骤：
S1-1、将数据集以8：2比例划分为原始训练集和测试集；
S1-2、依据数据集自带的五分类标签，将划分出的原始训练集重新构建为多标签，即，/>,2,3}，其中/>中0代表无DR，1代表有DR；/>中0代表非增值性，1代表增殖性DR；/>中1代表轻度DR，2代表中度DR，3代表重度DR；
S1-3、根据新的标签，将原始训练集构建为三种特定训练集、/>、/>，其中/>包含原始训练集的全部样本；/>仅包含有DR的样本；/>仅包含非增值性DR样本
S2、设计非局部注意力模块：包括非局部通道注意力模块和非局部空间注意力模块/>；非局部注意力模块包含特征提取、非局部注意力计算两部分，两部分以并行的方式设计，图像/>进入模块后的输出为非局部通道注意力图/>或非局部空间注意力图；如图2、3所示，所述步骤S2具体包括以下步骤：
S2-1、构建非局部通道注意力模块：
S2-1-1、采用三层卷积进行特征提取，并在其中加入了ResNet网络中的残差块，图像进行特征提取后得到特征图/>：
(I))))) （1）；
其中、/>分别代表1x1卷积和3x3卷积，/>表示ReLU激活函数。
S2-1-2、非局部通道注意力部分分为全局感知和通道注意力两个子部分；首先对图像进行全局信息建模，数学化表示为：
（2）；
其中i是要计算其响应的输出位置的索引，j是所有可能位置的索引，代表一个1x1卷积，/>是一个归一化参数；/>由公式（3）表示，目的是通过点乘的方式计算图像I各个像素之间的相似度，并用Softmax函数激活：
（3）；
其中和/>分别代表两个不同的1x1卷积；
S2-1-3、将得到的具有上下文信息的进一步进入通道注意力部分，生成通道注意力向量/>，数学化表示为：
(/>Pool(/>)))/>(/>MaxPool(/>))) （4）；
其中，Pool和MaxPool分别代表平均池化和最大池化操作，然后利用全连接层和/>来学习通道之间的依赖关系/>代表Sigmoid激活函数，目的是将各通道的权重值限制在（0，1）；/>表示按元素相加操作；
S2-1-4、将通道注意力向量与特征图/>融合，得到带通道注意力的特征图，再通过shortcut操作得到最终非局部通道注意力模块/>的输出/>，数学化表示为：
（5）；
其中代表按元素相乘操作，/>代表按元素相加操作；
S2-2、构建非局部空间注意力模块：
S2-2-1、与S2-1中S2-1-1的特征提取操作类似，不同的是将3x3卷积替换为13x13的大核卷积，增加有效感受野，使特征图具有更多的形状偏置。图像进行特征提取后得到特征图/>：
(I))))) （6）
S2-2-2、非局部空间注意力部分分为全局建模和生成空间注意力两个子部分；全局建模操作同S2-1中公式（2）和（3），得到具有上下文信息的图像。
S2-2-3、进一步进入空间注意力部分，生成空间注意力向量/>，数学化表示为：
（7）
其中代表7x7卷积，/>代表Sigmoid激活函数，AvgPool和MaxPool分别表示平均池化操作和最大池化操作。
S2-2-4、同S2-1中的公式（5）操作，得到最终非局部空间注意力模块的输出。
S3：构建基于多标签的多分类网络模型并训练；模型根据S1中重定义的三类标签将网络分为Stage1、Stage2和Stage3三个阶段，其中Stage1和Stage2为二分类任务，Stage3为三分类任务，在网络模型的训练阶段这三部分是独立运行的，测试阶段则是串行；即将S1所述训练集、/>、/>分别输入到三种模型中进行训练，得到训练完成的三种模型；构建三阶段网络模型Stage1、Stage2、Stage3，其中Stage1将对眼底图像中是/否存在DR进行分类；Stage2将对眼底图像中是/否为增殖性DR进行分类；Stage3的作用是对NPDR眼底图像分析并进一步细分其严重程度，具体包括以下步骤：
S3-1、构建Stage1；Stage1以作为基本结构，通过堆叠/>，/>，...，/>并在最后加入两层/>、/>作为分类头，得到Stage1网络模型。图像I进入Stage1将得到两分类结果，数学化表达如下：
(.../>（8）
))) （9）
其中分别表示模型预测样本类别/>的概率值；
S3-2构建Stage2、3；Stage2、3均以作为基本结构/>通过堆叠/>，/>，...，并在最后加入两层/>、/>作为分类头，得到Stage2、3网络模型。图像I进入Stage2将得到两分类结果，数学化表达如下：
(.../>（10）
))) （11）
其中分别表示模型预测样本类别/>的概率值。
图像I进入Stage3将得到三分类结果，数学化表达如下：
(.../>（12）
))) （13）
其中分别表示模型预测样本类别/>的概率值。
S3-3、构建不同阶段的模型优化目标；Stage1、Stage2由于是二分类网络，采用交叉熵损失函数：
（14）
其中N表示样本个数，表示第i个样本的标签，/>表示第i个样本为正的概率；在Stage1中/>；Stage2中/>；
Stage3的训练集存在样本不平衡问题，为缓解这一问题，采用Focal-Loss作为其损失函数：
（15）
其中和/>是两个超参数，这里设置为0.25和2，/>表示第i个样本的权重，/>用来控制难易分类样本，/>表示预测第i个样本的概率值，/>；
S3-4:将S1所述训练集、/>、/>分别输入到三种模型中进行训练，得到训练完成的三种模型。
S4：将所述测试集依次输入到三阶段网络模型中进行预测，得到最终的预测结果；具体包括以下步骤：
S4-1、将测试集样本输入到训练后的Stage1网络中，得到二分类结果。若=0，则作为最终预测结果/>=0；若/>=1，则说明该图像存在DR病变，则图像进入Stage2中进行进一步预测；
S4-2、图像进入Stage2网络中，得到二分类结果；若/>=1，则作为最终预测结果/>=4；若/>=0，则说明该图像中DR病变为非增值性，则图像进入Stage3中进行进一步预测；
S4-3、图像进入Stage3网络中，得到三分类结果。Stage3网络预测的结果将作为最终预测的结果/>=/>。
S5：模型评估：利用准确率（Accuracy）指标对网络分级效果进行综合评价；具体包括以下步骤：
S5-1、比较测试集中所有样本的预测值和标签/>，计算分类正确的个数/>：
（16）；
其中N为测试集中样本总数，i表示测试集中的第i个样本。
S5-2、根据公式计算准确率以评判模型性能：
（17）。
在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法，其特征在于,具体包括以下步骤：
S1、构建数据集：首先根据数据集的原始五分类标签，将其重映射为相应的二分类标签和三分类标签；然后将数据集划分为训练集和测试集，并依照三类标签将原始训练集划分为三种特定训练集、/>、/>；
采用kaggle上的APTOS 2019Blindness Detection公开数据集，该数据集的原始标签为，其中0代表无DR，1代表轻度DR，2代表中度DR，3代表重度DR，4代表增殖性DR，具体包括以下步骤：
S1-1、将数据集以8：2比例划分为原始训练集和测试集；
S1-2、依据数据集自带的五分类标签，将划分出的原始训练集重新构建为多标签，即，/>,2,3}，其中/>中0代表无DR，1代表有DR；/>中0代表非增值性，1代表增殖性DR；/>中1代表轻度DR，2代表中度DR，3代表重度DR；
S1-3、根据新的标签，将原始训练集构建为三种特定训练集、/>、/>，其中/>包含原始训练集的全部样本；/>仅包含有DR的样本；/>仅包含非增值性DR样本；
S2、设计非局部注意力模块：包括非局部通道注意力模块和非局部空间注意力模块；非局部注意力模块包含特征提取、非局部注意力计算两部分，两部分以并行的方式设计，图像/>进入模块后的输出为非局部通道注意力图/>或非局部空间注意力图/>；
具体包括以下步骤：
S2-1、构建非局部通道注意力模块：
S2-1-1、采用三层卷积进行特征提取，并在其中加入了ResNet网络中的残差块，图像进行特征提取后得到特征图/>：
(I))))) （1）；
其中、/>分别代表1x1卷积和3x3卷积，/>表示ReLU激活函数；
S2-1-2、非局部通道注意力部分分为全局感知和通道注意力两个子部分；首先对图像进行全局信息建模，数学化表示为：
（2）；
其中i是要计算其响应的输出位置的索引，j是所有可能位置的索引，代表一个1x1卷积，/>是一个归一化参数；/>由公式（3）表示：
（3）；
其中和/>分别代表两个不同的1x1卷积；
S2-1-3、将得到的具有上下文信息的进一步进入通道注意力部分，生成通道注意力向量/>，数学化表示为：
(/>Pool(/>)))/>(/>MaxPool(/>))) （4）；
其中，Pool和MaxPool分别代表平均池化和最大池化操作，然后利用全连接层/>和来学习通道之间的依赖关系/>代表Sigmoid激活函数；/>表示按元素相加操作；
S2-1-4、将通道注意力向量与特征图/>融合，得到带通道注意力的特征图，再通过shortcut操作得到最终非局部通道注意力模块/>的输出/>，数学化表示为：
（5）；
其中代表按元素相乘操作，/>代表按元素相加操作；
S2-2、构建非局部空间注意力模块：
S2-2-1、与S2-1中S2-1-1的特征提取操作类似，不同的是将3x3卷积替换为13x13的大核卷积，增加有效感受野，使特征图具有更多的形状偏置；图像进行特征提取后得到特征图/>：
(I))))) （6）
S2-2-2、非局部空间注意力部分分为全局建模和生成空间注意力两个子部分；全局建模操作同S2-1中公式（2）和（3），得到具有上下文信息的图像；
S2-2-3、进一步进入空间注意力部分，生成空间注意力向量/>，数学化表示为：
（7）
其中代表7x7卷积，/>代表Sigmoid激活函数，AvgPool和MaxPool分别表示平均池化操作和最大池化操作；
S2-2-4、同S2-1中的公式（5）操作，得到最终非局部空间注意力模块的输出/>；
S3：构建基于多标签的多分类网络模型并训练；模型根据S1中重定义的三类标签将网络分为Stage1、Stage2和Stage3三个阶段，其中Stage1和Stage2为二分类任务，Stage3为三分类任务，在网络模型的训练阶段这三部分是独立运行的，测试阶段则是串行；即将S1所述训练集、/>、/>分别输入到三种模型中进行训练，得到训练完成的三种模型；
具体包括以下步骤：
S3-1、构建Stage1；Stage1以作为基本结构，通过堆叠/>，/>，...，/>并在最后加入两层/>、/>作为分类头，得到Stage1网络模型；图像I进入Stage1将得到两分类结果，数学化表达如下：
(.../>（8）
))) （9）
其中分别表示模型预测样本类别/>的概率值；
S3-2构建Stage2、3；Stage2、3均以作为基本结构/>通过堆叠/>，/>，...，/>并在最后加入两层/>、/>作为分类头，得到Stage2、3网络模型；图像I进入Stage2将得到两分类结果，数学化表达如下：
(.../>（10）
))) （11）
其中分别表示模型预测样本类别/>的概率值；
图像I进入Stage3将得到三分类结果，数学化表达如下：
(.../>（12）
))) （13）
其中分别表示模型预测样本类别/>的概率值；
S3-3、构建不同阶段的模型优化目标；Stage1、Stage2由于是二分类网络，
采用交叉熵损失函数：
（14）
其中N表示样本个数，表示第i个样本的标签，/>表示第i个样本为正的概率；在Stage1中/>；Stage2中/>；
Stage3的训练集采用Focal-Loss作为其损失函数： （15）
其中和/>是两个超参数，这里设置为0.25和2，/>表示第i个样本的权重，/>用来控制难易分类样本，/>表示预测第i个样本的概率值，/>；
S3-4:将S1所述训练集、/>、/>分别输入到三种模型中进行训练，得到训练完成的三种模型；
S4：将所述测试集依次输入到三阶段网络模型中进行预测，得到最终的预测结果；
S5：模型评估：利用准确率指标对网络分级效果进行综合评价。
2.根据权利要求1所述的一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法,其特征在于, 所述步骤S4具体包括以下步骤：
S4-1、将测试集样本输入到训练后的Stage1网络中，得到二分类结果；
若=0，则作为最终预测结果/>=0；若/>=1，则说明该图像存在DR病变，则图像进入Stage2中进行进一步预测；
S4-2、图像进入Stage2网络中，得到二分类结果；若/>=1，则作为最终预测结果/>=4；若/>=0，则说明该图像中DR病变为非增值性，则图像进入Stage3中进行进一步预测；
S4-3、图像进入Stage3网络中，得到三分类结果；Stage3网络预测的结果将作为最终预测的结果/>=/>。
3.根据权利要求1所述的一种基于三阶段注意力网络的糖尿病视网膜病变分级的方法,其特征在于, 所述步骤S5具体包括以下步骤：
S5-1、比较测试集中所有样本的预测值和标签/>，计算分类正确的个数/>；
S5-2、根据公式计算准确率以评判模型性能：
（17），其中N为测试集中样本总数。
CN202211233514.2A 2022-10-10 2022-10-10 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 Active CN115587979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211233514.2A CN115587979B (zh) 2022-10-10 2022-10-10 基于三阶段注意力网络的糖尿病视网膜病变分级的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211233514.2A CN115587979B (zh) 2022-10-10 2022-10-10 基于三阶段注意力网络的糖尿病视网膜病变分级的方法

Publications (2)

Publication Number Publication Date
CN115587979A CN115587979A (zh) 2023-01-10
CN115587979B true CN115587979B (zh) 2023-08-15

Family

ID=84780924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211233514.2A Active CN115587979B (zh) 2022-10-10 2022-10-10 基于三阶段注意力网络的糖尿病视网膜病变分级的方法

Country Status (1)

Country Link
CN (1) CN115587979B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116384448B (zh) * 2023-04-10 2023-09-12 中国人民解放军陆军军医大学 基于混合高阶非对称卷积网络的cd严重程度分级***

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110837803A (zh) * 2019-11-07 2020-02-25 复旦大学 基于深度图网络的糖尿病视网膜病变分级方法
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注***
CN111639564A (zh) * 2020-05-18 2020-09-08 华中科技大学 一种基于多注意力异构网络的视频行人重识别方法
AU2020103938A4 (en) * 2020-12-07 2021-02-11 Capital Medical University A classification method of diabetic retinopathy grade based on deep learning
CN112733961A (zh) * 2021-01-26 2021-04-30 苏州大学 基于注意力机制的糖尿病视网膜病变的分类方法及***
CN112819797A (zh) * 2021-02-06 2021-05-18 国药集团基因科技有限公司 一种糖尿病性视网膜病变分析方法、装置、***、以及存储介质
CN113537375A (zh) * 2021-07-26 2021-10-22 深圳大学 一种基于多尺度级联的糖尿病视网膜病变分级方法
CN113723451A (zh) * 2021-07-20 2021-11-30 山东师范大学 视网膜图像分类模型训练方法、***、存储介质及设备
CN113888412A (zh) * 2021-11-23 2022-01-04 钟家兴 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN114219807A (zh) * 2022-02-22 2022-03-22 成都爱迦飞诗特科技有限公司 乳腺超声检查图像分级方法、装置、设备和存储介质
CN114266757A (zh) * 2021-12-25 2022-04-01 北京工业大学 一种基于多尺度融合注意力机制的糖尿病性视网膜病变分级方法
CN114287878A (zh) * 2021-10-18 2022-04-08 江西财经大学 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
CN115049898A (zh) * 2022-07-05 2022-09-13 西安电子科技大学 基于区域块特征增强与抑制的腰椎间盘退变自动分级方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095261A (zh) * 2017-04-27 2020-05-01 视网膜病答案有限公司 眼底图像自动分析***和方法
CN109753978B (zh) * 2017-11-01 2023-02-17 腾讯科技（深圳）有限公司 图像分类方法、装置以及计算机可读存储介质
CN109686444A (zh) * 2018-12-27 2019-04-26 上海联影智能医疗科技有限公司 用于医学图像分级的***和方法
EP3937753A4 (en) * 2019-03-13 2023-03-29 The Board Of Trustees Of The University Of Illinois SUPERVISED MACHINE LEARNING BASED ON RETINOPATHY CLASSIFICATION BY MULTI-TASKING ARTIFICIAL INTELLIGENCE
CN112906623A (zh) * 2021-03-11 2021-06-04 同济大学 一种基于多尺度深度监督的反向注意力模型

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110837803A (zh) * 2019-11-07 2020-02-25 复旦大学 基于深度图网络的糖尿病视网膜病变分级方法
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注***
CN111639564A (zh) * 2020-05-18 2020-09-08 华中科技大学 一种基于多注意力异构网络的视频行人重识别方法
AU2020103938A4 (en) * 2020-12-07 2021-02-11 Capital Medical University A classification method of diabetic retinopathy grade based on deep learning
CN112733961A (zh) * 2021-01-26 2021-04-30 苏州大学 基于注意力机制的糖尿病视网膜病变的分类方法及***
CN112819797A (zh) * 2021-02-06 2021-05-18 国药集团基因科技有限公司 一种糖尿病性视网膜病变分析方法、装置、***、以及存储介质
CN113723451A (zh) * 2021-07-20 2021-11-30 山东师范大学 视网膜图像分类模型训练方法、***、存储介质及设备
CN113537375A (zh) * 2021-07-26 2021-10-22 深圳大学 一种基于多尺度级联的糖尿病视网膜病变分级方法
CN114287878A (zh) * 2021-10-18 2022-04-08 江西财经大学 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
CN113888412A (zh) * 2021-11-23 2022-01-04 钟家兴 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN114266757A (zh) * 2021-12-25 2022-04-01 北京工业大学 一种基于多尺度融合注意力机制的糖尿病性视网膜病变分级方法
CN114219807A (zh) * 2022-02-22 2022-03-22 成都爱迦飞诗特科技有限公司 乳腺超声检查图像分级方法、装置、设备和存储介质
CN115049898A (zh) * 2022-07-05 2022-09-13 西安电子科技大学 基于区域块特征增强与抑制的腰椎间盘退变自动分级方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于3D全时序卷积神经网络的视频显著性检测;王教金等;《计算机科学》;第47卷(第8期);第195-201页 *

Also Published As

Publication number Publication date
CN115587979A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
Li et al. Lesion-attention pyramid network for diabetic retinopathy grading
Jiang et al. White blood cells classification with deep convolutional neural networks
CN113421652A (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
Lim et al. The adoption of deep learning interpretability techniques on diabetic retinopathy analysis: a review
CN108765374B (zh) 一种宫颈涂片图像中异常核区域筛查的方法
Sikder et al. Supervised learning-based cancer detection
CN115587979B (zh) 基于三阶段注意力网络的糖尿病视网膜病变分级的方法
CN113380413A (zh) 一种构建无效再通fr预测模型的方法和装置
Orchi et al. Real-time detection of crop leaf diseases using enhanced YOLOv8 algorithm
Anandhakrishnan et al. Identification of tomato leaf disease detection using pretrained deep convolutional neural network models
Ali et al. COVID-19 pneumonia level detection using deep learning algorithm and transfer learning
CN115810130A (zh) 基于云计算和人工智能的融合多维度医疗数据的肿瘤精细分类***及应用
Singh et al. A novel hybridized feature selection strategy for the effective prediction of glaucoma in retinal fundus images
Bai et al. Optimized Deep Neuro-Fuzzy Network with MapReduce Architecture for Acute Lymphoblastic Leukemia Classification and Severity Analysis
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与***
Al-khuzaie et al. Developing an efficient VGG19-based model and transfer learning for detecting acute lymphoblastic leukemia (ALL)
Gong et al. Evolutionary neural network and visualization for CNN-based pulmonary textures classification
Ashok et al. Detection of macular diseases from optical coherence tomography images: Ensemble learning approach using vgg-16 and inception-v3
Wang et al. Diabetic retinopathy detection based on weakly supervised object localization and knowledge driven attribute mining
Hsu et al. Understanding the Mechanism of Deep Learning Framework for Lesion Detection in Pathological Images with Breast Cancer
Shovon et al. IHCNet: Advancing Multi-Stage HER2 Status Detection in Breast Cancer Using Interpretable Robust Transfer Learning Model from IHC Images
Mohammad et al. Comparative Analysis of MFO, GWO and GSO for Classification of Covid-19 Chest X-Ray Images
El Mohamadi et al. Enhanced Deep Learning Explainability for COVID-19 Diagnosis from Chest X-ray Images by Fusing Texture and Shape Features
KR102636461B1 (ko) 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법, 장치 및 시스템
Rahman et al. Segmentation and classification of skin cancer in dermoscopy images using SAM-based deep belief networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant