CN114170089B - 一种用于糖尿病视网膜病变分类的方法及电子设备 - Google Patents
一种用于糖尿病视网膜病变分类的方法及电子设备 Download PDFInfo
- Publication number
- CN114170089B CN114170089B CN202111540274.6A CN202111540274A CN114170089B CN 114170089 B CN114170089 B CN 114170089B CN 202111540274 A CN202111540274 A CN 202111540274A CN 114170089 B CN114170089 B CN 114170089B
- Authority
- CN
- China
- Prior art keywords
- super
- feature map
- resolution
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000003321 amplification Effects 0.000 claims abstract description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 7
- 238000011144 upstream manufacturing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 14
- 230000003902 lesion Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于糖尿病视网膜病变分类的方法及电子设备，方法包括超分辨率重建和利用图像分类网络对超分图像进行分类等步骤，超分辨率重建网络包括初步卷积层、深层特征提取单元、特征融合单元和图像放大模块，初步卷积层用于对眼底图像进行浅层特征提取，深层特征提取单元包括跳跃连接和多个残差注意力模块，图像放大模块用于对第二特征图进行超分辨率重建。本发明利用超分辨率技术增大眼底图像的分辨率，在有限的硬件条件下，提升基于深度学习方法对糖尿病视网膜病变分类的准确率，以满足实际诊断的需要，缓解医疗资源紧张的局面；超分辨率重建网络特征提取效率高，重建效果好。
Description
技术领域
本发明属于医疗和图像处理技术领域，具体地说，涉及一种用于糖尿病视网膜病变分类的方法及电子设备。
背景技术
糖尿病会引起多种并发症，糖尿病性视网膜病变(DR)是其中比较严重的一种，它能够导致患者视力出现障碍，甚至致盲。随着人们物质生活水平的提高，人均年龄逐渐增大，我国患糖尿病的人数也随之迅速扩大，需要进行视网膜病变诊断的患者数量快速增长。另一方面，常规的人工诊断依赖于医生的临床经验，而合格的医疗人员培养周期长，与快速增加的患者数量相比，医疗资源越来越匮乏，使得很多患者得不到及时的诊断和治疗，导致疾病恶化。
利用人工智能技术，尤其是深度学***不高，医疗设备条件落后，拍摄获取的视网膜图像分辨率普遍比较低，导致基于深度学习的图像分类方法误诊率高，难以满足实际的需要。
发明内容
针对现有技术中上述的不足，本发明提供了一种用于糖尿病视网膜病变分类的方法及电子设备，以提高对眼底视网膜图像分类的准确率。
为了达到上述目的，本发明采用的解决方案是：一种用于糖尿病视网膜病变分类的方法，包括以下步骤：
S1、获取眼底图像，获取训练好的超分辨率重建网络，利用所述超分辨率重建网络对所述眼底图像进行超分辨率重建，获得分辨率大于所述眼底图像的超分图像；
S2、获取训练好的图像分类网络，将所述超分图像输入所述图像分类网络，利用所述图像分类网络对所述超分图像进行分类；
所述超分辨率重建网络包括：
初步卷积层，所述初步卷积层用于对所述眼底图像进行浅层特征提取，获得第一特征图；
深层特征提取单元，所述深层特征提取单元的输入端与所述初步卷积层的输出端连接，所述深层特征提取单元包括跳跃连接和多个残差注意力模块，多个所述残差注意力模块首尾顺次连接，所述第一特征图通过所述跳跃连接输入各个所述残差注意力模块；
特征融合单元，所述特征融合单元用于将各个所述残差注意力模块输出的特征图融合，得到第二特征图；
图像放大模块，所述图像放大模块用于对所述第二特征图进行超分辨率重建，获得所述超分图像；
其中，所述残差注意力模块的数学模型为：
F1＝σ1(f31(Kn))
F2＝σ2(f32(Kn))
F3＝σ3(f33(F2))
F4＝fca(fT(F1,F2,K0))
F5＝fm(F4,[F1,F3])
Kn+1＝σ4(f1(F5))+Kn
其中，K0表示所述第一特征图，Kn为上游输出的特征图，K0和Kn同时作为所述残差注意力模块的输入，f31、f32和f33均表示卷积核大小为3*3的卷积操作，f1表示卷积核大小为1*1的卷积操作，σ1、σ2、σ3和σ4均表示非线性激活函数ReLU，fT表示三元融合模块，所述三元融合模块用于将F1、F2和K0融合，fca表示通道注意力模块，[·]表示对其中的特征图进行拼接操作，fm(F4，[F1,F3])表示F1与F3拼接后、再与F4融合，Kn+1表示所述残差注意力模块输出的特征图。
进一步地，所述三元融合模块可表示为如下公式：
FT1＝σT1(fT1([F1,F2,K0]))
FT2＝σT2(F1+F2)
FT＝σT3(fT3([FT1,FT2]))
其中，F1、F2和K0同时作为所述三元融合模块的输入，fT1表示卷积核大小为1*1的卷积操作，fT3表示卷积核大小为3*3的卷积操作，σT1、σT2和σT3均表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，FT为所述三元融合模块的输出。
进一步地，所述通道注意力模块的数学模型为：
Fa1＝δa1(fa12(σa1(fa11(pv(FT)))))
Fa2＝δa2(fa22(σa2(fa21(pM(FT)))))
Fa3＝δa3(fa32(σa3(fa31(pMax(FT)))))
其中，FT表示所述三元融合模块的输出，FT作为所述通道注意力模块的输入，pv表示全局方差池化操作，pM表示全局平均池化操作，pMax表示全局最大池化操作，fa11、fa12、fa21、fa22、fa31和fa32均表示全连接操作，σa1、σa2和σa3均表示非线性激活函数ReLU，δa1、δa2、和δa3均为sigmoid激活函数，Fa1、Fa2和Fa3为所述通道注意力模块输出的通道注意力图。
进一步地，特征图F1与特征图F3拼接后获得的特征图，与所述通道注意力图融合过程，包括以下步骤：
A1、特征图F1与特征图F3拼接后获得的特征图，分别与所述通道注意力模块输出的三个通道注意力图相乘，分别获得第一增强特征图、第二增强特征图和第三增强特征图，
A2、将所述第一增强特征图、所述第二增强特征图和所述第三增强特征图在通道方向上拼接。
进一步地，所述图像分类网络为MobileNet V3。
本发明还提供了一种用于糖尿病视网膜病变分类的电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的用于糖尿病视网膜病变分类的方法。
本发明的有益效果是：
(1)利用超分辨率技术增大眼底图像的分辨率，在有限的硬件条件下，提升基于深度学习方法对糖尿病视网膜病变分类的准确率，以满足实际诊断的需要，减轻医疗人员负担，缓解医疗资源紧张的局面，避免患者因为没有及时就诊导致病情加重；
(2)在残差注意力模块内部，输入的特征图先经过两个分支进行特征提取，其中一个为3*3大小的卷积操作，另外一个分支为串联的两个3*3卷积，相当于5*5的卷积操作，由于超分辨率重建是比分类更具象的任务，所以在本发明中，采用残差注意力模块前端卷积层输出的特征图输入三元融合模块，用以生成通道注意力图，因为这些特征图中包含相对更多的具象特征信息，生成的通道注意力图的调制效果也更好，有利于重建出效果更好的超分图像；
(3)为了更充分利用低分辨率图像中的信息，第一特征图通过跳跃连接输入各个残差注意力模块，第一特征图与残差注意力模块中的特征图融合后，经通道注意力模块生成的通道注意力图，更有利于调制提高高频信息的提取比例，减少无用信息冗余；
(4)对于不同的残差注意力模块，由于其在网络中的深度位置不同，F1、F2中信息的尺度也不同，为了使第一特征图能够与不同残差注意力模块中的F1特征图、F2特征图都能很好地融合，发明人创造性地设计了三元融合模块，F1、F2和第一特征图先通过拼接降维融合，得到的特征图再与F1、F2求和激活后的特征图拼接，最后通过3*3卷积层特征提取，这样很好地平衡了第一特征图中的具体特征信息和F1、F2中的抽象特征信息，输入不同残差注意力模块中的第一特征图能够与不同尺度的信息自适应地融合，提高有用特征信息提取效率；
(5)对于包含多个模块的注意力机制(如CBAM)，通常是将不同注意力模块产生的注意力图按照串联的方式依次与特征图相乘，上游注意力图对特征图调制后，改变了不同信息的重要性和占比，对位于后面的注意力模块会产生干扰，本发明则将三个分支生成的注意力图采用并联的方式进行调制，再通过拼接降维激活的方式融合，避免了不同注意力分支模块之间互相干扰，提高注意力机制的调制效果。
附图说明
图1为本发明的超分辨率重建网络结构示意图；
图2为本发明的残差注意力模块结构示意图；
图3为本发明的三元融合模块结构示意图；
图4为本发明的通道注意力模块第一分支结构示意图；
图5为本发明的通道注意力模块第二分支结构示意图；
图6为本发明的通道注意力模块第三分支结构示意图；
图7为本发明的特征融合单元结构示意图；
图8为本发明的图像放大模块结构示意图；
附图中：
1-眼底图像，2-初步卷积层，3-深层特征提取单元，4-跳跃连接，5-残差注意力模块，51-三元融合模块，52-通道注意力模块，53-第一分支，54-第二分支，55-第三分支，6-特征融合单元，7-图像放大模块，8-超分图像。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例：
收集眼底图像1，制作眼底图像数据集，并将数据集划分为第一训练集、第二训练集和测试集三个部分。第一训练集、第二训练集和测试集中均包含由人类专家标注的病变信息，病变信息包括无病变、轻微病变、中等病变、严重病变和增殖病变五个类别。
超分辨率重建网络训练：
超分辨率重建网络的结构如图1所示，本实施例中超分网络中包含十六个残差注意力模块5。对第一训练集图像进行下采样，获得低分辨眼底图像1，然后利用低分辨率眼底图像1和第一训练集图像对超分辨率重建网络进行训练。训练过程中采用L2损失函数优化模型。
初步卷积层2采用卷积核大小为3*3的卷积层实现，初步卷积层2输出的第一特征图通道数量为48，初步卷积层2的输出端与深层特征提取单元3的输入端连接。对于第一个残差注意力模块5，第一特征图同时从上游端和跳跃连接4两个方向输入第一个残差注意力模块5，后面下游的残差注意力模块5的输入端则是接受上一个残差注意力模块5输出的特征图作为输入。
残差注意力模块5的结构如图2所示，从上游输入残差注意力模块5的特征图先经过两个分支进行特征提取，两个分支输出的特征图(F1、F3)通道数量均为48，在通道方向上拼接后，通道数量变为96。
三元融合模块51的结构如图3所示，输入三元融合模块51的三个特征图(第一特征图、F1、F2)通道数量均为48，三个特征图先经过拼接、1*1卷积和激活操作后，输出通道数量为48的第一中间特征图。另一方面，F1和F2通过求和、激活后，输出通道数量为48的第二中间特征图。然后第一中间特征图和第二中间特征图经过拼接、3*3卷积和激活函数，输出通道数量为96的特征图，该特征图作为通道注意力模块52的输入。
在本实施例中，通道注意力模块52包括第一分支53(如图4所示)、第二分支54(如图5所示)和第三分支55(如图6所示)，三个分支均包括全局池化操作和两个全连接操作。在每个分支中，第一个全连接层的输入结点数为96，输出结点数为24，第二全连接层输入结点数为24，输出结点数为96。三个通道注意力图分别对F1、F3拼接后特征图进行调制后，在通道方向上拼接，然后输入1*1卷积层和ReLU激活函数，输出通道数量为48的特征图。
特征融合单元6的结构如图7所示，所有残差注意力模块5输出的特征图先在通道方向上拼接，然后利用1*1卷积层卷积，使通道数量变为48，最后经过一个ReLU激活函数输出第二特征图。
图像放大模块7可以采用现有的反卷积和亚像素卷积操作实现，在本实施例中，图像放大模块7的结构如图8所示，图像放大模块7包括两个放大组件和末端卷积层，末端卷积层设于图像放大组件的尾部，两个放大组件首尾顺次连接，放大组件包括顺次连接的反卷积层和ReLU激活函数。末端卷积层和反卷积层的卷积核尺寸均为3*3，特征图每经过一个放大组件，长宽尺寸变为原来的两倍，通道数量不变。对于末端卷积层，输入通道数量为48，输出通道数量为3的超分图像8。
图像分类网络训练：
利用训练完成的超分辨率重建网络，对第二训练集中的图像进行超分辨率重建，然后利用获得的超分图像8训练图像分类网络。图像分类网络采用MobileNet V3，训练过程中采用交叉熵作为损失函数。
糖尿病视网膜病变分类：
将测试集中图像输入前面训练好的超分辨率重建网络，重建输出的图像输入前面训练好的图像分类网络，结合标注信息，计算模型分类的准确率。
作为对比实验，将本发明所提供的超分辨率重建网络替换为SAN模型，按照上述方法，在完全相同的条件(包括训练集、框架、epoch、batchsize、放大倍数等)下重新训练SAN模型和图像分类网络，并在相同的测试集上进行测试，结果表明，采用本发明提供的超分辨率重建网络最终得到的分类结果精度，比采用SAN网络要高7.4％。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (6)
1.一种用于糖尿病视网膜病变分类的方法，其特征是：包括以下步骤：
S1、获取眼底图像，获取训练好的超分辨率重建网络，利用所述超分辨率重建网络对所述眼底图像进行超分辨率重建，获得分辨率大于所述眼底图像的超分图像；
S2、获取训练好的图像分类网络，将所述超分图像输入所述图像分类网络，利用所述图像分类网络对所述超分图像进行分类；
所述超分辨率重建网络包括：
初步卷积层，所述初步卷积层用于对所述眼底图像进行浅层特征提取，获得第一特征图；
深层特征提取单元，所述深层特征提取单元的输入端与所述初步卷积层的输出端连接，所述深层特征提取单元包括跳跃连接和多个残差注意力模块，多个所述残差注意力模块首尾顺次连接，所述第一特征图通过所述跳跃连接输入各个所述残差注意力模块；
特征融合单元，所述特征融合单元用于将各个所述残差注意力模块输出的特征图融合，得到第二特征图；
图像放大模块，所述图像放大模块用于对所述第二特征图进行超分辨率重建，获得所述超分图像；
其中，所述残差注意力模块的数学模型为：
F1＝σ1(f31(Kn))
F2＝σ2(f32(Kn))
F3＝σ3(f33(F2))
F4＝fca(fT(F1,F2,K0))
F5＝fm(F4,[F1,F3])
Kn+1＝σ4(f1(F5))+Kn
其中，K0表示所述第一特征图，Kn为上游输出的特征图，K0和Kn同时作为所述残差注意力模块的输入，f31、f32和f33均表示卷积核大小为3*3的卷积操作，f1表示卷积核大小为1*1的卷积操作，σ1、σ2、σ3和σ4均表示非线性激活函数ReLU，fT表示三元融合模块，所述三元融合模块用于将F1、F2和K0融合，fca表示通道注意力模块，[·]表示对其中的特征图进行拼接操作，fm(F4，[F1,F3])表示F1与F3拼接后、再与F4融合，Kn+1表示所述残差注意力模块输出的特征图。
2.根据权利要求1所述的用于糖尿病视网膜病变分类的方法，其特征是：所述三元融合模块可表示为如下公式：
FT1＝σT1(fT1([F1,F2,K0]))
FT2＝σT2(F1+F2)
FT＝σT3(fT3([FT1,FT2]))
其中，F1、F2和K0同时作为所述三元融合模块的输入，fT1表示卷积核大小为1*1的卷积操作，fT3表示卷积核大小为3*3的卷积操作，σT1、σT2和σT3均表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，FT为所述三元融合模块的输出。
3.根据权利要求1所述的用于糖尿病视网膜病变分类的方法，其特征是：所述通道注意力模块的数学模型为：
Fa1＝δa1(fa12(σa1(fa11(pv(FT)))))
Fa2＝δa2(fa22(σa2(fa21(pM(FT)))))
Fa3＝δa3(fa32(σa3(fa31(pMax(FT)))))
其中，FT表示所述三元融合模块的输出，FT作为所述通道注意力模块的输入，pv表示全局方差池化操作，pM表示全局平均池化操作，pMax表示全局最大池化操作，fa11、fa12、fa21、fa22、fa31和fa32均表示全连接操作，σa1、σa2和σa3均表示非线性激活函数ReLU，δa1、δa2、和δa3均为sigmoid激活函数，Fa1、Fa2和Fa3为所述通道注意力模块输出的通道注意力图。
4.根据权利要求3所述的用于糖尿病视网膜病变分类的方法，其特征是：特征图F1与特征图F3拼接后获得的特征图，与所述通道注意力图融合过程，包括以下步骤：
A1、特征图F1与特征图F3拼接后获得的特征图，分别与所述通道注意力模块输出的三个通道注意力图相乘，分别获得第一增强特征图、第二增强特征图和第三增强特征图，
A2、将所述第一增强特征图、所述第二增强特征图和所述第三增强特征图在通道方向上拼接。
5.根据权利要求1所述的用于糖尿病视网膜病变分类的方法，其特征是：所述图像分类网络为MobileNet V3。
6.一种用于糖尿病视网膜病变分类的电子设备，其特征是：包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如权利要求1-5任一项所述的用于糖尿病视网膜病变分类的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111160828X | 2021-09-30 | ||
| CN202111160828 | 2021-09-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170089A CN114170089A (zh) | 2022-03-11 |
| CN114170089B true CN114170089B (zh) | 2023-07-07 |
Family
ID=80486882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111540274.6A Active CN114170089B (zh) | 2021-09-30 | 2021-12-16 | 一种用于糖尿病视网膜病变分类的方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170089B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882203B (zh) * | 2022-05-20 | 2024-05-28 | 江阴萃合智能装备有限公司 | 一种用于电力电网巡检机器人的图像超分辨率重建方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111461983A (zh) * | 2020-03-31 | 2020-07-28 | 华中科技大学鄂州工业技术研究院 | 一种基于不同频度信息的图像超分辨率重建模型及方法 |
| CN111626300A (zh) * | 2020-05-07 | 2020-09-04 | 南京邮电大学 | 基于上下文感知的图像语义分割模型及建模方法 |
| US20210133925A1 (en) * | 2019-11-05 | 2021-05-06 | Moxa Inc. | Device and Method of Handling Image Super-Resolution |
| CN113128583A (zh) * | 2021-04-15 | 2021-07-16 | 重庆邮电大学 | 基于多尺度机制和残差注意力的医学图像融合方法及介质 |
| CN113139907A (zh) * | 2021-05-18 | 2021-07-20 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、***、装置及存储介质 |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
-
2021
- 2021-12-16 CN CN202111540274.6A patent/CN114170089B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| US20210133925A1 (en) * | 2019-11-05 | 2021-05-06 | Moxa Inc. | Device and Method of Handling Image Super-Resolution |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111461983A (zh) * | 2020-03-31 | 2020-07-28 | 华中科技大学鄂州工业技术研究院 | 一种基于不同频度信息的图像超分辨率重建模型及方法 |
| CN111626300A (zh) * | 2020-05-07 | 2020-09-04 | 南京邮电大学 | 基于上下文感知的图像语义分割模型及建模方法 |
| CN113128583A (zh) * | 2021-04-15 | 2021-07-16 | 重庆邮电大学 | 基于多尺度机制和残差注意力的医学图像融合方法及介质 |
| CN113139907A (zh) * | 2021-05-18 | 2021-07-20 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、***、装置及存储介质 |
| CN113298717A (zh) * | 2021-06-08 | 2021-08-24 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Image Super-Resolution Using Very Deep Residual Channel Attention Networks";Yulun Zhang et ai.;arXiv;第1-16页 * |
| "胰岛素抵抗在2 型糖尿病时血清维生素D3 和骨密度 变化中的意义";吕燕等;《中国骨质疏松杂志》;第20卷(第4期);第372-374页 * |
| "通道注意力与残差级联的图像超分辨率重建";蔡体健等;《光学精密工程》;第29卷(第1期);第142-149页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170089A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
| CN111815574B (zh) | 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 | |
| CN113888412B (zh) | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 | |
| WO2020168820A1 (zh) | 一种基于yolo卷积神经网络的胆石病ct医疗图像数据增强方法 | |
| CN112215755B (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| CN114037624B (zh) | 一种用于糖尿病肾脏病变分类的图像增强方法及设备 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN114170089B (zh) | 一种用于糖尿病视网膜病变分类的方法及电子设备 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及*** | |
| CN117333751A (zh) | 一种医学图像融合方法 | |
| Fu et al. | Automatic grading of Diabetic macular edema based on end-to-end network | |
| Iqbal et al. | LDMRes-Net: Enabling real-time disease monitoring through efficient image segmentation | |
| CN111462004B (zh) | 图像增强方法和装置、计算机设备、存储介质 | |
| CN116958535B (zh) | 一种基于多尺度残差推理的息肉分割***及方法 | |
| Yue et al. | Deep pyramid network for low-light endoscopic image enhancement | |
| CN116309507A (zh) | 注意力机制下对ctp进行特征融合的ais病灶预测方法 | |
| CN114066873B (zh) | 一种利用ct图像检测骨质疏松的方法及装置 | |
| CN115330600A (zh) | 一种基于改进srgan的肺部ct图像超分辨率方法 | |
| CN114649092A (zh) | 基于半监督学习和多尺度特征融合的辅助诊断方法及装置 | |
| CN113796850A (zh) | 甲状旁腺mibi图像分析***、计算机设备及存储介质 | |
| CN110969117A (zh) | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 | |
| Long et al. | Machine Learning Based Diabetic Retinopathy Detection and Classification | |
| CN116246067B (zh) | 一种基于CoA Unet的医学图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220622 Address after: 610021 No. 10, Qingyun South Street, Jinjiang District, Chengdu, Sichuan Applicant after: CHENGDU SECOND PEOPLE'S Hospital Address before: No.82, 2nd section, 2nd Ring Road, Chengdu, Sichuan 610000 Applicant before: AFFILIATED HOSPITAL OF CHENGDU University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |