CN117408939A - 基于反事实混合注意力的糖尿病性视网膜病变检测方法 - Google Patents
基于反事实混合注意力的糖尿病性视网膜病变检测方法 Download PDFInfo
- Publication number
- CN117408939A CN117408939A CN202310510017.0A CN202310510017A CN117408939A CN 117408939 A CN117408939 A CN 117408939A CN 202310510017 A CN202310510017 A CN 202310510017A CN 117408939 A CN117408939 A CN 117408939A
- Authority
- CN
- China
- Prior art keywords
- attention
- loss
- model
- diabetic retinopathy
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 206010012689 Diabetic retinopathy Diseases 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 210000001525 retina Anatomy 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000036285 pathological change Effects 0.000 claims abstract 2
- 231100000915 pathological change Toxicity 0.000 claims abstract 2
- 238000011176 pooling Methods 0.000 claims 2
- 201000004569 Blindness Diseases 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 238000009499 grossing Methods 0.000 claims 1
- 230000004256 retinal image Effects 0.000 claims 1
- 238000011895 specific detection Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 16
- 230000006870 function Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 14
- 206010012601 diabetes mellitus Diseases 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 229910052582 BN Inorganic materials 0.000 description 1
- PZNSFCLAULLKQX-UHFFFAOYSA-N Boron nitride Chemical compound N#B PZNSFCLAULLKQX-UHFFFAOYSA-N 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉的医学图像处理领域，具体涉及一种基于反事实注意力的糖尿病性视网膜病变检测方法，该方法包括：获取视网膜图像数据集，将视网膜图像进行预处理，然后将图像数据与标签数据输入到改进的反事实混合注意力模型中，得到视网膜病变检测结果；其中，所述的反事实混合注意力模型包括：将原始的ResNet结构重构成基于CBAM的混合注意力模型，在模型最后添加一层空间注意力，在模型训练中，通过干预习得的注意力图得到反事实特征和反事实预测，以真实预测与反事实预测的差异构建损失函数，计算损失并反向传播调整模型的参数。通过使用反事实混合注意力模型检测糖尿病性视网膜病变，较原始的ResNet模型取得良好效果，能在实际应用中为医疗资源相对紧张的地区的患者提供高效、便捷的检测服务，简化患者检测流程，降低就医成本，同时减少医务人员工作量，提高糖尿病性视网膜病变检测效率。
Description
技术领域
本发明属于医学图像处理领域，是涉及基于改进CBAM反事实注意力的糖尿病性视网膜病变检测方法及装置。
背景技术
医学图像处理是一门应用于医学领域的图像处理技术，其目的是提取医学图像中包含的各种疾病、病灶、组织结构等信息，帮助医生进行疾病诊断、治疗方案设计等工作。近年来，深度学习技术在医学图像处理领域中得到了广泛应用。深度神经网络在医学图像处理中表现出了出色的性能。在医学影像中，其可以自动学习不同组织结构和不同病灶的特征，从而实现对影像的准确分割和识别。在医学影像诊断中，深度神经网络还可以根据病灶的特征和位置，对疾病进行分类和评估。
由于医学图像通常具有细节丰富、噪声大、样本量有限等特点，深度神经网络在医学图像处理中面临着一些挑战。在处理细粒度图像时，传统的深度神经网络容易将背景信息和噪声信息误判为有用的特征信息，从而导致分割和识别的不准确性。因此，在医学图像处理中，如何针对不同的医学图像特点，设计更加有效的深度神经网络模型，成为了研究的热点和难点。
目前来说，注意力机制作为一种可以自适应地给予输入中不同部分不同权重的机制，可以帮助深度神经网络更好地聚焦于感兴趣的区域，从而提高医学图像处理的准确性和效率。在医学图像处理领域中，由于医学图像通常具有复杂的结构和不同层次的特征，使用注意力机制可以帮助深度神经网络更好地捕捉到图像中的局部细节和关键性特征，从而提高医学图像的分割和识别效果。
在医学图像处理领域，已有的基于注意力的改进工作大多关注的是对多个注意力模块的不同组合，且注意力质量仅由最终的预测损失所监督，无法衡量所习得的注意力的质量，因此我们进一步使用反事实注意力方法，改进已有模型，使其通过反事实损失监督注意力质量，从而习得更佳的注意力。
发明内容
为解决现有工作存在的不足，本发明提出一种基于改进CBAM反事实注意力的糖尿病性视网膜病变检测方法，其特征在于，本发明提出的糖尿病性视网膜病变检测方法，通过多步骤的处理和优化，提高了神经网络对于糖尿病性视网膜病变的识别和分类准确率，以下是对检测中各个步骤的详细解释：
步骤一，获取待处理的视网膜图像以及对应标签值，然后对图像进行直方图均衡化和归一化处理，这是图像处理中常用的预处理方法，通过增强图像的对比度和亮度等特征，使得图像更容易被神经网络学习到。接着，将预处理后的图像输入到改进的空间注意力模型进行计算预测，该模型能够自适应地学习到图像中不同区域的重要性，并对神经网络的输出进行加权，提高了模型对于重要区域的识别能力。
步骤二中，将预处理后的图像数据输入到干预的反事实注意力模块进行计算预测，该模块通过手动干预习得的注意力图，对神经网络中输出的特征图进行随机加权，输出一组反事实注意力特征。使用该反事实注意力特征进行计算预测，得到反事实预测。该步骤的关键在于提高注意力的质量，从而提高模型对于神经网络预测的贡献。为此，可以通过反事实预测与真实预测之间的差值构建损失函数，通过最大化注意力的质量来优化模型。
步骤三中，将神经网络输出的注意力图对样本进行增强后输入到神经网络重新计算预测，得到增强图像预测，进一步的，得到增强预测损失。该步骤中，通过对注意力图进行增强，增加了神经网络对于重要区域的关注度，从而进一步提高了模型的识别能力和准确率。
步骤四中，该模型加入了中心损失，通过将距离中心点的距离作为惩罚项，增强了模型对类别内部的差异性，从而提高了分类准确率。该损失函数是基于类别中心的距离度量，可以有效地缓解类内差异过大的问题，进一步提高了模型的性能。
附图说明
图1为本发明的糖尿病视网膜病变模型结构图；
图2为本发明的反事实注意力模块结构图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行完整清晰的描述，所描述的实施例仅仅是本发明方法的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于反事实注意力的糖尿病性视网膜病变检测方法，包括获取待处理的图像并进行预处理，通过混合注意力模块获取注意力特征，通过反事实注意力模块获得反事实特征，通过多种损失构建模型总损失等。
实施例1
本实施例提出一种基于反事实注意力的糖尿病性视网膜病变检测方法，如图所示，其过程包括：获取待处理的图像并进行预处理，通过混合注意力模块计算真实预测，通过反事实注意力模块获得反事实预测，即包括：
S1：获取糖尿病视网膜图像，并对其进行预处理操作，统一大小并突出其病灶结构；
S2：将预处理后的样本图像输入到改进的神经网络模型中，得到注意力图以及注意力预测；
S3：通过干预操作生成虚假注意力图，并生成反事实注意力特征和反事实预测；
S4：通过注意力特征增强样本图像并输入到模型中计算增强预测；
S5：综合增强预测与真实预测，给出模型最终预测。
Claims (6)
1.基于混合注意力的糖尿病性视网膜病变检测方法，其特征在于，包括：获取患者视网膜图像数据并对其进行预处理，将获取的是视网膜图像数据输入到基于CBAM的反事实混合注意力模型中，得到糖尿病性视网膜病变检测结果，根据病变具体检测结果，可以辅助医生进一步制定治疗方案，降低患者致盲风险。
训练反事实混合注意力模型的过程包括：
S1：获取糖尿病视网膜病变公开数据集，对原始数据集进行数据增强预处理，得到增强数据集；预处理操作主要包括去除图像黑色背景、统一分辨率、通过高斯模糊对图像进行平滑处理；
S2：对增强的数据集进行划分，得到训练集、验证集和测试集；
S3：将采样后的视网膜图像数据输入到反事实混合注意力模型的输入端；
S4：将混合注意力模型得到的特征图输入空间注意力模块，得到注意力加权特征图；
S5：通过手动生成干预注意力图，混合注意力模型得到的特征图与干预注意力图生成反事实特征图；
S6：通过注意力加权特征图和反事实特征图分别得到真实预测和反事实预测；
S7：通过真实预测与标签值的交叉熵损失、真实预测和反事实预测的差异损失构建总损失；
S8：根据检测结果计算模型的损失函数进行反向传播，不断调整参数，当损失降到最小时，完成模型训练。
2.根据权利要求1所述的一种基于改进CBAM反事实注意力的糖尿病性视网膜病变检测方法，其特征在于，基于CBAM改进ResNet模型的过程包括：首先对原始CBAM模块进行改造，将通道注意力与空间注意力串行连接的方式改进为通道注意力与空间注意力并行连接，使得模型可以同时在通道维度和空间维度对图像特征进行加权，并将改进的CBAM模块集成到ResNet模型的第一个卷积块和最后一个卷积块后。
3.根据权利要求2所述的一种基于改进CBAM反事实注意力的糖尿病性视网膜病变检测方法，其特征在于：改进CBAM的注意力加权动态过程包括：首先首先将前一层的特征Fi分别输入到空间注意力模块和通道注意力模块，最终输出可以表示为：
FPCBAM＝MSAM(F)·MCAM(F)
4.根据权利要求3所述的一种基于改进CBAM反事实注意力的糖尿病性视网膜病变检测方法，其特征在于，通道注意力和空间注意力的过程包括：特征图分别通过空间注意力模块和通道注意力模块，在空间注意力模块中加权过程可以表示为：
MSAM＝σ(fconv([favg(F),fmax(F)]))
其中favg和fmax分别表示平均池化和最大池化。在通道注意力模块中的加权过程可以表示为
MCBM＝σ(MLP(favg(F))+MLP(fmax(F)))
其中MLP表示共享的多层感知机。
5.根据权利要求1所述的一种基于改进CBAM反事实注意力的糖尿病性视网膜病变检测方法，其特征在于，计算反事实注意力特征图的过程包括：获取基线网络输出的特征图后，通过干预操作生成错误的注意力图，通过错误的注意力图对特征图进行空间加权，得到错误的注意力加权特征图，也称之为反事实特征图，进一步输入全连接层得到反事实预测。
6.根据权利要求1所述的一种基于改进CBAM反事实注意力的糖尿病性视网膜病变检测方法，其特征在于，模型总损失构建过程包括：总损失包括基本的交叉熵损失和反事实预测损失，总损失可以表示为：
Loss＝Lossr+Lossa
其中，Lossr表示真实预测交叉熵损失，Lossa表示反事实注意力损失。其中反事实注意力损失可以表示为：
Lossa＝Lossce(Pdiff,y)
公式中Pdiff表示反事实预测与真实预测的差异，y表示标签值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310510017.0A CN117408939A (zh) | 2023-05-08 | 2023-05-08 | 基于反事实混合注意力的糖尿病性视网膜病变检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310510017.0A CN117408939A (zh) | 2023-05-08 | 2023-05-08 | 基于反事实混合注意力的糖尿病性视网膜病变检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117408939A true CN117408939A (zh) | 2024-01-16 |
Family
ID=89487700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310510017.0A Pending CN117408939A (zh) | 2023-05-08 | 2023-05-08 | 基于反事实混合注意力的糖尿病性视网膜病变检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117408939A (zh) |
-
2023
- 2023-05-08 CN CN202310510017.0A patent/CN117408939A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic detection of diabetic retinopathy in retinal fundus photographs based on deep learning algorithm | |
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| Wu et al. | U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation | |
| Song et al. | Deep relation transformer for diagnosing glaucoma with optical coherence tomography and visual field function | |
| CN105809125A (zh) | 基于多核心arm平台的人脸识别*** | |
| CN104424386A (zh) | 基于多参数磁共振影像的***癌计算机辅助识别*** | |
| CN113378791B (zh) | 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法 | |
| CN111260639A (zh) | 多视角信息协作的乳腺良恶性肿瘤分类方法 | |
| CN112001894B (zh) | 一种甲状腺边界平滑度检测装置 | |
| CN110135506A (zh) | 一种应用于web的七类皮肤肿瘤检测方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115880523A (zh) | 一种图像分类模型、模型训练方法及其应用 | |
| Miao et al. | Classification of diabetic retinopathy based on multiscale hybrid attention mechanism and residual algorithm | |
| CN117408939A (zh) | 基于反事实混合注意力的糖尿病性视网膜病变检测方法 | |
| CN114494952B (zh) | 一种基于感知损失的乳腺mri影像时间序列生成方法 | |
| CN114418999B (zh) | 基于病变关注金字塔卷积神经网络的视网膜病变检测*** | |
| Bhuvaneshwari et al. | An internet of health things-driven skin cancer classification using progressive cyclical convolutional neural network with ResNexT50 optimized by exponential particle swarm optimization | |
| Chen et al. | Cardiac motion scoring based on CNN with attention mechanism | |
| CN112001896B (zh) | 一种甲状腺边界不规则度检测装置 | |
| Srivardhini et al. | A deep learning based multi-model for early prognosticate of Alzheimer’s dementia using MRI dataset | |
| CN112132790A (zh) | Dac-gan模型构建方法及在乳腺mr图像中的应用 | |
| CN110969117A (zh) | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 | |
| CN117975170B (zh) | 基于大数据的医疗信息处理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |