CN115546227A - 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 - Google Patents
基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115546227A CN115546227A CN202211266750.4A CN202211266750A CN115546227A CN 115546227 A CN115546227 A CN 115546227A CN 202211266750 A CN202211266750 A CN 202211266750A CN 115546227 A CN115546227 A CN 115546227A
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- module
- boundary
- retinal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001210 retinal vessel Anatomy 0.000 title claims abstract description 88
- 230000011218 segmentation Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 38
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 36
- 238000011176 pooling Methods 0.000 claims abstract description 15
- 230000001965 increasing effect Effects 0.000 claims abstract description 9
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 claims abstract 4
- 230000006870 function Effects 0.000 claims description 12
- 238000007670 refining Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000740 bleeding effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 11
- 210000001525 retina Anatomy 0.000 abstract description 9
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 230000004580 weight loss Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 238000002679 ablation Methods 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000002207 retinal effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000002792 vascular Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007427 paired t-test Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012353 t test Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
Abstract
基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质，属于图像处理技术领域，解决对视网膜血管OCTA图像分割不准确出现漏检现象问题。本发明的网络：首先，使用不对称卷积边界细化模块(ACBR)从网络的编码器端提取丰富的视网膜血管信息并对其进行细化。其次，通道注意模块用于为那些分辨率较低的血管赋予足够的权重，防止它们在深度卷积和池化操作下权重消失。最后在网络中加入一个残差结构，增加了网络的深度，提高了网络的鲁棒性，防止了网络过拟合。本发明适用于对视网膜血管图像的分割。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及视网膜血管图像的分割。
背景技术
视网膜血管作为人体唯一的可观察到的末端血管。准确的视网膜血管分割结果对患者的早期诊断具有重要意义。
随着深度学习在机器视觉中的广泛应用，它在医学影像领域发挥着越来越重要的作用。卷积神经网络在图像分割、分类和检测等处理领域取得了长足的进步。这项工作旨在通过深度学习实现视网膜血管的准确自动分割。视网膜血管的特征与人类健康有显着相关性。例如，视网膜血管直径是判断儿童心血管疾病的重要生物标志物。视网膜血管的精确分割目前由专业医生进行。然而，人工分割视网膜血管不仅费时费力，而且受医生主观因素影响较大。因此，视网膜血管的自动和准确分割在医学成像领域引起了极大的研究兴趣。
光学相干断层扫描血管造影(OCTA)是一种新颖的成像方式，它与光学相干断层扫描(OCT)相比，它无需注射造影剂即可获得毛细血管形态信息。已广泛应用于眼科疾病的研究，在检测灵敏度和准确率方面具有显着优势。这种对眼睛的非侵入性检查可提供清晰的视网膜血管图像。
近年来，视网膜分割可以分为两种类型，传统的基于机器学习的方法和基于深度学习的方法。基于文本和阈值的传统方法用于OCT图像的分割。Adjeroh和Kandaswamy等人通过提取纹理信息来区分血管和非血管像素。Li等人提出了一种匹配滤波器来提取多尺度血管，可以在提取血管的同时有效抑制噪声。Eladawi等人提出了一种组合的马尔科夫-吉布斯随机场(MGRF)模型，用于从其他背景组织中分割视网膜血管。在复杂的OCTA背景情况下，人工确定提取特征的方法不能很好地区分血管和噪声。
但与大多数医学图像不同，OCTA图像中的视网膜血管背景复杂，树状结构中血管粗细交替叠加，呈弯曲和不规则形状，毛细血管占据的像素很少，因此经常出现漏检现象发生在分割过程中。
发明内容
本发明目的是为了解决现有对视网膜血管OCTA图像分割不准确出现漏检现象的问题，提供了基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质。
本发明是通过以下技术方案实现的，本发明一方面，提供一种基于改进Unet网络的视网膜血管分割网络，所述视网膜血管分割网络包括：编码器、解码器和跳跃连接，
所述编码器包括通道注意模块；
所述通道注意模块用于增加血管特征的权重；
所述跳跃连接包括不对称卷积边界细化模块；
所述不对称卷积边界细化模块用于提取视网膜血管的上下文信息和血管边界信息；
所述不对称卷积边界细化模块包括：不对称卷积边界模块、concatenate模块和边界细化模块；
不对称卷积边界模块包括若干条卷积通道，每条卷积通道包括若干个卷积，至少一条卷积通道对应的卷积为非对称卷积；所述不对称卷积边界模块用于获取所述上下文信息；
所述concatenate模块对所述不对称卷积边界模块输出的若干个信息特征进行融合；
所述边界细化模块对所述融合后的信息特征进行细化，获取所述血管边界信息。
在本发明的一个有优选实施例中，所述编码器还包括残差路径。
在本发明的一个有优选实施例中，所述解码器包括残差路径。
在本发明的一个有优选实施例中，所述残差路径由残差模块构成，所述残差模块包括主分支和残差分支，所述主分支由两组串联的批正则化、ReLu激活函数和卷积层构成。
在本发明的一个有优选实施例中，所述不对称卷积边界模块由三条卷积通道构成，第一条通道由卷积核为1×K和K×1的卷积构成；第二条通道由卷积核为K×1和1×K的卷积构成；第三条通道由卷积核为3×3和1×1的卷积构成。
在本发明的一个有优选实施例中，所述边界细化模块采用残差结构。
在本发明的一个有优选实施例中，所述注意力通道模块包括全局最大池化、全局平均赤化和多层感知机；
所述全局最大池化和全局平均赤化为并行，并将输出发送到多层感知机，所述多层感知机的第一层由C/ratio神经元组成，第二层由C神经元组成。
第二方面，本发明提供一种基于改进Unet网络的视网膜血管分割方法，所述方法包括：
步骤1、获取视网膜血管OCTA图像；
步骤2、将所述视网膜血管OCTA图像输入如上文所述的一种基于改进Unet网络的视网膜血管分割网络中，获取所述视网膜血管OCTA图像的分割结果。
第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行如上文所述的一种基于改进Unet网络的视网膜血管分割方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行如上文所述的一种基于改进Unet网络的视网膜血管分割方法。
本发明的有益效果：
本发明提出了一种基于Unet的用于视网膜血管分割的卷积神经网络模型(VSnet)。本发明提出的网络可以在连续卷积池化操作下保留复杂的血管结构，尤其是降低微小血管的过分割率。
首先，使用不对称卷积边界细化模块(ACBR)从网络的编码器端提取丰富的视网膜血管信息并对其进行细化，使得血管边缘清晰化。
其次，通道注意模块(CA)用于为那些分辨率较低的血管赋予足够的权重，防止它们在深度卷积和池化操作下权重消失。
本发明还在网络中加入一个残差结构，增加了网络的深度，提高了网络的鲁棒性，防止了网络过拟合。
本发明的一种深度监督卷积神经网络(VSnet)，它能够准确的获取视网膜血管特征。该网络使用非对称卷积、边界细化、通道注意力和残差结构来增强血管的像素级分割。基于本发明提出的网络，在OCTA-500数据集上进行了测试，性能指标Dice、Jaccard、Sensitivity、Specificity和Accuracy分别为89.03±2.18％、80.29％±3.46％、93.76±1.79％、88.54±3.64％和98.97±0.32％。
本发明适用于对视网膜血管图像的分割。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提出的用于视网膜血管分割的VSnet整体架构；
图2为本发明网络的不对称卷积边界细化模块的结构示意图；
图3为本发明网络的通道注意力的示意图(其中，a为通道注意力模块；b为通道注意力加权示意图)；
图4为本发明网络的残差模块；
图5为OCTA_6M数据集图像；
图6为OCTA-500数据集的消融实验结果；
图7为消融实验的箱线图和t检验比较结果；
图8为OCTA-500中使用不同分割的图像分割效果比较；
图9为本发明的VSnet网络与其他网络之间的箱线图和t检验比较结果；
图10为验证集上本发明的VSnet网络与其他网络的loss曲线。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明采用Unet网络作为基础分割网络，因为其能够高效提取并利用图像特征，该网络被广泛应用于医学图像分割领域。由于其独特的对称的编码器(en-coder)和解码器(de-coder)结构。编码器结构由逐级下采样得到多个尺度的图像特征，解码器结构借助上采样恢复原尺度的图像，编码器和解码器中采用跳跃连接(skip-connection)拼接特征，过滤噪声的同时能够找因深层卷积丢失的特征信息，能帮助网络得到更加丰富的语义信息。
实施方式一、一种基于改进Unet网络的视网膜血管分割网络，所述视网膜血管分割网络包括：编码器、解码器和跳跃连接，
所述编码器包括通道注意模块；
所述通道注意模块用于增加血管特征的权重；
需要说明的是，所述通道注意模块对输入信息进行处理，增加该输入信息中血管特征的权重。
所述跳跃连接包括不对称卷积边界细化模块；
所述不对称卷积边界细化模块用于提取视网膜血管的上下文信息和血管边界信息；
所述不对称卷积边界细化模块包括：不对称卷积边界模块、concatenate模块和边界细化模块；
不对称卷积边界模块包括若干条卷积通道，每条卷积通道包括若干个卷积，至少一条卷积通道对应的卷积为非对称卷积；所述不对称卷积边界模块用于获取所述上下文信息；
所述concatenate模块对所述不对称卷积边界模块输出的若干个信息特征进行融合；
所述边界细化模块对所述融合后的信息特征进行细化，获取所述血管边界信息。
本实施方式中，首先，考虑到视网膜血管具有树状结构曲折崎岖的特殊形状特性，其特征不能被普通的卷积结构很好地捕捉，增加了漏检和误检的可能性。因此加入不对称卷积，扩大卷积层的感受野，增强视网膜眼底图像的局部信息提取能力，将视网膜细小的血管与复杂的背景更好的区分。解决了通常的经过分割网络预测的视网膜血管边界模糊，达不到令人满意的结果的问题。
使用不对称卷积边界细化模块(ACBR)从网络的编码器端提取丰富的视网膜血管信息并对其进行细化，非对称卷积边界细化模块使用非对称卷积和边界细化(BR)来提取不规则形状的血管特征，并提出了用于获取分割毛细血管的边缘的边界细化模块。
其次，通道注意模块(CA)用于为那些分辨率较低的血管赋予足够的权重，防止它们在深度卷积和池化操作下权重消失，通道注意机制作为即插即用模块应用于分割网络的编码端。毛细管的重量可以用深层特征来表示。
实施方式二，本实施方式是对实施方式一所述的一种基于改进Unet网络的视网膜血管分割网络的进一步限定，本实施方式中，对所述编码器，做了进一步限定，具体包括：
所述编码器还包括残差路径。
本实施方式中，该残差路径可以设置在注意力模块之前，通道注意模块对残差模块输出中的血管特征的权重进行增加，该残差路径起到了提升网络鲁棒性，防止网络过拟合的作用。残差结构的加入使网络能够获得更深层次的语义表达，使网络鲁棒性更强。
实施方式三，本实施方式是对实施方式一所述的一种基于改进Unet网络的视网膜血管分割网络的进一步限定，本实施方式中，对所述解码器，做了进一步限定，具体包括：
所述解码器包括残差路径。
本实施方式中，在网络的解码端加入残差结构，构成残差路径(Res-path)，起到了提升网络鲁棒性，防止网络过拟合的作用。残差结构的加入使网络能够获得更深层次的语义表达，使网络鲁棒性更强。
实施方式四，本实施方式是对实施方式二或三中的任一项所述的一种基于改进Unet网络的视网膜血管分割网络的进一步限定，本实施方式中，对所述残差路径，做了进一步限定，具体包括：
所述残差路径由残差模块构成，所述残差模块包括主分支和残差分支，所述主分支由两组串联的批正则化、ReLu激活函数和卷积层构成。
本实施方式中，如图4中的残差模块(Res-Block)所示，残差路径(Res-path)由残差模块构成。残差模块由两组串联的批正则化、ReLu激活函数和3×3卷积层的主分支以及残差路径的残差分支组成。如图1中的网络结构图中的Res-path所示，在Unet的基础上增加了11个卷积层，由多个残差模块级联组成。残差结构可以有效避免深度卷积神经网络中梯度消失和梯度***的现象。OCTA图像背景复杂，视网膜血管分辨率低。通过加深网络层数，网络可以学习更复杂的特征，构建更复杂的映射关系，从而提高视网膜血管分割的准确性。
实施方式五，本实施方式是对实施方式一所述的一种基于改进Unet网络的视网膜血管分割网络的进一步限定，本实施方式中，对所述不对称卷积边界模块，做了进一步限定，具体包括：
所述不对称卷积边界模块由三条卷积通道构成，第一条通道由卷积核为1×K和K×1的卷积构成；第二条通道由卷积核为K×1和1×K的卷积构成；第三条通道由卷积核为3×3和1×1的卷积构成。
本实施方式中，考虑到视网膜血管具有树状结构曲折崎岖的特殊形状特性，其特征不能被普通的卷积结构很好地捕捉，增加了漏检和误检的可能性。本实施方式加入的不对称卷积，可以扩大卷积层的感受野，增强视网膜眼底图像的局部信息提取能力，将视网膜细小的血管与复杂的背景更好的区分。解决了通常的经过分割网络预测的视网膜血管边界模糊，达不到令人满意的结果的问题。
实施方式六，本实施方式是对实施方式一所述的一种基于改进Unet网络的视网膜血管分割网络的进一步限定，本实施方式中，对所述边界细化模块，做了进一步限定，具体包括：
所述边界细化模块采用残差结构。
本实施方式中，在将不同尺度的信息特征融合后，送入边界细化模块。由于视网膜血管的边界信息所占像素低，在深层神经网络中容易造成特征丢失，采用残差结构来降低语义信息的丢失。
实施方式七，本实施方式是对实施方式一所述的一种基于改进Unet网络的视网膜血管分割网络的进一步限定，本实施方式中，对所述注意力通道模块，做了进一步限定，具体包括：
所述注意力通道模块包括全局最大池化、全局平均赤化和多层感知机；
所述全局最大池化和全局平均赤化为并行，并将输出发送到多层感知机，所述多层感知机的第一层由C/ratio神经元组成，第二层由C神经元组成。
本实施方式中，采用的注意力通道模块可以换防止浅层特征随着网络的深度而消失，从而提高血管分割的准确性。
实施方式八，本实施方式是本发明的一种实施例，具体包括：
一、一种基于改进Unet网络的视网膜血管分割网络的整体框架为：
本实施例采用Unet网络作为基础分割网络，因为其能够高效提取并利用图像特征，该网络被广泛应用于医学图像分割领域。由于其独特的对称的编码器(en-coder)和解码器(de-coder)结构。编码器结构由逐级下采样得到多个尺度的图像特征，解码器结构借助上采样恢复原尺度的图像，编码器和解码器中采用跳跃连接(skip-connection)拼接特征，过滤噪声的同时能够找因深层卷积丢失的特征信息，能帮助网络得到更加丰富的语义信息。
如图1所示，本实施例提出了一种基于Unet的用于视网膜血管分割的卷积神经网络模型(VSnet)。本实施例提出的网络可以在连续卷积池化操作下保留复杂的血管结构，尤其是降低微小血管的过分割率。
首先，使用不对称卷积边界细化模块(ACBR)从网络的编码器端提取丰富的视网膜血管信息并对其进行细化。
其次，通道注意模块(CA)用于为那些分辨率较低的血管赋予足够的权重，防止它们在深度卷积和池化操作下权重消失。
最后在网络中加入一个残差结构，增加了网络的深度，提高了网络的鲁棒性，防止了网络过拟合。
二、不对称卷积边界细化模块
本实施例创建了一种不对称卷积边界细化模块(Asymmetric ConvolutionBoundary Refinement，ACBR)用于提取视网膜血管的上下文信息和血管边界信息。考虑到视网膜血管具有树状结构曲折崎岖的特殊形状特性，其特征不能被普通的卷积结构很好地捕捉，增加了漏检和误检的可能性。因此加入不对称卷积，扩大卷积层的感受野，增强视网膜眼底图像的局部信息提取能力，将视网膜细小的血管与复杂的背景更好的区分。通常的经过分割网络预测的视网膜血管边界模糊，达不到令人满意的结果。
在这里，在不同尺度的信息特征融合后，送入边界细化模块。由于视网膜血管的边界信息所占像素低，在深层神经网络中容易造成特征丢失，采用残差结构来降低语义信息的丢失。
如图2所示，不对称卷积边界细化模块(ACBR)由两部分组成。第一部分不对称卷积部分由三条卷积通道构成，第一条通道为卷积核1×K和K×1的卷积构成；第二条通道为卷积核K×1和1×K的卷积构成；第三条通道为卷积核3×3和1×1的卷积构成。其中参数K设为11。第二部分采用边界细化的方式，将第一部分中丰富的特征进行边缘细化处理。将获得的特征图定义为S^*:S^*＝S+R(S)。S用作输入特征图，R(.)指的是卷积和ReLu激活函数的操作。
三、通道注意力机制
注意力机制的应用具有增强相关特征提取和抑制无关信息的作用。本实施例采用通道注意力(Channel Attention,CA)机制，放在分割网络的编码(encoder)端。这样做的目的是为了防止浅层特征随着网络的深度而消失，从而提高血管分割的准确性。Channelattention可以用公式1和2来表示。
Mc＝σ(MaxPool(MLP(F))+AvgPool(MLP(F))) (1)
F′＝F*Mc (2)
其中δ代表sigmoid激活函数，MaxPool和AvgPool分别代表全局最大池化和全局平均池化，MLP代表多层感知器，F和F'分别表示输入和输出特征，Mc表示通道注意力权重，*表示逐像素相乘。
通道注意力的结构如图3(a,b)所示。图3(a)中大小为H×W×C的输入特征F首先经过并行的全局最大池化(MaxPool)和全局平均赤化(AvgPool)操作得到两个1×1×C的特征通道，然后发送到由两层多层感知机组成的结构。多层感知器的第一层由C/ratio神经元组成，第二层由C神经元组成。其中，比值ratio设置为8。该共享感知机网络经过参数共享，可以给眼底血管分割网络带来更好的抗干扰能力。如图3(b)所示的第二部分，在两个1×1×C共享权重值相加后的结果，通过sigmoid激活函数获得通道注意力权重，最终通过乘法运算加权到源输入特征F。
三、残差路径
如图4中的残差模块(Res-Block)所示，残差路径(Res-path)由残差模块构成。残差模块由两组串联的批正则化、ReLu激活函数和3×3卷积层的主分支以及残差分支组成。如图1中的网络结构图中的Res-path所示，在Unet的基础上增加了11个卷积层，由多个残差模块级联组成。残差结构可以有效避免深度卷积神经网络中梯度消失和梯度***的现象。OCTA图像背景复杂，视网膜血管分辨率低。通过加深网络层数，网络可以学习更复杂的特征，构建更复杂的映射关系，从而提高视网膜血管分割的准确性。
实施方式九、一种基于改进Unet网络的视网膜血管分割方法，所述方法包括：
步骤1、获取视网膜血管OCTA图像；
步骤2、将所述视网膜血管OCTA图像输入实施方式一至八任一项所述的一种基于改进Unet网络的视网膜血管分割网络中，获取所述视网膜血管OCTA图像的分割结果。
本实施方式中的分割方法包括：(1)非对称卷积边界细化模块使用非对称卷积和边界细化(BR)来提取不规则形状的血管特征，并提出了边界细化结果后难以获得用于分割的毛细管边缘；(2)在这里，通道注意机制作为即插即用模块应用于分割网络的编码端。毛细管的重量可以用深层特征来表示；(3)残差结构的加入使网络能够获得更深层次的语义表达，使网络鲁棒性更强。
下面，通过实验来测试基于本发明的基于改进Unet网络的视网膜血管分割网络的分割结果。
1实验集和数据预处理
本实验使用的数据集是开源的眼底视网膜图像数据集OCTA-500。选择了300个具有6mm×6mm视野(field of view,FOV)的对象，命名为OCTA_6M。本研究选择了内界膜层(the inner limiting membrane,ILM)和外丛状层(the outer plexiform layer,OPL)之间的OCTA最大投影。它是由内层视网膜的最大投影产生的，可以清楚地显示血管形态。图5中，(a)原始图像；(b)视网膜血管(RV)和中心凹无血管区(FAZ)掩膜；(c)视网膜血管(RV)掩膜。如图5所示，为了便于处理，通过预处理将掩膜中的视网膜血管分开。
数据集共有300张图片，按照6:2:2将数据集分为训练集、验证集和测试集。同时采用了五折交叉验证的方法。交叉验证有效利用了有限的数据，评估结果可以尽可能接近模型在测试集上的表现。由于数据集较小且在训练过程中容易出现过拟合，通过旋转镜像的方法将训练集放大了5倍。同时对数据进行标准化和归一化处理，减少噪声的影响，使网络能够更快地收敛。
实验中参数设置如下：batch_size为8，初始学习率为0.001，优化函数为Adam，epoch的数量设置为100，损失函数为binary_crossentropy(BCELoss)，如公式3所示：
其中yi表示真实标签，
表示预测图像。
在训练期间，如果在验证集上连续10个epoch损失没有下降，则学习率将降低0.5倍。实验环境为：深度学习框架为tensorflow2.5，Linux***，搭载Intel(R)Xeon(R)Silver4216 [email protected]和NVIDIAGeForce RTX 3070(8GB,1.73GHz)，使用python3.8作为编程语言。
2评估指标
为了定量分析本发明提出的网络的实验结果，重要的评价指标Dice，Jaccary，Binary accuracy(BAC)，Sensitivity，Specificity和Accary(ACC)用于评估模型的性能。Sensitivity和Specificity又称为真阳性率(TPR)和真阴性率(TNR)。评价指标见公式4-9:
其中，tp是正确预测为血管的像素数，fp是错误预测为血管的像素数，fn是错误预测为背景的像素数，tn是正确预测为背景的像素数，TPR也称为灵敏度，TNR称为特异性。
3实验结果比较
为了验证本发明提出的改进策略能够有效提高分割网络对视网膜血管的分割性能，做了四组消融实验，验证加入ACBR、CA和Res-path可以提高分割性能视网膜血管的网络。该网络的分割性能在一定程度上有所体现。
各种改进策略的分割结果如图6所示，图6中，(a)(b)第一行分别是原始图像和groundtruth，第二行上方图像红框对应的放大区域。第一行的(c)-(h)是基于baseline网络加上改进模块得到的结果，(c)Unet,(d)Unet+ACBR,(e)Unet+CA,(f)Unet+ACBR+CA，(g)UnetUnet+CA+Res-path，(h))Unet+ACBR+CA+Res-path。第二行是放大区域的分割结果。(红色：分割不足的区域；绿色：过度分割的区域。)
性能指标如表1所示，分别在Dice、Jaccard、Binaryaccuracy(BAC)、Sensitivity,Specificity和Accary(ACC)进行测试，其中加粗字体为最优指标。
表1在OCTA-500数据集消融研究的统计比较(均值±标准差)(mean±sd)
如图6消融实验预测的分割结果，可以看出基于Unet和ACBR的分割结果更好，特别是在Specificity和Sensitivity，这意味着可以使用非对称卷积提取更复杂的结构，边界细化可以恢复血管结构。该模块能够更好地区分视网膜血管和背景。虽然通道注意力和Res-path的加入使得Specificity和Sensitivity不如单独的ACBR，但整体效果有所提升，尤其是Dice和Jaccard指标，达到最优。
如表1所示，显示了消融实验中各分割性能指标的结果。本发明提出的方法可以有效地提取视网膜血管，显着提高低分辨率血管的提取率。如表所示，本发明的网络在Unet中加入了ACBR、CA和Res-path，可以有效提高分割性能。评价指标Dice和Jaccary达到最佳指标，分别为89.03±2.18％和80.29±3.46％。ACC与最佳方法相当，BAC、Sensitivity和Specificity均未达到最高，但分别达到93.76±1.79％、88.54±3.64％和98.97±30.32％。
如图7所示，消融实验的箱型图和配对T检验，与其他网络相比，提出的网络参数p<0.001，可以认为差异不是由采样误差引起的，可以拒绝H0，那么可以拒绝另一种可能性的假设(也称为备择假设，符号H1)，即两个样本来自不同的数据，因此消融实验有明显的差异。
如图8所示，所提出的VSnet在开源数据集OCTA-500分割结果上表现良好。图8中，(a)(b)第一行和第三行是原始图像和ground truth，第二行和第四行是红框对应的放大区域。(c)-(g)第一行和第三行是通过不同方法预测的结果，第二行和第四行是红框对应区域放大后的分割结果，其中(c)Unet,，(d)Att-Unet，(e)Unet3+，(f)BSEResU-Net，(g)本发明的VSnet网络。
为了证明本发明所提出的方法VSnet在OCTA中分割视网膜血管的优越性，将其与四种最先进的方法进行了比较。它们是Unet、Attention-Unet、Unet3+、BSEResU-Net。本发明的方法与其他方法的比较结果如图8所示，绿色代表过分割，红色代表欠分割。从图中可以看出，上述方法在分割粗血管方面表现良好，但在分割细血管方面存在一定难度。
只有本发明提出的方法才能更多地关注小血管，并显着减少毛细血管分割不足和过度分割的发生。这些证明了本发明提出的分割网络结构的有效性。非对称卷积、边界细化和Res-path可以提取和利用更抽象和有效的特征。通道注意机制将权重分配给网络中分辨率较低的血管，这样它们即使在更深的网络中也不会随着梯度消失。
表2在OCTA-500数据集中不同网络中得到的结果(均值±标准差)
如表2所示，本发明的分割方法在Dice、Jaccard、BAC指标和Sensitivity指标上取得了最佳性能，分别为89.03±2.18％、80.29±3.46％、88.54±3.64％和93.76±1.79％。
图9中，(a)Dice指数之间的比较；(b)Jaccard指数之间的比较。(其中p值注释图例：****:p<＝1.00e-4)
如图9所示，不同网络之间的Dice和Jaccard指数的箱型图和配对t检验所示，与其他网络相比，提出的网络有p<0.001，可以认为差异不是由采样误差引起的，可以拒绝H0，那么可以拒绝另一种可能性的假设(也称为备择假设，符号H1)，即两个样本来自不同的网络，因此提出的网络与其他网络有显着差异。
如图10所示，在验证集的损失指数曲线对比中，本发明的VSnet网络对应的损失曲线低于其他网络，达到了最优值，验证本发明的VSnet网络可以提取更多的视网膜血管特征。综上所述，本发明提出的VSnet网络整体最优，网络模型综合表现最好，鲁棒性能更好。
本发明提出了一种具有注意机制、边界细化和剩余路径的网络，称为VSnet，用于自动分割视网膜血管的任务。在OCTA-500数据集上对该方法进行了评估，分割结果可以显着减少过度分割现象。Dice和Jaccary系数的改进表明本发明的网络可以实现高性能分割。本发明的主要目的是提高视网膜血管分割的准确性。在本发明提出的方法中，ACBR的引入通过非对称卷积的组合运算得到了不同尺度下形状可变的视网膜血管，同时可以细化分辨率较低的视网膜血管边界。在深度神经网络和连续最大池操作之后，CA对通道特征进行加权以保留分辨率较低的视网膜血管。Res-path加深了网络的深度，可以提高网络提取特征的能力。这些改进带来的性能提升证明本发明的网络VSnet在视网膜血管分割上取得了更好的效果。
Claims (10)
1.一种基于改进Unet网络的视网膜血管分割网络，所述视网膜血管分割网络包括：编码器、解码器和跳跃连接，其特征在于，
所述编码器包括通道注意模块；
所述通道注意模块用于增加血管特征的权重；
所述跳跃连接包括不对称卷积边界细化模块；
所述不对称卷积边界细化模块用于提取视网膜血管的上下文信息和血管边界信息；
所述不对称卷积边界细化模块包括：不对称卷积边界模块、concatenate模块和边界细化模块；
不对称卷积边界模块包括若干条卷积通道，每条卷积通道包括若干个卷积，至少一条卷积通道对应的卷积为非对称卷积；所述不对称卷积边界模块用于获取所述上下文信息；
所述concatenate模块对所述不对称卷积边界模块输出的若干个信息特征进行融合；
所述边界细化模块对所述融合后的信息特征进行细化，获取所述血管边界信息。
2.根据权利要求1所述的一种基于改进Unet网络的视网膜血管分割网络，其特征在于，所述编码器还包括残差路径。
3.根据权利要求1所述的一种基于改进Unet网络的视网膜血管分割网络，其特征在于，所述解码器包括残差路径。
4.根据权利要求2或3中任一项所述的一种基于改进Unet网络的视网膜血管分割网络，其特征在于，所述残差路径由残差模块构成，所述残差模块包括主分支和残差分支，所述主分支由两组串联的批正则化、ReLu激活函数和卷积层构成。
5.根据权利要求1所述的一种基于改进Unet网络的视网膜血管分割网络，其特征在于，所述不对称卷积边界模块由三条卷积通道构成，第一条通道由卷积核为1×K和K×1的卷积构成；第二条通道由卷积核为K×1和1×K的卷积构成；第三条通道由卷积核为3×3和1×1的卷积构成。
6.根据权利要求1所述的一种基于改进Unet网络的视网膜血管分割网络，其特征在于，所述边界细化模块采用残差结构。
7.根据权利要求1所述的一种基于改进Unet网络的视网膜血管分割网络，其特征在于，所述注意力通道模块包括全局最大池化、全局平均赤化和多层感知机；
所述全局最大池化和全局平均赤化为并行，并将输出发送到多层感知机，所述多层感知机的第一层由C/ratio神经元组成，第二层由C神经元组成。
8.一种基于改进Unet网络的视网膜血管分割方法，其特征在于，所述方法包括：
步骤1、获取视网膜血管OCTA图像；
步骤2、将所述视网膜血管OCTA图像输入权利要求1至7任一项所述的一种基于改进Unet网络的视网膜血管分割网络中，获取所述视网膜血管OCTA图像的分割结果。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，当所述处理器运行所述存储器存储的计算机程序时执行权利要求8所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211266750.4A CN115546227A (zh) | 2022-10-17 | 2022-10-17 | 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211266750.4A CN115546227A (zh) | 2022-10-17 | 2022-10-17 | 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546227A true CN115546227A (zh) | 2022-12-30 |
Family
ID=84736334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211266750.4A Pending CN115546227A (zh) | 2022-10-17 | 2022-10-17 | 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546227A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593274A (zh) * | 2023-11-30 | 2024-02-23 | 齐鲁工业大学(山东省科学院) | 一种基于共享通道注意力机制的心脏mri分割方法 |
-
2022
- 2022-10-17 CN CN202211266750.4A patent/CN115546227A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593274A (zh) * | 2023-11-30 | 2024-02-23 | 齐鲁工业大学(山东省科学院) | 一种基于共享通道注意力机制的心脏mri分割方法 |
| CN117593274B (zh) * | 2023-11-30 | 2024-06-04 | 齐鲁工业大学(山东省科学院) | 一种基于共享通道注意力机制的心脏mri分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021169128A1 (zh) | 眼底视网膜血管识别及量化方法、装置、设备及存储介质 | |
| Balakrishna et al. | Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder | |
| CN109685809B (zh) | 一种基于神经网络的肝包虫病灶分割方法及*** | |
| WO2019200740A1 (zh) | 肺结节的检测方法、装置、计算机设备和存储介质 | |
| CN110648344B (zh) | 一种基于局部病灶特征的糖尿病视网膜病变分类装置 | |
| CN109658393B (zh) | 眼底图像拼接方法及*** | |
| CN111127426B (zh) | 一种基于深度学习的胃黏膜清洁度评价方法及*** | |
| Hu et al. | Automatic artery/vein classification using a vessel-constraint network for multicenter fundus images | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN114419054A (zh) | 视网膜血管图像分割方法、装置及相关设备 | |
| Rachmatullah et al. | Convolutional neural network for semantic segmentation of fetal echocardiography based on four-chamber view | |
| CN114549520B (zh) | 基于全卷积注意力增强网络的视网膜病理切片分析*** | |
| CN114140651A (zh) | 胃部病灶识别模型训练方法、胃部病灶识别方法 | |
| CN115578783B (zh) | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 | |
| CN115546227A (zh) | 基于改进Unet网络的视网膜血管分割网络、分割方法、计算机设备和存储介质 | |
| Wei et al. | Orientation and context entangled network for retinal vessel segmentation | |
| CN116188485A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113781403B (zh) | 一种胸部ct影像处理方法与装置 | |
| CN113706451B (zh) | 颅内动脉瘤识别检测的方法、装置、***和计算机可读存储介质 | |
| CN115359046B (zh) | 一种脏器血管分割方法、装置、存储介质及电子设备 | |
| Liu et al. | IMFF-Net: An integrated multi-scale feature fusion network for accurate retinal vessel segmentation from fundus images | |
| CN116740076A (zh) | 视网膜色素变性眼底图像中色素分割的网络模型及方法 | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
| Wang et al. | Ensemble of deep learning cascades for segmentation of blood vessels in confocal microscopy images | |
| Wu et al. | Machine learning-based automatic detection of pulmonary trunk |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |