CN114283158A - 一种视网膜血管图像分割方法、装置及计算机设备 - Google Patents
一种视网膜血管图像分割方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN114283158A CN114283158A CN202111490173.2A CN202111490173A CN114283158A CN 114283158 A CN114283158 A CN 114283158A CN 202111490173 A CN202111490173 A CN 202111490173A CN 114283158 A CN114283158 A CN 114283158A
- Authority
- CN
- China
- Prior art keywords
- layer
- blood vessel
- convolution
- retinal blood
- vessel image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001210 retinal vessel Anatomy 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003709 image segmentation Methods 0.000 title claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 53
- 230000007246 mechanism Effects 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000009191 jumping Effects 0.000 claims abstract description 7
- 210000004204 blood vessel Anatomy 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于医学图像处理领域，具体涉及一种视网膜血管图像分割方法、装置及计算机设备；所述方法包括获取视网膜血管图像并预处理；将预处理后的图像输入到训练完成的U‑Net网络中；利用U‑Net网络中编码器的各残差金字塔卷积层与对应的池化层提取特征；将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层，并选择注意力特征；利用U‑Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层，得到视网膜血管的分割结果。本发明以U‑Net网络为基础，实现了视网膜血管图像的分割。
Description
技术领域
本发明属于医学图像处理领域，具体涉及一种视网膜血管图像分割方法、装置及计算机设备。
背景技术
视网膜血管具有长度、宽度、角度各异的多种形态结构。由于在眼底图像中血管分布复杂、大小不均匀以及目标血管与背景图像对比度较低，导致人工分割视网膜血管耗时耗力，且存在较大的主观性。因此利用计算机技术实现精确、高效的视网膜血管分割对于辅助诊疗具有十分重要的意义。
许多国内外学者对视网膜血管分割进行了研究。Delibasis利用一种基于模型的自动血管跟踪算法并在种子像素初始化时引入多尺度滤波器，实现对视网膜血管的分割。Alhussein采用形态学滤波对图像去噪，利用不同尺度Hessian矩阵分别提取厚血管和薄血管增强图像，最后利用不同的阈值分割方法对薄血管和后血管进行分割得到最终的视网膜血管分割图像。Li将连通管MPP模型提取血管网络，然后利用管道分割算法应用于扩展的管道目标区域进行血管分割。
随着人工智能技术的发展，卷积神经网络在医学图像处理领域得到了广泛的应用。Francia提出利用两个卷积神经网络相互链接的新方法，第二个CNN采用残差网络块设计，从第一个模块加入到信息流中，实现血管的准确分割。Jin提出了可变形的血管分割网络，它以端到端的方式利用视网膜血管的局部特征对血管进行分割。Zhou利用CNN提取血管特征和使用一组滤波器增强细小血管，减少细血管和粗血管的强度差，最后利用密集型CRF分割血管。U-Net结合DenseNet网络，充分利用了输出层特征信息，并在网络中融入空洞卷积，提升网络感受野，可以分割出更多的血管。Li提出一种基于U形网络的视网膜血管分割方法，该方法利用可变形卷积和双注意模块的优点对视网膜血管进行分割。Guo提出了利用密集块代替传统U型网络中的跳跃连接实现特征融合，在训练阶段采用生成性对抗网络，将基于初始模块的稠密U网络作为GAN的发生器，建立多层神经网络作为GAN的鉴别器，实现对视网膜血管的分割。
上虽然上述的一些方法在对视网膜血管分割上总体表现良好，但是由于视网膜血管结构信息复杂、形状差异较大，以及受到病灶等影响，会导致某些血管轮廓信息的丢失，难以分割出完整的视网膜血管，因此，急需一种适用于视网膜血管图像分割模型进行图像分割处理。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种视网膜血管图像分割方法、装置及计算机设备，通过改进U-Net网络来实现完整的分割出视网膜血管图像，即通过获取待分割的视网膜血管图像，对获取的视网膜血管图像进行预处理以及数据扩充；将处理好的图像输入到训练好的改进的U-Net网络中进行图像识别分割，得到分割后的血管图像；改进的U-Net网络包括编码器、解码器、残差金字塔卷积以及跳跃连接部分。
在本发明的第一方面，本发明提供了一种视网膜血管图像分割方法，所述方法包括：
获取视网膜血管图像，并对所述视网膜血管图像进行预处理；
将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；
利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和池化特征；
将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层，并从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；
将最后一层的池化特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；
利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层，输出得到的特征图；
将输出得到的特征图经过一个1×1卷积，最后得到视网膜血管的分割结果。
在本发明的第二方面，本发明还提供了一种视网膜血管图像分割装置，所述装置包括：
图像获取模块，用于获取视网膜血管图像；
图像处理模块，用于对获取的所述视网膜血管图像进行预处理；
图像输入模块，用于将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；
编码器模块，利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和池化特征；
跳跃连接模块，用于将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层；
注意力机制模块，用于从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；
特征连接模块，用于将最后一层的池化特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；
解码器模块，用于利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层；
图像输出模块，用于将最后一个残差金字塔卷积层的的特征图经过一个1×1卷积，得到视网膜血管的分割结果。
在本发明的第三方面，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面所述方法的步骤。
本发明的有益效果：
本发明针对视网膜血管尺度信息与形态结构复杂多变导致分割精度低等问题，提出一种视网膜血管图像分割方法、装置及计算机设备。本发明以U-Net网络为基础，在编码阶段使用残差金字塔模块RPC，利用不同大小和深度的卷积核对视网膜血管图像进行特征提取，以捕获不同尺度视网膜血管信息；在跳跃连接中引入注意力机制，聚焦目标区域的特征信息，降低干扰；最后，通过SoftMax激活函数得到最终的分割结果。
附图说明
图1为本发明实施例中一种视网膜血管图像分割方法流程图；
图2为本发明优选实施例中一种视网膜血管图像分割方法流程图；
图3为本发明的改进的U-Net网络结构示意图；
图4为本发明的金字塔卷积模块图；
图5为本发明的残差金字塔卷积层图；
图6为本发明的残差金字塔卷积模块图；
图7为本发明的改进注意力机制模块图；
图8为本发明实施例中一种视网膜血管图像分割装置结构图；
图9为本发明的数据集图像增强图；
图10为本发明与现有技术的血管分割结果图；
图11为本发明与现有技术细节对比结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的一种视网膜血管图像分割方法，可以应用于服务器应用环境中。具体的，服务器获取视网膜血管图像，并对所述视网膜血管图像进行预处理；服务器将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；服务器利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和采样特征；服务器将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层，并从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；服务器将最后一层的采样特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；服务器利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层，得到视网膜血管的分割结果。
本技术领域技术人员可以理解，这里所使用的“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图1为本发明实施例中一种视网膜血管图像分割方法流程图，如图1所示，所述方法包括输入待分割的视网膜血管图像，对待分割的视网膜血管图像进行图像去噪增强与数据扩充处理；利用处理后的视网膜血管图像对U-Net网络模型进行训练，直至训练完成，符合训练合格的标准，则存储该网络模型，利用该网络模型输出待分割的视网膜血管图像的分隔结果。
图2为本发明优选实施例中一种视网膜血管图像分割方法流程图，如图2所示，所述方法包括：
101、获取视网膜血管图像，并对所述视网膜血管图像进行预处理；
在本发明实施例中，实际的医疗图像领域中，存在大量的视网膜血管图像，这些图像是医务人员(检测人员)在医疗活动过程中，使用仪器***生成图像信息，这些图像信息具有多种形态结构，本发明的目的就是对这些具有不同形态结构的视网膜血管图像进行分割处理，因此可以接入仪器***来获取实际的视网膜血管图像。
在本发明实施例中，对视网膜血管图像进行预处理主要包括对获取的视网膜血管图像进行去噪和增强对比度处理，并采用不同的颜色通道对视网膜血管图像进行处理，得到血管和背景对比度最高的视网膜血管图像。
在本发明的优选实施例中，对视网膜血管图像进行预处理还包括对获取的视网膜血管图像进行数据扩充操作，将每张视网膜血管图像进行相同尺寸的随机裁剪组合，从而获得扩充后的视网膜血管图像。
102、将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；
在本发明实施例中，可以直接将预处理后的待分割的视网膜血管图像输入到训练完成的U-Net网络中，进行后续的分隔识别，其中U-Net网络本发明对其进行改进后的网络，如图3所示，本发明改进后的U-Net网络同样包括编码器、解码器和跳跃连接模块，所述编码器用于提取出视网膜血管图像的浅层特征、深层特征和细小血管特征，即利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和采样特征；所述解码器由转置卷积层构成，用于恢复编码器输出的特征图的尺寸，即利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层；所述跳跃连接模块用于将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层。
而本发明的改进核心在于，将编码器和解码器中的卷积层替换为残差金字塔卷积层，具体的，所述残差金字塔卷积层RPC包括两个串联的金字塔卷积模块，并通过残差连接层将第一金字塔卷积模块的输出与第二金字塔卷积模块的输出进行连接；每一个金字塔卷积模块包括两个第一单元和一个第二单元，且两个第一单元之间通过第二单元连接，所述第一单元包括批量归一化层BN、卷积层Conv和激活函数层Relu；所述第二单元包括批量归一化层BN、金字塔卷积层PyConv和激活函数层Relu；每个所述金字塔卷积层包括多种不同大小的卷积核。
在本发明实施例中，金字塔卷积(Pyramid Ponvolution，PyConv)它能够在多个滤波器尺度上处理输入。PyConv包含一个内核金字塔，其中每个级别包含不同类型的过滤器，其大小和深度不同，能够捕获场景中不同级别的细节。除了这些改进的识别能力之外，PyConv也很有效，并且，与标准卷积相比，其不会增加计算成本和参数。此外，它非常灵活和可扩展，为不同的应用提供了巨大的潜在网络体系结构空间。如图4所示，从金字塔的底部(PyConv的级别1)到顶部(PyConv的级别n)增加内核大小。同时，随着空间大小的增加，内核的深度从级别1降低到级别n。因此，这导致两个相互连接的金字塔，朝向相反的方向。一个金字塔底部有底部(通过减小内核深度进化到顶部)，另一个金字塔顶部有底部，其中卷积内核的空间大小最大(通过减小内核的空间大小进化到底部)。对于输入特征映射FMi，金字塔卷积的每一层{1,2,3,...,n}对应不同的大小的卷积核{K1 2,K2 2,K3 2,......,Kn 2}，并且每一层卷积核具有不同的深度
可以输出不同数量的输出特征图。因此金字塔卷积的参数数量和计算成本公式为：
参数数量公式：
计算成本公式：
其中H表示特征矩阵的高度，W表示特征矩阵的宽度；FMon+...+FMo3+FMo2+FMo1＝FMo这些方程中的每一行表示金字塔卷积中某一级别的参数数量和计算成本。如果金字塔卷积中的每一层输出相等数量的特征映射，那么金字塔卷积中的参数数量和计算成本将沿每个金字塔层均匀分布。
受残差学习与金字塔卷积的启发，本文提出残差金字塔模块，其结构如图5所示，对于输入特征图X，通过两个PyConvBlock处理，然后与原始的输入特征图通过残差连接相连，经过Relu激活函数后输出最终的特征图。其中的残差连接进一步对特征传播进行强化，提升网络的性能。PyConvBlock结构如图6所示，包括归一化、卷积、Relu操作。在PyConvBlock中的第二个卷积本文使用的是PyConv，具有3×3、5×5、7×7、9×9四种不同大小的卷积核，较小的卷积核感受野较小，可以得到小目标和局部细节信息。较大的卷积核感受野较大，可以得到大目标和全局语义信息。在RPC模块中如图5中使用具有不同内核的PyConv来捕捉细小的血管分支，提取视网膜血管图像中不同级别的特征进行结合，提升分割的完整性与精度。最后使用残差结构进行输出，解决了因网络级联层数过多导致的退化问题，加快网络收敛速度。
在本发明实施例中，所述编码器可以由4组残差金字塔卷积层RPC模块和4组池化层组成，每个RPC模块后紧跟一个池化层。视网膜血管图像处理后进入RPC模块，每个RPC模块中包含了两个金字塔卷积层PyConv，每个PyConv里面包含四个大小不同的卷积核Conv，用来提取视网膜血管在不同尺度的信息进行融合，然后接入一个大小为1×1的卷积核Cat，以减少输入信息的映射数目。在每一个RPC模块后都连接有一个大小为2×2的最大池化层，实现将视网膜血管特征图缩小到上一层特征图尺寸的一半的功能，因此编码器由4组残差金字塔卷积模块RPC以及4组2×2的最大池化层组成。每组RPC模块中前后各包含一个大小为1×1卷积层，这两个普通卷积中间包含一个金字塔卷积，其卷积核大小为3×3、5×5、7×7、9×9。
在本发明实施例中，所述解码器可以由上采样层Upsampling层和RPC模块组成，上采样层是核大小为2×2的反卷积层，对输出的特征图上采样恢复为原尺寸，然后使用SoftMax激活函数来对血管与背景图像分类，输出分割结果。在跳跃连接模块中引入注意力机制，用于融合背景图像与血管的比例，从而降低背景对血管分割的影响，因此解码器由4层2×2的转置卷积和1层1×1的普通卷积组成。
基于上述分析，对U-Net网络的训练过程即可以包括：
获取原始的视网膜血管图像，并对原始的视网膜血管图像进行预处理，得到训练数据集，其中，每个视网膜血管图像具有对应的分割标签，即标签图像；将训练数据集中的图像数据输入到改进的U-Net网络进行处理；编码器的RPC模块对输入的数据进行浅层特征提取，得到图像的浅层特征；在RPC模块中使用残差连接，避免当网络层数过多时出现的网络退化现象；跳跃连接模块将提取的浅层特征传递至注意力机制模块；使用注意力机制对目标区域特征进行选择，并将选择后的特征传递至编码器的输出层；解码器的反卷积层将经过编码器多次卷积和下采样得到深层特征进行特征图尺寸恢复；将编码器上采样后的特征与注意力机制输出的特征进行特征拼接，将拼接后的特征图传递至最后一个卷积层，得到最后的特征图；将最后的特征图与标签图像进行逐像素比对，得到误差；根据误差结果计算模型的损失函数，对所述目标损失函数采用反向传播计算梯度，采用随机下降算法确定所述目标损失函数的最小值，当损失函数最小时，完成模型的训练。
103、利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和池化特征；
在本发明实施例中，在U-Net网络中，编码器中包含多个残差金字塔卷积层和多个池化层，本实施例将这些残差金字塔卷积层和池化层交错连接，因此将上一层残差金字塔卷积层的输出结果输入到下一层池化层中，将上一层池化层的输出结果输入到下一层残差金字塔卷积层中，在该连接方式下，每个残差金字塔卷积层可以输出一层卷积特征，而每个池化层可以输出一层采样特征，因此就可以提取来自于不同层级的卷积特征和采样特征；这些不同层级的卷积特征和采样特征就能够反映视网膜血管图像的浅层特征、深层特征和细小血管特征。
104、将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层，并从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；
在本发明实施例中，在图像分割过程中，考虑到视网膜图像会存在背景等噪声信息对分割结果产生影响，降低分割的准确率，因此本发明引入了注意力机制，考虑到视网膜像中血管较为分散，原始的注意力机制在对血管区域以及背景等区域权重分配过程中可能出现误差，故对注意力机制进行改进，在原始输入的基础上，再增加一个输入，然后把两个输入的输出进行加运算后再进行后续操作，更加能够凸显出目标区域，可以使得模型能更加专注于对视网膜血管图像中目标区域的特征学习。如图7所示，注意力机制模型的注意系数为
用来识别显著的视网膜血管区域，并且修剪特征响应，只保留与血管信息相关的激活。注意力机制模型的输出是输入特征图和注意系数的逐元素进行相乘。公式为：
其中输入特征图为
输出特征
c为输入的网络层数，可以对应注意力机制层和池化层，l为通道的大小，i为像素空间的大小。在图像分割时，存在多个语义类别，可以使用多维注意系数，每个AG会专注于其目标分割状况。相较于乘法注意使用累加注意来获得门控系数，以获得更好的分割效果。加法注意公式：
其中
为注意力机制，
为1×1卷积的权值参数向量，Fint是像素特征向量长度，
为注意系数，
对应Sigmoid激活函数，Ω1为Relu激活函数。通过包含线性变换参数Θatt可以得到AG的特征，该参数包含线性变换系数矩阵
和
和
其中，
表示第一线性变换系数矩阵的第一输入转置矩阵，
表示第一线性变换系数矩阵的第二输入转置矩阵；
表示第二线性变换系数矩阵的第一输入转置矩阵，
表示第二线性变换系数矩阵的第二输入转置矩阵；
bg表示第一偏置项；bΨ表示第二偏置项，bΨ∈R，
xi和gi分别是输入特征图和选通信号。
通过分析输入特征和门信号，注意力机制模型可以获得门相关系数，以至于当在对图像进行分割时，注意力机制模型可以专注于视网膜血管的特征信息并且消除背景等噪声信息。从改进的U-Net网络结构中可以看出，注意力机制模型在编码部分中通过跳跃连接跳过池化层与卷积层直接级联到解码部分，融合了互补信息并采用了1×1卷积层进行线性变换，有助于进一步降低视网膜图像细小血管因恢复不足而造成的在分割过程中出现的断裂或者缺口现象。提高血管分割的准确率与完整度。
105、将最后一层的池化特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；
在本发明实施例中，将编码器中最后一层的采样特征作为解码器中第一个残差金字塔卷积层的输入，实现编码器和解码器的正常连接，当然还要借助跳跃连接完成编码器和解码器的完整连接。
106、利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层，输出得到的特征图。
107、将输出得到的特征图经过一个1×1卷积，最后得到视网膜血管的分割结果。
在本发明实施例中，由于U-Net网络中编码器和解码器是近似对称的结构，因此在本发明实施例中，解码器中包含多个残差金字塔卷积层和多个上采样层，本实施例将这些残差金字塔卷积层和上采样层交错连接，因此将下一层残差金字塔卷积层的输出结果输入到上一层上采样层中，将下一层上采样层的输出结果输入到上一层残差金字塔卷积层中，在该连接方式下，每个残差金字塔卷积层可以输出一层卷积特征，直至传递到最后一个残差金字塔卷积层，通过该最后一个残差金字塔卷积层结合softmax层就能够得到视网膜血管的分隔结果。
图8为本发明实施例中一种视网膜血管图像分割装置结构图，如图8所示，所述图像分割装置200包括：
图像获取模块201，用于获取视网膜血管图像；
图像处理模块202，用于对获取的所述视网膜血管图像进行预处理；
图像输入模块203，用于将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；
编码器模块204，利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和池化特征；
跳跃连接模块205，用于将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层；
注意力机制模块206，用于从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；
特征连接模块207，用于将最后一层的池化特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；
解码器模块208，用于利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层；
图像输出模块209，用于将最后一个残差金字塔卷积层的卷积特征输出，得到视网膜血管的分割结果。
在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如下步骤：获取视网膜血管图像，并对所述视网膜血管图像进行预处理；将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和采样特征；将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层，并从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；将最后一层的采样特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层，得到视网膜血管的分割结果。
以下将结合效果图来说明本发明，在本发明实施例中，在训练的过程中，选取的数据库均是RGB图像，像素是由红、绿、蓝三种颜色混合而成。由于视网膜血管与背景之间的对比度较低，为了得到细小血管的特征，需要进行眼底图像增强，突出血管与背景之间的对比度。由图9可知，在绿色通道中血管与背景对比度高，噪声干扰低，而红色通道和蓝色通道血管与背景对比度低，噪声干扰高。尽管眼底图像整体呈红色，但计算分析RGB通道在图像灰度转换后发现红色通道血管与背景之间像素值差异较小，不利于血管分割。此外，视盘区域的高亮显示导致部分血管信息丢失。相比之下，绿色通道下的视网膜血管与背景的像素值差异较大，更加利于血管分割。因此，采用眼底图像的绿色通道进行处理。
如图10所示，采取本发明所提出的网络模型进行视网膜血管图像分割的结果，(a)列是原始图像，(b)列是标准分割结果图，(c)列是U-Net的分割图像，(d)列是根据采取本发明提出的网络模型得到的实验结果图。从U-Net算法的分割结果图可以看出，出现了血管断裂以及血管分割不全的现象，对于细小血管末端的分割性能比较差。除此之外分割结果包含较多的噪声信息。本发明所提出的网络模型相比于U-Net算法有较大的改进，能够有效抑制噪声信息的影响，准确分割出更为详细的血管信息，提高了细小血管的分割性能。
如图11所示，(a)为原始图像，(b)-(e)分别为原始图像、标准图像、U-Net算法、本发明局部细节图。可以直观看出，在接近血管区域时，U-Net算法对细小血管的分割结果比较模糊，在血管交叉区域出现了血管缺失、断裂的现象，此外还会出现干扰信息，相比之下本文通过在经典U-Net引入PRC模块和注意力机制能够捕捉到不同级别的血管的形态结构信息，在分割血管交叉区域有效避免了血管断裂的现象，并且减少了噪声信息的干扰。实验结果表明，引入RPC模块和注意机制改进原U-Net分割结果的方法可以分割不同的血管区域，得到更好的分割结果。
最终在DRIVE数据集上的结果对比结果如表一所示：
根据上述表1中的对比结果可知本发明的分割结果比U-Net、Recurrent U-Net、Residual U-Ne、RCBAM-Net、R2U-Net以及LadderNet在准确率Accuracy以及敏感性Sensitivity上有较大的提升，总体的分割效果更好，结果更精确。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种视网膜血管图像分割方法，其特征在于，所述方法包括：
获取视网膜血管图像，并对所述视网膜血管图像进行预处理；
将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；
利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和池化特征；
将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层，并从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；
将最后一层的池化特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；
利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层，输出得到的特征图；
将输出得到的特征图经过一个1×1卷积，最后得到视网膜血管的分割结果。
2.根据权利要求1所述的一种视网膜血管图像分割方法，其特征在于，对所述视网膜血管图像进行预处理包括对获取的视网膜血管图像进行去噪和增强对比度处理，并采用不同的颜色通道对视网膜血管图像进行处理，得到血管和背景对比度最高的视网膜血管图像。
3.根据权利要求1所述的一种视网膜血管图像分割方法，其特征在于，对所述视网膜血管图像进行预处理还包括对获取的视网膜血管图像进行数据扩充操作，将每张视网膜血管图像进行相同尺寸的随机裁剪组合，从而获得扩充后的视网膜血管图像。
4.根据权利要求1所述的一种视网膜血管图像分割方法，其特征在于，U-Net网络的训练过程包括将作为视网膜血管图像的分割结果与其对应的标签图像进行逐像素比对，得到误差图像；根据所述误差图像计算U-Net网络的目标损失函数，对所述目标损失函数采用反向传播计算出梯度值，采用随机下降算法确定所述目标损失函数的最小值，当所述目标损失函数最小时，完成U-Net网络模型的训练。
5.根据权利要求1所述的一种视网膜血管图像分割方法，其特征在于，所述残差金字塔卷积层包括两个串联的金字塔卷积模块，并通过残差连接层将第一金字塔卷积模块的输出与第二金字塔卷积模块的输出进行连接；每一个金字塔卷积模块包括两个第一单元和一个第二单元，且两个第一单元之间通过第二单元连接，所述第一单元包括批量归一化层、卷积层和激活函数层；所述第二单元包括批量归一化层、金字塔卷积层和激活函数层；每个所述金字塔卷积层包括多种不同大小的卷积核。
6.根据权利要求5所述的一种视网膜血管图像分割方法，其特征在于，所述金字塔卷积层中的每个卷积核具有不同的深度。
7.根据权利要求1所述的一种视网膜血管图像分割方法，其特征在于，所述注意力机制层所采用的改进后的注意力机制公式表示为：
其中，
表示第c个注意力机制层在第l个通道输出的i像素空间的注意力特征，
表示第c个池化层在第l个通道输出的i像素空间的池化特征；
为第c个注意力机制层的注意力系数，
Ω2表示Sigmoid激活函数，
表示第l个通道的注意力机制，
表示在第l个通道输出的i像素空间的输入特征图；gi表示i像素空间选通信号；bg表示第一偏置项；bΨ表示第二偏置项；ΨT表示1×1卷积的权值参数向量；Ω1为Relu激活函数；注意力特征是由一组包含线性变换的参数Θatt得到，该参数包含
与
其中，
表示第一线性变换系数矩阵的第一输入转置矩阵，
表示第一线性变换系数矩阵的第二输入转置矩阵；
表示第二线性变换系数矩阵的第一输入转置矩阵，
表示第二线性变换系数矩阵的第二输入转置矩阵。
8.一种视网膜血管图像分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取视网膜血管图像；
图像处理模块，用于对获取的所述视网膜血管图像进行预处理；
图像输入模块，用于将预处理后的视网膜血管图像输入到训练完成的U-Net网络中；
编码器模块，利用U-Net网络中编码器的各残差金字塔卷积层与对应的池化层提取出视网膜血管图像在不同层级的卷积特征和池化特征；
跳跃连接模块，用于将每一层的卷积特征通过跳跃连接的方式传递至对应的注意力机制层；
注意力机制模块，用于从每一层的卷积特征中选择出视网膜血管图像目标区域的注意力特征；
特征连接模块，用于将最后一层的池化特征输入到U-Net网络中解码器的第一个残差金字塔卷积层中，并利用上采样层输出采样特征；
解码器模块，用于利用U-Net网络中解码器的各残差金字塔卷积层与对应的上采样层，将上采样层的采样特征与对应的注意力特征进行拼接，并传递至解码器的最后一个残差金字塔卷积层；
图像输出模块，用于将最后一个残差金字塔卷积层的的特征图经过一个1×1卷积，得到视网膜血管的分割结果。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111490173.2A CN114283158A (zh) | 2021-12-08 | 2021-12-08 | 一种视网膜血管图像分割方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111490173.2A CN114283158A (zh) | 2021-12-08 | 2021-12-08 | 一种视网膜血管图像分割方法、装置及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283158A true CN114283158A (zh) | 2022-04-05 |
Family
ID=80871238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111490173.2A Pending CN114283158A (zh) | 2021-12-08 | 2021-12-08 | 一种视网膜血管图像分割方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283158A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663421A (zh) * | 2022-04-08 | 2022-06-24 | 皖南医学院第一附属医院（皖南医学院弋矶山医院） | 基于信息迁移和有序分类的视网膜图像智能分析***及方法 |
| CN115272369A (zh) * | 2022-07-29 | 2022-11-01 | 苏州大学 | 动态聚合变换器网络及视网膜血管分割方法 |
| CN116188492A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116403212A (zh) * | 2023-05-16 | 2023-07-07 | 西安石油大学 | 基于改进U-net网络的金相图像的像素中小颗粒识别方法 |
| CN116580194A (zh) * | 2023-05-04 | 2023-08-11 | 山东省人工智能研究院 | 融合几何信息的软注意力网络的血管分割方法 |
| CN116645287A (zh) * | 2023-05-22 | 2023-08-25 | 北京科技大学 | 一种基于扩散模型的图像去模糊方法 |
| CN117541883A (zh) * | 2024-01-09 | 2024-02-09 | 四川见山科技有限责任公司 | 图像生成模型训练、图像生成方法、***以及电子设备 |
| CN117635639A (zh) * | 2023-11-29 | 2024-03-01 | 陕西中科通大生命科学技术有限公司 | 一种基于神经网络的女性生殖***异常病灶分割***及方法 |
| CN117788886A (zh) * | 2023-12-12 | 2024-03-29 | 兰州大学 | 基于calipso星载激光雷达降噪技术的云-气溶胶分类方法 |
-
2021
- 2021-12-08 CN CN202111490173.2A patent/CN114283158A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663421A (zh) * | 2022-04-08 | 2022-06-24 | 皖南医学院第一附属医院（皖南医学院弋矶山医院） | 基于信息迁移和有序分类的视网膜图像智能分析***及方法 |
| CN115272369A (zh) * | 2022-07-29 | 2022-11-01 | 苏州大学 | 动态聚合变换器网络及视网膜血管分割方法 |
| CN116188492A (zh) * | 2023-02-21 | 2023-05-30 | 北京长木谷医疗科技有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116188492B (zh) * | 2023-02-21 | 2024-04-26 | 北京长木谷医疗科技股份有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
| CN116580194A (zh) * | 2023-05-04 | 2023-08-11 | 山东省人工智能研究院 | 融合几何信息的软注意力网络的血管分割方法 |
| CN116580194B (zh) * | 2023-05-04 | 2024-02-06 | 山东省人工智能研究院 | 融合几何信息的软注意力网络的血管分割方法 |
| CN116403212B (zh) * | 2023-05-16 | 2024-02-02 | 西安石油大学 | 基于改进U-net网络的金相图像的像素中小颗粒识别方法 |
| CN116403212A (zh) * | 2023-05-16 | 2023-07-07 | 西安石油大学 | 基于改进U-net网络的金相图像的像素中小颗粒识别方法 |
| CN116645287A (zh) * | 2023-05-22 | 2023-08-25 | 北京科技大学 | 一种基于扩散模型的图像去模糊方法 |
| CN116645287B (zh) * | 2023-05-22 | 2024-03-29 | 北京科技大学 | 一种基于扩散模型的图像去模糊方法 |
| CN117635639A (zh) * | 2023-11-29 | 2024-03-01 | 陕西中科通大生命科学技术有限公司 | 一种基于神经网络的女性生殖***异常病灶分割***及方法 |
| CN117788886A (zh) * | 2023-12-12 | 2024-03-29 | 兰州大学 | 基于calipso星载激光雷达降噪技术的云-气溶胶分类方法 |
| CN117541883A (zh) * | 2024-01-09 | 2024-02-09 | 四川见山科技有限责任公司 | 图像生成模型训练、图像生成方法、***以及电子设备 |
| CN117541883B (zh) * | 2024-01-09 | 2024-04-09 | 四川见山科技有限责任公司 | 图像生成模型训练、图像生成方法、***以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
| CN107977932B (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| US20200311871A1 (en) | Image reconstruction method and device | |
| CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及*** | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN113888412B (zh) | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN113781489B (zh) | 一种息肉影像语义分割方法及装置 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN112884788A (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN116168067B (zh) | 基于深度学习的有监督多模态光场深度估计方法 | |
| CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测***、终端及存储介质 | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及*** | |
| CN117635428A (zh) | 一种肺部ct图像超分辨重建方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、***及电子设备 | |
| Tang et al. | MPCFusion: Multi-scale parallel cross fusion for infrared and visible images via convolution and vision Transformer | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
| CN118097362B (zh) | 一种基于语义感知学习的多模态图像融合方法 | |
| CN116310391B (zh) | 一种用于茶叶病害的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |