CN117934522A - 一种两阶段冠状动脉图像分割方法、***及计算机设备 - Google Patents
一种两阶段冠状动脉图像分割方法、***及计算机设备 Download PDFInfo
- Publication number
- CN117934522A CN117934522A CN202410342020.0A CN202410342020A CN117934522A CN 117934522 A CN117934522 A CN 117934522A CN 202410342020 A CN202410342020 A CN 202410342020A CN 117934522 A CN117934522 A CN 117934522A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- stage
- coronary artery
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 137
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims abstract description 104
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 2
- 238000013329 compounding Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提出的一种两阶段冠状动脉图像分割方法、***及计算机设备，该方法包括：通过设置两阶段图像分割网络，进一步提高图像分割的精度，其中将第一阶段三维图像分割网络的普通卷积核替换为动态蛇形卷积模块，进一步的提高对细长曲折的冠状动脉局部结构的特征获取能力，再在第一阶段三维图像分割网络中引入三维视角特征融合模块，将当前层的深度、高度和宽度三视角特征融合后传给下一层，从而提取更细致的特征信息，将第一阶段三维分割图像的结构骨架作为指导进行块提取操作，进一步提高分割精度，再将块提取得到的立方体集输入第二阶段三维图像分割网络进行精修分割，最终合并获取冠状动脉的分割图像，极大地提高了冠状动脉图像分割的精度。
Description
技术领域
本发明涉及图像分割领域，特别涉及一种两阶段冠状动脉图像分割方法、***及计算机设备。
背景技术
随着深度学习技术的迅速发展，基于深度学习技术的语义分割技术也逐渐广泛应用于各种复杂结构边界的划分，而在冠状动脉结构图片这种不仅结构复杂且边界不清的分割任务中，人工分割已经无法满足要求，基于深度学习技术的自动分割是必不可少的。
现有技术中，对结构复杂且边界不清的冠状动脉结构图片进行基于深度学习技术的自动分割，通常采用基于全卷积神经网络的U-Net或3D U-Net网络，其在解码阶段经过逐级上采样的方式恢复至输入图像的尺寸，并将跳跃连接的特征图求和操作转换为拼接操作，以适应复杂结构图片的分割。
但是，对于冠状动脉结构图片这种前景和背景类严重不平衡、多分支、细分支的复杂结构图片来说，现有的这些单阶段网络的分割精度依然无法满足要求。
发明内容
基于此，本发明的目的是提供一种两阶段冠状动脉图像分割方法、***及计算机设备，通过设置两阶段图像分割网络，进一步的提高图像分割的精度，其中将第一阶段三维图像分割网络的普通卷积核替换为动态蛇形卷积模块，进一步的提高对细长而曲折的冠状动脉局部结构的特征获取能力，再在第一阶段三维图像分割网络中引入三维视角特征融合模块，将当前层的深度、高度和宽度三视角特征融合后传给下一层，从而提取更加细致的特征信息，将第一阶段三维分割图像的结构骨架作为指导进行块提取操作，进一步的提高分割精度，再将块提取得到的立方体集输入第二阶段三维图像分割网络进行精修分割，最终合并获取冠状动脉的分割图像，极大地提高了冠状动脉图像分割的精度。
本发明提出的两阶段冠状动脉图像分割方法，包括：
获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络包括动态蛇形卷积模块、三维视角特征融合模块和块提取模块；
所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像；
对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集；
将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像。
综上，根据上述两阶段冠状动脉图像分割方法，通过设置两阶段图像分割网络，进一步的提高图像分割的精度，其中将第一阶段三维图像分割网络的普通卷积核替换为动态蛇形卷积模块，进一步的提高对细长而曲折的冠状动脉局部结构的特征获取能力，再在第一阶段三维图像分割网络中引入三维视角特征融合模块，将当前层的深度、高度和宽度三视角特征融合后传给下一层，从而提取更加细致的特征信息，将第一阶段三维分割图像的结构骨架作为指导进行块提取操作，进一步的提高分割精度，再将块提取得到的立方体集输入第二阶段三维图像分割网络进行精修分割，最终合并获取冠状动脉的分割图像，极大地提高了冠状动脉图像分割的精度。具体的，获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，通过将图像进行放缩处理，提高了模型分割效率，所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像，通过引入动态蛇形卷积模块和三维视角特征融合模块，提高了分割网络对冠状动脉细长而曲折的特殊结构的特征提取能力并获取更多细节特征，进而提高了分割网络的分割精度，对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集，通过将第一阶段三维分割图像的管状结构骨架作为指导进行块提取，以获取更多更完整的特征信息，将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像，极大地提高了冠状动脉图像分割的分割精度。
进一步的，所述获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中的步骤包括：
获取冠状动脉图像，并将所述冠状动脉图像进行放缩处理后，输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络根据如下公式获取第一阶段三维分割图像：
，
其中，表示第一阶段三维图像分割函数，/>表示放缩处理后的输入图像，/>表示网络参数，/>表示第一阶段三维图像分割网络对输入图像/>的分割结果。
进一步的，所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像的步骤包括：
获取放缩处理后的冠状动脉图像并输入动态蛇形卷积模块，所述动态蛇形卷积模块的卷积核为3×3×3的卷积核K，所述动态蛇形卷积模块的所述卷积核K膨胀指数设定为1，同时在所述卷积核K中引入变形偏移量，所述变形偏移量/>的大小范围为[-1,1]，所述卷积核K为：
，
其中x、y、z表示卷积核的中心坐标点；
所述动态蛇形卷积模块在X轴、Y轴和Z轴三个方向上的网格迭代计算公式为：
，
其中，K i表示X轴方向上的中点，K j表示Y轴方向上的中点，K k表示Z轴方向上的中点，c={0,1,2,3,4}；
所述动态蛇形卷积模块根据所述网格迭代计算公式获取管状结构局部特征图像。
进一步的，所述并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像的步骤包括：
获取管状结构局部特征图像并输入三维视角特征融合模块，所述三维视角特征融合模块根据如下公式获取三维视角融合特征图像：
，
其中，表示输出的三维视角融合特征，/>分别表示第/>层的三维视角特征，[·]表示拼接操作，/>表示第/>层的复合操作，所述复合操作包括3D卷积、组归一化和非线性激活函数。
进一步的，所述对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架的步骤包括：
获取第一阶段三维分割图像并进行插值处理，以根据如下公式建立所述第一阶段三维分割图像的点结构：
，
其中，表示三维物体S的欧拉特征，/>表示三维物体S的连通体，/>表示三维物体S的孔洞，/>表示三维物体S的空腔的数目；
对所述点结构进行简单点的判断，并从所述点结构中剔除所述简单点，以获取所述第一阶段三维分割图像中的管状结构骨架。
进一步的，所述将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像的步骤包括：
获取立方体集并输入第二阶段三维图像分割网络，所述第二阶段三维图像分割网络根据如下公式获取精修三维特征图像块：
，
其中，表示第二阶段分割网络，/>表示第一阶段分割结果指导原图提取到的分块数据，/>表示第二阶段网络的参数，/>表示第二阶段三维图像分割网络的分割结果；
将所述精修三维特征图像块合并以获取最终分割图像。
进一步的，所述将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并的步骤之后还包括：
根据如下公式计算第一阶段三维图像分割网络和第二阶段三维图像分割网络的函数损失：
，
其中，|X∩Y|表示X和Y集合的交集，|X|和|Y|分别表示真实标签值和预测值。
本发明提出的一种两阶段冠状动脉图像分割***，包括：
图像采集处理模块，用于获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络包括动态蛇形卷积模块、三维视角特征融合模块和块提取模块；
第一阶段图像分割模块，用于所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像；
第一阶段块提取模块，用于对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集；
第二阶段图像分割模块，用于将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像。
本发明另一方面，还提供一种存储介质，包括所述存储介质存储一个或多个程序，所述程序被执行时实现如上述的两阶段冠状动脉图像分割方法。
本发明另一方面还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器中存放的所述计算机程序时，实现如上述的两阶段冠状动脉图像分割方法。
附图说明
图1为本发明第一实施例提出的两阶段冠状动脉图像分割方法的流程图；
图2为本发明第二实施例提出的两阶段冠状动脉图像分割方法的流程图；
图3为本发明第三实施例提出的两阶段冠状动脉图像分割***的结构示意图；
图4为本发明第一实施例提出的两阶段冠状动脉图像分割方法的第一阶段三维图像分割网络的结构流程图；
图5为本发明第一实施例提出的两阶段冠状动脉图像分割方法的三维视角特征融合模块结构图；
图6为本发明第二实施例提出的两阶段冠状动脉图像分割方法的分割结果可视化对比图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例提出的两阶段冠状动脉图像分割方法的流程图，该种两阶段冠状动脉图像分割方法包括步骤S01至步骤S04，其中：
步骤S01：获取冠状动脉图像并进行预处理，将冠状动脉图像输入第一阶段三维图像分割网络中；
需要说明的，为了避免图像分割网络模型受到设备性能限制，本实施例中将原本大小为512×512×Z（Z为206-275）的冠状动脉图像放缩到128×128×64大小以作为第一阶段三维图像分割网络的输入，本实施例中的第一阶段三维图像分割网络的基础网络采用3DU-Net网络，再用动态蛇形卷积模块替代原本的普通卷积模块，并引入三维视角特征融合模块得到第一阶段三维图像分割网络3D DSU-Net，本发明第一阶段三维图像分割网络的结构流程图请参阅图4，本发明引入三维视角特征融合模块结构图请参阅图5。
步骤S02：动态蛇形卷积模块获取冠状动脉图像的管状结构局部特征图像，并将管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据管状结构局部特征图像和三维视角融合特征图像获取第一阶段三维分割图像；
需要说明的，本实施例中的动态蛇形卷积模块的卷积核膨胀指数设定为1，同时在卷积核中引入变形偏移量，让模型能够自由学习变形偏移，同时采用迭代策略，为每个待处理的目标依次选择待观察的位置，从而确保注意力的连续性并且不会由于大的变形偏移而将感受场扩散得太远，本实施例的迭代策略是从中心网格开始，向两端逐步迭代，远离中心网格的位置取决于前一网格的位置，如相对于/>被增大的变形偏移量/>的大小范围为[-1,1]。
步骤S03：对第一阶段三维分割图像进行插值处理并根据表面细化算法获取第一阶段三维分割图像中的管状结构骨架，块提取模块根据管状结构骨架对冠状动脉图像进行块提取操作，以获取冠状动脉图像的立方体集；
需要说明的，块提取单元将完整的体数据切分成多个小体块，作为第二阶段网络的输入数据，常规的块提取通常采用滑动窗口的方法，提取得到分块的前景和背景信息分布不均，容易导致分割效果大幅度下降，所以本实施例中利用3D DSU-Net网络来粗略地获取整体目标区域，然后利用其结果进一步指导块提取，使数据中包含更多的冠状动脉信息，本实施例中的表面细化方法是指对输入的三维二值图像中的目标物体，从最外层向内层逐层地进行腐蚀，不断剥离简单点，同时又保持原物体的拓扑结构和连通性，直到目标物体只剩下一个体素宽度的骨架为止，本实施例中的块提取模块与现有常见块提取模块的对比如下表1：
表1
由上表可见，本发明的通过提取第一阶段三维分割图像的管状结构骨架对块提取进行指导，大幅的提升了块提取获得的有效标签数，即大大提高了图片信息的获取量，本实施例中的块提取操作获取64×64×64的图像立方体集。
步骤S04：将立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将精修三维特征图像块合并，以获取最终分割图像；
需要说明的，由于冠状动脉在局部具有较强的相似性，下采样容易丢失血管的局部特征，例如微小的细节或边缘信息，这些信息对于识别物体的形状和结构十分重要，所以第二阶段使用基于块的分割方法，模型在较小的邻域内学习血管的局部特征，本实施例中将3D U-Net++网络作为主框架，利用第一阶段的分割结果引导第二阶段的分割，即上一阶段提取到的64×64×64大小图像输入第二阶段分割模型进行学习，最后将分割后的图像块进行合并，得到与原始输入图像大小相同的分割结果。
综上，根据上述两阶段冠状动脉图像分割方法，通过设置两阶段图像分割网络，进一步的提高图像分割的精度，其中将第一阶段三维图像分割网络的普通卷积核替换为动态蛇形卷积模块，进一步的提高对细长而曲折的冠状动脉局部结构的特征获取能力，再在第一阶段三维图像分割网络中引入三维视角特征融合模块，将当前层的深度、高度和宽度三视角特征融合后传给下一层，从而提取更加细致的特征信息，将第一阶段三维分割图像的结构骨架作为指导进行块提取操作，进一步的提高分割精度，再将块提取得到的立方体集输入第二阶段三维图像分割网络进行精修分割，最终合并获取冠状动脉的分割图像，极大地提高了冠状动脉图像分割的精度。具体的，获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，通过将图像进行放缩处理，提高了模型分割效率，所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像，通过引入动态蛇形卷积模块和三维视角特征融合模块，提高了分割网络对冠状动脉细长而曲折的特殊结构的特征提取能力并获取更多细节特征，进而提高了分割网络的分割精度，对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集，通过将第一阶段三维分割图像的管状结构骨架作为指导进行块提取，以获取更多更完整的特征信息，将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像，极大地提高了冠状动脉图像分割的分割精度。
请参阅图2，所示为本发明第二实施例提出的两阶段冠状动脉图像分割方法的流程图，该种两阶段冠状动脉图像分割方法包括步骤S11至步骤S17，其中：
步骤S11：获取冠状动脉图像并进行放缩处理后，输入第一阶段三维图像分割网络中；
步骤S12：将放缩处理后的冠状动脉图像输入动态蛇形卷积模块并根据所述网格迭代计算公式获取管状结构局部特征图像；
步骤S13：将管状结构局部特征图像输入三维视角特征融合模块，以获取三维视角融合特征图像；
步骤S14：获取第一阶段三维分割图像并进行插值处理，并建立第一阶段三维分割图像的点结构，对点结构进行简单点的判断，并从点结构中剔除简单点，以获取第一阶段三维分割图像中的管状结构骨架；
步骤S15：块提取模块根据管状结构骨架对冠状动脉图像进行块提取操作，以获取冠状动脉图像的立方体集；
步骤S16：将立方体集输入第二阶段三维图像分割网络，以获取精修三维特征图像块，将精修三维特征图像块合并以获取最终分割图像；
步骤S17：根据损失函数计算第一阶段三维图像分割网络和第二阶段三维图像分割网络的函数损失；
需要说明的，本实施例中，考虑到冠状动脉分割任务存在严重的类别不平衡问题，常用的交叉熵损失函数并不适用于这种情况，因此本实施例采用了适合解决前景背景严重不平衡问题的Dice Loss作为损失函数，以避免模型在分割过程中偏向于背景类别，从而提高分割模型的性能和准确性。
需要说明的，本发明提出两阶段冠状动脉图像分割方法与目前最先进的分割方法在Dice系数、豪斯多夫距离和平均豪斯多夫距离这三项性能指标上进行比较，结果如下表2：
表2
由上表可见，本发明的两阶段网络在Dice系数、豪斯多夫距离和平均豪斯多夫距离这三项性能指标上均优于目前的先进分割网络模型，原本的3D U-Net网络相对于最先进网络ImageCAS网络在三项性能指标上均是落后极大，在Dice系数上落后了10.95%，在豪斯多夫距离上更是落后了13.7524mm，而即便是本发明的第一阶段图像分割网络3D DSU-Net网络，单独使用时在三项性能指标上与ImageCAS网络仍然具有一定不小的性能差距，但是本发明提出的两阶段网络在三项性能指标上均已经优于了ImageCAS网络，本发明的两阶段图像分割网络和原3D U-Net网络、本发明的3D DSU-Net网络获取的分割结果与实际图像之间的可视化对比请参阅图6，其中第一列图像为原3D U-Net网络的分割结果，第二列图像为本发明的3D DSU-Net网络的分割结果，第三列为本发明的两阶段图像分割网络的分割结果，第四列为实际图像，可见本发明分割结果图像具有更清晰的结构更完整的边界，极大地提高了冠状动脉图像分割的分割精度。
综上，根据上述两阶段冠状动脉图像分割方法，通过设置两阶段图像分割网络，进一步的提高图像分割的精度，其中将第一阶段三维图像分割网络的普通卷积核替换为动态蛇形卷积模块，进一步的提高对细长而曲折的冠状动脉局部结构的特征获取能力，再在第一阶段三维图像分割网络中引入三维视角特征融合模块，将当前层的深度、高度和宽度三视角特征融合后传给下一层，从而提取更加细致的特征信息，将第一阶段三维分割图像的结构骨架作为指导进行块提取操作，进一步的提高分割精度，再将块提取得到的立方体集输入第二阶段三维图像分割网络进行精修分割，最终合并获取冠状动脉的分割图像，极大地提高了冠状动脉图像分割的精度。具体的，获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，通过将图像进行放缩处理，提高了模型分割效率，所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像，通过引入动态蛇形卷积模块和三维视角特征融合模块，提高了分割网络对冠状动脉细长而曲折的特殊结构的特征提取能力并获取更多细节特征，进而提高了分割网络的分割精度，对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集，通过将第一阶段三维分割图像的管状结构骨架作为指导进行块提取，以获取更多更完整的特征信息，将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像，极大地提高了冠状动脉图像分割的分割精度。
请参阅图3，所示为本发明第三实施例提出的两阶段冠状动脉图像分割***的结构示意图，该***包括：
图像采集处理模块10，用于获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络包括动态蛇形卷积模块、三维视角特征融合模块和块提取模块；
第一阶段图像分割模块20，用于所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像；
第一阶段块提取模块30，用于对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集；
第二阶段图像分割模块40，用于将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像。
进一步的，图像采集处理模块10包括：
图像采集处理单元101，用于获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络包括动态蛇形卷积模块、三维视角特征融合模块和块提取模块.
进一步的，第一阶段图像分割模块20包括：
动态蛇形卷积单元201，用于所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像；
三维视角特征融合单元202，用于并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像。
进一步的，第一阶段块提取模块30包括：
骨架提取单元301，用于对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，
块提取单元302，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集。
进一步的，第二阶段图像分割模块40包括：
精修单元401，用于将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像。
本发明另一方面还提出计算机存储介质，其上存储有一个或多个程序，该程序给处理器执行时实现上述的两阶段冠状动脉图像分割方法。
本发明另一方面还提出一种计算机设备，包括存储器和处理器，其中所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序，以实现上述的两阶段冠状动脉图像分割方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种两阶段冠状动脉图像分割方法，其特征在于，包括：
获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络包括动态蛇形卷积模块、三维视角特征融合模块和块提取模块；
所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像；
对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集；
将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像。
2.根据权利要求1所述的两阶段冠状动脉图像分割方法，其特征在于，所述获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中的步骤包括：
获取冠状动脉图像，并将所述冠状动脉图像进行放缩处理后，输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络根据如下公式获取第一阶段三维分割图像：
，
其中，表示第一阶段三维图像分割函数，/>表示放缩处理后的输入图像，/>表示网络参数，/>表示第一阶段三维图像分割网络对输入图像/>的分割结果。
3.根据权利要求1所述的两阶段冠状动脉图像分割方法，其特征在于，所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像的步骤包括：
获取放缩处理后的冠状动脉图像并输入动态蛇形卷积模块，所述动态蛇形卷积模块的卷积核为3×3×3的卷积核K，所述动态蛇形卷积模块的所述卷积核K膨胀指数设定为1，同时在所述卷积核K中引入变形偏移量，所述变形偏移量/>的大小范围为[-1,1]，所述卷积核K为：
，
其中x、y、z表示卷积核的中心坐标点；
所述动态蛇形卷积模块在X轴、Y轴和Z轴三个方向上的网格迭代计算公式为：
，
其中，K i表示X轴方向上的中点，K j表示Y轴方向上的中点，K k表示Z轴方向上的中点，c={0,1,2,3,4}；
所述动态蛇形卷积模块根据所述网格迭代计算公式获取管状结构局部特征图像。
4.根据权利要求1所述的两阶段冠状动脉图像分割方法，其特征在于，所述并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像的步骤包括：
获取管状结构局部特征图像并输入三维视角特征融合模块，所述三维视角特征融合模块根据如下公式获取三维视角融合特征图像：
，
其中，表示输出的三维视角融合特征，/>分别表示第/>层的三维视角特征，[·]表示拼接操作，/>表示第/>层的复合操作，所述复合操作包括3D卷积、组归一化和非线性激活函数。
5.根据权利要求1所述的两阶段冠状动脉图像分割方法，其特征在于，所述对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架的步骤包括：
获取第一阶段三维分割图像并进行插值处理，以根据如下公式建立所述第一阶段三维分割图像的点结构：
，
其中，表示三维物体S的欧拉特征，/>表示三维物体S的连通体，/>表示三维物体S的孔洞，/>表示三维物体S的空腔的数目；
对所述点结构进行简单点的判断，并从所述点结构中剔除所述简单点，以获取所述第一阶段三维分割图像中的管状结构骨架。
6.根据权利要求1所述的两阶段冠状动脉图像分割方法，其特征在于，所述将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像的步骤包括：
获取立方体集并输入第二阶段三维图像分割网络，所述第二阶段三维图像分割网络根据如下公式获取精修三维特征图像块：
，
其中，表示第二阶段分割网络，/>表示第一阶段分割结果指导原图提取到的分块数据，/>表示第二阶段网络的参数，/>表示第二阶段三维图像分割网络的分割结果；
将所述精修三维特征图像块合并以获取最终分割图像。
7.根据权利要求1所述的两阶段冠状动脉图像分割方法，其特征在于，所述将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并的步骤之后还包括：
根据如下公式计算第一阶段三维图像分割网络和第二阶段三维图像分割网络的函数损失：
，
其中，|X∩Y|表示X和Y集合的交集，|X|和|Y|分别表示真实标签值和预测值。
8.一种两阶段冠状动脉图像分割***，其特征在于，包括：
图像采集处理模块，用于获取冠状动脉图像并进行预处理，将所述冠状动脉图像输入第一阶段三维图像分割网络中，所述第一阶段三维图像分割网络包括动态蛇形卷积模块、三维视角特征融合模块和块提取模块；
第一阶段图像分割模块，用于所述动态蛇形卷积模块获取所述冠状动脉图像的管状结构局部特征图像，并将所述管状结构局部特征图像输入三维视角特征融合模块中，以获取三维视角融合特征图像，再根据所述管状结构局部特征图像和所述三维视角融合特征图像获取第一阶段三维分割图像；
第一阶段块提取模块，用于对所述第一阶段三维分割图像进行插值处理并根据表面细化算法获取所述第一阶段三维分割图像中的管状结构骨架，所述块提取模块根据所述管状结构骨架对所述冠状动脉图像进行块提取操作，以获取所述冠状动脉图像的立方体集；
第二阶段图像分割模块，用于将所述立方体集输入第二阶段三维图像分割网络，获取精修三维特征图像块并将所述精修三维特征图像块合并，以获取最终分割图像。
9.一种存储介质，其特征在于，包括：所述存储介质存储一个或多个程序，所述程序被处理器执行时实现如权利要求1-7任一项所述的两阶段冠状动脉图像分割方法。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器中存放的所述计算机程序时，实现权利要求1-7任一项所述的两阶段冠状动脉图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410342020.0A CN117934522B (zh) | 2024-03-25 | 一种两阶段冠状动脉图像分割方法、***及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410342020.0A CN117934522B (zh) | 2024-03-25 | 一种两阶段冠状动脉图像分割方法、***及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934522A true CN117934522A (zh) | 2024-04-26 |
| CN117934522B CN117934522B (zh) | 2024-06-28 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991365A (zh) * | 2021-05-11 | 2021-06-18 | 广东工业大学 | 一种冠状动脉分割方法、***及存储介质 |
| WO2021196536A1 (zh) * | 2020-03-31 | 2021-10-07 | 苏州润迈德医疗科技有限公司 | 精确提取血管中心线的方法、装置、分析***和存储介质 |
| CN114298971A (zh) * | 2021-11-23 | 2022-04-08 | 中国科学院深圳先进技术研究院 | 一种冠状动脉分割方法、***、终端以及存储介质 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| CN115908463A (zh) * | 2023-01-04 | 2023-04-04 | 河北工业大学 | 基于半监督一致性学习的3d冠状动脉图像分割方法 |
| CN116843697A (zh) * | 2023-05-31 | 2023-10-03 | 广东工业大学 | 一种二阶段的3d冠状动脉分割重构方法和*** |
| CN117495876A (zh) * | 2023-12-29 | 2024-02-02 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及*** |
| CN117541994A (zh) * | 2023-11-23 | 2024-02-09 | 上海电机学院 | 一种密集多人场景下的异常行为检测模型及检测方法 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021196536A1 (zh) * | 2020-03-31 | 2021-10-07 | 苏州润迈德医疗科技有限公司 | 精确提取血管中心线的方法、装置、分析***和存储介质 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| CN112991365A (zh) * | 2021-05-11 | 2021-06-18 | 广东工业大学 | 一种冠状动脉分割方法、***及存储介质 |
| CN114298971A (zh) * | 2021-11-23 | 2022-04-08 | 中国科学院深圳先进技术研究院 | 一种冠状动脉分割方法、***、终端以及存储介质 |
| CN115908463A (zh) * | 2023-01-04 | 2023-04-04 | 河北工业大学 | 基于半监督一致性学习的3d冠状动脉图像分割方法 |
| CN116843697A (zh) * | 2023-05-31 | 2023-10-03 | 广东工业大学 | 一种二阶段的3d冠状动脉分割重构方法和*** |
| CN117541994A (zh) * | 2023-11-23 | 2024-02-09 | 上海电机学院 | 一种密集多人场景下的异常行为检测模型及检测方法 |
| CN117495876A (zh) * | 2023-12-29 | 2024-02-02 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| YAOLEI QI: "Dynamic Snake Convolution based on Topological Geometric Constraints for Tubular Structure Segmentation", 《2023 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》, 15 January 2024 (2024-01-15) * |
| 曾雨鸿: "一种融合二维和三维卷积网络的两阶段冠状动脉分割方法", 集成技术, 31 May 2022 (2022-05-31) * |
| 王 璐: "基于CTA图像的两阶段U-Net 冠状动脉分割", 东北大学学报（自然科学版）, 30 June 2022 (2022-06-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108710830B (zh) | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 | |
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| Wang et al. | A broadly applicable 3-D neuron tracing method based on open-curve snake | |
| Ioannou et al. | Difference of normals as a multi-scale operator in unorganized point clouds | |
| CN113033570B (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US10360672B2 (en) | Automated separation of binary overlapping trees | |
| CN113807355A (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| WO2002058008A1 (en) | Two and three dimensional skeletonization | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN111125397B (zh) | 一种基于卷积神经网络的布料图像检索方法 | |
| Xue et al. | Boundary-induced and scene-aggregated network for monocular depth prediction | |
| CN116228792A (zh) | 一种医学图像分割方法、***及电子装置 | |
| CN111860077A (zh) | 人脸检测方法、装置、计算机可读存储介质及设备 | |
| CN117495876B (zh) | 基于深度学习的冠状动脉图像分割方法及*** | |
| CN117934522B (zh) | 一种两阶段冠状动脉图像分割方法、***及计算机设备 | |
| CN113052849A (zh) | 腹部组织图像自动分割方法及*** | |
| CN117351487A (zh) | 一种邻近区域与边缘信息融合的医学图像分割方法、*** | |
| CN117934522A (zh) | 一种两阶段冠状动脉图像分割方法、***及计算机设备 | |
| CN117152173A (zh) | 一种基于DUNetR模型的冠状动脉分割方法和*** | |
| CN116152199A (zh) | 基于分割图引导与正则约束的手部姿势与形状估计方法 | |
| CN115861207A (zh) | 一种轻量化的医学图像分割方法和*** | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
| CN113361442B (zh) | 图像识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Jianming Inventor after: Tang Yucheng Inventor before: Liu Jianming Inventor before: Tang Yicheng |
|
| GR01 | Patent grant |