CN117474930A - 关于ct图像左心房和左心耳组织的联合分割方法和*** - Google Patents

关于ct图像左心房和左心耳组织的联合分割方法和*** Download PDF

Info

Publication number
CN117474930A
CN117474930A CN202311159991.3A CN202311159991A CN117474930A CN 117474930 A CN117474930 A CN 117474930A CN 202311159991 A CN202311159991 A CN 202311159991A CN 117474930 A CN117474930 A CN 117474930A
Authority
CN
China
Prior art keywords
network model
neural network
stage
segmentation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311159991.3A
Other languages
English (en)
Inventor
杨杰
游鑫
郁怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202311159991.3A priority Critical patent/CN117474930A/zh
Publication of CN117474930A publication Critical patent/CN117474930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种关于CT图像左心房和左心耳组织的联合分割方法和***，包括：构建第一阶段数据集；搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；使用第一阶段数据集，训练第一阶段神经网络模型N1；使用第一阶段数据集，测试第一阶段神经网络模型N1；对第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；搭建用于优化粗分割结果的第二阶段神经网络模型N2；使用第二阶段数据训练第二阶段神经网络模型N2；使用第二阶段数据测试第二阶段神经网络模型N2。本发明实现基于神经网络模型对左心房和左心耳组织的相对位置关系进行建模，同时实现对于左心房和左心耳组织的精确分割。

Description

关于CT图像左心房和左心耳组织的联合分割方法和***
技术领域
本发明涉及计算机视觉技术领域，具体地，涉及一种关于CT图像左心房和左心耳组织的联合分割方法、***、介质及终端。
背景技术
房颤是心脏相关疾病中最常见的一类疾病之一，该疾病与左心房组织密切相关。在左心房这一腔式结构的旁边，存在着左心耳这一更加精细的结构。而绝大多数由房颤引发的中风则是由左心耳里的血栓引起的。针对中风的常见治疗方法为抗凝疗法，然而不少病人对于该疗法存在禁忌症。因此，一种更加有效且可行的左心耳封堵技术应运而生。该方法可以规避抗凝疗法的绝大多数弊病。
而封堵器的尺寸与左心房和左心耳的交界面大小密切相关，因此强化对于左心房和左心耳拓扑结构的研究，有助于开展由房颤导致的中风治疗的研究。而术前的心脏CT成像则是对于该疾病的典型介入方式，因此左心房及左心耳CT图像的全自动精确分割对于此类疾病的诊断和治疗至关重要。
到目前为止，许多工作致力于左心房的自动分割，相比之下，对于左心耳的研究却是不足的，尤其是对于两者之间的相对位置关系的建模。左心房以及左心耳的形状结构都存在较大的差异。除此之外，相比于左右心房，左右心室，左心耳结构具有更加不确定的边缘，尤其是其与左心房的交界面区域，因此该区域的精确分割存在困难。
目前已有若干工作用于解决粗糙边缘的分割问题，这些工作大致可以分为三个类别。
第一个类别的策略是引入多任务学习的概念，对边界区域利用损失函数施加一个较强的约束。第二种则是通过复杂的后处理过程去优化边缘区域的粗糙分割结果。但以上两种方法主要用于优化高质量图像中具有清晰边缘的区域，并不适用于左心房以及左心耳交界面的不确定边缘。
相比之下，第三种解决策略能够起作用，该策略是基于增强不确定边缘区域所对应的深度特征，从而实现对于该区域的精确定位。目前的方法侧重于以注意力的方式将边缘区域的标注信息隐式地加入边缘特征里，或是考虑对边缘的像素引入不确定性，但这两种方法依然未能较好地描述边缘的不确定性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种关于CT图像左心房和左心耳组织的联合分割方法和***。
根据本发明的一个方面，提供一种关于CT图像左心房和左心耳组织的联合分割方法，包括：
构建第一阶段数据集；
搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；
使用所述第一阶段数据集，训练所述第一阶段神经网络模型N1；
使用所述第一阶段数据集，测试所述第一阶段神经网络模型N1；
对所述第一阶段神经网络模型N1在验证集上的粗分割结果进行采样，构建第二阶段数据集；
搭建用于优化所述粗分割结果的第二阶段神经网络模型N2；
使用所述第二阶段数据训练所述第二阶段神经网络模型N2；
使用所述第二阶段数据测试所述第二阶段神经网络模型N2。
用训练好的所述第一阶段神经网络模型N1和第二阶段神经网络模型N2分割CT图像中的左心房和左心耳。
优选地，搭建的所述第一阶段神经网络模型N1为带有多尺度特征提取、特征增强和特征融合的3D医学图像分割神经网络模型；
在所述第一阶段神经网络模型N1中的操作，包括：
对3D CT图像采用层级神经网络模型，提取多尺度图像特征；
对所述多尺度图像特征采用基于扩散理论设计的语义差分模块进行边缘特征增强，得到增强后的特征；
对所述增强后的特征进行多尺度融合，得到最终的深度编码特征；
将所述深度编码特征输入到分割网络对前景目标进行分割，得到粗分割结果；
所述第一阶段神经网络模型N1的训练，包括：
利用所述第一阶段数据集的标注结果与所述粗分割结果构建损失函数，进行训练，优化所述第一阶段神经网络模型N1的参数。
优选地，所述增强后的特征包括两部分，一部分是来自所述层级神经网络模型的原始特征，另一部分是来自所述语义差分模块增强后的边缘特征。
优选地，所述语义差分模块是基于扩散理论进行设计的，包括：
将所述扩散理论采用二阶偏微分方程进行描述：
其中，表示梯度算子，D表示扩散函数，其决定了沿着特定方向的扩散速度；所述扩散函数D为/>其具有非线性特征，采用来自卷积网络的深层特征G作为所述扩散函数的自变量，/>表征基于差分算子的语义指导图，h表示基于卷积的映射函数；
求解所述二阶偏微分方程，得到近似数值解：
其中，p表示特征图里的特定像素点，δp表示像素p周围的一个小领域，λ与v为加权系数，表征了原始特征Ft的差分特征图在p点处的数值，/>为深层特征的语义差分图；/>表示增强后的特征，/>表示原始特征，/>表示语义差分模块增强后的边缘特征；
在表示基于卷积的映射函数h中，提出可学习的边缘算子，使得卷积核在各个位置具有不同的数值，同时保证卷积核具有差分属性，卷积核正中心位置处的值设定为1，得到最终增强后的边缘特征
其中和/>分别表示特征F和深层语义特征G所对应的可学习边缘算子，而/>表示卷积核。
优选地，所述第二阶段神经网络模型N2的训练过程，包括：
对所述粗分割结果进行采样，采样包括左心房和左心耳出现不连通的区域；
截取所述不连通区域对应的图像和粗分割掩码，同时输入到第二阶段神经网络模型N2中；
采用基于距离约束的连通性损失函数结合戴斯损失函数进行训练。
优选地，所述采用基于距离约束的连通性损失函数结合戴斯损失函数进行训练，包括：
计算所述连通性损失函数
通过分割真值掩码的像素标签信息提取到左心耳区域的逐点坐标，定位左心耳区域；
找到包含所述左心耳区域的近似最小外接六面体，并确定六面体上与左心房表面距离最近的四个顶点Vi(i＝1,2,3,4)；
利用最近的四个所述顶点到左心房表面的最小距离计算连通性损失函数
其中σ表示激活函数，P表示左心房表面的点集集合，Pj表示集合P中的一个元素，Vi(i＝1,2,3,4)表示左心耳外接六面体上与左心房表面距离最近的四个顶点，S表示归一化系数(本实验设置为20)，D表示欧几里得距离；
计算总的损失函数
其中，为戴斯损失函数；当第二阶段网络模型N2的训练轮数超过设定次数时，λ取1；当轮数小于设定次数时，λ取0。
优选地，所述使用第二阶段数据测试所述第二阶段神经网络模型N2时，进行通道校正，具体为：将截取的不连通区域的图像和粗分割掩码，同时输入到第二阶段神经网络模型N2中，通过编码器-解码器结构求得解码以后的特征Fd；在对特征Fd逐像素按通道选取最大激活值之前，先对特征中每个通道的最大值进行统一化操作。
根据本发明的第二个方面，提供一种关于CT图像左心房和左心耳组织的联合分割***，包括：
第一数据模块，该模块构建第一阶段数据集；
第一网络模型模块，该模块第一神经搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；
第一训练模块，该模块使用所述第一阶段数据集，训练所述神经网络模型N1；
第一测试模块，该模块使用所述第一阶段数据集，测试所述神经网络模型N1；
第二数据模块，该模块对所述第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；
第二网络模型模块，该模块搭建用于优化所述粗分割结果的第二阶段神经网络模型N2；
第二训练模块，该模块使用所述第二阶段数据训练所述第二阶段神经网络模型N2；
第二测试模块，该模块使用所述第二阶段数据测试所述第二阶段神经网络模型N2。
根据本发明的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的关于CT图像左心房和左心耳组织的联合分割方法，或，运行所述的关于CT图像左心房和左心耳组织的联合分割***。
根据本发明的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项所述的关于CT图像左心房和左心耳组织的联合分割方法，或，运行所述的关于CT图像左心房和左心耳组织的联合分割***。
与现有技术相比，本发明实施例至少具有如下的一种有益效果：
本发明实施例提供的一种关于CT图像左心房和左心耳组织的联合分割方法和***，首次实现基于神经网络模型对左心房和左心耳组织的相对位置关系进行建模，利用带标注的左心房及左心耳图像数据，同时实现对于左心房和左心耳组织的精确的联合分割。
本发明实施例提供的一种关于CT图像左心房和左心耳组织的联合分割方法和***，可以应用到心房颤动等疾病的临床诊断和手术治疗当中。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的左心房以及左心耳CT图像的联合分割方法的流程图；
图2为本发明一较佳实施例的左心房以及左心耳分割的第一阶段神经网络模型的示意图；
图3为本发明一较佳实施例的左心房以及左心耳分割的第二阶段神经网络模型的示意图；
图4为本发明一较佳实施例的语义差分模块SDM示意图；
图5为本发明一较佳实施例的第二阶段神经网络模型对于粗分割结果的迭代优化图；
图6为本发明一较佳实施例的本发明方法与现有方法的分割结果对比图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明沿用背景技术中第三种策略，即基于增强不确定边缘区域所对应的深度特征，从而实现对于该区域的精确定位。但本发明构思不同于现有基于注意力机制的技术，首次将热力学的扩散理论模型引入到对于不确定区域的增强模块中，具体地，将边缘的形成建模为像素扩散的最终稳定态，而扩散过程本身也是生成不确定性的过程。因此，扩散理论相比现有技术存在对于不确定性的更强建模能力。
同时由于成像过程中的噪声以及左心耳区域的模糊边缘，导致部分病例出现左心房与左心耳之间不连通的问题。该问题也会使得两者交界面的精确分割成为阻碍，降低临床手术介入治疗的效率。因此，针对左心房及左心耳联合分割任务，尤其是对于不确定边缘精确分割的需求，需要针对性地设计合适的深度学习方法。
基于上述的发明构思，本发明提供一种实施例，一种关于CT图像左心房和左心耳组织的联合分割方法，参见图1，其具体过程如下：
S11，构建第一阶段数据集；
S12，搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；
S13，使用S11中构建的第一阶段数据集，训练S12中搭建的第一阶段神经网络模型N1；
S14，使用S11中构建的第一阶段数据集，测试S13完成训练的第一阶段神经网络模型N1；
S15，对第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；
S16，搭建用于优化粗分割测试结果的第二阶段神经网络模型N2；
S17，使用S15构建的第二阶段数据训练S15搭建的第二阶段神经网络模型N2；
S18，使用S15构建的第二阶段数据测试S17完成训练的第二阶段神经网络模型N2。
用训练好的所述第一阶段神经网络模型N1和第二阶段神经网络模型N2分割CT图像中的左心房和左心耳。
本实施例实现基于神经网络模型对左心房和左心耳组织的相对位置关系进行建模，同时实现对于左心房和左心耳组织的精确分割。
在本发明的一个优选实施例中，实施S11，对于给定的心脏CT三维图像，划分为训练集，验证集和测试集。
在本发明的一个优选实施例中，S12建立的第一阶段神经网络模型N1如图2所示，是一个带有多尺度特征提取，特征增强和特征融合的3D医学图像分割神经网络模型。
一较佳实施例中，实施S12，第一阶段神经网络模型N1的搭建过程，包括：
S121，对3D CT图像采用层级神经网络模型(编码器)，提取到多尺度的图像特征；
S122，对S121中的多尺度特征分别采用基于扩散理论设计的语义差分模块进行边缘特征增强，得到增强后的特征；
S123，对S122的增强后的特征进行多尺度融合，得到最终的深度编码特征；
S124，对S123的深度编码特征输入到分割网络对前景目标进行分割，得到分割结果。
一较佳实施例中，实施S13，即训练第一阶段神经网络模型N1的具体过程为：利用专家标注的结果与分割结果构建损失函数(掩码真值结合戴斯损失+交叉熵损失)，利用S11的训练集对第一神经网络模型N1进行训练，优化神经网络模型参数。
进一步的，S122中增强后的特征由两部分组成，一部分是来自层级神经网络模型的原始特征，另一部分是来自语义差分模块增强后的边缘特征S122中的语义差分模块，如图4所示，该模块是基于扩散理论进行设计的。扩散理论可由如下二阶偏微分方程进行描述：
其中表示梯度算子，D表示扩散函数，其决定了沿着特定方向的扩散速度。在该发明实施例中，D＝D(F)具有非线性特性，使得在扩散过程中，对于与边缘相平行的区域施加更大的平滑效果，而与边缘相垂直的区域施加更小的平滑效果。F(t)的稳定态表征了对于左心房和左心耳交界区域的不确定边缘的较佳定位。
具体地，对于特定的初始特征F，其随着扩散过程逐步更新。在靠近不确定边缘的区域，其扩散运动被抑制，反之，远离该边缘的区域，其扩散运动被增强。
较佳实施例中，扩散函数D＝D(F)具备非线性特性，同时由于不确定边缘的定位需要语义信息来指导，故引入来自卷积网络的深层特征G作为扩散函数的自变量。综上，被用作具有非线性特性的扩散函数，其中/>表征基于差分算子的语义指导图，h表示基于卷积的映射函数。由偏微分方程理论可知，上述二阶偏微分方程可由下式求得近似数值解：
其中p表示特征图里的特定像素点，δp表示像素p周围的一个小领域，λ与v为加权系数。表征了原始特征Ft的差分特征图在p点处的数值，蕴含了丰富的边界信息。显然，该差分特征图既包括复杂的边缘特征，又包括高频噪声。为此，引入来自深层特征的语义差分图/>作为指导，从而优化边缘特征/>尤其是对于左心房与左心耳的不确定边缘。随着时间t增加，/>会逐渐扩散为稳定态，其可以准确定位不确定边缘。最终，优化后的特征Ft+1由原始特征Ft和增强后的边缘特征/>相加得到。
与此同时，由于左心房和左心耳数据在x，y，z方向上存在各向异性分布的特点，故采用传统的边缘检测算子不能较佳地提取到特征F的差分图。为此本实施例提出了一种可学习的边缘算子，该卷积核在各个位置具有不同的数值，同时为保证卷积核具有差分属性，卷积核正中心位置处的值设定为-1。最终增强后的边缘特征可有下式计算得到：
其中和/>分别表示特征F和深层语义特征G所对应的可学习边缘算子，而/>则表示3×3×3的卷积核。
由以上所搭建的第一阶段的层级神经网络模型N1，可得到对于测试集的粗略分割结果。
由于左心耳区域存在模糊边缘且CT成像过程中存在噪声，故由第一阶段的网络产生的部分粗略分割结果存在左心房与左心耳之间的不连通，不连通会使得两者交界面的精确分割成为阻碍，降低临床手术介入治疗的效率。为解决该问题，本发明的另一个优选实施例中，实施S16，进行搭建了第二阶段的神经网络模型N2，又叫作连通性优化网络，具体结构如图3所示。
本发明采用95％hausdorff distance(hd95)作为分割性能的指标之一，其表征了对于左心房和左心耳结构表面的分割准确性。具体地，若左心房与左心耳存在不连通现象，则左心耳区域的分割hd95数值较大，从而影响分割性能。为此本实施例提出了一种新型的基于距离约束的连通性损失函数实施S17。
具体的，在第二阶段神经网络训练过程中，本实施例重点对第一阶段的粗分割结果进行采样，尤其是在左心房和左心耳出现不连通的区域。与此同时，截取区域的图像和粗分割掩码被同时输入到网络中，用以丰富网络的输入信息。最后通过损失函数进行训练。
进一步的，在计算损失函数的过程中，首先通过标签的唯一性对左心耳区域进行定位。然后为使得左心房与左心耳区域相邻接，本实施例旨在将左心耳中靠近边界面的点尽可能接近分界面。考虑到计算效率，本实施例首先用一个近似的最小外接六面体C将左心耳区域定包围住。之后，找到C上距离左心房最近的四个顶点Vi(i＝1,2,3,4)，并用以上四个最小距离来计算连通性损失函数/>而戴斯损失/>一并作为网络训练的正则化约束。的详细计算过程如下：
总的损失函数由下式计算得到：
其中λ的取值采用以下策略，当第二阶段网络的训练轮数超过300时，λ取1；当轮数小于300时，λ取0。同时，因为该阶段的网络重点优化连通性差的案例，因此在训练过程中，增加对于第一阶段的验证集数据中连通性较差案例的采样。
连通性较差案例经由第二阶段神经网络迭代优化后，连通性出现了明显的改善，具体结果如图5所示。
在本发明的一个实施例中，实施S18。在测试阶段，最终解码的特征Fd被施加softmax操作符用于提取预测的掩码。然而，Fd的不同通道往往具有不同的最大激活值，故直接作用softmax会影响最终的分割性能。为此，本实施例提出了通道矫正的概念，具体的，将截取的不连通区域的图像和粗分割掩码，同时输入到第二阶段神经网络模型N2中，通过编码器-解码器结构求得解码以后的特征Fd；在对特征Fd逐像素按通道选取最大激活值之前，先对特征中每个通道的最大值进行统一化操作。
基于相同的发明构思，在本发明的其他实施例中，提供一种关于CT图像左心房和左心耳组织的联合分割***，包括：
第一数据模块，该模块构建第一阶段数据集；
第一网络模型模块，该模块第一神经搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；
第一训练模块，该模块使用第一阶段数据集，训练神经网络模型N1；
第一测试模块，该模块使用第一阶段数据集，测试神经网络模型N1；
第二数据模块，该模块对第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；
第二网络模型模块，该模块搭建用于优化粗分割结果的第二阶段神经网络模型N2；
第二训练模块，该模块使用第二阶段数据训练第二阶段神经网络模型N2；
第二测试模块，该模块使用第二阶段数据测试第二阶段神经网络模型N2。
本发明上述实例中各模块/单元具体可以参照上述实施例中关于CT图像左心房和左心耳组织的联合分割方法对应的步骤的实现技术，在此不再赘述。
基于相同的发明构思，在本发明的其他实施例中，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行任一项的关于CT图像左心房和左心耳组织的联合分割方法，或，运行的关于CT图像左心房和左心耳组织的联合分割***。
基于相同的发明构思，在本发明的其他实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行任一项的关于CT图像左心房和左心耳组织的联合分割方法，或运行的关于CT图像左心房和左心耳组织的联合分割***。
为了便于更加深入、详细地了解上述实施例中的技术方案，本发明提供一个具体的应用实施例，对上述实施例的效果进行验证。
1.实验条件
本实施例中，第一阶段采用45张CT扫描图像作为模型的训练集。待检测图像大小为z×512×512像素，其中z表示2D切片的数量。另外，使用训练集以外的15张CT图像作为验证集，用来调整模型的超参数；使用训练集、验证集以外的20张CT图像作为模型的测试集，以验证模型对于左心房以及左心耳CT图像的联合分割的性能。而第二阶段则是获取到共50例来自第一阶段验证集中的粗分割结果，其中有30例结果出现不连通的现象。之后，将以上50例数据划分为训练集和验证集，分别包含35和15例数据。模型实现采用Pytorch 1.8.0平台进行搭建，计算硬件为2张Nvidia Tesla V100 GPUs。
训练过程中的参数如下：两阶段的优化器均采用AdamW，初始学习率设置为5e-4，采用余弦学习率衰减调制器，权重衰减系数为1e-5。每次训练时的batch大小设置为2，裁剪的patch大小为160×160×192。同时第一阶段的3D UNet模型大小为23.47M，训练过程共2000代，利用专家标注的结果与第一阶段分割结果构建损失函数，训练过程中的损失函数为戴斯损失和交叉熵损失的加权求和。而第二阶段的3D UNet模型参数为1.92M，共训练500代，采用戴斯损失和连通性损失的加权和进行训练。选择验证集上指标最高的模型作为最终模型；
1.实验内容
下面从定性和定量两个角度对本实施例所提出的左心房以及左心耳的联合分割方法进行验证。
2.1定性实验结果
图6利用本实施例对测试集中的图像进行了全图的语义分割，并与其他方法得到的结果进行对比。
图6中，分别对比了在相同实验条件下，采用3D UNet，VNet，nnUNet，UNETR，SwinUNETR，UNeXt和本实施例方法的分割效果。可以看到，本实施例所提出的方法在对于左心房和左心耳的不确定边界区域上的定位性能以及两者之间的连通性上都表现更佳，验证了本实施例在左心房以及左心耳CT图像的联合分割上具有良好的效果。
2.2定量分析
利用本实施例的方法对测试集中的20张CT图像的语义分割结果进行了定量误差分析，所对比的方法为3D UNet,ResUNet,VNet,TransBTS,UNETR,Swin UNETR,UNeXt,nnUNet。评价指标为戴斯系数(dice score coefficient,DSC(％))以及豪斯多夫距离(95％hausdorff distance,hd95(mm))：
其中i表示像素索引，N为总的像素个数，pi表示预测结果中特定点的二值分割结果，gi为专家标注结果中特定点的二值分割结果。DSC的取值范围为0-1，且越接近1，说明算法效果越好。
P表示模型预测结果的体素集合，G表示专家标注结果的体素集合。而d表示欧氏距离。hd95为大于零的数，该值越小，表明算法效果越好。
对测试集中的图像利用不同方法进行测试后，得到实验结果如表1所示：
表1
从表1的结果可以看出，本实施例所提出的方法在左心房和左心耳上都取得了较佳的分割性能，在全部测试集上取得了88.91％的分割DSC以及7.75mm的hd95。相比于其他经典的网络结构，该结果数值说明，本实施例所提出的基于不确定边缘增强以及相邻两组织连通性优化的联合分割方法在测试集上的结果更好，尤其是对于左心耳区域。
同时在测试集中的图像上，对比了语义差分模块与其他用来处理不确定边缘的模块的性能后，得到实验结果如表2所示：
表2
从表1的结果可以看出，本实施例所提出的语义差分模块(SDM)相比于其他的不确定边缘增强模块，在测试集上的泛化性能结果更好，尤其是对于左心耳区域。
对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种关于CT图像左心房和左心耳组织的联合分割方法，其特征在于，包括：
构建第一阶段数据集；
搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；
使用所述第一阶段数据集，训练所述第一阶段神经网络模型N1；
使用所述第一阶段数据集，测试所述第一阶段神经网络模型N1；
对所述第一阶段神经网络模型N1在验证集上的粗分割结果进行采样，构建第二阶段数据集；
搭建用于优化所述粗分割结果的第二阶段神经网络模型N2；
使用所述第二阶段数据训练所述第二阶段神经网络模型N2；
使用所述第二阶段数据测试所述第二阶段神经网络模型N2；
用训练好的所述第一阶段神经网络模型N1和第二阶段神经网络模型N2分割CT图像中的左心房和左心耳。
2.根据权利要求1所述的一种关于CT图像左心房和左心耳组织的联合分割方法，其特征在于，搭建的所述第一阶段神经网络模型N1为能够进行多尺度特征提取、特征增强和特征融合的3D医学图像分割神经网络模型；
在所述第一阶段神经网络模型N1中的操作，包括：
对CT图像采用层级神经网络模型，提取多尺度图像特征；
对所述多尺度图像特征采用基于扩散理论设计的语义差分模块进行边缘特征增强，得到增强后的特征；
对所述增强后的特征进行多尺度融合，得到最终的深度编码特征；
将所述深度编码特征输入到分割网络对前景目标进行分割，得到粗分割结果；
所述第一阶段神经网络模型N1的训练，包括：
利用所述第一阶段数据集的标注结果与所述粗分割结果构建损失函数，进行训练，优化所述第一阶段神经网络模型N1的参数。
3.根据权利要求2所述的一种关于CT图像左心房和左心耳组织的联合分割方法，其特征在于，所述增强后的特征包括两部分，一部分是来自所述层级神经网络模型的原始特征，另一部分是来自所述语义差分模块增强后的边缘特征。
4.根据权利要求3所述的一种关于CT图像左心房和左心耳组织的联合分割方法，其特征在于，所述语义差分模块是基于扩散理论进行设计的，包括：
将所述扩散理论采用二阶偏微分方程进行描述：
其中，表示梯度算子，D表示扩散函数，其决定了沿着特定方向的扩散速度；所述扩散函数D为/>其具有非线性特征，采用来自卷积网络的深层特征G作为所述扩散函数的自变量，/>表征基于差分算子的语义指导图，h表示基于卷积的映射函数；
求解所述二阶偏微分方程，得到近似数值解：
其中，p表示特征图里的特定像素点，δp表示像素p周围的一个小领域，λ与v为加权系数，表征了原始特征Ft的差分特征图在p点处的数值，/>为深层特征的语义差分图；/>表示增强后的特征，/>表示原始特征，/>表示语义差分模块增强后的边缘特征；
在表示基于卷积的映射函数h中，提出可学习的边缘算子，使得卷积核在各个位置具有不同的数值，同时保证卷积核具有差分属性，卷积核正中心位置处的值设定为1，得到最终增强后的边缘特征
其中和/>分别表示特征F和深层语义特征G所对应的可学习边缘算子，而/>表示卷积核。
5.根据权利要求1所述的一种关于CT图像左心房和左心耳组织的联合分割方法，其特征在于，所述第二阶段神经网络模型N2的训练过程，包括：
对所述粗分割结果进行采样，采样包括左心房和左心耳出现不连通区域；
截取所述不连通区域对应的图像和粗分割掩码，同时输入到第二阶段神经网络模型N2中；
采用基于距离约束的连通性损失函数结合戴斯损失函数进行训练。
6.根据权利要求5所述的一种关于CT图像左心房和左心耳组织的联合分割方法，其特征在于，所述采用基于距离约束的连通性损失函数结合戴斯损失函数进行训练，包括：
计算所述连通性损失函数
通过分割真值掩码的像素标签信息提取到左心耳区域的逐点坐标，定位左心耳区域；
找到包含所述左心耳区域的近似最小外接六面体，并确定六面体上与左心房表面距离最近的四个顶点Vi(i＝1,2,3,4)；
利用最近的四个所述顶点到左心房表面的最小距离计算连通性损失函数
其中σ表示激活函数，P表示左心房表面的点集集合，Pj表示集合P中的一个元素，Vi(i＝1,2,3,4)表示左心耳外接六面体上与左心房表面距离最近的四个顶点，S表示归一化系数(本实验设置为20)，D表示欧几里得距离；
计算总的损失函数
其中，为戴斯损失函数；当第二阶段网络模型N2的训练轮数超过设定次数时，λ取1；当轮数小于设定次数时，λ取0。
7.根据权利要求6所述的一种关于CT图像左心房和左心耳组织的联合分割方法，其特征在于，所述使用第二阶段数据测试所述第二阶段神经网络模型N2时，进行通道校正，具体为：将截取的不连通区域的图像和粗分割掩码，同时输入到第二阶段神经网络模型N2中，通过编码器-解码器结构求得解码以后的特征Fd；在对特征Fd逐像素按通道选取最大激活值之前，先对特征中每个通道的最大值进行统一化操作。
8.一种关于CT图像左心房和左心耳组织的联合分割***，其特征在于，包括：
第一数据模块，该模块构建第一阶段数据集；
第一网络模型模块，该模块第一神经搭建用于左心房和左心耳联合分割的第一阶段神经网络模型N1；
第一训练模块，该模块使用所述第一阶段数据集，训练所述神经网络模型N1；
第一测试模块，该模块使用所述第一阶段数据集，测试所述神经网络模型N1；
第二数据模块，该模块对所述第一阶段神经网络模型N1的粗分割结果进行采样，构建第二阶段数据集；
第二网络模型模块，该模块搭建用于优化所述粗分割结果的第二阶段神经网络模型N2；
第二训练模块，该模块使用所述第二阶段数据训练所述第二阶段神经网络模型N2；
第二测试模块，该模块使用所述第二阶段数据测试所述第二阶段神经网络模型N2。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中所述的***。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中所述的***。
CN202311159991.3A 2023-09-11 2023-09-11 关于ct图像左心房和左心耳组织的联合分割方法和*** Pending CN117474930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311159991.3A CN117474930A (zh) 2023-09-11 2023-09-11 关于ct图像左心房和左心耳组织的联合分割方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311159991.3A CN117474930A (zh) 2023-09-11 2023-09-11 关于ct图像左心房和左心耳组织的联合分割方法和***

Publications (1)

Publication Number Publication Date
CN117474930A true CN117474930A (zh) 2024-01-30

Family

ID=89622823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311159991.3A Pending CN117474930A (zh) 2023-09-11 2023-09-11 关于ct图像左心房和左心耳组织的联合分割方法和***

Country Status (1)

Country Link
CN (1) CN117474930A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992927A (zh) * 2024-04-07 2024-05-07 中国科学技术大学 一种基于控制噪声扩散网络的目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992927A (zh) * 2024-04-07 2024-05-07 中国科学技术大学 一种基于控制噪声扩散网络的目标检测方法
CN117992927B (zh) * 2024-04-07 2024-07-05 中国科学技术大学 一种基于控制噪声扩散网络的目标检测方法

Similar Documents

Publication Publication Date Title
CN112927240B (zh) 一种基于改进的AU-Net网络的CT图像分割方法
JP4319031B2 (ja) 対象のセグメンテーション方法及び装置
CN113516659B (zh) 一种基于深度学习的医学影像自动分割方法
US8842894B2 (en) Tree structure extraction apparatus, method and program
Wang et al. Frnet: an end-to-end feature refinement neural network for medical image segmentation
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
Wu et al. Ultrasound image segmentation method for thyroid nodules using ASPP fusion features
CN117474930A (zh) 关于ct图像左心房和左心耳组织的联合分割方法和***
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及***
Sirjani et al. Automatic cardiac evaluations using a deep video object segmentation network
CN111986205B (zh) 血管树生成及病变识别方法、装置、设备及可读存储介质
CN111986137B (zh) 生物器官病变检测方法、装置、设备及可读存储介质
Tan et al. Automatic prostate segmentation based on fusion between deep network and variational methods
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
Li et al. Pancreas segmentation via spatial context based u-net and bidirectional lstm
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
CN116523983B (zh) 融合多路径特征与器官形态导向的胰腺ct图像配准方法
CN116823853A (zh) 基于改进UNet网络的冠状动脉钙化斑块图像分割***
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Snaauw et al. Mutual information neural estimation for unsupervised multi-modal registration of brain images
Mousavi Moghaddam et al. Lung parenchyma segmentation from CT images with a fully automatic method
CN116368516A (zh) 使用联合合成、分割和配准的多模态临床图像对齐方法和设备
Zhang et al. Ldtsf: A label-decoupling teacher-student framework for semi-supervised echocardiography segmentation
Nakib et al. Third brain ventricle deformation analysis using fractional differentiation and evolution strategy in brain cine-MRI
CN113538451B (zh) 一种深静脉血栓的磁共振图像分割方法及装置，电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination