CN114066913B - 一种心脏图像分割方法及*** - Google Patents

一种心脏图像分割方法及*** Download PDF

Info

Publication number
CN114066913B
CN114066913B CN202210030012.3A CN202210030012A CN114066913B CN 114066913 B CN114066913 B CN 114066913B CN 202210030012 A CN202210030012 A CN 202210030012A CN 114066913 B CN114066913 B CN 114066913B
Authority
CN
China
Prior art keywords
module
coding
dimensional
decoding
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210030012.3A
Other languages
English (en)
Other versions
CN114066913A (zh
Inventor
曾安
谢锐伟
潘丹
杨宝瑶
张逸群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210030012.3A priority Critical patent/CN114066913B/zh
Publication of CN114066913A publication Critical patent/CN114066913A/zh
Application granted granted Critical
Publication of CN114066913B publication Critical patent/CN114066913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种心脏图像分割方法，通过引入位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率；本发明还提出一种心脏图像分割***，用于实现一种心脏图像分割方法，整个***模型结构简单，计算量少，适用于现有的临床诊断和治疗过程。

Description

一种心脏图像分割方法及***
技术领域
本发明涉及心脏图像分割技术领域，特别是涉及一种心脏图像分割方法及***。
背景技术
目前心脏图像的分割基于Unet模型、TransUent模型，2D切片分割或3D体素图像分割，由于使用二维图像进行分割会使其丧失三维空间信息，产生心脏的分割图像损失三维连续性。
为了保留分割结果的三维连续性，现有技术公开的一种心脏医学图像的分割方法，首先获取待分割3D心脏医学图像，通过3D U-net神经网络进行房室及心肌分割，获得初步心脏分割图像；通过2D U-net神经网络进行血池分割获得血池分割图像；去除血池分割图像中属于房室部分的图像，获得血管图像，根据血管图像对初步心脏分割图像进行优化，获得待分割3D心脏医学图像的心脏分割图像；提取血管图像中血管骨干线，获得待匹配血管骨干线图，继而与预存血管骨干线图进行匹配，根据匹配结果将所述血管图像中的肺动脉及主动脉进行分割，获得所述待分割3D心脏医学图像的血管分割图像。该方法虽然对心脏结构有缺失的心脏医学图像进行分割且能保留更多血管的边界形状变化信息，但该方法直接使用三维卷积神经网络直接对图像直接分割，消耗大量的计算资源，增加计算复杂性。而且现有技术对少量数据集、个体差异性大、边缘信息冗余的心脏分割没有很好的适应性。
发明内容
本发明为了解决以上至少一种技术缺陷，提供一种心脏图像分割方法及***，通过建立三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，且计算量少，适应性强。
为解决上述技术问题，本发明的技术方案如下：
一种心脏图像分割方法，包括以下步骤：
S1：获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；
S2：训练心脏图像的位置编码矩阵；
S3：将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，得到图像统一的相对位置信息；
S4：利用多层感知器对相对位置信息进行数据处理，获取高维度特征图；
S5：对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；
S6：将高维度特征图和低维度特征图进行拼接，然后对拼接结果进行初次解码；
S7：构建三维切面多通道融合模型，对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；
S8：记初次解码结果为当前层解码结果，最后一次编码对应的多通道融合数据为当前层多通道融合数据；
S9：将当前层解码结果与当前层多通道融合数据进行拼接并进行解码，将解码结果作为当前解码结果；更新当前层多通道融合数据为前一层编码对应的多通道融合数据；
S10：判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则执行步骤S11；否则，执行步骤S9；
S11：对当前解码结果进行分割操作，完成心脏图像的分割。
上述方案中，通过引入用来表达词与词之间的关系的位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，整个模型结构简单，计算量少，且适用于现有的临床诊断和治疗过程。
其中，在所述步骤S2中，所述位置编码矩阵在自然语言处理中，用来表达词与词之间的关系，其是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程，即将用以训练的数据集的分割区域大致分割出来，直至训练的损失函数小于0.02时完成训练；其训练过程具体为：
将用于训练心脏图像集逐个输入位置编码矩阵中，此时图像的每一个体素点对应位置编码矩阵中一个位置信息，该位置信息会随着训练不断的迭代更新，最后将训练心脏图像集中不同图像同一个体素点的位置信息进行融合，形成统一的相对位置信息。
上述方案中，输入的心脏图像信息处理其每一个体素点外，还有一个位置信息，本方案提出的位置编码矩阵是将在心脏图像信息输入时，将其每个体素点对应一个位置信息，该位置信息会随着训练不断的迭代更新，最终会将所有图像数据中不同数据同一个像素点的位置信息融合起来，形成统一的相对位置信息。
其中，在所述步骤S4中，所述多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。
本方案提出采用transformer模块提取高维度特征信息，与编码后得到的低维度信息进行拼接。由于现有采用CNN及Maxpool的编码器在下采样过程中容易丢失信息，因此本方案中采用transformer模块强大的高维特征信息提取功能，将其提取的高维信息与编码器的低维信息进行拼接，并且丢弃使用Maxpool，其下采样功能使用步伐为2的卷积代替，有效克服了下采样过程中容易丢失信息的问题。
其中，在所述步骤S5中，每一层编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述步骤S6中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。
其中，在所述步骤S8中，三维切面多通道融合模型将编码结果根据高度、宽度、深度切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道在高度、宽度、深度的同一个数据切面进行平均池化处理，平均池化后得到高度注意力系数，宽度注意力系数，深度注意力系数；由于三种切面会有交集，当它们处于中间切面时，其对应的注意力系数会偏高，因此将其进行相乘后所得到的结果作为每次编码对应的多通道融合数据，使三维切面多通道融合模型对分割区域更加感兴趣提高分割性能。
上述方案中，由于三维的心脏通常在数据的中心，数据边缘同时是其他身体结构，越是在这个三维图像的中心，因此根据维度进行切面注意力系数提取，在不同维度之间切面的交集会产生重叠，当重叠区域是分割区域时注意力系数会提高，相反，当重叠区域是边缘区域时注意力系数会降低。因为所有数据在同一个切面的信息基本是相同的，故将所有通道的同一个数据切面进行平均池化处理提取注意力分数。
上述方案中，所述步骤S11的分割操作包括先使用步伐为1的卷积操作，再使用激活函数，再使用步伐为2的上卷积操作。本***在使用前，需经过不断的训练，迭代更新***各模型的参数，最终将测试数据集输入***当中即可得到测试数据集的心脏分割结果。
本方案还提供一种心脏图像分割***，包括图像获取模块、位置编码矩阵训练模块、相对位置信息处理模块、高维度特征图获取模块、编码模块、图像拼接模块、解码模块、多通道融合模块、判断模块和分割模块；其中：
所述图像获取模块用于获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；
所述位置编码矩阵训练模块用于训练心脏图像的位置编码矩阵；
所述相对位置信息处理模块用于将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，获取图像统一的相对位置信息；
所述高维度特征图获取模块内设置有多层感知器，通过多层感知器对相对位置信息进行数据处理，获取高维度特征图；
所述编码模块用于对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；
所述多通道融合模块中构建有三维切面多通道融合模型，用于对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；
所述解码模块用于对高维度特征图和低维度特征图的拼接结果进行初次解码或用于对当前层解码结果与当前层多通道融合数据进行拼接结果进行解码；
所述图像拼接模块用于将高维度特征图和低维度特征图进行拼接或用于对当前层解码结果与当前层多通道融合数据进行拼接；
所述判断模块用于判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则由所述分割模块对当前解码结果进行分割操作，完成心脏图像的分割；否则，继续由所述图像拼接模块、解码模块进行数据的拼接和解码操作。
其中，在所述位置编码矩阵训练模块中，其训练的位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：
将用于训练心脏图像集逐个输入位置编码矩阵中，此时图像的每一个体素点对应位置编码矩阵中一个位置信息，该位置信息会随着训练不断的迭代更新，最后将训练心脏图像集中不同图像同一个体素点的位置信息进行融合，形成统一的相对位置信息。
其中，在所述高维度特征图获取模块中，其多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。
其中，在所述编码模块中，其编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述解码模块中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。
其中，在所述多通道融合模块中，其三维切面多通道融合模型将编码结果根据H、W、D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于因为数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。
上述方案中，只需要收集少量的3D心脏图像数据以及对应的标签，通过构建的***模型，模型对心脏图像数据的位置编码、高维度特征和低维度特征融合、三维切面多通道注意力的融合，有效地提高了分割精度，实现了模型在心脏图像上的准确的全自动分割，提高了模型预测的效率和精度，为后续的临床诊断和治疗提供帮助。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出了一种心脏图像分割方法及***，通过引入位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，整个模型结构简单，计算量少，且适用于现有的临床诊断和治疗过程。
附图说明
图1为本发明所述方法的流程示意图；
图2为本发明所述方法实现模型示意图；
图3为本发明一实施例中三维切面多通道注意力融合的具体流程图；
图4为本发明三维切面多通道融合模型在训练中不断去除边缘信息冗余，寻找重点分割部位的过程示意图；
图5为本发明所述***连接示意图；
图6为本发明一实施例中对相同的心脏数据使用Unet3D模型的分割结果、TransUnet模型分割结果及本方案所述方法分割结果对比图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
实施例1：
本实施例为完整的使用示例，内容较丰富
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1、图2所示，（图2中n表示数量，总共有12个Transformer）一种心脏图像分割方法，包括以下步骤：
S1：获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；
S2：训练心脏图像的位置编码矩阵；
S3：将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，得到图像统一的相对位置信息；
S4：利用多层感知器对相对位置信息进行数据处理，获取高维度特征图；
S5：对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；
S6：将高维度特征图和低维度特征图进行拼接，然后对拼接结果进行初次解码；
S7：构建三维切面多通道融合模型，对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；
S8：记初次解码结果为当前层解码结果，最后一次编码对应的多通道融合数据为当前层多通道融合数据；
S9：将当前层解码结果与当前层多通道融合数据进行拼接并进行解码，将解码结果作为当前解码结果；更新当前层多通道融合数据为前一层编码对应的多通道融合数据；
S10：判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则执行步骤S11；否则，执行步骤S9；
S11：对当前解码结果进行分割操作，完成心脏图像的分割。
在具体实施过程中，通过引入位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，整个模型结构简单，计算量少，且适用于现有的临床诊断和治疗过程。
更具体的，在所述步骤S2中，所述位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程，即将用以训练的数据集的分割区域大致分割出来，直至训练的损失函数小于0.02时完成训练；其训练过程具体为：
将用于训练心脏图像集逐个输入位置编码矩阵中，此时图像的每一个体素点对应位置编码矩阵中一个位置信息，该位置信息会随着训练不断的迭代更新，最后将训练心脏图像集中不同图像同一个体素点的位置信息进行融合，形成统一的相对位置信息。
在具体实施过程中，输入的心脏图像信息处理其每一个体素点外，还有一个位置信息，本方案提出的位置编码矩阵是将在心脏图像信息输入时，将其每个体素点对应一个位置信息，该位置信息会随着训练不断的迭代更新，最终会将所有图像数据中不同数据同一个像素点的位置信息融合起来，形成统一的相对位置信息。
更具体的，在所述步骤S4中，所述多层感知器采用transformer模块实现，其对相对位置信息先进行步伐stride为32的卷积操作，然后再进行数据压平Flatten、数据转置Transpose以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。
本方案提出采用transformer模块提取高维度特征信息，与编码后得到的低维度信息进行拼接。由于现有采用CNN及Maxpool的编码器在下采样过程中容易丢失信息，因此本方案中采用transformer模块强大的高维特征信息提取功能，将其提取的高维信息与编码器的低维信息进行拼接，并且丢弃使用Maxpool，其下采样功能使用步伐为2的卷积代替，有效克服了下采样过程中容易丢失信息的问题。
更具体的，在所述步骤S5中，每一层编码的过程具体为：先对编码输入数据进行步伐stride为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐stride为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述步骤S6中，解码的过程具体为：先对解码输入数据进行步伐stride为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐stride为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐stride为2的上卷积操作，完成解码过程。
更具体的，在所述步骤S8中，如图3所示，三维切面多通道融合模型将编码结果根据高度H、宽度W、深度D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于因为数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。
在具体实施过程中，由于三维的心脏通常在数据的中心，数据边缘同时是其他身体结构，越是在这个三维图像的中心，因此根据维度进行切面注意力系数提取，在不同维度之间切面的交集会产生重叠，当重叠区域是分割区域时注意力系数会提高，相反，当重叠区域是边缘区域时注意力系数会降低。因为所有数据在同一个切面的信息基本是相同的，故将所有通道的同一个数据切面进行平均池化处理提取注意力分数。其融合过程具体如图4所示，表示三维切面多通道融合模型在训练中不断去除边缘信息冗余，寻找重点分割部位的过程，从左上至右下依次表示迭代0次、20次、50次、100次和400次的结果示意图。
在具体实施过程中，所述步骤S11的分割操作包括先使用步伐stride为1的卷积操作，再使用激活函数，再使用步伐stride为2的上卷积操作。本***在使用前，需经过不断的训练，迭代更新***各模型的参数，最终将测试数据集输入***当中即可得到测试数据集的心脏分割结果。
实施例2
更具体的，在实施例1的基础上，本实施例提供一种心脏图像分割***，用于实现一种心脏图像分割方法，具体如图5所示，包括图像获取模块、位置编码矩阵训练模块、相对位置信息处理模块、高维度特征图获取模块、编码模块、图像拼接模块、解码模块、多通道融合模块、判断模块和分割模块；其中：
所述图像获取模块用于获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；
所述位置编码矩阵训练模块用于训练心脏图像的位置编码矩阵；
所述相对位置信息处理模块用于将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，获取图像统一的相对位置信息；
所述高维度特征图获取模块内设置有多层感知器，通过多层感知器对相对位置信息进行数据处理，获取高维度特征图；
所述编码模块用于对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；
所述多通道融合模块中构建有三维切面多通道融合模型，用于对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；
所述解码模块用于对高维度特征图和低维度特征图的拼接结果进行初次解码或用于对当前层解码结果与当前层多通道融合数据进行拼接结果进行解码；
所述图像拼接模块用于将高维度特征图和低维度特征图进行拼接或用于对当前层解码结果与当前层多通道融合数据进行拼接；
所述判断模块用于判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则由所述分割模块对当前解码结果进行分割操作，完成心脏图像的分割；否则，继续由所述图像拼接模块、解码模块进行数据的拼接和解码操作。
更具体的，在所述位置编码矩阵训练模块中，其训练的位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：
将用于训练心脏图像集逐个输入位置编码矩阵中，此时图像的每一个体素点对应位置编码矩阵中一个位置信息，该位置信息会随着训练不断的迭代更新，最后将训练心脏图像集中不同图像同一个体素点的位置信息进行融合，形成统一的相对位置信息。
更具体的，在所述高维度特征图获取模块中，其多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。
更具体的，在所述编码模块中，其编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述解码模块中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。
更具体的，在所述多通道融合模块中，其三维切面多通道融合模型将编码结果根据H、W、D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于因为数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。
在具体实施过程中，本***只需要收集少量的3D心脏图像数据以及对应的标签，通过构建的***模型，模型对心脏图像数据的位置编码、高维度特征和低维度特征融合、三维切面多通道注意力的融合，有效地提高了分割精度，实现了模型在心脏图像上的准确的全自动分割，提高了模型预测的效率和精度，为后续的临床诊断和治疗提供帮助。
实施例3
本实施例通过90例（72例训练，18例测试）心脏图像数据进行测试，其输出的结果和预测标签图如图6所示，其中最左侧的图为TransUnet分割结果图，第二个为Unet3D分割结果图，第三个为本方案所用方法的分割结果图，最右侧为预测的结果图，从而可直接得到本申请方案处理后的结果优于现有技术。为了进一步验证本方案的效果，采用五折交叉验证法分别验算各个模型的平均dice系数，结果如表1所示，本方案的平均dice系数达到0.86828，达到了较高的分割水平。
Figure 198361DEST_PATH_IMAGE001
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种心脏图像分割方法，其特征在于，包括以下步骤：
S1：获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；
S2：训练心脏图像的位置编码矩阵；
S3：将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，得到图像统一的相对位置信息；
S4：利用多层感知器对相对位置信息进行数据处理，获取高维度特征图；
S5：对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；
S6：将高维度特征图和低维度特征图进行拼接，然后对拼接结果进行初次解码；
S7：构建三维切面多通道融合模型，对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；
S8：记初次解码结果为当前层解码结果，最后一次编码对应的多通道融合数据为当前层多通道融合数据；
S9：将当前层解码结果与当前层多通道融合数据进行拼接并进行解码，将解码结果作为当前层解码结果；更新当前层多通道融合数据为前一层编码对应的多通道融合数据；
S10：判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则执行步骤S11；否则，执行步骤S9；
S11：对当前层 解码结果进行分割操作，完成心脏图像的分割。
2.根据权利要求1所述的一种心脏图像分割方法，其特征在于，在所述步骤S2中，所述位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：
将用于训练心脏图像集逐个输入位置编码矩阵中，此时图像的每一个体素点对应位置编码矩阵中一个位置信息，该位置信息会随着训练不断的迭代更新，最后将训练心脏图像集中不同图像同一个体素点的位置信息进行融合，形成统一的相对位置信息。
3.根据权利要求1所述的一种心脏图像分割方法，其特征在于，在所述步骤S4中，所述多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。
4.根据权利要求1所述的一种心脏图像分割方法，其特征在于，在所述步骤S5中，每一层编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述步骤S6中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。
5.根据权利要求1~4任一项所述的一种心脏图像分割方法，其特征在于，在所述步骤S7中，三维切面多通道融合模型将编码结果根据高度、宽度、深度切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道在高度、宽度、深度的同一个数据切面进行平均池化处理，平均池化后得到高度注意力系数，宽度注意力系数，深度注意力系数；由于三种切面会有交集，当它们处于中间切面时，其对应的注意力系数会偏高，因此将其进行相乘后所得到的结果作为每次编码对应的多通道融合数据，使三维切面多通道融合模型对分割区域更加感兴趣提高分割性能。
6.一种心脏图像分割***，其特征在于，包括图像获取模块、位置编码矩阵训练模块、相对位置信息处理模块、高维度特征图获取模块、编码模块、图像拼接模块、解码模块、多通道融合模块、判断模块和分割模块；其中：
所述图像获取模块用于获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；
所述位置编码矩阵训练模块用于训练心脏图像的位置编码矩阵；
所述相对位置信息处理模块用于将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，获取图像统一的相对位置信息；
所述高维度特征图获取模块内设置有多层感知器，通过多层感知器对相对位置信息进行数据处理，获取高维度特征图；
所述编码模块用于对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；
所述多通道融合模块中构建有三维切面多通道融合模型，用于对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；
所述解码模块用于对高维度特征图和低维度特征图的拼接结果进行初次解码或用于对当前层解码结果与当前层多通道融合数据进行拼接结果进行解码；
所述图像拼接模块用于将高维度特征图和低维度特征图进行拼接或用于对当前层解码结果与当前层多通道融合数据进行拼接；
所述判断模块用于判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则由所述分割模块对当前层 解码结果进行分割操作，完成心脏图像的分割；否则，继续由所述图像拼接模块、解码模块进行数据的拼接和解码操作；
其中，所述解码模块、图像拼接模块、判断模块具体执行以下步骤：
A1：图像拼接模块将高维度特征图和低维度特征图进行拼接后，由解码模块对高维度特征图和低维度特征图的拼接结果进行初次解码，记初次解码结果为当前层解码结果，最后一次编码对应的多通道融合数据为当前层多通道融合数据；
A2：图像拼接模块将当前层解码结果与当前层多通道融合数据进行拼接并由解码模块进行解码，将解码结果作为当前层解码结果；更新当前层多通道融合数据为前一层编码对应的多通道融合数据；
A3：判断模块判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则由所述分割模块对当前层 解码结果进行分割操作，完成心脏图像的分割；否则，返回执行步骤A2。
7.根据权利要求6所述的一种心脏图像分割***，其特征在于，在所述位置编码矩阵训练模块中，其训练的位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：
将用于训练心脏图像集逐个输入位置编码矩阵中，此时图像的每一个体素点对应位置编码矩阵中一个位置信息，该位置信息会随着训练不断的迭代更新，最后将训练心脏图像集中不同图像同一个体素点的位置信息进行融合，形成统一的相对位置信息。
8.根据权利要求6所述的一种心脏图像分割***，其特征在于，在所述高维度特征图获取模块中，其多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。
9.根据权利要求6所述的一种心脏图像分割***，其特征在于，在所述编码模块中，其编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述解码模块中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。
10.根据权利要求6~9任一项所述的一种心脏图像分割***，其特征在于，在所述多通道融合模块中，其三维切面多通道融合模型将编码结果根据高度H、宽度W、深度D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。
CN202210030012.3A 2022-01-12 2022-01-12 一种心脏图像分割方法及*** Active CN114066913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030012.3A CN114066913B (zh) 2022-01-12 2022-01-12 一种心脏图像分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030012.3A CN114066913B (zh) 2022-01-12 2022-01-12 一种心脏图像分割方法及***

Publications (2)

Publication Number Publication Date
CN114066913A CN114066913A (zh) 2022-02-18
CN114066913B true CN114066913B (zh) 2022-04-22

Family

ID=80230790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030012.3A Active CN114066913B (zh) 2022-01-12 2022-01-12 一种心脏图像分割方法及***

Country Status (1)

Country Link
CN (1) CN114066913B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066913B (zh) * 2022-01-12 2022-04-22 广东工业大学 一种心脏图像分割方法及***
CN114943699B (zh) * 2022-05-16 2023-01-17 北京医准智能科技有限公司 分割模型训练方法、冠脉钙化斑块的分割方法、相关装置
CN116773534B (zh) * 2023-08-15 2024-03-05 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193251A1 (zh) * 2016-05-09 2017-11-16 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及***
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN111488872A (zh) * 2020-03-31 2020-08-04 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN113706544A (zh) * 2021-08-19 2021-11-26 天津师范大学 一种基于完备注意力卷积神经网络的医学图像分割方法
CN113744210A (zh) * 2021-08-22 2021-12-03 河南工业大学 基于多尺度注意力U-net网络的心脏分割方法
CN114066913A (zh) * 2022-01-12 2022-02-18 广东工业大学 一种心脏图像分割方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7957572B2 (en) * 2005-02-11 2011-06-07 Koninklijke Philips Electronics N.V. Image processing device and method
US11024025B2 (en) * 2018-03-07 2021-06-01 University Of Virginia Patent Foundation Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
WO2021179205A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
CN112927255B (zh) * 2021-02-22 2022-06-21 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193251A1 (zh) * 2016-05-09 2017-11-16 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及***
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN111488872A (zh) * 2020-03-31 2020-08-04 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN113706544A (zh) * 2021-08-19 2021-11-26 天津师范大学 一种基于完备注意力卷积神经网络的医学图像分割方法
CN113744210A (zh) * 2021-08-22 2021-12-03 河南工业大学 基于多尺度注意力U-net网络的心脏分割方法
CN114066913A (zh) * 2022-01-12 2022-02-18 广东工业大学 一种心脏图像分割方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于全卷积神经网络的左心室图像分割方法;谢文鑫 等;《软件导刊》;20200515(第05期);第25-28页 *

Also Published As

Publication number Publication date
CN114066913A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN114066913B (zh) 一种心脏图像分割方法及***
CN109063710A (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN112365496A (zh) 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法
CN111080657A (zh) 基于卷积神经网络多维度融合的ct图像器官分割方法
CN115482241A (zh) 一种跨模态双分支互补融合的图像分割方法及装置
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与***
CN110070540A (zh) 图像生成方法、装置、计算机设备及存储介质
CN112927246B (zh) 肺部轮廓分割、肿瘤免疫浸润分类***及方法
CN115984622B (zh) 基于多模态和多示例学习分类方法、预测方法及相关装置
CN113052856A (zh) 一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法
CN115965633A (zh) 一种结合Transformer和U-Net的医学图像肝脏分割方法及***
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及***
CN116433697B (zh) 基于眼动仪的腹部多器官ct图像分割方法
CN114004811A (zh) 一种基于多尺度残差编解码网络的图像分割方法及***
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
CN116433898A (zh) 一种基于语义约束的Transformer多模态影像分割方法
CN116310329A (zh) 基于轻量多尺度UNet的皮肤病变图像分割方法
Wen et al. Segmenting medical MRI via recurrent decoding cell
Zhou et al. GA-Net: Ghost convolution adaptive fusion skin lesion segmentation network
CN114119547A (zh) 一种三维肝胆管图像分割算法及***
CN117152173A (zh) 一种基于DUNetR模型的冠状动脉分割方法和***
CN115115570A (zh) 医学图像分析方法和装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant