CN114266726A - 一种医学图像分割方法、***、终端以及存储介质 - Google Patents

一种医学图像分割方法、***、终端以及存储介质 Download PDF

Info

Publication number
CN114266726A
CN114266726A CN202111387233.8A CN202111387233A CN114266726A CN 114266726 A CN114266726 A CN 114266726A CN 202111387233 A CN202111387233 A CN 202111387233A CN 114266726 A CN114266726 A CN 114266726A
Authority
CN
China
Prior art keywords
modal
image
superpixel
neural network
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111387233.8A
Other languages
English (en)
Inventor
乐美琰
秦文健
谢耀钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111387233.8A priority Critical patent/CN114266726A/zh
Publication of CN114266726A publication Critical patent/CN114266726A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种医学图像分割方法、***、终端以及存储介质。所述方法包括：对第一模态图像和第二模态图像进行超像素提取；分别根据第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；根据所述第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，所述多模态图神经网络将不同模态图像进行多模态信息融合，并根据融合后的特征图对第一模态图像进行分割。本发明无需多模态图像预先的精细配准，提高了医学图像的分割精度。

Description

一种医学图像分割方法、***、终端以及存储介质
技术领域
本申请属于医学图像处理技术领域，特别涉及一种医学图像分割方法、***、终端以及存储介质。
背景技术
近年来，人工智能技术在图像分割领域的发展为CT(Computed Tomography，电子计算机断层扫描)图像的自动勾画带来了新的机遇。由于MR(Magnetic Resonance，核磁共振成像)图像具有较高的软组织对比度，因此在对CT图像进行分割时，医生常会对照MR图像勾画CT图像中的目标区域。
由于CT和MR图像本身是未配准的，现有的技术方案在图像分割之前需要先将两个图像进行域对齐处理。目前的域对齐方式主要分为空间域对齐和灰度域对齐。其中空间域对齐表示通过经典的迭代优化算法或VoxelMorph等深度学习将MR图像向CT图像上配准。当MR和CT图像的空间域对齐后，多模态的图像将作为多通道张量被输入至深度学习神经网络中。随后通过神经网络中卷积模块、注意力模块等进行多模态信息的自适应融合。这种方式能够有效地提取出不同模态中有助于目标区域分割的特征，从而提升分割精度。该方式的不足在于：分割结果比较依赖于配准的结果，而在实际操作中很难通过设定的优化目标来同时实现全局和局部的精准对齐，导致后期在多模态信息融合时融入了不同类别的特征，给分类器造成了困惑，从而降低了分割精度；另外，经典的配准算法耗时较长，从而拉低了分割的速度。
灰度域对齐表示通过图像生成的方式将CT图像转化为MR图像的风格，然后对MR风格的图像进行分割。该方式生成的新图像是一种虚拟的图像，缺少一定的物理意义。另外，在保证图像整体风格与MR比较接近时，很难保证目标分割区域与周围组织的对比度有较大的提升。更严重的是，这种图像生成方式存在一定的改变组织细微结构的风险，同样会降低分割的精度。
发明内容
本申请提供了一种医学图像分割方法、***、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种医学图像分割方法，包括：
获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对所述第一模态图像和第二模态图像进行超像素提取；
分别根据所述第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
根据所述第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与K个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
根据所述跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的K个邻近节点，将每个跨模态节点在其他模态下的K个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
通过分割网络对所述多模态特征图进行图像分割。
本申请实施例采取的技术方案还包括：所述第一模态图像为CT图像，所述第二模态图像为MR图像。
本申请实施例采取的技术方案还包括：所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵具体为：
Figure BDA0003367470740000031
其中Wk,j表示第k个超像素与邻域内的第j个超像素的邻接关系，ΔPk,j和ΔGk,j分别表示第k个超像素与第j个超像素的中心位置和灰度均值的差异，[·||·]表示向量连接，fw表示位置灰度差异与邻接矩阵之间的映射关系，
Figure BDA0003367470740000032
表示超像素节点k的邻域。
本申请实施例采取的技术方案还包括：所述根据邻接矩阵计算每个超像素在当前模态下的特征值具体为：
从网络卷积层输出的特征图中提取每个超像素的特征向量；
通过所述邻接矩阵确定各个超像素在当前模态下的K个邻域节点，对K个邻域节点的特征向量进行加权求和，得到各个超像素在当前模态下的新特征；
将所述新特征与对应超像素内所有像素点的特征值相加，得到各个超像素在当前模态下的特征值；在第i个尺度下第k个超像素的特征向量fi,k的计算过程包括：
Figure BDA0003367470740000041
Figure BDA0003367470740000042
其中，Sk表示第k个超像素，Fi,p表示第i个尺度下第k个超像素内像素点p的特征向量；利用邻接矩阵W对fi,j进行加权，得到第i个尺度下第k个超像素的新特征f′i,k。
本申请实施例采取的技术方案还包括：所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与K个邻域节点的连接模式构建每个跨模态节点的邻接矩阵具体为：
Figure BDA0003367470740000043
其中Wk,*表示第一模态图像中第k个节点与其邻域节点的连接模式，sim(Wk,*,Wj,*)表示第一模态图像中第k个节点与第二模态图像中第j个节点的连接模式相似度，fcross表示位置差异、连接模式相似度与跨模态邻接矩阵之间的映射关系。
本申请实施例采取的技术方案还包括：所述将每个跨模态节点在其他模态下的K个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合具体为：
将每个跨模态节点在其他模态下的K个邻近节点的特征向量进行加权求和，得到每个跨模态节点在其他模态下的新特征，并将所述新特征与对应超像素内所有像素点的特征值相加，得到融合后的多模态特征图；
第i个尺度下第k个超像素在其他模态下的新特征
Figure BDA0003367470740000051
和第k个超像素内的像素点p在第i个尺度下的特征图内的特征值
Figure BDA0003367470740000052
获取公式为：
Figure BDA0003367470740000053
Figure BDA0003367470740000054
其中
Figure BDA0003367470740000055
和
Figure BDA0003367470740000056
分别表示第i个尺度下第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的特征向量，Wk,j和
Figure BDA0003367470740000057
分别表示第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的邻接值，Fi,p表示第i个尺度下第k个超像素内的像素点p上的特征向量。
本申请实施例采取的技术方案还包括：所述通过分割网络对所述多模态特征图进行图像分割具体为：
所述分割网络对多模态特征图进行解码处理，使所述多模态特征图上采样至第一模态图像大小，并输出第一模态图像中感兴趣区域的分割结果。
本申请实施例采取的另一技术方案为：一种医学图像分割***，包括：
超像素提取模块：用于获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对所述第一模态图像和第二模态图像进行超像素提取；
单模态网络构建模块：用于分别根据所述第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
多模态网络构建模块：用于根据所述第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与K个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
特征融合模块：用于根据所述跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的K个邻近节点，将每个跨模态节点在其他模态下的K个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
图像分割模块：用于通过分割网络对所述多模态特征图进行图像分割。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述医学图像分割方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分割。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述医学图像分割方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的医学图像分割方法、***、终端以及存储介质通过将不同模态的图像分成多个超像素，并利用图神经网络建立不同模态的图像中各个超像素与当前模态和其他模态中邻域超像素的对应关系，从而将不同模态图像进行多模态信息融合，实现空间域上的对齐，解决未配准的多模态医学图像信息融合的难题，并提高了整体的分割速度。本发明无需多模态图像预先的精细配准，避免了配准带来的分割误差和长耗时，使特征融合更加自适应，从而提高医学图像的分割精度。
附图说明
图1是本申请实施例的医学图像分割方法的流程图；
图2为本申请实施例的医学图像分割***结构示意图；
图3为本申请实施例的终端结构示意图；
图4为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的医学图像分割方法的流程图。本申请实施例的医学图像分割方法包括以下步骤：
S1：获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法(SLIC)分别对第一模态图像和第二模态图像进行超像素提取；
本步骤中，第一模态图像和第二模态图像分别为CT图像和MR图像，具体也可以是DR等其他模态的医学图像。
S2：分别以第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，通过第一模态图神经网络和第二模态图神经网络分别提取出各自模态下每个节点与其邻域节点的邻接关系，根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵；
本步骤中，第一模态图神经网络和第二模态图神经网络分别为单模态分割网络，单模态分割网络可以提取出对应模态的图像中每个超像素(节点)与其邻域节点的邻接关系，并通过加权超像素的中心位置及灰度均值计算出每个超像素的邻接矩阵。超像素的邻接矩阵W计算过程如下：
Figure BDA0003367470740000081
其中ΔPk,j和ΔGk,j分别表示第k个超像素与第j个超像素的中心位置和灰度均值的差异，[·||·]表示向量连接，fw表示位置灰度差异与邻接矩阵之间的映射关系，
Figure BDA0003367470740000082
表示超像素节点k的邻域，计算得到的Wk,j表示第k个超像素与邻域内的第j个超像素的邻接关系。
S3：从网络卷积层输出的特征图中提取每个超像素的特征向量，并通过邻接矩阵确定不同模态下各个超像素在当前模态下的K个邻域节点，对K个邻域节点的特征向量进行加权求和，得到各个超像素在当前模态下的新特征，并将新特征与对应超像素内所有像素点的特征值相加，得到各个超像素在当前模态下的特征值；
本步骤中，超像素内所有像素点的特征值是指一个超像素内每个像素位置的特征，将超像素索引图缩放至特征图大小，再根据索引，在特征图内取出当前超像素内所有像素点的特征值。假设图神经网络在第i个尺度下的特征图Fi尺寸为C*H*W，需要将超像素索引图下采样到H*W，并计算每个超像素内所有像素点的特征均值，最终得到每个超像素的一个C维特征向量。通过邻接矩阵可以确定第i个尺度下第k个超像素Sk在当前模态下的K个邻域节点，对超像素Sk的K个邻域节点的特征进行加权求和，得到超像素Sk在当前模态下的新特征f′i,k，再将新特征加到超像素Sk内所有像素点的特征值上，完成单模态下该超像素的特征提取。具体的，第i个尺度下第k个超像素的特征向量fi,k的计算过程如下：
Figure BDA0003367470740000091
Figure BDA0003367470740000092
公式(2)中，Sk表示第k个超像素，Fi,p表示第i个尺度下第k个超像素内像素点p的特征向量。公式(3)中利用邻接矩阵W对fi,j进行加权，得到第i个尺度下第k个超像素的新特征f′i,k。
如此在多个尺度下进行上述计算，完成单模态下每个超像素的特征提取。
S4：根据第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，并对比每个跨模态节点与K个邻域节点的连接模式，根据节点位置和连接模式确定多模态图神经网络中各个跨模态节点的邻接矩阵；
本步骤中，由于多模态图像在灰度域上存在较大的鸿沟，直接使用灰度值或者网络中的特征图计算跨模态节点的邻接矩阵存在较大风险，而由于多模态图像中整体的组织器官结构是没有变化的，对应的超像素和各自邻域节点的连接模式相对稳定，因此本申请实施例通过结合两种模态图像中超像素的位置和连接模式来确定跨模态节点的邻接矩阵。例如，在第一模态图像中的一个超像素p和邻域超像素的连接权重向量可以表征该超像素p在第一模态图像下的连接模式，通过在第二模态图像中找出与超像素p坐标位置相近并与第一模态图像下该超像素p的连接模式较为相似(连接模式相似度高于设定阈值)的第二模态图像下的超像素来构建超像素p的邻接矩阵。具体的，邻接矩阵构建公式如下：
Figure BDA0003367470740000101
其中Wk,*表示第一模态图像中第k个节点与其邻域节点的连接模式，sim(Wk,*,Wj,*)表示第一模态图像中第k个节点与第二模态图像中第j个节点的连接模式相似度，fcross表示位置差异、连接模式相似度与跨模态邻接矩阵之间的映射关系。
基于上述，本申请实施例通过对比不同模态图像中各个超像素与K个邻域节点的连接模式，根据不同模态图像中跨模态节点与邻域节点之间的连接模式构建邻接矩阵，为不同模态之间存在的灰度域和特征域鸿沟提供了解决方案。
S5：通过跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的K个邻近节点，将每个跨模态节点在其他模态下的K个邻近节点的特征向量进行加权求和，得到每个跨模态节点在其他模态下的新特征，并将新特征与对应超像素内所有像素点的特征值相加，得到结构未变但融合了其他模态特征的多模态特征图；
本步骤中，第i个尺度下第k个超像素在其他模态下的新特征
Figure BDA0003367470740000102
和第k个超像素内的像素点p在第i个尺度下的特征图内的特征值
Figure BDA0003367470740000103
获取公式如下：
Figure BDA0003367470740000104
Figure BDA0003367470740000105
其中
Figure BDA0003367470740000106
和
Figure BDA0003367470740000107
分别表示第i个尺度下第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的特征向量，Wk,j和
Figure BDA0003367470740000108
分别表示第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的邻接值，Fi,p表示第i个尺度下第k个超像素内的像素点p上的特征向量。
S6：通过分割网络对多尺度的多模态特征图进行解码处理，使多模态特征图逐级上采样至第一模态图像大小，并输出第一模态图像中感兴趣区域的分割结果；
本步骤中，通过分割网络对多模态特征图进行逐级解码，将多模态特征图返回至第一模态图像大小，即可得到第一模态图像的感兴趣区域分割结果。分割网络包括若干个卷积层和反卷积层，每个尺度的解码阶段都加入了长程跳跃连接，来结合编码阶段的特征图，用以增加分割结果的细节信息。最终当解码出的特征图尺寸与第一模态图像一致时，通过计算其与金标准图像的交叉熵损失对网络参数进行反馈调整，获得最优网络参数。
基于上述，本申请实施例的医学图像分割方法通过将不同模态的图像分成多个超像素，并利用图神经网络建立不同模态的图像中各个超像素与当前模态和其他模态中邻域超像素的对应关系，从而将不同模态图像进行多模态信息融合，实现空间域上的对齐，解决未配准的多模态医学图像信息融合的难题，并提高了整体的分割速度。本发明无需多模态图像预先的精细配准，避免了配准带来的分割误差和长耗时，使特征融合更加自适应，从而提高医学图像的分割精度。
请参阅图2，为本申请实施例的医学图像分割***结构示意图。本申请实施例的医学图像分割***40包括：
超像素提取模块41：用于获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对第一模态图像和第二模态图像进行超像素提取；
单模态网络构建模块42：用于分别根据第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
多模态网络构建模块43：用于根据第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与K个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
特征融合模块44：用于根据跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的K个邻近节点，将每个跨模态节点在其他模态下的K个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
图像分割模块45：用于通过分割网络对多模态特征图进行图像分割。
请参阅图3，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述医学图像分割方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制医学图像分割。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图4，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种医学图像分割方法，其特征在于，包括：
获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对所述第一模态图像和第二模态图像进行超像素提取；
分别根据所述第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
根据所述第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与K个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
根据所述跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的K个邻近节点，将每个跨模态节点在其他模态下的K个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
通过分割网络对所述多模态特征图进行图像分割。
2.根据权利要求1所述的医学图像分割方法，其特征在于，所述第一模态图像为CT图像，所述第二模态图像为MR图像。
3.根据权利要求2所述的医学图像分割方法，其特征在于，所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵具体为：
Figure FDA0003367470730000011
其中Wk，j表示第k个超像素与邻域内的第j个超像素的邻接关系，ΔPk，j和ΔGk，j分别表示第k个超像素与第j个超像素的中心位置和灰度均值的差异，[·||·]表示向量连接，fw表示位置灰度差异与邻接矩阵之间的映射关系，
Figure FDA0003367470730000024
表示超像素节点k的邻域。
4.根据权利要求3所述的医学图像分割方法，其特征在于，所述根据邻接矩阵计算每个超像素在当前模态下的特征值具体为：
从网络卷积层输出的特征图中提取每个超像素的特征向量；
通过所述邻接矩阵确定各个超像素在当前模态下的K个邻域节点，对K个邻域节点的特征向量进行加权求和，得到各个超像素在当前模态下的新特征；
将所述新特征与对应超像素内所有像素点的特征值相加，得到各个超像素在当前模态下的特征值；在第i个尺度下第k个超像素的特征向量fi，k的计算过程包括：
Figure FDA0003367470730000021
Figure FDA0003367470730000022
其中，Sk表示第k个超像素，Fi，p表示第i个尺度下第k个超像素内像素点p的特征向量；利用邻接矩阵W对fi，j进行加权，得到第i个尺度下第k个超像素的新特征f′i，k。
5.根据权利要求4所述的医学图像分割方法，其特征在于，所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与K个邻域节点的连接模式构建每个跨模态节点的邻接矩阵具体为：
Figure FDA0003367470730000023
其中Wk，*表示第一模态图像中第k个节点与其邻域节点的连接模式，sim(Wk，*，Wj，*)表示第一模态图像中第k个节点与第二模态图像中第j个节点的连接模式相似度，fcross表示位置差异、连接模式相似度与跨模态邻接矩阵之间的映射关系。
6.根据权利要求5所述的医学图像分割方法，其特征在于，所述将每个跨模态节点在其他模态下的K个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合具体为：
将每个跨模态节点在其他模态下的K个邻近节点的特征向量进行加权求和，得到每个跨模态节点在其他模态下的新特征，并将所述新特征与对应超像素内所有像素点的特征值相加，得到融合后的多模态特征图；
第i个尺度下第k个超像素在其他模态下的新特征
Figure FDA0003367470730000031
和第k个超像素内的像素点p在第i个尺度下的特征图内的特征值
Figure FDA0003367470730000032
获取公式为：
Figure FDA0003367470730000033
Figure FDA0003367470730000034
其中
Figure FDA0003367470730000035
和
Figure FDA0003367470730000036
分别表示第i个尺度下第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的特征向量，Wk，j和
Figure FDA0003367470730000037
分别表示第k个超像素在当前模态图像和其他模态图像中的第j个近邻超像素的邻接值，Fi，p表示第i个尺度下第k个超像素内的像素点p上的特征向量。
7.根据权利要求1至6任一项所述的医学图像分割方法，其特征在于，所述通过分割网络对所述多模态特征图进行图像分割具体为：
所述分割网络对多模态特征图进行解码处理，使所述多模态特征图上采样至第一模态图像大小，并输出第一模态图像中感兴趣区域的分割结果。
8.一种医学图像分割***，其特征在于，包括：
超像素提取模块：用于获取第一模态图像和第二模态图像，并利用简单线性迭代聚类算法对所述第一模态图像和第二模态图像进行超像素提取；
单模态网络构建模块：用于分别根据所述第一模态图像和第二模态图像的超像素为节点构建第一模态图神经网络和第二模态图神经网络，所述第一模态图神经网络和第二模态图神经网络根据中心位置距离及灰度均值差异计算每个超像素与邻域超像素的邻接矩阵，并根据邻接矩阵计算每个超像素在当前模态下的特征值；
多模态网络构建模块：用于根据所述第一模态图像和第二模态图像的超像素为跨模态节点构建多模态图神经网络，所述多模态图神经网络根据不同模态图像中每个跨模态节点的位置以及与K个邻域节点的连接模式构建每个跨模态节点的邻接矩阵；
特征融合模块：用于根据所述跨模态节点的邻接矩阵获取每个跨模态节点在其他模态下的K个邻近节点，将每个跨模态节点在其他模态下的K个邻近节点的特征值与对应超像素在当前模态下的特征值进行融合，得到特征融合后的多模态特征图；
图像分割模块：用于通过分割网络对所述多模态特征图进行图像分割。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-7任一项所述的医学图像分割方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分割。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述医学图像分割方法。
CN202111387233.8A 2021-11-22 2021-11-22 一种医学图像分割方法、***、终端以及存储介质 Pending CN114266726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111387233.8A CN114266726A (zh) 2021-11-22 2021-11-22 一种医学图像分割方法、***、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111387233.8A CN114266726A (zh) 2021-11-22 2021-11-22 一种医学图像分割方法、***、终端以及存储介质

Publications (1)

Publication Number Publication Date
CN114266726A true CN114266726A (zh) 2022-04-01

Family

ID=80825341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111387233.8A Pending CN114266726A (zh) 2021-11-22 2021-11-22 一种医学图像分割方法、***、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN114266726A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862881A (zh) * 2022-07-11 2022-08-05 四川大学 一种基于pet-ct的跨模态注意力肿瘤分割方法、***
CN114862823A (zh) * 2022-05-26 2022-08-05 同心医联科技（北京）有限公司 区域分割方法及装置
CN116934754A (zh) * 2023-09-18 2023-10-24 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862823A (zh) * 2022-05-26 2022-08-05 同心医联科技（北京）有限公司 区域分割方法及装置
CN114862823B (zh) * 2022-05-26 2024-02-13 同心医联科技（北京）有限公司 区域分割方法及装置
CN114862881A (zh) * 2022-07-11 2022-08-05 四川大学 一种基于pet-ct的跨模态注意力肿瘤分割方法、***
CN116934754A (zh) * 2023-09-18 2023-10-24 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置
CN116934754B (zh) * 2023-09-18 2023-12-01 四川大学华西第二医院 基于图神经网络的肝脏影像识别方法及装置

Similar Documents

Publication Publication Date Title
Bernal et al. Deep convolutional neural networks for brain image analysis on magnetic resonance imaging: a review
CN114266726A (zh) 一种医学图像分割方法、***、终端以及存储介质
Gao et al. FocusNetv2: Imbalanced large and small organ segmentation with adversarial shape constraint for head and neck CT images
Huang et al. Medical image segmentation with deep atlas prior
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
Abualigah et al. Multilevel thresholding image segmentation using meta-heuristic optimization algorithms: Comparative analysis, open challenges and new trends
CN110148150B (zh) 稠密连接非对称层次网络训练方法及心脏运动场估计方法
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN112163599A (zh) 一种基于多尺度多层次融合的图像分类方法
An et al. Medical Image Segmentation Algorithm Based on Optimized Convolutional Neural Network‐Adaptive Dropout Depth Calculation
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Liu et al. A survey on deep learning methods for scene flow estimation
CN114119635B (zh) 一种基于空洞卷积的脂肪肝ct图像分割方法
Liang et al. Scale-invariant structure saliency selection for fast image fusion
WO2023087300A1 (zh) 一种医学图像分割方法、***、终端以及存储介质
Yu et al. Crosslink-net: double-branch encoder network via fusing vertical and horizontal convolutions for medical image segmentation
Wang et al. Recursive deformable pyramid network for unsupervised medical image registration
CN107644230B (zh) 一种遥感图像对象的空间关系建模方法
CN114240809A (zh) 图像处理方法、装置、计算机设备及存储介质
CN117710760A (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
Ma et al. An iterative multi‐path fully convolutional neural network for automatic cardiac segmentation in cine MR images
Xu et al. Depth map denoising network and lightweight fusion network for enhanced 3d face recognition
Joseph et al. Optimised CNN based brain tumour detection and 3D reconstruction
US20230099906A1 (en) Image registration method, computer device, and storage medium
CN112950654B (zh) 基于多核学习与超像素核低秩表示的脑肿瘤图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination