CN110163897A - 一种基于合成超声图像的多模态图像配准方法 - Google Patents

一种基于合成超声图像的多模态图像配准方法 Download PDF

Info

Publication number
CN110163897A
CN110163897A CN201910335812.4A CN201910335812A CN110163897A CN 110163897 A CN110163897 A CN 110163897A CN 201910335812 A CN201910335812 A CN 201910335812A CN 110163897 A CN110163897 A CN 110163897A
Authority
CN
China
Prior art keywords
ultrasound image
image
synthesis
magnetic resonance
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910335812.4A
Other languages
English (en)
Other versions
CN110163897B (zh
Inventor
杨峰
武潺
董佳慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARIEMEDI MEDICAL SCIENCE (BEIJING) Co.,Ltd.
Original Assignee
Ari Mai Di Technology Shijiazhuang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ari Mai Di Technology Shijiazhuang Co Ltd filed Critical Ari Mai Di Technology Shijiazhuang Co Ltd
Priority to CN201910335812.4A priority Critical patent/CN110163897B/zh
Publication of CN110163897A publication Critical patent/CN110163897A/zh
Application granted granted Critical
Publication of CN110163897B publication Critical patent/CN110163897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种基于合成超声图像的多模态图像配准方法，根据磁共振图像和真实超声图像，通过构建包括生成器和判别器的生成对抗网络，生成拟真的合成超声图像，并将拟真的合成超声图像和真实超声图像进行配准得到配准参数，将配准参数应用于磁共振图像，完成最终的磁共振图像和超声图像的配准融合。本方法能够实时从磁共振图像中合成超声图像，满足实时影像引导手术的要求；合成的拟真超声图像更接近于真实超声图像，图像质量更高，更好的保存了重要的细节信息；当磁共振图像包含肿瘤时，依然可以准确的合成拟真超声图像；最终的配准技术不需要很复杂的配准算法，只需要传统的简单的配准算法就可以达到很好的配准效果。

Description

一种基于合成超声图像的多模态图像配准方法
技术领域
本发明涉及多模态图像配准领域，具体涉及一种基于合成超声图像的多模态图像配准方法。
背景技术
超声图像和磁共振图像两种图像目前都广泛应用于各种医学病例的诊断，例如，检测头部中的梗塞和肿瘤，检测肝脏中的急性和慢性变化，以及应用于各种临床手术导航。肝脏的实时成像对于检测病变或者临床治疗是必不可少的，利用超声探头扫描成像能够满足实时成像的要求，并且超声成像为非侵入成像对人体伤害较小。然而超声图像相对于磁共振图像来说，其成像质量较低，而且磁共振图像能够提供更多的解剖细节信息从而更好的辅助诊疗。但磁共振图像只能术前进行采集，并且不能根据病人术中的实时位姿等变化进行实时的调整，所以临床手术过程中提供两种图像来同时进行辅助治疗可以达到更好的效果，因此在手术过程中进行两种图像的配准融合显示是十分必要的。
运用传统方法很难直接将磁共振图像直接配准到超声图像上，因为两种图像差异很大。通过磁共振图像来进行超声合成，并将合成超声和真实超声进行融合是配准融合技术中的一种途径，将两种不同模态的图像的配准转换为同一模态下的图像配准能够在减少配准的难度的同时提高配准的精度。
近年来，许多学者致力于超声图像的模拟研究中。这些研究主要包括模拟来自电子计算机断层扫描图像和磁共振图像的超声图像，以解决介入手术前不同模态图像的配准问题。为了模拟超声图像，采用基于超声物理学的模型，并使用线性组合的相关性测量线性相关来呈现自动图像配准算法，以使得两种不同模态的图像完成空间的对齐。但模拟超声图像需要耗费大量的时间，使得这种方法不能用于实时的手术导航***，并且不能精确模拟肿瘤区域的信息，缺失肿瘤会导致切除前和切除后的图像配准不稳定。基于超声模拟的配准融合技术成为了研究的热点，并取得了一定的成果，但仍然存在以下几个方面的缺陷：三维的磁共振图像模拟成三维的超声图像需要耗费大量的时间，并不适用于实时的影像引导手术导航***；当磁共振图像中包含肿瘤时，不能正确的模拟出来对应位置的肿瘤的超声图像。
因而，我们提出了基于深度学习的超声图像合成技术，并将该技术应用于多模态图像配准中来。基于磁共振图像合成超声图像的肝脏多模态影像配准技术必须满足以下条件：(1)磁共振图像实时合成超声图像；(2)能够合成包含肿瘤的超声图像。
鉴于此，克服以上现有技术中的缺陷，提供一种新的基于合成超声图像的多模态图像配准方法成为本领域亟待解决的技术问题。
发明内容
本发明的目的在于针对现有技术的上述缺陷，提供一种基于合成超声图像的多模态图像配准方法。
本发明的目的可通过以下的技术措施来实现：
本发明提供了一种基于合成超声图像的多模态图像配准方法，所述多模态图像配准方法包括：
S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；
S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；
S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；
S4，将所述合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据所述配准参数将所述三维磁共振图像和所述真实超声图像进行配准。
进一步的，在步骤S3中，“对所述生成对抗网络进行训练”的步骤包括：
根据生成器的输出结果及对应的真实超声图像得到所述生成器的L1损失函数；
基于所述生成对抗式网络中所述生成器和所述判断器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的L1损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；
根据所述判别器的总体损失函数以及所述生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。
进一步的，在步骤S3中，“对所述生成对抗网络进行训练”的步骤还包括：
为所述生成器和所述判别器设置不同的学习率。
进一步的，所述判别器包括局部判别器和全局判别器，所述局部判别器包括第一局部判别器和第二局部判别器。
进一步的，所述L1损失函数定义为其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，p(IUS)为真实超声数据分布，p(IMR)为磁共振数据分布；
所述生成器的最小二乘损失函数为
所述判别器的最小二乘损失函数为
其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，a和b分别为生成数据和真实数据的标签，c表示生成器和判别器认为的假的数据的标签；
设置a＝0，b＝c＝1，并将其带入上述公式中，即可得所述生成器的总体损失函数为：
所述判断器的总体损失函数为
进一步的，所述步骤S4包括
利用金字塔算法，将金字塔设为多层，每层对应一个尺度，分别分层对所述合成超声图像与所述第一真实超声图像进行采样；
从最下一层开始，初始化形变参数，将形变参数叠加于所述真实超声图像上，在所述同一层对应的尺度下来进行所述合成超声图像与所述真实超声图像的相似性测度和形变场的计算；
将计算得到的形变场叠加到金字塔上一层，作为该层形变参数，继续进行该层的所述合成超声图像与所述真实超声图像的相似性测度和最优化形变计算，直到金字塔的最后一层，得到配准参数；
将所述合成超声图像与所述真实超声图像配准得到的所述配准参数直接应用于所述三维磁共振图像，所述三维磁共振图像经过所述配准参数变换后与所述真实超声图像完成配准融合。
进一步的，所述“相似性测度”的计算步骤包括：利用邻域描述算子MIND对同一层所述合成超声图像与所述真实超声图像结构进行表征，然后利用表征结果的差值平方和SSD作为配准测度来得到两幅图像的相似性测度。
进一步的，在所述“形变场法的计算”步骤中，使用高斯牛顿梯度下降的方法得到所述同一层最优化形变函数。
进一步的，MIND计算定义为：其中，n为一个归一化向量，r∈R为搜索区域，距离Dp(I,x1,x2)＝∑p∈P(I(x1+p)-I(x2+p))2计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的SSD，所述相似性测度为最优形变场的优化函数为其中，u＝(u,v,w)T表示形变场。
进一步的，所述金字塔层数为3层，所述采样比率为2×2×2。
本发明的有益效果为提供了一种基于合成超声图像的多模态图像配准方法，给定磁共振图像和与其对应的同一位置的真实超声图像，通过构建生成器和判别器的生成对抗网络，生成拟真的合成超声图像，并将合成超声图像和真实超声图像进行配准得到配准参数，将配准参数应用于磁共振图像，完成最终的磁共振图像和超声图像的配准融合，本方法相对于现有技术具有以下优点：
1.能够实时从磁共振图像中合成超声图像，满足实时影像引导手术的要求；
2.合成超声图像更接近于真实超声图像，图像质量更高，更好的保存了重要的细节信息；
3.当磁共振图像包含肿瘤时，依然可以准确的合成拟真超声图像；
4.最终的配准技术不需要很复杂的配准算法，只需要传统的简单的配准算法就可以达到很好的配准效果。
附图说明
图1是本发明实施例的基于合成超声图像的多模态图像配准方法流程图。
图2是本发明实施例的合成超声图像的流程图。
图3是本发明实施例的磁共振图像和真实超声图像配准的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。
请参阅图1，图1展示了本发明实施例的磁共振图像合成超声图像的多模态图像配准方法流程图，下面结合图1具体对本发明进行具体解释。
在S1步骤中，采集相同病人的同一部位的多个三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；
在S2步骤中，构建包括生成器和判别器的生成对抗网络；
在S3步骤中，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成三维磁共振图像的对应合成超声图像；
在S4步骤中，将合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据配准参数将三维磁共振图像和所述真实超声图像进行配准。
该方法给定磁共振图像和与其对应的同一位置的真实超声图像，通过构建生成器和判别器的生成对抗网络，生成拟真的合成超声图像，并将拟真的合成超声图像和真实超声图像进行配准得到配准参数，将配准参数应用于磁共振图像，完成最终的磁共振图像和超声图像的配准融合。
请参阅图2，图2展示了本发明实施例的合成超声图像生成的流程图，下面结合图2具体解释合成超声图像的生成过程。
本发明的生成式对抗网络是包括生成器和判别器的深度学习的对抗式网络，其中判别器包括局部判别器和全局判别器，生成器用于将磁共振图像生成近似目标超声图像的合成图像，并将合成图像输入判别器，尽可能让判别器分辨不出来合成图像和目标图像的真假，判别器的作用是尽可能分辨出目标图像和合成图像，并将虚假信息传至生成器以供生成器更新参数。判别器包括全局判别器和局部判别器，全局判别器保证合成图像和目标图像在全局结构信息尽可能相似，局部判别器保证合成图像和目标图像在局部细节信息尽可能相似，局部判别器又包括第一局部判别器和第二局部判别器。
深度网络学习的过程就是不断迭代优化损失函数的过程，为了保证合成图像尽可能接近于真实图像，将合成超声图像和真实超声图像进行相似度计算，计算合成超声图像和真实超声图像的L1损失，L1损失可以在保证低频率特征相似的同时可以稳定整个网络的训练，生成器生成的合成图像损失以L1损失来计算：
其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为真实超声图像p(IUS)为真实超声数据分布，p(IMR)为磁共振数据分布；由生成器和判别器的深度学习进而产生生成对抗式网络，为了保证网络训练的稳定性用最小二乘损失作为生成对抗式网络的损失函数，可以有效的避免网络训练过程中梯度消失的问题，从而使得网络更容易收敛，更稳定。最小二乘生成对抗式网络的损失函数定义为：
其中，minVLSGAN(G)为生成器的最小二乘损失函数，minVLSGAN(D)为判别器的最小二乘损失函数，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为真实超声图像，a和b分别为生成数据和真实数据的标签，c表示生成器和判别器认为的假的数据的标签。在训练过程中，我们利用0-1编码的规则，设置c＝b＝1，a＝0，所以损失函数设置为：
网络中生成器的总体损失为基于生成对抗式网络中生成器的最小二乘损失以及生成器生成的合成超声图像相对于真实超声图像的L1损失之和，网络中判断器的总体损失为基于生成对抗式网络中全局判断器、第一局部判断器和第二局部判断器的最小二乘损失之和，因此，网络的总体损失函数损失：
其中，minL(G)为网络中生成器的总体损失函数，minL(D)为网络中生成器的总体损失函数。
由此可见，生成对抗式网络的训练过程为，根据生成器的输出结果及对应的真实超声图像得到真实超声图像的L1损失函数；基于生成对抗式网络中生成器和判别器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的L1损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；根据所述判别器的总体损失函数以及生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。
在训练网络过程中，为了平衡生成器和判别器两者训练速度，可以对生成器和判别器设置不同的学习率。
通过上述深度网络学习的方法生成对抗式网络，向训练好的对抗式网络的生成器输入三维磁共振图像，然后生成与该磁共振图像对应的合成超声图像，该合成超声图像为磁共振图像对应的的真实超声图像的高度拟真的超声图像。
请参阅图3，图3展示了本发明实施例的磁共振图像和真实超声图像配准的流程图，下面对图3进行具体的解释。
利用金字塔算法，输入固定图像(合成超声图像)和浮动图像(真实超声图像)，按照2×2×2的比率分别进行采样，金字塔层数设为3层，分为3个不同的尺度来进行每层的固定图像和浮动图像进行相似性测度和形变场的计算。
从最下面一层开始，初始化形变场参数，将形变场叠加到浮动图像上。
分别计算该层固定图像和浮动图像的邻域描述算子Modality independentneighborhood descriptor(MIND)的大小。MIND计算定义为：
其中，n为一个归一化向量，r∈R为搜索区域，距离Dp(I,x1,x2)＝∑p∈P(I(x1+p)-I(x2+p))2计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的所有体素的平方和的差(SSD)。
利用SSD来计算固定图像和浮动图像的MIND的差值，得到前面所说两幅图像的相似性测度。
利用高斯牛顿梯度下降的方法对能量函数进行优化，得到该层最优的形变场，优化函数如下所示：
其中，u＝(u，v，w)T表示形变场。
得到该层最优的形变场以后，将计算得到的形变场叠加到金字塔上一层，作为该层形变参数，继续到上一层金字塔进行计算，直到得到最上面一层金字塔的最优形变场，该最优形变场为最后的配准参数；将由合成超声图像和真实超声图像配准得到的配准参数，直接作用于磁共振图像，即完成最终磁共振图像和超声图像的配准融合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于合成超声图像的多模态图像配准方法，其特征在于，所述多模态图像配准方法包括：
S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；
S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；
S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；
S4，将所述合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据所述配准参数将所述三维磁共振图像和所述真实超声图像进行配准。
2.根据权利要求1所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤包括：
根据生成器的输出结果及对应的真实超声图像得到所述生成器的L1损失函数；
基于所述生成对抗式网络中所述生成器和所述判断器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的L1损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；
根据所述判别器的总体损失函数以及所述生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。
3.根据权利要求2所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤还包括：
为所述生成器和所述判别器设置不同的学习率。
4.根据权利要求3所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述判别器包括局部判别器和全局判别器，所述局部判别器包括第一局部判别器和第二局部判别器。
5.根据权利要求4所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述L1损失函数定义为其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，p(Ius)为真实超声数据分布，p(Imr)为磁共振数据分布；
所述生成器的最小二乘损失函数为
所述判别器的最小二乘损失函数为
其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，a和b分别为生成数据和真实数据的标签，c表示生成器和判别器认为的假的数据的标签；
我们设置a＝0，b＝c＝1，带入上述公式中，即可得所述生成器的总体损失函数为：
所述判断器的总体损失函数为
6.根据权利要求1所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述步骤S4包括：
利用金字塔算法，将金字塔设为多层，每层对应一个尺度，分别分层对所述合成超声图像与所述真实超声图像进行采样；
从最下一层开始，初始化形变参数，将形变参数叠加于所述真实超声图像上，在所述同一层对应的尺度下来进行所述合成超声图像与所述真实超声图像的相似性测度和形变场的计算；
将计算得到的形变场叠加到金字塔上一层，作为该层形变参数，继续进行该层的所述合成超声图像与所述真实超声图像的相似性测度和最优化形变计算，直到金字塔的最后一层，得到配准参数；
将所述合成超声图像与所述真实超声图像配准得到的所述配准参数直接应用于所述三维磁共振图像，所述三维磁共振图像经过所述配准参数变换后与所述真实超声图像完成配准融合，其中，所述配准参数包括每一层金字塔的最优形变场。
7.根据权利要求6所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述“相似性测度”的计算步骤包括：利用邻域描述算子MIND对同一层所述合成超声图像与所述真实超声图像结构进行表征，然后利用表征结果的差值平方和SSD作为配准测度来得到两幅图像的相似性测度。
8.根据权利要求7所述的基于合成超声图像的多模态图像配准方法，其特征在于，在所述“形变场法的计算”步骤中，使用高斯牛顿梯度下降的方法得到所述同一层最优化形变函数。
9.根据权利要求8所述的基于合成超声图像的多模态图像配准方法，其特征在于，MIND计算定义为：其中，n为一个归一化向量，r∈R为搜索区域，距离计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的SSD，所述相似性测度为最优形变场的优化函数为其中，u＝(u,v,w)T表示形变场。
10.根据权利要求6所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述金字塔层数为3层，所述采样比率为2×2×2。
CN201910335812.4A 2019-04-24 2019-04-24 一种基于合成超声图像的多模态图像配准方法 Active CN110163897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910335812.4A CN110163897B (zh) 2019-04-24 2019-04-24 一种基于合成超声图像的多模态图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910335812.4A CN110163897B (zh) 2019-04-24 2019-04-24 一种基于合成超声图像的多模态图像配准方法

Publications (2)

Publication Number Publication Date
CN110163897A true CN110163897A (zh) 2019-08-23
CN110163897B CN110163897B (zh) 2021-06-29

Family

ID=67640060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910335812.4A Active CN110163897B (zh) 2019-04-24 2019-04-24 一种基于合成超声图像的多模态图像配准方法

Country Status (1)

Country Link
CN (1) CN110163897B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838140A (zh) * 2019-11-27 2020-02-25 艾瑞迈迪科技石家庄有限公司 基于混合监督学习的超声和核磁图像配准融合方法及装置
CN110866888A (zh) * 2019-11-14 2020-03-06 四川大学 基于潜在信息表征gan的多模态mri合成方法
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN111091589A (zh) * 2019-11-25 2020-05-01 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN111260741A (zh) * 2020-02-07 2020-06-09 北京理工大学 一种利用生成对抗网络的三维超声模拟方法及装置
CN111932443A (zh) * 2020-07-16 2020-11-13 江苏师范大学 多尺度表达结合造影剂提升超声与磁共振配准精度的方法
CN112801863A (zh) * 2021-02-25 2021-05-14 浙江工业大学 基于图像转换和域泛化的无监督多模态医学图像配准方法
WO2021087659A1 (zh) * 2019-11-04 2021-05-14 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN113012204A (zh) * 2021-04-09 2021-06-22 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态图像的配准方法、装置、存储介质及处理器
CN113096169A (zh) * 2021-03-31 2021-07-09 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113160221A (zh) * 2021-05-14 2021-07-23 深圳市奥昇医疗科技有限责任公司 图像处理方法、装置、计算机设备和存储介质
CN113763442A (zh) * 2021-09-07 2021-12-07 南昌航空大学 一种可变形医学图像配准方法及***
CN114511665A (zh) * 2020-10-28 2022-05-17 北京理工大学 基于单目相机重建的虚实融合渲染方法及装置
CN116563189A (zh) * 2023-07-06 2023-08-08 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012080973A2 (en) * 2010-12-16 2012-06-21 Koninklijke Philips Electronics N.V. Apparatus for ct-mri and nuclear hybrid imaging, cross calibration, and performance assessment
CN102512246A (zh) * 2011-12-22 2012-06-27 中国科学院深圳先进技术研究院 手术导航***及方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和***
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准***及方法
CN109523584A (zh) * 2018-10-26 2019-03-26 上海联影医疗科技有限公司 图像处理方法、装置、多模态成像***、存储介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012080973A2 (en) * 2010-12-16 2012-06-21 Koninklijke Philips Electronics N.V. Apparatus for ct-mri and nuclear hybrid imaging, cross calibration, and performance assessment
CN102512246A (zh) * 2011-12-22 2012-06-27 中国科学院深圳先进技术研究院 手术导航***及方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和***
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准***及方法
CN109523584A (zh) * 2018-10-26 2019-03-26 上海联影医疗科技有限公司 图像处理方法、装置、多模态成像***、存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DWARIKANATH MAHAPATRA: "DEFORMABLE MEDICAL IMAGE REGISTRATION USING GENERATIVE ADVERSARIAL NETWORKS", 《2018 IEEE 15TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
WO2021087659A1 (zh) * 2019-11-04 2021-05-14 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN110866888A (zh) * 2019-11-14 2020-03-06 四川大学 基于潜在信息表征gan的多模态mri合成方法
CN111091589A (zh) * 2019-11-25 2020-05-01 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN111091589B (zh) * 2019-11-25 2023-11-17 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN110838140A (zh) * 2019-11-27 2020-02-25 艾瑞迈迪科技石家庄有限公司 基于混合监督学习的超声和核磁图像配准融合方法及装置
CN111260741A (zh) * 2020-02-07 2020-06-09 北京理工大学 一种利用生成对抗网络的三维超声模拟方法及装置
CN111932443A (zh) * 2020-07-16 2020-11-13 江苏师范大学 多尺度表达结合造影剂提升超声与磁共振配准精度的方法
CN111932443B (zh) * 2020-07-16 2024-04-02 江苏师范大学 多尺度表达结合造影剂提升超声与磁共振配准精度的方法
CN114511665A (zh) * 2020-10-28 2022-05-17 北京理工大学 基于单目相机重建的虚实融合渲染方法及装置
CN112801863A (zh) * 2021-02-25 2021-05-14 浙江工业大学 基于图像转换和域泛化的无监督多模态医学图像配准方法
CN113096169A (zh) * 2021-03-31 2021-07-09 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113096169B (zh) * 2021-03-31 2022-05-20 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113012204A (zh) * 2021-04-09 2021-06-22 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态图像的配准方法、装置、存储介质及处理器
CN113012204B (zh) * 2021-04-09 2024-01-16 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态图像的配准方法、装置、存储介质及处理器
CN113160221A (zh) * 2021-05-14 2021-07-23 深圳市奥昇医疗科技有限责任公司 图像处理方法、装置、计算机设备和存储介质
CN113763442B (zh) * 2021-09-07 2023-06-13 南昌航空大学 一种可变形医学图像配准方法及***
CN113763442A (zh) * 2021-09-07 2021-12-07 南昌航空大学 一种可变形医学图像配准方法及***
CN116563189B (zh) * 2023-07-06 2023-10-13 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及***
CN116563189A (zh) * 2023-07-06 2023-08-08 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及***

Also Published As

Publication number Publication date
CN110163897B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN110163897A (zh) 一种基于合成超声图像的多模态图像配准方法
JP7195279B2 (ja) 画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法
CN103402453B (zh) 用于导航***的自动初始化和配准的***和方法
CN110364238B (zh) 基于机器学习的对比剂管理
Clatz et al. Robust nonrigid registration to capture brain shift from intraoperative MRI
Hawkes et al. Tissue deformation and shape models in image-guided interventions: a discussion paper
US8218845B2 (en) Dynamic pulmonary trunk modeling in computed tomography and magnetic resonance imaging based on the detection of bounding boxes, anatomical landmarks, and ribs of a pulmonary artery
KR20090059048A (ko) ３차원 이미지 및 표면 맵핑으로부터의 해부학적 모델링 방법 및 시스템
CN106068451A (zh) 手术装置及其使用方法
CN114732517A (zh) 医学成像中的左心耳闭合引导
JP2014161734A (ja) 医療画像を整合する方法及びその装置
CN104272348B (zh) 用于对对象进行成像的成像装置和方法
MX2007003312A (es) Registro de imagenes utilizando ajuste pesado localmente.
WO2019021646A1 (ja) 医用撮像装置及び画像処理方法
US10952705B2 (en) Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
Pheiffer et al. Model-based correction of tissue compression for tracked ultrasound in soft tissue image-guided surgery
Li et al. Augmenting intraoperative ultrasound with preoperative magnetic resonance planning models for percutaneous renal access
Khatam et al. In-vivo quantification of human breast deformation associated with the position change from supine to upright
Petterson et al. Mechanical characterization of abdominal aortas using multi-perspective ultrasound imaging
Schenkenfelder et al. Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction
US11295462B2 (en) Determination of registration accuracy
Kanaga et al. 4D medical image analysis: a systematic study on applications, challenges, and future research directions
Lee et al. Dynamic shape instantiation for intra-operative guidance
WO2021137115A1 (en) Method and apparatus for registering live medical image with anatomical model
Deng et al. Detecting vertebra landmarks from ultrasound image using single shot multibox detector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yang Feng

Inventor after: Wu Chan

Inventor after: Dong Jiahui

Inventor before: Yang Feng

Inventor before: Wu Chan

Inventor before: Dong Jiahui

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211009

Address after: 100081 0810 Haidian Science and technology building, Zhongguancun South Street, Haidian District, Beijing

Patentee after: ARIEMEDI MEDICAL SCIENCE (BEIJING) Co.,Ltd.

Address before: 050000 3rd floor, unit 1, building 7, Runjiang international headquarters, 319 Changjiang Avenue, high tech Zone, Shijiazhuang, Hebei Province

Patentee before: AIRUI MAIDI TECHNOLOGY SHIJIAZHUANG Co.,Ltd.