CN110363802A - 基于自动分割和骨盆对齐的***图像配准***及方法 - Google Patents

基于自动分割和骨盆对齐的***图像配准***及方法 Download PDF

Info

Publication number
CN110363802A
CN110363802A CN201910631224.5A CN201910631224A CN110363802A CN 110363802 A CN110363802 A CN 110363802A CN 201910631224 A CN201910631224 A CN 201910631224A CN 110363802 A CN110363802 A CN 110363802A
Authority
CN
China
Prior art keywords
image
prostate
registration
mri
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910631224.5A
Other languages
English (en)
Other versions
CN110363802B (zh
Inventor
缑水平
田茹
陈姝喆
刘豪锋
毛莎莎
焦昶哲
陈佳伟
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Publication of CN110363802A publication Critical patent/CN110363802A/zh
Application granted granted Critical
Publication of CN110363802B publication Critical patent/CN110363802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自动分割和骨盆对齐的***图像配准***及方法，主要解决现有技术实现***多模态医学图像配准时模态差异大，配准精度低的问题。其实现方案是：将***CT图像序列与***MRI图像序列分别利用训练好的***多模态图像分割网络U‑net进行联合分割，得到***CT图像分割结果图像集C和***MRI图像分割结果图像集M，再对这两个图像集C和M进行两阶段配准，得到最终配准图像集L；最后将最终配准图像集L和***CT图像分割结果图像集C融合并显示。本发明缩小了***多模态图像差异，解决了小形变图像配准问题，提高多模态图像配准效率和配准精度，可用于观察***肿瘤解剖部位的形状和位置变化。

Description

基于自动分割和骨盆对齐的***图像配准***及方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种图像配准***及方法，可用于观察***肿瘤解剖部位的形状和位置变化，实现对病变部位的跟踪和调整放疗计划。
背景技术
图像配准是指将两幅图像对齐至一个共同的坐标系中，以便监视两者之间的变化。基于特征点的配准是最常用的图像配准方法之一。特征点需要能够与相邻的图像点区分开来。如若不满足该条件，就不可能用另一个图像中的对应点唯一匹配它。因此，一个特征邻域应该与经过小位移后得到的邻域有充分的不同。图像中容易识别和提取的特征点包括线与线间的交点、图像边缘点、角点、闭合区域的质心等。特征点可以通过手动或自动的方式提取。基于相似性度量的图像配准方法有基于特征的、基于区域的以及与信息熵相关的度量等。与信息熵相关的度量方式是目前多模态图像配准的最常用方法，对两幅图像数据集间的统计相关性进行测量，不需要预先对图像进行分割，适用于多模图像的配准。
福州大学在其申请的专利“一种多模态医学图像配准与可视化方法”，(专利申请号：CN201610419404.3，申请公开号：CN106097347A)中提出一种多模态医学图像配准与可视化方法。该方法基于快速光工具包FLTK、可视化工具包VTK、图像实时动态IRTK技术,提供友好操作界面以及可视化功能,简化复杂的算法参数配置过程,方便配准操作,实现多模态医学图像配准工作；提供图像去噪声预处理,以提高图像质量,减少噪声对配准精度的影响；针对目标图像与源图像存在较大坐标位置差异的情况,提供点集配准方法完成坐标位置粗配准,为后续刚性、仿射以及非线性配准的实施做初始化；采用多线程编程技术,实现配准的中间过程实时动态显示,方便了解和监测配准过程；配准结果自动输出并保存；利用所述配准结果的变换矩阵并加上平滑限制项,可实现微分同胚变换和快速分割功能。该方法由于是通过多种医学平台共同支持完成配准，虽说提高了配准精度，但时间复杂度变高，影响配准效率。
西安电子科技大学在其申请的专利文献“基于混合模型的***多模态图像非刚性配准方法”，(专利申请号：CN201610517790.X，申请公开号：CN106204561A)中提出一种本发明公开了一种基于混合模型的***多模态图像非刚性配准方法,主要解决现有技术对***电子计算机断层扫描CT和磁共振成像MRI图像的配准不佳问题。其实现方案是：
1)输入***CT和MRI图像,分别对其分割出***器官；2)将分割后的CT和MRI图像分别作为参考图像和浮动图像,对这两种图像作金字塔分层；3)对浮动图像进行偏移和逐层迭代,得到初配准图像；4)将参考图像和初配准图像划分控制点网格,移动初配准图像的控制点,根据其位移量得到变换后的图像，计算变换后的图像和参考图像相似性；5)重复步骤3)和4),直到变换后的图像和参考图像相似性最大,得到最终位移量；6)根据最终位移量对浮动图像进行变换得到配准图像。该方法由于仅针对***器官进行配准，忽略了盆部图像的其它信息，配准结果不准确，难以为临床应用提供可靠的依据。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于自动分割和骨盆对齐的前
列腺图像配准***及方法提高配准精度，为临床应用提供可靠的依据。
实现本发明的思路是，将***CT图像与MRI图像分别输入训练好的U-net网络，
得到对应模态的分割图像；将归一化互信息值最大作为相似度度量准则，以CT分割图像作为参考图，以MRI分割图像作为浮动图，进行初配准，得到配准变换矩阵以及初配准图像；
利用Demons方法对初配准图像进行再次配准得到形变场及配准图像；将配准图像与参考图像融合，得到最终的配准图像。
根据上述思路，本发明配准***，包括：
图像预处理模块(1)，用于将***CT图像与***MRI图像根据图像生成的时间依次配对，得到***多模态图像配对数据集，并按6：4的比例划分为***多模态图像训练样本集和测试样本集，然后利用滑窗匹配的方法生成***多模态图像序列标签；
多模态图像训练模块(2)，用于利用输入模块(1)得到的***多模态图像样本训练集，对自动分割网络U-net训练，得到训练好的自动分割网络U-net；
多模态图像分割模块(3)，用于将多模态***图像中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，利用训练好的自动分割网络U-net分别对测试样本集中的***CT图像序列和***MRI图像序列进行联合分割，得到***器官和骨盆区域，并将分割后的结果输入到多模态图像配准模块(4)；
多模态图像配准模块(4)，用于利用两阶段配准法对***CT图像序列和***MRI图像序列的分割结果进行配准，得到***配准图像序列，并将***配准图像序列输入到图像显示模块(5)；
图像显示模块(5)，用于将***配准图像序列与多模态图像分割模块(3)中的***CT图像序列分割结果进行融合，得到***融合图像序列。
2.一种基于自动分割和骨盆对齐的***图像配准方法，其特征在于，包括：
1)根据图像生成的时间将***CT图像与***MRI图像依次配对，得到配对数据集，分别在配对数据集中的***CT图像集和***MRI图像集中随机选取60％的图像组成***CT图像训练样本集和***MRI图像训练样本集，40％组成***CT图像测试样本集和***MRI图像测试样本集；
2)生成***CT图像序列标签和***MRI图像序列标签：
2a)分别将***MRI的图像训练样本集和测试样本集中每幅图像由中心点向外裁剪，得到分辨率为256*256的***MRI图像序列；
2b)对***CT图像的训练样本集和测试样本集中每幅图像使用滑窗方法找到与***MRI图像序列内容一致的图像块，并对这些图像块依次进行平移、缩放、小角度旋转和双线性插值变换，得到***CT图像序列；
2c)分别对***CT图像序列和***MRI图像序列人工勾画出***器官及骨盆区域，再进行二值化处理，得到***CT图像序列的标签序列Gc和***MRI图像序列的标签序列Gm；
3)搭建一个由五个卷积块网络和四个反卷积块网络组成的***多模态图像自动分割网络U-net；
4)从***CT图像训练样本集中随机选取一幅图像，对自动分割网络U-net进行训练，得到***CT图像自动分割网络U1；
5)从***MRI图像训练样本集中随机选取一幅图像，对自动分割网络U-net进行训
练，得到***MRI图像自动分割网络U2：
6)联合分割得到***CT测试样本集的分割结果图像集C和***MRI测试样本集的分割结果图像集M：
6a)将***CT测试样本集输入到训练好的***CT图像自动分割网络U1中，将***CT测试样本集中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，通过U1中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列Lc，并对Lc进行二值化处理，得到包含***器官和骨盆区域两部分的***CT测试样本集的分割结果图像集C；
6b)将***MRI测试样本集输入训练好的***MRI图像自动分割网络U2中，将***MRI测试样本集中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，通过U2中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列Lm，并对Lm进行二值化处理，得到包含***器官和骨盆区域两部分的***MRI测试样本集的分割结果图像集M；
7)基于两阶段配准法的***多模态图像配准：
7a)第1阶段：以***CT测试样本集的分割结果图像集C作为参考图像集，***MRI测试样本集的分割结果图像集M作为待配准图像集，利用图像集C和图像集M中骨盆的刚性结构信息，进行最大化归一化互信息的初配准，得到配准变换矩阵P和初配准图像集F；
7b)第2阶段：以***CT测试样本集的分割结果图像集C作为参考图像集，以初配准图像集F作为待配准图像集，利用图像集C和图像集F中***器官的结构信息，进行基于Demons算法的非刚性配准，得到配准形变场T和最终配准图像集L；
8)将最终配准图像集L与参考图像集C对应的每幅图像进行叠加，得到融合图像集S并显示。
本发明与现有技术相比具有以下优点：
第一，由于本发明***中的图像预处理模块可用于对不同模态图像进行匹配处理，能够有效利用到多模态图像集中的所有图像，克服了现有配准技术配准时需要通过***时序操作获取参考图像的问题，以及当待配准图像集与参考图像集为不同扫描周期时，配准精度低的问题，使得本发明能显著提高多模态的***图像配准的精度。
第二，本发明由于采用对多模态***图像先自动分割出***器官和骨盆区域，再利用两阶段配准法进行配准的一体化方法，克服了现有配准技术在图像配准时需要人工交互的问题，简化了多模态***图像配准的繁琐步骤，提高了多模态***图像配准的效率。
第三，本发明由于对***CT图像序列与***MRI图像序列采用了基于骨盆刚性结构特征的第1阶段配准和基于***非刚性特征的第2阶段配准的两阶段配准方法，解决了***CT图像序列与***MRI图像序列配准时图像模态差异较大的问题，实现了***CT图像序列和***MRI图像序列精确配准。
附图说明
图1是本发明基于自动分割和骨盆对齐的***图像配准***的示意图；
图2是本发明基于自动分割和骨盆对齐的***图像配准方法的实现流程图；
图3是用本发明对***CT图像序列与***MRI图像序列配准的仿真图。
具体实施方式
下面结合附图对本发明的实施例和效果做进一步描述。
参照图1，本发明的***模块包括图像预处理模块1；多模态图像训练模块2；多模态图像分割模块3；多模态图像配准模块4；图像显示模块5；其中：
图像预处理模块1，用于将***CT图像与***MRI图像根据图像生成的时间依次配对，得到***多模态图像配对数据集，并按6：4的比例划分为***多模态图像训练样本集和测试样本集，然后利用滑窗匹配的方法生成***多模态图像序列标签；
多模态图像训练模块2，用于利用输入图像预处理模块1得到的***多模态图像样本训练集，对自动分割网络U-net训练，得到训练好的自动分割网络U-net；
多模态图像分割模块3，用于将多模态***图像中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，利用训练好的自动分割网络U-net分别对测试样本集中的***CT图像序列和***MRI图像序列进行联合分割，得到***器官和骨盆区域，并将分割后的结果输入到多模态图像配准模块4；
多模态图像配准模块4，用于利用两阶段配准法对***CT图像序列和***MRI图像序列的分割结果进行配准，得到***配准图像序列，并将***配准图像序列输入到图像显示模块5；
图像显示模块5，用于将***配准图像序列与多模态图像分割模块3中的***CT图像序列分割结果进行融合，得到***融合图像序列。
参照图2，对本发明的方法做进一步描述。
步骤1，获取样本集。
1.1)根据图像生成的时间将***CT图像与***MRI图像依次配对，得到配对数据集；在配对数据集中的***CT图像集和***MRI图像集中随机选取60％的图像组成***CT图像训练样本集和***MRI图像训练样本集；
1.2)在配对数据集中的***CT图像集和***MRI图像集中随机选40％图像组成***CT图像测试样本集和***MRI图像测试样本集。
步骤2，生成***CT图像序列标签和***MRI图像序列标签。
2.1)分别将***MRI的图像训练样本集和测试样本集中每幅图像由中心点向外裁剪，得到分辨率为256*256的***MRI图像序列；
2.2)对***CT图像的训练样本集和测试样本集中每幅图像使用滑窗方法找到与***MRI图像序列内容一致的图像块，并对这些图像块依次进行平移、缩放、小角度旋转和双线性插值变换，得到***CT图像序列；
2.3)分别对***CT图像序列和***MRI图像序列人工勾画出***器官及骨盆区域，再进行二值化处理，得到***CT图像序列的标签序列Gc和***MRI图像序列的标签序列Gm。
步骤3，搭建***多模态图像自动分割网络U-net。
3.1)搭建一个由5个卷积块串联组成的卷积网络，其中：
前三个卷积块均采用三层结构，即“卷积层-卷积层-池化层”，第一个卷积块的卷积核数目为32，第二个卷积块的卷积核数目为64，第三个卷积块的卷积核数目为128，每个卷积块中的卷积核的大小均为3×3个像素；
第四个卷积块采用四层结构，即“卷积层-卷积层-Dropout层-池化层”，卷积核数目为256，Dropout层的随机连接比率为0.5；
第五个卷积块采用三层结构，即“卷积层-卷积层-Dropout层”，卷积核数目为512；
5个卷积块中所有卷积核的步长均为1个像素，前4个卷积块中池化层的大小均为2×2个像素；
3.2)搭建一个由四个反卷积块串联组成的反卷积网络，其中：
前三个反卷积块均采用四层结构，即“反卷积层-融合层-卷积层-卷积层”，第一个反卷积块的卷积核数目为256，第二个反卷积块的卷积核数目为128，第三个反卷积块的卷积核数目为64，每个反卷积块中的卷积核大小均为3×3个像素；
第四个反卷积块采用六层结构，即“反卷积层-融合层-卷积层-卷积层-卷积层-卷积层”，该六层结构中的第一层反卷积层、第三层卷积层和第四层卷阶层的卷积核数目均为32，卷积核大小均为3×3个像素；第五层卷积层的卷积核的数目为3，卷积核大小为2×2个像素；第六层卷积层的卷积核数目为1个，卷积核大小为1×1个像素；
3.3)将卷积网络和反卷积网络串联组成多模态图像自动分割网络U-net。
步骤4，训练***CT图像自动分割网络U1。
4.1)从***CT图像训练样本集中随机选取的一幅图像，将其置于自动分割网络U1网络中进行前向传播，得到这幅图像的预测值ac；
4.2)利用***CT图像的预测值与标签序列Gc，通过交叉熵计算公式，计算得到***CT图像自动分割网络U1的交叉熵损失函数：其中xc为***CT图像中每个像素点，nc为该图像像素点总数，yc为标签序列中对应像素点的值；
4.3)利用Adam优化算法对交叉熵损失函数Q(c)进行优化，再通过反向传播计算并更新***CT图像自动分割网络U1的连接权值；
4.4)判断***CT图像自动分割网络U1是否收敛，若是，则退出训练过程，得到训练好的***CT图像自动分割网络U1，否则，返回4.1)。
步骤5，训练***MRI图像自动分割网络U2。
5.1)从***MRI图像训练样本集中随机选取一幅图像，将其置于列腺MRI图像自动分割网络U2，络中进行前向传播，得到这幅图像的预测值am；
5.2)利用***MRI图像的预测值与标签序列Gm，通过交叉熵计算公式，计算得到***MRI图像自动分割网络U2的交叉熵损失函数：其中xm为***MRI图像中每个像素点，nm为该图像像素点总数，ym为标签序列中对应像素点的值；
5.3)利用Adam优化算法对交叉熵损失函数Q(m)进行优化，再通过反向传播计算并更新***MRI图像自动分割网络U2的连接权值；
5.4)判断***MRI图像自动分割网络U2是否收敛，若是，则退出训练过程，得到训练好的***MRI图像自动分割网络U2，否则，返回5.1)。
步骤6，联合分割得到***CT测试样本集的分割结果图像集C和***MRI测试样本集的分割结果图像集M。
6.1)将***CT测试样本集输入到训练好的***CT图像自动分割网络U1中，将***CT测试样本集中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，通过U1中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列Lc，并对Lc进行二值化处理，得到包含***器官和骨盆区域两部分的***CT测试样本集的分割结果图像集C；
6.2)将***MRI测试样本集输入训练好的***MRI图像自动分割网络U2中，将***MRI测试样本集中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，通过U2中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列Lm，并对Lm进行二值化处理，得到M包含***器官和骨盆区域两部分的***MRI测试样本集的分割结果图像集。
步骤7，基于两阶段配准法的***多模态图像配准。
7.1)第1阶段：以***CT测试样本集的分割结果图像集C作为参考图像集，***MRI测试样本集的分割结果图像集M作为待配准图像集，利用图像集C和图像集M中骨盆的刚性结构信息，进行最大化归一化互信息N(C,T(F))的初配准，得到配准变换矩阵P和初配准图像集F，其中N(C,T(F))表示T(F)的归一化互信息，T(F)是将参考图像集C与待配准图像集F进行配准后得到的配准图像集，H(C)表示参考图像集C的香农熵，H(T(F))表示配准图像集T(M)的香农熵，H(C,T(F))表示配准图像T(F)的联合熵；
7.2)第2阶段：以***CT测试样本集的分割结果图像集C作为参考图像集，以初配准图像集F作为待配准图像集，利用图像集C和图像集F中***器官的结构信息，进行基于Demons算法的非刚性配准，得到配准形变场T和最终配准图像集。
步骤8，将最终配准图像集L与参考图像集C对应的整幅图像叠加，得到L融合图像S，并显示。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本发明的仿真试验平台是Intel Core i7-6900K CPU 3.2GHz，内存为64GB显卡为Nvidia Titan X Pascal的PC机，计算机软件配置为Python3.6，tensorflow1.1.0。
利用PHILIPS S7-3t设备采集900幅MRI图像序列，该设备为荷兰阿姆斯特丹飞利浦医疗***技术有限公司制造。使用Siemens Somatom Definition设备采集900幅***CT图像序列，该设备为德国Forcheim西门子医疗制造；
2.仿真内容与结果分析：
用本发明方法对采集的图像进行预处理，得到分辨率均为256×256个像素的***CT图像序列和***MRI图像序列；对预处理后的***CT图像序列与***MRI图像序列按图像生成的时间依次配对，得到900对***多模态图像数据集；随机选取540对配对***CT图像序列和***MRI图像序列分别训练***多模态图像自动分割网络U-net，将剩余的360幅***CT图像序列输入训练好的***CT图像自动分割网络U1，同时将剩余的360幅***MRI图像序列输入到训练好的***MRI图像自动分割网络U2进行***多模态图像分割仿真，结果如图3，其中：
图3(a)是从***CT图像测试样本集中随机挑选的一幅***CT图像；
图3(b)是从***MRI图像测试样本集中随机挑选的一幅***MRI图像；
图3(c)为利用本发明对图3(a)进行分割后得到的结果；
图3(d)为利用本发明对图3(b)进行分割后得到的结果；
图3(e)为将***CT图像分割结果3(c)与***MRI图像分割结果3(d)进行配准后得到的配准结果；
图3(f)为配准结果3(e)与***CT图像分割结果3(c)的融合图像。
从图3可见本发明可以实现在***图像模态差异较大的情况下，得到精确的***多模态图像配准效果。

Claims (6)

1.一种基于自动分割和骨盆对齐的***图像配准***，包括：
图像预处理模块(1)，用于将***CT图像与***MRI图像根据图像生成的时间依次配对，得到***多模态图像配对数据集，并按6：4的比例划分为***多模态图像训练样本集和测试样本集，然后利用滑窗匹配的方法生成***多模态图像序列标签；
多模态图像训练模块(2)，用于利用输入模块(1)得到的***多模态图像样本训练集，对自动分割网络U-net训练，得到训练好的自动分割网络U-net；
多模态图像分割模块(3)，用于将多模态***图像中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，利用训练好的自动分割网络U-net分别对测试样本集中的***CT图像序列和***MRI图像序列进行联合分割，得到***器官和骨盆区域，并将分割后的结果输入到多模态图像配准模块(4)；
多模态图像配准模块(4)，用于利用两阶段配准法对***CT图像序列和***MRI图像序列的分割结果进行配准，得到***配准图像序列，并将***配准图像序列输入到图像显示模块(5)；
图像显示模块(5)，用于将***配准图像序列与多模态图像分割模块(3)中的***CT图像序列分割结果进行融合，得到***融合图像序列。
2.一种基于自动分割和骨盆对齐的***图像配准方法，其特征在于，包括：
1)根据图像生成的时间将***CT图像与***MRI图像依次配对，得到配对数据集，分别在配对数据集中的***CT图像集和***MRI图像集中随机选取60％的图像组成***CT图像训练样本集和***MRI图像训练样本集，40％组成***CT图像测试样本集和***MRI图像测试样本集；
2)生成***CT图像序列标签和***MRI图像序列标签：
2a)分别将***MRI的图像训练样本集和测试样本集中每幅图像由中心点向外裁剪，得到分辨率为256*256的***MRI图像序列；
2b)对***CT图像的训练样本集和测试样本集中每幅图像使用滑窗方法找到与***MRI图像序列内容一致的图像块，并对这些图像块依次进行平移、缩放、小角度旋转和双线性插值变换，得到***CT图像序列；
2c)分别对***CT图像序列和***MRI图像序列人工勾画出***器官及骨盆区域，再进行二值化处理，得到***CT图像序列的标签序列Gc和***MRI图像序列的标签序列Gm；
3)搭建一个由五个卷积块网络和四个反卷积块网络组成的***多模态图像自动分割网络U-net；
4)从***CT图像训练样本集中随机选取一幅图像，对自动分割网络U-net进行训练，得到***CT图像自动分割网络U1；
5)从***MRI图像训练样本集中随机选取一幅图像，对自动分割网络U-net进行训练，得到***MRI图像自动分割网络U2：
6)联合分割得到***CT测试样本集的分割结果图像集C和***MRI测试样本集的分割结果图像集M：
6a)将***CT测试样本集输入到训练好的***CT图像自动分割网络U1中，将***CT测试样本集中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，通过U1中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列Lc，并对Lc进行二值化处理，得到包含***器官和骨盆区域两部分的***CT测试样本集的分割结果图像集C；
6b)将***MRI测试样本集输入训练好的***MRI图像自动分割网络U2中，将***MRI测试样本集中骨盆区域的刚性结构信息和***器官的非刚性结构信息作为先验约束，通过U2中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列Lm，并对Lm进行二值化处理，得到包含***器官和骨盆区域两部分的***MRI测试样本集的分割结果图像集M；
7)基于两阶段配准法的***多模态图像配准：
7a)第1阶段：以***CT测试样本集的分割结果图像集C作为参考图像集，***MRI测试样本集的分割结果图像集M作为待配准图像集，利用图像集C和图像集M中骨盆的刚性结构信息，进行最大化归一化互信息的初配准，得到配准变换矩阵P和初配准图像集F；
7b)第2阶段：以***CT测试样本集的分割结果图像集C作为参考图像集，以初配准图像集F作为待配准图像集，利用图像集C和图像集F中***器官的结构信息，进行基于Demons算法的非刚性配准，得到配准形变场T和最终配准图像集L；
8)将最终配准图像集L与参考图像集C对应的每幅图像进行叠加，得到融合图像集S并显示。
3.根据权利要求2所述的方法，其特征在于所述步骤(3)中由五个卷积块网络和四个反卷积块网络组成的***多模态图像自动分割网络U-net，其结构关系如下：
五个卷积块网络的前三个卷积块的结构均为“卷积层-卷积层-池化层”三层结构，每个卷积核的大小均为3×3个像素，卷积核数目分别为32个,64个，128个；第四个卷积块的结构为“卷积层-卷积层-Dropout层-池化层”四层结构，卷积核数目为256个；第五个卷积块的结构为“卷积层-卷积层-Dropout层”三层结构，卷积核数目为512个；所有卷积核的步长均为1个像素，池化层的大小均为2×2，Dropout层的随机连接比率均为0.5；
四个反卷积块网络的前三个反卷积块的结构均为“反卷积层-融合层-卷积层-卷积层”四层结构，卷积核大小均为3×3个像素，每个反卷积块的卷积核数目分别为256个,128个，64个；第四个反卷积块结构为“反卷积层-融合层-卷积层-卷积层-卷积层-卷积层”六层结构，该六层结构中的第一层反卷积层、第三层卷积层和第四层卷阶层的卷积核数目均为32个，卷积核大小均为3×3个像素，第五层卷积层的卷积核的数目为3个，卷积核大小为2×2，第六层卷积层的卷积核数目为1个，卷积核大小为1×1。
4.根据权利要求2所述的方法,其特征在于步骤(4)中从***CT图像训练样本集中随机选取一幅图像，对自动分割网络U-net进行训练，其实现如下：
(4a)将从***CT图像训练样本集中随机选取的一幅图像置于自动分割网络U1网络中进行前向传播，得到这幅图像的预测值；
(4b)利用***CT图像的预测值与标签序列Gc，通过交叉熵计算公式，计算得到***CT图像自动分割网络U1的交叉熵损失函数Q(c)；
(4c)利用Adam优化算法对交叉熵损失函数Q(c)进行优化，再通过反向传播计算并更新***CT图像自动分割网络U1的连接权值；
(4d)判断***CT图像自动分割网络U1是否收敛，若是，则退出训练过程，得到训练好的***CT图像自动分割网络U1，否则，返回步骤(4a)。
5.根据权利要求2所述的方法,其特征在于步骤(5)中从***MRI图像训练样本集中随机选取一幅图像，对自动分割网络U-net进行训练，其实现如下：
(5a)将从***MRI图像训练样本集中随机选取一幅图像置于自动分割网络U2网络中进行前向传播，得到这幅图像的预测值；
(5b)利用***MRI图像的预测值与标签序列Gm，通过交叉熵计算公式，计算得到***MRI图像自动分割网络U2的交叉熵损失函数Q(m)；
(5c)利用Adam优化算法对交叉熵损失函数Q(m)进行优化，再通过反向传播计算并更新***MRI图像自动分割网络U2的连接权值；
(5d)判断***MRI图像自动分割网络U2是否收敛，若是，则退出训练过程，得到训练好的***MRI图像自动分割网络U2，否则，返回步骤(5a)。
6.根据权利要求2所述的方法，其特征在于步骤(7a)中的归一化互信息公式，表示如下：
其中，N(C,T(F))表示T(F)的归一化互信息，T(F)是将参考图像集C与待配准图像集F进行配准后得到的配准图像集，H(C)表示参考图像集C的香农熵，H(T(F))表示配准图像集T(M)的香农熵，H(C,T(F))表示配准图像T(F)的联合熵。
CN201910631224.5A 2018-10-26 2019-07-12 基于自动分割和骨盆对齐的***图像配准***及方法 Active CN110363802B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811261456 2018-10-26
CN2018112614568 2018-10-26

Publications (2)

Publication Number Publication Date
CN110363802A true CN110363802A (zh) 2019-10-22
CN110363802B CN110363802B (zh) 2022-12-06

Family

ID=68219256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631224.5A Active CN110363802B (zh) 2018-10-26 2019-07-12 基于自动分割和骨盆对齐的***图像配准***及方法

Country Status (1)

Country Link
CN (1) CN110363802B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340861A (zh) * 2020-02-03 2020-06-26 大连理工大学 一种***核磁超声图像配准融合方法
CN112991363A (zh) * 2021-03-17 2021-06-18 泰康保险集团股份有限公司 脑肿瘤图像分割方法、装置、电子设备及存储介质
CN113240014A (zh) * 2021-05-18 2021-08-10 长春理工大学 一种二类分割损失函数及其构建方法和应用
WO2021238732A1 (en) * 2020-05-23 2021-12-02 Ping An Technology (Shenzhen) Co., Ltd. Device and method for alignment of multi-modal clinical images using joint synthesis, segmentation, and registration
CN114511599A (zh) * 2022-01-20 2022-05-17 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
CN114796901A (zh) * 2022-05-30 2022-07-29 北京大学第一医院 一种腰骶神经根的自动勾画方法、设备及存储介质
WO2022257344A1 (zh) * 2021-06-07 2022-12-15 刘星宇 图像配准融合方法及装置、模型训练方法及电子设备
CN118097156A (zh) * 2024-04-26 2024-05-28 百洋智能科技集团股份有限公司 盆底功能障碍检测方法、装置、计算机设备与存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204561A (zh) * 2016-07-04 2016-12-07 西安电子科技大学 基于混合模型的***多模态图像非刚性配准方法
CN106778005A (zh) * 2016-12-27 2017-05-31 中南民族大学 基于多参数mri的***癌计算机辅助检测方法及***
US20180240233A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Deep Convolutional Encoder-Decoder for Prostate Cancer Detection and Classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204561A (zh) * 2016-07-04 2016-12-07 西安电子科技大学 基于混合模型的***多模态图像非刚性配准方法
CN106778005A (zh) * 2016-12-27 2017-05-31 中南民族大学 基于多参数mri的***癌计算机辅助检测方法及***
US20180240233A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Deep Convolutional Encoder-Decoder for Prostate Cancer Detection and Classification

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340861A (zh) * 2020-02-03 2020-06-26 大连理工大学 一种***核磁超声图像配准融合方法
CN111340861B (zh) * 2020-02-03 2022-09-27 大连理工大学 一种***核磁超声图像配准融合方法
WO2021238732A1 (en) * 2020-05-23 2021-12-02 Ping An Technology (Shenzhen) Co., Ltd. Device and method for alignment of multi-modal clinical images using joint synthesis, segmentation, and registration
CN112991363A (zh) * 2021-03-17 2021-06-18 泰康保险集团股份有限公司 脑肿瘤图像分割方法、装置、电子设备及存储介质
CN113240014A (zh) * 2021-05-18 2021-08-10 长春理工大学 一种二类分割损失函数及其构建方法和应用
CN113240014B (zh) * 2021-05-18 2022-05-31 长春理工大学 一种二类分割损失函数在实现椎间盘组织图像二类分割中的应用方法
WO2022257344A1 (zh) * 2021-06-07 2022-12-15 刘星宇 图像配准融合方法及装置、模型训练方法及电子设备
CN114511599A (zh) * 2022-01-20 2022-05-17 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
CN114796901A (zh) * 2022-05-30 2022-07-29 北京大学第一医院 一种腰骶神经根的自动勾画方法、设备及存储介质
CN118097156A (zh) * 2024-04-26 2024-05-28 百洋智能科技集团股份有限公司 盆底功能障碍检测方法、装置、计算机设备与存储介质

Also Published As

Publication number Publication date
CN110363802B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110363802A (zh) 基于自动分割和骨盆对齐的***图像配准***及方法
Patravali et al. 2D-3D fully convolutional neural networks for cardiac MR segmentation
CN109377520A (zh) 基于半监督循环gan的心脏图像配准***及方法
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
Hammami et al. Cycle GAN-based data augmentation for multi-organ detection in CT images via YOLO
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110288609B (zh) 一种注意力机制引导的多模态全心脏图像分割方法
US20070109299A1 (en) Surface-based characteristic path generation
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及***
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及***
CN109923554A (zh) 图像处理
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
US20080069419A1 (en) Virtual fly over of complex tubular anatomical structures
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112734917B (zh) 医疗数据的三维曲面重建和优化方法、***及存储介质
CN108694007B (zh) 从磁共振图像展开肋骨
CN117710671A (zh) 一种基于分割大模型微调的医学图像分割方法
US20220139054A1 (en) Method and product for processing of vrds 4d medical images
CN114298979B (zh) 一种局灶性病变征象描述指导的肝核磁影像序列生成方法
CN108064148A (zh) 用于体外受精的图像引导的胚胎转移
Song et al. Two-path augmented directional context aware ultrasound image segmentation
Chourak et al. Voxel-wise analysis for spatial characterisation of Pseudo-CT errors in MRI-only radiotherapy planning
Song et al. Abdominal multi-organ segmentation using multi-scale and context-aware neural networks
Bai et al. Progressive medical image annotation with convolutional neural network-based interactive segmentation method
Akbar et al. Multiple organs segmentation in abdomen ct scans using a cascade of cnns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant