【发明内容】
基于此,有必要提供一种快速准确的多模态图像配准方法。
一种多模态图像配准方法,包括以下步骤:
将参考图像和待配准图像按照第一采样比例进行采样获取具有第一分辨率的参考图像和待配准图像;
采用B样条曲面作为变形模型对所述具有第一分辨率的参考图像和待配准图像进行配准、计算配准测度并获得第一配准参数;
增大采样比例重复上述步骤直至配准测度达到预设阈值;其中,每次增大采样比例后进行配准时均以上一次的配准参数为初始配准参数。
优选地,所述对参考图像和待配准图像按照采样比例进行采样的步骤具体包括:
将所述参考图像和待配准图像的像素灰度值进行归一化;
以采样比例对256个灰度级进行采样。
优选地,采样及配准的步骤重复1次,其中,根据参考图像及待配准图像的分辨率设置第一采样比例及重复采样比例。
优选地,采样的方法采用如下方式之一:随机采样、等间隔采样以及金字塔分层采样。
优选地,针对配准优化算法采用梯度下降算法,设置第一采样及重复采样的搜索步长、收敛条件中的松弛因子、最大迭代次数、B样条曲面大小。
优选地,所述计算配准测度的步骤中:
采用归一化的互信息值作为配准测度。
优选地,配准测度达到预设阈值时,将所述参考图像与待配准图像进行绝对配准,其中在绝对配准中定义B样条控制网格。
此外,还有必要提供一种快速准确的基于多模态图像配准的手术导航方法。
一种基于多模态图像配准的手术导航方法,用于根据术前CT图像建立的三维图像和术中的核磁共振图像进行配准后的手术导航,包括如下步骤:
采用数字影像重建技术对术前CT图像进行重建得到DRR(digitallyreconstructed radiography,数字重建图像)图像;
将DRR图像与术中的核磁共振图像进行配准并不断改变DRR图像在模拟X射线成像设备中的空间位置参数,获得空间位置参数不同时的配准测度;
通过优化算法搜索出配准测度到达阈值时的空间位置参数即为DRR图像在模拟X射线的空间定位参数;
获取DRR图像与术中的核磁共振图像相似度最大时的欧拉转换参数作为将术前的CT图像数据转换到核磁共振图像的坐标转换参数;
根据所述坐标转换参数结合所述术前CT图像和术中的核磁共振图像进行手术导航;
其中,所述将DRR图像与术中的核磁共振图像进行配准的步骤包括:
对DRR图像和术中的核磁共振图像按照第一采样比例进行采样获取具有第一分辨率的DRR图像和术中的核磁共振图像;
采用B样条曲面作为变形模型对所述具有第一分辨率的DRR图像和术中的核磁共振图像进行配准、计算配准测度并获得第一配准参数;
增大采样比例重复上述配准步骤直至配准测度达到预设阈值;其中,每次增大采样比例后进行配准时均以上一次的配准参数为初始配准参数。
优选地,所述对DRR图像和术中的核磁共振图像按照第一采样比例进行采样获取具有第一分辨率的DRR图像和术中的核磁共振图像的步骤具体包括:
将所述DRR图像和术中的核磁共振图像的像素灰度值进行归一化;
以所述第一采样比例对256个灰度级进行采样。
优选地,采样及配准的步骤重复1次,其中,根据参考图像及待配准图像的分辨率设置第一采样比例及重复采样比例。
优选地,针对配准优化算法采用梯度下降算法,设置第一采样及重复采样的搜索步长、收敛条件中的松弛因子、最大迭代次数、B样条曲面大小。
优选地,所述计算配准测度的步骤中:
采用归一化的互信息值作为配准测度。
优选地,配准测度达到预设阈值时,将所述DRR图像和术中的核磁共振图像进行绝对配准,其中在绝对配准中定义B样条控制网格。
优选地,所述根据所述坐标转换参数结合所述术前CT图像和术中的核磁共振图像进行手术导航的步骤包括:
将相似度最大的术前的CT图像和术中的核磁共振图像根据空间匹配关系进行图像融合,并根据所述融合后的图像获取手术导航路径。
上述多模态图像配准方法,采用多层分辨率图像配准实现方法,同时以B样条曲面作为变形模型,能够快速准确的将参考图像与待配准图像找到两者的配准测度阈值,实现准确的图像配准。
上述基于多模态图像配准的手术导航方法,采用多层分辨率图像配准实现方法,同时以B样条曲面作为变形模型,能够快速准确的将参考图像与待配准图像找到两者的配准测度阈值,实现准确的图像配准,并对配准后的图像进行融合,可得到多源信道采集的到关于同一目标的数据的各信道中的有利信息。
【具体实施方式】
因为多模态图像是取自不同的成像装置和不同拍摄时间下的图像。因此参考图像即术前规划***中的目标图像与待配准图像即术中的图像并不相同,例如,两者不在同一层,或者两种图像会有变形或者位置偏移,因此需要适时校正。因此本发明采用如下的多模态图像配准方法。
如图1所示,为一种多模态图像配准方法的流程图,包括以下步骤:
步骤S110,将参考图像和待配准图像按照第一采样比例进行采样获取具有第一分辨率的参考图像和待配准图像。
在本实施例中,步骤S110中对参考图像和待配准图像按照采样比例进行采样的步骤具体包括:
①将所述参考图像和待配准图像的像素灰度值进行归一化。
②以采样比例对256个灰度级进行采样。
在本实施例中,采样的方法采用如下方式之一:随机采样、等间隔采样以及金字塔分层采样。优选地,采用金字塔分层采样。
图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的多幅图像匹配的过程。一般来说,CT图像和MRI的原始图像分辨率都可以达到各种高分辨率。因此将图像的像素灰度值进行归一化,以一定比例对全部256个灰度级的数据采样,并采用采样子集代替所有像素数据计算相似性测度,即每一次的配准采用不同的图像分辨率。
在本实施例中,在每次采用不同分辨率配准过程中都采用3次B样条曲面作为空间转换函数,且根据不同尺度的配准需要,可以在每层的配准过程中采用大小不同的B样条曲面作为变形模型。优选地,根据多模态图像的实际分辨率采用大小不同的B样条曲面作为变形模型。
步骤S120,采用B样条曲面作为变形模型对所述具有第一分辨率的参考图像和待配准图像进行配准、计算配准测度并获得第一配准参数。
在本实施例中,计算配准测度的步骤中:采用归一化的互信息值作为配准测度。
互信息是信息理论中的一个基本概念,用于描述两个***间的统计相关性,或者是一个***中所包含的另一个***中信息的量。其中,在配准测度中,由于方差和均方差是测度数据变异程度的最重要、最常用的指标,因此常采用归一化的形式。
在本实施例中,针对配准优化算法采用梯度下降算法,设置第一采样及重复采样的搜索步长、收敛条件中的松弛因子、最大迭代次数、B样条曲面大小。
在本实施例中,针对第一采样的配准优化算法采用梯度下降算法,其中搜索步长为10mm、收敛条件中的松弛因子为0.7、最大迭代次数为200、采用5×5的B样条曲面作为形变模型;针对重复采样的配准优化算法采用LBFG算法,其中搜索步长为0.1mm、梯度收敛公差为0.05,最大迭代次数为1000次、采用10×10的B样条曲面作为形变模型。第一配准参数包括:像素、收缩系数及振幅长度等。
步骤S130,增大采样比例重复上述步骤直至配准测度达到预设阈值;其中,每次增大采样比例后进行配准时均以上一次的配准参数为初始配准参数。
将上一次的配准参数作为下一次的初始配准参数,能够提高两次配准的连续性和稳定性。
在本实施例中,采样及配准的步骤重复1次,其中,根据参考图像及待配准图像的分辨率设置第一采样比例及重复采样比例。
在本实施例中,采样及配准的步骤重复1次,其中,第一采样比例为0.3,重复采样比例为0.6。
如表1示,为图像配准结果,包括配准前的互信息值、第一配准结果和第二配准结果配准完成后的配准结果与参考图像的互信息的对比。
互信息值 |
配准前 |
第一配准结果 |
第二配准结果 |
1 |
1.24257 |
1.27905 |
1.28651 |
表1
如表2所示为CT(512*512)和MRI(512*416)两幅不同模态图像的配准结果,其中最大互信息值作为相似性测度。配准输出参数包括配准前参考图与浮动图的互信息值,第一配准结果和第二配准结果和参考图的互信息值对比以及配准所需时间。从配准前后的互信息值对比中可知互信息值提升较多,说明变形后的浮动图像和参考图像的一致性有所提高,此配准方法对于多模态图像有一定的配准效果。
互信息值 |
配准前 |
第一配准结果 |
第二配准结果 |
配准时间 |
1 |
0.666575 |
0.924476 |
0.924923 |
208 |
表2
表3为比较本实施例中配准策略与传统单层配准方法的配准速度而设计的实验的结果。该实验中的传统单次配准方法采用相同的配准方法,包括使用B样条曲面作为变形模型、互信息作为相似性测度结合LBFG优化算法寻求最优值的配准策略。在此基础上,可认为两种方法配准收敛条件相同,即配准精度相当。当设置同样的配准收敛条件时,单次配准方法和本文的多层配准方法配准所需时间如下表所示:
时间(S)CT/MRI |
传统方法 |
多分辨率 |
1 |
451 |
208 |
表3
配准测度达到预设阈值时,将参考图像与待配准图像进行绝对配准,其中在绝对配准中定义B样条控制网格。当参考图像与待配准图像的配准参数间的差值在±5%之间时,认为配准测度达到预设阈值。具体地,采用B样条网格控制区域的方法步骤包括:
①选取参考图像中的感兴趣区域,得到其像素信息,并将像素信息映射到待配准图像的对应区域,同时控制B样条网格变化。
如图2所示为提取感兴趣区域的示意图。感兴趣区域10为参考图像中的变形区域,将感兴趣区域10提取,并映射到待配准图像的对应区域,控制B样条网格变化。优选地,在B样条网格中,感兴趣区域10被缩小。
②将变化后的网格控制区域进行优化计算,达到匹配阈值后嵌入到待配准图像中。
如图3所示,为缩小B样条网格控制区域的示意图。变形区域20是参考图像中的较大变形区域,缩小区域22为变化后的网格控制区域。对缩小区域22进行优化计算,达到匹配阈值后嵌入到待配准图像中。具体实现过程如图4所示:图4a为参考图像。图4b为待配准图像。图4c为配准结果。
接下来为对比多模态图像的多层配准策略与传统单层配准方法的配准速度,设计以下实验。该实验中的传统单层配准方法与分层配准方法采用相同的配准参数,包括同样使用B样条曲面作为变形模型、互信息作为配准测度和LBFG优化算法寻求最优值的配准策略。在此基础上,可认为两种方法配准收敛条件相同,即配准精度相当。当设置同样的配准收敛条件时,单层配准方法和多模态图像的多层配准方法配准所需时间如表4所示。
多模态图像 |
传统方法配准时间(s) |
分层配准时间(s) |
1 |
451 |
208 |
2 |
100 |
28 |
3 |
150 |
15 |
表4
在B样条次数,控制B样条网格间距不变的情况,上述方法提高了计算的速度和精度,更适合修正局部较大变形的图像。
基于上述所有实施例,如图5所示,为一种基于多模态图像配准的手术导航方法流程图,用于根据术前CT图像建立的三维图像和术中的核磁共振图像进行配准后的手术导航,包括如下步骤:
步骤S210,采用数字影像重建技术对术前CT图像进行重建得到DRR图像。
采用数字影像重建技术(DRR)对术前的CT图像重建,即采用术前的CT断层数据重建出仿射摄影图像,模拟实际成像的物理过程。
在本实施例中,对术前的CT图像进行重建,是为了实现三维术前规划***将CT切片图像重建成三维。
步骤S220,将DRR图像与术中的核磁共振图像进行配准并不断改变DRR图像在模拟X射线成像设备中的空间位置参数,获得空间位置参数不同时的配准测度。
在本实施例中,采用欧拉旋转控制三维图像的旋转和平移等六个自由度的参数,因此在重采样的过程中,改变欧拉转换参数,会获得不同角度的DRR图像。
在本实施例中,将DRR图像与术中的核磁共振图像进行配准的步骤包括:
①对DRR图像和术中的核磁共振图像按照第一采样比例进行采样获取具有第一分辨率的DRR图像和术中的核磁共振图像。
②采用B样条曲面作为变形模型对所述具有第一分辨率的DRR图像和术中的核磁共振图像进行配准、计算配准测度并获得第一配准参数。
③增大采样比例重复上述配准步骤直至配准测度达到预设阈值;其中,每次增大采样比例后进行配准时均以上一次的配准参数为初始配准参数。
在本实施例中,对DRR图像和术中的核磁共振图像按照第一采样比
例进行采样获取具有第一分辨率的DRR图像和术中的核磁共振图像的步骤具体包括:
①将所述DRR图像和术中的核磁共振图像的像素灰度值进行归一化。
②以采样比例对256个灰度级进行采样。
在本实施例中,采样及配准的步骤重复1次,其中,根据参考图像及待配准图像的分辨率设置第一采样比例及重复采样比例。
在本实施例中,采样及配准的步骤重复1次,其中,第一采样比例为0.3,重复采样比例为0.6。
常用的重采样有最近邻方法、双线性内插方法和三次卷积内插方法。其中,最近邻方法最为简单,计算速度快,但是视觉效应差;双线性插值会使图像轮廓模糊;三次卷积法产生的图像较平滑,有好的视觉效果,但计算量大,较费时。在本实施例中,为了取得好的视觉效果的图像一般会采用三次卷积法进行重采样。
在本实施例中,针对配准优化算法采用梯度下降算法,设置第一采样及重复采样的搜索步长、收敛条件中的松弛因子、最大迭代次数、B样条曲面大小。
在本实施例中,针对第一采样的配准优化算法采用梯度下降算法,其中搜索步长为10mm、收敛条件中的松弛因子为0.7、最大迭代次数为200、采用5×5的B样条曲面作为形变模型;针对重复采样时的配准优化算法采用LBFG算法,其中搜索步长为0.1mm、梯度收敛公差为0.05,最大迭代次数为1000次、采用10×10的B样条曲面作为形变模型。
在本实施例中,配准测度达到预设阈值时,将根据术前CT图像建立的三维图像和术中的核磁共振图像进行绝对配准,其中在绝对配准中定义B样条控制网格。
步骤S230,通过优化算法搜索出配准测度到达阈值时的空间位置参数即为DRR图像在模拟X射线的空间定位参数。
步骤S240,取DRR图像与术中的核磁共振图像相似度最大时的欧拉转换参数作为将术前的CT图像数据转换到核磁共振图像的坐标转换参数。
在本实施例中,当DRR图像与术中的核磁共振图像相似度最大时,可以认为欧拉转换的参数对应的就是术中的核磁共振图像与术前的CT图像的坐标转换矩阵。
步骤S250,根据所述坐标转换参数结合所述术前CT图像和术中的核磁共振图像进行手术导航。
在本实施例中,根据术前CT图像建立的三维图像和术中的核磁共振图像根据空间匹配关系像融合后,能够获得全面显示骨骼和软组织的图像。在获得信息全面的图像后,根据空间坐标关系指引控制机械臂完成介入式治疗,完成治疗导航过程。
上述方法能够提供术前规划、教学训练和机械臂辅助完成治疗。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。