CN103714550A - 一种基于匹配曲线特征评估的图像配准自动优化算法 - Google Patents
一种基于匹配曲线特征评估的图像配准自动优化算法 Download PDFInfo
- Publication number
- CN103714550A CN103714550A CN201310747326.6A CN201310747326A CN103714550A CN 103714550 A CN103714550 A CN 103714550A CN 201310747326 A CN201310747326 A CN 201310747326A CN 103714550 A CN103714550 A CN 103714550A
- Authority
- CN
- China
- Prior art keywords
- registration
- peak
- curve
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
匹配曲线不仅能够从光滑度、尖锐度等形态特征直观描述配准性能,而且能够从峰度(kurtosis)、峰偏(peakdeviation,即全局最大值出现的位置与最优位置的偏差)、峰值(maximum,即全局最大值)以及峰值间的均方根误差(RMSE)等特征指标定量评估配准结果,当图像完全对齐时,曲线光滑、尖锐,各个自由度上的全局最大值相等,并且位于最优位置,即峰偏为0。在此基础上,本发明进一步提出一种新的基于匹配曲线特征评估的图像配准自动优化算法,以匹配曲线的峰偏来调整配准参数,以峰值间的均方根误差设定停止迭代条件,不断对配准参数进行优化,实现图像更精确配准。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种新的基于匹配曲线特征评估(Matching Curve feature evaluation,MCfe)的图像配准自动优化算法。
背景技术
图像配准是图像分析领域里一个重要环节。现有的配准方法大致可分为两类:基于像素灰度的方法和基于特征的方法。基于特征的配准算法前期需要由特征检测算子提取图像特征信息,包括点特征、线特征、面特征以及其它特征描述子;基于像素灰度的匹配曲线可以从光滑度、尖锐度等形态特性直观描述配准性能,当光滑度、尖锐度良好时,意指配准效果好。通过对匹配曲线的深入研究,发现图像完全对齐时,各个自由度上的匹配曲线全局最大值相等,并且位于最优位置,即峰偏为0。本发明人在之前的一个专利申请“一种基于匹配曲线特征的图像配准评估法”(申请号:201310645358.5)中提出以匹配曲线的峰度(kurtosis)、峰偏(peak deviation,即全局最大值出现的位置与最优位置的偏差)、峰值(maximum,即全局最大值)以及峰值间的均方根误差(RMSE)等特征为定量指标,在此基础上,基于匹配曲线的上述特征,提出一种新的图像配准自动优化算法。
发明内容
本发明提出一种新的基于匹配曲线特征评估的图像配准自动优化算法,以匹配曲线的峰偏来调整配准参数,以峰值间的均方根误差(RMSE)设定停止迭代条件即配准精度,不断对配准参数进行优化,实现图像更精确配准。由于本发明采用修正的结构相似度函数(Modified Structural Similarity ,MSSIM)为配准测度,此算法既适用于单模态图像,也适用于多模态图像配准。具体步骤为:
第一步:读入图像,根据图像失配程度设定优化过程的迭代次数K,一般地图像之间失配越严重,算法收敛所需的迭代次数K越大;根据配准精度的要求设定配准精度e:各匹配曲线峰值间均方根误差maxinum_RMSE < e;
第二步:以修正的结构相似度函数MSSIM为测度,根据配准精度的要求设定参数的变化步长,一般地变化步长越精细,配准精度将越高,给出参考图像和浮动图像各个自由度上的匹配曲线,MSSIM度量值由下式得到:
第三步:分别按照下列公式计算各曲线的峰度、峰偏、峰值以及峰值间RMSE:
1)峰度(kurtosis)
2)峰偏(peak deviation)
为匹配曲线的测度值,峰偏与统计学的偏度(Skewness)不同,指全局最大值(即峰值)出现的位置与最优位置的偏差,平移、旋转曲线的最优位置为0位置,缩放曲线的最优位置为1位置,图像完全对齐时,全局最大值将处于最优位置,反之,偏离最优位置,偏离度由峰偏表示,峰偏理想值为0;
3)峰值(maximum)
4)峰值间均方根误差(Root Mean Square Error,RMSE)
N为配准变换的自由度, maxinum_RMSE实际上相当于标准误差,峰值间RMSE反映了各曲线峰值的一致程度,因而也反映图像之间的对齐度,即配准精度,图像完全对齐时,峰值间RMSE理想值为0;
第四步:判断是否满足迭代停止条件,如果不满足,按由大到小的次序对各曲线峰度值进行排序,然后把峰度值最大的匹配曲线对应的配准参数进行优化调整,调整方法为:
新参数值 = 旧参数值+ a*峰偏 (6)
调整因子0< a <1,以调整后的配准参数对原始浮动图像进行空间变换,得到新的浮动图像代替原始浮动图像,重复第二步到第四步,其中重复第四步时,为了遍历每个自由度,保证每个自由度上的配准参数都能够得到优化,对新的峰度值排序后,对峰度值次大的匹配曲线对应的配准参数进行优化调整,调整方法同上,依次重复上述步骤,直至峰度值最小的匹配曲线对应的配准参数得到优化调整,如果自由度为N,则迭代N次完成一次循环,然后循环往复;如果满足迭代停止条件或者达到设定的迭代次数上限,则进入第五步;
第五步: 以优化调整后的配准参数对原始浮动图像进行空间变换,由融合图像显示配准效果,同时给出匹配曲线,从曲线的光滑度和尖锐度等形态特性直观描述优化调整前后的配准性能。
本发明采用的配准测度可以是MSSIM,还可以推广为其它凸或者凹配准测度,比如相似性测度有相关系数(CC)、归一化互相关(NCC)、结构相似度(SSIM)、互信息(MI)以及归一化互信息(NMI)等等,相异性测度(既距离测度)有灰度的距离测度SSD、SAD、RC,迭代最近点算法(ICP)里的欧氏距离,倒角距离,Hausdorff 距离以及信息论中的汉明距离等。
配准参数优化方法还可以采用其它算法,比如黄金分割搜索算法,实验证明与公式(6)的优化效果相近。
当图像间失配不严重时,本发明可以用来直接配准图像;当图像已经配准时,可以对配准参数进一步优化,使配准更加精确。
本发明的积极效果:
本发明提出一种新的基于匹配曲线特征评估的图像配准自动优化算法,不仅能够用来直接配准图像,还能够对已配准的图像进一步优化,使配准更加精确,同时既适用于单模态图像,也适用于多模态图像配准。
附图说明
图1为卫星遥感图像配准结果,大小为150*150像素,(a)参考图像,(b)浮动图像,(c)配准优化后浮动图像,(d) 以(0.5*参考图像+0.5*配准后浮动图像)显示的融合图像。
图2为配准优化前图1(a)和(b)的匹配曲线。
图3为配准优化后图1(a)和(c)的匹配曲线。
图4为优化过程中(a)峰度、(b)峰偏、(c)峰值以及(d)峰值间RMSE随着迭代次数的收敛曲线。
图5为多模态医学脑图像MR-T2和CT配准结果,大小为256*256像素,(a)参考图像MR-T2,(b)浮动图像CT(初始失配参数为),(c)配准优化后浮动图像,(d) 以(0.5*参考图像+0.5*配准后浮动图像)显示的融合图像。
图6为配准优化前图5(a)和(b)的匹配曲线。
图7为配准优化后图5(a)和(c)的匹配曲线。
图8为优化过程中(a)峰度、(b)峰偏、(c)峰值以及(d)峰值间RMSE随着迭代次数的收敛曲线。
具体实施方式:
下面结合附图和实施例进一步说明本发明的方法步骤:
第一步:读入卫星遥感图像[图1(a)(b)],设定配准参数优化过程中迭代次数K=15,同时设定停止迭代的条件:各匹配曲线峰值间均方根误差maxinum_RMSE < 0.0001;
第二步:以修正的结构相似度函数MSSIM为测度,给出参考图像和浮动图像各个自由度上的匹配曲线(图2),其中为了保证曲线光滑采用样条插值法,平移以“像素”为单位,旋转角以“度”为单位,平移步长为0.2 像素,旋转步长为0.2 °,缩放步长为0.005;
第三步:分别计算各曲线的峰度、峰偏、峰值以及峰值间RMSE值;
第四步:判断是否满足迭代停止条件,如果不满足,按由大到小的次序对各曲线峰度值进行排序,然后把峰度值最大的匹配曲线对应的配准参数进行优化调整,调整方法为:
新参数值 = 旧参数值+0.618*峰偏
以调整后的配准参数对原始浮动图像进行空间变换,得到新的浮动图像代替原始浮动图像,重复第二步到第四步,其中重复第四步时,为了遍历每个自由度,保证每个自由度上的配准参数都能够得到优化,对新的峰度值排序后,对峰度值次大的匹配曲线对应的配准参数进行优化调整,调整方法同上,依次重复上述步骤,直至峰度值最小的匹配曲线对应的配准参数得到优化调整,如果自由度为N,则迭代N次完成一次循环,然后循环往复,绘制优化过程中峰度、峰偏、峰值以及峰值间RMSE随着迭代次数的收敛曲线(图4);如果满足迭代停止条件或者达到设定的迭代次数上限,则进入第五步;
第五步: 以优化调整后的配准参数对原始浮动图像进行空间变换,由融合图像显示配准效果[图1(c)(d)],同时给出配准优化后匹配曲线(图3),从曲线的光滑度和尖锐度等形态特性直观描述优化调整前后的配准性能。
第六步:读入多模态医学脑图像,图像初始是对齐的,把初始浮动图像沿方向向右水平移动3像素,方向向下垂直移动2像素,顺时针旋转4度,整体放大1.05倍,空间变换后的图像作为原始浮动图像[图5(a)(b)];
第七步:设定配准参数优化过程中迭代次数K=25,同时设定停止迭代的条件:各匹配曲线峰值间均方根误差maxinum_RMSE < 0.0001,重复上述第二步到第五步,得到配准优化前匹配曲线(图6)、配准优化后图像[图5(c)(d)]、配准优化后匹配曲线(图7),以及优化过程中峰度、峰偏、峰值以及峰值间RMSE随着迭代次数的收敛曲线(图8);
第八步:读入其它多模态脑图像,重复上述第六步和第七步,给出多组多模态图像配准结果(图9中表1)。
Claims (4)
1.一种新的基于匹配曲线特征评估(Matching Curve feature evaluation,MCfe)的图像配准自动优化算法,其特征在于:提出以匹配曲线的峰度、峰偏、峰值以及各曲线峰值间均方根误差(RMSE)为特征量,以峰偏来调整配准参数,以峰值间RMSE设定停止迭代条件即配准精度,自动优化各个自由度上的配准参数,实现更精确的配准,具体步骤为:
第一步:读入图像,根据图像失配程度设定优化过程的迭代次数K,一般地图像之间失配越严重,算法收敛所需的迭代次数K越大;根据配准精度的要求设定配准精度e:各匹配曲线峰值间均方根误差maxinum_RMSE < e;
第二步:以修正的结构相似度函数MSSIM为测度,根据配准精度的要求设定参数的变化步长,一般地变化步长越精细,配准精度将越高,给出参考图像和浮动图像各个自由度上的匹配曲线,MSSIM度量值由下式得到:
(1)
第三步:分别按照下列公式计算各曲线的峰度、峰偏、峰值以及峰值间RMSE:
1)峰度(kurtosis)
2)峰偏(peak deviation)
(3)
为匹配曲线的测度值,峰偏与统计学的偏度(Skewness)不同,指全局最大值(即峰值)出现的位置与最优位置的偏差,平移、旋转曲线的最优位置为0位置,缩放曲线的最优位置为1位置,图像完全对齐时,全局最大值将处于最优位置,反之,偏离最优位置,偏离度由峰偏表示,峰偏理想值为0;
3)峰值(maximum)
4)峰值间均方根误差(Root Mean Square Error,RMSE)
(5)
N为配准变换的自由度, maxinum_RMSE实际上相当于标准误差,峰值间RMSE反映了各曲线峰值的一致程度,因而也反映图像之间的对齐度,即配准精度,图像完全对齐时,峰值间RMSE理想值为0;
第四步:判断是否满足迭代停止条件,如果不满足,按由大到小的次序对各曲线峰度值进行排序,然后把峰度值最大的匹配曲线对应的配准参数进行优化调整,调整方法为:
新参数值 = 旧参数值+ a*峰偏 (6)
调整因子0< a <1,以调整后的配准参数对原始浮动图像进行空间变换,得到新的浮动图像代替原始浮动图像,重复第二步到第四步,其中重复第四步时,为了遍历每个自由度,保证每个自由度上的配准参数都能够得到优化,对新的峰度值排序后,对峰度值次大的匹配曲线对应的配准参数进行优化调整,调整方法同上,依次重复上述步骤,直至峰度值最小的匹配曲线对应的配准参数得到优化调整,如果自由度为N,则迭代N次完成一次循环,然后循环往复;如果满足迭代停止条件或者达到设定的迭代次数上限,则进入第五步;
第五步: 以优化调整后的配准参数对原始浮动图像进行空间变换,由融合图像显示配准效果,同时给出匹配曲线,从曲线的光滑度和尖锐度等形态特性直观描述优化调整前后的配准性能。
2.如权利要求1 所述的基于匹配曲线特征评估的图像配准自动优化算法,其特征在于:其中第二步配准测度可以是MSSIM,还可以推广为其它凸或者凹配准测度,比如相似性测度有相关系数(CC)、归一化互相关(NCC)、结构相似度(SSIM)、互信息(MI)以及归一化互信息(NMI)等等,相异性测度(既距离测度)有灰度的距离测度SSD、SAD、RC,迭代最近点算法(iterative closest point,ICP)里的欧氏距离(Euclidean distance),倒角距离(chamfer distance),Hausdorff 距离以及信息论中的汉明距离(Hamming distance)等。
4.如权利要求1 所述的基于匹配曲线特征评估的图像配准自动优化算法,其特征在于:其中第四步配准参数优化调整方法还可以采用其它算法,比如黄金分割搜索算法,实验证明与公式(6)的优化效果相近,但所需时间有所增加。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310747326.6A CN103714550B (zh) | 2013-12-31 | 2013-12-31 | 一种基于匹配曲线特征评估的图像配准自动优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310747326.6A CN103714550B (zh) | 2013-12-31 | 2013-12-31 | 一种基于匹配曲线特征评估的图像配准自动优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103714550A true CN103714550A (zh) | 2014-04-09 |
CN103714550B CN103714550B (zh) | 2016-11-02 |
Family
ID=50407493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310747326.6A Expired - Fee Related CN103714550B (zh) | 2013-12-31 | 2013-12-31 | 一种基于匹配曲线特征评估的图像配准自动优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103714550B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104837078A (zh) * | 2015-03-31 | 2015-08-12 | 北京交通大学 | 基于非匹配度量的光通信信道解映射方法和装置 |
CN108734085A (zh) * | 2018-03-27 | 2018-11-02 | ***股份有限公司 | 虹膜识别方法及虹膜识别*** |
CN108806776A (zh) * | 2018-06-14 | 2018-11-13 | 暨南大学附属第医院(广州华侨医院) | 一种基于深度学习的多模态医学影像的方法 |
CN109073407A (zh) * | 2017-10-26 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 惯性测量单元的漂移标定方法、设备及无人飞行器 |
CN111161338A (zh) * | 2019-12-26 | 2020-05-15 | 浙江大学 | 一种基于二维图像灰度进行深度预测的点云密度提升方法 |
CN114995651A (zh) * | 2022-06-15 | 2022-09-02 | Oppo广东移动通信有限公司 | 时空对齐方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010091494A1 (en) * | 2009-02-11 | 2010-08-19 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
CN102509114A (zh) * | 2011-11-22 | 2012-06-20 | 李京娜 | 基于改进的结构相似度的图像配准方法 |
CN102509303A (zh) * | 2011-11-22 | 2012-06-20 | 鲁东大学 | 基于改进的结构相似度的二值化图像配准方法 |
-
2013
- 2013-12-31 CN CN201310747326.6A patent/CN103714550B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010091494A1 (en) * | 2009-02-11 | 2010-08-19 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
CN102509114A (zh) * | 2011-11-22 | 2012-06-20 | 李京娜 | 基于改进的结构相似度的图像配准方法 |
CN102509303A (zh) * | 2011-11-22 | 2012-06-20 | 鲁东大学 | 基于改进的结构相似度的二值化图像配准方法 |
Non-Patent Citations (3)
Title |
---|
BARBARA ZITOVA 等: "Image registration methods:a survey", 《IMAGE AND VISION COMPUTING》 * |
ZHOU WANG 等: "Image quality assessment:from error visibility to structural similarity", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李京娜 等: "基于改进后的结构相似度的三维图像配准", 《光电工程》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104837078A (zh) * | 2015-03-31 | 2015-08-12 | 北京交通大学 | 基于非匹配度量的光通信信道解映射方法和装置 |
CN104837078B (zh) * | 2015-03-31 | 2019-04-30 | 北京交通大学 | 基于非匹配度量的光通信信道解映射方法和装置 |
CN109073407A (zh) * | 2017-10-26 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 惯性测量单元的漂移标定方法、设备及无人飞行器 |
CN109073407B (zh) * | 2017-10-26 | 2022-07-05 | 深圳市大疆创新科技有限公司 | 惯性测量单元的漂移标定方法、设备及无人飞行器 |
CN108734085A (zh) * | 2018-03-27 | 2018-11-02 | ***股份有限公司 | 虹膜识别方法及虹膜识别*** |
CN108806776A (zh) * | 2018-06-14 | 2018-11-13 | 暨南大学附属第医院(广州华侨医院) | 一种基于深度学习的多模态医学影像的方法 |
CN111161338A (zh) * | 2019-12-26 | 2020-05-15 | 浙江大学 | 一种基于二维图像灰度进行深度预测的点云密度提升方法 |
CN111161338B (zh) * | 2019-12-26 | 2022-05-17 | 浙江大学 | 一种基于二维图像灰度进行深度预测的点云密度提升方法 |
CN114995651A (zh) * | 2022-06-15 | 2022-09-02 | Oppo广东移动通信有限公司 | 时空对齐方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103714550B (zh) | 2016-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443836B (zh) | 一种基于平面特征的点云数据自动配准方法及装置 | |
CN107301654B (zh) | 一种多传感器的高精度即时定位与建图方法 | |
CN108986037B (zh) | 基于半直接法的单目视觉里程计定位方法及定位*** | |
CN111076733B (zh) | 一种基于视觉与激光slam的机器人室内建图方法及*** | |
Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
CN106558080B (zh) | 一种单目相机外参在线标定方法 | |
CN103714550A (zh) | 一种基于匹配曲线特征评估的图像配准自动优化算法 | |
CN105354841B (zh) | 一种快速遥感影像匹配方法及*** | |
CN104484648A (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
WO2016101643A1 (zh) | 一种仪表数据读取方法及*** | |
US20220092819A1 (en) | Method and system for calibrating extrinsic parameters between depth camera and visible light camera | |
CN112484746B (zh) | 一种基于地平面的单目视觉辅助激光雷达里程计方法 | |
CN105654421B (zh) | 基于变换不变低秩纹理的投影变换图像匹配方法 | |
CN111523547B (zh) | 一种3d语义分割的方法及终端 | |
CN103727930A (zh) | 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 | |
CN108830888B (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
CN103632338A (zh) | 一种基于匹配曲线特征的图像配准评估法 | |
CN106991705B (zh) | 一种基于p3p算法的位置参数估计方法 | |
CN109448059B (zh) | 一种快速x角点亚像素检测方法 | |
Hu et al. | Efficient and automatic plane detection approach for 3-D rock mass point clouds | |
CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
CN112163588A (zh) | 基于智能进化的异源图像目标检测方法、存储介质及设备 | |
CN106056121A (zh) | 基于sift图像特征匹配的卫星装配工件快速识别方法 | |
CN107610174B (zh) | 一种鲁棒的基于深度信息的平面检测方法及*** | |
CN106771329B (zh) | 一种无人机减速过程中运行速度的检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161102 Termination date: 20171231 |
|
CF01 | Termination of patent right due to non-payment of annual fee |