CN102509303A - 基于改进的结构相似度的二值化图像配准方法 - Google Patents
基于改进的结构相似度的二值化图像配准方法 Download PDFInfo
- Publication number
- CN102509303A CN102509303A CN2011103728657A CN201110372865A CN102509303A CN 102509303 A CN102509303 A CN 102509303A CN 2011103728657 A CN2011103728657 A CN 2011103728657A CN 201110372865 A CN201110372865 A CN 201110372865A CN 102509303 A CN102509303 A CN 102509303A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- structural similarity
- function
- floating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种基于改进的结构相似度的二值化图像配准方法,首先将参考图像和浮动图像转化为二值图像。经过粗配准后以粗配准参数对浮动图像做几何变换得到新的二值浮动图像,再采用Powell优化算法并以改进的结构相似度作为配准的测度函数进行精配准。最后以精配准所得参数再对新浮动图像进行空间几何变换,然后与二值化参考图像融合显示配准结果。本发明对现有的结构相似度函数定义公式进行了改进,首次将改进后的函数用于二值化图像配准,提供了一个比较通用、鲁棒性的算法,能够达到像素级配准。
Description
技术领域
本发明涉及图像配准方法技术领域,特别涉及一种基于改进的结构相似度的二值化图像配准方法。
背景技术
基于像素灰度的配准方法,一般不需要对图像进行复杂的预先处理,而是利用图像本身具有的灰度的一些统计信息来度量图像的相似程度,常用的测度函数有均方和误差、相关系数和(归一化)互信息等,互信息是1995年Viola等人和Collignon等人提出的,作为配准测度函数,近年来成为研究的热点之一,算法通过不断改进也能够达到亚像素级配准,但局部极值会导致配准不稳定,尤其是多模态图像配准。
由Zhou Wang和Alan C. Bovik等人基于人类视觉***特点提出的结构相似度(Zhou Wang, A C Bovik , H R Sheikh, E P Simoncelli. Image quality assessment from error visibility to structural similarity[J]. IEEE Transactions on Image processing,2004,13(4):600-612.),以往都用来评估图像质量,比如图像去噪后的质量评估等。
结构相似度模型是基于图像局部亮度、对比度、结构信息三个部分相关性比较,定义为:
其中X,Y代表原始(或参考)图像块与待评估的(或浮动)图像块,,,分别表示X与Y的亮度相关函数、对比度相关函数和结构相关函数,这三项是相互独立的;、、>0,这3个参量用来调整亮度、对比度和结构信息的权重,为简化表达,取; 、、、、分别表示X、Y的局部亮度均值、标准差与协方差;、、为小的正常数,以防止分母为零而出现不稳定,其中、、,、<<1,L是像素的动态范围(若是8位灰度图像则L=255)。SSIM简化为:
结构相似度在进行计算时采用滑动窗口方法,首先按照式(5)计算各个窗口内的结构相似度,然后对所有图像块进行累加平均得到平均结构相似度MSSIM:
通常仍简写为SSIM。其中M代表图像块的数量。
如果直接采用由Zhou Wang和Alan C. Bovik等人提出的结构相似度SSIM做图像配准的目标函数(Cost Function Optimizer),只能配准单模态图像,而无法解决多模态图像配准问题,这是因为对于多模态图像,由于图像内容差异较大,即使完全对齐,SSIM一般也不等于1,在时SSIM反而下降。这一点通过配准曲线得到了证实。
发明内容
发明所要解决的技术问题,通过提供一种基于改进的结构相似度的二值化图像配准方法
法,对现有技术的结构相似度函数进行改进,在粗配准误差较大,精度下降的前提下,配准的图形仍达到像素级配准。
本发明的技术方案如下:
一种基于改进的结构相似度的二值化图像配准方法,其特征在于配准步骤如下:
步骤1,读入图像,分别作为参考图像和浮动图像;
步骤2,图像二值化:利用灰度图像阈值函数确定阈值,然后加以修正,分别将参考图像和浮动图像转化为二值图像;
步骤3,采用主轴质心法粗配准:通过图像的一阶矩求得图像质心,再通过二阶中心矩求得主轴与坐标系的夹角,以此得到粗配准的4个参数值,以粗配准参数对二值化浮动图像进行空间几何变换,所得图像作为新的浮动图像;
步骤4,采用Powell优化算法精配准:以二值化参考图像和步骤3得到的浮动图像作为待配准两图像,以改进的结构相似度作为配准测度函数,优化起始点为[X平移 Y平移 旋转角R 缩放系数S]=[0 0 0 1],其中一维优化算法采用布伦特(Brent)方法,4个参数的搜索步长对应为[1 1 1 0.05],搜索的动态范围len=20,迭代精度;
步骤5 以精配准所得4参数对步骤3得到的新浮动图像进行空间几何变换,然后与二值化参考图像融合显示配准结果;
其中测度函数如下:
其中,X,Y分别代表参考图像块与浮动图像块,,,分别表示X与Y的亮度相关函数、对比度相关函数和结构相关函数,、、用来调整亮度、对比度和结构信息的权重,>0、>0、>0, 、、、、分别表示X、Y的局部亮度均值、标准差与协方差;、、,L是像素的动态范围,K1≤0.000001,K2≤0.000003。
K1、 K2 优选:K1=0.000001,K2=0.000003。
本发明的积极效果:
本发明对现有的结构相似度函数定义公式进行了改进,首次将改进后的函数用于图像配准,提供了一个比较通用、精确、鲁棒性的算法。
特别地,当对结构相似度定义中的取绝对值时,结构相似度具有良好的上凸函数特征,不论单模态还是多模态图像配准,以结构相似度作为测度函数均能达到亚像素级配准,实验证实,本发明的配准精度和鲁棒性均好于经典的归一化互信息图像配准算法。
二值图像灰度只有0和1,因此配准误差要比普通灰度图像大,如果SSIM的一致缩放系数取0.5,则比较难配准,易陷入局部极值。如果 K1≤0.000001,K2≤0.000003,缩放系数s≥0.7,二值图像能够达到像素级配准;实验还发现K1>0.000001,K2>0.000003时易陷入局部极值,使配准失败; K1<0.000001,K2<0.000003的配准结果与K1=0.000001,K2=0.000003相同,只是SSIM值有微小变化,这与SSIM定义公式相关;由于二值化使数据简化,采用最近邻插值法,因此能够提高运算速度。
附图说明
图1原始图像BrainP.bmp。
图2二值化BrainP.bmp。
图3~图6 单模态SSIM配准曲线:图3 SSIM~X,图4 SSIM~Y,图5 SSIM~R,图6 SSIM~S。
图7~图10 单模态NMI配准曲线:图7 NMI~X,图8 NMI~Y,图9 NMI~R,图10 NMI~S。
图11 ~图15 单模态图像配准实验结果比较:图11参考图像,图12浮动图像,图13粗配准融合图像,图4 SSIM精配准融合图像,图15 NMI精配准融合图像。
图16二值化MR-T1.jpg。
图17 二值化MR-T2.jpg。
图18~图21 多模态SSIM配准曲线:图18 SSIM~X,图19 SSIM~Y,图20 SSIM~R,图21 SSIM~S。
图22~图25 多模态NMI配准曲线:图:22 NMI~X,图23 NMI~Y,图24 NMI~R,图25 NMI~S。
图26~图30 多模态图像配准实验结果比较:图26参考图像,图27浮动图像,图28粗配准融合图像,图29 SSIM精配准融合图像,图30 NMI精配准融合图像。
具体实施方式
图像二值化可以简化数据,提高计算速度,分析认为,通过大幅度减小C1、C2大小,二值化图像的特性曲线仍满足像素级配准要求,我们探讨直接利用二值化图像进行粗、精两级配准,设定SSIM参数K1=0.000001,K2=0.000003,空间变换采用最近邻插值(nearest),分别以改进的SSIM和NMI作为测度函数,探讨单模态及多模态图像二值化以后配准曲线及配准算法。
1. 单模态二值图像配准
(1)与空间几何变换参数的关系曲线
利用灰度图像阈值函数确定阈值,然后根据实际显示对阈值加一个修正系数(比如0.35),将原始图像二值化,如图1、图2所示,采用最近邻插值法(nearest),动态范围:平移X[-50,50]、Y[-50,50](pixel),旋转R[-50,50](degree),缩放S[0.1,3],分别画出结构相似度和归一化互信息与4参数的关系曲线,如图3~图10所示
结果显示,SSIM平移、旋转曲线数值介于0.3~1之间,缩放曲线数值介于0~1之间,NMI曲线数值介于1~2之间,两组曲线均呈现良好的上凸函数特点,峰形尖锐,定位准确,均处于理想位置,满足配准要求。
(2)配准实验
以对称结构的医学图像BrainP.bmp作为参考图像,将其X方向向下平移16 像素、Y方向向右平移12像素、顺时针旋转10度、一致缩放0.8,得到的图像作为浮动图像,取K1=0.000001,K2=0.000003,配准步骤如下,配准结果如图11-图15所示:
步骤1 读入图像作为参考图像,然后将其以[16 12 -10 0.8]做空间几何变换得到浮动图像;
步骤2 图像二值化:利用灰度图像阈值函数确定阈值,然后加以修正,分别将参考图像和浮动图像转化为二值图像;
步骤3采用主轴质心法粗配准:通过图像的一阶矩求得图像质心,再通过二阶中心矩求得主轴与坐标系的夹角,以此得到粗配准的4个参数值,以粗配准参数对浮动图像进行几何变换,所得图像作为新的浮动图像;
步骤4采用Powell优化算法精配准:以参考图像和步骤3得到的浮动图像作为待配准两图像,优化起始点为[X平移 Y平移 旋转角R 缩放系数S]=[0 0 0 1],其中一维优化算法采用布伦特(Brent)方法,4个参数的搜索步长对应为[1 1 1 0.05],搜索的动态范围len=20,实际为X[-20 20]、Y[-20 20]、R[-20 20]、S[-1 1],平移以“像素”为单位,旋转以“度”为单位,迭代精度,实际上只要即可。
步骤5 以精配准所得4参数对步骤3得到的新浮动图像进行空间几何变换,然后与参考图像融合显示配准结果如图14。
NMI配准算法及有关参数与SSIM相同,结果如图15所示。
配准结果:SSIM=0.6253,迭代2次耗时24秒,粗配准参数为[ -12.0000 -5.0000 8.4411 1.0000],精配准参数为[ -2.0000 -3.0000 1.0000 1.2500],将[ 80 50 1]映射到[77.0261 52.5154 1.0000],可见达到像素级配准;NMI=1.3616,迭代2次耗时21秒,粗配准参数为[ -12.0000 -5.0000 8.4411 1.0000],精配准参数为[-2.0000 -3.0000 1.0000 1.2500],将[ 80 50 1]映射到[77.0261 52.5154 1.0000],可见达到像素级配准。
对于二值化单模态图像配准,两测度函数结果相近甚至相同,配准曲线均为光滑的上凸函数,峰值附近没有明显局部极值且峰形尖锐,不易陷入局部极值且收敛速度较快。
2. 多模态二值图像配准
(1)与空间几何变换参数的关系曲线
以医学图像MR-T1.jpg和 MR-T2.jpg分别作为参考图像和浮动图像,利用灰度图像阈值函数确定阈值,然后根据实际显示对阈值加一个修正系数(比如0.2),将原始图像二值化,如图16、图17所示,采用最近邻插值法(nearest),动态范围:平移X[-50,50]、Y[-50,50](pixel),旋转R[-50,50](degree),缩放S[0.1,3],分别画出结构相似度和归一化互信息与4参数的关系曲线,如图18~图25所示。
SSIM平移曲线峰尖处有局部极值,但两边仍呈现较光滑的上凸函数特征,数值介于0.4~0.55之间,旋转曲线峰值附近出现局部极值,但±10个像素以内峰形较好,缩放曲线较光滑,但缩小部分变化平缓,放大部分较陡峭,总之可以达到像素级配准要求,实验已验证;NMI曲线局部极值严重,数值介于1~1.035之间,与灰度图像NMI配准曲线基本相似,不满足配准要求。
(2)配准实验
以医学图像MR-T1.jpg作为参考图像,将MR-T2.jpg图像X方向向下平移16 像素、Y方向向右平移12像素、顺时针旋转10度、一致缩放0.8,得到的图像作为浮动图像,配准方法与单模态相似,结果如图26~图30所示。
配准结果:SSIM=0.5807,迭代3次耗时50秒,粗配准参数为[ -10.0000 -10.0000 8.9429 1.0000 ],精配准参数为[ -6.0000 5.0000 1.0000 1.1500 ],将[80 50 1]映射到[ 69.7807 51.7752 1.0000],也达到像素级配准,但误差比单模态大。NMI=1.0643,迭代2次耗时15秒,粗配准参数为[ -10.0000 -10.0000 8.9429 1.0000 ],精配准参数为[15.0000 -2.0000 0 0.7000],可见陷入局部极值。
其中测度函数如下:
Claims (2)
1.一种基于改进的结构相似度的二值化图像配准方法,其特征在于配准步骤如下:
步骤1,读入图像,分别作为参考图像和浮动图像;
步骤2,图像二值化:利用灰度图像阈值函数确定阈值,然后加以修正,分别将参考图像和浮动图像转化为二值图像;
步骤3,采用主轴质心法粗配准:通过图像的一阶矩求得图像质心,再通过二阶中心矩求得主轴与坐标系的夹角,以此得到粗配准的4个参数值,以粗配准参数对二值化浮动图像进行空间几何变换,所得图像作为新的浮动图像;
步骤4,采用Powell优化算法精配准:以二值化参考图像和步骤3得到的浮动图像作为待配准两图像,以改进的结构相似度作为配准测度函数,优化起始点为[X平移 Y平移 旋转角R 缩放系数S]=[0 0 0 1],其中一维优化算法采用布伦特(Brent)方法,4个参数的搜索步长对应为[1 1 1 0.05],搜索的动态范围len=20,迭代精度 ;
步骤5 以精配准所得4参数对步骤3得到的新浮动图像进行空间几何变换,然后与二值化参考图像融合显示配准结果;
其中测度函数如下:
2.如权利要求1所述的基于改进的结构相似度的二值化图像配准方法,其特征在于:
K1=0.000001,K2=0.000003。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110372865.7A CN102509303B (zh) | 2011-11-22 | 2011-11-22 | 基于改进的结构相似度的二值化图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110372865.7A CN102509303B (zh) | 2011-11-22 | 2011-11-22 | 基于改进的结构相似度的二值化图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102509303A true CN102509303A (zh) | 2012-06-20 |
CN102509303B CN102509303B (zh) | 2014-03-12 |
Family
ID=46221381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110372865.7A Expired - Fee Related CN102509303B (zh) | 2011-11-22 | 2011-11-22 | 基于改进的结构相似度的二值化图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102509303B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102905394A (zh) * | 2012-08-29 | 2013-01-30 | 无锡泛太科技有限公司 | 基于物联网的智能家居安防网关的图像配准方法及*** |
CN103714550A (zh) * | 2013-12-31 | 2014-04-09 | 鲁东大学 | 一种基于匹配曲线特征评估的图像配准自动优化算法 |
CN104268894A (zh) * | 2014-10-17 | 2015-01-07 | 盐城工学院 | 一种基于目标物像素投影判断的断层切片图像配准方法 |
CN104599291A (zh) * | 2015-01-21 | 2015-05-06 | 内蒙古科技大学 | 基于结构相似度和显著性分析的红外运动目标检测方法 |
CN105469417A (zh) * | 2015-12-30 | 2016-04-06 | 北京联合大学 | 一种mser+pso的分步式异源图像配准算法 |
CN106780572A (zh) * | 2016-12-12 | 2017-05-31 | 首都医科大学附属北京安贞医院 | 基于迭代最近点的自动电解剖图与ct图像配准方法和装置 |
CN106845532A (zh) * | 2016-12-30 | 2017-06-13 | 深圳云天励飞技术有限公司 | 一种样本筛选方法 |
CN107590824A (zh) * | 2017-09-19 | 2018-01-16 | 北京科技大学 | 基于三维图像处理技术的岩石颗粒识别及位移跟踪方法 |
CN109584283A (zh) * | 2018-11-29 | 2019-04-05 | 合肥中科离子医学技术装备有限公司 | 一种基于卷积神经网络的医学图像配准算法 |
CN114155243A (zh) * | 2022-02-09 | 2022-03-08 | 天津恒宇医疗科技有限公司 | 基于特征信息的ivus和oct图像融合方法及*** |
CN116012526A (zh) * | 2022-12-15 | 2023-04-25 | 杭州医策科技有限公司 | 一种基于二维影像的三维ct影像病灶重建方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539629A (zh) * | 2009-04-17 | 2009-09-23 | 南京师范大学 | 基于多特征证据融合与结构相似度的遥感图像变化检测方法 |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
-
2011
- 2011-11-22 CN CN201110372865.7A patent/CN102509303B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539629A (zh) * | 2009-04-17 | 2009-09-23 | 南京师范大学 | 基于多特征证据融合与结构相似度的遥感图像变化检测方法 |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
Non-Patent Citations (2)
Title |
---|
ZHOU WANG ET AL.: "Image Quality Assessment:From Error Measurement to Structual Similarity", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
王凯: "多模态医学图像配准研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102905394A (zh) * | 2012-08-29 | 2013-01-30 | 无锡泛太科技有限公司 | 基于物联网的智能家居安防网关的图像配准方法及*** |
CN103714550A (zh) * | 2013-12-31 | 2014-04-09 | 鲁东大学 | 一种基于匹配曲线特征评估的图像配准自动优化算法 |
CN103714550B (zh) * | 2013-12-31 | 2016-11-02 | 鲁东大学 | 一种基于匹配曲线特征评估的图像配准自动优化方法 |
CN104268894A (zh) * | 2014-10-17 | 2015-01-07 | 盐城工学院 | 一种基于目标物像素投影判断的断层切片图像配准方法 |
CN104268894B (zh) * | 2014-10-17 | 2017-08-25 | 盐城工学院 | 一种基于目标物像素投影判断的断层切片图像配准方法 |
CN104599291B (zh) * | 2015-01-21 | 2017-07-28 | 内蒙古科技大学 | 基于结构相似度和显著性分析的红外运动目标检测方法 |
CN104599291A (zh) * | 2015-01-21 | 2015-05-06 | 内蒙古科技大学 | 基于结构相似度和显著性分析的红外运动目标检测方法 |
CN105469417A (zh) * | 2015-12-30 | 2016-04-06 | 北京联合大学 | 一种mser+pso的分步式异源图像配准算法 |
CN106780572A (zh) * | 2016-12-12 | 2017-05-31 | 首都医科大学附属北京安贞医院 | 基于迭代最近点的自动电解剖图与ct图像配准方法和装置 |
CN106845532A (zh) * | 2016-12-30 | 2017-06-13 | 深圳云天励飞技术有限公司 | 一种样本筛选方法 |
CN106845532B (zh) * | 2016-12-30 | 2018-07-20 | 深圳云天励飞技术有限公司 | 一种样本筛选方法 |
CN107590824A (zh) * | 2017-09-19 | 2018-01-16 | 北京科技大学 | 基于三维图像处理技术的岩石颗粒识别及位移跟踪方法 |
CN109584283A (zh) * | 2018-11-29 | 2019-04-05 | 合肥中科离子医学技术装备有限公司 | 一种基于卷积神经网络的医学图像配准算法 |
CN114155243A (zh) * | 2022-02-09 | 2022-03-08 | 天津恒宇医疗科技有限公司 | 基于特征信息的ivus和oct图像融合方法及*** |
CN116012526A (zh) * | 2022-12-15 | 2023-04-25 | 杭州医策科技有限公司 | 一种基于二维影像的三维ct影像病灶重建方法 |
CN116012526B (zh) * | 2022-12-15 | 2024-02-09 | 杭州医策科技有限公司 | 一种基于二维影像的三维ct影像病灶重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102509303B (zh) | 2014-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102509303A (zh) | 基于改进的结构相似度的二值化图像配准方法 | |
CN102509114A (zh) | 基于改进的结构相似度的图像配准方法 | |
TWI398796B (zh) | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking | |
KR102320649B1 (ko) | 얼굴 이미지 품질을 결정하는 방법과 장치, 전자 기기 및 컴퓨터 저장 매체 | |
US10089750B2 (en) | Method and system of automatic object dimension measurement by using image processing | |
CN101872237B (zh) | 瞳孔追踪方法与***及用于瞳孔追踪的校正方法与模组 | |
CN109993137A (zh) | 一种基于卷积神经网络的快速人脸矫正方法 | |
WO2019105044A1 (zh) | 一种镜头畸变矫正和特征提取的方法及*** | |
CN110688947B (zh) | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 | |
JP6799593B2 (ja) | 画像における動きの検出 | |
US10540784B2 (en) | Calibrating texture cameras using features extracted from depth images | |
CN107578430B (zh) | 一种基于自适应权值和局部熵的立体匹配方法 | |
CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
CN111160232B (zh) | 正面人脸重建方法、装置及*** | |
US20150348269A1 (en) | Object orientation estimation | |
CN111523547A (zh) | 一种3d语义分割的方法及终端 | |
CN110706285A (zh) | 基于cad模型的物***姿预测方法 | |
CN116468786B (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
US9077926B2 (en) | Image processing method and image processing apparatus | |
CN102855642B (zh) | 图像处理装置及其物体轮廓的提取方法 | |
Peng et al. | Simultaneous perimeter measurement for 3D object with a binocular stereo vision measurement system | |
Tang et al. | A vertex-to-edge weighted closed-form method for dense RGB-D indoor SLAM | |
CN116580169B (zh) | 一种数字人驱动方法及装置、电子设备和存储介质 | |
CN104539942A (zh) | 基于帧差聚类的视频镜头切换检测方法及其装置 | |
JP5799776B2 (ja) | 情報表示装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140312 Termination date: 20141122 |
|
EXPY | Termination of patent right or utility model |