CN104021559B - 基于互信息和Harris角点检测的图像配准方法 - Google Patents
基于互信息和Harris角点检测的图像配准方法 Download PDFInfo
- Publication number
- CN104021559B CN104021559B CN201410269698.7A CN201410269698A CN104021559B CN 104021559 B CN104021559 B CN 104021559B CN 201410269698 A CN201410269698 A CN 201410269698A CN 104021559 B CN104021559 B CN 104021559B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- subject
- rectangle
- rectangle frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims description 21
- 230000009466 transformation Effects 0.000 claims abstract description 40
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 10
- 230000002068 genetic effect Effects 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 229910000831 Steel Inorganic materials 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 239000010959 steel Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000000844 transformation Methods 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 206010064571 Gene mutation Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000288673 Chiroptera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的互信息和Harris角点特征的图像配准方法,主要解决传统方法配准耗时及配准精度低的缺点。其实现步骤为:(1)输入待配准图像F和参考图像R;(2)在待配准图像F和参考图像R任意位置放置矩形框,并获取最相似矩形框;(3)提取最相似矩形框的角点特征,并获取相似矩形框内的匹配点;(4)删除误匹配点后对已提取匹配点的相似矩形框进行配准,记录配准后的变换参数;(5)利用变换参数对待配准幅图像F进行仿射变换;(6)将仿射变换后的图像与参考图像R进行融合,得到配准后的图像。本发明具有配准耗时短且配准精度高的优点,可用于医学图像,自然图像及合成孔径雷达图像的配准。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及图像配准技术领域的基于改进的互信息和Harris角点检测的图像配准方法,可用于目标识别的目的。
背景技术
智能化信息处理,特别是自动目标识别技术,是各类精确制导引头及背景信号干扰进行实时处理的技术,是精确制导武器智能化程度的一个重要标志。单幅图像的目标识别往往都带有一定随机性和干扰影响,可靠性和稳定性都较差,这导致了目标的可识别性及正确率下降,为此需要对从不同传感器或者同一传感器在不同时间或不同地点获得的图像进行配准。
目前,人们更多采用单纯的基于互信息的图像配准方法,这种方法主要利用了图像的灰度信息进行配准,这类的方法通常具有一定的缺陷,例如待配准图像含有大量的同类区域时,如天空,沙漠,海洋,草地等,这样的图像不管如何匹配,得出的互信息值都是最大的,难以实现准确的配准。现有部分研究者提出,将图像的特征信息与灰度信息相结合的图像配准方法,此类方法虽然比单纯利用灰度信息进行配准的方法有一定的改进,但是这样的方法需要进行全局参数优化搜索,其收敛速度慢,并且取得的特征受到噪声影响较大,导致配准结果不精确,使得目标识别的准确性降低。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于互信息和Harris角点检测的图像配准方法,以提高配准速度和精度。
为实现上述目的,本发明的技术方案包括如下步骤:
(1)输入待配准图像F和参考图像R;
(2)在待配准图像F和参考图像R中任意放置n个矩形框,获得n对矩形框,矩形框的尺寸根据这两个图像的相似块大小设置;
(3)计算待配准图像F的矩形框和参考图像R的矩形框的互信息,并用遗传算法更新优化该互信息,产生互信息值最大的一对矩形框作为相似矩形框;
(4)用高斯平滑窗口对两个相似矩形框进行平滑操作,再用Harris角点检测法提取两个相似矩形框内一一对应的角点,获得k对角点对,其中k是大于等于1的整数;
(5)分别计算第i对角点在x方向和y方向上的距离dxi,dyi,以及所有角点对在x方向和y方向距离的均值μx,μy和方差σx,σy;根据匹配两个矩形框所需的匹配点对的数量,设置门限ω,判断角点的距离是否满足下式,若满足则视为匹配点,否则视为误匹配点,将其删除,
|dxi-μx|≤ωσx;i=0,1,2......k;
|dyi-μy|≤ωσy;i=0,1,2......k,
其中i的范围是0≤i≤k,k为所提取的角点对的总数;
(6)根据所配准的图像,设定角点数量阈值δ,判断匹配点对数量是否大于δ,如果大于δ,则执行下一步;否则返回步骤(5);
(7)对待配准图像F中的矩形框进行仿射变换,每变换一次计算一次两个相似矩形框的互信息,并用遗传算法进行优化,当两个矩形框的互信息值最大时,记录此时的变换参数值,即平移的距离和旋转的角度;
(8)根据上述记录的变换参数值,对待配准图像F进行仿射变换,得到仿射变换后的图像F1;
(9)将仿射变换后的图像F1与参考图像R进行融合,得到配准后的图像。
本发明与现有技术相比具有以下优点:
第一,本发明提取两幅图像的相似矩形框,也就是两个图像中最相似的区域,剔除了待配准图像和参考图像中的信号干扰因素,这种方法不需要做其他先验假设,也不需要进行分割和预处理,使得图像配准结果更精确。
第二,本发明在特征提取的中对待配准图像和参考图像的相似矩形框采用了Harris角点检测法,它无需对全局进行角点特征的检测,仅需检测相似矩形框中的角点信息,降低了算法复杂度,有效节省了图像配准过程所需的时间。
附图说明
图1为本发明的实现流程图;
图2为本发明应用于医学图像的配准结果图;
图3为本发明应用于自然图像的配准结果图;
图4为本发明应用于合成孔径雷达SAR图像的配准结果图。
具体实施方式
下面结合附图对本发明的技术方案和效果做进一步的详细描述。
参照图1,本发明的实施步骤如下:
步骤1,输入待配准图像F和参考图像R。
在这个步骤中,输入的不同特征的图像,在获取最相似矩形框和提取角点特征的过程会产生一定的差异,当输入的待配准图像F和参考图像R是医学图像时,由于两幅图像中可能出现差异部分,在配准的过程中,找到两幅图像最相似的区域十分重要。当输入的待配准图像F和参考图像R是自然图像时,图像几乎不受噪声影响,轮廓也十分鲜明,通过本发明可完成高精度的配准。当输入的待配准图像F和参考图像R是合成孔径雷达SAR图像时,此类图像受噪声影响大,且可能出现差异部分,需在配准过程中适当调整参数。
步骤2,在待配准图像F和参考图像R任意位置放置矩形框。
在待配准图像F和参考图像R中任意位置分别放置大小相同的n个矩形框,获得n对矩形框,每个矩形框的尺寸根据这两个图像的相似块大小设置。当输入的待配准图像F和参考图像R是医学图像时,由于两幅图像中可能出现差异部分,在获取最相似区域时,需减小相似矩形框的尺寸。当输入的待配准图像F和参考图像R是合成孔径雷达SAR图像时,此类图像受噪声影响大,且可能出现差异部分,配准难度较大,需要适当减小相似矩形框的尺寸。当输入的待配准图像F和参考图像R是自然图像时,图像几乎不受噪声影响,轮廓也十分鲜明,相似区域较大,可增大矩形框的尺寸。
步骤3,在待配准图像F和参考图像R中获取最相似矩形框。
在此步骤中,要通过计算待配准图像F的矩形框和参考图像R的矩形框的互信息,并用遗传算法更新优化该互信息,产生互信息值最大的一对矩形框作为相似矩形框。其实现步骤如下:
(3.1)分别计算两个矩形框的联合概率密度和每个矩形框的条件概率密度:
其中,PF,R(DNF,DNR)表示待配准图像F的矩形框和参考图像R的矩形框的联合概率密度
PR(DNR)表示参考图像R的矩形框的条件概率密度;
PF(DNF)表示待配准图像F的矩形框的条件概率密度;
h是待配准图像F的矩形框和参考图像R的矩形框的联合灰度直方图;
h(DNF,DNR)表示待配准图像F的矩形框中灰度值为DNF,参考图像R的矩形
框中灰度值为DNR的像素组合出现的次数;对于待配准图像F的矩形框内的灰度值其变化范围是(0,m),对于参考图像R的矩形框内的灰度值,其变化范围是(0,n)的情况,即DNF和DNR满足0≤DNF≤m,0≤DNR≤n,m是待配准图像F的矩形框内像素灰度的最大值,n是参考图像R的矩形框内像素灰度的最大值。
(3.2)利用步骤(3.1)的参数计算矩形框内的互信息值,按照如下步骤计算:
(3.2.1)利用待配准图像F的矩形框的条件概率密度PF(DNF),计算待配准图像F的矩形框内的熵HF:
(3.2.2)利用参考图像R的矩形框条件概率密度PR(DNR),计算参考图像R的矩形框内的熵HR:
(3.2.3)利用待配准图像F的矩形框和参考图像R的矩形框的联合概率密度PF,R(DNF,DNR),计算待配准图像F与参考图像R的矩形框内的联合熵HFR:
(3.2.4)利用待配准图像F的矩形框的熵HF,参考图像R的矩形框的熵HR,待配准图像F与参考图像R的矩形框的联合熵HFR,计算待配准图像F与参考图像R的矩形框的互信息MI(F,R):
MI(F,R)=HF+HR-HFR。
(3.3)用遗传算法更新优化矩形框对的互信息值,找到最相似的矩形框,优化过程按照如下步骤进行:
(3.3.1)将获得的n对矩形框作为初始种群,其中每一对矩形框是一个个体;
(3.3.2)通过选择、交叉和变异,对初始种群进行进化:
(3.3.2a)按照个体适应度值的大小,选择出适应度值大的个体,适应度值的计算公式采用步骤(3.2.4)中计算的互信息值MI(F,R)的公式,即:
eval=H(IF)+H(IR)-H(IF,IR)
这里的适应度eval度量的是互信息值的大小,适应度越大的个体,互信息值就越大,通过对种群的适应度进行评价,并进行优化搜索,最终产生互信息值最大的个体;
(3.3.2b)任意选择两个父代的个体,随机选择它们染色体的某一位置进行交换,得到两个新的子代,这个过程可以扩展搜索空间,有利于找到比初始种群中的个体更加优秀的新个体;
(3.3.2c)随机选择个体,进行基因突变操作,此过程可增加种群的多样性,有效地避免算法陷入局部最优;
(3.3.3)判断停止条件,若种群的进化代数达到100代或者个体的适应度值大于0.9,则停止迭代,并产生最优解,即获得最相似的一对矩形框,否则,返回步骤(3.3.2)继续迭代。这里的0.9是经验数值,并不是固定不变的,对于某些特殊的图像,由于受到噪声的影响,或者待配准图像与参考图像之间存在差异部分,它们的互信息值永远无法达到0.9,此时可适当降低这个数值的大小。
步骤4,用Harris角点检测法提取最相似矩形框的角点特征。
本步骤采用Harris角点检测法,是因为现有的许多角点检测技术,都是沿着水平和垂直2个方向进行,或者水平、垂直和对角线3个方向进行,容易将边缘特征误检测为角点特征,由于Harris角点检测法是沿着泰勒公式展开,它可以沿着各个方向进行,可以有效地避免误将边缘特征检测为角点特征的错误。其提取步骤如下:
(4.1)对每一像素点计算三个自相关参数A,B和C的值:
其中,w(x,y)为高斯函数,σ是方差,x是水平方向的坐标,y是垂直方向的坐标,是卷积符号,Ix为水平方向的差分,Iy为垂直方向的差分;在这个过程中采用高斯函数,是因为距离中心点的位置权重大,越远离中心点的位置,权重越小,这样可以降低噪声的影响,提高角点检测的精度;
(4.2)利用步骤(4.1)计算得到的三个自相关函数A,B和C的值,计算每个像素点的Harris角点响应R:
R=(AB-C2)2-k(A+B)2,k取值为0.04-0.06之间的任意数;
(4.3)判断像素点是否为角点,若步骤(4.2)中的角点响应R大于0.8,则视为角点并将其提取出来,否则,视为非角点;这里的0.8并非固定不变,对于某些特殊的图像,由于需要提取较多的角点特征,可以适当降低这个数值的大小。
本步骤是对两个相似的矩形框进行角点检测,由于矩形框的相似性,检测得到的角点也是一一对应的,即待配准图像F的矩形框中眼角位置的角点对应于参考图像R的矩形框中眼角位置的角点,这一对角点称为角点对。本步骤获得的角点对的数量记为k对,其中k是大于等于1的整数。
步骤5,获取相似矩形框内的匹配点对。
(5.1)对步骤4中提取的k对角点对进行编号1,2…i…k,分别计算第i对角点在x方向的距离dxi和y方向上的距离dyi:
dxi=xi-xi',
dyi=yi-yi',
其中,xi是待配准图像F的水平坐标,yi是待配准图像F的垂直坐标,x'i是参考图像R的水平坐标,y'i是参考图像R的垂直坐标;
(5.2)分别计算所有角点对在x方向距离的均值μx、方差σx和y方向距离的均值,μy、方差σy:
其中,其中i的范围是0≤i≤k,k为所提取的角点对的总数;
(5.3)根据匹配两个矩形框所需的匹配点对的数量,设置门限ω,判断第i对角点的距离是否满足下式,若满足则视为匹配点,否则视为误匹配点,将其删除,
|dxi-μx|≤ωσx;i=0,1,2......k;
|dyi-μy|≤ωσy;i=0,1,2......k,
本步骤中,设置的门限ω是根据匹配两个矩形框所需的匹配点对的数量设置,针对不同的图像,所需的匹配点数量也不同。对于合成孔径雷达SAR图像,由于噪声点较多,所以需要提取较多的角点,这种情况下可将ω的值设置成0.2到0.4之间的值。对于自然图像,由于受到噪声影响较小,且图像轮廓清晰,这种情况下可将ω的值设置成0.8到1之间的值。对于医学图像,由于可受到噪声影响较小,这种情况下可将ω的值设置成0.6到0.8之间的值。
步骤6,判断匹配点对数量是否满足需求;
设定角点数量阈值δ,判断匹配点对数量是否大于δ,如果大于δ,则执行下一步;否则返回步骤(5);这里的阈值δ是根据所配准的图像设定的,通常取10到15之间的整数。对于合成孔径雷达SAR图像,由于噪声点较多,所以需要提取较多的角点,这种情况下δ通常的取值范围是12到15之间。对于自然图像,由于受到噪声影响较小,且图像轮廓清晰,这种情况下δ通常的取值范围是10到12之间。对于医学图像,由于可受到噪声影响较小,这种情况下δ通常的取值范围是10到12之间。
步骤7,对相似矩形框进行配准,记录仿射变换参数。
在本步骤中,对待配准图像F中的矩形框进行仿射变换,每变换一次计算一次两个相似矩形框的互信息,并用遗传算法对变换参数进行优化,当两个矩形框的互信息值达到最大时,记录此时的变换参数值,即平移的距离和旋转的角度,此过程按如下步骤进行:
(7.1)设置初始变换参数为θ=0,tx=0,ty=0,其中θ为坐标(x,y)变换为(x',y')旋转的角度,tx和ty分别为x方向和y方向的平移的距离,(x',y')为待配准图像F的矩形框仿射变换后的矩形框的坐标,(x,y)是待配准图像F的矩形框的坐标;
(7.2)对待配准图像F中的矩形框进行仿射变换,即是通过如下公式对待配准图像F的矩形框进行平移和旋转:
平移公式:
旋转公式如下:
其中,(x',y')为待配准图像F的矩形框仿射变换后的矩形框的坐标,(x,y)是待配准图像F的矩形框的坐标;
(7.3)计算待配准图像F中进行仿射变换后的矩形框与参考图像的矩形框的互信息,计算方式按照步骤(3.2.4)中计算的互信息值MI(F,R)的公式进行计算;
(7.4)判断停止条件,若互信息值MI(F,R)大于0.9,则停止迭代,并产生最优解,也就是最优的变换参数θ,tx,ty,记录此变换参数值;否则,执行步骤(7.5);
(7.5)用遗传算法优化变换参数θ,tx,ty:
(7.5.1)产生初始种群
根据所配准的图像,分别设定仿射变换参数θ,tx,ty的最大值和最小值,也就是参数θ,tx,ty的范围,在设定的参数θ的范围内随机产生30个θ的值,在参数tx的范围内随机产生30个tx的值和在参数ty范围内30个的ty值,取其中第一个θ的值,第一个tx的值和第一个ty的值组成第一个个体,取其中第二个θ的值,第二个tx的值和第二个ty的值组成第二个个体,以此类推,产生30个由参数θ,tx,ty组成的个体,这30个个体构成了初始种群;
(7.5.2)通过选择、交叉和变异操作优化初始种群:
(7.5.2a)按照个体适应度值的大小,选择出适应度值大的个体,适应度值的计算公式采用步骤(3.2.4)中计算的互信息值MI(F,R)的公式,即:
eval=H(IF)+H(IR)-H(IF,IR)
(7.5.2b)任意选择两个父代的个体,随机选择它们染色体的某一位置进行交换,得到两个新的子代,这个过程可以扩展搜索空间,有利于找到比初始种群中的个体更加优秀的新个体;
(7.5.2c)随机选择个体,进行基因突变操作,此过程可增加种群的多样性,有效地避免算法陷入局部最优;
(7.5.3)若种群的进化代数达到100代或者适应度值大于0.9,则停止迭代,产生优化后的变换参数θ,tx,ty,转步骤(7.2);否则转(7.5.2)继续迭代。
步骤8,对待配准幅图像F进行仿射变换。
根据上一步骤中记录的仿射变换参数,也就是平移和旋转变换的最优参数θ,tx,ty,对待配准图像F进行平移变换和旋转变换,得到图像F1,
平移公式如下:
旋转公式如下:
其中,(x',y')为待配准图像F仿射变换后的图像F1的坐标,(x,y)是待配准图像F的坐标,θ为坐标(x,y)变换为(x',y')旋转的角度,tx和ty分别为x方向和y方向的平移的距离。
步骤9,融合待配准图像F经过仿射变换后得到的图像F1和参考图像R,得到配准后的图像FR。
在本步骤中融合待配准图像F经过仿射变换后得到的图像F1与参考图像R,得到配准后的图像FR,融合的过程是将两幅图像的每个像素点的灰度值进行比较,若两幅图像中的像素点的灰度值相同,则图像FR在该点的像素值等于参考图像R的像素值;若两幅图像中的像素点的灰度值不同,则图像FR在该点的像素值等于待配准图像F经过仿射变换后得到的图像F1的像素值。
本发明的效果可通过以下仿真进一步说明:
应用本发明方法对一幅医学图、一幅自然图像和一副合成孔径雷达SAR图像进行配准的仿真实验,通过对医学图像、自然图像和合成孔径雷达SAR图像是否能精准寻找到相似矩形框,是否配准具有精确地配准结果等方面来评价本方法发明的图像配准方法的性能。对三种不同类型图像的仿真实验分析如下:
仿真实验一:本发明仿真实验一是对医学图像的进行图像配准,采用的两幅配准实验图像是人脑部的x光图像与人脑部的x光图像向右旋转10度之后的图像,仿真结果如图2所示,其中:
图2(a)为人脑部的x光图像,
图2(b)为人脑部的x光图像进行旋转之后的图像,
图2(c)为在人脑部的x光图像中的最相似矩形框,及最相似矩形框中的角点特征,
图2(d)为人脑部的x光图像进行旋转之后的图像中的最相似矩形框,及最相似矩形框中的角点特征,
图2(e)人脑部的x光图像与人脑部的x光图像进行旋转之后图像的配准结果。
由图2(c),2(d)中可以看出与,本发明方法找到的相似矩形框的精度高,也能准确提取到匹配的角点。
图2(e)显示,两幅图像的配准结果十分准确,人脑部的x光图像进行旋转之后的图像通过精准的平移与旋转变换后与人脑部的x光图像进行融合。融合结果几乎与人脑部的x光图像可以完全重合。
仿真实验二:本发明仿真实验二是对自然图像的进行图像配准,采用的两幅配准实验图像是截取的lenna图像的右半边区域和截取的lenna图像的左半边区域,仿真结果如图3所示,其中:
图3(a)为lenna图像的左半边区域,
图3(b)为lenna图像的右半边区域,
图3(c)为在lenna图像的左半边区域中的最相似的矩形框,及最相似矩形框中的角点特征,
图3(d)为在lenna图像的右半边区域中的最相似的矩形框,及最相似矩形框中的角点特征,
图3(e)为lenna图像的左半边区域与lenna图像的右半边区域的配准结果。
由图3(c)、图3(d)可以看出,本发明找到了lenna图像的左半边区域与lenna图像的右半边区域中完全重合的一对矩形框,十分精准地提取到了的lenna图像的左半边区域中最相似矩形框内的角点特征,人物的鼻子、唇部、肩部以及头发的角点都能准确地提取出来,并与lenna图像的右半边区域中最相似矩形框内提取到的角点完全匹配。
由图3(e)中可以看出,lenna图像的左半边区域通过准确的平移量,进行仿射变换后与lenna图像的右半边区域进行融合几乎没有错位。
仿真实验:三本发明仿真实验三是对合成孔径雷达SAR图像的进行图像配准,采用的两幅配准实验图像分别是传感器A拍摄到的SAR图像和传感器B拍摄到的SAR图像,仿真结果如图4所示,其中:
图4(a)为传感器A拍摄到的SAR图像,
图4(b)为传感器B拍摄到的SAR图像,
图4(c)为在传感器A拍摄到的SAR图像中的最相似的矩形框,以及矩形框中的角点特征,
图4(d)为在传感器B拍摄到的SAR图像中的最相似的矩形框,以及矩形框中的角点特征,
图4(e)为传感器A拍摄到的SAR图像与传感器B拍摄到的SAR图像的配准结果。
由图4(c)、图4(d)可以看出,本发明找到的传感器A拍摄到的SAR图像与传感器B拍摄到的SAR图像的相似矩形框几乎可以完全重合,十分准确地提取到了的角点信息,且在两幅图像有旋转变化的情况下,本发明方法找到的相似矩形框仍然十分精准。
由图4(e)可以看出,通过对传感器B拍摄到的SAR图像进行准确的平移的旋转变换后与传感器A拍摄到的SAR图像进行融合,其道路与农田的线条几乎可以完全重合,融合结果几乎没有错位。
Claims (4)
1.一种基于互信息和Harris角点检测的图像配准方法,包括如下步骤:
(1)输入待配准图像F和参考图像R;
(2)在待配准图像F和参考图像R中任意放置n个矩形框,获得n对矩形框,矩形框的尺寸根据这两个图像的相似块大小设置;
(3)计算待配准图像F的矩形框和参考图像R的矩形框的互信息,并用遗传算法更新优化该互信息,产生互信息值最大的一对矩形框作为相似矩形框;
(4)用高斯平滑窗口对两个相似矩形框进行平滑操作,再用Harris角点检测法提取两个相似矩形框内一一对应的角点,获得k对角点对,其中k是大于等于1的整数;
(5)分别计算第i对角点在x方向和y方向上的距离dxi,dyi,以及所有角点对在x方向和y方向距离的均值μx,μy和方差σx,σy;根据匹配两个矩形框所需的匹配点对的数量,设置门限ω,判断第i对角点的距离是否满足下式,若满足则视为匹配点,否则视为误匹配点,将其删除,
|dxi-μx|≤ωσx;i=0,1,2......k;
|dyi-μy|≤ωσy;i=0,1,2......k,
其中i的范围是0≤i≤k,k为所提取的角点对的总数;
(6)根据所配准的图像,设定角点数量阈值δ,判断匹配点对数量是否大于δ,如果大于δ,则执行下一步;否则返回步骤(5);
(7)对待配准图像F中的矩形框进行仿射变换,每变换一次计算一次两个相似矩形框的互信息,并用遗传算法进行优化,当两个相似矩形框的互信息值最大时,记录此时的变换参数值,即平移的距离和旋转的角度;
(8)根据上述记录的变换参数值,对待配准图像F进行仿射变换,得到仿射变换后的图像F1;
(9)将仿射变换后的图像F1与参考图像R进行融合,得到配准后的图像。
2.根据权利要求1所述的基于互信息和Harris角点检测的图像配准方法,其中所述步骤(3)计算图像矩形框内互信息,按如下步骤进行:
(2a)计算两个矩形框的联合概率密度,以及分别计算每个矩形框的条件概率密度:
其中,PF,R(DNF,DNR)表示待配准图像F的矩形框和参考图像R的矩形框的联合概率密度;PR(DNR)表示参考图像R的矩形框的条件概率密度;PF(DNF)表示待配准图像F的矩形框的条件概率密度;h是待配准图像F的矩形框和参考图像R的矩形框的联合灰度直方图;h(DNF,DNR)表示待配准图像F的矩形框中灰度值为DNF,参考图像R的矩形框中灰度值为DNR的像素组合出现的次数,对于待配准图像F的矩形框内的灰度值变化范围是(0,m)、参考图像R的矩形框内的灰度值变化范围是(0,n)的情况,DNF和DNR满足0≤DNF≤m,0≤DNR≤n,m是待配准图像F的矩形框内像素灰度的最大值,n是参考图像R的矩形框内像素灰度的最大值;
(2b)根据步骤(2a)得到的参数计算矩形框内的互信息值:
MI(F,R)=HF+HR-HFR
其中,HF是待配准图像F的矩形框内的熵,HR是参考图像R的矩形框内的熵,HFR是待配准图像F与参考图像R的矩形框内的联合熵,MI(F,R)是待配准图像F与参考图像R的矩形框内的互信息值。
3.根据权利要求1中所述的基于互信息和Harris角点检测的图像配准方法,其中所述步骤(4)中用Harris角点检测法提取两个相似矩形框内的角点,按如下步骤进行:
(4a)对每一像素点计算三个自相关参数A,B和C的值:
其中,w(x,y)为高斯函数,σ是方差,x和y分别是水平方向和垂直方向的坐标,是卷积符号,Ix为x方向的差分,Iy为y方向的差分;
(4b)计算每个像素点的Harris角点响应R:
R=(AB-C2)2-k(A+B)2,k取值为0.04-0.06之间的任意数;
(4c)判断每个像素点是否为角点,若像素点的角点响应R大于0.5,则视为角点并将其提取出来,否则,视为非角点。
4.根据权利要求1中所述的基于互信息和Harris角点检测的图像配准方法,步骤(8)所述的对待配准图像F进行仿射变换,是通过如下公式对待配准图像F进行平移和旋转:
平移公式:
旋转公式如下:
其中,(x',y')为待配准图像F仿射变换后的图像F1的坐标,(x,y)是待配准图像F的坐标,θ为坐标(x,y)变换为(x',y')旋转的角度,tx和ty分别为x方向和y方向的平移的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410269698.7A CN104021559B (zh) | 2014-06-17 | 2014-06-17 | 基于互信息和Harris角点检测的图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410269698.7A CN104021559B (zh) | 2014-06-17 | 2014-06-17 | 基于互信息和Harris角点检测的图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104021559A CN104021559A (zh) | 2014-09-03 |
CN104021559B true CN104021559B (zh) | 2017-04-19 |
Family
ID=51438297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410269698.7A Expired - Fee Related CN104021559B (zh) | 2014-06-17 | 2014-06-17 | 基于互信息和Harris角点检测的图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104021559B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881645B (zh) * | 2015-05-26 | 2018-09-14 | 南京通用电器有限公司 | 基于特征点互信息量和光流法的车辆前方目标的检测方法 |
CN106778899B (zh) * | 2016-12-30 | 2019-12-10 | 西安培华学院 | 一种基于统计相关的快速互信息图像匹配方法 |
CN106960449B (zh) * | 2017-03-14 | 2020-02-14 | 西安电子科技大学 | 基于多特征约束的异源配准方法 |
CN107462875B (zh) * | 2017-07-25 | 2020-04-10 | 西安电子科技大学 | 基于iga-np算法的认知雷达最大mi波形优化方法 |
CN109963070A (zh) * | 2017-12-26 | 2019-07-02 | 富泰华工业(深圳)有限公司 | 画面缝合方法及*** |
CN108230375B (zh) * | 2017-12-27 | 2022-03-22 | 南京理工大学 | 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 |
CN108109112B (zh) * | 2018-01-16 | 2021-07-20 | 上海同岩土木工程科技股份有限公司 | 一种基于Sift特征的隧道展布图拼接参数处理方法 |
CN109064488B (zh) * | 2018-07-05 | 2022-08-09 | 北方工业大学 | 无人机载视频中特定建筑匹配跟踪方法 |
CN109461140A (zh) * | 2018-09-29 | 2019-03-12 | 沈阳东软医疗***有限公司 | 图像处理方法及装置、设备和存储介质 |
CN111311673B (zh) * | 2018-12-12 | 2023-11-03 | 北京京东乾石科技有限公司 | 一种定位方法及装置、存储介质 |
CN110334372B (zh) * | 2019-04-22 | 2023-02-03 | 武汉建工智能技术有限公司 | 一种基于图纸配准的bim增强现实仿真方法 |
CN110290365B (zh) * | 2019-07-12 | 2021-02-02 | 广东技术师范大学天河学院 | 一种边缘融合方法 |
CN112669378A (zh) * | 2020-12-07 | 2021-04-16 | 山东省科学院海洋仪器仪表研究所 | 一种快速检测海水水下图像角点的方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251926A (zh) * | 2008-03-20 | 2008-08-27 | 北京航空航天大学 | 一种基于局部轮廓协方差矩阵的遥感图像配准方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3612756B2 (ja) * | 1994-11-10 | 2005-01-19 | 富士ゼロックス株式会社 | 画像入出力装置の操作装置 |
-
2014
- 2014-06-17 CN CN201410269698.7A patent/CN104021559B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251926A (zh) * | 2008-03-20 | 2008-08-27 | 北京航空航天大学 | 一种基于局部轮廓协方差矩阵的遥感图像配准方法 |
Non-Patent Citations (2)
Title |
---|
A Spatial-Feature-Enhanced MMI Algorithm for Multimodal Airborne Image Registration;Xiaofeng Fan等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20100630;第48卷(第6期);第2580-2589页 * |
吕煊.基于角点特征和最大互信息的多模医学图像配准.《中国优秀硕士学位论文全文数据库信息科技辑》.2008,(第08期),摘要,第21-40页. * |
Also Published As
Publication number | Publication date |
---|---|
CN104021559A (zh) | 2014-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104021559B (zh) | 基于互信息和Harris角点检测的图像配准方法 | |
CN103310453B (zh) | 一种基于子图像角点特征的快速图像配准方法 | |
WO2021243787A1 (zh) | 基于类内判别器的弱监督图像语义分割方法、***、装置 | |
CN104008370B (zh) | 一种视频人脸识别方法 | |
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
CN103971386B (zh) | 一种动态背景场景下的前景检测方法 | |
CN105184801B (zh) | 一种基于多层次策略的光学与sar影像高精度配准方法 | |
CN105809693A (zh) | 基于深度神经网络的sar图像配准方法 | |
CN104820997B (zh) | 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法 | |
CN109784130B (zh) | 行人重识别方法及其装置和设备 | |
CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN101980250A (zh) | 基于降维局部特征描述子和隐条件随机场的目标识别方法 | |
CN102982334B (zh) | 基于目标边缘特征与灰度相似性的稀疏视差获取方法 | |
CN114187665B (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
CN104751111B (zh) | 识别视频中人体行为的方法和*** | |
CN105138983B (zh) | 基于加权部件模型和选择性搜索分割的行人检测方法 | |
CN103955950B (zh) | 一种利用关键点特征匹配的图像跟踪方法 | |
CN111914761A (zh) | 一种热红外人脸识别的方法及*** | |
CN106251362A (zh) | 一种基于快速相关邻域特征点的滑窗目标跟踪方法及*** | |
CN103679720A (zh) | 一种基于小波分解与Harris角点检测的快速图像配准方法 | |
CN105469111A (zh) | 基于改进的mfa和迁移学习的小样本集的物体分类方法 | |
CN105631899A (zh) | 一种基于灰度纹理特征的超声图像运动目标跟踪方法 | |
CN103761768A (zh) | 一种三维重建的立体匹配方法 | |
CN104732546A (zh) | 区域相似性和局部空间约束的非刚性sar图像配准方法 | |
Ibragimov et al. | Accurate landmark-based segmentation by incorporating landmark misdetections |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170419 |