CN110246165B - 提高可见光图像与sar图像配准速度的方法及*** - Google Patents
提高可见光图像与sar图像配准速度的方法及*** Download PDFInfo
- Publication number
- CN110246165B CN110246165B CN201910463120.8A CN201910463120A CN110246165B CN 110246165 B CN110246165 B CN 110246165B CN 201910463120 A CN201910463120 A CN 201910463120A CN 110246165 B CN110246165 B CN 110246165B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- descriptors
- light image
- sar image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004364 calculation method Methods 0.000 claims abstract description 50
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种提高可见光图像与SAR图像配准速度的方法,包括:对可见光图像及SAR图像进行预处理;对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取;根据提取的特征点,构造描述子并计算描述子之间的相似度;根据计算得到的描述子之间的相似度,对原始的可见光图像及SAR图像进行特征点复现;根据复原到原始的可见光图像及SAR图像的特征点,对所述可见光图像与SAR图像进行配准。本发明还涉及一种提高可见光图像与SAR图像配准速度的***。本发明复杂度不高,在显著提高配准速度的同时没有降低图像的配准精度,具有重要的实际应用价值。
Description
技术领域
本发明涉及一种提高可见光图像与SAR图像配准速度的方法及***。
背景技术
目前,对可见光图像与SAR(Synthetic Aperture Radar,合成孔径雷达)图像的有效配准、融合至关重要,有很多学者在研究这个问题。其意义在于:可见光图像具有直观易理解、图像内容丰富、目标结构特征明显、分辨率高、视场角大、纹理丰富、能够反映建筑物等目标的结构信息等优点;同时又存在易受光照和云雾等因素影响、受季节、阴影等条件影响较大等缺点。而SAR图像在某些方面具有和可见光成像优势互补的方面,SAR雷达可以全天时、全天候成像、不受光照和天气等条件影响、具有多极化和一定的透射能力,分辨率具有距离和方向、可穿透伪装遮挡物等诸多优点;但是SAR图像存在分辨率低、侧视成像、目标细节模糊、需要目视解译、探测目标不够广泛等缺点。故实现两种类型图像之间的优势互补是非常必要的。
近年来,针对可见光图像与SAR图像的异源图像配准技术一直在不断发展。江晟等人提出了多模态特征的方法,优化现有同源图像的配准融合算法。许斌等人提出一种多特征匹配的可见光与SAR图像配准算法,首先在低分辨率尺度下利用基于SIFT特征的方法求取初始变换,然后在原始分辨率下借助初始变换的引导在SAR图像上提取直线、区域等结构特征并完成与可见光图像相应特征的精确匹配。Merkle等人聚焦于SAR和可见光图像中的环形线等几何特征模板,并采用基于强度的方法进行匹配。Salehpour和Behrad提出了一种利用二元鲁棒不变可伸缩关键点特征之间的局部和全局几何关系进行光学SAR共配的分层方法。虽然这些方法都取得了自动、鲁棒的结果,但也存在不可忽视的局限性。首先,目前使用的特征检测器检测到的特征重复率略低。其次,由于算法复杂度高,以上方法都存在运行效率低的缺点。另外,很多人提出基于SIFT改进的配准方法,比如SIFT与图像分割、互信息等相结合的方法,虽然配准精度有所改善,但是不能很好的兼顾高精度和高效率。
目前,可见光图像和SAR图像在配准过程中,主要采用的是经典的SIFT(尺度不变特征变换)方法,该方法于1999年由David Lowe首次提出,该方法具有稳定性、准确性、高速性等特点,被广泛用于同源图像的配准工作中。但是对异源图像进行配准时,该算子存在运行速度慢、配准精度低、稳定性差等问题。
综上所述,目前对于可见光图像和SAR图像异源图像配准技术在精度方面研究进展较多,而针对配准速度的研究工作相对较少,航天技术领域对图像处理速度的需求日益增加,研究出高速度的异源图像配准方法具有很重要的应用价值。
发明内容
有鉴于此,有必要提供一种提高可见光图像与SAR图像配准速度的方法及***。
本发明提供一种提高可见光图像与SAR图像配准速度的方法,该方法包括如下步骤:a.对可见光图像及SAR图像进行预处理;b.对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取;c.根据提取的特征点,构造描述子并计算描述子之间的相似度;d.根据计算得到的描述子之间的相似度,对原始的可见光图像及SAR图像进行特征点复现;e.根据复原到原始的可见光图像及SAR图像的特征点,对所述可见光图像与SAR图像进行配准。
其中,所述的步骤a具体包括:
对于可见光图像,采用高斯低通滤波器进行滤波;
对于SAR图像,采用NLM方法进行滤波。
所述的步骤b具体包括:
采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算,得到可见光图像及SAR图像梯度大小和方向;
采用多尺度Harris函数构造尺度空间,通过在尺度空间中寻找局部极大值的方式来提取特征点。
所述的步骤c具体包括如下步骤:
以特征点为中心,将坐标轴旋转到主方向以确保旋转不变性,选用半径为{6αi,8αi,10αi}的圆形区域进行图像中各区域的描述子建立,按照SIFT描述子的计算方法计算灰度梯度直方图;采用基于K-D树的改进BBF算法计算描述子之间的相似度。
所述的步骤d具体包括:
对可见光图像及SAR图像分别提取描述子相似度较高的描述子,记录上述相似度较高的描述子在矩阵中的坐标(i,j),分别判断坐标(i,j)在图像去冗余过程中被剔除的行数Ni和列数Nj,用新的坐标信息(i+Ni,j+Nj)取代原坐标(i,j),分别更新上述相似度较高的描述子的信息,完成去冗余之后图像的复原,将用来配准的特征点在原图中进行复现。
本发明提供一种提高可见光图像与SAR图像配准速度的***,该***包括该***包括预处理模块、计算提取模块、相似度计算模块、特征点复现模块以及配准模块,其中:所述预处理模块用于对可见光图像及SAR图像进行预处理;所述计算提取模块用于对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取;所述相似度计算模块用于根据提取的特征点,构造描述子并计算描述子之间的相似度;所述特征点复现模块用于根据计算得到的描述子之间的相似度,对原始的可见光图像及SAR图像进行特征点复现;所述配准模块用于根据复原到原始的可见光图像及SAR图像的特征点,对所述可见光图像与SAR图像进行配准。
其中,所述的预处理模块具体用于:
对于可见光图像,采用高斯低通滤波器进行滤波;
对于SAR图像,采用NLM方法进行滤波。
所述的计算提取模块具体用于:
采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算,得到可见光图像及SAR图像梯度大小和方向;
采用多尺度Harris函数构造尺度空间,通过在尺度空间中寻找局部极大值的方式来提取特征点。
所述的相似度计算模块具体用于:
以特征点为中心,将坐标轴旋转到主方向以确保旋转不变性,选用半径为{6αi,8αi,10αi}的圆形区域进行图像中各区域的描述子建立,按照SIFT描述子的计算方法计算灰度梯度直方图;采用基于K-D树的改进BBF算法计算描述子之间的相似度。
所述的特征点复现模块具体用于:
对可见光图像及SAR图像分别提取描述子相似度较高的描述子,记录上述相似度较高的描述子在矩阵中的坐标(i,j),分别判断坐标(i,j)在图像去冗余过程中被剔除的行数Ni和列数Nj,用新的坐标信息(i+Ni,j+Nj)取代原坐标(i,j),分别更新上述相似度较高的描述子的信息,完成去冗余之后图像的复原,将用来配准的特征点在原图中进行复现。
本发明采用自主设计的图像预处理以及利用去冗余之后的图像对原始图像进行特征点复现。首先图像预处理阶段:采用基于聚类的非局部滤波方法对两种不同类型的图像进行去噪。其中非局部滤波算法能很好的抑制SAR图像中的散斑噪声,同时在非局部滤波的基础上引入聚类的思想提高滤波算法的效率。同时对滤波之后的图像进行一定规则的去冗余,减少后续提取关键点等步骤中繁琐的计算过程,降低算法的时间复杂度。对原始图像进行特征点复现阶段:基于反馈机制,将用于待匹配的特征点在去冗余之后的图像中所在的位置与去冗余过程中记录的冗余信息比较,有效计算出待匹配的特征点在原始图像中的实际位置,从而完成原始图像中六对特征点的复现。本发明计算复杂度不高,实验表明本发明在显著提高配准速度的同时没有降低图像的配准精度,具有重要的实际应用价值。
附图说明
图1为本发明提高可见光图像与SAR图像配准速度的方法的流程图;
图2(a)-图2(e)为本发明实施例去冗余(图2(a)-图2(c))以及图像复现(图2(d)-图2(e))示意图;
图3为本发明实施例基于SIFT算法改进的SIFT-M算法效果示意图;
图4为本发明算法的效果示意图;
图5为本发明算法配准结果示意图;
图6为基于SIFT算法改进的SIFT-M算法与本发明实施例算法的运行时间对比图;
图7为本发明提高可见光图像与SAR图像配准速度的***的硬件架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
参阅图1所示,是本发明提高可见光图像与SAR图像配准速度的方法较佳实施例的作业流程图。
步骤S1,对可见光图像及SAR图像进行预处理。具体而言:
首先,采用基于聚类的非局部滤波方法对可见光图像及SAR图像这两种不同类型的图像进行去噪。本实施例中,在5*5的局部区域中,以当前像素点(x0,y0)为中心,利用与邻域中像素点(xi,yi)的灰度值Ii的差值为数据点进行非均匀聚类。采用如公式(1)所示的方法,(x0,y0)为当前像素点所在位置,(xi,yi)为邻域中像素点所在位置,W(xi,yi)为权值归一化指数函数,距离聚类中心点越近的像素点,其灰度值差值δ越小,以聚类中心为圆心,以δ=2(2为阈值,通过调整得到)为半径画圆,圆内的像素点不参与运算,取δ>2的像素点进行公式(1)的计算:
基于聚类的非局部滤波方法跟局部均值滤波方法相比,降低了非局部滤波算法的复杂度,在更好的处理SAR图像的斑点噪声的同时,能够更好的保留图像的细节特征。
然后,对滤波之后的可见光图像及SAR图像进行一定规则的去冗余,规则如下:首先将灰度图像转为矩阵表示|I(i,j)|m,n,其中(i,j)分别为行标、列标,计算矩阵中每行每列中灰度值I(i,j)的中值Imedian,统计每行每列中|I(i,j)-Imedian|<ε的个数α(i,j),在本实施例中,阈值ε取5,αi(0<i<m),αj(0<j<m)降序排列;取前η*mn个α对应的行i列j进行剔除,完成图像去冗余操作,在本实施例中,η取0-0.5之间,且可以通过观察图像进行调整。
步骤S2,对预处理后的可见光图像及SAR图像进行梯度计算以及特征点提取。具体而言:
首先,对预处理后的可见光图像及SAR图像进行梯度计算:
首先对预处理之后的新图像采用Sobel算子进行梯度计算,模板如公式(2)所示:
使用上述两个模板与图像的灰度值I(x,y)进行卷积即可得到水平和垂直方向的梯度值。考虑长度不变特性,故采用多尺度Sobel算子,如公式(3)所示:
然后,在得到可见光图像及SAR图像梯度大小和方向后,构建尺度空间提取特征点:本实施例采用多尺度Harris函数构造尺度空间,利用计算局部极大值的方式提取每一层的候选关键点,并进行非极大值抑制。多尺度Harris函数如下述公式所示:
R(αi)=det(M(αi))-d·tr(M(αi))2 (8)
其中,αi为图像的尺度;g为高斯核函数;为尺度αi在水平和垂直方向的梯度;d为任意参数;det表示矩阵行列式的值;tr表示矩阵的迹;R表示尺度空间。然后通过在Harris尺度空间中寻找局部极大值的方式来提取特征点。
步骤S3,根据提取的特征点,构造描述子并计算描述子之间的相似度。具体而言:
本实施例采用GLOH(梯度位置方向直方图)描述子进行描述子的建立。首先,以特征点为中心,将坐标轴旋转到主方向以确保旋转不变性。然后选用半径为{6αi,8αi,10αi}的圆形区域进行图像中各区域的描述子建立。将圆形区域规定为8个角度方向,描述子将检测到的兴趣区域按照径向和角度划分为17个位置块。最后,按照SIFT(尺度不变特征变换)描述子的计算方法计算灰度梯度直方图,方向被量化在16个块中,一个块中有16维数据用来表示方向,故17个位置块中共构成272维矢量,得到一个特征向量,从而构成描述子。
然后采用基于K-D树的改进BBF算法计算描述子之间的相似度,与K-D树匹配的方法相比,该算法具有较高的搜索效率,大大降低了算法的复杂度。该算法主要用于高维数据的处理,主要改进了基于K-D树的回溯过程。
步骤S4,根据计算得到的描述子之间的相似度,对原始的可见光图像及SAR图像进行特征点复现。具体而言:
在本实施例中,对可见光图像及SAR图像分别提取描述子相似度排在前六名的六对描述子之后,分别记录描述子在矩阵中的坐标(i,j),分别判断(i,j)坐标在图像去冗余过程中被剔除的行数Ni和列数Nj,用新的坐标信息(i+Ni,j+Nj)取代原坐标(i,j),分别更新六对描述子的信息,完成去冗余之后图像的复原,将用来配准的特征点在原图中进行复现,用更新之后的描述子进行两幅图像的匹配。
步骤S5:根据复原到原始的可见光图像及SAR图像的特征点,对所述可见光图像与SAR图像进行配准。具体包括:
利用复原到原始图像中的六对特征点估计仿射变换模型的参数,利用该模型对两幅异源图像进行校正。
本发明中采用的按照一定规则图像去冗余以及原始图像中特征点复现的处理过程如图2(a)-图2(e)所示。本发明与基于SIFT算法改进的SIFT-M算法进行比较,基于SIFT-M算法的特征点匹配效果如图3所示,基于本发明中的算法得到的特征点匹配效果如图4所示。由图3和图4对比发现,本发明在减少了配准特征点对情况下未降低图像的配准效果。基于本发明的图像配准结果如图5所示。另外,对SIFT-M算法和本发明中采用的算法进行了运行时间的对比,如图6所示。由此可见,基于本发明的算法进行光SAR异源图像配准时运行时间有显著的减少,算法运行效率更高。
参阅图7所示,是本发明提高可见光图像与SAR图像配准速度的***10的硬件架构图。该***包括:预处理模块101、计算提取模块102、相似度计算模块103、特征点复现模块104以及配准模块105。
所述预处理模块101用于对可见光图像及SAR图像进行预处理。具体而言:
首先,所述预处理模块101采用基于聚类的非局部滤波方法对可见光图像及SAR图像这两种不同类型的图像进行去噪。本实施例中,在5*5的局部区域中,以当前像素点(x0,y0)为中心,利用与邻域中像素点(xi,yi)的灰度值Ii的差值为数据点进行非均匀聚类。采用如公式(1)所示的方法,(x0,y0)为当前像素点所在位置,(xi,yi)为邻域中像素点所在位置,W(xi,yi)为权值归一化指数函数,距离聚类中心点越近的像素点,其灰度值差值δ越小,以聚类中心为圆心,以δ=2(2为阈值,通过调整得到)为半径画圆,圆内的像素点不参与运算,取δ>2的像素点进行公式(1)的计算:
基于聚类的非局部滤波方法跟局部均值滤波方法相比,降低了非局部滤波算法的复杂度,在更好的处理SAR图像的斑点噪声的同时,能够更好的保留图像的细节特征。
然后,所述预处理模块101对滤波之后的可见光图像及SAR图像进行一定规则的去冗余,规则如下:首先将灰度图像转为矩阵表示|I(i,j)|m,n,其中(i,j)分别为行标、列标,计算矩阵中每行每列中灰度值I(i,j)的中值Imedian,统计每行每列中|I(i,j)-Imedian|<ε的个数α(i,j),在本实施例中,阈值ε取5,αi(0<i<m),αj(0<j<m)降序排列;取前η*mn个α对应的行i列j进行剔除,完成图像去冗余操作,在本实施例中,η取0-0.5之间,且可以通过观察图像进行调整。
所述计算提取模块102用于对预处理后的可见光图像及SAR图像进行梯度计算以及特征点提取。具体而言:
首先,所述计算提取模块102对预处理后的可见光图像及SAR图像进行梯度计算:
首先对预处理之后的新图像采用Sobel算子进行梯度计算,模板如公式(2)所示:
使用上述两个模板与图像的灰度值I(x,y)进行卷积即可得到水平和垂直方向的梯度值。考虑长度不变特性,故采用多尺度Sobel算子,如公式(3)所示:
然后,所述计算提取模块102在得到可见光图像及SAR图像梯度大小和方向后,构建尺度空间提取特征点:本实施例采用多尺度Harris函数构造尺度空间,利用计算局部极大值的方式提取每一层的候选关键点,并进行非极大值抑制。多尺度Harris函数如下述公式所示:
R(αi)=det(M(αi))-d·tr(M(αi))2(8)
其中,αi为图像的尺度;g为高斯核函数;为尺度αi在水平和垂直方向的梯度;d为任意参数;det表示矩阵行列式的值;tr表示矩阵的迹;R表示尺度空间。然后通过在Harris尺度空间中寻找局部极大值的方式来提取特征点。
所述相似度计算模块103用于根据提取的特征点,构造描述子并计算描述子之间的相似度。具体而言:
本实施例采用GLOH(梯度位置方向直方图)描述子进行描述子的建立。首先,以特征点为中心,将坐标轴旋转到主方向以确保旋转不变性。然后选用半径为{6αi,8αi,10αi}的圆形区域进行图像中各区域的描述子建立。将圆形区域规定为8个角度方向,描述子将检测到的兴趣区域按照径向和角度划分为17个位置块。最后,按照SIFT描述子的计算方法计算灰度梯度直方图,方向被量化在16个块中,一个块中有16维数据用来表示方向,故17个位置块中共构成272维矢量,得到一个特征向量,从而构成描述子。
然后采用基于K-D树的改进BBF算法计算描述子之间的相似度,与K-D树匹配的方法相比,该算法具有较高的搜索效率,大大降低了算法的复杂度。该算法主要用于高维数据的处理,主要改进了基于K-D树的回溯过程。
所述特征点复现模块104用于根据计算得到的描述子之间的相似度,对原始的可见光图像及SAR图像进行特征点复现。具体而言:
在本实施例中,对可见光图像及SAR图像分别提取描述子相似度排在前六名的六对描述子之后,分别记录描述子在矩阵中的坐标(i,j),分别判断(i,j)坐标在图像去冗余过程中被剔除的行数Ni和列数Nj,用新的坐标信息(i+Ni,j+Nj)取代原坐标(i,j),分别更新六对描述子的信息,完成去冗余之后图像的复原,将用来配准的特征点在原图中进行复现,用更新之后的描述子进行两幅图像的匹配。
所述配准模块105用于根据复原到原始的可见光图像及SAR图像的特征点,对所述可见光图像与SAR图像进行配准。具体包括:
利用复原到原始图像中的六对特征点估计仿射变换模型的参数,利用该模型对两幅异源图像进行校正。
本发明中采用的按照一定规则图像去冗余以及原始图像中特征点复现的处理过程如图2(a)-图2(e)所示。本发明与基于SIFT算法改进的SIFT-M算法进行比较,基于SIFT-M算法的特征点匹配效果如图3所示,基于本发明中的算法得到的特征点匹配效果如图4所示。由图3和图4对比发现,本发明在减少了配准特征点对情况下未降低图像的配准效果。基于本发明的图像配准结果如图5所示。另外,对SIFT-M算法和本发明中采用的算法进行了运行时间的对比,如图6所示。由此可见,基于本发明的算法进行光SAR异源图像配准时运行时间有显著的减少,算法运行效率更高。
虽然本发明参照当前的较佳实施方式进行了描述,但本领域的技术人员应能理解,上述较佳实施方式仅用来说明本发明,并非用来限定本发明的保护范围,任何在本发明的精神和原则范围之内,所做的任何修饰、等效替换、改进等,均应包含在本发明的权利保护范围之内。
Claims (6)
1.一种提高可见光图像与SAR图像配准速度的方法,其特征在于,该方法包括如下步骤:
a.对可见光图像及SAR图像进行预处理;
b.对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取;
c.根据提取的特征点,构造描述子并计算描述子之间的相似度;
d.根据计算得到的描述子之间的相似度,基于去冗余之后的可见光图像及SAR图像,对原始可见光图像及原始SAR图像进行特征点复现;
e.根据复原到原始的可见光图像及SAR图像的特征点,对所述可见光图像与SAR图像进行配准;
所述的步骤a具体包括:
采用基于聚类的非局部滤波方法对可见光图像及SAR图像进行去噪;
对滤波之后的可见光图像及SAR图像进行去冗余,规则如下:首先将灰度图像转为矩阵表示|I(i,j)|m,n,其中(i,j)分别为行标、列标,计算矩阵中每行每列中灰度值I(i,j)的中值Imedian,统计每行每列中|I(i,j)-Imedian|<ε的个数α(i,j),ε为阈值,αi、αj降序排列,其中0<i<m,0<j<m;取前η*mn个α对应的行i列j进行剔除,完成图像去冗余操作,η的值通过观察图像进行调整;
所述的步骤d具体包括:
对去冗余之后的可见光图像及SAR图像分别提取描述子相似度排在前六名的六对描述子之后,分别记录所述六对描述子在矩阵中的坐标(i,j),分别判断(i,j)坐标在图像去冗余过程中被剔除的行数Ni和列数Nj,用新的坐标信息(i+Ni,j+Nj)取代原坐标(i,j),分别更新六对描述子的坐标信息,完成去冗余之后图像的复原,将用来配准的特征点在原图中进行复现,用更新之后的描述子计算仿射变换模型,即可完成两幅图像的匹配。
2.如权利要求1所述的方法,其特征在于,所述的步骤b具体包括:
采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算,得到可见光图像及SAR图像梯度大小和方向;
采用多尺度Harris函数构造尺度空间,通过在尺度空间中寻找局部极大值的方式来提取特征点。
3.如权利要求2所述的方法,其特征在于,所述的步骤c具体包括如下步骤:
以特征点为中心,将坐标轴旋转到主方向以确保旋转不变性,选用半径为{6αi,8αi,10αi}的圆形区域进行图像中各区域的描述子建立,按照SIFT描述子的计算方法计算灰度梯度直方图;采用基于K-D树的改进BBF算法计算描述子之间的相似度。
4.一种提高可见光图像与SAR图像配准速度的***,其特征在于,该***包括预处理模块、计算提取模块、相似度计算模块、特征点复现模块以及配准模块,其中:
所述预处理模块用于对可见光图像及SAR图像进行预处理;
所述计算提取模块用于对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取;
所述相似度计算模块用于根据提取的特征点,构造描述子并计算描述子之间的相似度;
所述特征点复现模块用于根据计算得到的描述子之间的相似度,基于去冗余之后的可见光图像及SAR图像,对原始可见光图像及原始SAR图像进行特征点复现;
所述配准模块用于根据复原到原始的可见光图像及SAR图像的特征点,对所述可见光图像与SAR图像进行配准;
所述的预处理模块具体用于:
采用基于聚类的非局部滤波方法对可见光图像及SAR图像进行去噪;
对滤波之后的可见光图像及SAR图像进行去冗余,规则如下:首先将灰度图像转为矩阵表示|I(i,j)|m,n,其中(i,j)分别为行标、列标,计算矩阵中每行每列中灰度值I(i,j)的中值Imedian,统计每行每列中|I(i,j)-Imedian|<ε的个数α(i,j),ε为阈值,αi、αj降序排列,其中0<i<m,0<j<m;取前η*mn个α对应的行i列j进行剔除,完成图像去冗余操作,η的值通过观察图像进行调整;
所述的特征点复现模块具体用于:
对去冗余之后的可见光图像及SAR图像分别提取描述子相似度排在前六名的六对描述子之后,分别记录所述六对描述子在矩阵中的坐标(i,j),分别判断(i,j)坐标在图像去冗余过程中被剔除的行数Ni和列数Nj,用新的坐标信息(i+Ni,j+Nj)取代原坐标(i,j),分别更新六对描述子的坐标信息,完成去冗余之后图像的复原,将用来配准的特征点在原图中进行复现,用更新之后的描述子计算仿射变换模型,即可完成两幅图像的匹配。
5.如权利要求4所述的***,其特征在于,所述的特征提取模块具体用于:
采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算,得到可见光图像及SAR图像梯度大小和方向;
采用多尺度Harris函数构造尺度空间,通过在尺度空间中寻找局部极大值的方式来提取特征点。
6.如权利要求5所述的***,其特征在于,所述的相似度计算模块具体用于:
以特征点为中心,将坐标轴旋转到主方向以确保旋转不变性,选用半径为{6αi,8αi,10αi}的圆形区域进行图像中各区域的描述子建立,按照SIFT描述子的计算方法计算灰度梯度直方图;采用基于K-D树的改进BBF算法计算描述子之间的相似度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910463120.8A CN110246165B (zh) | 2019-05-30 | 2019-05-30 | 提高可见光图像与sar图像配准速度的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910463120.8A CN110246165B (zh) | 2019-05-30 | 2019-05-30 | 提高可见光图像与sar图像配准速度的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110246165A CN110246165A (zh) | 2019-09-17 |
CN110246165B true CN110246165B (zh) | 2021-12-17 |
Family
ID=67885657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910463120.8A Active CN110246165B (zh) | 2019-05-30 | 2019-05-30 | 提高可见光图像与sar图像配准速度的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110246165B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111145228B (zh) * | 2019-12-23 | 2023-05-26 | 西安电子科技大学 | 基于局部轮廓点与形状特征融合的异源图像配准方法 |
CN112101448B (zh) * | 2020-09-10 | 2021-09-21 | 敬科(深圳)机器人科技有限公司 | 一种屏幕图像识别方法、设备、***和可读存储介质 |
CN112529016A (zh) * | 2020-12-21 | 2021-03-19 | 浙江欣奕华智能科技有限公司 | 一种图像中特征点的提取方法及提取装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021556A (zh) * | 2014-06-13 | 2014-09-03 | 西南交通大学 | 一种基于几何结构相似性的异源遥感影像配准方法 |
CN108230375A (zh) * | 2017-12-27 | 2018-06-29 | 南京理工大学 | 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 |
-
2019
- 2019-05-30 CN CN201910463120.8A patent/CN110246165B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021556A (zh) * | 2014-06-13 | 2014-09-03 | 西南交通大学 | 一种基于几何结构相似性的异源遥感影像配准方法 |
CN108230375A (zh) * | 2017-12-27 | 2018-06-29 | 南京理工大学 | 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 |
Non-Patent Citations (1)
Title |
---|
基于边缘与SURF算子的SAR与可见光图像配准方法;纪利娥等;《应用光学》;20130915;第809-813页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110246165A (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097093B (zh) | 一种异源图像精确匹配方法 | |
CN108427924B (zh) | 一种基于旋转敏感特征的文本回归检测方法 | |
CN108122256B (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
CN104090972B (zh) | 用于三维城市模型检索的图像特征提取和相似性度量方法 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN110246165B (zh) | 提高可见光图像与sar图像配准速度的方法及*** | |
Mousavi et al. | A two-step descriptor-based keypoint filtering algorithm for robust image matching | |
CN103729654A (zh) | 基于改进sift算法的图像匹配检索*** | |
CN109034065B (zh) | 一种基于点云的室内场景物体提取方法 | |
CN106096658B (zh) | 基于无监督深度空间特征编码的航拍图像分类方法 | |
CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
CN111768447A (zh) | 一种基于模板匹配的单目相机物***姿估计方法及*** | |
CN103353941B (zh) | 基于视角分类的自然标志物注册方法 | |
CN111898428A (zh) | 一种基于orb的无人机特征点匹配方法 | |
CN112329559A (zh) | 一种基于深度卷积神经网络的宅基地目标检测方法 | |
CN114358166B (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
CN112614167A (zh) | 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法 | |
CN111798453A (zh) | 用于无人驾驶辅助定位的点云配准方法及其*** | |
Sun et al. | Multi-stage refinement feature matching using adaptive ORB features for robotic vision navigation | |
CN117053779A (zh) | 一种基于冗余关键帧去除的紧耦合激光slam方法及装置 | |
CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
CN115272153A (zh) | 一种基于特征稀疏区域检测的影像匹配增强方法 | |
CN114964206A (zh) | 一种单目视觉里程计目标位姿检测方法 | |
Ren et al. | SAR image matching method based on improved SIFT for navigation system | |
CN114862883A (zh) | 一种目标边缘提取方法、图像分割方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |