CN117670958A - 针对小孔径序列sar图像的配准方法、装置和设备 - Google Patents
针对小孔径序列sar图像的配准方法、装置和设备 Download PDFInfo
- Publication number
- CN117670958A CN117670958A CN202410130536.9A CN202410130536A CN117670958A CN 117670958 A CN117670958 A CN 117670958A CN 202410130536 A CN202410130536 A CN 202410130536A CN 117670958 A CN117670958 A CN 117670958A
- Authority
- CN
- China
- Prior art keywords
- characteristic point
- image
- point pair
- points
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 85
- 230000009466 transformation Effects 0.000 claims description 75
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 69
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种针对小孔径序列SAR图像的配准方法、装置和设备,针对太赫兹远场SAR图像孔径小,前后两帧图像相同成像区域的灰度值差异大等问题,提出了一种小孔径序列SAR图像的配准方法。该方法在特征点提取后,通过限制前后图像特征点的配准范围,采用改进的RANSAC算法去除虚假特征点对,获取图像参数模型的参数,实现对序列图像的配准。实验结果表明,该方法能获得更多的特征点对,配准速度快,鲁棒性强。
Description
技术领域
本申请涉及SAR图像处理技术领域,特别是涉及一种针对小孔径序列SAR图像的配准方法、装置和设备。
背景技术
目前,SAR图像配准的方法主要有两种,一种是基于灰度的配准方法,一种是基于特征的配准方法。基于灰度的配准方法以图像的灰度信息为基础,构建图像间的相似性度量函数,通过求取该函数的极值,得到两幅图像间的变换参数值,根据其变换参数值,实现对图像的配准。基于灰度的配准方法不需要对图像进行预处理,同时利用图像的灰度信息,可以得到精确性和鲁棒性比较高的变换参数,不足的是,图像数据都要参与运算,计算速度慢,而且,受图像灰度差异的影响,该方法不适合灰度值差异较大的图像间的配准。基于灰度的配准方法中,比较常用的方法是互相关法和互信息法。
基于特征的配准方法需提取参考图像和待配准图像的特征向量,将图像的特征向量进行匹配,通过匹配得到的特征点对计算变换模型的参数,根据模型参数,实现对图像的配准。在基于特征的匹配算法中,目前应用最广泛的是尺度不变特征变换( ScaleInvariant Feature Transform,SIFT)。SIFT在构建高斯尺度空间使用差分梯度,在光学图像的配准中,效果很好。但在SAR图像配准中,由于SAR图像中受相干斑噪声的影响,在高反射率的均匀区域,存在大量的虚假的特征点。而基于SIFT方法提出的SAR-SIFT算法更适用于一般乘性斑点噪声的SAR图像。
而太赫兹SAR图像也具有强噪声斑点的干扰,在拥有高反射率的静态区域获得幅值非常大的梯度,导致差分梯度出现较大的偏差,若采用SIFT算法提取特征点时会存在大量的异常点,而采用SAR-SIFT算法需要进行特征点主方向的分配和特征点,计算过程复杂,计算后得到的特征点对的数量少于构建图像变换矩阵所要求的特征点对数,导致配准失败。
发明内容
基于此,有必要针对上述技术问题,提供一种能够对太赫兹SAR图像进行精准配准的针对小孔径序列SAR图像的配准方法、装置和设备。
一种针对小孔径序列SAR图像的配准方法,所述方法包括:
获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
在其中一实施例中,所述采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点包括:
在各所述多尺度空间金字塔中,采用指数加权平均算子计算每一层尺度空间图像水平方向和垂直方向的梯度比值;
根据各所述梯度比值构建对应层尺度空间图像的Harris函数,根据不同尺度空间的Harris函数分别构建对应两个多尺度空间金字塔的Harris多尺度空间;
分别在两个Harris多尺度空间中,将每一层Harris尺度空间中Harris函数极大值在该层尺度空间图像上对应位置的采样点作为特征点。
在其中一实施例中,所述根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合包括:
计算每一个特征点对之间的斜率,统计落入不同斜率区间的特征点对数量,在所述特征点对集合中保留数量最多的斜率区间中的特征点对,同时删除其它特征点对;
计算所述特征点对集合中剩余特征点对之间的欧式距离,统计落入不同距离区间的特征点对数量,在所述特征点对集合中保留数量最多的距离区间中的特征点对,同时删除其它特征点对;
将完成两次筛选时的特征点对集合作为所述候选特征点对集合。
在其中一实施例中,所述斜率区间的取值范围为0.050-0.300。
在其中一实施例中,所述距离区间为两个采样单元。
在其中一实施例中,所述通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数包括:
在所述候选特征点对集合中任意选取三对特征点对,将这三对特征点对作为内点,则所述候选特征点对集合中的其他特征点对为外点;
根据选取出来的三对特征点对进行拟合,得到图像仿射变换函数;
利用所述候选特征点对集合中的所有外点依次对仿射变换函数进行测试,若测试结果符合预设阈值,则将对应的外点转换为内点并保留在所述候选特征点对集合中,若测试结果不符合预设阈值,则将对应的外点从所述候选特征点对集合中删除;
记录所述候选特征点对集合中内点的数量,再从中任意选取三对特征点对进行下一次的迭代计算,直至迭代次数满足预设次数,则将得到最多内点数量所对应的图像仿射变换函数作为优选图像仿射变换函数。
在其中一实施例中,所述根据选取出来的三对特征点对进行拟合,得到图像仿射变换函数包括:
根据选取的特征点对构建坐标矩阵;
通过对所述坐标矩阵进行奇异值分解,得到所述坐标矩阵的最小二乘解;
将所述最小二乘解进行reshape函数处理,得到对应的图像仿射变换函数。
一种针对小孔径序列SAR图像的配准装置,所述装置包括:
SAR图像数据集获取模块,用于获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
多尺度空间金字塔构建模块,用于在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
特征点集合构建模块,用于采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
候选特征点对集合得到模块,用于构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
优选图像仿射变换函数得到模块,用于通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
图像配准模块,用于通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
上述针对小孔径序列SAR图像的配准方法、装置和设备,通过根据预设参数分别构建相邻的两帧SAR图像对应的多尺度空间金字塔,再采用Harris角点检测算法分别提取两个多尺度空间的特征点,再根据两个多尺度空间的特征点构建特征点对,并采用各特征点对之间的斜率以及欧式距离对各特征点对进行筛选,将筛选后剩余的特征点对构建候选特征点对集合,最后利用候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,再采用改进的RANSAC算子得到其中优选图像仿射变换函数,通过优选图像仿射变换函数对两帧相邻的SAR图像进行图像配准。采用本方法可以提高SAR图像的配准率。
附图说明
图1为一个实施例中针对小孔径序列SAR图像的配准方法的流程示意图;
图2为另一个实施例中待配准的小孔径序列图像,其中,(a)表示序列图形的前一幅SAR图像,(b)表示序列图形的后一幅SAR图像;
图3为另一个实施例中配准后SAR图像;
图4为一个实施例中针对小孔径序列SAR图像的配准装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
针对现有技术中在对小孔径序列图像进行配准时,例如,SIFT 算法提取特征点时会存在大量的异常点,而采用SAR-SIFT算法需要进行特征点主方向的分配和特征点,计算过程复杂,计算后得到的特征点对的数量少于构建图像变换矩阵所要求的特征点对数,导致配准失败的问题,如图1所示,提供了一种针对小孔径序列SAR图像的配准方法,包括以下步骤:
步骤S100,获取小孔径序列SAR图像数据集,小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
步骤S110,在小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
步骤S120,采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
步骤S130,构建两个特征点集合之间的特征点对集合,根据各特征点对中两个特征点之间的斜率以及欧式距离对特征点对集合进行筛选,得到候选特征点对集合;
步骤S140,通过利用候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
步骤S150,通过优选图像仿射变换函数对两帧待配准图像进行图像配准。
在本实施例中,进行配准的小孔径序列SAR图像数据实际上是由太赫兹SAR搭乘在空中移动平台对地面目标进行观测得到。而太赫兹SAR具有高帧率、高分辨、多普勒敏感等优势,能对地面静止、运动目标进行成像和跟踪。太赫兹SAR工作频率高(235GHz,DARPA),输出功率小(行波管输出平均功率为50瓦,DARPA),作用距离短(3-10km,DARPA),照射范围窄(孔径小),相邻两帧图像相同照射区域的灰度值变化较大,相邻帧间距离向偏移量小,帧间旋转角小,不需考虑图像的放缩,相邻图像的配准只考虑图像的平移、轻微的旋转以及错切。同时,太赫兹SAR图像也具有强噪声斑点的干扰,在拥有高反射率的静态区域获得幅值非常大的梯度,导致差分梯度出现较大的偏差。
为了减少太赫兹SAR序列图像中强乘性斑点噪声的影响,根据太赫兹序列SAR图像的特点,本方法通过相邻两张SAR图像中特征点之间的斜率和欧式距离,限制特征点对的范围,同时采用改进的RANSAC算子,进一步提出虚假特征点对,以提高特征点对的配准率。
在步骤S100中,小孔径序列SAR图像中包括多帧针对目标获取的一系列SAR图像,在对该序列进行配准后可以得到完整的一幅SAR图像,而相邻的两帧SAR图像中有大部分采样点是重复的,还有一小部分是不同的,通过将前后两帧图像进行配准后可以得到范围更大的SAR图像,也就是将两帧图像进行拼接,之后再将配准后的图像与后一帧图像进行配准直至配准到最后一帧图像,则可以得到完整的SAR图像。
在步骤S110中,在进行图像配准时,一般从第一帧图像开始进行配准,也就是将第一帧图像与第二帧图像进行配准得到配准图像,再将配准图像与第三帧图像进行配准,依次类推。而在本方法中描述的配准过程可为任意一次对两帧图像进行配准的过程,并将进行配准的SAR图像称为待配准图像。
在本实施例中,根据预设参数分别根据两帧待配准图像构建对应的多尺度金字塔。其中预设的参数包括初始层的尺度、尺度比值、层数以及每一层的尺度等。
在步骤S120中,采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点包括:在各多尺度空间金字塔中,采用指数加权平均算子计算每一层尺度空间图像水平方向和垂直方向的梯度比值,根据各梯度比值构建对应层尺度空间图像的Harris函数,根据不同尺度空间的Harris函数分别构建对应两个多尺度空间金字塔的Harris多尺度空间,分别在两个Harris多尺度空间中,将每一层Harris尺度空间中Harris函数极大值在该层尺度空间图像上对应位置的采样点作为特征点。
在本实施例中,将各多尺度空间金字塔中得到的所有的特征点构建对应的特征点集合,例如,相邻两帧图像中在前一帧图像的特征点集合为,则该特征点集合/>中的特征点表示为/>,其中,/>,/>表示/>中的特征点数量,在后一帧图像的特征点集合为/>,则该特征点集合/>中的特征点表示为/>,其中,/>,/>表示/>中的特征点数量。
在步骤S130中,根据特征点集合中每一个特征点分别与特征点集合/>中每一个特征点构建多对特征点对,并由各特征点对构建特征点对集合。由于在该集合中有一些特征点对是虚假的,所以需要进行其从该集合中剔除。在本方法中,通过计算各特征点对之间的斜率和欧式距离将其中的虚假特征点对进行筛除后,得到候选特征点对集合。
在本实施例中,根据各特征点对中两个特征点之间的斜率以及欧式距离对特征点对集合进行筛选,得到候选特征点对集合包括:计算每一个特征点对之间的斜率,统计落入不同斜率区间的特征点对数量,在特征点对集合中保留数量最多的斜率区间中的特征点对,同时删除其它特征点对,计算特征点对集合中剩余特征点对之间的欧式距离,统计落入不同距离区间的特征点对数量,在特征点对集合中保留数量最多的距离区间中的特征点对,同时删除其它特征点对,最后将完成两次筛选时的特征点对集合作为候选特征点对集合。
具体的,计算各特征点对中两个特征点之间的斜率采用以下公式:
(1)
具体的,计算各特征点对中两个特征点之间的欧式距离采用以下公式:
(2)
在本实施例中,斜率区间的取值范围为0.050-0.300。
在本实施例中,距离区间为两个采样单元。
此时,经过两次筛选后得到的候选特征点对集合包括候选特征点集合以及候选特征点集合/>,且两个特征点集合中的特征点数量相等。
在步骤S140中,接着利用改进的RANSAC算子进一步对候选特征点对集合中的特征点对进行筛选,同时拟合得到多个图像仿射变换函数。
具体的,通过利用候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数包括:在候选特征点对集合中任意选取三对特征点对,将这三对特征点对作为内点,则候选特征点对集合中的其他特征点对为外点,根据选取出来的三对特征点对进行拟合,得到图像仿射变换函数,利用候选特征点对集合中的所有外点依次对仿射变换函数进行测试,若测试结果符合预设阈值,则将对应的外点转换为内点并保留在候选特征点对集合中,若测试结果不符合预设阈值,则将对应的外点从候选特征点对集合中删除。记录候选特征点对集合中内点的数量,再从中任意选取三对特征点对进行下一次的迭代计算,直至迭代次数满足预设次数,则将得到最多内点数量所对应的图像仿射变换函数作为优选图像仿射变换函数。
在本实施例中,根据选取出来的三对特征点对进行拟合,得到图像仿射变换函数包括:根据选取的特征点对构建坐标矩阵,通过对坐标矩阵进行奇异值分解,得到坐标矩阵的最小二乘解,将最小二乘解进行reshape函数处理,得到对应的图像仿射变换函数。
具体的,将这三组特征点对的位置坐标通过直接线性变换,将这三组特征点对的关系联系在一起,其中/>为特征点对的坐标矩阵,表示:
;
图像仿射变换矩阵表示为:
;
其中,,候选特征点集合/>以及候选特征点集合/>中的特征点坐标分别表示为/>以及/>。
通过对坐标矩阵作奇异值分解,求取方程的最小二乘解,/>的右奇异向量为/>的解,对/>做reshape函数处理得到仿射变换矩阵/>。
最后,在步骤S150中,通过优选图像仿射变换函数对两帧待配准图像进行图像配准。
在本文中,还根据本方法对实际的远场序列太赫兹SAR图像中的前后两帧图像进行配准,如图2所示,以证明本方法的有效性。在这里需要说明的是,在根据本方法进行实际图像配准时,有一些步骤存在差别,但是这些不同操作步骤均属于本发明保护范围内。其中,图2和图3中,横轴为方位向,纵轴为距离向,单元为频点。
从图2中可以看出,SAR图像的孔径小,能看到太赫兹雷达照射所成图像的大小,且在照射的相同区域,序列图像的灰度值差异较明显。
在配准前,设置初始层的尺度为2,尺度比值,层数为8,Harris函数矩阵参数为0.04、以及Harris函数阈值为0.8、设定迭代次数为800,设定符合参数模型(图像仿射变换矩阵)的阈值为1采样点,斜率区间为0.05,距离区间为2采样点。
对图2中序列SAR图像进行配准:
步骤1:在不同层级的尺度空间下,采用指数加权平均算子,分别求取序列SAR图像水平方向和垂直方向的梯度比;分别通过水平方向和垂直方法的梯度比值,构建序列SAR图像的SAR-Harris函数(也就是上述方法中的Harris函数);不同尺度的SAR-Harris 函数构造了SAR-Harris多尺度空间;
步骤2:在每一层SAR-Harris尺度空间, SAR-Harris函数的极大值所对应的位置作为特征点,分别建立特征点集,前一幅图像的特征点集为,特征点集的特征点/>,其中/>,/>为/>集中特征点数;后一幅图像的特征点集为/>,特征点集的特征点,其中/>,/>为/>集中特征点数;
步骤3-1:在特征点集中任选一特征点,求取与特征点集/>中所有特征点的斜率,即采用公式(1)进行计算;
步骤3-2:遍历特征点集所有特征点,重复步骤3-1;统计落入不同斜率区间的特征点对数,记录特征点对数最多的斜率区间,并记录前后图像特征点集在该斜率区间的特征点集/>,以及特征点对/>,其中/>,特征点集/>以及特征点对/>,其中/>,/>为前后图像当前的特征点对的数目;
步骤3-3:计算前后特征点集,/>内特征点对的距离,采用公式(2)。统计不同点对的距离区间及不同距离区间的特征点对数,选取特征点对数最多的距离区间作为候选距离区间,记录在候选距离区间下的特征点对并组成特征点对集/>以及特征点对,其中/>,特征点对集/>以及特征点对/>,其中/>,其中/>为前后图像的当前特征点对的数目;
步骤4-1:从特征点对集,/>中任选3组特征点对,将这三组特征点对设为内点,这三组特征点对之外的特征点对设为外点;将这三组特征点对的位置坐标通过直接线性变换/>将这三组特征点对的关系联系在一起;
其中,为特征点对的坐标矩阵,表示为/>,/>为图像仿射变换矩阵,/>,/>,/>是/>中特征点的坐标,/>是/>中特征点的坐标;通过对/>作奇异值分解,求取方程的最小二乘解,/>的右奇异向量为/>的解,对/>做reshape函数处理得到/>;
步骤4-2:依次将外点的数据通过该图像仿射变换矩阵进行测试,满足参数模型的阈值要求,将外点转为内点,并记录内点数目以及参数模型;
步骤4-3:迭代次数少于设定值,返回步骤(4-1);若迭代次数等于设定值,将内点数最多的所对应的参数模型为优选参数模型;
步骤5:通过优选的参数模型,对序列图像进行配准。
配准后的图像如图3所示。
配准得到的仿射变换矩阵为:
;
说明小孔径序列SAR图像之间存在这水平方向的平移和垂直方向的错切,缩放和旋转现象不是很严重。
距离区间为两个采样单元,改变斜率区间的范围进行配准。配准点对数以及均方根误差RMSE值如表1所示:
表1
斜率区间为0.050-0.300,正确的特征点对即配准点对均大于3,均能在该区间内实现配准。
上述针对小孔径序列SAR图像的配准方法中,通过对特征点对的限制,在采用改进的RANSAC算法去除虚假的特征点对,能实现对小孔径的、在相同成像区域灰度值较大差异的序列SAR图像进行配准,而且,能得到更多的特征点对和更快的配准速度。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种针对小孔径序列SAR图像的配准装置,包括:SAR图像数据集获取模块200、多尺度空间金字塔构建模块210、特征点集合构建模块220、候选特征点对集合得到模块230、优选图像仿射变换函数得到模块240和图像配准模块250,其中:
SAR图像数据集获取模块200,用于获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
多尺度空间金字塔构建模块210,用于在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
特征点集合构建模块220,用于采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
候选特征点对集合得到模块230,用于构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
优选图像仿射变换函数得到模块240,用于通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
图像配准模块250,用于通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
关于针对小孔径序列SAR图像的配准装置的具体限定可以参见上文中对于针对小孔径序列SAR图像的配准方法的限定,在此不再赘述。上述针对小孔径序列SAR图像的配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种针对小孔径序列SAR图像的配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种针对小孔径序列SAR图像的配准方法,其特征在于,所述方法包括:
获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
构建两个特征点集合之间的特征点对集合,根据各特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
2.根据权利要求1所述的配准方法,其特征在于,所述采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点包括:
在各所述多尺度空间金字塔中,采用指数加权平均算子计算每一层尺度空间图像水平方向和垂直方向的梯度比值;
根据各所述梯度比值构建对应层尺度空间图像的Harris函数,根据不同尺度空间的Harris函数分别构建对应两个多尺度空间金字塔的Harris多尺度空间;
分别在两个Harris多尺度空间中,将每一层Harris尺度空间中Harris函数极大值在该层尺度空间图像上对应位置的采样点作为特征点。
3.根据权利要求2所述的配准方法,其特征在于,所述根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合包括:
计算每一个特征点对之间的斜率,统计落入不同斜率区间的特征点对数量,在所述特征点对集合中保留数量最多的斜率区间中的特征点对,同时删除其它特征点对;
计算所述特征点对集合中剩余特征点对之间的欧式距离,统计落入不同距离区间的特征点对数量,在所述特征点对集合中保留数量最多的距离区间中的特征点对,同时删除其它特征点对;
将完成两次筛选时的特征点对集合作为所述候选特征点对集合。
4.根据权利要求3所述的配准方法,其特征在于,所述斜率区间的取值范围为0.050-0.300。
5.根据权利要求3所述的配准方法,其特征在于,所述距离区间为两个采样单元。
6.根据权利要求3所述的配准方法,其特征在于,所述通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数包括:
在所述候选特征点对集合中任意选取三对特征点对,将这三对特征点对作为内点,则所述候选特征点对集合中的其他特征点对为外点;
根据选取出来的三对特征点对进行拟合,得到图像仿射变换函数;
利用所述候选特征点对集合中的所有外点依次对仿射变换函数进行测试,若测试结果符合预设阈值,则将对应的外点转换为内点并保留在所述候选特征点对集合中,若测试结果不符合预设阈值,则将对应的外点从所述候选特征点对集合中删除;
记录所述候选特征点对集合中内点的数量,再从中任意选取三对特征点对进行下一次的迭代计算,直至迭代次数满足预设次数,则将得到最多内点数量所对应的图像仿射变换函数作为优选图像仿射变换函数。
7.根据权利要求6所述的配准方法,其特征在于,所述根据选取出来的三对特征点对进行拟合,得到图像仿射变换函数包括:
根据选取的特征点对构建坐标矩阵;
通过对所述坐标矩阵进行奇异值分解,得到所述坐标矩阵的最小二乘解;
将所述最小二乘解进行reshape函数处理,得到对应的图像仿射变换函数。
8.一种针对小孔径序列SAR图像的配准装置,其特征在于,所述装置包括:
SAR图像数据集获取模块,用于获取小孔径序列SAR图像数据集,所述小孔径序列SAR图像数据集中包括按时间排序的多帧SAR图像;
多尺度空间金字塔构建模块,用于在所述小孔径序列SAR图像数据集中选取两帧相邻的SAR图像作为待配准图像,并根据预设参数分别构建对应两帧待配准图像的多尺度空间金字塔;
特征点集合构建模块,用于采用Harris角点检测算法分别在两个多尺度空间金字塔中各层尺度空间的选取特征点,并根据选取得到的特征点分别构建对应两帧待配准图像的特征点集合;
候选特征点对集合得到模块,用于构建两个特征点集合之间的特征点对集合,根据各所述特征点对中两个特征点之间的斜率以及欧式距离对所述特征点对集合进行筛选,得到候选特征点对集合;
优选图像仿射变换函数得到模块,用于通过利用所述候选特征点对集合中的特征点对拟合得到多个图像仿射变换函数,并采用改进的RANSAC算子得到其中优选图像仿射变换函数;
图像配准模块,用于通过所述优选图像仿射变换函数对所述两帧待配准图像进行图像配准。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410130536.9A CN117670958A (zh) | 2024-01-31 | 2024-01-31 | 针对小孔径序列sar图像的配准方法、装置和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410130536.9A CN117670958A (zh) | 2024-01-31 | 2024-01-31 | 针对小孔径序列sar图像的配准方法、装置和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117670958A true CN117670958A (zh) | 2024-03-08 |
Family
ID=90075380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410130536.9A Pending CN117670958A (zh) | 2024-01-31 | 2024-01-31 | 针对小孔径序列sar图像的配准方法、装置和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117670958A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9245201B1 (en) * | 2013-03-15 | 2016-01-26 | Excelis Inc. | Method and system for automatic registration of images |
CN106373147A (zh) * | 2016-08-22 | 2017-02-01 | 西安电子科技大学 | 基于改进拉普拉斯多极值抑制的sar图像配准方法 |
CN108510531A (zh) * | 2018-03-26 | 2018-09-07 | 西安电子科技大学 | 基于pcncc和邻域信息的sar图像配准方法 |
CN111340701A (zh) * | 2020-02-24 | 2020-06-26 | 南京航空航天大学 | 一种基于聚类法筛选匹配点的电路板图像拼接方法 |
CN117333522A (zh) * | 2023-10-20 | 2024-01-02 | 南京北斗创新应用科技研究院有限公司 | 一种基于Harris算法的多源影像配准方法及*** |
-
2024
- 2024-01-31 CN CN202410130536.9A patent/CN117670958A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9245201B1 (en) * | 2013-03-15 | 2016-01-26 | Excelis Inc. | Method and system for automatic registration of images |
CN106373147A (zh) * | 2016-08-22 | 2017-02-01 | 西安电子科技大学 | 基于改进拉普拉斯多极值抑制的sar图像配准方法 |
CN108510531A (zh) * | 2018-03-26 | 2018-09-07 | 西安电子科技大学 | 基于pcncc和邻域信息的sar图像配准方法 |
CN111340701A (zh) * | 2020-02-24 | 2020-06-26 | 南京航空航天大学 | 一种基于聚类法筛选匹配点的电路板图像拼接方法 |
CN117333522A (zh) * | 2023-10-20 | 2024-01-02 | 南京北斗创新应用科技研究院有限公司 | 一种基于Harris算法的多源影像配准方法及*** |
Non-Patent Citations (10)
Title |
---|
"基于Wishart梯度和SIFT方法的极化SAR图像配准", 《中国科学:信息科学》, 1 April 2022 (2022-04-01), pages 687 - 699 * |
FLORA DELLINGER等: "SAR-SIFT: A SIFT-Like Algorithm for SAR Images", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, 2 June 2014 (2014-06-02), pages 453 - 466 * |
JULIO ZARAGOZA等: "As-Projective-As-Possible Image Stitching with Moving DLT", 2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 3 October 2013 (2013-10-03), pages 2339 - 2346 * |
代小红: "《基于机器视觉的数字图像处理与识别研究》", 31 March 2012, 成都:西南交通大学出版社, pages: 219 * |
刘志强等: "浅谈 SIFT 算法对 HJ - 1B 影像自动配准研究", 辽宁科技学院学报, 28 February 2019 (2019-02-28), pages 34 - 36 * |
北方工业大学教务处: "创想启动未来 北方工业大学2011年"北京市大学生科学研究与创业行动计划"研究报告论文集", 30 November 2012, 北京:中国发展出版社, pages: 347 - 349 * |
张露: "具有几何约束的SURF算法图像拼接", 齐齐哈尔大学学报(自然科学版), 31 December 2021 (2021-12-31), pages 47 * |
潘博阳等: "基于SIFT和Affinity Propagation的遥感图像配准算法", 信息技术, 4 March 2015 (2015-03-04), pages 27 - 28 * |
王延钊;李彬;崔剑;占必超;: "结合分割和改进SIFT的不同波段SAR图像配准", 现代防御技术, no. 03, 15 June 2018 (2018-06-15), pages 45 - 51 * |
石聪聪等: "一种改进SIFT的SAR与可见光图像配准算法", 《合肥工业大学学报(自然科学版)》, 28 February 2021 (2021-02-28), pages 182 - 187 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132093B (zh) | 高分辨率遥感图像目标检测方法、装置和计算机设备 | |
Jiang et al. | Robust feature matching for remote sensing image registration via linear adaptive filtering | |
CN111797744B (zh) | 一种基于共现滤波算法的多模态遥感图像匹配方法 | |
CN110827332A (zh) | 一种基于卷积神经网络的sar图像的配准方法 | |
Zhou et al. | Nonrigid feature matching for remote sensing images via probabilistic inference with global and local regularizations | |
CN112884820B (zh) | 一种影像初始配准及神经网络的训练方法、装置和设备 | |
CN109872344A (zh) | 图像特征点的跟踪方法、匹配方法和坐标获取方法、装置 | |
CN106295710A (zh) | 基于非几何约束的图像局部特征匹配方法、装置及终端 | |
Tang et al. | Retinal image registration based on robust non-rigid point matching method | |
Soğanlı et al. | Low-rank sparse matrix decomposition for sparsity-driven SAR image reconstruction | |
CN111721283B (zh) | 定位算法的精度检测方法、装置、计算机设备和存储介质 | |
CN116758146A (zh) | 基于图像的无人机集群目标定位方法、装置、设备及介质 | |
US20090129699A1 (en) | Image processing system | |
CN116091998A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
US20230401670A1 (en) | Multi-scale autoencoder generation method, electronic device and readable storage medium | |
CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
CN117670958A (zh) | 针对小孔径序列sar图像的配准方法、装置和设备 | |
CN116597246A (zh) | 模型训练方法、目标检测方法、电子设备及存储介质 | |
CN114359232B (zh) | 一种基于上下文协方差矩阵的图像变化检测方法及装置 | |
CN113670253B (zh) | 空间目标姿态反演方法、装置、计算设备及存储介质 | |
Yu et al. | SAR pixelwise registration via multiscale coherent point drift with iterative residual map minimization | |
Zhou et al. | High precision cross-range scaling and 3D geometry reconstruction of ISAR targets based on geometrical analysis | |
Chen et al. | Mismatch removal for remote sensing images based on non-rigid transformation and local geometrical constraint | |
CN114078245A (zh) | 一种图像处理方法及图像处理装置 | |
CN116485858B (zh) | 基于多尺度跨模态邻域描述子的异源图像配准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |