CN117761695B

CN117761695B - 基于自适应分区sift的多角度sar三维成像方法

Info

Publication number: CN117761695B
Application number: CN202410195654.8A
Authority: CN
Inventors: 向卫; 罗焱高; 邓云凯; 张衡; 杨从瑞; 王龙祥
Original assignee: Aerospace Information Research Institute of CAS
Current assignee: Aerospace Information Research Institute of CAS
Priority date: 2024-02-22
Filing date: 2024-02-22
Publication date: 2024-04-30
Anticipated expiration: 2044-02-22
Also published as: CN117761695A

Abstract

本发明提供一种基于自适应分区SIFT的多角度SAR三维成像方法，属于SAR图像三维成像技术领域，通过对观测场景内的目标进行多角度成像，获得同一目标区域的不同角度SAR图像，并采用多尺度的SIFT对大场景SAR图像进行分区域同名点检测，实现对图像同名点的高效快速配准。最后根据F．Leberl构像方程以及平台参数，实现目标区域高精度三维成像。本发明能够提高匹配检测效率和精确性，同时通过分区成像的方式保证重点区域重建精度。

Description

基于自适应分区SIFT的多角度SAR三维成像方法

技术领域

本发明属于SAR图像三维成像技术领域，具体涉及一种基于自适应分区SIFT的多角度SAR三维成像方法。

背景技术

合成孔径雷达(SAR, Synthetic Aperture Radar)是一种主动式的微波雷达成像***，相比光学或光电等其他成像传感器而言有全天时、全天候、高分辨率成像等优势，是当前远距离对地观测的重要技术手段。同时利用SAR成像技术获得高质量高分辨率的三维场景图像在军事应用和国民经济建设中均具有极为重要的意义，在学术研究、抢险救灾以及商业应用等领域得到了广泛的应用。伴随着SAR理论与技术飞速发展，相继提出了多种SAR成像技术以获取观测场景三维信息，如干涉SAR（Interferometric SAR，InSAR）、层析SAR（Tomographic SAR，TomoSAR）和雷达摄影测量（Radargrammetry）等。其中，雷达摄影测量，也叫做雷达立体测量技术，是利用有着一定视差的两幅图像，通过把同名像点的视差信息代入构像模型的方程组中，从而解算出地面相应点的高度信息的过程。由于所用图像可以是在不同时间段和位置上获取的，对平台与图像的约束低于常用的InSAR与TomoSAR，故该技术与光学摄影测量技术互为补充，在数字摄影测量以及地表高程反演等领域取得了大量的成就。

针对SAR图像同名点测量，常用的有基于灰度等统计的检测方法和基于视觉的多特征匹配方法，也可以利用地面控制点或角反射器并进一步采用仿射变换即可实现具有高鲁棒性的图像匹配。然而，高精度的同名点测量是雷达摄影成像中亟需发展的应用技术之一，会直接影响后续构像方程计算得到的模型精度。因此，针对SAR图像复杂场景同名点高精度检测，需要在SAR成像原理和SAR图像多尺度特征提取算法方面进行深入研究。基于统计的检测方法通常会利用图像的灰度或者梯度信息，在特征空间里通过相关法、互信息法等方法对两个图像的窗口进行匹配，适用于背景比较简单的SAR图像中。基于特征的匹配算法提取的特征基本不受异源灰度变化影响，但由于SAR图像畸变复杂且存在噪声干扰，对图像进行特征提取时，整体匹配效果不理想，且在单一尺度下无法完整描述SAR目标，对于复杂场景直接匹配的结果成像精度与效率并不理想。

在解析立体定位领域，常用的构像方程组有F．Leberl和G．Konency等提出的数学模型以及采用行中心投影的数学模型，F．Leberl模型虽然考虑了传感器外方位元素的变化，需要解算的纠正参数较少，但没有考虑角元素的变化，成像结果会有较大的上下视差；G．Konency模型不仅考虑了传感器外方位元素的变化，而且还考虑到地形起伏的变化，公式形式类似于摄影测量中常用的共线方程，考虑姿态角参数的同时并未带来更好的纠正精度，在缺少较高精度参数初值情况下适应性较差；采用行中心投影的数学模型将雷达图像视为线阵列CCD扫描成像，故对雷达图像进行几何校正的处理必然是近似的。

现有的SAR图像配准算法主要包括基于地面控制点校正的方法、基于统计的检测方法和基于视觉的多特征匹配方法等，还有一些基于神经网络、遗传算法等的特殊匹配方法。在对大区域SAR图像开展同名点检测时，存在的主要缺点分别如下所述：

利用地面控制点或角反射器并进一步采用仿射变换即可实现具有高鲁棒性的图像匹配，虽然能够得到较高的精确度，但其对场景的地面控制点的分布具有较高要求，适用性较差。

基于统计的检测方法中常用的是基于灰度的配准方法，一般会将图像某域的信息如图像的灰度或者是梯度信息直接用于匹配，在特征空间里通过相关法、互信息法等方法对两个图像进行窗口匹配，通常基于遍历的搜索方式进行相似性标准判断。适用于背景比较简单的SAR图像中，且可能对异源图像的匹配效果较差，窗口的遍历匹配会导致计算量较大，效率也相对较低。

基于特征的匹配算法在基准图像和待匹配图像上提取一些公共特征作为匹配基元，如点特征、线特征和面特征，图像间灰度区别对特征的影响较小，通过匹配基元求解图像间的变换参数，实现图像的匹配任务，不同的特征值和特征匹配方法的组合从而提高图像匹配精确度。经典的点特征提取算法：尺度不变特征变换（scale invariacnt featuretransform, SIFT），采用特征描述符对特征点进行描述，利用欧式距离判确匹配点。由于SAR图像畸变复杂且存在噪声干扰，直接根据SIFT算法进行整体匹配效果不理想，且高维描述符运算比较耗时，也需要剔除误匹配点对。所以对于复杂场景，通常在单一尺度下无法完整描述SAR目标，直接采用SIFT匹配的结果成像精度与效率也并不理想。

发明内容

为解决上述技术问题，本发明提供一种基于自适应分区SIFT的多角度SAR三维成像方法，通过对观测场景内的目标进行多角度成像，获得同一目标区域的不同角度SAR图像，并采用多尺度的SIFT对大场景SAR图像进行分区域同名点检测，实现对图像同名点的高效快速配准。最后根据F．Leberl构像方程以及平台参数，实现目标区域高精度三维成像。本发明面向具有一定复杂度的大场景的高效三维成像需求，采用自适应分区SIFT的雷达立体测量方法进行目标场景三维成像。

为达到上述目的，本发明采用如下技术方案：

一种基于自适应分区SIFT的多角度SAR三维成像方法，包括如下步骤：

S1、获取同一区域的多角度SAR图像序列及对应的平台信息，并对所有SAR图像进行筛选匹配得到包含n幅SAR图像的SAR图像序列；

S2、从SAR图像序列中选择两幅SAR图像分别作为主图像与副图像构成初始图像对，采用图像金字塔模型，根据自适应分区SIFT对初始图像对进行配准，得到基于SIFT的粗配准结果和基于互相关的精配准结果，并根据粗配准结果判断是否增加相邻的SAR图像作为副图像进行同样操作，得到至多n-1个主图像对应的图像对组以及对应的配准结果；更换主图像，直至遍历SAR图像序列，得到n幅主图像的配准结果；

S3、对每个主图像的配准结果进行三维成像，通过图像对组中每个图像对的互相关的精配准结果进行三维成像得到主图像对应的稀疏点云集合，并且进行重复同名点校正得到该主图像的最终点云，从而得到SAR图像序列对应的包含n个稠密点云的点云序列；

S4、对目标区域进行划分获得分区，将每个SAR图像的三维点云按照配准结果所在分区进行同样划分，根据点云序列得到每个区域的数字高程模型，从而合并得到更完整和精确的场景点云重建结果。

有益效果：

（1）当前SAR立体测量通常是利用地面控制点的方法实现SAR图像同名点测量，从而通过构像模型进行三维成像，但对未知区域效果较差，或是通过InSAR和TomoSAR的方式实现三维成像，但对平台的要求较高，适用性较差。本发明根据多角度SAR图像之间的共同特征进行目标识别，通过雷达摄影测量进行成像，并针对SAR图像数量较多、目标识别率较低等特点，采用增量式自适应分区SIFT的雷达立体测量方法对多角度SAR图像序列进行处理。针对常规方法无法批量实现复杂大场景的SAR图像多角度匹配问题，本发明提出一种基于SIFT的不同尺度自适应分区匹配方法，实现SAR图像特征点的二维同名点精确提取和目标区域高精度三维成像。

（2）针对目标场景的多角度SAR图像序列范围大、分辨率高、数据量大的问题，采用图像金字塔模式利用多尺度SIFT对大场景SAR图像开展不同分辨率下的特征点提取与筛选，提高匹配检测效率和精确性，同时通过分区成像的方式保证重点区域重建精度。

（3）本发明基于自适应分区SIFT方法，通过多尺度空间的SIFT结果进行分区与仿射矩阵估计，然后通过精配准可实现对多角度SAR图像序列同名点高效精确提取。

（4）本发明基于雷达摄影测量对同名点进行三维成像，并通过基于同名点的点云融合得到目标场景的高精度三维模型。

附图说明

图1为本发明的一种基于自适应分区SIFT的多角度SAR三维成像方法的流程图；

图2 为子孔径SAR图像基于SIFT的部分区域划分结果；

图3 为基于自适应分区SIFT的部分场景重建结果；

图4 为子孔径DEM融合结果。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

可以通过交叉多航线等方式获取目标区域的多角度SAR图像序列，同时记录每个SAR图像对应的平台参数，如坐标、速度以及天线波束视角，从而得到类似于CSAR（圆迹SAR）模式的圆形成像模式。可以根据目标复杂情况适当减少SAR图像序列的角度间隔，两幅SAR图像的视角差通常可以控制在5°，在保证获得更大的成像范围的高分辨率图像的同时较少匹配计算冗余，从而可以实现效率、误差和匹配成功率的折中权衡。

如图1所示，本发明实施例的一种基于自适应分区SIFT的多角度SAR三维成像方法主要包括如下步骤：

步骤S1，主要是利用来自不同时间和角度的平台对同一观测区域进行SAR成像获得SAR原始数据，并根据成像过程中采用的运动补偿方法对平台参数进行同样补偿，从而获得多幅具有一定视角差的SAR图像序列与平台参数，平台参数包括平台距离和视角。按照获取的平台距离和视角对SAR图像进行时空排序，然后按照时空相关性、特征值检查结果以及相似度要求，对所有SAR图像进行依次匹配筛选得到包含n幅SAR图像的序列。

步骤S2，主要是为了提高后续三维成像的精度，将先从SAR图像序列中选择两幅相邻SAR图像分别作为初始图像对的主图像和副图像，采用图像金字塔模型对图像进行多尺度的分区SIFT配对（即图1中的多尺度SIFT），然后利用分区仿射变换和归一化互相关算法完成图像配准。然后不断更换副图像与主图像组成图像对并进行相同操作，得到该主图像的所有图像对组成的图像对组以及对应的所有配准结果。最后选择新的主图像，直到n幅SAR图像都有对应的配准结果。

步骤S3，主要是在步骤S2得到的每幅主图像的图像对组的基础上，依次选择图像对组采用F．Leberl构像方程利用配准结果进行三维成像，得到每个图像对的三维点云。对于每幅主图像会得到至多n-1个稀疏点云集合，通过图像对的同名点检测结果进行相同点的匹配对连接，获得构像方程，对主图像同一点的不同成像结果进行拟合完成点云矫正，得到每幅主图像最终的稀疏点云，并构成SAR图像序列对应的点云序列组成的最终的点云集合。

步骤S4，主要为了提高DEM（数字高程模型）整合的效率，根据S2的分区结果将目标场景进行区域划分，得到划分后的多个区域，将步骤S3获得的SAR图像序列对应的三维点云的序列进行点云聚类，并按照几何区域进行区域划分。然后每个区域的同一像素采用最小二乘法对点云序列中的点进行三维坐标校正，即区域高程平差，最后将所有区域的像素点的高程结果进行整合并按照需求进行插值，进行DEM整合，从而得到最终的目标区域的三维重建结果。

具体地，所述步骤S2进一步包括：

S21、选择SAR图像序列中一对相邻图像作为初始图像对的主图像和副图像，每幅SAR图像用降采样的方式可分为由m个不同分辨率的图像层组成的图像金字塔，根据多尺度SIFT对每层图像依次得到两幅图像间的初步配准结果。

S22、结合不同图像层下SAR图像的初步配准结果，并根据随机抽样一致性(RANSAC,Random Sample Consensus)对匹配点进行初步筛选，从而得到SAR图像对整体的仿射矩阵最优估计和互相关精配准结果。

S23、根据高层图像特征点按照几何距离进行聚类，根据设定的最大区域限制，通常设置临近像素距离为图像尺度的5%，连接距离低于该距离的特征点，从而对两幅图像进行区域划分。按照划分对至少包含10%特征点的区域进行扩大与升采样后，进行多尺度SIFT得到更多的匹配点，得到高精度自适应分区SIFT配准结果，如图2所示。

S24、选择新的副图像与S2中涉及的主图像组成新增图像，执行相同的操作，直到遍历SAR图像序列，最终形成同一主图像的图像对组，并得到主图像对应的配准结果集合。

S25、沿SAR图像序列依次选择新的SAR图像作为主图像，执行S21-S24处理得到n幅主图像对应的n个配准结果集合。

具体的计算模型和方法如下所述：

在保持图像分辨率不变的情况下，对SAR图像进行连续变尺度滤波实现SAR图像多尺度延拓，组成多尺度空间。SAR图像的尺度空间分为若干组，相邻两组之间图像尺寸相差2倍。每组SAR图像分为S层共S+3层图，高斯函数标准差逐层递增，相邻层相差k倍，通常取k=2^1/S，每组倒数第3个图进行0.5倍重采样其作为下一组尺度空间的第一层，依次产生下一组尺度空间。建立SAR图像的尺度空间后，在DoG（高斯差分尺度空间）内检测极值点作为候选特征点。

高斯核是建立尺度空间的线性核，通过方差不断增大的高斯函数与图像卷积，可建立图像的尺度空间表达。其表达式为：

(1)

其中，为高斯尺度空间，/>为原图像，/>为标准差为/>的高斯函数，/>代表卷积运算，（x，y）为图像中像素的坐标。

SIFT通常采用高斯拉普拉斯算子(LoG)检测图像中的目标点，并用高斯差分尺度空间(DoG)近似，在差分尺度空间里检测极值点，相当于在尺度空间里检测拉普拉斯响应的极值点，从而减少计算量。其表达式为：

(2)

其中，为高斯差分尺度空间，/>为拉普拉斯算子。

在得到尺度空间的局部极值点后，通过子像元插值和区边缘效应精化，得到精化关键点。然后通过关键点领域的梯度直方图，生成对应的主方向和局部特征描述子。最后SIFT通过描述子之间的欧式距离完成特征点匹配与初步筛选。

采用RANSAC的方法对两幅SAR图像的匹配点进行筛选，并根据筛选结果对两幅图像的仿射矩阵进行最小二乘估计。即先随机选取k₂个匹配点采用最小二乘法求解未知旋转矩阵，表达式如下：

(3)

其中，为第i、j图像空间下第m个匹配点的齐次坐标轴坐标，上标T表示矩阵的转置。/>表示求使表达式最小的未知旋转矩阵。

采用一定方法得到矩阵估计，然后用估计的仿射矩阵对剩余的匹配点进行筛选，获得仿射矩阵估计，并将符合误差要求的匹配点加入仿射矩阵估计，最终得到筛选后的匹配点，并得到最终的仿射矩阵估计。

采用归一化互相关（Normalized Cross Correlation, NCC）方法对两个方位角的SAR图像进行图像匹配，该方法是一种基于幅度处理的，能够应对辐射差异图像匹配方法。在分区仿射变换后，目标的旋转、尺度差异基本消除，可以采用NCC方法来寻找图像同名点，并计算出同名点的相关系数与偏移量，这些信息可以用于后续三维成像以及点云融合中。NCC推广到二维图像中的表达式为：

(4)

其中，为互相关系数，n为确定常数，/>，v为公式变量；/>，/>分别为图像I₁和图像I₂的图像均值，其中图像均值的定义如公式（5）；

其中：

(5)

和/>分别表示图像中对应坐标处的幅度值，由此可以对参考图像I₁和待匹配图像I₂的相似度进行计算。NCC算法的实现方法为：以参考图像I₁中的一点为中心点的(2n+1)∙(2n+1)滑动窗口进行搜索，同样的在待匹配图像I₂中取(2n+1)∙(2n+1)的滑动窗口，计算两个窗口的相似性，即互相干系数/>。在待匹配图像I₂中，窗口不断移动，并且计算互相关系数，选出互相关系数最大的点作为在参考图像I₁中选定点的匹配点。遍历参考图像I₁中所有的点，重复以上操作得到精配准结果。

具体地，所述步骤S3进一步包括：

S31、对于每幅主图像的图像对组，根据每对图像对的配准结果以及载体的参数，利用F．Leberl构像方程计算出所有匹配点的三维成像结果，得到该图像对的稀疏点云。最终形成同一主图像的图像对组对应的稀疏点云集合；

S32、将主图像的同一点在不同的图像对中成像结果进行标记连接，并进行矫正拟合得到主图像对应的三维点云。遍历所有主图像，得到与n幅图像相对的包含n个三维点云的点云序列，如图3，图4所示。

具体的计算模型和方法如下所述：

采用F．Leberl构像方程根据平台参数对所有匹配点计算出三维坐标，该F．Leberl构像方程是根据雷达图像像点的距离条件和零多普勒条件来表达雷达图像瞬时构像的数学模型，对于斜距显示的图像有：

(6)

其中，为地面点的物方空间坐标，/>为对应时刻雷达天线瞬时位置的物方空间坐标，/>为地面点S在地距显示图像上距离向的坐标，/>为距离向图像比例尺分母，/>为扫描延迟。

当卫星速度矢量与目标相对天线的矢量垂直，此时零多普勒条件为：

(7)

由于每个图像对会进行分区匹配与成像，导致主图像同一点可能由于分区尺度不同导致出现多个定位结果。最终对于主图像某像素点s在多个图像对中得到的k₃个定位结果，m=1,2,…，k₃，通过最小二乘法得到最优定位估计p^s。筛选主图像中有多个定位结果的像素点进行相同操作，计算得到的一系列定位结果作为参考点云，用于求解图像对组中每个三维点云相对其的旋转矩阵。

采用最小二乘法求解未知仿射矩阵，从而得到不同点云相对的参考点云的变换坐标，能够一定程度上降低平台参数误差对三维成像结果的影响。对于主图像i与副图像j组成的图像对得到的三维点云，m₂=1,2,…，k₄，求解相对参考点云/>，m₂=1,2,…，k₄的未知仿射矩阵/>表达式为：

(8)

通过最小二乘选权迭代至误差收敛，并对该主图像的图像对组中所有点云进行校正获得三维点云集合，用校正后的三维点云集合估计新的参考点云并重新进行校正，直到参考点云收敛，作为该主图像的最终三维点云。

综上所述，本发明对SAR图像大区域观测场景目标具有较好的适用性，可实现对大观测场景高效率高精度三维成像。

Claims

1.一种基于自适应分区SIFT的多角度SAR三维成像方法，其特征在于，包括如下步骤：

S2、从SAR图像序列中选择两幅SAR图像分别作为主图像与副图像构成初始图像对，采用图像金字塔模型，根据自适应分区SIFT对初始图像对进行配准，得到基于SIFT的粗配准结果和基于互相关的精配准结果，并根据粗配准结果判断是否增加相邻的SAR图像作为副图像进行同样操作，得到至多n-1个主图像对应的图像对组以及对应的配准结果；更换主图像，直至遍历SAR图像序列，得到n幅主图像的配准结果，包括：

S21、选择两幅SAR图像分别作为主图像与副图像构成初始图像对，每幅SAR图像分为由m个不同分辨率图像层组成的图像金字塔，根据每层图像的SIFT结果得到两幅图像间的初步配准结果，得到粗配准结果；

S22、为获得更多的匹配点，初步提高稀疏点云密度，结合不同尺度下SAR图像进行SIFT匹配，并根据随机抽样一致性对匹配点进行初步筛选从而得到两幅图像的仿射变换，并根据该变换对幅图像进行重采样，然后进行互相关精配准，得到精配准结果；

S23、根据SIFT计算中图像金字塔高层图像的结果分布情况进行特征点聚类，进而对低层图像进行网络区域划分以及升采样，得到多个重点目标分区，同时扩大目标区域保证有足够的特征点，并与副图像的相应区域进一步配准，然后对最终的每个分区进行配准得到更多同名点测量结果；

S24、沿SAR图像序列选择另一幅与主图像邻近且SIFT粗配准点密度高于预设阈值的图像组成新增图像对，执行S21-S23，直到没有新图像能够作为副图像，最终得到主图像的图像对组以及对应的配准结果；

S25、沿SAR图像序列依次选择新的SAR图像作为主图像，执行S21-S24处理n幅多角度SAR图像，得到n幅主图像对应的配准结果；

S4、对目标区域进行划分获得分区，将每个SAR图像的三维点云按照配准结果所在分区进行同样划分，根据点云序列得到每个区域的数字高程模型，从而合并得到更完整和精确的场景点云重建结果，包括：

S41、确定目标场景的区域，并将区域进行划分并确认分辨率；SAR图像序列中所有SAR图像的三维点云构成三维点云序列，将三维点云序列按照目标场景的区域划分到不同点云组中；

S42、对于每个区域，通过最大似然或最小二乘方法计算每个坐标像素的高程；然后将所有区域进行整合，得到最终的稠密点云以及目标的三维模型。

2.根据权利要求1所述的一种基于自适应分区SIFT的多角度SAR三维成像方法，其特征在于，所述S1包括：

S11、对目标区域进行二维成像，并按照成像采用的运动补偿方式进行成像参数的校正，得到SAR图像序列及平台坐标、斜视角；所述成像参数包括平台坐标；

S12、从包含同一区域的SAR图像序列中选取一个SAR图像作为主图像，并将其它图像按照相对主图像的时空关系进行排序；

S13、从主图像开始按照特征值检查结果筛选，保证两个相邻图像对有足够的匹配特征点，同时初步筛选去掉视差小于设定阈值的图像，最终得到具有一定视角差的SAR图像序列。

3.根据权利要求2所述的一种基于自适应分区SIFT的多角度SAR三维成像方法，其特征在于，所述S3包括：

S31、根据图像对组中每个图像对的配准结果以及载体的参数，利用F．Leberl构像方程计算出所有匹配点的三维成像结果，得到图像对的稀疏点云，从而得到每个主图像的图像对组对应的三维稀疏点云集合；

S32、记录主图像的图像对组中同一点的配准结果，将主图像的同一点在不同的图像对中的成像结果进行标记连接，并按照相关性以及三维成像坐标进行拟合校正，得到主图像对应的三维点云。