CN103093459A

CN103093459A - 利用机载LiDAR点云数据辅助影像匹配的方法

Info

Publication number: CN103093459A
Application number: CN2013100033778A
Authority: CN
Inventors: 王慧; 李鹏程; 张勇; 王利勇; 闸旋; 李烁; 刘忠滨; 武海洋; 胡志定
Original assignee: PLA Information Engineering University
Current assignee: PLA Information Engineering University
Priority date: 2013-01-06
Filing date: 2013-01-06
Publication date: 2013-05-08
Anticipated expiration: 2033-01-06
Also published as: CN103093459B

Abstract

本发明涉及一种利用机载LiDAR点云数据辅助影像匹配的方法，获取参考影像、搜索影像和截取的机载LiDAR点云数据,在参考影像上提取特征点作为待匹配点；利用LiDAR点云数据生成对应影像重叠区域的规则化数字表面模型DSM信息；将POS数据转换成参考影像的外方位元素；利用DSM信息与参考影像的外方位元素解算出待匹配特征点对应地面点的物方坐标，再将这些地面点的物方坐标反算到搜索影像上，得到搜索影像上对应匹配点的初始位置；利用相关系数匹配得到最终匹配结果。本方法利用激光点云数据为影像匹配提供良好的物方约束，能够有效避免繁琐的搜索策略并达到影像匹配的目的，是一种匹配成功率高、消耗时间短的高效影像匹配方法。

Description

利用机载LiDAR点云数据辅助影像匹配的方法

技术领域

本发明属于摄影测量与遥感领域，涉及遥感影像匹配与机载激光雷达LiDAR测量技术，尤其涉及利用机载LiDAR点云数据辅助影像匹配的方法。

背景技术

遥感影像匹配是摄影测量研究领域的热点与难点问题，它广泛应用于立体像对的相对定向、遥感影像配准、DEM（数字高程模型）生成及遥感影像拼接等方面。它定义为在两张或多张数字影像的要素之间自动建立对应关系，这些影像是对同一场景在不同位置和不同时刻获取的，要素可以是数字影像中的点，或者是提取的其他特征。现有的匹配方法都必须采用繁琐的搜索策略以获取搜索影像上相应的匹配点位，常用的搜索策略有核线几何约束条件与金字塔多级搜索策略。

随着传感器的发展，多种传感器协同作业的方式为摄影测量提供了新的解决方案。机载LiDAR技术是指一种高度集成激光测距、动态GPS差分以及惯性导航姿态测定的技术。其中，激光测距用于测量激光雷达信号发射参考点到地面激光脚点之间的距离；动态差分GPS用于确定激光雷达信号发射参考点的空间位置；惯性导航用于测定扫描装置的主光轴姿态参数。通过这三者同步、协调的工作，实现了对地面目标三维坐标的直接获取。相比航空摄影测量，它是主动式测量方式、时效性强、激光脉冲穿透能力强、作业效率高、生产成本低。机载LiDAR技术实现了对摄影测量的重要补充，目前，机载LiDAR辅助影像匹配技术的研究急需开展。

发明内容

本发明的目的是提供一种利用机载LiDAR点云数据辅助影像匹配的方法，以解决现有影像匹配方法中繁琐的搜索问题。

为实现上述目的，本发明的方案是：一种利用机载LiDAR点云数据辅助影像匹配的方法，包括如下步骤：

（1）获取参考影像和搜索影像，所述参考影像和搜索影像为一组影像对，在所述影像对的重叠区域内截取机载LiDAR点云数据。

（2）在参考影像上提取特征点作为影像匹配的待匹配点；

（3）利用LiDAR点云数据生成对应所述影像对重叠区域的规则化数字表面模型DSM；

（4）将POS***获取的载***置与姿态信息转换成参考影像和搜索影像的外方位元素；

（5）解算出搜索影像上与所述参考影像待匹配点相对应的点的初始位置；

（6）根据步骤（5）解算出的搜索影像上对应待匹配点的初始位置，进行相关系数匹配，得到最终匹配结果。

进一步地，步骤（2）是利用Harris算子对参考影像进行特征点的提取。

进一步地，步骤（3）首先对机载LiDAR点云数据进行粗差剔除，再对点云数据进行规则格网化处理。

进一步地，步骤（5）中解算搜索影像上对应待匹配点的初始位置的方法为：

首先利用DSM信息与参考影像的外方位元素解算出每个待匹配点对应的地面点坐标，然后将这些地面点坐标反算到搜索影像上，根据搜索影像的外方位元素以及地面点与搜索影像上像点共线的关系，最终得到搜索影像上对应待匹配点的初始位置；

本发明的利用机载LiDAR点云数据辅助影像匹配的方法，利用激光点云数据为影像匹配提供良好的物方约束，能够有效避免繁琐的搜索策略并达到影像匹配的目的，是一种匹配成功率高、消耗时间短的高效影像匹配方法。

附图说明

图1是本发明方法的基本匹配原理图；

图2a是测区实验数据显示的参考影像；

图2b是测区实验数据显示的截取的机载LiDAR点云数据

图2c是测区实验数据显示的搜索影像；

图3是特征点提取图；

图4a为样本1解算初始点位时，参考影像上利用Harris算子提取的特征点；

图4b为样本1解算初始点位时，参考影像上的角点反算到搜索影像上匹配点的初始点位；

图5a是样本2解算初始点位时，参考影像上利用Harris算子提取的特征点；

图5b是样本2解算初始点位时，参考影像上的角点反算到搜索影像上匹配点的初始点位；

图6a是样本1相关系数匹配时，样本1区域中提取的Harris角点；

图6b是样本1相关系数匹配时，相应的匹配点位；

图7a是样本2相关系数匹配时，样本2区域中提取的Harris角点；

图7b是是样本2相关系数匹配时，相应的匹配点位

图8a和图8b是视差方案在样本1的匹配结果图；

图9a和图9b是视差方案在样本2的匹配结果图。

具体实施方式

利用机载LiDAR点云数据辅助影像匹配的方法的基本思想如图1所示，1为参考影像，2为搜索影像，3为数字表面模型（DSM），首先在参考影像上提取特征点作为待匹配点，利用LiDAR点云数据生成对应影像重叠区域的DSM，并将POS数据转换成CCD影像的外方位元素，结合参考影像的外方位元素依据单片测图原理解算出每个待匹配特征点所对应的地面点坐标，再结合搜索影像的外方位元素及根据地面点与搜索影像上像点的共线关系，得到搜索影像上对应待匹配点的初始位置，最后利用相关系数匹配得到最终匹配结果。

该方法的关键步骤包括利用机载LiDAR点云数据生成DSM、特征点提取、POS转换外方位元素、解算搜索影像上匹配点的初始位置以及相关系数匹配。具体步骤如下：

1）DSM的生成

机载LiDAR测量***获取的是离散、不规则并且分布密集的激光点云数据，它本身就是DSM的一种表达方式，然而，这种离散的数据结构给后续的应用带来不便并且点云数据中往往存在粗差，因此，应首先进行粗差剔除，然后对点云数据进行规则格网化处理。生成规则DSM的公式如式(1)所示：

(1)

其中，

为格网行列坐标；为原始点云平面坐标；

分别是点云中横坐标与纵坐标的最小值；c为采样间距；m为常数，表示采样间距的倍数；n为单位面积内脚点数目。

对格网做内插处理时，若格网内包含多个离散点，将格网点的高程取这些离散点中高程最小值；若格网内没有离散点，采用最邻近内插法，将该格网点的高程取最邻近离散点的高程值。

2）特征点提取

利用Harris算子对参考影像进行点特征提取，并将这些特征点作为影像匹配的待匹配点。Harris算子的原理是：在角点处，图像的灰度梯度不连续，并且在角点邻近的区域内，梯度存在两个或两个以上的不同值。

Harris算子的公式只涉及图像的一阶导数，它通过计算每个像素点分别在横向与纵向的一阶导数以及两者之积获得3幅新图像。再对3幅图像进行高斯滤波，按照式(2)与式(3)计算原图像上每个点的兴趣值。

Figure 2013100033778100002DEST_PATH_IMAGE005

其中，M为图像像元的灰度协方差矩阵；I(x,y)图像像元灰度值；

Figure 2013100033778100002DEST_PATH_IMAGE007

与

Figure 2013100033778100002DEST_PATH_IMAGE009

分别是原图像在和方向的梯度；G(s)为高斯模板；

Figure 2013100033778100002DEST_PATH_IMAGE011

与

Figure 2013100033778100002DEST_PATH_IMAGE013

分别为矩阵的行列式与迹；k为常数，一般取0.04~0.06；R为原图像相应点的兴趣值，当超过给定阈值时，将该点标记为角点。

3) POS转换外方位元素

POS包括GPS接收机和惯性测量单元（IMU，Inertial Measurement Unit）两个部分，亦称GPS/IMU集成***。GPS定位结果与IMU数据通过Kalman滤波可以得到高精度的导航结果，包括IMU中心的WGS84大地坐标以及航偏（Heading）、俯仰（Pitch）和侧滚角（Roll）等信息。然后将这些位置与姿态信息转换为影像的外方位元素。

4）解算初始点位

解算初始点位是指解算搜索影像上与参考影像待匹配特征点相对应的点之初始位置，它首先利用DSM信息与参考影像的外方位元素求解待匹配特征点对应地面点的物方坐标，再将这些地面点的物方坐标反算到搜索影像上，从而找到匹配点的初始位置。

求解物方坐标的原理依据的是单片测图原理，它利用成像时的投影光线与地球表面相交来确定地面目标点的空间位置。地面目标点坐标与对应参考影像上待匹配特征点的像点坐标之间的关系如式(4)所示：

Figure 2013100033778100002DEST_PATH_IMAGE015

(4)

其中，(Xs,Ys,Zs)为摄站坐标；f为焦距；a_i,b_i,c_i(i=1,2,3)是由外方位角元素组成的旋转矩阵的方向余弦。

当利用待匹配特征点的像坐标求解对应地面目标点的物方坐标时，是由2个方程答解3个未知数，因此求解过程应是一个迭代过程。首先给定一个初始值，取DSM中最大值与最小值的平均值，代入式(4)中求得平面坐标(X,Y)，根据此平面位置在DSM中内插计算出对应Z坐标值，再由它计算出新的平面坐标。计算前后两次的平面坐标之差

Figure 2013100033778100002DEST_PATH_IMAGE017

，如果坐标差绝对值均小于限差，则认为求解的(X,Y,Z)即为目标点的地面坐标，如果大于限差，则重复以上步骤直至平面坐标差的绝对值小于限差时停止迭代。

得到对应目标点的物方坐标后，根据它与搜索影像像点的共线关系可以很容易求得匹配点的初始位置，如果在理想情况下，直接求解得到的初始点位就已经十分精确，不需要做进一步处理，然而POS数据转为外方位元素与LiDAR点云数据生成DSM时产生的误差以及地物存在的投影误差使得初始点位相对精确位置稍有偏离，但它也为后续的匹配提供了良好的初始位置。

5）相关系数匹配

相关系数匹配是以相关系数为相似性测度的灰度匹配方法。相关系数是标准化的协方差函数，它的几何意义是目标向量与搜索向量的夹角越小越相似。本方案利用相关系数匹配的原因是其原理简单，处理速度快并且算法成熟，在解算出搜索影像上待匹配点的初始点位后，利用相关系数匹配能够得到最终匹配结果。除此之外，它还能够验证机载LiDAR点云数据辅助影像匹配方案的可行性与有效性。

为验证本方法是否能达到预期效果，特做以下实验。实验数据为1个测区的影像对与相应重叠区域的机载LiDAR点云数据，如图2a、2b和2c所示。

首先是本方法各步骤的处理结果与分析：

1）DSM的生成

由机载LiDAR点云数据生成的规则化DSM信息如表1所示，其中，

Figure 2013100033778100002DEST_PATH_IMAGE019

为DSM左下角的平面坐标；为DSM右上角的平面坐标；

Figure 2013100033778100002DEST_PATH_IMAGE023

分别为DSM中高程最小值与最大值。

2) 特征点提取

图3给出了利用Harris算子在参考影像上提取的角点，这里只显示对应DSM范围内的角点，因为范围外的角点不是待匹配点并且无法引导到搜索影像上。由于角点覆盖面积大并且分布密集，不便于整体分析，因此，选取图3中白方框内的局部区域作为本次实验的样本进行放大，图中，4为样本1，5为样本2，后续各步骤的实验结果与效果评价都基于样本进行。

3) 解算初始点位

图4a、图4b与图5a、图5b分别为样本1与样本2的解算初始点位示意图，其中图4a和图5a均为参考影像上利用Harris算子提取的特征点，图4b与图5b均为由参考影像上的角点反算到搜索影像上匹配点的初始点位，其中机载LiDAR点云数据生成的规则DSM起到连接作用。可以看出，由机载LiDAR点云数据引导的初始点位比较接近匹配点的准确位置，它为后续的相关系数匹配提供了良好的初值。

4) 相关系数匹配

将解算的初始点位作为待匹配点共轭位置的近似值进行相关系数匹配，图6a、图6b与图7a、图7b分别为样本1和样本2的相关系数匹配结果。图6a和图7a为样本区域中提取的Harris角点，图6b和图7b为相应的匹配点位。经比较可知，相关系数匹配将搜索影像上的初始点位转到更为精确的匹配点位，它能够达到这样的效果也说明了机载LiDAR点云数据有效辅助了初始点位的解算。

对比实验：

为进一步验证利用机载LiDAR点云数据辅助影像匹配方法的优越性，将此方法与利用视差的匹配方法进行对比实验。利用视差的匹配方法首先在参考影像上提取Harris角点，再根据视差计算各个角点在搜索影像上对应的初始点位，然后在此基础上进行相关系数匹配得到最终匹配结果。实验对两种方法的匹配成功率与消耗时间进行比较。

1) 匹配成功率

客观比较两种方案的匹配成功率需设定相同的匹配条件，即搜索窗口的尺寸一致。当搜索窗口的尺寸一致时，两种方法中的相关系数匹配消耗时间近似，其匹配效果的好坏取决于初始点位与待匹配点共轭位置的近似程度。

表2统计了两种方案匹配所消耗的时间，由于搜索窗口尺寸一致，两种方法中相关系数匹配所消耗的时间非常近似，在此基础上能够客观地比较它们的匹配成功率。经统计，本方法的匹配成功率如表3所示，图8与图9分别为视差方案在样本1与样本2的匹配结果。可以看出，本方法的匹配成功率高，而视差方法的匹配成功率很低（不足30%），说明机载LiDAR点云数据的引导相比视差方案能够得到更加近似的待匹配点共轭位置，从而得到可靠的匹配结果。

Figure 2013100033778100002DEST_PATH_IMAGE027

2) 消耗时间

视差方法增大搜索窗口尺寸能够得到与本方法近似的匹配结果，然而，其消耗的时间会显著增加，表4给出了视差方法增大搜索窗口尺寸后与本方法匹配成功率的比较。

两种方法此时的匹配成功率相当，因此，下面通过比较它们的匹配处理时间来验证本方法是否具有更高的匹配效率，如表5所示。本方法匹配所消耗的时间约为视差方案的1/3，证明本方法匹配效率更高，这归功于机载LiDAR点云数据的引导。匹配成功率与消耗时间的对比实验证明，利用机载LiDAR点云数据辅助影像匹配是一种可靠、高效的影像匹配方法，具有一定的实用价值。

Figure 2013100033778100002DEST_PATH_IMAGE031

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种利用机载LiDAR点云数据辅助影像匹配的方法，其特征在于，该方法的步骤如下：

（2）在参考影像上提取特征点作为影像匹配的待匹配点；

2.根据权利要求1所述的方法，其特征在于：所述步骤（2）是利用Harris算子对参考影像进行特征点的提取。

3.根据权利要求1或2所述的方法，其特征在于：所述步骤（3）首先对机载LiDAR点云数据进行粗差剔除，再对点云数据进行规则格网化处理。

4.根据权利要求1所述的方法，其特征在于：步骤（5）中解算搜索影像上对应待匹配点的初始位置的方法为：

首先利用DSM信息与参考影像的外方位元素解算出每个待匹配点对应的地面点坐标，然后将这些地面点坐标反算到搜索影像上，根据搜索影像的外方位元素以及地面点与搜索影像上像点共线的关系，最终得到搜索影像上对应待匹配点的初始位置。