CN111457930B - 一种利用车载Lidar与无人机联合的高精度测图定位方法 - Google Patents

Abstract

本发明属于空间数据处理和定位技术领域，公开了一种利用车载Lidar与无人机联合的高精度测图定位方法，获取控制面元，对经过初始定向处理的无人机影像进行特征点提取，并在影像之间进行特征匹配，获取无人机影像之间的同名特征点，再利用稳健估计方法对误匹配点进行粗差剔除；将特征面元与无人机影像上的特征点建立起一对多或者一对一的映射关系；通过光束法平差迭代，对无人机影像和相机外参数进一步精化解算，获得高精度的方位元素和参数。本发明具有速度快，精度高，通过外野控制点检核，将绝对定位精度提高到平面5cm，高程10cm以内，为无人机与Lidar联合获取高精度地图提供一种低成本的技术解决方案。

Description

一种利用车载Lidar与无人机联合的高精度测图定位方法

技术领域

本发明属于空间数据处理和定位技术领域，尤其涉及一种利用车载Lidar与无人机联合的高精度测图定位方法。

背景技术

目前，随着5G时代的逐渐到来，使无人驾驶技术的相关技术日益成熟，自动驾驶将逐渐在国家经济社会发展中占据一席之地。而高精度地图作为无人驾驶领域的稀缺资源以及刚需，在整个领域扮演着核心角色，可以帮助汽车预先感知路面复杂信息，如坡度、曲率、航向等，结合智能路径规划，让汽车做出正确决策。因此高精度地图，尤其时高精度道路地图的生产和制作是无人驾驶技术最大的难关和最为重要的环节。

高精度地图制作的必要条件就是对高精度地图所覆盖的地面范围进行相关地理数据的采集与整合，目前国内常用的数据采集方式主要是利用车载lidar对待测区域进行扫描，最后生成点云，并以此为基础，进行高精度地图的制作，在后续描述中，将利用数据采集车以道路为主要对象进行扫描，并经过后续处理的到的点云数据称为车载lidar点云数据。

在测绘领域，尤其是摄影测量领域，无人机作为一个新兴的载体，由于其机动灵活、作业范围广、成本低等特点让无人机测图越来越受到相关从业者的青睐，其应用也日益广泛。

同时，由于无人机测图数据的特点，使得无人机数据与车载lidar点云数据具有良好的互补性，因此，采用无人机测图数据对车载lidar点云数据进行补充可以有效提升数据采集效率和精度，进而简化整个高精度地图制作流程。

由于无人机和测量车是两个不同的测量载体，又由于无可避免的测量误差的存在，无人机数据和车载lidar点云数据往往无法严格对应，达不到高精度地图制作的数据要求，因此，需要将无人机数据与车载lidar点云数据进行处理，变换，使得二者可以在精度要求范围内得到良好的对应，这个过程称之为配准。

由于车载lidar点云数据的主要对象为道路，路面，其主要特点有：①大量数据呈带状分布，在非路面区域存在大量空洞；②存在大量的点云共面的情况，并且拟合出的平面有很强的方向性；③由于道路上有其他车辆的存在，数据采集时间又较长，可能会出现一批需要当作误差剔除的离散点。

由于无人机获得的数据主要是带有位置信息的影像数据，三维采集车所获得的数据为激光点云数据，因此，影像与点云之间的配准问题一直是业内要解决的问题。

现有的解决配准问题的思路主要有两个：①基于语义信息进行影像与点云的配准，②基于点云之间配准进行点云和影像的配准。

基于语义信息的配准主要思路是分别提取出点云和影像上的语义信息，在多数情况下为点云和影像上的一系列特征点，并将点云上的三位特征点与影像上的二位特征点进行对应，并以此作为控制，确定影像的变换参数，从而将二者纳入同一坐标框架下。

基于该思路，主要的技术方法有两个，其一，利用lidar数据强度信息进行配准，主要思路是利用lidar生成的强度影像利用图像处理的方式提取特征点，与无人机影像影像的特征点进行匹配，进而得到对应关系，该方法优点是技术成熟，借鉴了图像处理的思路，缺点是lidar的强度图像往往几何精度较差，最终导致配精度往往也不高。其二，直接利用lidar三维点云数据提取出语义信息，并与影像上的特征点进行匹配，进而完成配准。该方法的优点是精度高，可靠性强，配准时的计算量小，缺点是需要同时获得点云与影像的语义信息，往往需要对图像和点云进行语义分割，这使得在数据的处理难度上提高了一个层次，目前只有在具有典型地物的数据上该方法有较好的效果。而对于无人驾驶所需的高精度地图，主要对象是路面，往往特征不明显，难以进行有效的分割，使得该方法效果并不理想。

基于点云之间配准的主要思路是，利用无人机影像首先进行光束法平差，从而生成稀疏点云，并找到其在lidar点云中的匹配点形成对应关系，确定点云的变换参数，使得两个点云之间的距离之和最小，并以此重新计算出每张影像的外方位元素。

该思路的主要内容是点云间的配准，点云间配准又可以分为刚性配准与非刚性配准，刚性配准最为常用的方法为迭代最邻近法，其主要是通过迭代的方式寻找对应点，然后确定点云间的旋转与平移变换参数，该方法具有精度较高，效果较好的优点，但是它仅仅能够处理刚性变换，无法处理非刚性变换，并且该方法需要一个较好的初值，否则可能难以收敛；非刚性配准技术主要是在刚性配准技术的处理过程之后，将lidar点云作为控制条件，对影像数据进行再次的空三平差，调整每一张影像的外方位元素，从而完成非刚性配准。

该思路的一个重要步骤是点云之间的对应关系的确定，这需要两类点云数据的覆盖对象大致相同，点云密度的数量级大致相当，然而，由影像光束法得到的稀疏点云的点云密度，往往远远小于车载激光lidar点云的点云密度，并且由于二者获取方式的视角问题，无人机影像数据往往只能得到顶面的数据，侧面数据较少，点云整体分布均匀，而车载lidar点云数据则对于侧面数据获取较多，顶面较少，同时又有存在大量非道路区域产生的空洞。使得直接通过两个点云之间寻找出的对应点往往存在大量误匹配现象，从而严重影响配准精度。

通过上述分析，现有技术存在的问题及缺陷为：现有技术中，决配准问题基于语义信息进行影像与点云的配准方案中，lidar的强度图像往往几何精度较差，最终导致配精度往往也不高。需要同时获得点云与影像的语义信息，往往需要对图像和点云进行语义分割，这使得在数据的处理上难度增加。对于所需的高精度地图，往往特征不明显，难以进行有效的分割，使得对图像和点云进行语义分割该效果并不理想。

现有基于点云之间配准进行点云和影像的配准方案中，仅仅能够处理刚性变换，无法处理非刚性变换，并且该方法需要一个较好的初值，否则可能难以收敛；而且在点云之间的对应关系的确定中，由影像光束法得到的稀疏点云的点云密度，往往远远小于车载激光lidar点云的点云密度，并且由于二者获取方式的视角问题，无人机影像数据往往只能得到顶面的数据，侧面数据较少，点云整体分布均匀，而车载lidar点云数据则对于侧面数据获取较多，顶面较少，同时又有存在大量非道路区域产生的空洞。使得直接通过两个点云之间寻找出的对应点往往存在大量误匹配现象，从而严重影响配准精度。

现有的技术中，配准的点云数据和影像数据往往载体相似，视角相同，对于视角相差较大的数据在处理效果上不甚理想。

解决以上问题及缺陷的难度为：相关方法需要具有良好的通用性，简单性，经济性，实用性。对于基于语义信息进行影像与点云的配准方案，最大的缺陷是，语义分割过程中计算量复杂，耗时长，强度图像精度较差的问题。对于基于点云之间配准进行点云和影像的配准方案中，须解决的缺陷是，点云密度严重不匹配，视角差异大，纹理特征重复等。就难度而言，基于点云之间配准进行点云和影像的配准方案中的缺陷相对较易解决。

解决以上问题及缺陷的意义为：使得配准方案具有更加优秀的通用性，简单性，经济性，实用性。

发明内容

为了解决现有技术存在的问题，本发明提供了一种利用车载Lidar与无人机联合的高精度测图定位方法。解决了车载lidar点云数据与无人机数据的配准问题。

本发明是这样实现的，一种利用车载Lidar与无人机联合的高精度测图定位方法，包括：

步骤一，在车载lidar点云数据中提取出具有代表性的特征点集，利用每一个满足上述要求具有代表性的特征点集拟合出路面上的小面元；

步骤二，对每一张无人机影像进行特征点提取，并在影像之间经行特征匹配，获取无人机影像之间的同名特征点，再利用RANSAC的方法对误匹配的特征点进行粗差剔除；

步骤三，在车载lidar点云数据完成小面元提取工作和无人机影像特征点提取与匹配后，将小面元与无人机影像上的特征点建立起一对多或者一对一的映射关系；

步骤四，消除车载激光lidar点云与无人机影像整个测区的刚性形变；

步骤五，在进行完成刚性配准后，对无人机影像内部的形变与错动进行调整，使所述无人机影像内部的形变与错动与车载激光lidar点云进行匹配。

进一步，所述步骤一中，具有代表性的特征点集，包括：

(1)点集中存在某一点P，使得该点集内任意一点Q到P的欧氏距离小于一个特定的阈值；

(2)将整个点云经行语义分割后，该点集内所有点属于同一个语义集合中；

(3)存在一个平面x，使得点集内所有点到该平面的距离分布呈均值为0，方差为σ²的高斯分布，且σ小于某一特定的阈值。

进一步，所述步骤一中，提取特定点集的方法采用种子特征点法加区域增长的方法，具体包括：

1)综合利用点云的几何特征以及强度图像的光学特征提取出多个种子特征点：

2)再利用种子特征点的距离为d的邻域内所有点归为一个点集，完成点集提取；

3)在提取出点集后，采用RANSAC的方法进行平面拟合，得到一系列初始小面元；得到这些初始小面元后，存在多组小面元种子点距离小于阈值，法向量夹角小于阈值，将所述小面元进行合并操作，多次迭代，使最终达到稳定状态。

进一步，所述步骤三中，构建映射关系的方法包括：

i)根据每张影像的初始位置信息以及影像的框幅大小，将车载lidar点云数据上提取的小面元的边缘关键点根据共线方程式，反投到每一张影像上；

ii)根据将无人机影像上反投的关键点按照lidar点云上的连接顺序连接起来，恢复小面元在无人机影像上的投影；

iii)对于每一张影像上的每一个特征点，判断是否落入某个小面元的投影中，落入，则建立起临时的小面元与某些特征点的对应关系；

对于所有影像，某个特征点的所有同名点全部落入同一个小面元在不同影像上的投影中，则建立起该同名特征点对与此小面元的对应关系；

对全部影像的所有与小面元的投影建立临时对关系的特征点，保留能与小面元建立对应关系的同名特征点对，剔除掉其余的特征点，建立小面元与影像上同名特征点对之间的一对多的映射关系；

所述共线方程式为：

该方程式表达物点、像点和投影中心(对像片而言通常是镜头中心)三点位于一条直线的数学关系式，是摄影测量学中最基本的公式之一，具有模型简洁，准确度高，计算量小，适合大规模计算等特点。

进一步，所述步骤四中，刚性配准与粗差剔除的方法包括：

进行前方交会、粗差剔除、欧拉角恢复、更新外参、迭代，直到欧拉角的变化小于阈值为止；

所述前方交会的方法包括：利用每张影像的位置和姿态，利用共线方程式，对每一个与小面元建立映射关系的特征点对求解出所对应的物方点在和车载lidar点云数据相同坐标系下的三维空间坐标；

所述粗差剔除方法包括：a)阈值过滤，对于距离小面元距离大于θ的点，进行剔除，θ满足：θ＝3m_uav，其中m_uav为利用无人机影像GPS精度算出；

b)，利用RANSAC进一步进行粗差剔除；

所述欧拉角恢复的方法包括：利用整个无人机测区的几何中心代替空三点的重心，满足的收敛条件为空三点到小面元的欧式距离之和最小，数学表述为：

其中distance是求出经过旋转变换后的空三点Point_i到对应小面元的距离；设置初值时，将欧拉角的初值在开始迭代时设置为0；其中，利用欧式距离作为代价函数保证了计算的速度与准确性的一种平衡，采用RANSAC方法保证了刚性配准具有很强的鲁棒性，可以从大量的粗差点中估计出高精度的参数，并且收敛性较好。

所述迭代方法包括：对于每一次求解出的欧拉角都会对外参进行一次更新，更新后重新建立映射关系，进行第二次刚性配准，迭代进行至两次迭代求解出的欧拉角的变化小于阈值为止。

进一步，所述步骤五中，利用车载激光lidar数据对每张无人机影像的位置与姿态进行调整，同时对无人机相机的相机参数进行检校。

进一步，所述步骤五具体包括：

(I)光束法区域网平差：以每个光束作为基本平差单元，按照共线条件方程列出误差方程，在全区域内统一进行平差处理，解算出每张影像的外方位元素。其平差单元为单根光线束作为平差基本单元，特征点坐标(x_i，y_i)为平差观测值。满足同名光线相交的地面点坐标(X_t，Y_t，Z_t)坐标相等；对于每一个同名特征点对的每一个特征点，满足：

cost_i，1＝(Δx_i ²+Δy_i ²)

cost₁＝∑cost_i，1

其中整个测区共有n+1张影像；

(II)相机参数检校：在进行光束法区域网平差时，将相机的焦距，成像中心坐标，纳入整个平差***；对于产生畸变影像通过k₀，k₁，k₃，p₀，p₁参数进行描述，如下式所示：

综上两点，结合相机检校参数，式

变为：

最终，优化求解目标变为式：

(III)利用lidar控制：在没有误差下，所有同名特征点对位于对应的小面元所在的有限平面上；按照同名特征点对与小面元总体贴合的最好的方向进行对无人机影像的内外参数调整；采用一种分段方向加权的距离作为代价函数，对于每一个特征点对，代价函数如下式所示：

cost_j，2＝I₀(Δdx_j ²+Δdy_j ²+3Δdz_j ²)+2000I₁(Δdx_j ²+Δdy_j ²+3Δdz_j ²)

其中Δdx_j，Δdy_j，Δdz_j为空三点到对应小面元所在有限平面上的X，Y，Z方向上的距离，I₀，I₁为指示函数，如下式所示：

其中，μ为刚性配准后空三点的中误差。对于测区所有影像而言，代价函数如下式所示：

cost₂＝∑cost_j，2

(IV)整体平差：进行正则化和定权，正则化中，cost₁为像方空间上的距离，cost₂为物方空间上的距离，将cost₂转换为像方空间中，转换方式为：

cost₂′＝cost₂/gsd

其中gsd为地面采样距离，利用下式进行航高与焦距估算；

对cost₁、cost₂赋予不同的权值，整体代价函数式所示：

cost＝P₁cost₁+(P₂cost₂)/gsd

其中P₁，P₂分别为上一次配准后无人机影像的内精度的倒数与lidar点云精度的倒数，整个非刚性配准优化问题为下式所示：

对于每一次求解都会对外参进行一次更新，更新后重新建立映射关系，进行第二次非刚性配准，迭代进行至两次迭代求解出的影像外参的变化小于阈值为止。

本发明的另一目的在于提供一种实施所述利用车载Lidar与无人机联合的高精度测图定位方法的无人机。

本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述利用车载Lidar与无人机联合的高精度测图定位方法。

本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述利用车载Lidar与无人机联合的高精度测图定位方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

由于本发明主要应用对象为道路路面，因此，点云数据上可以非常容易的提取出大量平面，为实现本发明所期望达到的目的，针对路面数据的这一特性，以及真实的数据质量，本发明以车载lidar点云数据以及无人机影像特征点数据作为主要的处理对象，以无人机影像的位置姿态信息作为辅助，采取一种基于小面元语义特征的弱约束配准方法。

本发明针对无人机影像与车载lidar点云数据的特点，设计出适合二者的配准方式，该方法在无人机影像与车载lidar点云配准过程中，具有速度快，精度较高，可以实现非刚性配准的特点，经实验表明，在375张无人机影像与上亿个车载lidar点云配准过程中，利用地面人工控制点测量其外精度在5cm左右，时间在10min之内。

相比于现有技术，本发明的优点进一步包括：在车载点云数据中提取出特征集，获取控制面元；对经过初始定向处理的无人机影像进行特征点提取，并在影像之间进行特征匹配，获取无人机影像之间的同名特征点，再利用稳健估计方法对误匹配点进行粗差剔除；将特征面元与无人机影像上的特征点建立起一对多或者一对一的映射关系；通过光束法平差迭代，对无人机影像和相机外参数进一步精化解算，获得高精度的方位元素和参数，进一步降低车载激光点云与无人机影像整个测区的刚性形变；本发明在无人机影像与车载点云配准过程中，具有速度快，精度高，通过外野控制点检核，可以将绝对定位精度提高到平面5cm，高程10cm以内，为无人机与Lidar联合获取高精度地图提供一种低成本的技术解决方案。

结合实验或试验数据和现有技术对比得到的本发明的效果和优点进一步包括：

本方法相较于基于点云之间配准进行点云和影像的配准方案(方案1如图10)以及纯摄影测量方案(方案2如图11)而言，采用两组数据进行了对比试验，实验区域如图10-11所示。

经配准后制作三维模型外精度如下表所示：

本发明最终三维模型如图12-图13所示。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的利用车载Lidar与无人机联合的高精度测图定位方法流程图。

图2是本发明实施例提供的利用车载Lidar与无人机联合的高精度测图定位方法原理图。

图3是本发明实施例提供的小面元示例图

图4是本发明实施例提供的小面元提取流程图。

图5是本发明实施例提供的影像特征点提取与匹配流程图。

图6是本发明实施例提供的一个小面元对应的不同影像上的特征点对图。

图7是本发明实施例提供的映射关系建立流程图。

图8是本发明实施例提供的刚性配准流程图。

图9是本发明实施例提供的法方程系数阵结构示意图。

图10是本发明实施例提供的现有技术基于点云之间配准进行点云和影像的配准方案1效果图。

图11是本发明实施例提供的现有技术基于点云之间配准进行点云和影像的配准方案中纯摄影测量方案2效果图。

图12是本发明实施例提供的经配准后对图10制作三维模型图。

图13是本发明实施例提供的经配准后对图11制作三维模型图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，将车载lidar数据与无人机影像数据不能纳入同一地理坐标框架下，影像与点云之间的配准差。

针对现有技术存在的问题，本发明提供了一种利用车载Lidar与无人机联合的高精度测图定位方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的利用车载Lidar与无人机联合的高精度测图定位方法。包括：

S101，小面元提取：在车载lidar点云数据中提取出具有代表性的特征点集，利用每一个满足上述要求具有代表性的特征点集拟合出路面上的小面元。

S102，无人机影像特征点提取与匹配：对每一张无人机影像进行特征点提取，并在影像之间经行特征匹配，获取无人机影像之间的同名特征点，再利用RANSAC的方法对误匹配的特征点进行粗差剔除。

S103，构建映射关系：在车载lidar点云数据完成小面元提取工作和无人机影像特征点提取与匹配后，将小面元与无人机影像上的特征点建立起一对多或者一对一的映射关系。

S104，刚性配准与粗差剔除：消除车载激光lidar点云与无人机影像整个测区的刚性形变。

S105，非刚性配准与相机参数检校：在进行完成刚性配准后，对无人机影像内部的形变与错动进行调整，使所述无人机影像内部的形变与错动与车载激光lidar点云进行匹配。

图2是本发明实施例提供的利用车载Lidar与无人机联合的高精度测图定位方法原理图。

步骤S101中，该步骤的主要目的是在车载lidar点云数据中提取出一批具有较为显著代表性的特征点集，每一个点集都具有一下特点：①点集中存在一个点P，使得该点集内任意一点Q到P的欧氏距离小于一个特定的阈值；②将整个点云经行语义分割后，该点集内所有点属于同一个语义集合之中；③存在一个平面x，使得点集内所有点到该平面的距离分布呈均值为0，方差为σ²的高斯分布，且σ小于某一特定的阈值。综上，可以利用每一个满足上述要求的点集拟合出一个平面。若某个点集刚好是所有落入某条道路路面上的点所构成的集合的子集，则可以认为该点集所拟合出的有界平面为实际这条道路的局部，在后续的表述之中，称此类有限平面为该路面上的一个小面元(图3)，同时将所有落入某条道路路面上的点所构成的集合中的任意一点都称之为该道路上的路面点。

提取特定点集的方式采用的是种子特征点法加上区域增长的模式，其主要思想是，若任意一点为某道路上的一个路面点则在其距离为d的邻域范围内出现非路面点的概率为：

其中D为路面宽度，由此可知，当D＞＞d时，p(A|B)＝0，因此在当d小于一定阈值时，可以认为当某一点为路面点时，其距离为d的邻域范围内所有点均为路面点。因此在提取点集时，首先可以综合利用点云的几何特征以及强度图像的光学特征提取出多个种子特征点，之后，再利用种子特征点的距离为d的邻域内所有点归为一个点集，从而完成点集提取工作。在提取出点集之后，采用RANSAC的方法进行平面拟合，从而得到一系列初始小面元。得到这些初始小面元以后，若存在多组小面元种子点距离较近(距离小于阈值)，法向量大致共线(夹角小于阈值)，可以将这些小面元进行合并操作，多次迭代该过程，使得最终达到一个较为稳定的状态。其主要流程图如图4所示。

步骤S102中，该步骤主要是对每一张无人机影像进行特征点提取，并在影像之间经行特征匹配，以找到无人机影像之间的同名特征点，之后利用RANSAC的方法对误匹配的特征点进行粗差剔除，整个流程为摄影测量空三加密中非常成熟的流程，过程如图5所示。

步骤S103中，在车载lidar点云数据上完成小面元提取工作和无人机影像特征点提取与匹配后，需要将小面元与无人机影像上的特征点建立起一个一对多或者一对一的映射关系，其主要方法是，首先，根据每张影像的初始位置信息以及影像的框幅大小，将合适的车载lidar点云数据上提取的小面元的边缘关键点根据共线方程原理(式2)，反投到每一张影像上。其次，根据将无人机影像上反投的关键点按照lidar点云上的连接顺序连接起来，从而恢复小面元在无人机影像上的投影，对于小面元在影像上的投影，在后续表述中，称之为小面元的投影。最后，对于每一张影像上的每一个特征点，判断其是否落入某个小面元的投影之中，如果落入，则建立起一个临时的小面元与某些特征点的对应关系(图6)，同时对于所有影像，若某个特征点的所有同名点全部落入同一个小面元在不同影像上的投影之中，则可以建立起该同名特征点对与此小面元的对应关系，对于全部影像的所有与小面元的投影建立临时对关系的特征点，保留能与小面元建立对应关系的同名特征点对，剔除掉其余的特征点，从而建立小面元与影像上同名特征点对之间的一对多的映射关系。其流程图如图7所示。

步骤S104中，该步骤的主要目的是消除车载激光lidar点云与无人机影像整个测区的刚性形变，主要环节基于刚性配准经典算法——迭代最邻近法(ICP)，主要处理环节有前方交会，粗差剔除，欧拉角恢复，更新外参，整个流程迭代进行，直到欧拉角的变化小于阈值为止，流程图如图8所示。

(4.1)前方交会环节主要过程是利用每张影像的位置和姿态，利用共线方程原理(式2)，对每一个与小面元建立了映射关系的特征点对求解出其所对应的物方点在和车载lidar点云数据相同坐标系下的三维空间坐标，该过程为摄影测量空三加密中非常成熟的过程。对于经过上述过程求解出的空间点，在后续的表述中称为空三点。在没有误差的情况下，空三点一定会严格的位于其对应的小面元所在的有限平面上。

(4.2)粗差剔除环节分为两个步骤，其一，阈值过滤，在实际操作过程中，由于有投影差，或者误匹配等现象的存在，可能使得某些空三点并不位于小面元所在的有限平面上，因此，可以在进行配准之前，对其进行阈值过滤，对于距离小面元距离大于θ的点，可以认为是粗差点，又由于在该环节中，可以把车载lidar点云数据作为真值，因此θ应满足：θ＝3m_uav，其中m_uav为利用无人机影像GPS精度算出。其二，利用RANSAC进一步进行粗差剔除。经过上述两个步骤后，可以认为剩余点对在无误差情况下，应该严格位于小面元上。

(4.3)欧拉角恢复环节主要是基于迭代最邻近法，原本在ICP算法之中，需要对点云进行中心化，但由于空三点云并不完整，点云密度不均，因此利用整个无人机测区的几何中心代替空三点的重心，最终满足的收敛条件是空三点到小面元的欧式距离之和最小，其数学表述如下所示：

其中distance方法是求出经过旋转变换后的空三点Point_i到其对应小面元的距离。在实际操作过程中，由于目前的硬件设备已经可以使得无人机的位置与姿态数据具有相当的精度，因此，在设置初值的时候，可以将欧拉角的初值在开始迭代时设置为0，可以保证其收敛。

(4.4)迭代，上述过程迭代进行，对于每一次求解出的欧拉角都会对外参进行一次更新，更新后需要重新建立映射关系，进行第二次刚性配准，迭代进行至两次迭代求解出的欧拉角的变化小于阈值为止。在实际操作过程之中，一般迭代三到五次可保证收敛。

步骤S105中，该步骤主要是在进行完成刚性配后，对无人机影像内部的形变与错动进行调整，使得其能够与车载激光lidar点云进行匹配，因此主要目的是利用车载激光lidar数据对每张无人机影像的位置与姿态进行调整，并同时对无人机相机的相机参数进行检校，该过程迭代进行，其主要思路是带有控制条件的自检校光束法平差，其法方程系数矩阵为镶边带状矩阵，其结构示意图为图9所示。

(5.1)光束法区域网平差

在光束法区域网平差环节中，以每个光束作为基本平差单元，按照共线条件方程列出误差方程，在全区域内统一进行平差处理，解算出每张影像的外方位元素。其平差单元为单根光线束作为平差基本单元，特征点坐标(x_i，y_i)为平差观测值。满足同名光线相交的地面点坐标(X_t，Y_t，Z_t)坐标相等。对于每一个同名特征点对的每一个特征点，其满足都有

cost_i，1＝(Δx_i ²+Δy_i ²) (8)

cost₁＝∑cost_i，1 (9)

其中整个测区共有n+1张影像。

(5.2)相机检校参数

在实际操作过程中，随着使用次数的增加，相机的焦距以及主点位置都会随之产生变化，从而对于空三结果产生一定的***误差，影响最终配准精度。因此在经行光束法区域网平差时，需要将相机的焦距，成像中心坐标，纳入整个平差***。又由于在无人机影像拍摄时，由于镜头原因，使得影像产生畸变，主要考虑其径向畸变和切向畸变，主要通过k₀，k₁，k₃，p₀，p₁五个参数进行描述，如式(10～13)所示：

综上两点，结合相机检校参数，式(6)变为：

最终，优化求解目标变为式(15)：

(5.3)利用lidar控制

为了将无人机影像数据纳入lidar点云同一坐标框架下，需要利用lidar数据进行控制，在该过程中，本发明利用在刚性配准过程中所建立，优化的小面元-同名特征点对的映射关系对其进行控制，主要思路是，在没有误差的情况下，所有同名特征点对一定会严格的位于其对应的小面元所在的有限平面上。因此，对于无人机影像的内外参数的调整，应该按照同名特征点对与小面元总体贴合的最好的方向进行调整。在设置代价函数时，考虑到，经过刚性配准环节，无人机影像数据的精度已经得到大幅度的提高，因此车载激光lidar数据无法近似当作真值。又由于lidar数据的特点，其深度方向的精度要远远高于其平面方向的精度，对于车载lidar数据，可以近似的认为其深度方向即为高程方向，即Z方向，而对于无人机影像而言，空三点的Z坐标精度要低于平面坐标，一般在3～5倍左右，因此考虑采用一种分段方向加权的距离作为代价函数，对于每一个特征点对，代价函数如式(16)所示：

cost_j，2＝I₀(Δdx_j ²+Δdy_j ²+3Δdz_j ²)+2000I₁(Δdx_j ²+Δdy_j ²+3Δdz_j ²) (16)

其中Δdx_j，Δdy_j，Δdz_j为空三点到对应小面元所在有限平面上的X，Y，Z方向上的距离，I₀，I₁为指示函数，如式(17～18)所示：

其中，μ为刚性配准后空三点的中误差。对于测区所有影像而言，代价函数如式(19)所示：

cost₂＝∑cost_j，2 (19)

(5.4)整体平差

对于整个非刚性平差环节，需要总体考虑两个代价函数，主要工作由两个：正则化和定权，正则化主要是由于cost₁与cost₂单位不同，cost₁主要描述了像方空间上的距离，而cost₂则描述的为物方空间上的距离，因此需要将cost₂转换为像方空间中，转换方式为：

cost₂′＝cost₂/gsd (20)

其中gsd为地面采样距离，利用航高与焦距进行估算(式(21))

又由于车载激光lidar点云精度与无人机影像精度相近但不同，因此需要对二者赋予不同的权值，因此整体代价函数如式(22)所示：

cost＝P₁cost₁+(P₂cost₂)/gsd (22)

其中P₁，P₂分别为上一次配准后无人机影像的内精度的倒数与lidar点云精度的倒数，因此整个非刚性配准优化问题即为式(23)所示：

上述过程迭代进行，对于每一次求解都会对外参进行一次更新，更新后需要重新建立映射关系，进行第二次非刚性配准，迭代进行至两次迭代求解出的影像外参的变化小于阈值为止。在实际操作过程之中，一般迭代一到二次可保证收敛。从而完成整个配准流程。

下面结合具体实验或仿真结果对本发明作进一步描述。

本方法相较于基于点云之间配准进行点云和影像的配准方案(方案1如图10)以及纯摄影测量方案(方案2如图11)而言，采用两组数据进行了对比试验，实验区域如图10-11所示。

经配准后制作三维模型外精度如下表所示：

本发明最终三维模型如图12-图13所示。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本实用新型各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本发明领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种利用车载Lidar与无人机联合的高精度测图定位方法，其特征在于，所述利用车载Lidar与无人机联合的高精度测图定位方法包括：

步骤一，在车载点云数据中提取出具有代表性的特征点集，利用每一个满足要求具有代表性的特征点集拟合出路面上的小面元；

提取特定点集的方式采用的是种子特征点法加上区域增长的模式，若任意一点为某道路上的一个路面点则在距离为d的邻域范围内出现非路面点的概率为：

其中D为路面宽度，当D>>d时，p(A|B)＝0，在当d小于一定阈值时，当某一点为路面点时，距离为d的邻域范围内所有点均为路面点；在提取点集时，首先综合利用点云的几何特征以及强度图像的光学特征提取出多个种子特征点，之后，再利用种子特征点的距离为d的邻域内所有点归为一个点集，从而完成点集提取工作；在提取出点集之后，采用RANSAC的方法进行平面拟合，从而得到一系列初始小面元；得到这些初始小面元以后，若存在多组小面元种子点距离较近，距离小于阈值，法向量大致共线，所述共线夹角小于阈值，则将这些小面元进行合并操作，多次迭代该过程，使得最终达到一个稳定的状态；

步骤二，对每一张无人机影像进行特征点提取，并在影像之间进行特征匹配，获取无人机影像之间的同名特征点，再利用RANSAC的方法对误匹配的特征点进行粗差剔除；

步骤三，在车载点云数据完成小面元提取工作和无人机影像特征点提取与匹配后，将小面元与无人机影像上的特征点建立起一对多或者一对一的映射关系；

步骤四，消除车载点云与无人机影像整个测区的刚性形变；

步骤五，在进行完成刚性配准后，对无人机影像内部的形变与错动进行调整，使所述无人机影像内部的形变与错动与车载点云进行非刚性配准。

2.如权利要求1所述的利用车载Lidar与无人机联合的高精度测图定位方法，其特征在于，所述步骤一中，具有代表性的特征点集，包括：

(1)存在一个点P，使得该点集内任意一点Q到P的欧氏距离小于一个特定的阈值；

(2)将整个点云经行语义分割后，该点集内所有点属于同一个语义集合中；

(3)存在一个平面x，使得点集内所有点到该平面的距离分布呈均值为0，方差为σ²的高斯分布，且σ小于某一特定的阈值。

3.如权利要求1所述的利用车载Lidar与无人机联合的高精度测图定位方法，其特征在于，所述步骤一中，提取特定点集的方法采用种子特征点法加区域增长的方法，具体包括：

1)综合利用点云的几何特征以及强度图像的光学特征提取出多个种子特征点：

2)再利用种子特征点的距离为d的邻域内所有点归为一个点集，完成点集提取；

3)在提取出点集后，采用RANSAC的方法进行平面拟合，得到一系列初始小面元；得到这些初始小面元后，存在多组小面元种子点距离小于阈值，法向量夹角小于阈值，将所述小面元进行合并操作，多次迭代，使最终达到稳定状态。

4.如权利要求1所述的利用车载Lidar与无人机联合的高精度测图定位方法，其特征在于，所述步骤三中，构建映射关系的方法包括：

i)根据每张影像的初始位置信息以及影像的框幅大小，将车载lidar点云数据上提取的小面元的边缘关键点根据共线方程式，反投到每一张影像上；

ii)根据将无人机影像上反投的关键点按照lidar点云上的连接顺序连接起来，恢复小面元在无人机影像上的投影；

iii)对于每一张影像上的每一个特征点，判断是否落入某个小面元的投影中，落入，则建立起临时的小面元与某些特征点的对应关系；

对于所有影像，某个特征点的所有同名点全部落入同一个小面元在不同影像上的投影中，则建立起该同名特征点对与此小面元的对应关系；

对全部影像的所有与小面元的投影建立临时对关系的特征点，保留能与小面元建立对应关系的同名特征点对，剔除掉其余的特征点，建立小面元与影像上同名特征点对之间的一对多的映射关系；

所述共线方程式为：

5.如权利要求1所述的利用车载Lidar与无人机联合的高精度测图定位方法，其特征在于，所述步骤四中，刚性配准与粗差剔除的方法包括：

进行前方交会、粗差剔除、欧拉角恢复、更新外参、迭代，直到欧拉角的变化小于阈值为止；

所述前方交会的方法包括：利用每张影像的位置和姿态，利用共线方程式，对每一个与小面元建立映射关系的特征点对求解出所对应的物方点在和车载lidar点云数据相同坐标系下的三维空间坐标；

所述粗差剔除方法包括：a)阈值过滤，对于距离小面元距离大于θ的点，进行剔除，θ满足：θ＝3m_uav，其中m_uav为利用无人机影像GPS精度算出；

b)，利用RANSAC进一步进行粗差剔除；

所述欧拉角恢复的方法包括：利用整个无人机测区的几何中心代替空三点的重心，满足的收敛条件为空三点到小面元的欧式距离之和最小，数学表述为：

其中distance是求出经过旋转变换后的空三点Point_i到对应小面元的距离；设置初值时，将欧拉角的初值在开始迭代时设置为0；

所述迭代方法包括：对于每一次求解出的欧拉角都会对外参进行一次更新，更新后重新建立映射关系，进行第二次刚性配准，迭代进行至两次迭代求解出的欧拉角的变化小于阈值为止。

6.如权利要求1所述的利用车载Lidar与无人机联合的高精度测图定位方法，其特征在于，所述步骤五中，利用车载激光lidar数据对每张无人机影像的位置与姿态进行调整，同时对无人机相机的相机参数进行检校，并进行迭代。

7.如权利要求6所述的利用车载Lidar与无人机联合的高精度测图定位方法，其特征在于，所述步骤五具体包括：

(I)光束法区域网平差：以每个光束作为基本平差单元，按照共线条件方程列出误差方程，在全区域内统一进行平差处理，解算出每张影像的外方位元素；其平差单元为单根光线束作为平差基本单元，特征点坐标(x_i，y_i)为平差观测值；满足同名光线相交的地面点坐标(X_t,Y_t,Z_t)坐标相等；对于每一个同名特征点对的每一个特征点，满足：

cost_i，1＝(Δx_i ²+Δy_i ²)

cost₁＝∑cost_i，1

其中整个测区共有n+1张影像；

(II)相机参数检校：在经行光束法区域网平差时，将相机的焦距，成像中心坐标，纳入整个平差***；对于产生畸变影像通过k₀，k₁，k₃，p₀，p₁参数进行描述，如下式所示：

综上两点，结合相机检校参数，式

变为：

最终，优化求解目标变为式：

(III)利用lidar控制：采用一种分段方向加权的距离作为代价函数，对于每一个特征点对，代价函数如下式所示：

cost_j，2＝I₀(Δdx_j ²+Δdy_j ²+3Δdz_j ²)+2000I₁(Δdx_j ²+Δdy_j ²+3Δdz_j ²)

其中Δdx_j，Δdy_j，Δdz_j为空三点到对应小面元所在有限平面上的X，Y，Z方向上的距离，I₀，I₁为指示函数，如下式所示：

其中，μ为刚性配准后空三点的中误差。对于测区所有影像而言，代价函数如下式所示：

cost₂＝∑cost_j，2

(IV)整体平差：进行正则化和定权，正则化中，cost₁为像方空间上的距离，cost₂为物方空间上的距离，将cost₂转换为像方空间中，转换方式为：

cost₂′＝cost₂/gsd

其中gsd为地面采样距离，利用下式进行航高与焦距估算；

对cost₁、cost₂赋予不同的权值，整体代价函数式所示：

cost＝P₁cost₁+(P₂cost₂)/gsd

其中P₁，P₂分别为上一次配准后无人机影像的内精度的倒数与lidar点云精度的倒数，整个非刚性配准优化问题为下式所示：

对于每一次求解都会对外参进行一次更新，更新后重新建立映射关系，进行第二次非刚性配准，迭代进行至两次迭代求解出的影像外参的变化小于阈值为止。

8.一种实施权利要求1～7任意一项所述利用车载Lidar与无人机联合的高精度测图定位方法的无人机。

9.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～7任意一项所述利用车载Lidar与无人机联合的高精度测图定位方法。

Images