CN112465849A - 一种无人机激光点云与序列影像的配准方法 - Google Patents

一种无人机激光点云与序列影像的配准方法 Download PDF

Info

Publication number
CN112465849A
CN112465849A CN202011367372.XA CN202011367372A CN112465849A CN 112465849 A CN112465849 A CN 112465849A CN 202011367372 A CN202011367372 A CN 202011367372A CN 112465849 A CN112465849 A CN 112465849A
Authority
CN
China
Prior art keywords
registration
image
point cloud
building
primitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011367372.XA
Other languages
English (en)
Other versions
CN112465849B (zh
Inventor
陈驰
杨必胜
张云菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011367372.XA priority Critical patent/CN112465849B/zh
Publication of CN112465849A publication Critical patent/CN112465849A/zh
Application granted granted Critical
Publication of CN112465849B publication Critical patent/CN112465849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于遥感技术领域，公开了一种无人机激光点云与序列影像的配准方法，以无人机MMS成像数据为研究对象，针对其数据特点，制定两步法配准模型应用策略，具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法，完成无人机MMS成像数据的配准与融合。本发明能够提高无人机MMS成像数据的可用性。

Description

一种无人机激光点云与序列影像的配准方法
技术领域
本发明涉及遥感技术领域，尤其涉及一种无人机激光点云与序列影像的配准方法。
背景技术
无人机移动测量***实现了中低空遥感数据的覆盖，是传统摄影测量与遥感手段的有效补充，提供了包括高分辨率LiDAR点云、航空影像等多种对地观测数据，在高精度地图构建、森林生物量估计、电力巡检等方面得到广泛应用。无人机平台由于载荷与成本的限制，携带轻小型或无POS***，直接地理定向数据精度有限或无直接地理定向数据。无人机移动测量多在无地面控制点条件下进行数据采集，少有地面控制场对LiDAR点云与影像数据成果进行精度控制。同时，移动测量***多传感器数据之间存在固有的配准误差，直接导致无人机MMS采集的LiDAR点云数据与序列影像之间不能直接配准融合，只能单源使用，进而降低无人机MMS成像数据的可用性。
发明内容
本发明针对现有技术的不足，通过提供一种无人机激光点云与序列影像的配准方法。
本发明提供一种无人机激光点云与序列影像的配准方法，包括以下步骤：
步骤1、获取无人机采集的LiDAR激光点云、序列影像，基于所述序列影像生成MVS影像密集点云；
步骤2、在所述LiDAR激光点云中进行建筑物屋顶提取，得到第一轮廓提取信息；在所述MVS影像密集点云中进行建筑物屋顶提取，得到第二轮廓提取信息；
步骤3、基于所述第一轮廓提取信息构建第一配准基元图，并得到第一配准基元图集合；基于所述第二轮廓提取信息构建第二配准基元图，并得到第二配准基元图集合；对所述第一配准基元图集合、所述第二配准基元图集合进行匹配，得到共轭配准基元对；
步骤4、根据所述共轭配准基元对，解算粗配准模型，获得无人机摄影测量坐标系与LiDAR参考坐标系之间的空间坐标转换关系；
步骤5、基于所述空间坐标转换关系，实现所述MVS影像密集点云与所述LiDAR激光点云的配准。
优选的，所述步骤1的具体实现方式为：获取所述序列影像后，通过运动结构恢复SfM方法恢复标定相机采集的所述序列影像在无人机摄影测量坐标系中的外方位元素，通过多视立体匹配的方法由所述序列影像生成所述MVS影像密集点云。
优选的，所述步骤2中，采用标记点过程的方法实现在所述LiDAR激光点云中进行建筑物屋顶的提取，得到初步提取轮廓；使用迭代最小外包矩形RMBR算法对所述初步提取轮廓进行规则化，得到所述第一轮廓提取信息。
优选的，所述步骤2中，在所述MVS影像密集点云中进行建筑物屋顶提取时，在有POS数据的情况下，选取粗配准模型为2D-3D共线方程配准模型，使用所述第一轮廓提取信息对所述MVS影像密集点云上的建筑物配准基元提取进行引导，将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将提取到的建筑物外框反投影到所有影像上，将有完整建筑物反投影外框的影像记为关键帧，参入2D-3D粗配准模型解算，得到所述第二轮廓提取信息；
在所述MVS影像密集点云中进行建筑物屋顶提取时，在无POS数据的情况下，通过在所述MVS影像密集点云中进行建筑物MVS影像点云分割、外轮廓提取、规则化处理，得到所述第二轮廓提取信息。
优选的，所述步骤3中，所述第一轮廓提取信息、所述第二轮廓提取信息中均包括提取到的建筑物外多边形，将提取到的建筑物外多边形的中心作为图节点，采用建筑物屋顶作为建筑物配准基元，对提取到的建筑物配准基元构建配准基元图；
匹配配准基元图时，首先通过核三角形的匹配，检测所述第一配准基元图和所述第二配准基元图之间的局部相似性，然后使用GED衡量所述第一配准基元图和所述第二配准基元图之间的全局相似性；结合局部相似性和全局相似性的结果，实现最优配准基元图匹配，得到所述共轭配准基元对。
优选的，所述步骤4中，所述粗配准模型为2D-3D共线方程配准模型时，解算粗配准模型包括：
使用规则化后的建筑物外多边形角点解算2D-3D共线方程配准模型；将有完整建筑物反投影外框的影像记为关键帧，令关键帧中一个建筑物外多边形角点为m＝(u,v,f)T，其对应的建筑物角点在LiDAR激光点云数据中的坐标为Mlas＝(X,Y,Z)T，则两角点之间的共线关系表述为：
spnpm＝A[Rpnp|tpnp]Mlas
其中，A为相机内参数矩阵，spnp为比例参数，Rpnp、tpnp组成相机的外参数矩阵。
优选的，所述步骤4中，所述粗配准模型为3D-3D模型时，解算粗配准模型包括：
MVS影像点云中进行建筑物配准基元提取，进而使用配准基元图与LiDAR激光点云中的配准基元进行匹配，对应3D-3D的空间相似变换配准几何模型，使用3D共轭的规则化后的建筑物外多边形的角点对作为控制点，解算三维空间相似变换；令在无人机摄影测量坐标系Cmvs中的规则化后的建筑物外多边形角点为Mmvs，其对应的建筑物角点在LiDAR参考坐标系Cw中的坐标为Mlas，则两角点之间的转换关系定义为：
Mlas＝λRMmvs+T；
其中，λ、R、T分别为坐标转换过程中的尺度、旋转与平移参数。
优选的，所述步骤5中，将粗配准解算获得的空间坐标转换关系作为初始值，使用变种ICP算法，实现所述MVS影像密集点云与所述LiDAR激光点云之间的最优配准，获得序列影像的精确配准参数。
优选的，所述无人机激光点云与序列影像的配准方法还包括：步骤6、基于配准的所述LiDAR激光点云与所述序列影像数据集，构建数据融合成果。
优选的，所述数据融合成果包括彩色激光点云生成、真正射影像。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在发明中，获取无人机采集的LiDAR激光点云、序列影像，基于所述序列影像生成MVS影像密集点云；在LiDAR激光点云中进行建筑物屋顶提取，得到第一轮廓提取信息；在MVS影像密集点云中进行建筑物屋顶提取，得到第二轮廓提取信息；基于第一轮廓提取信息构建第一配准基元图，并得到第一配准基元图集合；基于第二轮廓提取信息构建第二配准基元图，并得到第二配准基元图集合；对第一配准基元图集合、第二配准基元图集合进行匹配，得到共轭配准基元对；根据共轭配准基元对，解算粗配准模型，获得无人机摄影测量坐标系与LiDAR参考坐标系之间的空间坐标转换关系；基于空间坐标转换关系，实现MVS影像密集点云与LiDAR激光点云的配准。本发明以无人机MMS成像数据为研究对象，针对其数据特点，制定两步法配准模型应用策略，具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法，完成无人机MMS成像数据的配准与融合，提高了无人机MMS成像数据的可用性。
附图说明
图1是本发明实施例提供的一种无人机激光点云与序列影像的配准方法的流程图；
图2是本发明实施例的无人机MMS序列影像数据生成的MVS影像密集点云的示意图；
图3是本发明实施例的LiDAR激光点云数据配准基元的提取示意图；3(a)为LiDAR激光点云，3(b)为提取到的建筑物点云，3(c)为规则化后得到的建筑物轮廓；
图4是本发明实施例的变化步长自适应变化示意图；
图5是本发明实施例的张量梯度方向统计图；5(a)为矩形房屋张量梯度方向统计图，5(b)为L形房屋张量梯度方向统计图；
图6是本发明实施例的区域内的建筑物轮廓检测过程图；6(a)为R3区域，6(b)为显著性分割，6(c)为轮廓提取，6(d)为规则化处理；
图7是本发明实施例的MVS影像密集点云数据中的配准基元提取的示意图；7(a)为MVS影像密集点云，7(b)为MVS建筑物点云，7(c)为规则化建筑物轮廓；
图8是本发明实施例的配准基元图构建的示意图；8(a)为序列影像(MVS影像密集点云)配准基元图的生成示意图，8(b)为LiDAR激光点云配准基元图的生成示意图；
图9是本发明实施例的局部相似度高、全局相似度低的非最优匹配示意图；
图10是本发明实施例的不进行遮挡检测所产生的Double-Mapping图；10(a)为Double-Mapping成因，为10(b)为DSM正射纠正中的Double-Mapping，10(c)为无人机点云赋色中的Double-Mapping；
图11是本发明实施例的遮挡检测后的点云赋色图；11(a)为赋色影像，11(b)为HPR可视区域，11(c)为闭操作后的可视区域，11(d)为点云赋色。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供了一种无人机激光点云与序列影像的配准方法，如图1所示，包括以下步骤：
步骤1，获取无人机采集的LiDAR激光点云、序列影像，基于所述序列影像生成MVS影像密集点云，即MVS密集影像点云生成。
SfM(Structure from Motion，运动结构恢复)是一种自序列运动影像中获取物方三维结构与相机参数的手段，包括同名点匹配、相对定向求解、光束法平差等一系列子过程。SfM与传统摄影测量中同名点量测、相对定向、空中三角测量等流程具有高度的一致性，是摄影测量中相机参数与物方结构恢复过程在计算机视觉领域中的别称。本发明使用增量光束法平差(Incremental Spare-bundle Adjustment)SfM算法实现相机外参数标定与稀疏物方结构的恢复。该算法中同名点匹配通过Sift实现，相对定向过程采用RANSAC解算五点法，增量光束法平差采用稀疏平差软件包实现。在相机参数标定的基础上，使用Daisy算法生成MVS影像点云，实现物方密集点云的重构。图2是一组由无人机MMS序列影像数据生成的MVS影像密集点云的顶面与侧面截图。MVS影像密集点云除存在噪声、点密度分布不均匀外，数据本质、表现形式均和LiDAR激光点云相似，均为物方对象的三维表面离散采样即离散三维点云。
步骤2，在所述LiDAR激光点云中进行建筑物屋顶提取，得到第一轮廓提取信息；在所述MVS影像密集点云中进行建筑物屋顶提取，得到第二轮廓提取信息，即建筑物配准基元提取。
无人机MMS成像数据按照数据采集方式分为同机采集与不同机采集的LiDAR激光点云与序列影像。无人机MMS同机采集到的LiDAR激光点云与序列影像有直接地理空间参考作为配准初值，可加速两步法配准模型配准过程。与LiDAR激光点云非同机采集的无人机序列影像通常由轻小型***获取(如小型固定翼无人机，八旋翼无人机)，此类数据通常仅有导航级精度POS或无POS直接地理定向数据，此数据条件下，仅利用数据内包含的人工构筑物作为配准基元，进行两步法配准模型配准。配准基元的提取包括两部分：
①LiDAR点云中配准基元的提取。
参见图3，建筑物顶面在机载LiDAR激光点云与序列影像中均具有较好的可区分性，并且蕴含丰富的结构信息(点、线、面)。本发明选用标记点过程的方法实现LiDAR激光点云数据中的建筑物点云的提取，参见图3(a)、3(b)。由于激光点云中存在遮挡等导致点云扫描不全，提取到的建筑物点云块存在残缺。为形成有意义的建筑物外边界多边形，使用RMBR(Recursive Minimum Bounding Rectangle，迭代最小外包矩形)算法进行建筑物外多边形提取与规则化。RMBR以矩形为规则化基元，使用一组矩形的组合，实现对原始轮廓的规则化。图3(c)是经规则化后的建筑物外边框，可见经轮廓提取与规则化后，原始建筑物点云块被转换为有几何意义的建筑物外多边形。
②序列影像中配准基元的提取。
依据序列影像有无POS数据以及粗配准过程中的配准模型选择(2D-3D或是3D-3D模型)的不同。序列影像中的配准基元提取可采用不同方法进行，即适用于有POS数据条件下的激光建筑物提取先验知识引导的影像建筑物基元提取方法，以及通用于有无POS数据的MVS影像点云建筑物配准基元提取方法。
1)激光建筑物提取先验知识引导下的影像建筑物基元提取。
在有POS数据条件下的，选取粗配准模型为2D-3D共线方程配准模型，使用LiDAR激光点云数据对应的建筑物提取结果(即所述第一轮廓提取信息)对序列影像上的建筑物配准基元提取进行引导，将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将提取到的建筑物外框反投影到所有影像上，将有完整建筑物反投影外框的影像记为关键帧，参入2D-3D粗配准模型解算，得到所述第二轮廓提取信息。将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将提取到的建筑物外框反投影到所有影像上。将有完整建筑物反投影外框的影像记为关键帧，参入2D-3D粗配准模型解算。反投影后的建筑物外框为基于局部显著度的影像建筑物基元提取提供了良好的先验知识。但由于POS数据质量以及***标定、传感器同步误差，反投影后的建筑物边框与真实的影像建筑物位置之间存在严重的位置和方向偏移，需要进行进一步的修正。
本发明使用R1缓冲区域内的张量梯度统计，确定建筑物在影像中所在的区域。对反投影区域R1建立缓冲区，缓冲区宽度视区域内初始反投影误差定(经验值50-200像素)，在此区域内进行张量梯度统计，如图4所示。
对于一张多通道影像，其结构张量定义为：
Figure BDA0002804838300000061
其中，(ˉ)表示高斯核卷积运算，fx，fy表示水平与垂直方向上的梯度。
结构张量描述了影像的局部差分结构，多见其在影像角点、边缘检测中的研究。对于彩色无人机影像f＝(R,G,B)T。进行空间求导运算后，张量G的两个特征值按以下公式计算：
Figure BDA0002804838300000071
Figure BDA0002804838300000072
Figure BDA0002804838300000073
λ1表示在主方向上的局部衍生能量(Derivative Energy.)，λ2表示在垂直主方向上的局部衍生能量。将张量G的主方向作为张量梯度方向(θ)，其对应的λ1进行非局部最大值抑制(Non-Maximum Suppression)后作为张量梯度的大小，如图5所示。
通过上述方法即可计算出R1缓冲区内每个像素点的张量梯度大小与方向。对区域内张量梯度方向进行统计，得出缓冲区内张亮梯度统计直方图。图5(a)、图5(b)分别为对矩形房屋与L型房屋进行的张量梯度方向统计图。由图5可见，矩形或者L形房屋的长边缘会形成某梯度方向峰值，较短边缘形成另一个较低的峰值。
将所有的LiDAR建筑物外框反投影到影像上，分析反投影缓冲区区域内的张量梯度统计图，对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除，保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1。通过以下步骤进一步建筑物区域范围精化：
1.旋转R1反投影区域到张量梯度方向统计峰值的垂直方向，即建筑物长边方向；
2.以R2区域为核，构建缓冲区，在R2的主方向与垂直主方向上进行缓冲区滑动，统计R2与缓冲区构成的区域内的张量梯度大小的和，在局部极大响应处停止滑动，将此区域作为进行影像建筑物基元提取的最优选区。
在确定影像建筑物所处区域后，此局部区域内建筑物呈现高全局显著性。使用基于全局对比度显著性检测的分割方法(RCC，Region Contrast Cut)，在R3区域内进行建筑物影像的分割(参见图6(a)、6(b))。对分割结果进行轮廓提取(参见图6(c))，并使用RMBR算法进行规则化(参见图6(d))，即可得到规则化的影像建筑物顶面提取结果，过程如图6所示。
2)MVS影像点云建筑物配准基元提取。
序列影像无POS直接定向数据或者POS数据精度较差条件下，上述依据LiDAR激光点云建筑物提取结果引导的影像建筑物提取方法不适用。在此条件下，使用自LiDAR激光点云中提取建筑配准基元的方法，直接自序列影像生成的MVS影像密集点云数据中进行建筑物MVS影像点云分割、外轮廓提取与规则化。图7是一组MVS影像密集点云数据中进行建筑物点云提取与规则化的过程示意图，包括图7(a)、7(b)、7(c)。由图7(c)可见，虽MVS影像密集点云存在噪声、密度不均等数据退化问题，但经过规则化后的建筑物外轮廓边缘仍然可以对建筑物边界信息进行概括。
步骤3，基于所述第一轮廓提取信息构建第一配准基元图，并得到第一配准基元图集合；基于所述第二轮廓提取信息构建第二配准基元图，并得到第二配准基元图集合；对所述第一配准基元图集合、所述第二配准基元图集合进行匹配，得到共轭配准基元对，即配准基元图的构建与匹配。
有POS数据支持下，激光建筑物提取先验知识引导下的影像建筑物基元提取过程内在的完成了基元匹配的过程。无POS数据支持下，通过两步法配准模型中定义的配准基元图匹配方法实现提取配准基元的匹配，生成共轭配准基元对用于粗配准模型的解算。
依据配准基元图构图规则，将提取到的建筑物外多边形的中心作为图节点，采用建筑物屋顶作为建筑物配准基元，分别对提取到的建筑物配准基元构建配准基元图。图8(a)和图8(b)分别是由序列影像(MVS影像密集点云)、LiDAR激光点云配准基元图的过程示意图，其中三角形为当前图对应的核三角形。图8(a)和图8(b)的左列均为提取到的配准基元，8(a)和图8(b)的中列均为生成的配准基元图，8(a)和图8(b)的右列均为配准基元图与原始配准基元叠加显示。
生成配准基元图集合后，依据两步法配准模型中定义的配准基元图匹配方法对MVS影像密集点云配准基元图与LiDAR激光点云配准基元图进行配准。在配准基元图匹配过程中，首先通过核三角形的匹配，检测配准基元图的局部相似性。对于相似的核三角形对应的配准基元图，使用GED衡量其全局相似性。对于图9中所示的核三角形相似(局部相似)，但GED距离大(全局相似性低)的配准对进行剔除，最终实现最优配准基元图匹配。
步骤4，根据所述共轭配准基元对，解算粗配准模型，获得无人机摄影测量坐标系与LiDAR参考坐标系之间的空间坐标转换关系。
不同的配准基元提取与匹配方法对应不同的粗配准几何模型。激光建筑物提取先验知识引导下的影像建筑物基元提取与匹配，在影像上直接进行配准基元提取，对应2D-3D共线方程配准模型。MVS影像密集点云中进行建筑物配准基元提取，进而使用配准基元图与LIDAR激光点云中的配准基元进行匹配，对应3D-3D的空间相似变换配准几何模型。以下对两种模型解算方法进行说明：
(1)2D-3D模型粗配准模型解算。
使用规则化后的建筑物外多边形角点解算2D-3D配准模型。将有完整建筑物反投影外框的影像记为关键帧，令关键帧中一个建筑物外多边形角点为m＝(u,v,f)T，其对应的建筑物角点在LiDAR数据中的坐标为Mlas＝(X,Y,Z)T，则两角点之间的共线关系可表述为：
spnpm＝A[Rpnp|tpnp]Mlas
其中，A为已知的相机内参数矩阵，spnp为比例参数，Rpnp，tpnp组成相机的外参数矩阵。式子描述了一个物点与像点的共线问题，本发明使用EPnP算法对其进行线性求解。建筑物规则化外多边形同时提供了共线、共面等几何特性，可以作为约束条件对EPnP结果进行迭代优化，例如线对共面约束配准算法。
(2)3D-3D模型粗配准模型解算。
使用3D共轭(共轭指的是有无POS数据支持下两种方法提取得到配准基元对)的规则化后的建筑物外多边形的角点对作为控制点，解算三维空间相似变换。令在摄影测量坐标系(Cmvs)中的建筑物规则化外多边形角点为Mmvs，其对应角点在LiDAR参考坐标系(Cw)中的坐标为Mlas则其之间的转换关系定义为Mlas＝λRMmvs+T。其中，λ、R、T分别为尺度、旋转与平移参数。对于n个图匹配节点对中的每3个图节点对使用抗差SVD方法，即可解算出一组(λ,R,T)。
步骤5，基于所述空间坐标转换关系，实现所述MVS影像密集点云与所述LiDAR激光点云的配准。
将粗配准解算获得的空间坐标转换关系作为初始值，使用变种ICP算法，实现所述MVS影像密集点云与所述LiDAR激光点云之间的最优配准，获得序列影像的精确配准参数。
其中，ICP算法与其变种(Variants of the ICP algorithm)均可被分解为5步(Rusinkiewicz and Levoy,2001)，即：(1)点选择(Selection of Points)；(2)点匹配(Matching Points)；(3)匹配对定权(Weighting of Matches)；(4)匹配对生成规则(Rejecting Pairs)；(5)误差定义与最小化方法(Error Metric and Minimization)。
通过上述数据配准方法，序列影像与LiDAR激光点云之间的数据配准误差得到了消除，统一了异源数据的坐标基准。
步骤6，基于配准的LiDAR激光点云与序列影像数据集，构建数据融合成果。
在无人机激光点云与序列影像配准的基础上，可展开一系列的序列影像与LiDAR点云的数据融合处理，例如彩色激光点云生成、真正射影像。
彩色激光点云生成即将配准后的影像色彩信息赋予给LiDAR点云数据。
以下描述一种简单的彩点生成算法：
1)选取赋色图像保证测区完整覆盖；
2)切取当前赋色图像对应的点云数据，依据当前赋色图像的相机参数，进行遮挡检测，确定在当前赋色图像中可见的激光点云数据；
3)对当前可见且未被赋色的三维点云，依据共线方程进行赋色；
4)循环步骤2-3直到所有图像遍历完毕，或所有点云被赋色完毕。
参见图10(包括图10(a)、10(b)、10(c))，无人机作业航高低，采集到的影像数据中由于地物高度形成的投影差较大，若不进行遮挡检测，直接使用共线方程进行赋色，会出现Double-Mapping错误。Double-Mapping(重影现象)是指使用DSM进行普通正射纠正制作DOM产生的一种错误。图10(a)为其成因原理：地物起伏(2-3)对地面(4-5)区域形成了遮挡，在不进行遮挡检测的情况下，直接使用共线条件方程进行赋色，会将(2-3)区段内的颜色错误的复制到(4-5)区段内，造成(4-5)区段内的错误赋色。
在赋色之前进行遮挡检测，可有效避免这一错误的发生，常用的遮挡检测包括Z-buffer方法等。考虑到激光点云的稀疏性，Z-buffer最优光线粗细难以确定，本发明直接自激光点云进行遮挡检测，对HPR(Hidden Point Removal)算法输出的可视域图进行空间闭运算，确定遮挡区域，增强其在稀疏无人机点云数据处理上的适应性。图11描述了遮挡检测与检测完成后赋色的过程。图11(a)为赋色影像，图11(b)为该观测方位HPR算法检测到的可视区域，其中白色为可视区域，黑色为不可见区域。由图11(b)可见原始HPR的输出，由于其算法局限性，对稀疏点云适应性较差。本发明使用闭运算对误检测遮挡区域进行优化，其准则为闭运算形态学操作准则，即若遮挡区域必然是联通的，不独立存在。依照此准则将HPR输出的独立遮挡区域进行剔除，如图11(c)所示。图11(d)为进行遮挡分析后的点云赋色的结果，由图可见，Double-Mapping得到了很好的抑制。
本发明实施例提供的一种无人机激光点云与序列影像的配准方法至少包括如下技术效果：
(1)采用了无人机MMS同机采集的LiDAR激光点云与序列影像，由于有直接的地理空间参考作为配准初值，使得配准模型配准过程得以加速。
(2)采用了有无POS数据提取的共轭配准基元，由于配准解算模型不同，使得配准结果得以优化。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种无人机激光点云与序列影像的配准方法，其特征在于，包括以下步骤：
步骤1、获取无人机采集的LiDAR激光点云、序列影像，基于所述序列影像生成MVS影像密集点云；
步骤2、在所述LiDAR激光点云中进行建筑物屋顶提取，得到第一轮廓提取信息；在所述MVS影像密集点云中进行建筑物屋顶提取，得到第二轮廓提取信息；
步骤3、基于所述第一轮廓提取信息构建第一配准基元图，并得到第一配准基元图集合；基于所述第二轮廓提取信息构建第二配准基元图，并得到第二配准基元图集合；对所述第一配准基元图集合、所述第二配准基元图集合进行匹配，得到共轭配准基元对；
步骤4、根据所述共轭配准基元对，解算粗配准模型，获得无人机摄影测量坐标系与LiDAR参考坐标系之间的空间坐标转换关系；
步骤5、基于所述空间坐标转换关系，实现所述MVS影像密集点云与所述LiDAR激光点云的配准。
2.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，所述步骤1的具体实现方式为：获取所述序列影像后，通过运动结构恢复SfM方法恢复标定相机采集的所述序列影像在无人机摄影测量坐标系中的外方位元素，通过多视立体匹配的方法由所述序列影像生成所述MVS影像密集点云。
3.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，所述步骤2中，采用标记点过程的方法实现在所述LiDAR激光点云中进行建筑物屋顶的提取，得到初步提取轮廓；使用迭代最小外包矩形RMBR算法对所述初步提取轮廓进行规则化，得到所述第一轮廓提取信息。
4.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，所述步骤2中，在所述MVS影像密集点云中进行建筑物屋顶提取时，在有POS数据的情况下，选取粗配准模型为2D-3D共线方程配准模型，使用所述第一轮廓提取信息对所述MVS影像密集点云上的建筑物配准基元提取进行引导，将POS提供的定姿定位数据转换为相机外方位元素值，使用共线方程将提取到的建筑物外框反投影到所有影像上，将有完整建筑物反投影外框的影像记为关键帧，参入2D-3D粗配准模型解算，得到所述第二轮廓提取信息；
在所述MVS影像密集点云中进行建筑物屋顶提取时，在无POS数据的情况下，通过在所述MVS影像密集点云中进行建筑物MVS影像点云分割、外轮廓提取、规则化处理，得到所述第二轮廓提取信息。
5.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，所述步骤3中，所述第一轮廓提取信息、所述第二轮廓提取信息中均包括提取到的建筑物外多边形，将提取到的建筑物外多边形的中心作为图节点，采用建筑物屋顶作为建筑物配准基元，对提取到的建筑物配准基元构建配准基元图；
匹配配准基元图时，首先通过核三角形的匹配，检测所述第一配准基元图和所述第二配准基元图之间的局部相似性，然后使用GED衡量所述第一配准基元图和所述第二配准基元图之间的全局相似性；结合局部相似性和全局相似性的结果，实现最优配准基元图匹配，得到所述共轭配准基元对。
6.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，所述步骤4中，所述粗配准模型为2D-3D共线方程配准模型时，解算粗配准模型包括：
使用规则化后的建筑物外多边形角点解算2D-3D共线方程配准模型；将有完整建筑物反投影外框的影像记为关键帧，令关键帧中一个建筑物外多边形角点为m＝(u,v,f)T，其对应的建筑物角点在LiDAR激光点云数据中的坐标为Mlas＝(X,Y,Z)T，则两角点之间的共线关系表述为：
spnpm＝A[Rpnp|tpnp]Mlas
其中，A为相机内参数矩阵，spnp为比例参数，Rpnp、tpnp组成相机的外参数矩阵。
7.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，所述步骤4中，所述粗配准模型为3D-3D模型时，解算粗配准模型包括：
MVS影像点云中进行建筑物配准基元提取，进而使用配准基元图与LiDAR激光点云中的配准基元进行匹配，对应3D-3D的空间相似变换配准几何模型，使用3D共轭的规则化后的建筑物外多边形的角点对作为控制点，解算三维空间相似变换；令在无人机摄影测量坐标系Cmvs中的规则化后的建筑物外多边形角点为Mmvs，其对应的建筑物角点在LiDAR参考坐标系Cw中的坐标为Mlas，则两角点之间的转换关系定义为：
Mlas＝λRMmvs+T；
其中，λ、R、T分别为坐标转换过程中的尺度、旋转与平移参数。
8.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，所述步骤5中，将粗配准解算获得的空间坐标转换关系作为初始值，使用变种ICP算法，实现所述MVS影像密集点云与所述LiDAR激光点云之间的最优配准，获得序列影像的精确配准参数。
9.根据权利要求1所述的无人机激光点云与序列影像的配准方法，其特征在于，还包括：步骤6、基于配准的所述LiDAR激光点云与所述序列影像数据集，构建数据融合成果。
10.根据权利要求9所述的无人机激光点云与序列影像的配准方法，其特征在于，所述数据融合成果包括彩色激光点云生成、真正射影像。
CN202011367372.XA 2020-11-27 2020-11-27 一种无人机激光点云与序列影像的配准方法 Active CN112465849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011367372.XA CN112465849B (zh) 2020-11-27 2020-11-27 一种无人机激光点云与序列影像的配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011367372.XA CN112465849B (zh) 2020-11-27 2020-11-27 一种无人机激光点云与序列影像的配准方法

Publications (2)

Publication Number Publication Date
CN112465849A true CN112465849A (zh) 2021-03-09
CN112465849B CN112465849B (zh) 2022-02-15

Family

ID=74809601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011367372.XA Active CN112465849B (zh) 2020-11-27 2020-11-27 一种无人机激光点云与序列影像的配准方法

Country Status (1)

Country Link
CN (1) CN112465849B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN115496835A (zh) * 2022-09-20 2022-12-20 北京数字绿土科技股份有限公司 一种基于cpu和gpu异构并行架构的点云数据赋色方法和***
CN115690380A (zh) * 2022-11-11 2023-02-03 重庆数字城市科技有限公司 一种配准方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411778A (zh) * 2011-07-28 2012-04-11 武汉大学 一种机载激光点云与航空影像的自动配准方法
CN104809689A (zh) * 2015-05-15 2015-07-29 北京理工大学深圳研究院 一种基于轮廓的建筑物点云模型底图配准方法
CN105844629A (zh) * 2016-03-21 2016-08-10 河南理工大学 一种大场景城市建筑物立面点云自动分割方法
CN110110641A (zh) * 2019-04-29 2019-08-09 中国水利水电科学研究院 一种流域性洪涝场景的无人机监测方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411778A (zh) * 2011-07-28 2012-04-11 武汉大学 一种机载激光点云与航空影像的自动配准方法
CN104809689A (zh) * 2015-05-15 2015-07-29 北京理工大学深圳研究院 一种基于轮廓的建筑物点云模型底图配准方法
CN105844629A (zh) * 2016-03-21 2016-08-10 河南理工大学 一种大场景城市建筑物立面点云自动分割方法
CN110110641A (zh) * 2019-04-29 2019-08-09 中国水利水电科学研究院 一种流域性洪涝场景的无人机监测方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANPING LI等: "Automatic registration of panoramic image sequence and mobile laser scanning data using semantic features", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
陈驰等: "车载MMS激光点云与序列全景影像自动配准方法", 《测绘学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN115496835A (zh) * 2022-09-20 2022-12-20 北京数字绿土科技股份有限公司 一种基于cpu和gpu异构并行架构的点云数据赋色方法和***
CN115496835B (zh) * 2022-09-20 2023-10-20 北京数字绿土科技股份有限公司 一种基于cpu和gpu异构并行架构的点云数据赋色方法和***
CN115690380A (zh) * 2022-11-11 2023-02-03 重庆数字城市科技有限公司 一种配准方法及***

Also Published As

Publication number Publication date
CN112465849B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN106709947B (zh) 一种基于rgbd相机的三维人体快速建模***
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
Cheng et al. 3D building model reconstruction from multi-view aerial imagery and lidar data
Weinmann et al. Fast and automatic image-based registration of TLS data
CN104156536B (zh) 一种盾构机刀具磨损的可视化定量标定及分析方法
US7509241B2 (en) Method and apparatus for automatically generating a site model
Cheng et al. Integration of LiDAR data and optical multi-view images for 3D reconstruction of building roofs
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
CN105931234A (zh) 一种地面三维激光扫描点云与影像融合及配准的方法
Gao et al. Ancient Chinese architecture 3D preservation by merging ground and aerial point clouds
CN103839286B (zh) 一种对象语义约束的真正射影像优化采样方法
CN112465732A (zh) 一种车载激光点云与序列全景影像的配准方法
CN111047698B (zh) 一种真正射影像采集方法
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
CN111652241A (zh) 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN112991436B (zh) 基于物体尺寸先验信息的单目视觉slam方法
CN115631317B (zh) 隧道衬砌正射影像生成方法及装置、存储介质、终端
Frommholz et al. Inlining 3d reconstruction, multi-source texture mapping and semantic analysis using oblique aerial imagery
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
Hoegner et al. Thermal leakage detection on building facades using infrared textures generated by mobile mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant