CN115690380A - 一种配准方法及*** - Google Patents

一种配准方法及*** Download PDF

Info

Publication number
CN115690380A
CN115690380A CN202211409046.XA CN202211409046A CN115690380A CN 115690380 A CN115690380 A CN 115690380A CN 202211409046 A CN202211409046 A CN 202211409046A CN 115690380 A CN115690380 A CN 115690380A
Authority
CN
China
Prior art keywords
registration
image
point cloud
unit
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211409046.XA
Other languages
English (en)
Other versions
CN115690380B (zh
Inventor
罗再谦
向煜
张俊
李兵
华媛媛
黄志�
黄令
韩�熙
黄国洪
毛阆
孟云豪
曹欣
钟敏
周林秋
吴琢珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHONGQING CYBERCITY SCI-TECH CO LTD
Original Assignee
CHONGQING CYBERCITY SCI-TECH CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHONGQING CYBERCITY SCI-TECH CO LTD filed Critical CHONGQING CYBERCITY SCI-TECH CO LTD
Priority to CN202211409046.XA priority Critical patent/CN115690380B/zh
Priority to PCT/CN2022/131556 priority patent/WO2024098428A1/zh
Publication of CN115690380A publication Critical patent/CN115690380A/zh
Application granted granted Critical
Publication of CN115690380B publication Critical patent/CN115690380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及点云数据技术领域，具体涉及一种配准方法及***，本方法包括对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据进行畸变矫正，对三维激光点云进行去噪精简处理，使用POS信息数据，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准；本发明方法通过两次配准，实现对激光点云与影响数据的高精度配准，解决目前配准精度较低，限制条件较多的问题。

Description

一种配准方法及***
技术领域
本发明涉及点云数据技术领域，具体涉及一种配准方法及***。
背景技术
随着地球空间信息技术发展进入一个新的时期，获取、分析用以准确描述三维空间信息的空间数据成为研究地球空间信息的基础。传统的获取三维数据的方式不仅耗时，而且采样密度低，造成采集到的数据无法对空间对象进行精确完整描述。另外，空间对象及其周围环境纷繁复杂，如何准确、全方位获取相应的空间数据也成为当前空间信息科学研究的主要困难之一。地面三维激光扫描技术的出现为我们提供了一种非破坏性的高分辨率三维测量手段，可以弥补传统测量手段的不足。
三维激光扫描也被称为激光雷达(Light Detection and Ranging,LIDAR)，其作为一种测绘新技术在近十多年来得到了快速的发展，由于其扫描速度快，扫描得到的坐标点密度较大等优点，在包括地形测量，逆向工程，历史遗迹保护等方面均具有广阔的应用前景，并逐渐成为城市三维数据模型获取的一种重要手段和方法，该技术也被称为继GPS技术以来测绘领域的又一次技术革新。根据载体的不同，三维激光扫描分为机载激光扫描、车载激光扫描及地面三维激光扫描。本论文数据采集主要利用地面三维激光扫描仪完成，该数据与其它方式获取的点云数据相比有其自身的特点。在地面扫描激光扫描过程中，由于受到测量设备和环境的限制，每次测量得到的点云数据往往只覆盖扫描对象的大部分表面，完整的点云数据则需要通过多站测量完成，因此需要对这些局部点云数据进行拼接和配准，有效而精确的配准可以为后续的点云三维建模提供良好的基础数据。
由于受到扫描环境之间的遮挡，地面三维激光扫描获取的点云数据常常包含有各种无法测量到的区域，产生点云空洞，导致局部区域信息丢失。这些空洞不仅使得扫描对象的三维模型无法完整地实现可视化，也会影响建模后参数提取。由于近景影像获取相对方便，灵活性较高，而且成本较低。因此，扫描人员可以从不同角度利用数码相机进行补拍。这样，充分利用两种传感器的优点，获取对象全貌。然而，多源数据融合一直是数据处理领域的难点，需要克服在两种数据之间寻找同名特征的问题，利用重叠部分的信息，通过配准操作将两种类型的数据纳入到统一的坐标***中，并使得各个元素在几何上对准。目前已有的融合方法主要专注于点云与图像上共同几何特征的提取，基于中心投影原理利用共线方程进行，实际上仍是二维与三维之间的配准，精度较低，并且限制条件较多。
所以，还需要再开发一种配准方法，以满足目前数据采集后的处理技术。
发明内容
针对上述现有技术的不足，本发明旨在提供一种配准方法，以解决对激光点云和影像数据配准的精度较低，限制条件较多的问题。
为了解决上述问题，本发明采用了如下的技术方案：
一方面，本发明提供一种配准方法，包括
对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据进行畸变矫正；
对三维激光点云进行去噪精简处理；
使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准；
利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准。
进一步，所述对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据关键帧进行畸变矫正，包括：
在棋盘格图像和数码相机之间固定，从不同方向获取多张影像；
将棋盘格影像的右上角定为图像坐标原点，并根据影像的长和宽获取棋盘格上的方格数目，并进行角点检测；
进行参数的初始化和非线性最优化，计算数码相机的内参数和畸变系数；
基于所述内参数和畸变系数，计算畸变映射，对影像数据进行校正。
进一步，所述对三维激光点云进行去噪和精简处理，包括：
计算三维激光点云中每个点到前若干个紧邻点的距离；
根据所述距离计算点云中的整体平均距离和方差；
将其距离大于等于整体平均距离与标准差倍数*σ之和的点视为噪声点，并进行去除；
Figure BDA0003937775510000031
其中，其中t＝u+m*σ，u为平均距离，m为标准差倍数，σ为方差，ui为距离；
设定最小体素尺度，将原始点云放入三维网格中，每个包含多个点的最小体素用其中一个点替代，完成体素降采样。
进一步，所述使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准，包括：
确定激光点云的三维激光雷达坐标与同名图像点的像空间辅助坐标间的关系为
Figure BDA0003937775510000032
式中，[XI YI ZI]T为图像点的像空间辅助坐标；[XH YH ZH]T为激光点在三维激光雷达坐标系下的坐标；RIH和CIH分别表示像空间辅助坐标系和三维激光雷达坐标系间的旋转矩阵和平移变量；
求得影像数据关键帧的图像点像空间辅助坐标与其WGS-84坐标系间的转换关系：
Figure BDA0003937775510000033
Figure BDA0003937775510000034
CIW＝TKW+RKWTHK+RKWRHKCIH。
基于所述转换关系，得出共线方程为：
Figure BDA0003937775510000041
式中：x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XC，YC，ZC为摄像机中心的物方空间坐标；X，Y，Z为激光点的物方空间坐标；ai，bi，ci(i＝1，2，3)为影像的3个外方位元素；
通过所述共线方程将激光点云和影像数据进行初配准。
进一步，所述利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准，包括：
S401、根据共线方程的误差方程以最小二乘迭代开始，第一次迭代应用POS位置姿态数据值的权阵为单位矩阵；
S402、应用第一次迭代的残差，计算第二次迭代的权函数，进行改进的丹麦法选权迭代；
S403、计算单位权中误差，如果不满足条件，循环至S402，直至精度满足要求；
S404、按照所述共线方程的误差方程，以第三次迭代为分界点，迭代终止的条件为影像数据关键帧图像角元素改正数经两次运算的差值为0.1′。
另一方面，本发明提供一种配准***，包括影像数据矫正模块、去噪精简处理模块、初始配准模块和高精度配准模块；
所述影像数据矫正模块，用于对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据进行畸变矫正；
所述去噪精简处理模块，用于对三维激光点云进行去噪精简处理；
所述初始配准模块，用于使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准；
所述高精度配准模块，用于利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准。
进一步，所述影像数据矫正模块包括影像获取单元、角点检测单元、计算单元和校正单元：
所述影像获取单元，用于在棋盘格图像和数码相机之间固定，从不同方向获取多张影像；
所述角点检测单元，用于将棋盘格影像的右上角定为图像坐标原点，并根据影像的长和宽获取棋盘格上的方格数目，并进行角点检测；
所述计算单元，用于进行参数的初始化和非线性最优化，计算数码相机的内参数和畸变系数；
所述校正单元，用于基于所述内参数和畸变系数，计算畸变映射，对影像数据进行校正。
进一步，所述去噪精简处理模块包括距离计算单元、整体平均距离和方差计算单元、去除单元和降采样单元；
所述距离计算单元，用于计算三维激光点云中每个点到前若干个紧邻点的距离；
所述整体平均距离和方差计算单元，用于根据所述距离计算点云中的整体平均距离和方差；
所述去除单元，用于将其距离大于等于整体平均距离与标准差倍数*σ之和的点视为噪声点，并进行去除；
Figure BDA0003937775510000051
其中，其中t＝u+m*σ，u为平均距离，m为标准差倍数，σ为方差，ui为距离；
所述降采样单元，用于设定最小体素尺度，将原始点云放入三维网格中，每个包含多个点的最小体素用其中一个点替代，完成体素降采样。
进一步，所述初始配准模块包括坐标关系确定单元、坐标转换单元、共线方程确定单元和初配准单元；
所述坐标关系确定单元，用于确定激光点云的三维激光雷达坐标与同名图像点的像空间辅助坐标间的关系为
Figure BDA0003937775510000061
式中，[XI YI ZI]T为图像点的像空间辅助坐标；[XH YH ZH]T为激光点在三维激光雷达坐标系下的坐标；RIH和CIH分别表示像空间辅助坐标系和三维激光雷达坐标系间的旋转矩阵和平移变量；
所述坐标转换单元，用于求得影像数据关键帧的图像点像空间辅助坐标与其WGS-84坐标系间的转换关系：
Figure BDA0003937775510000062
Figure BDA0003937775510000063
CIW＝TKW+RKWTHK+RKWRHKCIH。
所述共线方程确定单元，用于基于所述转换关系，得出共线方程为：
Figure BDA0003937775510000064
式中：x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XC，YC，ZC为摄像机中心的物方空间坐标；X，Y，Z为激光点的物方空间坐标；ai，bi，ci(i＝1，2，3)为影像的3个外方位元素；
所述初配准单元，用于通过所述共线方程将激光点云和影像数据进行初配准。
进一步，所述高精度配准模块包括第一次迭代单元、选权迭代单元、判定单元和迭代终止单元；
所述第一次迭代单元，用于根据共线方程的误差方程以最小二乘迭代开始，第一次迭代应用POS位置姿态数据值的权阵为单位矩阵；
所述选权迭代单元，用于应用第一次迭代的残差，计算第二次迭代的权函数，进行改进的丹麦法选权迭代；
所述判定单元，用于计算单位权中误差，如果不满足条件，循环至S402，直至精度满足要求；
所述迭代终止单元，用于按照所述共线方程的误差方程，以第三次迭代为分界点，迭代终止的条件为影像数据关键帧图像角元素改正数经两次运算的差值为0.1′。
本发明的有益效果在于：本发明结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，提高了初始配准值的精度，并使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准，解决了因采用激光点云数据或影响数据不能全面、方便的获取采集目标数据的问题。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明实施例一种配准方法流程示意图。
图2为本发明实施例一种配准***示意图。
具体实施方式
下面结合具体实施例对本发明作进一步的详细说明。
需要说明的是，这些实施例仅用于说明本发明，而不是对本发明的限制，在本发明的构思前提下本方法的简单改进，都属于本发明要求保护的范围。
参见图1，为一种配准方法，包括
S100、对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据进行畸变矫正；
S200、对三维激光点云进行去噪精简处理；
S300、使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准；
S400、利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准。
作为一种可实施方式，所述S100可为：
S101、在棋盘格图像和数码相机之间固定，从不同方向获取多张影像；
S102、将棋盘格影像的右上角定为图像坐标原点，并根据影像的长和宽获取棋盘格上的方格数目，并进行角点检测；
S103、进行参数的初始化和非线性最优化，计算数码相机的内参数和畸变系数；
S104、基于所述内参数和畸变系数，计算畸变映射，对影像数据进行校正。
作为一种可实施方式，所述S200包括：
S201、计算三维激光点云中每个点到前若干个紧邻点的距离；
S202、根据所述距离计算点云中的整体平均距离和方差；
S203、将其距离大于等于整体平均距离与标准差倍数*σ之和的点视为噪声点，并进行去除；
Figure BDA0003937775510000081
其中，其中t＝u+m*σ，u为平均距离，m为标准差倍数，σ为方差，ui为距离；
S204、设定最小体素尺度，将原始点云放入三维网格中，每个包含多个点的最小体素用其中一个点替代，完成体素降采样。
作为一种可实施方式，所述S300包括：
S301、确定激光点云的三维激光雷达坐标与同名图像点的像空间辅助坐标间的关系为
Figure BDA0003937775510000091
式中，[XI YI ZI]T为图像点的像空间辅助坐标；[XH YH ZH]T为激光点在三维激光雷达坐标系下的坐标；RIH和CIH分别表示像空间辅助坐标系和三维激光雷达坐标系间的旋转矩阵和平移变量；
S302、求得影像数据关键帧的图像点像空间辅助坐标与其WGS-84坐标系间的转换关系：
Figure BDA0003937775510000092
Figure BDA0003937775510000093
CIW＝TKw+RKWTHK+RKWRHKCIH。
S303、基于所述转换关系，得出共线方程为：
Figure BDA0003937775510000094
式中：x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XC，YC，ZC为摄像机中心的物方空间坐标；X，Y，Z为激光点的物方空间坐标；ai，bi，ci(i＝1，2，3)为影像的3个外方位元素；
S304、通过所述共线方程将激光点云和影像数据进行初配准。
作为一种可实施方式，所述S400包括：
选权迭代的条件可为：
Figure BDA0003937775510000095
权公式为：
pt+1＝ptf(u)，t＝0，1，2，…，
使用标准化残差替换残差作为权函数的参数，标准化残差为：
Figure BDA0003937775510000101
式中，
Figure BDA0003937775510000102
Figure BDA0003937775510000103
为标准化残差，uj为观测值残差，m为观测值个数，m0为观测值标准偏差，
Figure BDA0003937775510000104
为QuuP中的主对角外元素，
QuuP＝E-AQxxATP
式中，E为观测误差矢量，A为观测方程系数阵；
所以选权迭代权函数为：
Figure BDA0003937775510000105
Figure BDA0003937775510000106
式中，P0为权因子；
进而贡献方程的误差方程为：
Figure BDA0003937775510000107
S401、根据共线方程的误差方程以最小二乘迭代开始，第一次迭代应用POS位置姿态数据值的权阵为单位矩阵；
S402、应用第一次迭代的残差，计算第二次迭代的权函数，进行改进的丹麦法选权迭代；
S403、计算单位权中误差，如果不满足条件，循环至S402，直至精度满足要求；
S404、按照所述共线方程的误差方程，以第三次迭代为分界点，迭代终止的条件为影像数据关键帧图像角元素改正数经两次运算的差值为0.1′。
参见图2，为一种配准***，包括影像数据矫正模块100、去噪精简处理模块200、初始配准模块300和高精度配准模块400；
所述影像数据矫正模块100，用于对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据进行畸变矫正；
所述去噪精简处理模块200，用于对三维激光点云进行去噪精简处理；
所述初始配准模块300，用于使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准；
所述高精度配准模块400，用于利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准。
作为一种可实施方式，所述影像数据矫正模块100包括影像获取单元101、角点检测单元102、计算单元103和校正单元104：
所述影像获取单元101，用于在棋盘格图像和数码相机之间固定，从不同方向获取多张影像；
所述角点检测单元102，用于将棋盘格影像的右上角定为图像坐标原点，并根据影像的长和宽获取棋盘格上的方格数目，并进行角点检测；
所述计算单元103，用于进行参数的初始化和非线性最优化，计算数码相机的内参数和畸变系数；
所述校正单元104，用于基于所述内参数和畸变系数，计算畸变映射，对影像数据进行校正。
作为一种可实施方式，所述去噪精简处理模块200包括距离计算单元201、整体平均距离和方差计算单元202、去除单元203和降采样单元204；
所述距离计算单元201，用于计算三维激光点云中每个点到前若干个紧邻点的距离；
所述整体平均距离和方差计算单元202，用于根据所述距离计算点云中的整体平均距离和方差；
所述去除单元203，用于将其距离大于等于整体平均距离与标准差倍数*σ之和的点视为噪声点，并进行去除；
Figure BDA0003937775510000121
其中，其中t＝u+m*σ，u为平均距离，m为标准差倍数，σ为方差，ui为距离；
所述降采样单元204，用于设定最小体素尺度，将原始点云放入三维网格中，每个包含多个点的最小体素用其中一个点替代，完成体素降采样。
作为一种可实施方式，所述初始配准模块300包括坐标关系确定单元301、坐标转换单元302、共线方程确定单元303和初配准单元304；
所述坐标关系确定单元301，用于确定激光点云的三维激光雷达坐标与同名图像点的像空间辅助坐标间的关系为：
Figure BDA0003937775510000122
式中，[XI YI ZI]T为图像点的像空间辅助坐标；[XH YH ZH]T为激光点在三维激光雷达坐标系下的坐标；RIH和CIH分别表示像空间辅助坐标系和三维激光雷达坐标系间的旋转矩阵和平移变量；
所述坐标转换单元302，用于求得影像数据关键帧的图像点像空间辅助坐标与其WGS-84坐标系间的转换关系：
Figure BDA0003937775510000131
Figure BDA0003937775510000132
CIW＝TKW+RiWTHK+RKWRHKCIH。
所述共线方程确定单元303，用于基于所述转换关系，得出共线方程为：
Figure BDA0003937775510000133
式中：x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XC，YC，ZC为摄像机中心的物方空间坐标；X，Y，Z为激光点的物方空间坐标；ai，bi，ci(i＝1，2，3)为影像的3个外方位元素；
所述初配准单元304，用于通过所述共线方程将激光点云和影像数据进行初配准。
作为一种可实施方式，所述高精度配准模块400包括第一次迭代单元401、选权迭代单元402、判定单元403和迭代终止单元404；
所述第一次迭代单元401，用于根据共线方程的误差方程以最小二乘迭代开始，第一次迭代应用POS位置姿态数据值的权阵为单位矩阵；
所述选权迭代单元402，用于应用第一次迭代的残差，计算第二次迭代的权函数，进行改进的丹麦法选权迭代；
所述判定单元403，用于计算单位权中误差，如果不满足条件，循环至S402，直至精度满足要求；
所述迭代终止单元404，用于按照所述共线方程的误差方程，以第三次迭代为分界点，迭代终止的条件为影像数据关键帧图像角元素改正数经两次运算的差值为0.1′。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (10)

1.一种配准方法，其特征在于，包括
对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据进行畸变矫正；
对三维激光点云进行去噪精简处理；
使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准；
利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准。
2.根据权利要求1所述配准方法，其特征在于，所述对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据关键帧进行畸变矫正，包括：
在棋盘格图像和数码相机之间固定，从不同方向获取多张影像；
将棋盘格影像的右上角定为图像坐标原点，并根据影像的长和宽获取棋盘格上的方格数目，并进行角点检测；
进行参数的初始化和非线性最优化，计算数码相机的内参数和畸变系数；
基于所述内参数和畸变系数，计算畸变映射，对影像数据进行校正。
3.根据权利要求1所述配准方法，其特征在于，所述对三维激光点云进行去噪和精简处理，包括：
计算三维激光点云中每个点到前若干个紧邻点的距离；
根据所述距离计算点云中的整体平均距离和方差；
将其距离大于等于整体平均距离与标准差倍数*方差之和的点视为噪声点，并进行去除；
设定最小体素尺度，将原始点云放入三维网格中，每个包含多个点的最小体素用其中一个点替代，完成体素降采样。
4.根据权利要求1所述配准方法，其特征在于，
使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准，包括：
确定激光点云的三维激光雷达坐标与同名图像点的像空间辅助坐标间的关系为
Figure FDA0003937775500000021
式中，[XI YI ZI]T为图像点的像空间辅助坐标；[XH YH ZH]T为激光点在三维激光雷达坐标系下的坐标；RIH和CIH分别表示像空间辅助坐标系和三维激光雷达坐标系间的旋转矩阵和平移变量；
求得影像数据关键帧的图像点像空间辅助坐标与其WGS-84坐标系间的转换关系：
Figure FDA0003937775500000022
Figure FDA0003937775500000023
CIW＝TKW+RKWTHK、+RKWRHKCIH。
基于所述转换关系，得出共线方程为：
Figure FDA0003937775500000024
式中：x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XC，YC，ZC为摄像机中心的物方空间坐标；X，Y，Z为激光点的物方空间坐标；ai，bi，ci(i＝1，2，3)为影像的3个外方位元素；
通过所述共线方程将激光点云和影像数据进行初配准。
5.根据权利要求1所述配准方法，其特征在于，所述利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准，包括：
S401、根据共线方程的误差方程以最小二乘迭代开始，第一次迭代应用POS位置姿态数据值的权阵为单位矩阵；
S402、应用第一次迭代的残差，计算第二次迭代的权函数，进行改进的丹麦法选权迭代；
S403、计算单位权中误差，如果不满足条件，循环至S402，直至精度满足要求；
S404、按照所述共线方程的误差方程，以第三次迭代为分界点，迭代终止的条件为影像数据关键帧图像角元素改正数经两次运算的差值为0.1′。
6.一种配准***，其特征在于，包括影像数据矫正模块、去噪精简处理模块、初始配准模块和高精度配准模块；
所述影像数据矫正模块，用于对数码相机进行镜头畸变校正，获取数码相机内外参数，并对提取的影像数据进行畸变矫正；
所述去噪精简处理模块，用于对三维激光点云进行去噪精简处理；
所述初始配准模块，用于使用POS传感器中的位置、姿态与时间信息数据，根据时间同步原理，获取数码相机拍摄影像数据与三维激光雷达扫描点云在同一时刻下的时间戳，在同一时间戳的基础上，从POS数据中提取出影像数据与激光点云对应的配准初始值，并基于共线方程模型进行初始配准；
所述高精度配准模块，用于利用基于Robust估计的选权迭代法提高配准初始值精度，确定高精度的配准值，结合迭代最近点算法，把高精度的配准值作为迭代最近点算法的初始值，使用影像数据点云与激光点云进行迭代最近点配准，获得高精度的配准。
7.根据权利要求6所述配准***，其特征在于，所述影像数据矫正模块包括影像获取单元、角点检测单元、计算单元和校正单元：
所述影像获取单元，用于在棋盘格图像和数码相机之间固定，从不同方向获取多张影像；
所述角点检测单元，用于将棋盘格影像的右上角定为图像坐标原点，并根据影像的长和宽获取棋盘格上的方格数目，并进行角点检测；
所述计算单元，用于进行参数的初始化和非线性最优化，计算数码相机的内参数和畸变系数；
所述校正单元，用于基于所述内参数和畸变系数，计算畸变映射，对影像数据进行校正。
8.根据权利要求6所述配准***，其特征在于，所述去噪精简处理模块包括距离计算单元、整体平均距离和方差计算单元、去除单元和降采样单元；
所述距离计算单元，用于计算三维激光点云中每个点到前若干个紧邻点的距离；
所述整体平均距离和方差计算单元，用于根据所述距离计算点云中的整体平均距离和方差；
所述去除单元，用于将其距离大于等于整体平均距离与标准差倍数*方差之和的点视为噪声点，并进行去除；
所述降采样单元，用于设定最小体素尺度，将原始点云放入三维网格中，每个包含多个点的最小体素用其中一个点替代，完成体素降采样。
9.根据权利要求6所述配准***，其特征在于，所述初始配准模块包括坐标关系确定单元、坐标转换单元、共线方程确定单元和初配准单元；
所述坐标关系确定单元，用于确定激光点云的三维激光雷达坐标与同名图像点的像空间辅助坐标间的关系为
Figure FDA0003937775500000041
式中，[XI YI ZI]T为图像点的像空间辅助坐标；[XH YH ZH]T为激光点在三维激光雷达坐标系下的坐标；RIH和CIH分别表示像空间辅助坐标系和三维激光雷达坐标系间的旋转矩阵和平移变量；
所述坐标转换单元，用于求得影像数据关键帧的图像点像空间辅助坐标与其WGS-84坐标系间的转换关系：
Figure FDA0003937775500000051
Figure FDA0003937775500000052
CIW＝TKW+RKWTHK+RKWRHKCIH。
所述共线方程确定单元，用于基于所述转换关系，得出共线方程为：
Figure FDA0003937775500000053
式中：x，y为像点的像平面坐标；x0，y0，f为影像的内方位元素；XC，YC，ZC为摄像机中心的物方空间坐标；X，Y，Z为激光点的物方空间坐标；ai，bi，ci(i＝1，2，3)为影像的3个外方位元素；
所述初配准单元，用于通过所述共线方程将激光点云和影像数据进行初配准。
10.根据权利要求6所述配准***，其特征在于，所述高精度配准模块包括第一次迭代单元、选权迭代单元、判定单元和迭代终止单元；
所述第一次迭代单元，用于根据共线方程的误差方程以最小二乘迭代开始，第一次迭代应用POS位置姿态数据值的权阵为单位矩阵；
所述选权迭代单元，用于应用第一次迭代的残差，计算第二次迭代的权函数，进行改进的丹麦法选权迭代；
所述判定单元，用于计算单位权中误差，如果不满足条件，循环至S402，直至精度满足要求；
所述迭代终止单元，用于按照所述共线方程的误差方程，以第三次迭代为分界点，迭代终止的条件为影像数据关键帧图像角元素改正数经两次运算的差值为0.1′。
CN202211409046.XA 2022-11-11 2022-11-11 一种配准方法及*** Active CN115690380B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211409046.XA CN115690380B (zh) 2022-11-11 2022-11-11 一种配准方法及***
PCT/CN2022/131556 WO2024098428A1 (zh) 2022-11-11 2022-11-11 一种配准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211409046.XA CN115690380B (zh) 2022-11-11 2022-11-11 一种配准方法及***

Publications (2)

Publication Number Publication Date
CN115690380A true CN115690380A (zh) 2023-02-03
CN115690380B CN115690380B (zh) 2023-07-21

Family

ID=85052974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211409046.XA Active CN115690380B (zh) 2022-11-11 2022-11-11 一种配准方法及***

Country Status (2)

Country Link
CN (1) CN115690380B (zh)
WO (1) WO2024098428A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117518197A (zh) * 2024-01-08 2024-02-06 太原理工大学 煤矿井下掘进巷道的轮廓标示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973052B1 (ko) * 2009-04-24 2010-07-30 서울시립대학교 산학협력단 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法
CN112465849A (zh) * 2020-11-27 2021-03-09 武汉大学 一种无人机激光点云与序列影像的配准方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194936B2 (en) * 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion
CN109087339A (zh) * 2018-06-13 2018-12-25 武汉朗视软件有限公司 一种激光扫描点与影像配准方法
CN110458874B (zh) * 2019-07-17 2023-03-28 苏州博芮恩光电科技有限公司 一种图像非刚性配准方法和***
KR20220112072A (ko) * 2021-02-03 2022-08-10 한국전자통신연구원 점군 데이터 정합 오차 최소점 탐색 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973052B1 (ko) * 2009-04-24 2010-07-30 서울시립대학교 산학협력단 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法
CN112465849A (zh) * 2020-11-27 2021-03-09 武汉大学 一种无人机激光点云与序列影像的配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117518197A (zh) * 2024-01-08 2024-02-06 太原理工大学 煤矿井下掘进巷道的轮廓标示方法
CN117518197B (zh) * 2024-01-08 2024-03-26 太原理工大学 煤矿井下掘进巷道的轮廓标示方法

Also Published As

Publication number Publication date
CN115690380B (zh) 2023-07-21
WO2024098428A1 (zh) 2024-05-16

Similar Documents

Publication Publication Date Title
CN109903352B (zh) 一种卫星遥感影像大区域无缝正射影像制作方法
CN109410256B (zh) 基于互信息的点云与影像自动高精度配准方法
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN101699313B (zh) 基于摄像机和三维激光雷达的外部参数标定方法及***
CN110244302B (zh) 地基合成孔径雷达影像像元坐标三维变换方法
CN109727278B (zh) 一种机载LiDAR点云数据与航空影像的自动配准方法
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN112465732A (zh) 一种车载激光点云与序列全景影像的配准方法
CN110363758B (zh) 一种光学遥感卫星成像质量确定方法及***
CN111003214B (zh) 基于云控制的国产陆地观测卫星姿轨精化方法
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及***
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及***
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
CN108230375A (zh) 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法
Tao et al. Use of the rational function model for image rectification
CN115578448B (zh) 一种基于ccd观测数据批处理的天文定位方法及***
CN112270698A (zh) 基于最邻近曲面的非刚性几何配准方法
Wang et al. Large-scale orthorectification of GF-3 SAR images without ground control points for China’s land area
CN115690380B (zh) 一种配准方法及***
CN115496783A (zh) 一种室内空间三维彩色点云生成方法
CN116758234A (zh) 一种基于多点云数据融合的山地地形建模方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN109029379B (zh) 一种高精度小基高比立体测绘方法
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN111611525B (zh) 基于物方匹配高程偏差迭代修正的遥感数据高程解算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant