CN103744086B - 一种地面激光雷达与近景摄影测量数据的高精度配准方法 - Google Patents

一种地面激光雷达与近景摄影测量数据的高精度配准方法 Download PDF

Info

Publication number
CN103744086B
CN103744086B CN201310717984.0A CN201310717984A CN103744086B CN 103744086 B CN103744086 B CN 103744086B CN 201310717984 A CN201310717984 A CN 201310717984A CN 103744086 B CN103744086 B CN 103744086B
Authority
CN
China
Prior art keywords
image
point cloud
short
point
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310717984.0A
Other languages
English (en)
Other versions
CN103744086A (zh
Inventor
王晏民
胡春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN201310717984.0A priority Critical patent/CN103744086B/zh
Publication of CN103744086A publication Critical patent/CN103744086A/zh
Application granted granted Critical
Publication of CN103744086B publication Critical patent/CN103744086B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种地面激光雷达与近景摄影测量数据的高精度配准方法,包括:首先获取被扫描物的多张近景摄影图像,并通过地面激光雷达获取所述被扫描物的三维点云;接着基于多张近景摄影图像的金字塔影像进行SIFT特征提取与匹配,并根据匹配结果生成被扫描物的***模型;以三维点云和影像中的特征点为控制点对***模型进行光束法平差以实现对多张近景摄影图像的粗定向;基于三维点云基准面均匀网格对点云采样生成的三维点云深度图像模型完成多张近景摄影图像中相邻两张近景摄影图像的同名像点的预测和密集匹配,并生成被扫描物的影像点云;对获取的被扫描物的三维点云与影像点云进行迭代最近点算法ICP循环迭代配准最后实现高精度配准。

Description

一种地面激光雷达与近景摄影测量数据的高精度配准方法
技术领域
本发明属于地面激光雷达与摄影测量数据融合领域。由于地面激光雷达数据需要纹理数据,所以需要二者进行配准后,方能进行数据融合。本发明主要研究地面激光雷达点云与摄影测量影像的高精度配准的新方法,从而进行两种数据后续的融合和重建。
背景技术
地面激光雷达能够快速、大面积、高精度的获取被扫描对象的三维点云模型,从而进行三维几何重建,但是其缺乏纹理信息,要通过与纹理影像的配准方能进行三维纹理重建。目前,获取纹理的方式有两种:一种是单张纹理影像,另一种是摄影测量影像。单张纹理影像与点云的配准是二维与三维的配准,由于两种数据分辨率的差异,纹理映射时相邻两张影像会出现纹理接缝现象,但是摄影测量数据相邻影像间应用匹配技术进行连接,匹配精度在一个像素内就消除了接缝问题,所以,本发明针对激光雷达与摄影测量数据的配准进行研究。
摄影测量数据可以通过二维影像恢复三维信息,生成影像点云,影像点云与三维点云进行配准,使激光雷达数据具有纹理信息,达到数据融合的目的。目前,国内外学者对该问题已经进行了一些研究。A.F.Habib等于2005年探讨了LIDAR点云与与数字近景摄影测量一体化的方法,将LIDAR数据作为控制框架来确定像对比例参数,并给出了利用线性特征来完成LIDAR点云与影像的对应关系,同时还探讨了基于影像数据分割的点云中岩石信息的提取,但是该方法的线性特征使用手动进行的提取。Kwak等也做了利用平面特征来实现航空LIDAR与影像数据配准。武汉大学的邓非于2007年提出了一种激光扫描数据和数字图像配准的方法。该方法基于立体像对匹配点与三维扫描点云的最近邻迭代配准。该算法计算量比较大,并且需要人工在激光点云和数字影像上粗略地选取若干连接点计算初始外方位元素值,精确度会受到影响。中国科学院光电研究院的米晓峰于2010等提出了一种LiDAR数据与立体像对的自动配准方法,通过立体相对特征点光线与LiDAR三角网相交的三维点的一致性对影像的姿态参数进行修正而得到同名匹配点,从而进行两种数据的配准,达到点云数据与影像数据的融合。武汉大学的翟瑞芳等与2011年用旋转平台扫描***与摄影方法实现小型文物的激光点云与影像点云的融合,两者融合配准选用了控制点初定位与ICP相结合的算法,对于纹理重建没有做深入研究。这种摄影方式的配准方式主要是影像点云与激光点云的配准,对于纹理匮乏的对象,影像点云难以生成,配准比较困难。李海亮等于2012年研究利用影像边缘修补点云,摄影幅面较大,没有考虑关键特征的提取与匹配,且影像配准中手工选取控制点,误差较大,无法完成复杂场景的精密修补与精确融合,效率也低。赵自明等于2012年也做了类似研究,将影像与点云进行配准,然后利用影像投影边缘构造局部曲面内插来修补点云数据,能够修补一些规则或平滑曲面特征,对于复杂形体修补欠缺且研究不涉及纹理模型的重建。
上述研究成果,有的是自动化程度低,有的是在某些已知条件下生成影像点云模型,然后进行影像点云与激光雷达扫描点云的配准。目前近景摄影测量影像是用非量测相机人工获取的,并且在扫描对象上无影像控制点,在无控制点的情况下,就要以激光扫描点云为整体控制,这种情况不符合原来摄影测量数据的处理方式,不能生成准确的影像点云与之进行配准,这也是本发明要解决的主要问题。
发明内容
本发明针对以上要解决的技术问题,提出了一种地面激光雷达与近景摄影测量数据的高精度配准方法,该方法实现了无控制点条件下摄影测量影像的高精度定向,同时给出了以激光雷达点云为约束的影像密集点云的生成方法,最后实现了以激光雷达点云为控制的摄影测量数据与激光雷达数据的高精度配准。
本发明提供的技术方案为:
一种地面激光雷达与近景摄影测量数据的高精度配准方法,其包括以下步骤:
步骤一、获取被扫描物的多张近景摄影图像,并通过地面激光雷达获取所述被扫描物的三维点云;
步骤二、生成所述多张近景摄影图像对应的金字塔影像,并基于多张近景摄影图像的金字塔影像进行由粗到细的SIFT特征提取与匹配,与此同时根据匹配结果建立被扫描物的***模型;
步骤三、从所述三维点云和其中几张近景摄影图像上任意选取至少四对控制点,并基于所述控制点对所述***模型进行光束法平差以实现对多张近景摄影图像的粗定向;
步骤四、对完成粗定向的多张近景摄影图像中的第一张近景摄影图像分网格提取密集特征点,并以三维点云的深度图像模型为约束,获取每个特征点在相邻的第二张近景摄影图像上的概略位置,然后再进行灰度匹配和最小二乘匹配,以此完成多张近景摄影图像中相邻两张近景摄影图像的同名像点的密集匹配;
步骤五、基于上述密集匹配结果生成被扫描物的影像点云;
步骤六、对获取的被扫描物的三维点云与影像点云进行迭代最近点算法ICP循环迭代以实现高精度配准。
优选的是,所述地面激光雷达与近景摄影测量数据的高精度配准方法还包括:
步骤七、若被扫描物的三维点云与影像点云配准精度不够,则根据最终的配准结果选取出高精度配准点,返回所述步骤三继续进行配准,直到满足设定的配准精度。
优选的是,所述步骤二中,所述SIFT特征提取与匹配的过程包括:
首先对多张近景摄影图像的顶层金字塔影像进行SIFT特征提取与匹配和RANSAC提纯,并应用双向匹配一致性约束进行反向匹配;
其次对下一层金字塔影像进行SIFT特征提取与匹配,并基于上一层金字塔影像的匹配结果进行误匹配点的剔除,直到最底层金字塔影像。
优选的是,在不同近景摄影图像的最底层金字塔影像还包括利用最小二乘法进行同名像点的匹配。
优选的是,所述步骤四中,包括:
将获得的第一张近景摄影图像上的各个密集特征点分别与该影像的摄影中心构成一条空间直线,并计算每一个密集特征点对应的空间直线与三维点云深度图像模型的基准面之间的交点;
对于求得的与基准面的每一个交点而言,
计算其在深度图像模型基准面中的第一格网号,并利用此时的基准面空间位置、第一格网号及该第一格网号上的深度值重新生成一个平行于所述基准面的第一平面;
再根据该空间直线与第一平面的交点计算该交点在第一平面中的第二格网号,继续利用第一平面的空间位置、第二格网号及该第二格网号的深度值再重新生成一个平行于所述基准面的第二平面;
直到获得的格网号的深度值小于预设阈值,即确定该格网号所对应的深度图像模型上的点为该空间直线对应的密集特征点在深度图像模型上的物方点。
优选的是,还包括:
根据获得的第一张近景摄影图像上的各个密集特征点在深度图像模型上的物方点,分别与第二张近景摄影图像的摄影中心构成一条空间直线,计算这些空间直线与所述第二张近景摄影图像的空间平面方程的交点,得到第一张近景摄影图像上的各个密集特征点在第二张近景摄影图像上同名点的概略位置。
优选的是,所述第二张近景摄影图像的空间平面方程由其粗定向参数确定。
优选的是,所述步骤五中,采用前方交会的方法获取被扫描物的影像点云。
本发明提供的方法解决了无控制点条件下的激光雷达点云与摄影测量数据的高精度配准,以SIFT匹配和激光雷达点为控制点进行粗配准,再应用激光雷达深度图像数据模型为约束进行影像的密集匹配生成影像点云,应用影像点云与激光雷点云的循环迭代配准修正影像定向参数,直至影像点云与激光点云配准精度满足要求为止。该方案打破了原有的需要控制点生成高精度影像点云再与激光雷达点云进行配准的方式,采取由粗到细的循环迭代配准的方式达到两种数据的高精度配准。
具体来说,可体现在以下几方面:
其一、本发明无需在被扫描物上建立控制点,应用激光扫描点云作为整体的控制,较之目前的通过建立控制点生成影像点云的方法相比,该发明即保护了扫描的对象(如一些文化遗产),又提高了工作效率;
其二、本发明以被扫描物的激光雷达深度图像数据模型为约束,生成影像密集点云,保证影像点云的密度进而与激光雷达点云进行迭代最近点算法ICP配准,该发明较之目前的应用核线约束的匹配,缩小了匹配范围,提高了匹配的准确度和效率;
其三、本发明采用由粗到细、循环迭代的方式,达到了摄影测量影像与激光扫描点云的高精度配准。应用粗定向的点云与激光点云配准结果,提取高精度的控制点,对影像定向结果进行修正,然后再与点云配准,最后达到两者的高精度配准。较之目前的先应用控制点获取影像点云然后再与激光点云配准的方法,该发明的理论更严密,结果更精确。
附图说明
图1为本发明提供的激光三维点云与近景摄影图像的整体配准流程图;
图2为本发明提供的其中一种实施例的两张近景摄影图像的顶层金字塔影像的SIFT特征匹配示意图;
图3为图2中两张近景摄影图像的下一层金字塔影像的SIFT特征匹配示意图;
图4为图2中两张近景摄影图像的最终SIFT特征匹配示意图;
图5为本发明提供的近景摄影图像的金字塔影像SIFT特征匹配流程图;
图6为本发明提供的多张近景摄影图像的SIFT特征匹配效果图;
图7为本发明提供的多张近景摄影图像的粗定向流程图;
图8为本发明其中一种实施例的近景摄影图像的密集特征点的提取效果图;
图9为本发明提供的相邻两张近景摄影图像的同名像点的预测示意图;
图10为本发明其中一种实施例的相邻两张近景摄影图像的同名像点的密集匹配结果;
图11为本发明其中一种实施例的被扫描物的三维点云模型;
图12为本发明其中一种实施例的被扫描物的三维点云模型与影像点云的配准效果图;
图13为图12中的被扫描物的三维点云模型与影像点云配准后的三维重建示意图;
图14为求取近景摄影图像上密集特征点对应的空间直线与三维点云深度图像模型的基准面交点的示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
地面激光雷达通过扫描的方式获取被扫描物的三维信息,进行几何重建。为了完成纹理重建需对对象进行拍照,通过两种数据的配准进行三维纹理重建。单张影像与点云的配准由于两者分辨率的差异,在纹理重建时相邻两张影像间会出现纹理接缝现象,所以本发明针对激光雷达扫描点云和近景摄影测量影像进行研究,用高重叠度影像的相对定向消除相邻影像间的纹理接缝,用影像点云与激光点云间高精度的配准进行三维重建。
如图1所示为本发明提供的激光三维点云与近景摄影图像的整体配准流程图,即本发明提供了一种地面激光雷达与近景摄影测量数据的高精度配准方法,包括以下步骤:
步骤一、获取被扫描物的多张近景摄影图像,并通过地面激光雷达获取所述被扫描物的三维点云(激光点云);
步骤二、生成所述多张近景摄影图像对应的金字塔影像,并基于多张近景摄影图像的金字塔影像进行SIFT特征提取与匹配(基于SIFT特征实现影像连接点的自动匹配),与此同时根据匹配结果生成被扫描物的***模型;
这里,所述SIFT特征提取与匹配的过程包括:
首先对多张近景摄影图像的顶层金字塔影像进行SIFT特征提取与匹配和RANSAC提纯,并应用双向匹配一致性约束进行反向匹配;
其次对下一层金字塔影像进行SIFT特征提取与匹配,并基于上一层金字塔影像的匹配结果进行误匹配点的剔除,直到最底层金字塔影像。
具体来说,匹配整体思路是:在纵向上以SIFT特征匹配和最小二乘匹配为基础,在横向上以每层金字塔影像匹配结果为约束条件,进行粗差的剔除,并根据金字塔影像的特点,对每层影像的误匹配点剔除按照约束条件的可靠性采取由粗到细、层层递进的策略。整体匹配过程如下:
101、在两张相邻近景摄影图像的顶层金字塔影像上进行SIFT特征匹配和RANSAC提纯,并应用双向匹配一致性约束进行反向匹配。根据江万寿在博士论文中所叙述的,顶层影像生成的匹配点有很高的可靠性。本发明也通过大量的实验证明了这一点,如图2所示,虽然匹配出的同名点有限,但是匹配可靠性很好。
102、在上述两张近景摄影图像的下一层金字塔影像中,同样进行SIFT特征匹配。这时生成了很多匹配点,从匹配结果中可以明显看出一些误匹配点,如图3所示。此时应用唯一性约束、连续性约束、RANSAC约束、反相匹配约束对匹配点对进行提纯处理,直至底层影像。
103、在最底层影像中同样也进行SIFT特征提取与匹配,经过误匹配的剔除后,同名点的可靠性和精度已经很高,但是为了进一步提高匹配精度,在此应用最小二乘匹配进行高精度配准。最后的匹配结果如图4所示。图5给出了本发明提供的近景摄影图像的金字塔影像SIFT特征匹配流程图,一般需要经过彩色影像的灰度转换、影像畸变校正、滤波处理才生成近景摄影图像的金字塔影像。
应用上述的匹配方法进行近景摄影图像间连接点的自动匹配,图6给出了本发明提供的多张近景摄影图像的SIFT特征匹配效果图。
接着,根据不同近景摄影图像之间匹配好的连接点进行相对定向模型连接,以生成被扫描物的***模型。
步骤三、从所述三维点云和其中几张近景摄影图像上任意选取至少四对控制点,并基于所述控制点对所述***模型进行光束法平差以实现对多张近景摄影图像的粗定向;
这里,由于激光点(三维点云)的精度有限,所以该定向过程为粗定向。图7给出了本发明提供的多张近景摄影图像的粗定向流程图;其中对影像的粗定向即可获取影像的外方位元素。所述外方位元素就是要确定相机在摄影瞬间的位置和姿态(x0,y0,z0;ω,φ,κ),其中,x0,y0,z0表征了影像的摄影中心在地面坐标系中的坐标,ω,φ,κ描述了摄影光束空间姿态的三个角元素。
步骤四、对完成粗定向的多张近景摄影图像中的第一张近景摄影图像分网格提取密集特征点,并以三维点云的深度图像模型为约束,获取每个特征点在相邻的第二张近景摄影图像上的概略位置,以此完成多张近景摄影图像中相邻两张近景摄影图像的同名像点的密集匹配;
这里,首先为了使扫描物的影像点云能够比较均匀,易于与激光点云进行配准,本发明对影像进行分网格密集提取,应用Harris特征进行提取,提取的结果如图8所示。Harris算子计算简单,稳定性好,可快速提取出稳定的特征点,但其精度只能达到整像素级;而算子定位精度高,可达子像素级,但需要确定阈值,因此受图像灰度、对比度变化的影响。因此可将二者结合起来,即用Harris算子提取出一定数量的特征点,然后用这些特征点作为的最佳窗口的中心点,在窗口内进行加权重心化,以精确定位特征点。
由于分网格提取的点数量大,为了快速高精度的匹配,本发明应用激光雷达获得的三维点云的深度图像模型作为约束。深度图像模型是根据点云的分块结果,拟合平面基准面,在基准面上分网格内插出格网点到点云的深度值得到。该图像具有空间位置和姿态,以二维点阵方式存储点云到该平面的深度,通过相应参数的计算,可以表达三维模型。在步骤三影像粗定向的基础上,可以通过该深度图像模型对相邻两张近景摄影图像的同名像点进行预测,如图9所示。
应用深度图像模型进行约束的点云密集匹配的过程如下:
首先、将获得的第一张近景摄影图像上的各个密集特征点分别与该影像的摄影中心s1构成一条空间直线,并计算每一个密集特征点对应的空间直线与三维点云深度图像模型的基准面之间的交点,计算过程如下:
如图14所示,直线与平面存在交点,已知直线L过点m(m1,m2,m3),方向向量VL(v1,v2,v3),平面P过点n(n1,n2,n3),平面法向量Vp(vp1,vp2,vp3),求得直线与平面的交点为o(x,y,z),下面将详细介绍求解过程:
直线方程的参数方程形式如下式(1):
x=m1+v1*t
y=m2+v2*t(1)
z=m3+v3*t
平面的点法式方程形式如式(2):
vp1*(x-n1)+vp2*(y-n2)+vp3*(z-n3)=0(2)
则直线与平面的交点一定满足式(1)、(2),将上两式联立求得:
t = ( ( n 1 - m 1 ) * v p 1 + ( n 2 - m 2 ) * v p 2 + ( n 3 - m 3 ) * v p 3 ) ( v p 1 * v 1 + v p 2 * v 2 + v p 3 * v 3 ) - - - ( 3 )
将式(3)代入(1)即可求得交点o(x,y,z)。
对于求得的与基准面的每一个交点o(x,y,z)而言,
计算其在深度图像模型基准面中的第一格网号,计算公式如下:
nX=(XA-dX)/Csize
nY=(YA-dY)/Csize(4)
式中,nX,nY为格网的行列号,dX,dY为深度图像基准面左下角坐标,Csize为格网的大小;
接着利用此时的深度图像模型基准面空间位置、第一格网号及该第一格网号上的深度值重新生成一个平行于所述基准面的第一平面;
再根据该空间直线与第一平面的交点计算该交点在第一平面中的第二格网号,继续利用第一平面的空间位置、第二格网号及该第二格网号的深度值再重新生成一个平行于所述基准面的第二平面;
直到获得的格网号的深度值小于预设阈值,即确定该格网号所对应的深度图像模型上的点为该空间直线对应的密集特征点在深度图像模型上的物方点。以上方法其本质上就是为了求得空间直线与空间曲面(深度图像模型)的交点,因为若直接求空间直线与曲面的交点会很复杂,计算量也相当大,因此本发明才提出这样一种独特的方法来确定二者的交点,该方法简单且便于理解。这里值得注意的是,第一平面、第二平面等均相当于是深度图像模型的基准面沿着基准面法线方向平移得到的,其上仍然有基准面所带有的格网号。本发明通过不断平移深度图像模型的基准面来获得格网号所对应的深度图像模型上的点进而得到物方点。
最后,根据获得的第一张近景摄影图像上的各个密集特征点在深度图像模型上的物方点,分别与第二张近景摄影图像的摄影中心s2构成一条空间直线,计算这些空间直线与所述第二张近景摄影图像的空间平面的交点,得到第一张近景摄影图像上的各个密集特征点在第二张近景摄影图像上同名点的概略位置。
通过以上方法完成已经粗定向的多张近景摄影图像中相邻两张近景摄影图像的同名像点的密集匹配。如图10所示,其为本发明其中一种实施例的相邻两张近景摄影图像的同名像点的密集匹配结果。
步骤五、基于上述密集匹配结果生成被扫描物的影像点云;
这里根据步骤四中相邻两张近景摄影图像的密集匹配结果中采用前方交会的方法获取被扫描物的影像点云。
步骤六、对获取的被扫描物的三维点云与影像点云进行迭代最近点算法ICP循环迭代配准,即以每次配准后高精度的配准点对为基础对影像进行重新定向并生成影像点云,直至影像点云与激光点云配准精度达到要求,最后实现高精度配准。
其中图11给出了其中一种实施例的被扫描物的三维点云模型。
具体来说,步骤五中生成的影像点云为影像粗定向结果生成的,但是已经于激光点云在空间上非常的接近,为了能够达到最佳套合,本发明还进行ICP迭代最邻近点算法进行精确配准。
ICP(IterativeClosestPointAlgorithm)算法1992年由Besl教授提出的,并将其应用于两个网面之前的对准。算法要求一个网面是另一个网面的严格子集。其目的是确定两个坐标系之间的旋转参数F,包括旋转矩阵R和平移向量T,使得两个坐标系中的点P与Q重合,即FP=Q。但是,实际中P和Q是不能够完全重合的,该问题就转换为寻找参数F,使得|FP-Q|X|FP-Q|的值最小,即通过迭代寻找到均方差最小的变换(郑莉,2007)。
ICP(迭代最近点算法ICP)算法使用了七参数向量X=[q0,qx,qy,qz,tx,ty,tz]作为旋转和平移的表示方法,其中(即单位四元数条件)。令迭代原始采样点集为P,对应曲面模型S,距离函数定义如下:
d ( p , S ) = m i n x ∈ X || x - p || - - - ( 4 - 41 )
ICP算法(迭代最近点算法ICP)使用了七参数向量X=[q0,qx,qy,qz,tx,ty,tz]作为旋转和平移的表示方法,其中(即单位四元数条件)。令迭代原始采样点集为P,对应曲面模型S,距离函数定义如下:
d ( p , S ) = m i n x ∈ X || x - p || - - - ( 4 - 41 )
P到模型S的最近点之间的距离即是p到S的距离。
迭代最近点算法ICP处理过程如下:设定参数向量X的初始值X0为:X0=[1,0,0,0,0,0,0]T,模型S采样点集为C0
1)由点集中的点Pk,在曲面S上计算相应最近点点集Ck
2)计算参数向量Xk+1,该项计算通过点集到点集配准过程。得到参数向量Xk+1后计算距离平方和值为dk
3)用参数向量Xk+1,生成一个新的点集Pk+1,重复1);
4)当距离平方和的变化小于预设的阀值t时就停止迭代,停止迭代的判断准则为:dk-dk+1<t。
影像匹配点云与激光点云的配准精度,使用中误差(RootMeanSquareError,RMS)作为评定的指标。RMS的数学表达如下:
r m s = ( X 1 &prime; - X 1 ) 2 + ( Y 1 &prime; - Y 1 ) 2 + ( Z 1 &prime; - Z 1 ) 2 + ... + ( X n &prime; - X n ) 2 + ( Y n &prime; - Y n ) 2 + ( Z n &prime; - Z n ) 2 3 n - u
为了提高影像定向的结果,每次迭代最近点算法ICP迭代后,如果精度不满足要求,选择出配准精度高的点,再次对影像进行光束法平差,应用此平差结果进行影像点云的生成,然后再次进行迭代最近点算法ICP配准,直到精度满足要求为止。图12给出了本发明其中一种实施例的被扫描物的三维点云模型与影像点云的配准效果图,图13给出了图12中的被扫描物的三维点云模型与影像点云配准后的三维重建示意图。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,包括以下步骤:
步骤一、获取被扫描物的多张近景摄影图像,并通过地面激光雷达获取所述被扫描物的三维点云;
步骤二、生成所述多张近景摄影图像对应的金字塔影像,并基于多张近景摄影图像的金字塔影像进行由粗到细的SIFT特征提取与匹配,与此同时根据匹配结果建立被扫描物的***模型;
步骤三、从所述三维点云和其中几张近景摄影图像上任意选取至少四对控制点,并基于所述控制点对所述***模型进行光束法平差以实现对多张近景摄影图像的粗定向;
步骤四、对完成粗定向的多张近景摄影图像中的第一张近景摄影图像分网格提取密集特征点,并以三维点云的深度图像模型为约束,获取每个特征点在相邻的第二张近景摄影图像上的概略位置,然后再进行灰度匹配和最小二乘匹配,以此完成多张近景摄影图像中相邻两张近景摄影图像的同名像点的密集匹配;
步骤五、基于上述密集匹配结果生成被扫描物的影像点云;
步骤六、对获取的被扫描物的三维点云与影像点云进行迭代最近点算法ICP循环迭代以实现高精度配准。
2.如权利要求1所述的地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,还包括:
步骤七、若被扫描物的三维点云与影像点云配准精度不够,则根据最终的配准结果选取出高精度配准点,返回所述步骤三继续进行配准,直到满足设定的配准精度。
3.如权利要求1所述的地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,所述步骤二中,所述SIFT特征提取与匹配的过程包括:
首先对多张近景摄影图像的顶层金字塔影像进行SIFT特征提取与匹配,并应用双向匹配一致性约束进行反向匹配;
其次对下一层金字塔影像进行SIFT特征提取与匹配,并基于上一层金字塔影像的匹配结果进行误匹配点的剔除,直到最底层金字塔影像。
4.如权利要求3所述的地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,在不同近景摄影图像的最底层金字塔影像还包括利用最小二乘法进行同名像点的匹配。
5.如权利要求1所述的地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,所述步骤四中,包括:
将获得的第一张近景摄影图像上的各个密集特征点分别与该影像的摄影中心构成一条空间直线,并计算每一个密集特征点对应的空间直线与三维点云深度图像模型的基准面之间的交点;
对于求得的与基准面的每一个交点而言,
计算其在深度图像模型基准面中的第一格网号,并利用此时的基准面空间位置、第一格网号及该第一格网号上的深度值重新生成一个平行于所述基准面的第一平面;
再根据该空间直线与第一平面的交点计算该交点在第一平面中的第二格网号,继续利用利用第一平面的空间位置、第二格网号及该第二格网号的深度值再重新生成一个平行于所述基准面的第二平面;
直到获得的格网号的深度值小于预设阈值,即确定该格网号所对应的深度图像模型上的点为该空间直线对应的密集特征点在深度图像模型上的物方点。
6.如权利要求5所述的地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,还包括:
根据获得的第一张近景摄影图像上的各个密集特征点在深度图像模型上的物方点,分别与第二张近景摄影图像的摄影中心构成一条空间直线,计算这些空间直线与所述第二张近景摄影图像的空间平面方程的交点,得到第一张近景摄影图像上的各个密集特征点在第二张近景摄影图像上同名点的概略位置。
7.如权利要求6所述的地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,所述第二张近景摄影图像的空间平面方程由其粗定向参数确定。
8.如权利要求1所述的地面激光雷达与近景摄影测量数据的高精度配准方法,其特征在于,所述步骤五中,采用前方交会的方法获取被扫描物的影像点云。
CN201310717984.0A 2013-12-23 2013-12-23 一种地面激光雷达与近景摄影测量数据的高精度配准方法 Expired - Fee Related CN103744086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310717984.0A CN103744086B (zh) 2013-12-23 2013-12-23 一种地面激光雷达与近景摄影测量数据的高精度配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310717984.0A CN103744086B (zh) 2013-12-23 2013-12-23 一种地面激光雷达与近景摄影测量数据的高精度配准方法

Publications (2)

Publication Number Publication Date
CN103744086A CN103744086A (zh) 2014-04-23
CN103744086B true CN103744086B (zh) 2016-03-02

Family

ID=50501121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310717984.0A Expired - Fee Related CN103744086B (zh) 2013-12-23 2013-12-23 一种地面激光雷达与近景摄影测量数据的高精度配准方法

Country Status (1)

Country Link
CN (1) CN103744086B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2736506C1 (ru) * 2019-12-30 2020-11-17 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") Способ автоматического локального повышения точности данных воздушного лазерного сканирования с использованием данных наземного лазерного сканирования

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007444B (zh) * 2014-06-09 2017-02-08 北京建筑大学 一种基于中心投影的地面激光雷达反射强度图像的生成方法
CN104063860A (zh) * 2014-06-12 2014-09-24 北京建筑大学 一种激光点云边缘精细化的方法
CN104166989B (zh) * 2014-07-04 2017-02-15 电子科技大学中山学院 一种用于二维激光雷达点云匹配的快速icp方法
CN104751451B (zh) * 2015-03-05 2017-07-28 同济大学 基于无人机低空高分辨率影像的密集点云提取方法
CN104964669B (zh) * 2015-06-05 2017-07-07 北京建筑大学 类柱面文物对象正射影像生成方法
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
CN105866791B (zh) * 2016-05-20 2018-06-08 中铁第一勘察设计院集团有限公司 采用靶标控制网提高车载LiDAR点云数据精度的方法
CN106023319B (zh) * 2016-05-27 2019-04-12 青岛秀山移动测量有限公司 一种基于ccd照片的激光点云地物目标结构特征修补方法
US10838067B2 (en) * 2017-01-17 2020-11-17 Aptiv Technologies Limited Object detection system
CN108334802B (zh) * 2017-01-20 2022-10-28 腾讯科技(深圳)有限公司 道路特征物的定位方法及装置
CN109215110A (zh) * 2017-07-21 2019-01-15 湖南拓视觉信息技术有限公司 全场景扫描装置及三维扫描建模***
CN107657656B (zh) * 2017-08-31 2023-11-10 成都通甲优博科技有限责任公司 同名点匹配及三维重建方法、***和光度立体摄像终端
CN108364343B (zh) * 2018-01-11 2021-07-09 东南大学 一种近景摄影的快速布控方法
CN108470370B (zh) * 2018-03-27 2021-10-15 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN108830921A (zh) * 2018-05-16 2018-11-16 陈年康 基于入射角度的激光点云反射强度纠正方法
CN109087339A (zh) * 2018-06-13 2018-12-25 武汉朗视软件有限公司 一种激光扫描点与影像配准方法
CN111090084A (zh) * 2018-10-24 2020-05-01 舜宇光学(浙江)研究院有限公司 多激光雷达外参标定方法、标定装置、标定***和电子设备
CN109657559B (zh) * 2018-11-23 2023-02-07 盎锐(上海)信息科技有限公司 点云深度感知编码引擎装置
CN109727278B (zh) * 2018-12-31 2020-12-18 中煤航测遥感集团有限公司 一种机载LiDAR点云数据与航空影像的自动配准方法
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN109978791A (zh) * 2019-03-28 2019-07-05 苏州市建设工程质量检测中心有限公司 一种基于倾斜摄影和三维激光扫描融合的桥梁监测方法
CN110070567B (zh) * 2019-04-28 2021-06-11 中铁七局集团有限公司 一种地面激光点云配准方法
CN110288636B (zh) * 2019-05-05 2020-02-18 中国矿业大学 一种基于平面特征约束的LiDAR点云无初值配准方法
CN110223389B (zh) * 2019-06-11 2021-05-04 中国科学院自动化研究所 融合图像与激光数据的场景建模方法、***、装置
CN110880202B (zh) * 2019-12-02 2023-03-21 中电科特种飞机***工程有限公司 一种三维地形模型创建方法、装置、设备及存储介质
CN111457930B (zh) * 2020-04-02 2021-11-23 武汉中海庭数据技术有限公司 一种利用车载Lidar与无人机联合的高精度测图定位方法
CN111862315A (zh) * 2020-07-25 2020-10-30 南开大学 一种基于深度相机的人体多尺寸测量方法及***
CN112001955A (zh) * 2020-08-24 2020-11-27 深圳市建设综合勘察设计院有限公司 一种基于二维投影平面匹配约束的点云配准方法及***
WO2022120698A1 (en) * 2020-12-10 2022-06-16 Intel Corporation Method and system of image processing with increased subjective quality 3d reconstruction
CN114627275B (zh) * 2022-03-29 2022-11-29 南京航空航天大学 一种基于多源异构数据的整机测量点云融合方法
CN117422645A (zh) * 2023-11-14 2024-01-19 中国科学院长春光学精密机械与物理研究所 基于置信度聚合的雷达点云形状补全方法
CN117437288B (zh) * 2023-12-19 2024-05-03 先临三维科技股份有限公司 摄影测量方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0636901A3 (zh) * 1993-08-01 1995-02-15 Israel State
CN102298793A (zh) * 2011-08-18 2011-12-28 北京建筑工程学院 一种获取文物三维图形数据的方法
CN102446354A (zh) * 2011-08-29 2012-05-09 北京建筑工程学院 一种高精度多源地面激光点云的整体配准方法
CN103017739A (zh) * 2012-11-20 2013-04-03 武汉大学 基于激光雷达点云与航空影像的真正射影像的制作方法
CN103295239A (zh) * 2013-06-07 2013-09-11 北京建筑工程学院 一种基于平面基准影像的激光点云数据的自动配准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0636901A3 (zh) * 1993-08-01 1995-02-15 Israel State
CN102298793A (zh) * 2011-08-18 2011-12-28 北京建筑工程学院 一种获取文物三维图形数据的方法
CN102446354A (zh) * 2011-08-29 2012-05-09 北京建筑工程学院 一种高精度多源地面激光点云的整体配准方法
CN103017739A (zh) * 2012-11-20 2013-04-03 武汉大学 基于激光雷达点云与航空影像的真正射影像的制作方法
CN103295239A (zh) * 2013-06-07 2013-09-11 北京建筑工程学院 一种基于平面基准影像的激光点云数据的自动配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种地面激光雷达点云与纹理影像稳健配准方法;王晏民等;《测绘学报》;20120430;第41卷(第2期);266-272 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2736506C1 (ru) * 2019-12-30 2020-11-17 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") Способ автоматического локального повышения точности данных воздушного лазерного сканирования с использованием данных наземного лазерного сканирования

Also Published As

Publication number Publication date
CN103744086A (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
CN103744086B (zh) 一种地面激光雷达与近景摄影测量数据的高精度配准方法
CN112927360A (zh) 一种基于倾斜模型与激光点云数据融合的三维建模方法和***
Johnson‐Roberson et al. Generation and visualization of large‐scale three‐dimensional reconstructions from underwater robotic surveys
CN109242954B (zh) 基于模板变形的多视角三维人体重建方法
Pepe et al. Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
Oh et al. A piecewise approach to epipolar resampling of pushbroom satellite images based on RPC
CN106683173A (zh) 一种基于邻域块匹配提高三维重建点云稠密程度的方法
CN103456043B (zh) 一种基于全景图的视点间漫游方法和装置
CN105160702A (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及***
CN104732577A (zh) 一种基于uav低空航测***的建筑物纹理提取方法
CN114241125B (zh) 一种基于多视角卫星影像精细三维建模方法及***
CN113566793A (zh) 基于无人机倾斜影像的真正射影像生成方法和装置
Gong et al. A detailed study about digital surface model generation using high resolution satellite stereo imagery
Alsadik Guided close range photogrammetry for 3D modelling of cultural heritage sites
Li et al. Research on multiview stereo mapping based on satellite video images
CN117576343B (zh) 基于高分辨率卫星立体影像的三维mesh模型制作方法
CN104964669B (zh) 类柱面文物对象正射影像生成方法
Alba et al. Comparison of techniques for terrestrial laser scanning data georeferencing applied to 3-D modelling of cultural heritage
CN112815911B (zh) 基于三目视觉的输电线路交跨距离测量方法
Remondino Accurate and detailed image-based 3D documentation of large sites and complex objects
Previtali et al. An automatic multi-image procedure for accurate 3D object reconstruction
Zhang et al. Tests and performance evaluation of DMC images and new methods for their processing
Ramalingam et al. The light-path less traveled
Gruen et al. 3D processing of high-resolution satellite images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302