CN111127474A - 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及*** - Google Patents
机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及*** Download PDFInfo
- Publication number
- CN111127474A CN111127474A CN201911089058.7A CN201911089058A CN111127474A CN 111127474 A CN111127474 A CN 111127474A CN 201911089058 A CN201911089058 A CN 201911089058A CN 111127474 A CN111127474 A CN 111127474A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- mosaic line
- mosaic
- voxel
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及***,包括数据准备,包括输入两张有一定重叠区域的正射影像和对应重叠区域的点云数据,以及重叠区域中镶嵌线的起点位置S和终点位置E、点云格网的尺寸;基于点云数据通过动态规划获取初始镶嵌线,包括将点云按照平面坐标进行规则划分,得到规则体素,然后以体素为单元通过动态规划找出从S到E的最优镶嵌线,作为初始镶嵌线,其结点均为体素的中心;基于影像信息的镶嵌线优化,包括在通过点云动态规划得到的初始镶嵌线的基础上,利用影像信息进行优化,得到优化后平滑的镶嵌线。本发明大大降低了影像镶嵌线两边的视觉不一致问题,使镶嵌线成功避开房屋等高程突变的区域。
Description
技术领域
本发明属于测绘科学与技术领域,涉及一种点云辅助的正射影像镶嵌线自动选取方法及***,主要应用于航空摄影测量中正射影像的大范围拼接和机载LiDAR***中正射影像的大范围拼接。
背景技术
由于地面起伏和影像成像角度的不同,纠正后的正射影像上植被、房屋等地物在不同影像上的成像位置具有差异,即影像视差,基于影像自身的灰度、梯度和纹理等信息,构建代价矩阵可在一定程度量化这种差异,以代价最小为标准,利用动态规划算法,求得最终镶嵌线,可在一定程度上绕开房屋、植被等障碍地物。这一过程中得到的镶嵌线具有全局最小的代价值,但并不能保证镶嵌线局部的视觉不一致性小。为此,可预先分割出重叠区域影像的前景区域,设置前景区域为镶嵌线不可通过区域,从而使最终的镶嵌线在局部代价更小。前景分割可通过两种方式实现:第一种,通过设定阈值T,使代价矩阵值大于阈值T的区域为前景区域,阈值T可利用迭代自适应的方式求得,满足镶嵌线的起点和终点连通;第二种,是一种基于对象的方法,首先将重叠区域的影像进行分割得到对象,基于对象构建超像素代价矩阵,设置阈值I,阈值I可利用迭代自适应的方式求得,使超像素代价满足起点所在超像素和终点所在超像素连通。上述仅依赖影像本身的自动镶嵌方法难以完全实现建筑物、植被等障碍地物的避让,因此引入房屋、道路矢量信息、DSM、点云等数据辅助镶嵌线的自动选取,可以提高自动镶嵌过程中障碍地物避让的效果。
发明内容
本发明的目的是提供一种点云辅助镶嵌线自动选取的技术方案,以简化点云辅助镶嵌线选取,提高大范围正射影像生成接边精度。
本发明技术方案提供一种机载LiDAR点云辅助的正射影像镶嵌线自动选取方法,包括如下步骤:
步骤一,数据准备,包括输入两张有一定重叠区域的正射影像和对应重叠区域的点云数据,以及重叠区域中镶嵌线的起点位置S和终点位置E、点云格网的尺寸;
步骤二,基于点云数据通过动态规划获取初始镶嵌线,包括将点云按照平面坐标进行规则划分,得到规则体素,然后以体素为单元通过动态规划找出从S到E的最优镶嵌线,作为初始镶嵌线,其结点均为体素的中心;
步骤三,基于影像信息的镶嵌线优化,包括在通过点云动态规划得到的初始镶嵌线的基础上,利用影像信息进行优化,得到优化后平滑的镶嵌线。
而且,β的取值如下,
其中β为缩小系数。
本发明还提供一种机载LiDAR点云辅助的正射影像镶嵌线自动选取***,包括如下模块:
第一模块,用于数据准备,包括输入两张有一定重叠区域的正射影像和对应重叠区域的点云数据,以及重叠区域中镶嵌线的起点位置S和终点位置E、点云格网的尺寸;
第二模块,用于基于点云数据通过动态规划获取初始镶嵌线,包括将点云按照平面坐标进行规则划分,得到规则体素,然后以体素为单元通过动态规划找出从S到E的最优镶嵌线,作为初始镶嵌线,其结点均为体素的中心;
第三模块,用于基于影像信息的镶嵌线优化,包括在通过点云动态规划得到的初始镶嵌线的基础上,利用影像信息进行优化,得到优化后平滑的镶嵌线。
而且,β的取值如下,
得到局部代价函数Cost(p),
其中β为缩小系数。
本方法大大降低了影像镶嵌线两边的视觉不一致问题,使镶嵌线成功避开房屋等高程突变的区域。与现有技术相比,本发明具有以下优点和有益效果:
1、本发明利用了摄影测量生成的中间结果密集点云,或者配准的LIDAR点云辅助镶嵌线的自动选取。
2、本发明提出一种在点云上得到一条初始路径的技术方案,并通过在影像上设置缓冲区域,辅助初始镶嵌线的精化,效率高,精度高。
附图说明
图1为本发明实施例的流程图;
图2为本发明实施例的影像间的拓扑关系图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
本发明提出,重叠区域对应的左右影像可表示为L,R,辅助信息表示为F。影像中可以提取梯度、纹理、灰度等特征信息,辅助信息如点云包含高精度的高程和位置信息以及可靠的属性信息。通过量化左右影像间梯度、纹理、灰度的差异得到的代价矩阵可在一定程度上表示出因为投影差而造成的左右影像的不一致。辅助信息如点云,可利用其高程信息和属性信息来辅助量化左右影像的不一致。
Cost(p)=k(p)·DL,R(p)
其中p代表位置,k(p)表示相应位置辅助信息对代价量化的贡献,DL,R(p)表示相应位置由左右影像梯度、纹理、灰度等特征差异的量化对代价量化的贡献。
参见图2,镶嵌线的自动选取,就是确定起点S和终点E,以量化代价最小为基准,得到一条最优镶嵌线。
本发明实施例提供的技术方案是一种点云辅助的正射影像镶嵌线自动选取方法,如图1所示,首先利用点云的分类信息(地面点与非地面点)和高程信息通过动态规划获得可以绕开障碍地物的初始镶嵌线,然后通过重叠区域影像的相似度、梯度等特性构建代价矩阵,在初始镶嵌线周边的一定缓冲区内以量化代价最小为标准,对镶嵌线进行优化,从而得到最终镶嵌线。实施例的方法实现流程包括以下步骤:
步骤1、数据准备
本方法的输入数据为两张有一定重叠区域的正射影像和对应重叠区域的点云数据,点云数据通过机载LiDAR获取,机载点云数据已经通过滤波算法分类为地面点和非地面点两类。本方法输入参数包括重叠区域中镶嵌线的起点和终点位置(分别定义为S和E)、点云格网的尺寸d;
步骤2、通过点云数据获取初始镶嵌线
先将点云按照其平面坐标进行规则划分,从而得到规则体素,然后以体素为单元通过动态规划找出从点位S到E的最优镶嵌线,这一镶嵌线为初始镶嵌线,镶嵌线的节点均为体素的中心。
其中,N(·)表示为某个点云体素中的点数,Hmin为点云中的最小高程,Hmax为点云数据中的最大高程,H(Pi)指的是点Pi的高程。
步骤3、基于影像信息的镶嵌线优化
在通过点云动态规划得到的初始镶嵌线的基础上,利用影像信息进行优化,从而得到较为平滑的镶嵌线。
式中,∩为区域求交的符号,为将镶嵌线进行膨胀后得到的区域,R为膨胀半径,一般根据影像分辨率设置为5-20像素。在基于影像信息的镶嵌线优化中,本方法采用chon的优化函数来根据某一位置p上两张正射影像的影像信息,计算该位置的镶嵌线通过代价并缩小了缓冲区内部的得到局部代价函数Cost(p):
其中β为缩小系数,本方法中,其值为大于0小于1的数字,其中chon代价的表达式为:
其中,(x,y)为以位置p为中心的5×5图像窗口中的归一化相关系数,(x,y)为p的坐标
其中,f和g分别表示正在进行镶嵌的两张正射影像,f(i,j)表示坐标(i,j)对应的f影像上的灰度,表示以坐标(x,y)为中心的5×5窗口中的f影像灰度平均值,g(i,j)表示坐标(i,j)对应的g影像上的灰度,表示以坐标(x,y)为中心的5×5窗口中的g影像灰度平均值。
具体实施时,通过代价的计算可参见文献Chon J,Kim H,Lin C S.Seam-line determination for image mosaicking:A technique minimizing the maximumlocal mismatch and the global cost[J].ISPRS Journal of Photogrammetry&RemoteSensing,2010,65(1):86-92.
为便于实施参考起见,本文涉及的基于动态规划的最优路径探测算法步骤原理描述如下:
(1)动态规划算法表示为DP(O,Cost,S,E),其中O表示左右影像重叠区域,Cost表示量化代价矩阵,S代表起点,E代表终点。
(2)初始化变量dist[p]=∞,Father[p]=undefined,Visited[p]=unvisited其中p∈O,表示一个节点,dist[p]表示起点S到矩阵内各个节点p的代价,初始化设置为无穷∞,Father[p]表示每个节点p的父节点,初始化为未定义undefined,Visited[p]记录节点p是否被搜索到,初始化为未搜索(即unvisited)。
(3)构建节点队列Q(V,dist[V]),用以表示起点S到点V的镶嵌线路径节点,其中,dist[V]表示这一镶嵌线路径对应的代价值。节点队列Q初始化为空集,并加入起点S,并设置dist[p]=0,Visited[S]=visited。此时,Father[S]仍然为undefined,而队列Q中仅有一个组合,即(S,0)。
(4)执行循环(5)-(8)
(5)从Q中所有节点组合中提取出组合(U,dist[U]),其中节点U对应的搜索记录为Visited[U]=unvisited,且节点U对应的代价值dist[U]在所有搜索记录值为unvisited的节点中最小。
(6)设置Visited[U]=visited,遍历U的八邻域中的所有节点,针对某一领域节点V,当dist[V]>dist[U]+Cost(U)时,执行(7)。
(7)设置dist[V]=dist[U]+Cost(U),设置Father[V]=U,并在队列Q中加入组合(V,dist[V]),当V=E时,即说明已经通过动态规划算法找到了从起点S到终点E的最优路径,此时跳出循环。
(8)对终点E,通过Father[E]得到最优镶嵌线路径中节点E的上一个节点,并依次类推,再次找出路径中的上一个节点,最终找出最小代价路径对应的节点顺序,从而得到最优镶嵌线。
具体实施时,本发明可以采用软件方式实现自动运行流程,还可以采用***方式实现。
本发明实施例还提供一种机载LiDAR点云辅助的正射影像镶嵌线自动选取***,包括如下模块:
第一模块,用于数据准备,包括输入两张有一定重叠区域的正射影像和对应重叠区域的点云数据,以及重叠区域中镶嵌线的起点位置S和终点位置E、点云格网的尺寸;
第二模块,用于基于点云数据通过动态规划获取初始镶嵌线,包括将点云按照平面坐标进行规则划分,得到规则体素,然后以体素为单元通过动态规划找出从S到E的最优镶嵌线,作为初始镶嵌线,其结点均为体素的中心;
第三模块,用于基于影像信息的镶嵌线优化,包括在通过点云动态规划得到的初始镶嵌线的基础上,利用影像信息进行优化,得到优化后平滑的镶嵌线。
具体实施时,各模块实现可参见方法相应步骤,本发明不予赘述。
尽管上面结合附图对本发明的较佳实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,并不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可以作出很多形式,这些均属于本发明的保护范围之内。
Claims (10)
1.一种机载LiDAR点云辅助的正射影像镶嵌线自动选取方法,其特征在于,包括如下步骤:
步骤一,数据准备,包括输入两张有一定重叠区域的正射影像和对应重叠区域的点云数据,以及重叠区域中镶嵌线的起点位置S和终点位置E、点云格网的尺寸;
步骤二,基于点云数据通过动态规划获取初始镶嵌线,包括将点云按照平面坐标进行规则划分,得到规则体素,然后以体素为单元通过动态规划找出从S到E的最优镶嵌线,作为初始镶嵌线,其结点均为体素的中心;
步骤三,基于影像信息的镶嵌线优化,包括在通过点云动态规划得到的初始镶嵌线的基础上,利用影像信息进行优化,得到优化后平滑的镶嵌线。
6.一种机载LiDAR点云辅助的正射影像镶嵌线自动选取***,其特征在于,包括如下模块:
第一模块,用于数据准备,包括输入两张有一定重叠区域的正射影像和对应重叠区域的点云数据,以及重叠区域中镶嵌线的起点位置S和终点位置E、点云格网的尺寸;
第二模块,用于基于点云数据通过动态规划获取初始镶嵌线,包括将点云按照平面坐标进行规则划分,得到规则体素,然后以体素为单元通过动态规划找出从S到E的最优镶嵌线,作为初始镶嵌线,其结点均为体素的中心;
第三模块,用于基于影像信息的镶嵌线优化,包括在通过点云动态规划得到的初始镶嵌线的基础上,利用影像信息进行优化,得到优化后平滑的镶嵌线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911089058.7A CN111127474B (zh) | 2019-11-08 | 2019-11-08 | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911089058.7A CN111127474B (zh) | 2019-11-08 | 2019-11-08 | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111127474A true CN111127474A (zh) | 2020-05-08 |
CN111127474B CN111127474B (zh) | 2022-08-05 |
Family
ID=70495754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911089058.7A Active CN111127474B (zh) | 2019-11-08 | 2019-11-08 | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111127474B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669459A (zh) * | 2020-12-25 | 2021-04-16 | 北京市遥感信息研究所 | 基于特征库智能决策的卫星影像最优镶嵌线生成方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101206765A (zh) * | 2007-12-06 | 2008-06-25 | 武汉大学 | 一种接缝线网络的自动生成方法 |
CN106228605A (zh) * | 2016-07-29 | 2016-12-14 | 东南大学 | 一种基于动态规划的立体匹配三维重建方法 |
CN106774392A (zh) * | 2016-12-13 | 2017-05-31 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种电力线路巡检过程中飞行路径的动态规划方法 |
CN106875434A (zh) * | 2017-01-05 | 2017-06-20 | 中国电建集团西北勘测设计研究院有限公司 | 一种基于三维激光扫描的小断面勘探平硐地质编录方法 |
KR20180131932A (ko) * | 2017-06-01 | 2018-12-11 | 충남대학교산학협력단 | 드론과 공간정보를 이용한 하천지형정보 생성 방법 |
CN109934782A (zh) * | 2019-03-01 | 2019-06-25 | 成都纵横融合科技有限公司 | 基于激光雷达测量的数字真正射影像图生产方法 |
CN110390639A (zh) * | 2019-07-22 | 2019-10-29 | 广州欧科信息技术股份有限公司 | 正射影像的处理拼接方法、装置、设备及存储介质 |
-
2019
- 2019-11-08 CN CN201911089058.7A patent/CN111127474B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101206765A (zh) * | 2007-12-06 | 2008-06-25 | 武汉大学 | 一种接缝线网络的自动生成方法 |
CN106228605A (zh) * | 2016-07-29 | 2016-12-14 | 东南大学 | 一种基于动态规划的立体匹配三维重建方法 |
CN106774392A (zh) * | 2016-12-13 | 2017-05-31 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种电力线路巡检过程中飞行路径的动态规划方法 |
CN106875434A (zh) * | 2017-01-05 | 2017-06-20 | 中国电建集团西北勘测设计研究院有限公司 | 一种基于三维激光扫描的小断面勘探平硐地质编录方法 |
KR20180131932A (ko) * | 2017-06-01 | 2018-12-11 | 충남대학교산학협력단 | 드론과 공간정보를 이용한 하천지형정보 생성 방법 |
CN109934782A (zh) * | 2019-03-01 | 2019-06-25 | 成都纵横融合科技有限公司 | 基于激光雷达测量的数字真正射影像图生产方法 |
CN110390639A (zh) * | 2019-07-22 | 2019-10-29 | 广州欧科信息技术股份有限公司 | 正射影像的处理拼接方法、装置、设备及存储介质 |
Non-Patent Citations (5)
Title |
---|
HAMID GHARIBI,AYMAN HABIB: "True Orthophoto Generation from Aerial Frame Images and LiDAR Data: An Update", 《REMOTE SENSING 》 * |
HONG-CHAO MA,JIE SUN: "Intelligent optimization of seam-line finding for orthophoto mosaicking with LiDAR point clouds", 《JOURNAL OF ZHEJIANG UNIVERSITY-SCIENCE C (COMPUTERS & ELECTRONICS)》 * |
孙杰 等: "机载LiDAR正射影像镶嵌线智能优化研究", 《武汉大学学报·信息科学版》 * |
孙杰: "机载 LIDAR ***正射影像镶嵌线优化算法研究", 《计算机工程与应用》 * |
李怡静 等: "影像与LiDAR数据信息融合复杂场景下的道路自动提取", 《测绘学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669459A (zh) * | 2020-12-25 | 2021-04-16 | 北京市遥感信息研究所 | 基于特征库智能决策的卫星影像最优镶嵌线生成方法 |
CN112669459B (zh) * | 2020-12-25 | 2023-05-05 | 北京市遥感信息研究所 | 基于特征库智能决策的卫星影像最优镶嵌线生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111127474B (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105096386B (zh) | 大范围复杂城市环境几何地图自动生成方法 | |
Yahyanejad et al. | A fast and mobile system for registration of low-altitude visual and thermal aerial images using multiple small-scale UAVs | |
CN103703490B (zh) | 用于产生三维特征数据的设备以及用于产生三维特征数据的方法 | |
US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
CN104574347A (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
Gao et al. | Ground and aerial meta-data integration for localization and reconstruction: A review | |
Alidoost et al. | An image-based technique for 3D building reconstruction using multi-view UAV images | |
CN110599545B (zh) | 一种基于特征的构建稠密地图的*** | |
Rumpler et al. | Probabilistic range image integration for DSM and true-orthophoto generation | |
US11861855B2 (en) | System and method for aerial to ground registration | |
CN115953535A (zh) | 三维重建方法、装置、计算设备和存储介质 | |
Awrangjeb et al. | Rule-based segmentation of LIDAR point cloud for automatic extraction of building roof planes | |
Zhang et al. | Lidar-guided stereo matching with a spatial consistency constraint | |
CN114898041A (zh) | 一种基于光度误差的改进icp方法 | |
CN111127474B (zh) | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及*** | |
Hesami et al. | Range segmentation of large building exteriors: A hierarchical robust approach | |
Rothermel et al. | Fast and robust generation of semantic urban terrain models from UAV video streams | |
CN117036447A (zh) | 基于多传感器融合的室内场景稠密三维重建方法及装置 | |
Novacheva | Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection | |
Lee et al. | Determination of building model key points using multidirectional shaded relief images generated from airborne LiDAR data | |
CN113487741B (zh) | 稠密三维地图更新方法及装置 | |
CN108921852A (zh) | 基于视差与平面拟合的双分支室外非结构化地形分割网络 | |
Ahmed et al. | High-quality building information models (BIMs) using geospatial datasets | |
Bulatov et al. | Chain-wise generalization of road networks using model selection | |
Qin et al. | Geometric processing for image-based 3D object modeling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |