CN109242862A - 一种实时的数字表面模型生成方法 - Google Patents

一种实时的数字表面模型生成方法 Download PDF

Info

Publication number
CN109242862A
CN109242862A CN201811046548.4A CN201811046548A CN109242862A CN 109242862 A CN109242862 A CN 109242862A CN 201811046548 A CN201811046548 A CN 201811046548A CN 109242862 A CN109242862 A CN 109242862A
Authority
CN
China
Prior art keywords
point
present frame
tile
vertex
dsm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811046548.4A
Other languages
English (en)
Other versions
CN109242862B (zh
Inventor
布树辉
王伟
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201811046548.4A priority Critical patent/CN109242862B/zh
Publication of CN109242862A publication Critical patent/CN109242862A/zh
Application granted granted Critical
Publication of CN109242862B publication Critical patent/CN109242862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种实时的数字表面模型生成方法，以无人机携带相机所拍到的当前帧图像与经SLAM实时输出的当前帧特征点与点云作为输入数据，实时地生成DSM。首先机载相机实时进行地表图像拍摄，并进行实时SLAM处理，得到当前帧的特征点以及构建的地图点云；并对当前帧特征点以及地图点云进行前期预处理；其次生成当前帧的DSM纹理与规则网格；最后分别进行DSM纹理以及规则网格融合。本发明能满足实时性要求，生成速度快、时间复杂度小，内存消耗低，鲁棒性和精度高，拼接效果好。

Description

一种实时的数字表面模型生成方法
技术领域
本发明涉及计算机视觉与地图测绘领域，具体地说，是一种实时的数字表面模型(DSM,Digital Surface Model)生成方法。
背景技术
DSM(数字表面模型)是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。DSM能够真实地表达地面起伏情况，它在测绘、水文、气象、地貌、地质、土壤、工程建设、通讯、军事等国民经济和国防建设以及人文和自然科学领域有着广泛的应用。如在森林地区，可以用于检测森林的生长情况；在城区，DSM可以用于检查城市的发展情况；特别是众所周知的巡航导弹，它不仅需要数字地面模型(DSM)，而更需要的是数字表面模型，这样才有可能使巡航导弹在低空飞行过程中，逢山让山，逢森林让森林。
由于生成DSM的数据获取方式不同、生成算法各异等原因，DSM的生成方法有很多，最常用的生成方法就是对现有地形图进行数字化，以获取原数据，并用于构建不规则三角网格从而建立DSM，或者直接通过内插的方法建立DSM。DSM的生成方式可以根据其数据来源及采集方式进行划分，DSM的原数据来源主要分为：(1)航空或航天影像，通过摄影测量途径获取；(2)地面测量数据，通过GPS、全站仪、经纬仪等在野外获取地面点数据，经计算机处理变换后生成数字表面模型；(3)利用气压测高法、航空测高法和重力测量法等方法来获得地面高程数据。
虽然通过上述几种获取原数据的方法都可以采集到高程点或者等高线，然后进一步内插得到DSM，但是缺点也较为明显：(1)根据地面测量来获取数据的方法要全程人工，且工作量巨大、周期较长、更新十分困难、费用较高，一般不适合大规模采集数据，此外地形图的精度决定着地形图对实际地形表达的可信度，地形图比例尺越小，地形的综合程度就越大，所表示的地形也就越概括和近似，反之亦然；(2)利用测高法来获取原数据的方法精度较低，成本较高，实施较为困难。(3)利用摄影测量获取数据的方法中，航天影像的方法获取的高程数据精度较低，且只能获取大范围小比例尺数据，具有一定的局限性。航空影像测量的方法相较于其他几种方法更为有效，且其作为获取DSM数据最主要的手段一直受从事相关工作的人员所青睐。特别是由于近些年随着无人机与计算机视觉的发展，航空影像的获取成本较低且容易实现，促使DSM生成算法的研究又掀起了一段热潮。
目前以无人机与计算机相结合来获取数据进而生成DSM的研究，大多是基于多视图几何的方法，如机器视觉领域的从运动恢复结构SFM(Structure from Motion)就是通过无人机在任意场景飞行时所拍摄的所有正射影像，利用计算机视觉的几何方法来求得来求得拍摄每一个关键帧时的相机位姿与所有特征点的三维坐标，再利用所有的影像与三维点云离线求得DSM。尽管该方法能够生成DSM，且能达到较好效果，但由于传统的SFM往往侧重处理大量无序图像而并非实时的定位与建图，所以大多现有DSM生成算法也都为离线方式，没有达到在线实时的速度，而且现有的离线算法耗时也较长。
发明内容
为了克服现有技术的不足，本发明提出了一种实时的数字表面模型生成方法，以无人机携带相机所拍到的当前帧图像与经SLAM(同时定位与地图构建)实时输出的当前帧特征点与点云作为输入数据，实时地生成DSM。由于SLAM的技术现已比较成熟，本发明中直接采用现有的SLAM方法。
本发明采用的技术方案为：
所述一种实时的数字表面模型生成方法，其特征在于：包括以下步骤：
步骤1：机载相机实时进行地表图像拍摄，并进行实时SLAM处理，得到当前帧的特征点以及构建的地图点云；并对当前帧特征点以及地图点云进行前期预处理：
根据当前帧中特征点的像素坐标，对当前帧进行二维Delaunay三角分割，得到图像平面的二维三角网格；利用地图点云中三维点与当前帧特征点的投影关系生成世界坐标系中以点云为顶点的三维三角网格，并舍弃三维三角网格高程信息，得到世界坐标系中水平面上的二维三角网格；分别利用几何关系对水平面上二维三角网格中的边缘点和非边缘点进行检测过滤，过滤掉边缘点和非边缘点中的噪点；
步骤2：生成当前帧的DSM纹理与规则网格：
利用步骤1处理后的当前帧特征点和地图点云，根据图像平面的二维三角网格与水平面上的二维三角网格的映射关系，通过图像平面的二维三角网格将当前帧的图像划分为一系列三角面片，并将划分得到的三角面片投影到水平面上的二维三角网格中，得到当前帧的DSM纹理；
用由若干个矩形子网格组成的矩阵主网格覆盖已添加DSM纹理后的水平面上二维三角网格，并根据水平面上二维三角网格中每个顶点在三维三角网格中的高程信息插值得到矩阵主网格中每个顶点的高程信息；
步骤3：分别进行DSM纹理以及规则网格融合：
步骤3.1：建立当前帧的权值图：对当前帧的水平面上二维三角网格中所有顶点坐标计算算术平均值，得到当前帧的中心坐标，将当前帧的中心处的权值设为255，将当前帧中离中心点最远点的权值设为0，得到权值与距离相关的变化梯度，其他坐标点的权值根据其与中心点的距离以及变化梯度计算得到；
步骤3.2：将步骤2得到的每个矩形子网格作为一个地图瓦片，并根据步骤2确定该地图瓦片在世界坐标系下的坐标，同时在该地图瓦片中添加DSM纹理，以及根据步骤3.1建立的权值图，在地图瓦片中添加该瓦片的权值；
步骤3.3：对于当前帧的每个地图瓦片，根据该地图瓦片在世界坐标系下的坐标，判断瓦片库中是否存在该地图瓦片，若不存在，则将该地图瓦片存入瓦片库中，若存在，则进一步比较当前帧中该地图瓦片与瓦片库中该地图瓦片的权值，以判断该地图瓦片是否为带有拼接线的地图瓦片，如果是带有拼接线的地图瓦片，则对该地图瓦片进行DSM纹理和网格的裂缝拼接，并用裂缝拼接后的该地图瓦片替换瓦片库中该地图瓦片，如果不是带有拼接线的地图瓦片，则比较当前帧中该地图瓦片与瓦片库中该地图瓦片的权值，如果当前帧中该地图瓦片的权值大于瓦片库中该地图瓦片的权值，则用当前帧中该地图瓦片替换瓦片库中的该地图瓦片。
进一步的优选方案，所述一种实时的数字表面模型生成方法，其特征在于：步骤1对水平面上二维三角网格中的边缘点和非边缘点进行检测过滤的过程中，先进行边缘点检测过滤，在进行一次边缘点检测过滤过程中，判断是否存在噪点，如果存在噪点，则在该次边缘点检测过滤过程完成后，更新当前帧特征点以及地图点云，再返回重新对当前帧特征点以及地图点云进行前期预处理；若不存在噪点，则进行非边缘点检测过滤；在一次非边缘点检测过滤过程中，判断是否存在噪点，如果存在噪点，则在该次非边缘点检测过滤过程完成后，更新当前帧特征点以及地图点云，再返回重新对当前帧特征点以及地图点云进行前期预处理。
进一步的优选方案，所述一种实时的数字表面模型生成方法，其特征在于：步骤1中判断水平面上二维三角网格中的边缘点和非边缘点的方法是：对于水平面上二维三角网格的某一顶点，其在水平面上二维三角网格中处于若干个三角形中，取其所处的每个三角形中的对边，若这些对边能够组合成闭合多边形，则该顶点为非边缘点，否则为边缘点。
进一步的优选方案，所述一种实时的数字表面模型生成方法，其特征在于：步骤1中判断边缘点是否为噪点的方法为对每个边缘点进行如下两次判断：
对于某一边缘点，取其所处的每个三角形中的对边组成的折线，得到折线的两个端点，进一步得到两个端点与该边缘点的两条连线，判断这两条连线与所有不包含邻近点的三角形是否相交，如相交，则该边缘点为噪点；所述邻近点指该边缘点所处的每个三角形中的另外两个顶点；
对于某一边缘点，取其所处的每个三角形中的对边组成的折线，得到折线的两个端点，以两个端点连线为直径得到外接圆，取半径为k倍外接圆半径的同心圆，若该边缘点处于同心圆外，则该边缘点为噪点。
进一步的优选方案，所述一种实时的数字表面模型生成方法，其特征在于：步骤1中的k取2。
进一步的优选方案，所述一种实时的数字表面模型生成方法，其特征在于：步骤1中判断非边缘点是否为噪点的方法为：对于某一非边缘点，若该非边缘点处于其所处的每个三角形中对边组合成的闭合多边形的外部，则该非边缘点为噪点。
进一步的优选方案，所述一种实时的数字表面模型生成方法，其特征在于：步骤2中插值得到矩阵主网格中每个顶点的高程信息的过程为：
判断矩阵主网格中某个顶点的位置，若该顶点与二维三角网格某一顶点位置相同，则以三维三角网格中的该顶点高程信息作为矩阵主网格中该顶点的高程信息；若该顶点处于二维三角网格的某一条边上，则以三维三角网格中该条边的两个端点高程信息进行插值得到矩阵主网格中该顶点的高程信息；若该顶点处于二维三角网格的某一三角形内，则以三维三角网格中该三角形的三个顶点高程信息进行插值得到矩阵主网格中该顶点的高程信息。
进一步的优选方案，所述一种实时的数字表面模型生成方法，其特征在于：步骤3在对地图瓦片进行DSM纹理和网格裂缝拼接过程中，应用Multiband Blender方法，使DSM纹理交界处光照与色泽的过渡更为平滑，网格交界处的高度落差趋于平滑。
有益效果
1、实时性。大多数现有的DSM生成算法都为离线方式，而本发明所提出的算法是基于实时定位与建图(SLAM)，以单帧的特征点、点云与图像为输入数据实时生成DSM。
2、生成速度快、时间复杂度小。本发明以单帧的特征点、点云和图像为输入来实时生成DSM。这里的点云既可以为稀疏点云也可以为稠密点云。当以稀疏点云为输入时，由于经Delaunay三角分割生成的三角网格格数较少且在生成规格网格时只进行一次差值。此外无论是以稀疏点云还是稠密点云为输入，在过滤点云、生成DSM纹理与网格等步骤中对三角网格的遍历与相应计算都可以并行执行，因此DSM的生成速度快。在时间复杂度上，在生成DSM纹理与网格步骤中只需要对相应的二维三角网格的所有三角面片一次遍历，并利用三角面片顶点坐标的对应关系拷贝与计算即可，因此时间复杂度小。
3、内存消耗低。本发明中为实现实时的DSM，直接对单帧特征点、点云和图像进行处理，将单帧的纹理与高程信息以瓦片的形式存于瓦片库中，避免了其他DSM生成方法中纹理存储冗余现象。而且在将单帧的DSM纹理与网格分块存于瓦片中的步骤执行之后及时地将单帧特征点、点云和图像所占的内存保存到磁盘并释放掉，以更为有效的降低内存消耗。因此能够处理大范围场景的DSM生成。
4、高鲁棒性。本发明在经SLAM获取当前帧的特征点与点云后，对特征点与点云执行Delaunay三角分割操作，并利用具有DSM固有属性的网格约束来分别对网格边缘点与非边缘点执行不同的噪点过滤操作。边缘点与非边缘点的噪点过滤均采用迭代过滤的方式，以避免一次过滤改变网格结构后暴露的噪点没有被过滤掉。而且将边缘噪点的过滤嵌入非边缘噪点的过滤迭代中，以避免一次非边缘(边缘)噪点过滤改变网格结构后暴露的边缘(非边缘)噪点没有被过滤掉。在非边缘点的噪点过滤中两种方式结合互补。得益于上述噪点过滤，不仅可以过滤掉本身不满足DSM属性的凹点，还可以过滤掉SLAM中错误匹配的特征点与点云，因此在特征点与点云的过滤上鲁棒性较强。对于过滤后的三角网格如若三角面片数量少于一定值时，表明当前帧并不包含足够有效的高程信息，舍弃当前帧更能有效提高鲁棒性。
5、精度高。在DSM网格生成步骤中，规则网格顶点的高度值由以三维三角网格中包含该顶点的三角形的顶点的高度值进行差值得到，因此规则网格能够很好的表达点云的细节信息。用于DSM纹理与网格拼接依据的权值设定不仅考虑到相机的夹角，距离等因素，还将点云的密集程度作为一项重要因素，点云越密集的部分所包含的高程信息就越多，该部分的权值相对较大，反之相对较小。因此拼接后的DSM网格能够较好的包含所有帧中点云的有效的高程信息。综上所述，存储DSM高程信息的规则网格能够充分表达点云的高程信息。因此，本发明充分保证了实时生成的DSM对点云的契合程度。
6、拼接效果好。对存在拼接裂缝的DSM纹理与规则网格执行Multiband Blender，使得两帧DSM纹理交界处光照与色泽的过渡更为平滑，同样也可使两帧规则网格交界处的高度落差趋于平滑，最终实现较好的拼接效果。
另外，根据本发明的实施例，还可以具有如下附加的技术特征：
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明的方法流程图。
图2是边缘噪点与非边缘噪点检测示意图。
图3是场景3中当前帧经噪点过滤后的以特征点为顶点的图像平面的二维三角网格将图片分为一系列相邻的三角面片示意图(左图)与当前帧生成的DSM纹理示意图(右图)。
图4是场景1中当前帧的以灰度图显示的DSM规则网格示意图(左图)、DSM纹理示意图(中图)和以灰度图显示DSM权值示意图(右图)。
图5是场景3中实时拼接的纹理渲染后的结果(上图)与规则网格(下图)示意图。
图6是场景2中实时拼接的未经Multiband Blender渲染的DSM示意图(左上图)与规则网格示意图(左下图)，以及经Multiband Blender渲染的DSM示意图(右上图)与规则网格示意图(右下图)。
图7是场景1最终实时生成的沙漠地表模型俯视示意图。
图8是场景1最终实时生成的沙漠地表模型侧视示意图。
图9是场景2最终实时生成的山地地表模型俯视示意图。
图10是场景2最终实时生成的山地地表模型侧视示意图。
图11是场景3最终实时生成的其他类型地表模型俯视图与侧视图。
图12是场景4最终实时生成的其他类型地表模型俯视图与侧视图。
图13是场景5最终生成的DSM与规则网格的细节展示。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
附图1展示了本发明实现实时数字表面模型生成的整体流程。本发明的目的是以无人机携带的相机拍摄到的图片与经SLAM获取当前帧的特征点与点云为输入数据，经特征点与点云预处理以去除噪点，再生成DSM纹理与规则网格，并将纹理与规则网格分块存储于瓦片中，进而与瓦片库中瓦片融合，以实现实时地生成数字地表模型。
下面是具体的实现步骤。
步骤1：机载相机实时进行地表图像拍摄，并进行实时SLAM处理，得到当前帧的特征点以及构建的地图点云。
由于经SLAM求得的特征点与点云存在一些异常点(outliers)，而且还存在一些不满足DSM属性且对后续纹理与网格生成有影响的凹点，所以要对当前帧的特征点与点云做前期的预处理。
步骤1.1、二维Delaunay三角分割：
根据当前帧中特征点的像素坐标，对当前帧进行二维Delaunay三角分割，得到图像平面的二维三角网格。附图3中左图中的三角网格即为经Delaunay三角分割后形成的图像平面的二维三角网格。
步骤1.2、生成三维三角网格：
由于经SLAM所求得的当前帧的特征点与三维点云中的点一一对应，所以利用地图点云中三维点与当前帧特征点的投影关系生成世界坐标系中以点云为顶点的三维三角网格。
步骤1.3、三维三角网格映射成水平二维平面三角网格：
取当前帧三维点云中所有点的在大地平面位置坐标[X，Y](不包含高度信息Z)，即舍弃三维三角网格高程信息，作为二维平面三角网格顶点坐标，且点与点之间的拓扑关系不变，得到世界坐标系中水平面上的二维三角网格。简单来说就是舍弃上一步由点云所生成的三维三角网格的高度信息，将网格压扁到二维平面。附图3中右图中的网格即为以点云为顶点的三维三角网格映射成水平二维平面三角网格。
步骤1.4、二维平面三角网格边缘点检测
判断水平面上二维三角网格中的边缘点和非边缘点的方法是：对于水平面上二维三角网格的某一顶点，其在水平面上二维三角网格中处于若干个三角形中，取其所处的每个三角形中的对边，若这些对边能够组合成闭合多边形，则该顶点为非边缘点，否则为边缘点。
接下来分别利用几何关系对水平面上二维三角网格中的边缘点和非边缘点进行检测过滤，过滤掉边缘点和非边缘点中的噪点。
如图1所示，对水平面上二维三角网格中的边缘点和非边缘点进行检测过滤的过程中，先进行边缘点检测过滤，在进行一次边缘点检测过滤过程中，判断是否存在噪点，如果存在噪点，则在该次边缘点检测过滤过程完成后，更新当前帧特征点以及地图点云，再返回重新对当前帧特征点以及地图点云进行前期预处理；若不存在噪点，则进行非边缘点检测过滤；在一次非边缘点检测过滤过程中，判断是否存在噪点，如果存在噪点，则在该次非边缘点检测过滤过程完成后，更新当前帧特征点以及地图点云，再返回重新对当前帧特征点以及地图点云进行前期预处理。
即采用以下步骤：
步骤1.5：过滤边缘点中的噪点：
由于边缘噪点对后续的纹理与规则网格生成影响较大，所以这里先对其进行过滤。判断边缘点是否为噪点的方法为对每个边缘点进行如下两次判断：
第一次判断，对于某一边缘点，如附图2中边缘点中p1点，取其所处的每个三角形中的对边组成的折线，得到折线的两个端点，进一步得到两个端点与该边缘点的两条连线，判断这两条连线与所有不包含邻近点的三角形是否相交，如相交，则该边缘点为噪点；所述邻近点指该边缘点所处的每个三角形中的另外两个顶点。
第二次判断，对于某一边缘点，如附图2中边缘点中p2点，取其所处的每个三角形中的对边组成的折线，得到折线的两个端点，以两个端点连线为直径得到外接圆，取半径为k(k为参数一般取2)倍外接圆半径的同心圆，若该边缘点处于同心圆外，则该边缘点为噪点。
对每一个边缘点做一次判断，找出边缘点中所有的噪点后，去除当前帧中与噪点对应的特征点与点云中的点以更新当前帧所包含的所有特征点与点云，再返回步骤1.1对更新之后的当前帧再进行Delaunay三角分割等操作以实现迭代，直至检测不到任何边缘点噪点后进入步骤1.6。
步骤1.6：过滤非边缘点中的噪点：
对于非边缘点的过滤也同样利用水平二维平面中顶点间的几何关系来判断。参考附图2中非边缘点中p3点，判断非边缘点是否为噪点的方法为：对于某一非边缘点，若该非边缘点处于其所处的每个三角形中对边组合成的闭合多边形(附图2中虚线三角形)的外部，则该非边缘点为不满足DSM属性的凹点，属于噪点。
这种方法不仅能够过滤掉不满足DSM属性的凹点还能过滤掉水平方向上的异常点。对每一个非边缘点做一次判断，找出其中所有不满足条件的点后，去除当前帧中与不满足条件的点对应的特征点与点云中的对应的三维点以更新当前帧所包含的所有特征点与点云，再返回步骤1.1对更新之后的当前帧再进行Delaunay三角分割等操作以实现迭代，直至检测不到任何噪点。这里非边缘点过滤的每次迭代都要执行一次边缘点的过滤，因为每次非边缘点的过滤都可能使本该过滤掉的却没有在上一次的边缘过滤中过滤掉的边缘噪点再次显露出来，这样的点也需要被过滤掉。
步骤2：生成当前帧的DSM纹理与规则网格：
由于步骤1中以点云为顶点的三维三角网格不规则，不利于后期的融合，所以这里将其转化为便于融合的规则网格。为了实现实时纹理贴图，直接对当前帧的图片进行处理以得到当前帧的DSM纹理。
利用步骤1处理后的当前帧特征点和地图点云，根据图像平面的二维三角网格与水平面上的二维三角网格的映射关系，通过图像平面的二维三角网格将当前帧的图像划分为一系列三角面片，并将划分得到的三角面片投影到水平面上的二维三角网格中，得到当前帧的DSM纹理。
如附图3中左图利用以特征点为顶点的三角网格将当前帧的图片分为若干相邻的三角面片，将所有的三角面片经仿射变换映射到水平二维三角网格中对应的三角面片上以得到当前帧的DSM纹理，即附图3中右图。
用由若干个矩形子网格组成的矩阵主网格覆盖已添加DSM纹理后的水平面上二维三角网格，并根据水平面上二维三角网格中每个顶点在三维三角网格中的高程信息插值得到矩阵主网格中每个顶点的高程信息。附图4左图即为与当前帧的DSM纹理(附图4中图)对应的当前帧以灰度图显示的规则网格。
插值得到矩阵主网格中每个顶点的高程信息的过程为：
判断矩阵主网格中某个顶点的位置，若该顶点与二维三角网格某一顶点位置相同，则以三维三角网格中的该顶点高程信息作为矩阵主网格中该顶点的高程信息；若该顶点处于二维三角网格的某一条边上，则以三维三角网格中该条边的两个端点高程信息进行插值得到矩阵主网格中该顶点的高程信息；若该顶点处于二维三角网格的某一三角形内，则以三维三角网格中该三角形的三个顶点高程信息进行插值得到矩阵主网格中该顶点的高程信息。
步骤3：分别进行DSM纹理以及规则网格融合：
将步骤2中的DSM纹理与网格分块存于瓦片中以便于DSM纹理与网格管理。对DSM纹理与网格设立权值分块存于瓦片中为DSM纹理和规则网格融合提供依据。将MultibandBlender分别应用于纹理与网格拼接裂缝，使得两帧DSM纹理交界处光照与色泽的过渡更为平滑，同样也可使两帧规则网格交界处的高度落差趋于平滑。附图5中展示的就是拼接后的规则网格与对应的纹理贴图。
步骤3.1：建立当前帧的权值图：对当前帧的水平面上二维三角网格中所有顶点坐标计算算术平均值，得到当前帧的中心坐标，将当前帧的中心处的权值设为255，将当前帧中离中心点最远点的权值设为0，得到权值与距离相关的变化梯度，其他坐标点的权值根据其与中心点的距离以及变化梯度计算得到。附图4中右图即为当前帧以灰度图形式显示的权值。
步骤3.2：将步骤2得到的每个矩形子网格作为一个地图瓦片，并根据步骤2确定该地图瓦片在世界坐标系下的坐标，同时在该地图瓦片中添加DSM纹理，以及根据步骤3.1建立的权值图，在地图瓦片中添加该瓦片的权值。
步骤3.3：对于当前帧的每个地图瓦片，根据该地图瓦片在世界坐标系下的坐标，判断瓦片库中是否存在该地图瓦片，若不存在，则将该地图瓦片存入瓦片库中，若存在，则进一步比较当前帧中该地图瓦片与瓦片库中该地图瓦片的权值，以判断该地图瓦片是否为带有拼接线的地图瓦片，如果是带有拼接线的地图瓦片，则对该地图瓦片进行DSM纹理和网格的裂缝拼接，并用裂缝拼接后的该地图瓦片替换瓦片库中该地图瓦片，如果不是带有拼接线的地图瓦片，则比较当前帧中该地图瓦片与瓦片库中该地图瓦片的权值，如果当前帧中该地图瓦片的权值大于瓦片库中该地图瓦片的权值，则用当前帧中该地图瓦片替换瓦片库中的该地图瓦片。
裂缝拼接在本领域的相关在先论文中已有相关描述(Map2DFusion:Real-timeIncremental UAV Image Mosaicing based on Monocular SLAM)，而为了得到更好的裂缝拼接效果，在对地图瓦片进行DSM纹理和网格裂缝拼接过程中，应用MultibandBlender方法，使DSM纹理交界处光照与色泽的过渡更为平滑，网格交界处的高度落差趋于平滑。附图6中左面两幅图即为未经Multiband Blender渲染的DSM与规则网格，右面两幅图即为经Multiband Blender渲染的DSM与规则网格。
本发明效果可以通过以下测试不同数据的实验进一步说明：
正如附图7、8(最终实时生成的沙漠地表模型示意图)与附图9、10(最终实时生成的山地地表模型示意图)所展示的最终生成DSM可以看出，本发明能够很好地实现对自然地貌地表模型的重建。从附图11、12(最终实时生成的城市地表模型示意图)所展示的最终生成的DSM可以看出，即便对于不易用DSM表达的具有许多垂直信息的地表，本发明也能够很好地生成其地表模型。从附图13所展示的重建细节可以看出本发明的重建效果较好。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种实时的数字表面模型生成方法，其特征在于：包括以下步骤：
步骤1：机载相机实时进行地表图像拍摄，并进行实时SLAM处理，得到当前帧的特征点以及构建的地图点云；并对当前帧特征点以及地图点云进行前期预处理：
根据当前帧中特征点的像素坐标，对当前帧进行二维Delaunay三角分割，得到图像平面的二维三角网格；利用地图点云中三维点与当前帧特征点的投影关系生成世界坐标系中以点云为顶点的三维三角网格，并舍弃三维三角网格高程信息，得到世界坐标系中水平面上的二维三角网格；分别利用几何关系对水平面上二维三角网格中的边缘点和非边缘点进行检测过滤，过滤掉边缘点和非边缘点中的噪点；
步骤2：生成当前帧的DSM纹理与规则网格：
利用步骤1处理后的当前帧特征点和地图点云，根据图像平面的二维三角网格与水平面上的二维三角网格的映射关系，通过图像平面的二维三角网格将当前帧的图像划分为一系列三角面片，并将划分得到的三角面片投影到水平面上的二维三角网格中，得到当前帧的DSM纹理；
用由若干个矩形子网格组成的矩阵主网格覆盖已添加DSM纹理后的水平面上二维三角网格，并根据水平面上二维三角网格中每个顶点在三维三角网格中的高程信息插值得到矩阵主网格中每个顶点的高程信息；
步骤3：分别进行DSM纹理以及规则网格融合：
步骤3.1：建立当前帧的权值图：对当前帧的水平面上二维三角网格中所有顶点坐标计算算术平均值，得到当前帧的中心坐标，将当前帧的中心处的权值设为255，将当前帧中离中心点最远点的权值设为0，得到权值与距离相关的变化梯度，其他坐标点的权值根据其与中心点的距离以及变化梯度计算得到；
步骤3.2：将步骤2得到的每个矩形子网格作为一个地图瓦片，并根据步骤2确定该地图瓦片在世界坐标系下的坐标，同时在该地图瓦片中添加DSM纹理，以及根据步骤3.1建立的权值图，在地图瓦片中添加该瓦片的权值；
步骤3.3：对于当前帧的每个地图瓦片，根据该地图瓦片在世界坐标系下的坐标，判断瓦片库中是否存在该地图瓦片，若不存在，则将该地图瓦片存入瓦片库中，若存在，则进一步比较当前帧中该地图瓦片与瓦片库中该地图瓦片的权值，以判断该地图瓦片是否为带有拼接线的地图瓦片，如果是带有拼接线的地图瓦片，则对该地图瓦片进行DSM纹理和网格的裂缝拼接，并用裂缝拼接后的该地图瓦片替换瓦片库中该地图瓦片，如果不是带有拼接线的地图瓦片，则比较当前帧中该地图瓦片与瓦片库中该地图瓦片的权值，如果当前帧中该地图瓦片的权值大于瓦片库中该地图瓦片的权值，则用当前帧中该地图瓦片替换瓦片库中的该地图瓦片。
2.根据权利要求1所述一种实时的数字表面模型生成方法，其特征在于：步骤1对水平面上二维三角网格中的边缘点和非边缘点进行检测过滤的过程中，先进行边缘点检测过滤，在进行一次边缘点检测过滤过程中，判断是否存在噪点，如果存在噪点，则在该次边缘点检测过滤过程完成后，更新当前帧特征点以及地图点云，再返回重新对当前帧特征点以及地图点云进行前期预处理；若不存在噪点，则进行非边缘点检测过滤；在一次非边缘点检测过滤过程中，判断是否存在噪点，如果存在噪点，则在该次非边缘点检测过滤过程完成后，更新当前帧特征点以及地图点云，再返回重新对当前帧特征点以及地图点云进行前期预处理。
3.根据权利要求2所述一种实时的数字表面模型生成方法，其特征在于：步骤1中判断水平面上二维三角网格中的边缘点和非边缘点的方法是：对于水平面上二维三角网格的某一顶点，其在水平面上二维三角网格中处于若干个三角形中，取其所处的每个三角形中的对边，若这些对边能够组合成闭合多边形，则该顶点为非边缘点，否则为边缘点。
4.根据权利要求2所述一种实时的数字表面模型生成方法，其特征在于：步骤1中判断边缘点是否为噪点的方法为对每个边缘点进行如下两次判断：
对于某一边缘点，取其所处的每个三角形中的对边组成的折线，得到折线的两个端点，进一步得到两个端点与该边缘点的两条连线，判断这两条连线与所有不包含邻近点的三角形是否相交，如相交，则该边缘点为噪点；所述邻近点指该边缘点所处的每个三角形中的另外两个顶点；
对于某一边缘点，取其所处的每个三角形中的对边组成的折线，得到折线的两个端点，以两个端点连线为直径得到外接圆，取半径为k倍外接圆半径的同心圆，若该边缘点处于同心圆外，则该边缘点为噪点。
5.根据权利要求4所述一种实时的数字表面模型生成方法，其特征在于：步骤1中的k取2。
6.根据权利要求2所述一种实时的数字表面模型生成方法，其特征在于：步骤1中判断非边缘点是否为噪点的方法为：对于某一非边缘点，若该非边缘点处于其所处的每个三角形中对边组合成的闭合多边形的外部，则该非边缘点为噪点。
7.根据权利要求1所述一种实时的数字表面模型生成方法，其特征在于：步骤2中插值得到矩阵主网格中每个顶点的高程信息的过程为：
判断矩阵主网格中某个顶点的位置，若该顶点与二维三角网格某一顶点位置相同，则以三维三角网格中的该顶点高程信息作为矩阵主网格中该顶点的高程信息；若该顶点处于二维三角网格的某一条边上，则以三维三角网格中该条边的两个端点高程信息进行插值得到矩阵主网格中该顶点的高程信息；若该顶点处于二维三角网格的某一三角形内，则以三维三角网格中该三角形的三个顶点高程信息进行插值得到矩阵主网格中该顶点的高程信息。
8.根据权利要求1所述一种实时的数字表面模型生成方法，其特征在于：步骤3在对地图瓦片进行DSM纹理和网格裂缝拼接过程中，应用Multiband Blender方法，使DSM纹理交界处光照与色泽的过渡更为平滑，网格交界处的高度落差趋于平滑。
CN201811046548.4A 2018-09-08 2018-09-08 一种实时的数字表面模型生成方法 Active CN109242862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811046548.4A CN109242862B (zh) 2018-09-08 2018-09-08 一种实时的数字表面模型生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811046548.4A CN109242862B (zh) 2018-09-08 2018-09-08 一种实时的数字表面模型生成方法

Publications (2)

Publication Number Publication Date
CN109242862A true CN109242862A (zh) 2019-01-18
CN109242862B CN109242862B (zh) 2021-06-11

Family

ID=65067388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811046548.4A Active CN109242862B (zh) 2018-09-08 2018-09-08 一种实时的数字表面模型生成方法

Country Status (1)

Country Link
CN (1) CN109242862B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727748A (zh) * 2019-09-17 2020-01-24 禾多科技（北京）有限公司 小体量高精度定位图层的构建、编译及读取方法
CN112221144A (zh) * 2020-11-03 2021-01-15 网易（杭州）网络有限公司 三维场景寻路方法及装置、三维场景地图处理方法及装置
CN112509056A (zh) * 2020-11-30 2021-03-16 中国人民解放军32181部队 一种动态战场环境实时路径规划***及方法
CN112767549A (zh) * 2020-12-29 2021-05-07 湖北中南鹏力海洋探测***工程有限公司 一种高频地波雷达海态数据的等高面生成方法
CN112861837A (zh) * 2020-12-30 2021-05-28 北京大学深圳研究生院 一种基于无人机的红树林生态信息智慧提取方法
CN113066177A (zh) * 2020-01-02 2021-07-02 沈阳美行科技有限公司 一种地图数据处理方法、装置、设备及存储介质
CN113066000A (zh) * 2020-01-02 2021-07-02 沈阳美行科技有限公司 一种地图数据处理方法、装置、设备及存储介质
CN113496550A (zh) * 2020-03-18 2021-10-12 广州极飞科技股份有限公司 一种dsm的计算方法、装置、计算机设备及存储介质
CN113711273A (zh) * 2019-04-25 2021-11-26 三菱电机株式会社 移动量估计装置、移动量估计方法及移动量估计程序
CN114201633A (zh) * 2022-02-17 2022-03-18 四川腾盾科技有限公司 一种用于无人机视觉定位的自适应卫星图像生成方法
CN117171288A (zh) * 2023-11-02 2023-12-05 中国地质大学（武汉） 一种栅格地图解析方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349863B1 (en) * 2001-06-14 2008-03-25 Massachusetts Institute Of Technology Dynamic planning method and system
CN102506824A (zh) * 2011-10-14 2012-06-20 航天恒星科技有限公司 一种城市低空无人机***生成数字正射影像图的方法
CN104680543A (zh) * 2015-03-18 2015-06-03 哈尔滨工业大学 基于3D-Zernike矩相位分析的数字表面模型方位差异估计方法
CN107240153A (zh) * 2017-06-16 2017-10-10 千寻位置网络有限公司 基于dsm的无人机飞行安全区域计算显示方法
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
CN107705241A (zh) * 2016-08-08 2018-02-16 国网新疆电力公司 一种基于瓦片地形建模和投影校正的沙盘构建方法
CN108182722A (zh) * 2017-07-27 2018-06-19 桂林航天工业学院 一种三维物体边缘优化的真正射影像生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349863B1 (en) * 2001-06-14 2008-03-25 Massachusetts Institute Of Technology Dynamic planning method and system
CN102506824A (zh) * 2011-10-14 2012-06-20 航天恒星科技有限公司 一种城市低空无人机***生成数字正射影像图的方法
CN104680543A (zh) * 2015-03-18 2015-06-03 哈尔滨工业大学 基于3D-Zernike矩相位分析的数字表面模型方位差异估计方法
CN107705241A (zh) * 2016-08-08 2018-02-16 国网新疆电力公司 一种基于瓦片地形建模和投影校正的沙盘构建方法
CN107240153A (zh) * 2017-06-16 2017-10-10 千寻位置网络有限公司 基于dsm的无人机飞行安全区域计算显示方法
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
CN108182722A (zh) * 2017-07-27 2018-06-19 桂林航天工业学院 一种三维物体边缘优化的真正射影像生成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DILEKKOC-SAN 等: "Automatic citrus tree extraction from UAV images and digital surface models using circular Hough transform", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
SHUHUI BU 等: "Map2DFusion: Real-time incremental UAV image mosaicing based on monocular SLAM", 《2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
Y.H. JI: "DSM update for robust outdoor localization using ICP-based scan matching with COAG features of laser range data", 《2011 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION (SII)》 *
闫利 等: "密集点云的数字表面模型自动生成方法", 《遥感信息》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113711273A (zh) * 2019-04-25 2021-11-26 三菱电机株式会社 移动量估计装置、移动量估计方法及移动量估计程序
CN110727748B (zh) * 2019-09-17 2021-08-24 禾多科技（北京）有限公司 小体量高精度定位图层的构建、编译及读取方法
CN110727748A (zh) * 2019-09-17 2020-01-24 禾多科技（北京）有限公司 小体量高精度定位图层的构建、编译及读取方法
CN113066177B (zh) * 2020-01-02 2024-01-23 沈阳美行科技股份有限公司 一种地图数据处理方法、装置、设备及存储介质
CN113066000B (zh) * 2020-01-02 2024-01-26 沈阳美行科技股份有限公司 一种地图数据处理方法、装置、设备及存储介质
CN113066177A (zh) * 2020-01-02 2021-07-02 沈阳美行科技有限公司 一种地图数据处理方法、装置、设备及存储介质
CN113066000A (zh) * 2020-01-02 2021-07-02 沈阳美行科技有限公司 一种地图数据处理方法、装置、设备及存储介质
CN113496550B (zh) * 2020-03-18 2023-03-24 广州极飞科技股份有限公司 一种dsm的计算方法、装置、计算机设备及存储介质
CN113496550A (zh) * 2020-03-18 2021-10-12 广州极飞科技股份有限公司 一种dsm的计算方法、装置、计算机设备及存储介质
CN112221144A (zh) * 2020-11-03 2021-01-15 网易（杭州）网络有限公司 三维场景寻路方法及装置、三维场景地图处理方法及装置
CN112221144B (zh) * 2020-11-03 2024-03-15 网易（杭州）网络有限公司 三维场景寻路方法及装置、三维场景地图处理方法及装置
CN112509056B (zh) * 2020-11-30 2022-12-20 中国人民解放军32181部队 一种动态战场环境实时路径规划***及方法
CN112509056A (zh) * 2020-11-30 2021-03-16 中国人民解放军32181部队 一种动态战场环境实时路径规划***及方法
CN112767549B (zh) * 2020-12-29 2023-09-01 湖北中南鹏力海洋探测***工程有限公司 一种高频地波雷达海态数据的等高面生成方法
CN112767549A (zh) * 2020-12-29 2021-05-07 湖北中南鹏力海洋探测***工程有限公司 一种高频地波雷达海态数据的等高面生成方法
CN112861837B (zh) * 2020-12-30 2022-09-06 北京大学深圳研究生院 一种基于无人机的红树林生态信息智慧提取方法
CN112861837A (zh) * 2020-12-30 2021-05-28 北京大学深圳研究生院 一种基于无人机的红树林生态信息智慧提取方法
CN114201633A (zh) * 2022-02-17 2022-03-18 四川腾盾科技有限公司 一种用于无人机视觉定位的自适应卫星图像生成方法
CN117171288B (zh) * 2023-11-02 2024-01-12 中国地质大学（武汉） 一种栅格地图解析方法、装置、设备和介质
CN117171288A (zh) * 2023-11-02 2023-12-05 中国地质大学（武汉） 一种栅格地图解析方法、装置、设备和介质

Also Published As

Publication number Publication date
CN109242862B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN109242862A (zh) 一种实时的数字表面模型生成方法
CN110570428B (zh) 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及***
CN110264567B (zh) 一种基于标记点的实时三维建模方法
Gruszczyński et al. Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation
Lafarge et al. Creating large-scale city models from 3D-point clouds: a robust approach with hybrid representation
Forlani et al. C omplete classification of raw LIDAR data and 3D reconstruction of buildings
CN112927370A (zh) 三维建筑物模型构建方法、装置、电子设备及存储介质
CN106127857B (zh) 综合数据驱动与模型驱动的机载LiDAR数据建模方法
CN113066162B (zh) 一种用于电磁计算的城市环境快速建模方法
CN114332366B (zh) 数字城市单体房屋点云立面3d特征提取方法
CN114998536A (zh) 基于新型基础测绘的模型生成方法、装置及存储介质
CN106600690A (zh) 基于点云数据的复杂建筑体三维建模方法
CN110866531A (zh) 一种基于三维建模的建筑物特征提取方法、***及存储介质
CN103017739A (zh) 基于激光雷达点云与航空影像的真正射影像的制作方法
CN113298944A (zh) 一种基于无人机倾斜摄影的自动化三维建模测量方法
Stal et al. Test case on the quality analysis of structure from motion in airborne applications
KR101078238B1 (ko) 항공 레이저 측량의 점군 집합을 활용한 하천 지역 내 3차원 인공 제방선 추출 방법
WO2011085435A1 (en) Classification process for an extracted object or terrain feature
Li et al. New methodologies for precise building boundary extraction from LiDAR data and high resolution image
Zhao et al. Completing point clouds using structural constraints for large-scale points absence in 3D building reconstruction
Zhao et al. A 3D modeling method for buildings based on LiDAR point cloud and DLG
Rebelo et al. Building 3D city models: Testing and comparing Laser scanning and low-cost UAV data using FOSS technologies
Forlani et al. Building reconstruction and visualization from lidar data
Lin et al. Noise point detection from airborne lidar point cloud based on spatial hierarchical directional relationship
Wang et al. Branching the limits: Robust 3D tree reconstruction from incomplete laser point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant