CN115546544A - 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 - Google Patents
基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 Download PDFInfo
- Publication number
- CN115546544A CN115546544A CN202211209998.7A CN202211209998A CN115546544A CN 115546544 A CN115546544 A CN 115546544A CN 202211209998 A CN202211209998 A CN 202211209998A CN 115546544 A CN115546544 A CN 115546544A
- Authority
- CN
- China
- Prior art keywords
- super
- point
- point cloud
- points
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 230000008878 coupling Effects 0.000 title claims abstract description 18
- 238000010168 coupling process Methods 0.000 title claims abstract description 18
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 18
- 238000002372 labelling Methods 0.000 title claims description 11
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000512668 Eunectes Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法。以图神经网络为理论依据，首先超分割激光雷达点云得到“超点”，并根据超点之间的邻接关系构建超点邻接图；利用PiontNet嵌入超点特征并设计邻接图边特征从而形成完整的图神经网络；再将超点与对应的众源地图平台标注信息关联，将其纳入基于图卷积网络的超点特征更新以实现众源地图平台标注信息全局传递，从而实现地表地物分类。本发明提出的激光雷达点云分类策略可以解决众源地图平台标注的稀疏性，表达众源地图平台标注对其他地物对象的影响，在地表分类上均取得较优的性能，实现了高质量、智能化的城市地表覆盖三维分类。
Description
技术领域
本发明涉及遥感科学技术领域，具体涉及基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法。
背景技术
LiDAR(Light Detection And Ranging，激光雷达探测技术)直接对地球表面进行三维密集采样，成为数字化时代下刻画复杂现实世界最为直接和重要的三维地理空间数据获取手段，为城市地表覆盖三维分类提供数据表征基础。但是，激光雷达点云的数据量大、冗余度高、非结构化、采样粒度不均等典型特征，给复杂城市环境下地表覆盖三维分类带来了巨大挑战。与此同时，当下众源地图平台标注数据的完善，使得城市地表覆盖三维分类得以实现，为城市三维分类提供了互补信息，推动实景三维走向实体三维，而这方面的研究尚少，亟需开展相关研究。
自2004年OSM(Open Street Map，众源地图平台)开放，已有众多矢量标注信息。标注信息覆盖范围广、贡献人数多，可被用来验证地表覆盖产品，甚至通过规则转换生成个别城市的地表覆盖产品。众源地图平台是一种增量更新模式，缺少完整的历史数据，无法得到地表覆盖变化时间序列。而且在中国城市的标注信息并不完善，存在图斑缺失。相对而言，众源地图平台中的建筑物、道路等的标记较为详实，常被用来作为遥感影像分类的真值训练模型从数据分析角度出发，城市地表覆盖三维分类可以理解为对表达城市三维地物的点云进行分类，目前主要是对激光雷达点云的分类。2012年Schindler等在期刊《RemoteSense》50卷中发表“An overview and comparison of smooth labeling methods forland-cover classification”一文，提出基于条件随机场使用图结构将类别之间的转换(二元项)纳入后处理平滑过程，并通过Potts模型计算条件随机场中的二元项；2016年Niemeyer等在杂志《International Archives of the Photogrammetry,Remote Sensingand Spatial Information Sciences》中发表“Hierarchical higher order crf for theclassification of airborne LiDAR point clouds in urban areas”一文，发现使用高阶的条件随机场纳入对象二元项，可获得更多空间之间的联系；近年来，神经网络的快速发展，提升了计算机视觉与遥感领域分类任务的精度，特别是，2018年Landrieu在会议论文集《Proceedings of the IEEE Conference on Computer Vision and PatternRecognition Workshops》中发表“Large-Scale Point Cloud Semantic Segmentationwith Superpoint Graphs”一文，利用图神经网络，将其推理纳入深度学习中，为“端到端”地学习特征提供了可能，在图网络的基础上，纳入了知识图谱定义了空间与语义推理的框架，使得点云分类中取得了快速的发展。
目前在图卷积网络中，消息之间的传递使用图结点的隐状态，隐状态会在迭代过程中发生变化，较为耗时，若使用众源地图平台真值固定部分结点可以有效迭代，且加入先验知识。因此，如何在城市地表覆盖三维分类中嵌入众源地图平台标注信息进行推理，亟需深入研究。
发明内容
本发明的目的在于：提供基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法。
为实现上述目的，本发明提供如下技术方案：基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，包括如下步骤：
S1、超分割激光雷达点云得到超点，将其作为分类单元，并根据各个超点之间的欧式邻接关系，构造超点邻接图；
S2、利用PiontNet为超点嵌入特征并设计邻接图中超边的特征，形成完整的图神经网络；
S3、将众源地图平台标注中的建筑物与对应超点关联，固定该类超点的特征，将未与众源地图平台标注关联的超点，使用相邻超点的聚合进行迭代更新；
S4、使用迭代过程中所有的状态组合预测未关联超点类别，获得城市三维土地覆盖分类结果。
进一步地，前述的步骤S1包括如下子步骤：
S1.1、利用激光雷达点云超分割方法获得超点，其优化目标利用如下分割能量函数：
其中，
为激光雷达点云表征特征，fseg由点云邻域定义的协方差奇异值分解计算得到，包括：点状、线状、面状、垂度四个特征；(i,j)∈E表示第i个点云与第j个点云相邻；优化结果g*是具有重复分量的张量，相同分量的连通区域为超点；λ为超参数，用于表达分割数量与分割形状之间的一个调整参数,该能量函数利用l0-cut算法近似求解；
S1.2、利用狄洛尼算法构建包含所有激光雷达点云的三角网以确定点云之间的邻接关系，之后筛选出狄洛尼三角网中连接不同点云的边，这些边两端的点云所对应的超点视为存在邻接关系，加入邻接图
的边集合ε中，如下式：
其中，图结构
表示各个超点之间的欧式邻接关系，
是超点的集合，ε是超点之间的边集合，表达超点间邻接关系；V和U表示超点，
表示所有超点对所在的集合，i、j分别表示超点V、U中的任一超点，εΔ表示狄洛尼三角网中所有边的集合。
进一步地，前述的步骤S2包括如下子步骤：
S2.1、利用PointNet的多层感知机对邻域内每个点云进行多重的一维卷积；
S2.2、在一维卷积之后使用卷积-最大池化概括邻域内所有点云的特征；
S2.3、利用超点之间的边集合ε为超边嵌入特征。
进一步地，前述的步骤S3具体为3具体为：
选取众源地图平台中比较准确的建筑物面状矢量，将其与对应的超点进行关联，对于未关联的超点，聚合其相邻超点的信息，聚合方式如下式：
其中，超点状态的初始值
为使用PointNet嵌入的特征；
是超点邻接图中与未关联超点V邻接的已关联超点的特征的聚合；ε是超点邻接图的边集合；MLPedge是一个多层感知机模型，用于将边特征fVU转化为与隐状态维度一致的向量，
表示逐元素相乘。
进一步地，前述的步骤S4具体为：
利用迭代流的点云语义进行地物类别推断，在门控循环单元网络的迭代过程中，未关联众源地图平台标注的超点会产生隐状态
利用线性模型计算迭代流中产生的隐状态映射的类别空间，如下式：
其中，W表示需要学习的线性模型的参数矩阵，
为类别空间，L(v)表示超点分类的概率向量，其类别l(c)是最大概率对应的类别。
进一步地，前述的步骤S2.1中，随机对128个点云进行一维卷积和卷积-最大池化以嵌入特征。
进一步地，前述的步骤S2.3中，所述超边特征采用5种类型，13个维度表示。
相比于现有技术，本发明的有益效果为：
(1)本发明的一种基于图神经网络的激光雷达点云与众源地图平台标注信息流耦合分类方法，将激光雷达点云超分割形成超点，作为基本分类对象。该做法的优势在于其可以使超点较好地与众源地图平台数据进行关联，因为二者均可以理解为对象；
(2)本发明的一种基于图神经网络的激光雷达点云与众源地图平台标注信息流耦合分类方法，超点构建的图网络比直接使用点云构建的图网络小，且可以更好的纳入地物对象之间的关系；
(3)本发明的一种基于图神经网络的激光雷达点云与众源地图平台标注信息流耦合分类方法，超点状态更新的时候，可以使用众源地图平台带来的一些先验信息，使得状态的更新比较稳定，避免趋于一致。
(4)本发明的一种基于图神经网络的激光雷达点云与众源地图平台标注信息流耦合分类方法，由于建筑物屋顶超点的类别比较好判断，通过众源地图平台关联的建筑物超点，可以使得部分建筑物超点无须加入损失计算和参数更新。这种在损失计算的时候移除一些稳定的地物，可以使得训练目标更在意其他易误分的超点，进而提供其辨别难分地物的能力。
附图说明
图1为本发明标注信息流耦合分类策略的实施流程示意图。
图2为官网自行下载的众源地图平台标注信息图。
图3为国际摄影测量与遥感学会提供的激光雷达点云数据图，图中(a)为训练区域，(b)为测试区域。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
如图1所示，本发明的基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，包括如下步骤：
S1、超分割激光雷达点云得到超点，将其作为分类单元，并根据各个超点之间的欧式邻接关系，构造超点邻接图；
S2、利用PiontNet为超点嵌入特征并设计邻接图中超边的特征，形成完整的图神经网络；
S3、将众源地图平台标注中的建筑物与对应超点关联，固定该类超点的特征，未与众源地图平台标注关联的超点，使用其相邻超点的聚合进行迭代更新；
S4、使用迭代过程中所有的状态组合预测未关联超点的类别，获得城市三维土地覆盖分类结果。
本发明利用图神经网络将众源地图平台标注信息赋予激光雷达点云，弥补了现有三维激光雷达点云数据中存在较少的标注数据的问题，同时众源地图平台的耦合引入了先验避免图神经网络状态传递趋于一致，同时使得学习过程更加倾向于其他难分对象，获得更好的分类效果。
如图2所示，本实施例中众源地图平台数据依据训练数据与测试数据从官网(https://www.openstreetmap.org/#map＝15/48.9288/8.9638&layers＝N)下载。因为众源地图平台数据的坐标***是地理坐标***WGS84，没有投影坐标系，所以，众源地图平台数据需要被投影变换到UTM-32N以便与激光雷达点云数据在同一投影坐标系下实现耦合叠置。
如图3所示，本实施例中激光雷达点云数据由国际摄影测量与遥感协会提供(http://www2.isprs.org/commissions/comm3/wg4/tests.html)，是由徕卡ALS50***于2008年8月所拍摄。具体的，该数据是由Leica Geosystems使用具有45°视场的Leica ALS50***在Vaihingen采集而得，其地理坐标系是WGS84，投影坐标系是UTM-32N。其中，图3中的(a)为训练区域，图3中的(b)为测试区域。本实例具体实施采用Python编程语言，在Anaconda平台下实现，主要使用Python的Pytorch、Tensorflow、Numpy库。
基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，具体步骤如下：
第一步，点云超分割及超点邻接图构建。超分割激光雷达点云获得超点，其优化目标利用如下分割能量函数：
其中，
为激光雷达点云表征特征，fseg由点云邻域定义的协方差奇异值分解计算得到，包括：点状、线状、面状、垂度四个特征；(i,j)∈E表示第i个点云与第j个点云相邻；优化结果g*是具有重复分量的张量，相同分量的连通区域为超点；λ为超参数，用于表达分割数量与分割形状之间的一个调整参数，该能量函数利用l0-cut算法近似求解。
超分割激光雷达点云获得超点除了满足特征相似外，还要符合点云之间的连通性。点云之间的连通性可以使用邻接关系来表达，也就是边的集合。虽然在分割过程需要设置λ这个超参数，但是避免了设置分割数量，这个特点对于大范围的城市激光雷达点云分割而言特别友好，是因为城市地表包含的地物个数难以确定，而且地面的连通覆盖范围较大，树木联通范围较小，为分割数量确定带来了难题。
理论上，激光雷达点云的超分割的结果应该是相互独立且均质的超点集合，但是后续的推理过程需要超点间的相互邻接关系。超点间的邻接关系可以使用图结构
来表达(其中，
是图的超点的集合；ε是超点之间边集合，表达超点间邻接关系)。首先利用狄洛尼算法构建包含所有激光雷达点云的三角网以确定点云之间的邻接关系，再筛选出狄洛尼三角网中连接不同点云的边，这些边两端的点云所对应的超点视为存在邻接关系，加入邻接图的边集合ε中，如下式：
其中，V和U表示超点，
表示所有超点对所在的集合，i、j表示超点V、U中的任一点，εΔ表示狄洛尼三角网中所有边的集合。
第二步，超点邻接图的特征嵌入。对于超点而言，其内部每个点云的表达除了几何坐标(x,y,z)外，还包含超分割时计算的线状、面状、体状、垂度等4维几何特征。为了使超点得到相同维度的特征，采用PointNet卷积进行局部感知计算自动提取特征。先利用PointNet对邻接图内每个点云使用多层感知机进行多重的一维卷积；在一维卷积之后使用卷积-最大池化提取邻接图内所有点云的特征，并且以超点之间的邻接边集合ε为基础为超边嵌入特征。这样合理地解决了点云排列无序性带来的问题，同时由于卷积-最大池化操作的原因，超点中点云的重复采样不会影响PointNet的结果；但是当超点中采样的点云较少时，PointNet不能嵌入稳定的特征表示。因此，我们在超点中随机选择128个点云实现特征嵌入。在特征嵌入过程中，PointNet为了保持数据的旋转不变性，使用了MLP学习一个旋转矩阵以转换坐标。
邻接图中超点的特征嵌入只表达了超点自身的特征，尚未建立超点间的相互联系。这种相互联系使用邻接图中边集合ε的特征进行表示，本研究采用5个类型，13维特征来表示邻接图中超点间的邻接关系，如表1所示。
表1
第三步，关联众源地图平台标注的图神经网络消息传递与推断。众源地图平台标注信息在图网络中的全局传递是通过固定与众源地图平台关联的超点隐状态得以实现的。超点特征的更新使用的基本单元是门控循环单元网络。先选取众源地图平台中准确的建筑物面状矢量，将其与对应超点进行关联，对于未关联的超点，聚合其相邻超点的信息，聚合方式如下式：
其中，超点状态的初始值
为使用PointNet嵌入的特征；
是邻接图中与未关联超点V邻接的已关联超点的特征的聚合；ε是超点邻接图的边集合，MLPedge是一个多层感知机模型，用于将超边特征fVU转化为与隐状态维度一致向量，以便二者进行逐元素相乘
这样就可以在超边特征的帮助下有效地进行信息传递及特征更新。比如，
用于表达图网络中其他超点对超点5(未关联超点)的影响，即对相邻超点1与4(已关联为建筑物)特征的聚合。
第四步，基于众源地图平台众源标注的建筑物关联的超点与迭代流的点云语义进行地物类别推断。在门控循环单元网络的迭代过程中，未关联众源地图平台标注的超点会产生隐状态
利用线性模型计算迭代流中产生的隐状态映射的类别空间，如下式：
其中，W表示需要学习的线性模型的参数矩阵，
为类别空间，L(v)表示超点分类的概率向量，其类别l(c)是最大概率对应的类别。
对于已关联众源地图平台建筑物的超点，其类别就是建筑物，将其转换到城市地表覆盖分类中，则为屋顶。
本实施例采用准确率、召回率与F1得分作为分类结果评价参数。通过比较准确率与召回率的调和平均数F1，可以发现除了低矮植被，耦合了众源地图平台的F1总体上优于未耦合众源地图平台的，其中耦合了众源地图平台建筑物的图神经网络对建筑物屋顶提高了0.32％，但是对于树木提高了2.15％，对不透水地面提高了2.96％，如表2所示。
表2
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (7)
1.基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，包括如下步骤：
S1、超分割激光雷达点云得到超点，将其作为分类单元，并根据各个超点之间的欧式邻接关系，构造超点邻接图；
S2、利用PiontNet为超点嵌入特征并设计邻接图中超边的特征，形成完整的图神经网络；
S3、将众源地图平台标注中的建筑物与对应超点关联，固定该类超点的特征，将未与众源地图平台标注关联的超点，使用相邻超点的聚合进行迭代更新；
S4、使用迭代过程中所有的状态组合预测未关联超点类别，获得城市三维土地覆盖分类结果。
2.根据权利要求1所述的基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，步骤S1包括如下子步骤：
S1.1、利用激光雷达点云超分割方法获得超点，其优化目标利用如下分割能量函数：
其中，
为激光雷达点云表征特征，fseg由点云邻域定义的协方差奇异值分解计算得到，包括：点状、线状、面状、垂度四个特征；(i,j)∈E表示第i个点云与第j个点云相邻；优化结果g*是具有重复分量的张量，相同分量的连通区域为超点；λ为超参数，用于表达分割数量与分割形状之间的一个调整参数,该能量函数利用l0-cut算法近似求解；
S1.2、利用狄洛尼算法构建包含所有激光雷达点云的三角网以确定点云之间的邻接关系，之后筛选出狄洛尼三角网中连接不同点云的边，这些边两端的点云所对应的超点视为存在邻接关系，加入邻接图
的边集合ε中，如下式：
其中，图结构
表示各个超点之间的欧式邻接关系，
是超点的集合，ε是超点之间的边集合，表达超点间邻接关系；V和U表示超点，
表示所有超点对所在的集合，i、j分别表示超点V、U中的任一超点，εΔ表示狄洛尼三角网中所有边的集合。
3.根据权利要求2所述的基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，步骤S2包括如下子步骤：
S2.1、利用PointNet的多层感知机对邻域内每个点云进行多重的一维卷积；
S2.2、在一维卷积之后使用卷积-最大池化概括邻域内所有点云的特征；
S2.3、利用超点之间的边集合ε为超边嵌入特征。
4.根据权利要求3所述的基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，步骤S3具体为3具体为：
选取众源地图平台中比较准确的建筑物面状矢量，将其与对应的超点进行关联，对于未关联的超点，聚合其相邻超点的信息，聚合方式如下式：
其中，超点状态的初始值
为使用PointNet嵌入的特征；
是超点邻接图中与未关联超点V邻接的已关联超点的特征的聚合；ε是超点邻接图的边集合；
MLPedge是一个多层感知机模型，用于将边特征fVU转化为与隐状态维度一致的向量，⊙表示逐元素相乘。
5.根据权利要求1所述的基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，步骤S4具体为：
利用迭代流的点云语义进行地物类别推断，在门控循环单元网络的迭代过程中，未关联众源地图平台标注的超点会产生隐状态
利用线性模型计算迭代流中产生的隐状态映射的类别空间，如下式：
其中，W表示需要学习的线性模型的参数矩阵，
为类别空间，L(v)表示超点分类的概率向量，其类别l(c)是最大概率对应的类别。
6.根据权利要求3所述的基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，步骤S2.1中，随机对128个点云进行一维卷积和卷积-最大池化以嵌入特征。
7.根据权利要求3所述的基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法，其特征在于，步骤S2.3中，所述超边特征采用5种类型，13个维度表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211209998.7A CN115546544B (zh) | 2022-09-30 | 2022-09-30 | 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211209998.7A CN115546544B (zh) | 2022-09-30 | 2022-09-30 | 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115546544A true CN115546544A (zh) | 2022-12-30 |
| CN115546544B CN115546544B (zh) | 2023-11-17 |
Family
ID=84731404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211209998.7A Active CN115546544B (zh) | 2022-09-30 | 2022-09-30 | 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546544B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392130A (zh) * | 2017-07-13 | 2017-11-24 | 西安电子科技大学 | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 |
| CN108710906A (zh) * | 2018-05-11 | 2018-10-26 | 北方民族大学 | 基于轻量级网络LightPointNet的实时点云模型分类方法 |
| CN109034233A (zh) * | 2018-07-18 | 2018-12-18 | 武汉大学 | 一种结合OpenStreetMap的高分辨率遥感影像多分类器联合分类方法 |
| US20200012904A1 (en) * | 2018-07-03 | 2020-01-09 | General Electric Company | Classification based on annotation information |
| CN111950658A (zh) * | 2020-08-28 | 2020-11-17 | 南京大学 | 一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法 |
| US20210042942A1 (en) * | 2019-08-07 | 2021-02-11 | Harman Becker Automotive Systems Gmbh | Road map fusion |
| US20210124901A1 (en) * | 2019-10-28 | 2021-04-29 | The Chinese University Of Hong Kong | Systems and methods for place recognition based on 3d point cloud |
| US20210224613A1 (en) * | 2017-11-29 | 2021-07-22 | Beijing Greenvalley Technology Co., Ltd. | Method, Apparatus, and Device for Classifying LiDAR Point Cloud Data, and Storage Medium |
| CN113469226A (zh) * | 2021-06-16 | 2021-10-01 | 中国地质大学（武汉） | 一种基于街景图像的土地利用分类方法及*** |
| US20210334606A1 (en) * | 2020-04-28 | 2021-10-28 | Microsoft Technology Licensing, Llc | Neural Network Categorization Accuracy With Categorical Graph Neural Networks |
| CN113592013A (zh) * | 2021-08-06 | 2021-11-02 | 国网新源水电有限公司富春江水力发电厂 | 一种基于图注意力网络的三维点云分类方法 |
| CN113989547A (zh) * | 2021-10-15 | 2022-01-28 | 天津大学 | 基于图卷积深度神经网络的三维点云数据分类结构及方法 |
| CN114443858A (zh) * | 2022-01-20 | 2022-05-06 | 电子科技大学(深圳)高等研究院 | 一种基于图神经网络的多模态知识图谱表示学习方法 |
-
2022
- 2022-09-30 CN CN202211209998.7A patent/CN115546544B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392130A (zh) * | 2017-07-13 | 2017-11-24 | 西安电子科技大学 | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 |
| US20210224613A1 (en) * | 2017-11-29 | 2021-07-22 | Beijing Greenvalley Technology Co., Ltd. | Method, Apparatus, and Device for Classifying LiDAR Point Cloud Data, and Storage Medium |
| CN108710906A (zh) * | 2018-05-11 | 2018-10-26 | 北方民族大学 | 基于轻量级网络LightPointNet的实时点云模型分类方法 |
| US20200012904A1 (en) * | 2018-07-03 | 2020-01-09 | General Electric Company | Classification based on annotation information |
| CN109034233A (zh) * | 2018-07-18 | 2018-12-18 | 武汉大学 | 一种结合OpenStreetMap的高分辨率遥感影像多分类器联合分类方法 |
| US20210042942A1 (en) * | 2019-08-07 | 2021-02-11 | Harman Becker Automotive Systems Gmbh | Road map fusion |
| US20210124901A1 (en) * | 2019-10-28 | 2021-04-29 | The Chinese University Of Hong Kong | Systems and methods for place recognition based on 3d point cloud |
| US20210334606A1 (en) * | 2020-04-28 | 2021-10-28 | Microsoft Technology Licensing, Llc | Neural Network Categorization Accuracy With Categorical Graph Neural Networks |
| CN111950658A (zh) * | 2020-08-28 | 2020-11-17 | 南京大学 | 一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法 |
| CN113469226A (zh) * | 2021-06-16 | 2021-10-01 | 中国地质大学（武汉） | 一种基于街景图像的土地利用分类方法及*** |
| CN113592013A (zh) * | 2021-08-06 | 2021-11-02 | 国网新源水电有限公司富春江水力发电厂 | 一种基于图注意力网络的三维点云分类方法 |
| CN113989547A (zh) * | 2021-10-15 | 2022-01-28 | 天津大学 | 基于图卷积深度神经网络的三维点云数据分类结构及方法 |
| CN114443858A (zh) * | 2022-01-20 | 2022-05-06 | 电子科技大学(深圳)高等研究院 | 一种基于图神经网络的多模态知识图谱表示学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| WANG, LIANG: "A Graphical Convolutional Network-based Method for 3D Point Cloud Classification", 《PROCEEDINGS OF THE 33RD CHINESE CONTROL AND DECISION CONFERENCE》 * |
| YANMING CHEN: "Three-Dimensional Reconstruction of Large Multilayer Interchange Bridge Using Airborne LiDAR Data", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115546544B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
| Li et al. | Building and optimization of 3D semantic map based on Lidar and camera fusion | |
| Catani | Landslide detection by deep learning of non-nadiral and crowdsourced optical images | |
| Sowmya et al. | Modelling and representation issues in automated feature extraction from aerial and satellite images | |
| CN108734728A (zh) | 一种基于高分辨序列图像的空间目标三维重构方法 | |
| CN106017472A (zh) | 全局路线规划方法、全局路线规划***及无人机 | |
| Liu et al. | Scale computation on high spatial resolution remotely sensed imagery multi-scale segmentation | |
| Xu et al. | A new clustering-based framework to the stem estimation and growth fitting of street trees from mobile laser scanning data | |
| Karydas | Optimization of multi-scale segmentation of satellite imagery using fractal geometry | |
| CN111611960B (zh) | 一种基于多层感知神经网络大区域地表覆盖分类方法 | |
| Yu et al. | Land cover classification of multispectral lidar data with an efficient self-attention capsule network | |
| Balaska et al. | Self-localization based on terrestrial and satellite semantics | |
| Cai et al. | Feature selection for airborne LiDAR data filtering: A mutual information method with Parzon window optimization | |
| Borisov et al. | An automated process of creating 3D city model for monitoring urban infrastructures | |
| Deng et al. | See-csom: Sharp-edged and efficient continuous semantic occupancy mapping for mobile robots | |
| Gupta et al. | Tree annotations in LiDAR data using point densities and convolutional neural networks | |
| Laskey et al. | Envisioning uncertainty in geospatial information | |
| Çalışkan et al. | Forest road extraction from orthophoto images by convolutional neural networks | |
| CN115546544A (zh) | 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法 | |
| Lv et al. | Novel Distribution Distance based on Inconsistent Adaptive Region for Change Detection Using Hyperspectral Remote Sensing Images | |
| Li et al. | [Retracted] PointLAE: A Point Cloud Semantic Segmentation Neural Network via Multifeature Aggregation for Large‐Scale Application | |
| Ramiya et al. | Assessment of various parameters on 3D semantic object-based point cloud labelling on urban LiDAR dataset | |
| CN113627331A (zh) | 一种基于扩展道路形状指数的高分辨率影像道路提取方法 | |
| Huang et al. | SPGCN: ground filtering method based on superpoint graph convolution neural network for vehicle LiDAR | |
| Zou et al. | Scene flow for 3D laser scanner and camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230713 Address after: 518034 floor 1, No. 69, Xinwen Road, Futian District, Shenzhen, Guangdong Applicant after: Shenzhen planning and natural resources data management center Applicant after: HOHAI University Address before: 518034 floor 1, No. 69, Xinwen Road, Futian District, Shenzhen, Guangdong Applicant before: Shenzhen planning and natural resources data management center Applicant before: HOHAI University Applicant before: NANJING University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |