CN112446343B - 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 - Google Patents

一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 Download PDF

Info

Publication number
CN112446343B
CN112446343B CN202011416852.0A CN202011416852A CN112446343B CN 112446343 B CN112446343 B CN 112446343B CN 202011416852 A CN202011416852 A CN 202011416852A CN 112446343 B CN112446343 B CN 112446343B
Authority
CN
China
Prior art keywords
point cloud
rod
point
cloud data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011416852.0A
Other languages
English (en)
Other versions
CN112446343A (zh
Inventor
沈姜威
蔡东健
岳顺
邢万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuance Information Technology Co ltd
Original Assignee
Yuance Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuance Information Technology Co ltd filed Critical Yuance Information Technology Co ltd
Priority to CN202011416852.0A priority Critical patent/CN112446343B/zh
Publication of CN112446343A publication Critical patent/CN112446343A/zh
Application granted granted Critical
Publication of CN112446343B publication Critical patent/CN112446343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合多尺度特征的车载点云道路杆状物机器学***台；MICROSTATION CE平台对LAS格式的点云数据预处理；MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据；MICROSTATION CE平台对杆状物点云数据分类处理；MICROSTATION CE平台对杆状物点云数据的分类结果融合处理，本发明的目的在于提供一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法，全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题，且提高了完整性和准确性。

Description

一种融合多尺度特征的车载点云道路杆状物机器学习自动提 取方法
技术领域
本发明涉及测绘科技技术领域，尤其涉及一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法。
背景技术
目前杆状交通设施作为我国重要的基础道路设施，其信息的快速获取与更新对保障公路安全有重大意义。高精度的杆状交通设施信息如位置、倾角、朝向和属性等，在道路资产调查、自动驾驶和辅助驾驶等领域都有重要作用。
而道路杆状地物的提取和分类技术主要包括人工测量、基于车载影像判读和基于车载激光点云提取三大类。首先，由于杆状交通设施数量巨大且较为分散，人工测量方法不可取，它的安全性较低，质量难以保证，不适合信息的快速更新。车载影像的判读则严重依赖成像质量，相片质量差，判读效果就差，自动化程度也比较低。
车载点云的目标提取有基于机器学习、先分割后识别和深度学习三大类。先分割后识别的目标提取方法则更易于理解。采用先分割后识别时，在点云分割部分，现有方法着重实现杆状物和其它非杆状地物的分割，导致在实际场景中不同类型杆状物偶尔会重叠连接在一起，影响分类，同时在分割过程中并不能同时获取杆状物的位置信息。在目标提取方面，也有三种方法：基于语义规则、基于机器学习和基于模型匹配三类。基于机器学习的目标提取大都基于单一尺度下的形状特征，往往会忽略局部或全局特征，导致特征获取不全，损失精度；并且算法的性能比较依赖分割目标的准确性和完整性。
因此对于一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法，点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标、传统基于机器学习的目标提取过程中特征获取不全、尺度单一是我们要解决的问题。
发明内容
为克服上述缺点，本发明的目的在于提供一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法，全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题，并优化了分割方法，提高了分割效率和精度，结合逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类，多尺度分类，综合考虑杆状物点云数据的局部、全局和上下文特征，高效准确，且提高了完整性和准确性。
为了达到以上目的，本发明采用的技术方案是：一种融合多尺度特征的车载点云道路杆状物机器学***台；步骤2：MICROSTATION CE平台对LAS格式的点云数据预处理；步骤3：MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据；步骤4：MICROSTATION CE平台对杆状物点云数据分类处理，分类处理包括c、逐点机器学***台对杆状物点云数据的分类结果融合处理。
本发明一种融合多尺度特征的车载点云道路杆状物机器学***台，车载激光扫描仪可为Pegasus：Two Ultimate移动激光扫描***。MICROSTATION CE平台对LAS格式的点云数据预处理，在MICROSTATION CE平台中剔除道路之外的冗余数据，MICROSTATION CE平台并对较长路段进行分段，只留下道路点云数据。MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据。MICROSTATION CE平台对杆状物点云数据进行分类处理，分类处理包括逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类，逐点机器学习分类对小尺度物体杆状物点云数据进行分类，超体素机器学习分类对中尺度体杆状物点云数据进行分类，完整杆状物机器学习分类对大尺度体杆状物点云数据进行分类。最后通过融合处理得到杆状物的最终分类。
通过全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题，并优化了分割方法，提高了分割效率和精度。结合逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类，多尺度分类，综合考虑杆状物点云数据的局部、全局和上下文特征，分别计算逐点、超体素、完整杆状物三种尺度下的点云数据特征进行机器学习，获取各自分类标签，融合处理得到分类结果，最终得到附带杆件类别和分类准确度的杆状物点云，高效准确，为后续人工检核提供了便利，提高了完整性和准确性。
作为本发明的进一步改进是，在步骤2中，预处理包括以下步骤：s21、在MICROSTATION CE平台中剔除道路之外的冗余数据；s22、MICROSTATION CE平台并对较长路段进行分段。MICROSTATION CE平台收到LAS格式的点云数据后，在MICROSTATION CE平台中剔除道路之外的冗余数据，并对较长路段进行分段，只留下道路点云数据，保证提取效率。
作为本发明的进一步改进是，在步骤3中，全自动分割处理包括a、判断高程连续和b、垂直道路延伸方向裁切两个步骤。通过判断高程连续和垂直道路延伸方向裁切两个步骤，获取了附加坐标信息(也就是位置信息)且互不相连的完全分割的杆状物。简明直观的提取规则有效提高了分割效率，坐标信息的获取以及杆件的完全分割为后续分类带来了极大的便利。
作为本发明的进一步改进是，a、判断高程连续包括以下步骤：a1、将道路点云的外包围盒划分为一个个0.5m*0.5m*0.5m的立方盒；a2、在每个立方盒内寻找所有含有点云的立方块，并记录每个立方块的XYZ坐标和序号；a3、判断是否有XY坐标一致、Z坐标垂直地面连续的立方块群；a4、当Z坐标的差值超过设定的阈值，则初步判断此处有杆状物，并记录下该杆状物最低点所在立方体的XYZ坐标和序号。实现得到杆状物的坐标信息(也就是位置信息)。
作为本发明的进一步改进是，b、垂直道路延伸方向裁切包括以下步骤：b1、基于获取的任一潜在杆状物点P，获取距离该点最近的同侧另一杆状物点Q，计算杆状物点P和杆状物点Q两点连线的第一直线方程，并以第一直线方程作为模拟的道路延伸方向；b2、计算XY平面上与第一直线方程垂直且过杆状物点P的第二直线方程，并将第二直线方程向两侧各拓宽一定距离，得到矩形框；b3、获取所有XY坐标在矩形框内的点云，即为初步分割得到的杆状物点云数据。得到相互独立、完全分割的多个杆状物点云数据。
作为本发明的进一步改进是，c、逐点机器学***滑，通过比较各类别点占整个杆状物点云数据的比重确定最终杆状物的分类结果。对杆状物点云数据进行逐点计算点云特征，逐点特征包括邻域高差、高程方差、高程偏差、密度比、各项异性、线性指数、球邻域数量、圆柱邻域数量、YOZ非空网格数量、YOZ空网格数量、XOY非空网格数量、XOY空网格数量、XOZ非空网格数量、XOZ空网格数量共计十四种特征。获取所有点云数据特征后，制作第一训练数据集，再添加其各自对应的第一标签，并输出得到包含第一标签和点云特征的第一训练数据集。对第一训练数据集的多个特征进行重要性排序，一个数据集中往往有众多特征，需要在其中选择对结果影响最大的那几个特征，以此来缩减建立模型时的特征数。对特征排好序后，设置随机第一森林分类器进行训练，通过第一森林分类器对未含有第一标签的杆状物点云数据特征件测试，得到训练好的模型。使用该模型测试待分类杆状物点云数据，输出第一预测标签；通过比较各类别点占整个杆状物的比重确定最终杆状物的分类结果，可能与第一预测标签相同，可能与第一预测标签不同。
作为本发明的进一步改进是，d、超体素机器学***滑，通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果。超体素是对大规模点云的抽象，是一群特征相近的点的集合，尺度介于点和完整杆件之间。计算杆状物点云数据获取完整杆状物点云数据特征。点云数据特征包括线状程度、面状程度、球状程度、法向量与Z轴夹角、主方向与Z轴夹角、超体素邻域高差、邻域体素数量等十九个特征。获取所有点云数据特征后，制作第二训练数据集，再添加其各自对应的标签，并输出得到包含标签和点云特征的第二训练数据集。对第二训练数据集的多个特征进行重要性排序，一个数据集中往往有众多特征，需要在其中选择对结果影响最大的那几个特征，以此来缩减建立模型时的特征数。对特征排好序后，设置第二随机森林分类器进行训练，通过第二森林分类器对未含有第二标签的杆状物点云数据特征件测试，得到训练好的模型。使用该模型测试待分类杆状物点云数据，输出第二预测标签；通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果，可能与预测标签相同，可能与预测标签不同。
作为本发明的进一步改进是，e、完整杆状物机器学***线数量、其他线数量、水平面数量、垂直面数量、其他面数量、球状体素数量、垂直线最远距离、水平线最远距离以及垂直面最远距离共计十种。其余步骤与逐点机器学***滑。
作为本发明的进一步改进是，在步骤5中，融合处理包括以下步骤：s51、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均一致，则以相同的分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着绿色；s52、若存在c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果有任意两个分类结果一致，剩余一个分类结果不一致，则以相同的两个分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着黄色；s53、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均不一致，则以精度最高的学习分类获取的分类结果暂定作为最终分类结果，同时杆状物坐标单点附着红色。融合处理主要包括两个方面，一是对三种分类结果的综合，确定所有杆状物点云的最终类别。二是基于三种分类结果，量化分类的准确性。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均一致，则以相同的分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着绿色，提醒检核人员不需要后续检核若存在逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果有任意两个分类结果一致，剩余一个分类结果不一致，则以相同的两个分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着黄色，提醒检核人员该杆件分类存在一定误差。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均不一致，则以精度最高的学习分类获取的分类结果暂定作为最终分类结果，同时杆状物坐标单点附着红色，提示此部分杆状物需要检核人员着重审核。当然三种尺度分类结果均不一致的情况较少。
附图说明
图1为本实施例的扫描数据图；
图2为本实施例的全自动分割处理图；
图2(a)为本实施例的所有道路点点云盒图；
图2(b)为本实施例的单个道路点云盒图；
图3为本实施例的第一训练数据集图；
图4为本实施例的特征重要性排序图；
图5为本实施例的分类结果图；
图5(a)为本实施例的单向路灯分类结果图；
图5(b)为本实施例的双向路灯分类结果图；
图5(c)为本实施例的树木分类结果图；
图5(d)为本实施例的指示牌分类结果图；
图5(e)为本实施例的信号灯分类结果图；
图6为本实施例的第二训练数据集图；
图7为本实施例的第三训练数据集图；
图8为本实施例的整体图；
图9为本实施例的局部放大图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
本实施例一一种融合多尺度特征的车载点云道路杆状物机器学***台；步骤2：MICROSTATION CE平台对LAS格式的点云数据预处理；步骤3：MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据；步骤4：MICROSTATION CE平台对杆状物点云数据分类处理，分类处理包括c、逐点机器学***台对杆状物点云数据的分类结果融合处理。使用车载激光扫描仪获取道路以及路侧地物的点云，并解算后输出LAS格式的点云数据传输至MICROSTATIONCE平台，车载激光扫描仪可为Pegasus：Two Ultimate移动激光扫描***。MICROSTATION CE平台对LAS格式的点云数据预处理，在MICROSTATION CE平台中剔除道路之外的冗余数据，MICROSTATION CE平台并对较长路段进行分段，只留下道路点云数据。MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据。MICROSTATION CE平台对杆状物点云数据进行分类处理，分类处理包括逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类，逐点机器学习分类对小尺度物体杆状物点云数据进行分类，超体素机器学习分类对中尺度体杆状物点云数据进行分类，完整杆状物机器学习分类对大尺度体杆状物点云数据进行分类。最后通过融合处理得到杆状物的最终分类。
通过全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题，并优化了分割方法，提高了分割效率和精度。结合逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类，多尺度分类，综合考虑杆状物点云数据的局部、全局和上下文特征，分别计算逐点、超体素、完整杆状物三种尺度下的点云数据特征进行机器学习，获取各自分类标签，融合处理得到分类结果，最终得到附带杆件类别和分类准确度的杆状物点云，高效准确，为后续人工检核提供了便利，提高了完整性和准确性。
本实施例一在步骤2中，预处理包括以下步骤：s21、在MICROSTATION CE平台中剔除道路之外的冗余数据；s22、MICROSTATION CE平台并对较长路段进行分段。MICROSTATIONCE平台收到LAS格式的点云数据后，在MICROSTATION CE平台中剔除道路之外的冗余数据，并对较长路段进行分段，只留下道路点云数据，保证提取效率。
本实施例一在步骤3中，全自动分割处理包括a、判断高程连续和b、垂直道路延伸方向裁切两个步骤。通过判断高程连续和垂直道路延伸方向裁切两个步骤，获取了附加坐标信息(也就是位置信息)且互不相连的完全分割的杆状物。简明直观的提取规则有效提高了分割效率，坐标信息的获取以及杆件的完全分割为后续分类带来了极大的便利。
本实施例一a、判断高程连续包括以下步骤：a1、将道路点云的外包围盒划分为一个个0.5m*0.5m*0.5m的立方盒；a2、在每个立方盒内寻找所有含有点云的立方块，并记录每个立方块的XYZ坐标和序号；a3、判断是否有XY坐标一致、Z坐标垂直地面连续的立方块群；a4、当Z坐标的差值超过设定的阈值，则初步判断此处有杆状物，并记录下该杆状物最低点所在立方体的XYZ坐标和序号。实现得到杆状物的坐标信息(也就是位置信息)。
本实施例一b、垂直道路延伸方向裁切包括以下步骤：b1、基于获取的任一潜在杆状物点P，获取距离该点最近的同侧另一杆状物点Q，计算杆状物点P和杆状物点Q两点连线的第一直线方程，并以第一直线方程作为模拟的道路延伸方向；b2、计算XY平面上与第一直线方程垂直且过杆状物点P的第二直线方程，并将第二直线方程向两侧各拓宽一定距离，得到矩形框；b3、获取所有XY坐标在矩形框内的点云，即为初步分割得到的杆状物点云数据。得到相互独立、完全分割的多个杆状物点云数据。
本实施例一c、逐点机器学***滑，通过比较各类别点占整个杆状物点云数据的比重确定最终杆状物的分类结果。对杆状物点云数据进行逐点计算点云特征，逐点特征包括邻域高差、高程方差、高程偏差、密度比、各项异性、线性指数、球邻域数量、圆柱邻域数量、YOZ非空网格数量、YOZ空网格数量、XOY非空网格数量、XOY空网格数量、XOZ非空网格数量、XOZ空网格数量共计十四种特征。获取所有点云数据特征后，制作第一训练数据集，再添加其各自对应的第一标签，并输出得到包含第一标签和点云特征的第一训练数据集。对第一训练数据集的多个特征进行重要性排序，一个数据集中往往有众多特征，需要在其中选择对结果影响最大的那几个特征，以此来缩减建立模型时的特征数。对特征排好序后，设置随机第一森林分类器进行训练，通过第一森林分类器对未含有第一标签的杆状物点云数据特征件测试，得到训练好的模型。使用该模型测试待分类杆状物点云数据，输出第一预测标签；通过比较各类别点占整个杆状物的比重确定最终杆状物的分类结果，可能与第一预测标签相同，可能与第一预测标签不同。
本实施例一d、超体素机器学***滑，通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果。超体素是对大规模点云的抽象，是一群特征相近的点的集合，尺度介于点和完整杆件之间。计算杆状物点云数据获取完整杆状物点云数据特征。点云数据特征包括线状程度、面状程度、球状程度、法向量与Z轴夹角、主方向与Z轴夹角、超体素邻域高差、邻域体素数量等十九个特征。获取所有点云数据特征后，制作第二训练数据集，再添加其各自对应的标签，并输出得到包含标签和点云特征的第二训练数据集。对第二训练数据集的多个特征进行重要性排序，一个数据集中往往有众多特征，需要在其中选择对结果影响最大的那几个特征，以此来缩减建立模型时的特征数。对特征排好序后，设置第二随机森林分类器进行训练，通过第二森林分类器对未含有第二标签的杆状物点云数据特征件测试，得到训练好的模型。使用该模型测试待分类杆状物点云数据，输出第二预测标签；通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果，可能与预测标签相同，可能与预测标签不同。
本实施例一e、完整杆状物机器学***线数量、其他线数量、水平面数量、垂直面数量、其他面数量、球状体素数量、垂直线最远距离、水平线最远距离以及垂直面最远距离共计十种。其余步骤与逐点机器学***滑。
本实施例一在步骤5中，融合处理包括以下步骤：s51、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均一致，则以相同的分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着绿色；s52、若存在c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果有任意两个分类结果一致，剩余一个分类结果不一致，则以相同的两个分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着黄色；s53、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均不一致，则以精度最高的学习分类获取的分类结果暂定作为最终分类结果，同时杆状物坐标单点附着红色。融合处理主要包括两个方面，一是对三种分类结果的综合，确定所有杆状物点云的最终类别。二是基于三种分类结果，量化分类的准确性。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均一致，则以相同的分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着绿色，提醒检核人员不需要后续检核若存在逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果有任意两个分类结果一致，剩余一个分类结果不一致，则以相同的两个分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着黄色，提醒检核人员该杆件分类存在一定误差。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均不一致，则以精度最高的学习分类获取的分类结果暂定作为最终分类结果，同时杆状物坐标单点附着红色，提示此部分杆状物需要检核人员着重审核。当然三种尺度分类结果均不一致的情况较少。
参见附图1-9所示，本实施例二：取某一道路作为研究对象，该路段共长2.6公里，采用车载激光扫描仪可为Pegasus：Two Ultimate移动激光扫描***采集道路点云数据，预处理后整个路段被划分为16个点云盒，得到预处理后扫描数据图，如图1所示。
首先任选一个道路点云盒来进行杆状物的全自动分割处理，全自动分割处理图，如图2所示。全自动分割处理主要包括二个步骤，一是基于道路点云在Z方向的判断高程连续，记录每个柱状地物的坐标信息(位置信息)。二是基于获取的坐标信息，进行垂直道路延伸方向裁切，求取道路延伸方向的垂线，沿该垂线进行点云的裁切，得到最终的杆状物点云。所有道路点点云盒图，如图2(a)所示。单个道路点云盒图，如图2(b)所示。
在杆状物点云数据在全自动分割处理，进行分类处理。首先进行逐点机器学***滑标记后的各类杆状物暂定分类结果图，如图5所示，总计添加5类标签，具体包括标签1(单向路灯)点数12667，测试数据中单向路灯分类结果图，如图5(a)所示；标签2(双向路灯)点数15917，双向路灯分类结果图，如图5(b)所示；标签3(树木)点数57491，树木分类结果图，如图5(c)所示；标签4(指示牌)点数4445，指示牌分类结果图，如图5(d)所示；标签5(信号灯)点数3032，信号灯分类结果图，如图5(e)所示。得到最终逐点机器学习分类的第一分类结果。
逐点机器学习分类后，继续进行基于超体素的超体素机器学习分类。首先结合欧式距离和强度信息迭代生成超体素。再计算每个超体素的特征，超体素特征着重考虑每个点云群的整体特征，包括结构形态、主方向、法向量等。添加标签得到第二训练数据集，第二训练数据集图，如图6所示。后续步骤与逐点机器学习方法一致，训练数据的分类准确率为82.33％。得到最终超体素机器学习分类的第二分类结果。
超体素的超体素机器学***滑标记的操作，第三训练数据集的分类准确率为85.18％。得到最终完整杆状物机器学习分类的第三分类结果。
获取所有分类结果后，融合处理后输出最终的杆状物类别并且通过更改杆状物坐标单点(在全自动分割处理中记录的杆状物坐标信息)的颜色提示分类准确性。显示多种分类方法的准确率、召回率和F1分数的分类结果对比表，如表一所示。对比结果表明多种分类方法的融合有助于提高分类精度，F1分数大致提高4％。准确度分析显示分类结果完全一致类别(绿色杆状物坐标单点)占比78.8％，两种相同类别，分类结果有一种不同类别(黄色杆状物坐标单点)占比20.6％，完全不同的分类结果(红色杆状物坐标单点)仅占0.6％。表明三种分类方法在目标类别的判断上均有较高精度，红色或黄色杆状物坐标点主要集中在点云原始数据缺失以及交通杆件被树冠笼罩所造成的误判断上，需要后期检核。融合处理后，所有杆状物的最终分类结果和分类准确度级别整体图(绿黄红三级)，如图8所示。融合处理后分类结果和分类准确度级别的局部放大图，如图9所示。
表一
以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (5)

1.一种融合多尺度特征的车载点云道路杆状物机器学***台；步骤2：MICROSTATION CE平台对LAS格式的点云数据预处理；步骤3：MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据；步骤4：MICROSTATION CE平台对杆状物点云数据分类处理，所述分类处理包括c、逐点机器学***台对杆状物点云数据的分类结果融合处理；
所述c、逐点机器学***滑，通过比较各类别点占整个杆状物点云数据的比重确定最终杆状物的分类结果；
所述d、超体素机器学***滑，通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果；
所述e、完整杆状物机器学习分类包括以下步骤：e1、获取完整杆状物点云数据特征；e2、获取所有完整杆状物点云数据特征后，制作第三训练数据集，再添加其各自对应的第三标签，并输出得到包含第三标签和点云数据特征的第三训练数据集；e3、对第三训练数据集的多个特征进行重要性排序；e4、设置随机第三森林分类器进行训练，得到训练好的模型；e5、使用该模型测试待分类杆状物点云数据，输出第三预测标签，即得到最终杆状物的分类结果；
在所述步骤5中，所述融合处理包括以下步骤：s51、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均一致，则以相同的分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着绿色；s52、若存在c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果有任意两个分类结果一致，剩余一个分类结果不一致，则以相同的两个分类结果作为杆状物最终分类结果，同时杆状物坐标单点附着黄色；s53、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均不一致，则以精度最高的学习分类获取的分类结果暂定作为最终分类结果，同时杆状物坐标单点附着红色。
2.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学***台中剔除道路之外的冗余数据；s22、MICROSTATION CE平台并对较长路段进行分段。
3.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法，其特征在于：在所述步骤3中，所述全自动分割处理包括a、判断高程连续和b、垂直道路延伸方向裁切两个步骤。
4.根据权利要求3所述一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法，其特征在于：所述a、判断高程连续包括以下步骤：a1、将道路点云的外包围盒划分为一个个0.5m*0.5m*0.5m的立方盒；a2、在每个立方盒内寻找所有含有点云的立方块，并记录每个立方块的XYZ坐标和序号；a3、判断是否有XY坐标一致、Z坐标垂直地面连续的立方块群；a4、当Z坐标的差值超过设定的阈值，则初步判断此处有杆状物，并记录下该杆状物最低点所在立方体的XYZ坐标和序号。
5.根据权利要求3所述一种融合多尺度特征的车载点云道路杆状物机器学***面上与第一直线方程垂直且过杆状物点P的第二直线方程，并将第二直线方程向两侧各拓宽一定距离，得到矩形框；b3、获取所有XY坐标在矩形框内的点云，即为初步分割得到的杆状物点云数据。
CN202011416852.0A 2020-12-07 2020-12-07 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 Active CN112446343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011416852.0A CN112446343B (zh) 2020-12-07 2020-12-07 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011416852.0A CN112446343B (zh) 2020-12-07 2020-12-07 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法

Publications (2)

Publication Number Publication Date
CN112446343A CN112446343A (zh) 2021-03-05
CN112446343B true CN112446343B (zh) 2024-03-15

Family

ID=74740361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011416852.0A Active CN112446343B (zh) 2020-12-07 2020-12-07 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法

Country Status (1)

Country Link
CN (1) CN112446343B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313081B (zh) * 2021-07-27 2021-11-09 武汉市测绘研究院 融合车载三维激光点云与影像的道路交通杆状物分类方法
CN114419372A (zh) * 2022-01-13 2022-04-29 南京邮电大学 一种多尺度点云分类方法及***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022381A (zh) * 2016-05-25 2016-10-12 厦门大学 基于车载激光扫描点云的路灯杆自动提取技术
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
CN109034077A (zh) * 2018-08-01 2018-12-18 湖南拓视觉信息技术有限公司 一种基于多尺度特征学习的三维点云标记方法和装置
CN109613558A (zh) * 2018-12-12 2019-04-12 北京华科博创科技有限公司 一种全固态激光雷达***的数据融合并行处理方法及***
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN109949326A (zh) * 2019-03-21 2019-06-28 苏州工业园区测绘地理信息有限公司 基于背包式三维激光点云数据的建筑物轮廓线提取方法
CN110717983A (zh) * 2019-09-07 2020-01-21 苏州工业园区测绘地理信息有限公司 一种基于背包式三维激光点云数据的建筑物立面三维重建方法
CN111291662A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于平面选择的车载点云杆状物提取方法
CN111815776A (zh) * 2020-02-04 2020-10-23 山东水利技师学院 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
CN112396133A (zh) * 2021-01-20 2021-02-23 深圳大学 基于多尺度空间的城市区域空地一体融合点云分类方法
CN112419505A (zh) * 2020-12-07 2021-02-26 苏州工业园区测绘地理信息有限公司 一种结合语义规则和模型匹配的车载点云道路杆状物自动提取方法
CN113920360A (zh) * 2021-09-23 2022-01-11 南京师范大学 一种道路点云杆状物提取与多尺度识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133227A (zh) * 2017-11-29 2018-06-08 北京数字绿土科技有限公司 激光雷达点云数据分类方法及装置
US20200027266A1 (en) * 2018-07-17 2020-01-23 Uti Limited Partnership Building contour generation from point clouds
US11494937B2 (en) * 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection
US11798289B2 (en) * 2021-05-28 2023-10-24 Motional Ad Llc Streaming object detection and segmentation with polar pillars

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022381A (zh) * 2016-05-25 2016-10-12 厦门大学 基于车载激光扫描点云的路灯杆自动提取技术
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
CN109034077A (zh) * 2018-08-01 2018-12-18 湖南拓视觉信息技术有限公司 一种基于多尺度特征学习的三维点云标记方法和装置
CN109613558A (zh) * 2018-12-12 2019-04-12 北京华科博创科技有限公司 一种全固态激光雷达***的数据融合并行处理方法及***
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN109949326A (zh) * 2019-03-21 2019-06-28 苏州工业园区测绘地理信息有限公司 基于背包式三维激光点云数据的建筑物轮廓线提取方法
CN110717983A (zh) * 2019-09-07 2020-01-21 苏州工业园区测绘地理信息有限公司 一种基于背包式三维激光点云数据的建筑物立面三维重建方法
CN111291662A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于平面选择的车载点云杆状物提取方法
CN111815776A (zh) * 2020-02-04 2020-10-23 山东水利技师学院 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
CN112419505A (zh) * 2020-12-07 2021-02-26 苏州工业园区测绘地理信息有限公司 一种结合语义规则和模型匹配的车载点云道路杆状物自动提取方法
CN112396133A (zh) * 2021-01-20 2021-02-23 深圳大学 基于多尺度空间的城市区域空地一体融合点云分类方法
CN113920360A (zh) * 2021-09-23 2022-01-11 南京师范大学 一种道路点云杆状物提取与多尺度识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Template for high-resolution river landscape mapping using UAV technology;Miloš Rusnák等;《Measurement》;第115卷;第139-151页 *
基于多源数据融合的遗址古地层重建与应用研究;沈姜威等;《南京师大学报（自然科学版）》;第43卷(第2期);第49-55页 *
空间信息采集中三维激光扫描技术应用;汤众;《2006年全国高校建筑院校建筑数字技术教育研讨会论文集》;第159-167页 *

Also Published As

Publication number Publication date
CN112446343A (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN107092020B (zh) 融合无人机LiDAR和高分影像的路面平整度监测方法
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
Yan et al. Detection and classification of pole-like road objects from mobile LiDAR data in motorway environment
CN112446343B (zh) 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法
CN107833213A (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN112419505B (zh) 一种结合语义规则和模型匹配的车载点云道路杆状物自动提取方法
CN116363125B (zh) 基于深度学习的电池模组外观缺陷检测方法及***
CN114596555B (zh) 障碍物点云数据筛选方法、装置、电子设备及存储介质
CN110956100A (zh) 一种高精度地图生成方法、装置、电子设备和存储介质
CN114359756A (zh) 一种震后无人机遥感影像损毁房屋快速智能检测方法
Elberink et al. Detection of collapsed buildings by classifying segmented airborne laser scanner data
CN108074232A (zh) 一种基于体元分割的机载lidar建筑物检测方法
CN107730553A (zh) 一种基于伪真值搜寻法的弱监督物体检测方法
CN113674216A (zh) 一种基于深度学习的地铁隧道病害检测方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN116824399A (zh) 基于改进YOLOv5神经网络的路面裂缝识别方法
Seo et al. Temporary traffic control device detection for road construction projects using deep learning application
CN113313081B (zh) 融合车载三维激光点云与影像的道路交通杆状物分类方法
CN113627288B (zh) 一种面向海量影像的智能化信息标签获取方法
Li et al. 3D map system for tree monitoring in hong kong using *** street view imagery and deep learning
CN116052110B (zh) 一种路面标线缺损智能定位方法及***
CN113033386A (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及***
CN116087198B (zh) 一种公路路面状况数据采集设备及其自动化快速检测***
CN115272864A (zh) 一种基于无人机航空摄影的实景三维建筑物智能提取方法
CN115588178A (zh) 一种高精地图要素自动化提取的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 215000 No. 101, Suhong Middle Road, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant after: Yuance Information Technology Co.,Ltd.

Address before: 215000 No. 101, Suhong Middle Road, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant before: SUZHOU INDUSTRIAL PARK SURVEYING MAPPING AND GEOINFORMATION Co.,Ltd.

GR01 Patent grant
GR01 Patent grant