CN112446343A - 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 - Google Patents
一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 Download PDFInfo
- Publication number
- CN112446343A CN112446343A CN202011416852.0A CN202011416852A CN112446343A CN 112446343 A CN112446343 A CN 112446343A CN 202011416852 A CN202011416852 A CN 202011416852A CN 112446343 A CN112446343 A CN 112446343A
- Authority
- CN
- China
- Prior art keywords
- rod
- point
- point cloud
- machine learning
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 114
- 238000000605 extraction Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000007499 fusion processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 21
- 238000009499 grossing Methods 0.000 claims description 8
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 241001596784 Pegasus Species 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000004523 agglutinating effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合多尺度特征的车载点云道路杆状物机器学***台;MICROSTATION CE平台对LAS格式的点云数据预处理;MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据;MICROSTATION CE平台对杆状物点云数据分类处理;MICROSTATION CE平台对杆状物点云数据的分类结果融合处理,本发明的目的在于提供一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法,全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题,且提高了完整性和准确性。
Description
技术领域
本发明涉及测绘科技技术领域,尤其涉及一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法。
背景技术
目前杆状交通设施作为我国重要的基础道路设施,其信息的快速获取与更新对保障公路安全有重大意义。高精度的杆状交通设施信息如位置、倾角、朝向和属性等,在道路资产调查、自动驾驶和辅助驾驶等领域都有重要作用。
而道路杆状地物的提取和分类技术主要包括人工测量、基于车载影像判读和基于车载激光点云提取三大类。首先,由于杆状交通设施数量巨大且较为分散,人工测量方法不可取,它的安全性较低,质量难以保证,不适合信息的快速更新。车载影像的判读则严重依赖成像质量,相片质量差,判读效果就差,自动化程度也比较低。
车载点云的目标提取有基于机器学习、先分割后识别和深度学习三大类。先分割后识别的目标提取方法则更易于理解。采用先分割后识别时,在点云分割部分,现有方法着重实现杆状物和其它非杆状地物的分割,导致在实际场景中不同类型杆状物偶尔会重叠连接在一起,影响分类,同时在分割过程中并不能同时获取杆状物的位置信息。在目标提取方面,也有三种方法:基于语义规则、基于机器学习和基于模型匹配三类。基于机器学习的目标提取大都基于单一尺度下的形状特征,往往会忽略局部或全局特征,导致特征获取不全,损失精度;并且算法的性能比较依赖分割目标的准确性和完整性。
因此对于一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法,点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标、传统基于机器学习的目标提取过程中特征获取不全、尺度单一是我们要解决的问题。
发明内容
为克服上述缺点,本发明的目的在于提供一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法,全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题,并优化了分割方法,提高了分割效率和精度,结合逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类,多尺度分类,综合考虑杆状物点云数据的局部、全局和上下文特征,高效准确,且提高了完整性和准确性。
为了达到以上目的,本发明采用的技术方案是:一种融合多尺度特征的车载点云道路杆状物机器学***台;步骤2:MICROSTATION CE平台对LAS格式的点云数据预处理;步骤3:MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据;步骤4:MICROSTATION CE平台对杆状物点云数据分类处理,分类处理包括c、逐点机器学***台对杆状物点云数据的分类结果融合处理。
本发明一种融合多尺度特征的车载点云道路杆状物机器学***台,车载激光扫描仪可为Pegasus:Two Ultimate移动激光扫描***。MICROSTATION CE平台对LAS格式的点云数据预处理,在MICROSTATION CE平台中剔除道路之外的冗余数据,MICROSTATION CE平台并对较长路段进行分段,只留下道路点云数据。MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据。MICROSTATION CE平台对杆状物点云数据进行分类处理,分类处理包括逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类,逐点机器学习分类对小尺度物体杆状物点云数据进行分类,超体素机器学习分类对中尺度体杆状物点云数据进行分类,完整杆状物机器学习分类对大尺度体杆状物点云数据进行分类。最后通过融合处理得到杆状物的最终分类。
通过全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题,并优化了分割方法,提高了分割效率和精度。结合逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类,多尺度分类,综合考虑杆状物点云数据的局部、全局和上下文特征,分别计算逐点、超体素、完整杆状物三种尺度下的点云数据特征进行机器学习,获取各自分类标签,融合处理得到分类结果,最终得到附带杆件类别和分类准确度的杆状物点云,高效准确,为后续人工检核提供了便利,提高了完整性和准确性。
作为本发明的进一步改进是,在步骤2中,预处理包括以下步骤:s21、在MICROSTATION CE平台中剔除道路之外的冗余数据;s22、MICROSTATION CE平台并对较长路段进行分段。MICROSTATION CE平台收到LAS格式的点云数据后,在MICROSTATION CE平台中剔除道路之外的冗余数据,并对较长路段进行分段,只留下道路点云数据,保证提取效率。
作为本发明的进一步改进是,在步骤3中,全自动分割处理包括a、判断高程连续和b、垂直道路延伸方向裁切两个步骤。通过判断高程连续和垂直道路延伸方向裁切两个步骤,获取了附加坐标信息(也就是位置信息)且互不相连的完全分割的杆状物。简明直观的提取规则有效提高了分割效率,坐标信息的获取以及杆件的完全分割为后续分类带来了极大的便利。
作为本发明的进一步改进是,a、判断高程连续包括以下步骤:a1、将道路点云的外包围盒划分为一个个0.5m*0.5m*0.5m的立方盒;a2、在每个立方盒内寻找所有含有点云的立方块,并记录每个立方块的XYZ坐标和序号;a3、判断是否有XY坐标一致、Z坐标垂直地面连续的立方块群;a4、当Z坐标的差值超过设定的阈值,则初步判断此处有杆状物,并记录下该杆状物最低点所在立方体的XYZ坐标和序号。实现得到杆状物的坐标信息(也就是位置信息)。
作为本发明的进一步改进是,b、垂直道路延伸方向裁切包括以下步骤:b1、基于获取的任一潜在杆状物点P,获取距离该点最近的同侧另一杆状物点Q,计算杆状物点P和杆状物点Q两点连线的第一直线方程,并以第一直线方程作为模拟的道路延伸方向;b2、计算XY平面上与第一直线方程垂直且过杆状物点P的第二直线方程,并将第二直线方程向两侧各拓宽一定距离,得到矩形框;b3、获取所有XY坐标在矩形框内的点云,即为初步分割得到的杆状物点云数据。得到相互独立、完全分割的多个杆状物点云数据。
作为本发明的进一步改进是,c、逐点机器学***滑,通过比较各类别点占整个杆状物点云数据的比重确定最终杆状物的分类结果。对杆状物点云数据进行逐点计算点云特征,逐点特征包括邻域高差、高程方差、高程偏差、密度比、各项异性、线性指数、球邻域数量、圆柱邻域数量、YOZ非空网格数量、YOZ空网格数量、XOY非空网格数量、XOY空网格数量、XOZ非空网格数量、XOZ空网格数量共计十四种特征。获取所有点云数据特征后,制作第一训练数据集,再添加其各自对应的第一标签,并输出得到包含第一标签和点云特征的第一训练数据集。对第一训练数据集的多个特征进行重要性排序,一个数据集中往往有众多特征,需要在其中选择对结果影响最大的那几个特征,以此来缩减建立模型时的特征数。对特征排好序后,设置随机第一森林分类器进行训练,通过第一森林分类器对未含有第一标签的杆状物点云数据特征件测试,得到训练好的模型。使用该模型测试待分类杆状物点云数据,输出第一预测标签;通过比较各类别点占整个杆状物的比重确定最终杆状物的分类结果,可能与第一预测标签相同,可能与第一预测标签不同。
作为本发明的进一步改进是,d、超体素机器学***滑,通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果。超体素是对大规模点云的抽象,是一群特征相近的点的集合,尺度介于点和完整杆件之间。计算杆状物点云数据获取完整杆状物点云数据特征。点云数据特征包括线状程度、面状程度、球状程度、法向量与Z轴夹角、主方向与Z轴夹角、超体素邻域高差、邻域体素数量等十九个特征。获取所有点云数据特征后,制作第二训练数据集,再添加其各自对应的标签,并输出得到包含标签和点云特征的第二训练数据集。对第二训练数据集的多个特征进行重要性排序,一个数据集中往往有众多特征,需要在其中选择对结果影响最大的那几个特征,以此来缩减建立模型时的特征数。对特征排好序后,设置第二随机森林分类器进行训练,通过第二森林分类器对未含有第二标签的杆状物点云数据特征件测试,得到训练好的模型。使用该模型测试待分类杆状物点云数据,输出第二预测标签;通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果,可能与预测标签相同,可能与预测标签不同。
作为本发明的进一步改进是,e、完整杆状物机器学***线数量、其他线数量、水平面数量、垂直面数量、其他面数量、球状体素数量、垂直线最远距离、水平线最远距离以及垂直面最远距离共计十种。其余步骤与逐点机器学***滑。
作为本发明的进一步改进是,在步骤5中,融合处理包括以下步骤:s51、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均一致,则以相同的分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着绿色;s52、若存在c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果有任意两个分类结果一致,剩余一个分类结果不一致,则以相同的两个分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着黄色;s53、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均不一致,则以精度最高的学习分类获取的分类结果暂定作为最终分类结果,同时杆状物坐标单点附着红色。融合处理主要包括两个方面,一是对三种分类结果的综合,确定所有杆状物点云的最终类别。二是基于三种分类结果,量化分类的准确性。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均一致,则以相同的分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着绿色,提醒检核人员不需要后续检核若存在逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果有任意两个分类结果一致,剩余一个分类结果不一致,则以相同的两个分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着黄色,提醒检核人员该杆件分类存在一定误差。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均不一致,则以精度最高的学习分类获取的分类结果暂定作为最终分类结果,同时杆状物坐标单点附着红色,提示此部分杆状物需要检核人员着重审核。当然三种尺度分类结果均不一致的情况较少。
附图说明
图1为本实施例的扫描数据图;
图2为本实施例的全自动分割处理图;
图2(a)为本实施例的所有道路点点云盒图;
图2(b)为本实施例的单个道路点云盒图;
图3为本实施例的第一训练数据集图;
图4为本实施例的特征重要性排序图;
图5为本实施例的分类结果图;
图5(a)为本实施例的单向路灯分类结果图;
图5(b)为本实施例的双向路灯分类结果图;
图5(c)为本实施例的树木分类结果图;
图5(d)为本实施例的指示牌分类结果图;
图5(e)为本实施例的信号灯分类结果图;
图6为本实施例的第二训练数据集图;
图7为本实施例的第三训练数据集图;
图8为本实施例的整体图;
图9为本实施例的局部放大图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
本实施例一一种融合多尺度特征的车载点云道路杆状物机器学***台;步骤2:MICROSTATION CE平台对LAS格式的点云数据预处理;步骤3:MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据;步骤4:MICROSTATION CE平台对杆状物点云数据分类处理,分类处理包括c、逐点机器学***台对杆状物点云数据的分类结果融合处理。使用车载激光扫描仪获取道路以及路侧地物的点云,并解算后输出LAS格式的点云数据传输至MICROSTATIONCE平台,车载激光扫描仪可为Pegasus:Two Ultimate移动激光扫描***。MICROSTATION CE平台对LAS格式的点云数据预处理,在MICROSTATION CE平台中剔除道路之外的冗余数据,MICROSTATION CE平台并对较长路段进行分段,只留下道路点云数据。MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据。MICROSTATION CE平台对杆状物点云数据进行分类处理,分类处理包括逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类,逐点机器学习分类对小尺度物体杆状物点云数据进行分类,超体素机器学习分类对中尺度体杆状物点云数据进行分类,完整杆状物机器学习分类对大尺度体杆状物点云数据进行分类。最后通过融合处理得到杆状物的最终分类。
通过全自动分割处理解决点云分割部分不同类别杆状物相连以及无法实时获取杆状物坐标的问题,并优化了分割方法,提高了分割效率和精度。结合逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类,多尺度分类,综合考虑杆状物点云数据的局部、全局和上下文特征,分别计算逐点、超体素、完整杆状物三种尺度下的点云数据特征进行机器学习,获取各自分类标签,融合处理得到分类结果,最终得到附带杆件类别和分类准确度的杆状物点云,高效准确,为后续人工检核提供了便利,提高了完整性和准确性。
本实施例一在步骤2中,预处理包括以下步骤:s21、在MICROSTATION CE平台中剔除道路之外的冗余数据;s22、MICROSTATION CE平台并对较长路段进行分段。MICROSTATIONCE平台收到LAS格式的点云数据后,在MICROSTATION CE平台中剔除道路之外的冗余数据,并对较长路段进行分段,只留下道路点云数据,保证提取效率。
本实施例一在步骤3中,全自动分割处理包括a、判断高程连续和b、垂直道路延伸方向裁切两个步骤。通过判断高程连续和垂直道路延伸方向裁切两个步骤,获取了附加坐标信息(也就是位置信息)且互不相连的完全分割的杆状物。简明直观的提取规则有效提高了分割效率,坐标信息的获取以及杆件的完全分割为后续分类带来了极大的便利。
本实施例一a、判断高程连续包括以下步骤:a1、将道路点云的外包围盒划分为一个个0.5m*0.5m*0.5m的立方盒;a2、在每个立方盒内寻找所有含有点云的立方块,并记录每个立方块的XYZ坐标和序号;a3、判断是否有XY坐标一致、Z坐标垂直地面连续的立方块群;a4、当Z坐标的差值超过设定的阈值,则初步判断此处有杆状物,并记录下该杆状物最低点所在立方体的XYZ坐标和序号。实现得到杆状物的坐标信息(也就是位置信息)。
本实施例一b、垂直道路延伸方向裁切包括以下步骤:b1、基于获取的任一潜在杆状物点P,获取距离该点最近的同侧另一杆状物点Q,计算杆状物点P和杆状物点Q两点连线的第一直线方程,并以第一直线方程作为模拟的道路延伸方向;b2、计算XY平面上与第一直线方程垂直且过杆状物点P的第二直线方程,并将第二直线方程向两侧各拓宽一定距离,得到矩形框;b3、获取所有XY坐标在矩形框内的点云,即为初步分割得到的杆状物点云数据。得到相互独立、完全分割的多个杆状物点云数据。
本实施例一c、逐点机器学***滑,通过比较各类别点占整个杆状物点云数据的比重确定最终杆状物的分类结果。对杆状物点云数据进行逐点计算点云特征,逐点特征包括邻域高差、高程方差、高程偏差、密度比、各项异性、线性指数、球邻域数量、圆柱邻域数量、YOZ非空网格数量、YOZ空网格数量、XOY非空网格数量、XOY空网格数量、XOZ非空网格数量、XOZ空网格数量共计十四种特征。获取所有点云数据特征后,制作第一训练数据集,再添加其各自对应的第一标签,并输出得到包含第一标签和点云特征的第一训练数据集。对第一训练数据集的多个特征进行重要性排序,一个数据集中往往有众多特征,需要在其中选择对结果影响最大的那几个特征,以此来缩减建立模型时的特征数。对特征排好序后,设置随机第一森林分类器进行训练,通过第一森林分类器对未含有第一标签的杆状物点云数据特征件测试,得到训练好的模型。使用该模型测试待分类杆状物点云数据,输出第一预测标签;通过比较各类别点占整个杆状物的比重确定最终杆状物的分类结果,可能与第一预测标签相同,可能与第一预测标签不同。
本实施例一d、超体素机器学***滑,通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果。超体素是对大规模点云的抽象,是一群特征相近的点的集合,尺度介于点和完整杆件之间。计算杆状物点云数据获取完整杆状物点云数据特征。点云数据特征包括线状程度、面状程度、球状程度、法向量与Z轴夹角、主方向与Z轴夹角、超体素邻域高差、邻域体素数量等十九个特征。获取所有点云数据特征后,制作第二训练数据集,再添加其各自对应的标签,并输出得到包含标签和点云特征的第二训练数据集。对第二训练数据集的多个特征进行重要性排序,一个数据集中往往有众多特征,需要在其中选择对结果影响最大的那几个特征,以此来缩减建立模型时的特征数。对特征排好序后,设置第二随机森林分类器进行训练,通过第二森林分类器对未含有第二标签的杆状物点云数据特征件测试,得到训练好的模型。使用该模型测试待分类杆状物点云数据,输出第二预测标签;通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果,可能与预测标签相同,可能与预测标签不同。
本实施例一e、完整杆状物机器学***线数量、其他线数量、水平面数量、垂直面数量、其他面数量、球状体素数量、垂直线最远距离、水平线最远距离以及垂直面最远距离共计十种。其余步骤与逐点机器学***滑。
本实施例一在步骤5中,融合处理包括以下步骤:s51、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均一致,则以相同的分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着绿色;s52、若存在c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果有任意两个分类结果一致,剩余一个分类结果不一致,则以相同的两个分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着黄色;s53、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均不一致,则以精度最高的学习分类获取的分类结果暂定作为最终分类结果,同时杆状物坐标单点附着红色。融合处理主要包括两个方面,一是对三种分类结果的综合,确定所有杆状物点云的最终类别。二是基于三种分类结果,量化分类的准确性。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均一致,则以相同的分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着绿色,提醒检核人员不需要后续检核若存在逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果有任意两个分类结果一致,剩余一个分类结果不一致,则以相同的两个分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着黄色,提醒检核人员该杆件分类存在一定误差。若逐点机器学习分类、超体素机器学习分类和完整杆状物机器学习分类的分类结果均不一致,则以精度最高的学习分类获取的分类结果暂定作为最终分类结果,同时杆状物坐标单点附着红色,提示此部分杆状物需要检核人员着重审核。当然三种尺度分类结果均不一致的情况较少。
参见附图1-9所示,本实施例二:取某一道路作为研究对象,该路段共长2.6公里,采用车载激光扫描仪可为Pegasus:Two Ultimate移动激光扫描***采集道路点云数据,预处理后整个路段被划分为16个点云盒,得到预处理后扫描数据图,如图1所示。
首先任选一个道路点云盒来进行杆状物的全自动分割处理,全自动分割处理图,如图2所示。全自动分割处理主要包括二个步骤,一是基于道路点云在Z方向的判断高程连续,记录每个柱状地物的坐标信息(位置信息)。二是基于获取的坐标信息,进行垂直道路延伸方向裁切,求取道路延伸方向的垂线,沿该垂线进行点云的裁切,得到最终的杆状物点云。所有道路点点云盒图,如图2(a)所示。单个道路点云盒图,如图2(b)所示。
在杆状物点云数据在全自动分割处理,进行分类处理。首先进行逐点机器学***滑标记后的各类杆状物暂定分类结果图,如图5所示,总计添加5类标签,具体包括标签1(单向路灯)点数12667,测试数据中单向路灯分类结果图,如图5(a)所示;标签2(双向路灯)点数15917,双向路灯分类结果图,如图5(b)所示;标签3(树木)点数57491,树木分类结果图,如图5(c)所示;标签4(指示牌)点数4445,指示牌分类结果图,如图5(d)所示;标签5(信号灯)点数3032,信号灯分类结果图,如图5(e)所示。得到最终逐点机器学习分类的第一分类结果。
逐点机器学习分类后,继续进行基于超体素的超体素机器学习分类。首先结合欧式距离和强度信息迭代生成超体素。再计算每个超体素的特征,超体素特征着重考虑每个点云群的整体特征,包括结构形态、主方向、法向量等。添加标签得到第二训练数据集,第二训练数据集图,如图6所示。后续步骤与逐点机器学习方法一致,训练数据的分类准确率为82.33%。得到最终超体素机器学习分类的第二分类结果。
超体素的超体素机器学***滑标记的操作,第三训练数据集的分类准确率为85.18%。得到最终完整杆状物机器学习分类的第三分类结果。
获取所有分类结果后,融合处理后输出最终的杆状物类别并且通过更改杆状物坐标单点(在全自动分割处理中记录的杆状物坐标信息)的颜色提示分类准确性。显示多种分类方法的准确率、召回率和F1分数的分类结果对比表,如表一所示。对比结果表明多种分类方法的融合有助于提高分类精度,F1分数大致提高4%。准确度分析显示分类结果完全一致类别(绿色杆状物坐标单点)占比78.8%,两种相同类别,分类结果有一种不同类别(黄色杆状物坐标单点)占比20.6%,完全不同的分类结果(红色杆状物坐标单点)仅占0.6%。表明三种分类方法在目标类别的判断上均有较高精度,红色或黄色杆状物坐标点主要集中在点云原始数据缺失以及交通杆件被树冠笼罩所造成的误判断上,需要后期检核。融合处理后,所有杆状物的最终分类结果和分类准确度级别整体图(绿黄红三级),如图8所示。融合处理后分类结果和分类准确度级别的局部放大图,如图9所示。
表一
以上实施方式只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人了解本发明的内容并加以实施,并不能以此限制本发明的保护范围,凡根据本发明精神实质所做的等效变化或修饰,都应涵盖在本发明的保护范围内。
Claims (9)
1.一种融合多尺度特征的车载点云道路杆状物机器学***台;步骤2:MICROSTATION CE平台对LAS格式的点云数据预处理;步骤3:MICROSTATION CE平台对LAS格式的点云数据全自动分割处理,得到杆状物点云数据;步骤4:MICROSTATION CE平台对杆状物点云数据分类处理,所述分类处理包括c、逐点机器学***台对杆状物点云数据的分类结果融合处理。
2.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学***台中剔除道路之外的冗余数据;s22、MICROSTATION CE平台并对较长路段进行分段。
3.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法,其特征在于:在所述步骤3中,所述全自动分割处理包括a、判断高程连续和b、垂直道路延伸方向裁切两个步骤。
4.根据权利要求3所述一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法,其特征在于:所述a、判断高程连续包括以下步骤:a1、将道路点云的外包围盒划分为一个个0.5m*0.5m*0.5m的立方盒;a2、在每个立方盒内寻找所有含有点云的立方块,并记录每个立方块的XYZ坐标和序号;a3、判断是否有XY坐标一致、Z坐标垂直地面连续的立方块群;a4、当Z坐标的差值超过设定的阈值,则初步判断此处有杆状物,并记录下该杆状物最低点所在立方体的XYZ坐标和序号。
5.根据权利要求3所述一种融合多尺度特征的车载点云道路杆状物机器学***面上与第一直线方程垂直且过杆状物点P的第二直线方程,并将第二直线方程向两侧各拓宽一定距离,得到矩形框;b3、获取所有XY坐标在矩形框内的点云,即为初步分割得到的杆状物点云数据。
6.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学***滑,通过比较各类别点占整个杆状物点云数据的比重确定最终杆状物的分类结果。
7.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学***滑,通过比较各类别超体素占整个杆状物点云数据的比重确定最终杆状物的分类结果。
8.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法,其特征在于:所述e、完整杆状物机器学习分类包括以下步骤:e1、获取完整杆状物点云数据特征;e2、获取所有完整杆状物点云数据特征后,制作第三训练数据集,再添加其各自对应的第三标签,并输出得到包含第三标签和点云数据特征的第三训练数据集;e3、对第三训练数据集的多个特征进行重要性排序;e4、设置随机第三森林分类器进行训练,得到训练好的模型;e5、使用该模型测试待分类杆状物点云数据,输出第三预测标签,即得到最终杆状物的分类结果。
9.根据权利要求1所述一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法,其特征在于:在所述步骤5中,所述融合处理包括以下步骤:s51、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均一致,则以相同的分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着绿色;s52、若存在c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果有任意两个分类结果一致,剩余一个分类结果不一致,则以相同的两个分类结果作为杆状物最终分类结果,同时杆状物坐标单点附着黄色;s53、若c、逐点机器学习分类、d、超体素机器学习分类和e、完整杆状物机器学习分类的分类结果均不一致,则以精度最高的学习分类获取的分类结果暂定作为最终分类结果,同时杆状物坐标单点附着红色。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011416852.0A CN112446343B (zh) | 2020-12-07 | 2020-12-07 | 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011416852.0A CN112446343B (zh) | 2020-12-07 | 2020-12-07 | 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112446343A true CN112446343A (zh) | 2021-03-05 |
CN112446343B CN112446343B (zh) | 2024-03-15 |
Family
ID=74740361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011416852.0A Active CN112446343B (zh) | 2020-12-07 | 2020-12-07 | 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446343B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313081A (zh) * | 2021-07-27 | 2021-08-27 | 武汉市测绘研究院 | 融合车载三维激光点云与影像的道路交通杆状物分类方法 |
WO2023134142A1 (zh) * | 2022-01-13 | 2023-07-20 | 南京邮电大学 | 一种多尺度点云分类方法及*** |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022381A (zh) * | 2016-05-25 | 2016-10-12 | 厦门大学 | 基于车载激光扫描点云的路灯杆自动提取技术 |
CN106127153A (zh) * | 2016-06-24 | 2016-11-16 | 南京林业大学 | 车载激光扫描点云数据的交通标牌识别方法 |
CN107092020A (zh) * | 2017-04-19 | 2017-08-25 | 北京大学 | 融合无人机LiDAR和高分影像的路面平整度监测方法 |
CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
CN109613558A (zh) * | 2018-12-12 | 2019-04-12 | 北京华科博创科技有限公司 | 一种全固态激光雷达***的数据融合并行处理方法及*** |
CN109829399A (zh) * | 2019-01-18 | 2019-05-31 | 武汉大学 | 一种基于深度学习的车载道路场景点云自动分类方法 |
CN109949326A (zh) * | 2019-03-21 | 2019-06-28 | 苏州工业园区测绘地理信息有限公司 | 基于背包式三维激光点云数据的建筑物轮廓线提取方法 |
CN110717983A (zh) * | 2019-09-07 | 2020-01-21 | 苏州工业园区测绘地理信息有限公司 | 一种基于背包式三维激光点云数据的建筑物立面三维重建方法 |
US20200027266A1 (en) * | 2018-07-17 | 2020-01-23 | Uti Limited Partnership | Building contour generation from point clouds |
US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
CN111291662A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于平面选择的车载点云杆状物提取方法 |
CN111815776A (zh) * | 2020-02-04 | 2020-10-23 | 山东水利技师学院 | 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法 |
CN112396133A (zh) * | 2021-01-20 | 2021-02-23 | 深圳大学 | 基于多尺度空间的城市区域空地一体融合点云分类方法 |
CN112419505A (zh) * | 2020-12-07 | 2021-02-26 | 苏州工业园区测绘地理信息有限公司 | 一种结合语义规则和模型匹配的车载点云道路杆状物自动提取方法 |
US20210224613A1 (en) * | 2017-11-29 | 2021-07-22 | Beijing Greenvalley Technology Co., Ltd. | Method, Apparatus, and Device for Classifying LiDAR Point Cloud Data, and Storage Medium |
CN113920360A (zh) * | 2021-09-23 | 2022-01-11 | 南京师范大学 | 一种道路点云杆状物提取与多尺度识别方法 |
US20220383640A1 (en) * | 2021-05-28 | 2022-12-01 | Motional Ad Llc | Streaming object detection and segmentation with polar pillars |
-
2020
- 2020-12-07 CN CN202011416852.0A patent/CN112446343B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022381A (zh) * | 2016-05-25 | 2016-10-12 | 厦门大学 | 基于车载激光扫描点云的路灯杆自动提取技术 |
CN106127153A (zh) * | 2016-06-24 | 2016-11-16 | 南京林业大学 | 车载激光扫描点云数据的交通标牌识别方法 |
CN107092020A (zh) * | 2017-04-19 | 2017-08-25 | 北京大学 | 融合无人机LiDAR和高分影像的路面平整度监测方法 |
US20210224613A1 (en) * | 2017-11-29 | 2021-07-22 | Beijing Greenvalley Technology Co., Ltd. | Method, Apparatus, and Device for Classifying LiDAR Point Cloud Data, and Storage Medium |
US20200027266A1 (en) * | 2018-07-17 | 2020-01-23 | Uti Limited Partnership | Building contour generation from point clouds |
CN109034077A (zh) * | 2018-08-01 | 2018-12-18 | 湖南拓视觉信息技术有限公司 | 一种基于多尺度特征学习的三维点云标记方法和装置 |
US20200160559A1 (en) * | 2018-11-16 | 2020-05-21 | Uatc, Llc | Multi-Task Multi-Sensor Fusion for Three-Dimensional Object Detection |
CN109613558A (zh) * | 2018-12-12 | 2019-04-12 | 北京华科博创科技有限公司 | 一种全固态激光雷达***的数据融合并行处理方法及*** |
CN109829399A (zh) * | 2019-01-18 | 2019-05-31 | 武汉大学 | 一种基于深度学习的车载道路场景点云自动分类方法 |
CN109949326A (zh) * | 2019-03-21 | 2019-06-28 | 苏州工业园区测绘地理信息有限公司 | 基于背包式三维激光点云数据的建筑物轮廓线提取方法 |
CN110717983A (zh) * | 2019-09-07 | 2020-01-21 | 苏州工业园区测绘地理信息有限公司 | 一种基于背包式三维激光点云数据的建筑物立面三维重建方法 |
CN111291662A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于平面选择的车载点云杆状物提取方法 |
CN111815776A (zh) * | 2020-02-04 | 2020-10-23 | 山东水利技师学院 | 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法 |
CN112419505A (zh) * | 2020-12-07 | 2021-02-26 | 苏州工业园区测绘地理信息有限公司 | 一种结合语义规则和模型匹配的车载点云道路杆状物自动提取方法 |
CN112396133A (zh) * | 2021-01-20 | 2021-02-23 | 深圳大学 | 基于多尺度空间的城市区域空地一体融合点云分类方法 |
US20220383640A1 (en) * | 2021-05-28 | 2022-12-01 | Motional Ad Llc | Streaming object detection and segmentation with polar pillars |
CN113920360A (zh) * | 2021-09-23 | 2022-01-11 | 南京师范大学 | 一种道路点云杆状物提取与多尺度识别方法 |
Non-Patent Citations (3)
Title |
---|
MILOŠ RUSNÁK等: "Template for high-resolution river landscape mapping using UAV technology", 《MEASUREMENT》, vol. 115, pages 139 - 151, XP085264391, DOI: 10.1016/j.measurement.2017.10.023 * |
汤众: "空间信息采集中三维激光扫描技术应用", 《2006年全国高校建筑院校建筑数字技术教育研讨会论文集》, pages 159 - 167 * |
沈姜威等: "基于多源数据融合的遗址古地层重建与应用研究", 《南京师大学报(自然科学版)》, vol. 43, no. 2, pages 49 - 55 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313081A (zh) * | 2021-07-27 | 2021-08-27 | 武汉市测绘研究院 | 融合车载三维激光点云与影像的道路交通杆状物分类方法 |
CN113313081B (zh) * | 2021-07-27 | 2021-11-09 | 武汉市测绘研究院 | 融合车载三维激光点云与影像的道路交通杆状物分类方法 |
WO2023134142A1 (zh) * | 2022-01-13 | 2023-07-20 | 南京邮电大学 | 一种多尺度点云分类方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN112446343B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113128405B (zh) | 一种结合语义分割与点云处理的植物识别与模型构建方法 | |
Yan et al. | Detection and classification of pole-like road objects from mobile LiDAR data in motorway environment | |
CN112419505B (zh) | 一种结合语义规则和模型匹配的车载点云道路杆状物自动提取方法 | |
CN112396128B (zh) | 一种铁路外部环境风险源样本自动标注方法 | |
CN107833213A (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
CN113868733A (zh) | 一种基于三维点云的既有结构bim模型自动化生成方法 | |
CN112446343B (zh) | 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法 | |
CN114596555B (zh) | 障碍物点云数据筛选方法、装置、电子设备及存储介质 | |
CN110956100A (zh) | 一种高精度地图生成方法、装置、电子设备和存储介质 | |
CN115294293B (zh) | 基于低空航摄成果自动化编译高精地图道路参考线的方法 | |
CN107730553A (zh) | 一种基于伪真值搜寻法的弱监督物体检测方法 | |
CN116824399A (zh) | 基于改进YOLOv5神经网络的路面裂缝识别方法 | |
CN113627288B (zh) | 一种面向海量影像的智能化信息标签获取方法 | |
Li et al. | 3D map system for tree monitoring in hong kong using *** street view imagery and deep learning | |
CN116258820B (zh) | 大规模城市点云数据集与建筑单体化构建方法及相关装置 | |
CN116052110B (zh) | 一种路面标线缺损智能定位方法及*** | |
Willrich | Quality control and updating of road data by GIS-driven road extraction from imagery | |
CN117036733A (zh) | 一种城市道路场景特征线提取的方法 | |
Li et al. | Pole-like street furniture decompostion in mobile laser scanning data | |
CN115272864A (zh) | 一种基于无人机航空摄影的实景三维建筑物智能提取方法 | |
CN115588178A (zh) | 一种高精地图要素自动化提取的方法 | |
CN114004740A (zh) | 基于无人机激光雷达点云的建筑物墙线提取方法 | |
Di Stefano et al. | Point cloud classification of an urban environment using a semi-automatic approach | |
Xiao | Detecting changes in trees using multi-temporal airborne LIDAR point clouds | |
Widyaningrum | Automatic object extraction from airborne laser scanning point clouds for digital base map production |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 215000 No. 101, Suhong Middle Road, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Yuance Information Technology Co.,Ltd. Address before: 215000 No. 101, Suhong Middle Road, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: SUZHOU INDUSTRIAL PARK SURVEYING MAPPING AND GEOINFORMATION Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |