CN116258826A - 一种面向露天矿区的语义地图构建及边界实时提取方法 - Google Patents

一种面向露天矿区的语义地图构建及边界实时提取方法 Download PDF

Info

Publication number
CN116258826A
CN116258826A CN202310013284.7A CN202310013284A CN116258826A CN 116258826 A CN116258826 A CN 116258826A CN 202310013284 A CN202310013284 A CN 202310013284A CN 116258826 A CN116258826 A CN 116258826A
Authority
CN
China
Prior art keywords
point
semantic
map
frame
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310013284.7A
Other languages
English (en)
Inventor
段星集
郭旭东
李华志
李德志
李晓根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beijing Tage Idriver Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tage Idriver Technology Co Ltd filed Critical Beijing Tage Idriver Technology Co Ltd
Priority to CN202310013284.7A priority Critical patent/CN116258826A/zh
Publication of CN116258826A publication Critical patent/CN116258826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种面向露天矿区的语义地图构建及边界实时提取方法，属于自动驾驶技术领域，用以解决现有的自动驾驶技术中对于驾驶区域边界的提取不准确且速度慢的问题，且无法在对图像进行语义分割的同时提取驾驶区域边界的问题。本发明的方法将点云栅格化，并将栅格化后的点的圆柱体特征进行栅格点云特征提取；通过下采样与上采样处理，同时添加RGB支路获得语义RGB地图，基于语义RGB地图的边界提取架构，在建图时基于语义分割网络中划分的栅格内的点、栅格特征进行分析，通过其特征进行边界提取，并采取控制点拟合平滑边界，提高了非结构化道路边界提取精度和边界提取速度。

Description

一种面向露天矿区的语义地图构建及边界实时提取方法
技术领域
本发明属于自动驾驶技术领域，涉及一种面向露天矿区的语义地图构建及边界实时提取方法。
背景技术
近年来，随着人工智能和新一代信息技术快速发展推动了自动驾驶关键技术进一步完善。而露天矿区由于其道路封闭性、环境相对简单等特点，成为自动驾驶快速落地的场景之一。
自动驾驶关键技术可分为环境感知、规划决策和跟踪控制三大技术。于感知而言，道路边界可以缩小有效ROI区域。因此，道路边界的自动准确提取对于自动驾驶快速落地有着举足轻重的作用。
中国专利公开号CN108320293A，发明名称为《一种结合改进粒子群算法的快速点云边界提取方法》，通过粒子群算法通过选取K邻域内点分布的均匀程度找出最优模型中所有边界特征点，完成边界提取。但该方法通过粒子群算法进行边界搜索，该方法通过遍历的方式不断搜索最优边界特征点，耗时长，且容易陷入局部最优点；另外需要手动设置惯性权重以避免算法陷入局部最优，降低了边界提取的自动化程度。
中国专利公开号CN114120260A，发明名称为《可行驶区域识别方法及其***、计算机设备、存储介质》，该***所涉及的可行驶区域提取方法主要是通过语义分割模型对图像进行语义分割，获取可行驶区域，并将初始可行驶区域与历史可行驶区域进行融合得到当前可行驶区域。该方法对可行驶区域的识别主要是通过语义分割，但未对道路边界进行提取与优化，仅靠二维图像获取的道路可行驶区域存在不稳定的问题，且易产生分割错误的现象。
发明内容
鉴于上述分析，本发明提供了一种面向露天矿区的语义地图构建及边界实时提取方法，用以解决现有的自动驾驶技术中对于驾驶区域边界的提取不准确且速度慢的问题，且无法在对图像进行语义分割的同时提取驾驶区域边界的问题。
本发明的一种面向露天矿区的语义地图构建及边界实时提取方法，具体步骤包括：
步骤1、构建语义分割模型：
步骤11、获得同时刻的图片与点云数据；
步骤12、圆柱体栅格化点云数据，获得点云栅格单元和点的圆柱体特征，基于点的圆柱体特征和MLP多层神经网络获得每个点云栅格单元的特征的张量；
步骤13、对点云栅格单元的点进行下采样：
步骤131、将每个点云栅格单元的特征的张量输入非对称残差块；输出稀疏卷积特征的张量；
步骤132、将图片的RGB像素点信息投影到每个点云栅格单元中的点云数据上，获得RGB点云栅格单元；基于RGB点云栅格单元进行多模态焦点卷积下采样：
步骤14、对点云栅格单元的点进行上采样：
步骤141、基于RGB点云栅格单元进行多模态焦点卷积上采样：
步骤142、对获得上采样输出栅格特征进行上采样，获得每个点的下采样和上采样叠加特征的张量；
步骤15、使用步骤12获得的每个点的MLP点特征细化每个点的下采样和上采样点叠加特征的张量；利用损失函数获取每个细化后的点的类别概率，以每个点的最高类别概率作为该点的点标签；
步骤2、构建实时语义地图：
采集无人驾驶车的实时GPS-IMU数据和实时雷达点云数据；
使用步骤1构建的语义分割模型对获取的每帧实时点云数据中每个点的标签，形成关键帧语义点云；
叠加所有关键帧语义点云获得语义地图，生成优化后单帧语义RGB地图；
步骤3、实时提取边界：
基于步骤1的语义分割模型，在生成优化后单帧语义RGB地图时构建栅格地图，对栅格地图的边界进行提取并采取控制点拟合平滑边界获得最终边界。
可选地，实时提取边界前还包括动态障碍物滤除的步骤，具体步骤如下：
对优化后单帧语义RGB地图中的每个点的标签进行判断，排除优化后单帧语义RGB地图中的非地面及动态障碍物点云；
叠加优化后的多帧语义地图的权重获得叠加后语义RGB局部地图：
遍历叠加后语义RGB局部地图，最终获得修正的局部地图点云，构成修正叠加语义地图；
实时提取边界时对修正叠加语义地图进行栅格地图构建，对栅格地图的边界进行提取并采取控制点拟合平滑边界获得最终边界。
可选地，叠加优化后的多帧语义地图的权重获得叠加后语义RGB局部地图的具体步骤为：保存当前单帧语义RGB地图的车辆GPS点以及当前单帧语义RGB地图和其后四个单帧语义RGB地图的点云数据；
以当前单帧语义RGB地图的车辆GPS点为原点，将前述五帧的单帧语义RGB地图的点云数据转换到世界坐标系下进行NDT匹配后叠加；叠加时，分别给第一帧到第五帧语义RGB地图点云数据不同的权重；
保留叠加的前述五帧的单帧语义RGB地图的点云数据在Y轴方向上阈值范围内的叠加点云；
对叠加点云中的第i个点进行KNN投票，通过Kdtree搜索第i个点对应的预设距离的N个点，叠加第i个点周围N个点的标签的数量Numn，label及权值wn，若总值Ki超过阈值τ，则将当前第i个点l的标签ki，labe修改为系数maxkn；
kn＝wn*Numlabel，n；
Ki＝w1*Numlabel,1+w2*Numlabel,2+…+wn*Numlabel，n>τ；
ki，label＝max{w1*Numlabel,1,w2*Numlabel,2,…,wn*Numlabel，n}；
遍历叠加点云中的每个点，每个点进行KNN投票获得叠加后语义RGB局部地图。
可选地，将前述五帧的单帧语义RGB地图的点云数据转换到世界坐标系下进行NDT匹配后叠加时，第一帧到第五帧点云数据的权重值由第一帧到第五帧点云数据依次线性增加。
可选地，实时提取边界的具体步骤为：
基于修正叠加语义地图，获取当前修正单帧语义地图与前两帧修正单帧语义地图的车辆GPS点并将其通过旋转平移矩阵转换到世界地图中；通过三帧修正单证语义地图的车辆GPS点的斜率判断行驶区域相对侧的道路边界；
判断所述三帧修正单帧语义地图中既有道路标签，又有挡墙标签的点云栅格位置，在所述三帧修正单帧语义地图中的平面栅格内搜索距离当前帧车辆GPS点最远的行驶区域相对侧边界点并分别保存到左两个边界点和右两个边界点存储器中；
对左右两个边界点存储器中的多个修正单帧语义地图中的道路边界点进行离群点剔除；
通过旋转平移矩阵将去除离散点后的具有左右道路边界信息的当前修正单帧语义地图中的点云转换到世界坐标系下；在世界坐标系下的去除离散点后的单帧RGB地图中，每隔预设距离选择边界拟合控制点进行最小二乘法曲线拟合，得到最终的边界。
可选地，剔除离散点的具体步骤为：
设置初始距离阈值D，初始化左边界点存储器和右边界点存储器；
以第一帧修正单帧语义地图的车辆GPS点为原点，搜索距离该车辆GPS点距离最近的左侧最近点Pointleft与右侧最近点Pointright；以左侧最近点Pointleft与右侧最近点Pointright为两个初始点分别存入左右两个边界点存储器中；
以左侧最近点Pointleft为原点，搜索不超过初始距离阈值D的左侧最近点Pointleft存入左边界点存储器中；以右侧最近点Pointright为原点，搜索不超过初始距离阈值D的右侧最近点存入右侧边界点存储器中；若左侧最近点Pointleft或右侧最近点Pointright为已经遍历过的点或超过阈值的点，则该最近点为离散点，剔除该离散点；
遍历所有道路边界点后结束搜索获得所有左右道路边界点；
基于获得所有左右道路边界点获得最终的边界。
可选地，构建实时语义地图时，使用标定后的无人驾驶车的GNSS/IMU组合导航定位***和激光雷达采集无人驾驶车的实时GPS-IMU数据和实时雷达点云数据。
与现有技术相比，本发明至少可实现如下有益效果之一：
(1)本发明的方法对于非结构化道路进行语义分割，同时使用对点云ρ，θ及z作为输入对点云进行特征提取，提高了非结构化道路边界提取精度；
(2)本发明的方法获得的语义地图使得对图像进行语义分割的同时，还能进行驾驶区域边界提取。
(3)本发明的方法基于语义分割的边界提取架构，在建图时基于语义分割网络中划分的栅格内的点、栅格特征进行分析，通过其特征进行边界提取，并采取控制点拟合平滑边界，提高了边界提取速度。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。
图1为本发明的面向露天矿区的语义地图构建及边界实时提取方法的流程图；
图2为本发明的圆柱体栅格点云特征提取示意图；
图3为本发明的下采样的流程图；
图4为本发明的上采样流程图；
图5为本发明的非对称残差流程图；
图6为本发明的多模态焦点卷积流程图；
图7为本发明的单帧语义点云；
图8为本发明的语义地图；
图9为本发明的边界提取效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚、完整，下面结合附图为本发明作进一步的详细说明。应当理解的是，所描述的实施方式仅作为一种例示，并非用于限制本发明。
本发明的一个具体实施例，如图1-9，公开了一种面向露天矿区的语义地图构建及边界实时提取方法，具体步骤包括：
步骤1、构建语义分割模型；
步骤11、使图片与点云数据输出频率一致，获得同一时刻的图片与点云数据；由此使得图片与点云数据的时间同步；
优选地，图片由相机获得，点云数据由激光雷达获得。
步骤12、圆柱体栅格化点云数据，获得点云栅格单元和点的圆柱体特征，基于点的圆柱体特征和MLP多层神经网络获得每个点云栅格单元的特征张量；
如图2所示，将点云数据从笛卡尔坐标系按圆柱体栅格划分，获得圆柱体栅格；将圆柱体栅格点云中的点从笛卡尔坐标系的坐标转为圆柱体坐标；
可选地，基于point-wised目标检测法通过MLP多层神经网络提取圆柱体栅格内的点云的点向特征，具体步骤为：
将点云数据从笛卡尔坐标系按圆柱体栅格划分获得点云栅格单元；获取点云栅格单元内的点的圆柱体特征，表达式为：
Figure BDA0004038423420000051
Figure BDA0004038423420000061
z’＝z。
其中，x为点在笛卡尔坐标系中的X轴坐标；y为点在笛卡尔坐标系中的Y轴坐标；z为点在笛卡尔坐标系中的Z轴坐标；ρ为点与笛卡尔坐标系中Z轴的水平半径；θ为点相对于X轴-Y轴面的方位角；z’为点与笛卡尔坐标系原点的高度差值；将所有点映射到圆柱栅格内。
同时，将所有点的圆柱体特征ρ、θ和z’输入MLP多层神经网络对点云数据进行基于点的MLP特征提取，将点云的3维点特征升高至Cin维点特征，并通过最大池化层对点云栅格单元内的点做最大池化，获得Cin维的MLP点特征，输出特征Cin，H，W，L的张量，其中，H、W和L分别为点云栅格单元的半径、方位角和高度，Cin为点的维度；
步骤13、对点云栅格单元的点进行下采样；
步骤131、将特征Cin，H，W，L的张量输入非对称残差块；水平三维卷积和垂直三维卷积特征Cin，H，W，L的张量；其中，对于水平三维卷积，依次进行3×1×3卷积核和1×3×3卷积核特征提取；对于垂直三维卷积，依次进行1×3×3卷积核和3×1×3卷积核特征提取；同时升高输入的维度Cin，输出稀疏卷积特征2*Cin，H，W，L的张量；遍历每个点云栅格单元中的每个点。
采用非对称残差块对圆柱体栅格内的点进行特征提取。加强了对栅格内点的表达能力，从而增强网络的鲁棒性，同时相比于传统的3D卷积，非对称残差对特征进行提取降低了计算成本。
步骤132、多模态焦点卷积下采样：
对每个圆柱体栅格进行子流形空洞卷积，即当每个卷积核中心点位置p与不为空的圆柱体栅格输入点位置Pin重叠时，对该每个卷积核中心点进行卷积操作；其中，对每个圆柱体栅格进行子流形空洞卷积Yp，表达式为：
Figure BDA0004038423420000062
其中，xp为卷积核中心点位置p处的输入稀疏卷积特征，
Figure BDA0004038423420000063
wk为卷积核中位置k的权重，d为空间维度，优选地，空间维度为3；Kd为子流形空洞卷积核权重，优选地，K＝3时，Kd＝33。
对每个圆柱体栅格位置的子流形空洞卷积，每个圆柱体栅格位置的输出形状
Figure BDA0004038423420000071
为：
Figure BDA0004038423420000072
Figure BDA0004038423420000073
其中，P(p，Kd)＝(p+k|k∈Kd}。
相邻点重要性选择：
通过转换矩阵将图片转换到点云数据的坐标系，将图片的RGB像素点信息投影到每个点云栅格单元中的点云数据上，为每个点云栅格单元中的每个点赋值RGB像素点信息，获得RGB点云栅格单元；由此使得图像数据和点云数据空间同步；
重要性映射Ip：对RGB点云栅格单元的点进行稀疏卷积特征提取并通过sigmoid函数进行重要性概率计算，获得卷积核中位置k处的三次重要性图
Figure BDA0004038423420000074
和三次重要性图的中心
Figure BDA0004038423420000075
其中，稀疏卷积核权重与子流形空洞卷积核权重Kd相同。
重要性映射Ip涉及在卷积核中心点位置p输入的稀疏卷积特征2*Cin，H，W，L的张量，RGB图像信息，从而获取周围的候选栅格输出特征的重要性，由此，能够平衡regularsparse conv和submanifold sparse conv空洞卷积，在减小计算量的同时保证了连通信息不丢失。
选择重要栅格：
当RGB点云栅格单元输出的三次重要性图的中心
Figure BDA0004038423420000076
大于等于重要性阈值τ时，该RGB点云栅格单元为重要栅格，获取该重要栅格的卷积核的位置：
Figure BDA0004038423420000077
其中，Pim为重要栅格的卷积核的位置；
Figure BDA0004038423420000078
为重要栅格的卷积核的输出位置；
Figure BDA0004038423420000079
为重要栅格生成卷积核权重。
栅格重要性包括重要、相对重要和不重要栅格；不重要栅格为点云栅格单元内无点云数据，相对重要栅格为点云栅格单元内有点云数据，但图像RGB特征提取为背景点云；重要栅格为点云栅格单元内有点云，且RGB特征提取为目标点云。
其中，选中的重要栅格生成卷积核动态输出形状
Figure BDA00040384234200000710
由三次重要性图/>
Figure BDA00040384234200000711
决定，表达式为：
Figure BDA0004038423420000081
最终，基于每个圆柱体栅格位置的输出形状和重要栅格的卷积核的位置，生成卷积核动态卷积输出位置pout：
Figure BDA0004038423420000082
对卷积核动态卷积输出位置pout进行步长为2的卷积，获得pout输出特征2*Cin，H/2，W/2，L/2的张量；进行四次下采样，依次获得第一次下采样输出特征2*Cin，H/2，W/2，L/2的张量，第二次下采样输出特征4*Cin，H/4，W/4，L/4的张量，第三次下采样输出特征8*Cin，H/8，W/8，L/8的张量，第四次下采样输出特征16*Cin，H/16，W/16，L/16的张量。
步骤14、对点云栅格单元的点进行上采样；
步骤141、多模态焦点卷积上采样：
输入第四次下采样输出特征16*Cin，H/16，W/16，L/16的张量，进行多模态焦点卷积上采样，具体过程同132，首先进行子流形空洞卷积，并基于获得的RGB点云栅格单元获得的三次重要性图获得最终的反卷积形状P‘out；基于该反卷积形状P‘out进行步长为2的反卷积，输出反卷积后的特征8*Cin’，H/8，W/8，L/8的张量；
步骤142、将下采样输出特征中的第三次下采样输出特征8*Cin，H/8，W/8，L/8的张量与反卷积后的特征8*Cin’，H/8，W/8，L/8的张量进行拼接，获得拼接特征16*Cin，H/8，W/8，L/8的张量；将拼接特征16*Cin，H/8，W/8，L/8的张量输入非对称残差块；水平三维卷积和垂直三维卷积拼接特征16*Cin，H/8，W/8，L/8的张量；其中，对于水平三维卷积，依次进行3×1×3卷积核和1×3×3卷积核特征提取；对于垂直三维卷积，依次进行1×3×3卷积核和3×1×3卷积核特征提取；同时降低输入的维度，输出上采样特征8*Cin，H/8，W/8，L/8的张量，获得上采样输出栅格特征；
对上述获得的上采样输出栅格特征再进行三次上采样，获得每个点的下采样和上采样叠加特征Cin，H，W，L的张量。
通过对下采样块和上采样块的叠加，建立了非对称三维多模态焦点卷积网络。
本发明采用非对称残块加强水平和垂直内核，从而增强了圆柱体栅格的鲁棒性。
步骤15、使用步骤12获得的每个点的MLP点特征细化每个点的下采样和上采样叠加特征；利用损失函数获取每个细化后的点的类别概率，以每个点的最高类别概率作为该点的点标签；使用Point-wised细化模块对点标签进行重分类，由此减少为圆柱体栅格划分标签时，标签划分错误导致的信息丢失的问题。
具体地，点标签包括障碍物标签、地面标签和挡墙标签。
步骤2、对无人驾驶车的GNSS/IMU组合导航定位***与激光雷达进行标定；
获取无人驾驶车的GNSS/IMU组合导航定位***与激光雷达的初始旋转平移矩阵；旋转平移矩阵为激光雷达坐标系与GPS车体坐标系的XYZ方向的初始偏差与初始姿态角，其中，姿态角包括偏航角，横滚角和俯仰角；
将激光雷达安装在自动驾驶车的前部和/或尾部，GNSS/IMU组合导航定位***安装在车身上，测量激光雷达位置与车体中心所在位置的XYZ方向的测量偏差；将车辆停放至开阔平坦的路面，在车体前进方向的中心线的前方10米处垂直与该中心线摆放棋盘格标定板，提取棋盘格标定板角点的点特征，根据提取的该角点的点特征拟合棋盘格所在平面，获取GPS车体坐标系和激光雷达坐标系的测量姿态角，根据二者所在位置的XYZ方向的测量偏差及该测量姿态角确定无人驾驶车GPS车体坐标系和激光雷达坐标系的旋转平移转换关系；
基于标定获得的旋转平移转换关系对无人驾驶车的GNSS/IMU组合导航定位***与激光雷达的坐标系进行统一。
步骤3、构建实时语义地图
使用标定后的无人驾驶车的GNSS/IMU组合导航定位***和激光雷达分别采集无人驾驶车的实时GPS-IMU数据和实时雷达点云数据；
根据粗糙度提取输入的每帧实时雷达点云数据的边缘特征与平面特征；保存每帧实时雷达点云数据的边缘特征与平面特征。
可选地，使用雷达里程计对每帧实时雷达点云数据进行特征提取。
使用步骤1构建的语义分割模型对获取的每帧实时点云数据中每个点的标签，形成关键帧语义点云；将关键帧语义点云之间的其他数据删除，用关键帧语义点云进行估计；
通过实时GPS-IMU数据获取当前无人驾驶车的实时位置及位姿信息，使用初始旋转平移矩阵将所有关键帧语义点云转换到世界坐标系下；使用NDT特征匹配效果判断是否优化初始旋转平矩阵参数，若两帧语义点云间NDT匹配得分小于阈值，则使用边缘特征与平面特征进行多个关键帧语义点云之间的匹配，优化初始旋转平矩阵参数。
叠加所有关键帧语义点云获得语义地图，对语义地图进行下采样，生成优化后单帧语义RGB地图。
步骤4、动态障碍物滤除：
步骤41、对优化后单帧语义RGB地图中的每个点的标签进行判断，排除优化后单帧语义RGB地图中的非地面及动态障碍物点云。
步骤42、多帧语义地图权重叠加：
保存当前单帧语义RGB地图的车辆GPS点、以及当前单帧语义RGB地图和其后四个单帧语义RGB地图的点云数据；
以当前单帧语义RGB地图的车辆GPS点为原点，将前述五帧的点云数据转换到世界坐标系下进行NDT匹配后叠加；叠加时，分别给第一帧到第五帧点云数据不同的权重，五个权重值由第一帧到第五帧点云数据依次线性增加；
保留叠加的前述五帧点云数据在Y轴方向上阈值范围内的叠加点云，例如：若雷达安装在车辆顶上，则车身周围点云只能采集到部分噪点，单帧点云有效探测距离为50m，关键帧间距离为2m，则删除Y轴方向10m以内(即：噪点)及40m以外(即：稀疏点云)的点云数据，降低语义分割异常造成的影响；
对叠加点云中的第i个点进行KNN(最邻近节点算法)投票，通过Kdtree搜索第i个点对应的预设距离的N个点，叠加第i个点周围N个点的标签的数量Numn，label及权值wn，若总值Ki超过阈值τ，则将当前第i个点l的标签ki，labe修改为系数maxkn；
kn＝wn*Numlabel，n；
Ki＝w1*Numlabel,1+w2*Numlabel,2+…+wn*Numlabel，n>τ；
ki，label＝max{w1*Numlabel,1,w2*Numlabel,2,…,wn*Numlabel，n}；
遍历叠加点云中的每个点，每个点进行KNN(最邻近节点算法)投票获得叠加后语义RGB局部地图。
步骤43、遍历叠加后语义RGB局部地图，最终获得修正的局部地图点云，构成修正叠加语义地图。
步骤5、行驶区域边界提取：
基于步骤1的语义分割模型，在建立修正叠加语义地图时构建栅格地图，对栅格内边界进行提取并采取控制点拟合平滑边界，提高边界提取速度；
1)基于修正叠加语义地图，获取当前修正单帧语义地图与前两帧修正单帧语义地图的车辆GPS点并将其通过旋转平移矩阵转换到世界地图中；通过三帧车辆GPS点的斜率判断行驶区域相对侧的道路边界；三帧车辆GPS点的斜率为车辆在前述三帧修正单帧语义地图中，车辆的GPS点的切线的斜率。
2)判断所述三帧修正单帧语义地图中既有道路标签，又有挡墙标签的点云栅格位置，在所述三帧修正单帧语义地图中的平面栅格内搜索距离当前帧车辆GPS点最远的行驶区域相对侧边界点并分别保存到左右两个点容器中；
3)对左右两个容器中的多个修正单帧语义地图中的道路边界点进行离群点剔除获得左右道路边界点；
剔除离散点的具体步骤为：
A：设置初始距离阈值D，初始化左边界点容器和右边界点容器；
B：以第一帧的车辆GPS点为原点，搜索距离该车辆GPS点距离最近的左侧最近点Pointleft与右侧最近点Pointright为两个初始点存入左右点容器中；
C：以左侧最近点Pointleft为原点，搜索不超过初始距离阈值D的左侧最近点存入左边界点容器中；以右侧最近点Pointright为原点，搜索不超过初始距离阈值D的右侧最近点存入右侧边界点容器中；若左侧最近点或右侧最近点为已经遍历过的点或超过阈值的点，则该最近点为离散点，剔除该离散点；
D：遍历所有道路边界点后结束搜索获得所有左右道路边界点。
4)在世界坐标系下的去除离散点后的单帧RGB地图中，每隔1m选择边界拟合控制点进行最小二乘法曲线拟合，得到最终的边界，将最终边界信息转换回WGS84坐标系并上传到云端数据库进行边界信息的存储，其中，WGS84坐标系是原始GPS的坐标系或地球坐标系或世界坐标系。
可以理解的是，若单帧点云边界选取5个点为控制点，对五个点进行最小二乘法拟合边界：
五个点的世界坐标系坐标：(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)；
采用多项式拟合获取多项式系数θi从而确定道路边界hθ(x)：
hθ(x)＝θ0+θ1x1+θ2x2+θ3x3+θ4x4+θ5x5。
Figure BDA0004038423420000111
其中，xi和yi，分别为世界坐标系坐标中控制点的坐标。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种面向露天矿区的语义地图构建及边界实时提取方法，其特征在于，具体步骤包括：
步骤1、构建语义分割模型：
步骤11、获得同时刻的图片与点云数据；
步骤12、圆柱体栅格化点云数据，获得点云栅格单元和点的圆柱体特征，基于点的圆柱体特征和MLP多层神经网络获得每个点云栅格单元的特征的张量；
步骤13、对点云栅格单元的点进行下采样：
步骤131、将每个点云栅格单元的特征的张量输入非对称残差块；输出稀疏卷积特征的张量；
步骤132、将图片的RGB像素点信息投影到每个点云栅格单元中的点云数据上，获得RGB点云栅格单元；基于RGB点云栅格单元进行多模态焦点卷积下采样：
步骤14、对点云栅格单元的点进行上采样：
步骤141、基于RGB点云栅格单元进行多模态焦点卷积上采样：
步骤142、对获得上采样输出栅格特征进行上采样，获得每个点的下采样和上采样叠加特征的张量；
步骤15、使用步骤12获得的每个点的MLP点特征细化每个点的下采样和上采样点叠加特征的张量；利用损失函数获取每个细化后的点的类别概率，以每个点的最高类别概率作为该点的点标签；
步骤2、构建实时语义地图：
采集无人驾驶车的实时GPS-IMU数据和实时雷达点云数据；
使用步骤1构建的语义分割模型对获取的每帧实时点云数据中每个点的标签，形成关键帧语义点云；
叠加所有关键帧语义点云获得语义地图，生成优化后单帧语义RGB地图；
步骤3、实时提取边界：
基于步骤1的语义分割模型，在生成优化后单帧语义RGB地图时构建栅格地图，对栅格地图的边界进行提取并采取控制点拟合平滑边界获得最终边界。
2.根据权利要求1所述的语义地图构建及边界实时提取方法，其特征在于，实时提取边界前还包括动态障碍物滤除的步骤，具体步骤如下：
对优化后单帧语义RGB地图中的每个点的标签进行判断，排除优化后单帧语义RGB地图中的非地面及动态障碍物点云；
叠加优化后的多帧语义地图的权重获得叠加后语义RGB局部地图：
遍历叠加后语义RGB局部地图，最终获得修正的局部地图点云，构成修正叠加语义地图；
实时提取边界时对修正叠加语义地图进行栅格地图构建，对栅格地图的边界进行提取并采取控制点拟合平滑边界获得最终边界。
3.根据权利要求2所述的语义地图构建及边界实时提取方法，其特征在于，叠加优化后的多帧语义地图的权重获得叠加后语义RGB局部地图的具体步骤为：保存当前单帧语义RGB地图的车辆GPS点以及当前单帧语义RGB地图和其后四个单帧语义RGB地图的点云数据；
以当前单帧语义RGB地图的车辆GPS点为原点，将前述五帧的单帧语义RGB地图的点云数据转换到世界坐标系下进行NDT匹配后叠加；叠加时，分别给第一帧到第五帧语义RGB地图点云数据不同的权重；
保留叠加的前述五帧的单帧语义RGB地图的点云数据在Y轴方向上阈值范围内的叠加点云；
对叠加点云中的第i个点进行KNN投票，通过Kdtree搜索第i个点对应的预设距离的N个点，叠加第i个点周围N个点的标签的数量Numn，label及权值wn，若总值Ki超过阈值τ，则将当前第i个点l的标签ki，labe修改为系数maxkn；
kn＝wn*Numlabel，n；
Ki＝w1*Numlabel,1+w2*Numlabel,2+…+wn*Numlabel，n>τ；
ki，label＝max{w1*Numlabel,1,w2*Numlabel,2,…,wn*Numlabel，n}；
遍历叠加点云中的每个点，每个点进行KNN投票获得叠加后语义RGB局部地图。
4.根据权利要求3所述的语义地图构建及边界实时提取方法，其特征在于，将前述五帧的单帧语义RGB地图的点云数据转换到世界坐标系下进行NDT匹配后叠加时，第一帧到第五帧点云数据的权重值由第一帧到第五帧点云数据依次线性增加。
5.根据权利要求2-4任一项所述的语义地图构建及边界实时提取方法，其特征在于，实时提取边界的具体步骤为：
基于修正叠加语义地图，获取当前修正单帧语义地图与前两帧修正单帧语义地图的车辆GPS点并将其通过旋转平移矩阵转换到世界地图中；通过三帧修正单证语义地图的车辆GPS点的斜率判断行驶区域相对侧的道路边界；
判断所述三帧修正单帧语义地图中既有道路标签，又有挡墙标签的点云栅格位置，在所述三帧修正单帧语义地图中的平面栅格内搜索距离当前帧车辆GPS点最远的行驶区域相对侧边界点并分别保存到左两个边界点和右两个边界点存储器中；
对左右两个边界点存储器中的多个修正单帧语义地图中的道路边界点进行离群点剔除；
通过旋转平移矩阵将去除离散点后的具有左右道路边界信息的当前修正单帧语义地图中的点云转换到世界坐标系下；在世界坐标系下的去除离散点后的单帧RGB地图中，每隔预设距离选择边界拟合控制点进行最小二乘法曲线拟合，得到最终的边界。
6.根据权利要求5所述的语义地图构建及边界实时提取方法，其特征在于，剔除离散点的具体步骤为：
设置初始距离阈值D，初始化左边界点存储器和右边界点存储器；
以第一帧修正单帧语义地图的车辆GPS点为原点，搜索距离该车辆GPS点距离最近的左侧最近点Pointleft与右侧最近点Pointright；以左侧最近点Pointleft与右侧最近点Pointright为两个初始点分别存入左右两个边界点存储器中；
以左侧最近点Pointleft为原点，搜索不超过初始距离阈值D的左侧最近点Pointleft存入左边界点存储器中；以右侧最近点Pointright为原点，搜索不超过初始距离阈值D的右侧最近点存入右侧边界点存储器中；若左侧最近点Pointleft或右侧最近点Pointright为已经遍历过的点或超过阈值的点，则该最近点为离散点，剔除该离散点；
遍历所有道路边界点后结束搜索获得所有左右道路边界点；
基于获得所有左右道路边界点获得最终的边界。
7.根据权利要求1所述的语义地图构建及边界实时提取方法，其特征在于，构建实时语义地图时，使用标定后的无人驾驶车的GNSS/IMU组合导航定位***和激光雷达采集无人驾驶车的实时GPS-IMU数据和实时雷达点云数据。
CN202310013284.7A 2023-01-05 2023-01-05 一种面向露天矿区的语义地图构建及边界实时提取方法 Pending CN116258826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310013284.7A CN116258826A (zh) 2023-01-05 2023-01-05 一种面向露天矿区的语义地图构建及边界实时提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310013284.7A CN116258826A (zh) 2023-01-05 2023-01-05 一种面向露天矿区的语义地图构建及边界实时提取方法

Publications (1)

Publication Number Publication Date
CN116258826A true CN116258826A (zh) 2023-06-13

Family

ID=86678597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310013284.7A Pending CN116258826A (zh) 2023-01-05 2023-01-05 一种面向露天矿区的语义地图构建及边界实时提取方法

Country Status (1)

Country Link
CN (1) CN116258826A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117073664A (zh) * 2023-10-18 2023-11-17 中国科学院自动化研究所 一种露天矿山道路地形建图方法
CN117437654A (zh) * 2023-12-19 2024-01-23 中国地质大学（武汉） 一种基于语义识别的栅格地图解析方法、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117073664A (zh) * 2023-10-18 2023-11-17 中国科学院自动化研究所 一种露天矿山道路地形建图方法
CN117073664B (zh) * 2023-10-18 2024-02-20 中国科学院自动化研究所 一种露天矿山道路地形建图方法
CN117437654A (zh) * 2023-12-19 2024-01-23 中国地质大学（武汉） 一种基于语义识别的栅格地图解析方法、设备和介质
CN117437654B (zh) * 2023-12-19 2024-03-08 中国地质大学（武汉） 一种基于语义识别的栅格地图解析方法、设备和介质

Similar Documents

Publication Publication Date Title
Caltagirone et al. Fast LIDAR-based road detection using fully convolutional neural networks
CN112258618B (zh) 基于先验激光点云与深度图融合的语义建图与定位方法
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
Ma et al. A review of 3D reconstruction techniques in civil engineering and their applications
CN110222626B (zh) 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN112613378B (zh) 3d目标检测方法、***、介质及终端
CN111815776A (zh) 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
CN116258826A (zh) 一种面向露天矿区的语义地图构建及边界实时提取方法
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
WO2021114776A1 (en) Object detection method, object detection device, terminal device, and medium
US20220044072A1 (en) Systems and methods for aligning vectors to an image
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及***
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
Han et al. Urban scene LOD vectorized modeling from photogrammetry meshes
CN115690138A (zh) 一种融合车载影像与点云的道路边界提取与矢量化方法
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
CN116246033A (zh) 一种面向非结构化道路的快速语义地图构建方法
Berrio et al. Fusing lidar and semantic image information in octree maps
CN117173399A (zh) 一种跨模态交叉注意力机制的交通目标检测方法及***
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas
CN113222025B (zh) 一种基于激光雷达的可行区域标签生成方法
CN113487741A (zh) 稠密三维地图更新方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Room 303, Zone D, Main Building of Beihang Hefei Science City Innovation Research Institute, No. 999 Weiwu Road, Xinzhan District, Hefei City, Anhui Province, 230012

Applicant after: Tage Zhixing Technology Co.,Ltd.

Address before: 100176 901, 9th floor, building 2, yard 10, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING TAGE IDRIVER TECHNOLOGY CO.,LTD.

Country or region before: China