CN110188687A - 汽车的地形识别方法、***、设备及存储介质 - Google Patents
汽车的地形识别方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN110188687A CN110188687A CN201910462467.0A CN201910462467A CN110188687A CN 110188687 A CN110188687 A CN 110188687A CN 201910462467 A CN201910462467 A CN 201910462467A CN 110188687 A CN110188687 A CN 110188687A
- Authority
- CN
- China
- Prior art keywords
- information
- point cloud
- cloud data
- landform
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000007637 random forest analysis Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 7
- 239000004576 sand Substances 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 241001269238 Data Species 0.000 claims 1
- 240000007594 Oryza sativa Species 0.000 claims 1
- 235000007164 Oryza sativa Nutrition 0.000 claims 1
- 235000009566 rice Nutrition 0.000 claims 1
- 238000003066 decision tree Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 241000736199 Paeonia Species 0.000 description 1
- 235000006484 Paeonia officinalis Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了汽车的地形识别方法、***、设备及存储介质，所述方法包括步骤：S10，获取至少一车载激光雷达输出的点云数据，以及至少一车载相机输出的图像信息；S20，对点云数据中的采样点进行预处理，得到第二点云数据；并对图像信息进行预处理，得到第二图像信息；S30，对第二点云数据进行聚类，得到点簇；S40，利用第一分类器对点簇进行分类，获得第一地形信息；S50，对第二图像信息进行特征提取，得到图像特征向量；S60，对图像特征向量进行分类，获得第二地形信息；S70，获取本车所在位置的地图信息，地图信息包括第三地形信息；S80，对上述地形信息进行融合，获得地形识别结果；本发明实现了对车辆即将经过的地形的准确识别，便于车辆提前准备。
Description
技术领域
本发明涉及汽车电子技术领域，具体地说，涉及汽车的地形识别方法、***、设备及存储介质。
背景技术
目前市面上的部分汽车装配有全地形模式控制***，驾驶配备全地形控制***的汽车，驾驶者可以在视觉上确定车辆正在行驶经过的地形类型，比如：普通公路、沙地、泥泞地面或者雪地，然后手动地在各种地形模式之间切换选择对应的地形模式，从而使得汽车的各个辅助驾驶装置，比如：电子助力转向装置(Electric Power Steering，EPS)、变速器控制单元(Transmission Control Unit，TCU)、四轮驱动装置(Torque On Demand，TOD)、电子差速锁(Electronic Differential System，EDS)或者车身稳定***(ElectronicStability Program，ESP)，进入该地形模式对应的工作模式，此时各个辅助驾驶装置可以最大程度地提升汽车在该地形状况下的稳定性和安全性。
但是通过驾驶者手动输入的方式不利于驾驶者的驾驶体验，并且也存在反应不及时的可能性；所以有部分厂商通过在汽车车身上安装一些传感器，该传感器用来获取车辆正在行驶经过的地形类型的车辆子***的某些特性，比如车轮加速度、车轮滑移或者转向力估计值等，基于这些测量结果，电子控制单元内置的控制算法确定最可能符合这些特性的地形类型。然而，这种方式并没有做到对车辆即将行驶经过的地形进行提前预防，即没有对可能出现的较差路面提前准备，不利于驾驶者的驾驶体验。
另一方面，目前市场上部分车型采用的有地形自动识别技术，但基本上都是通过激光雷达获取点云数据进行识别，存在识别准确度不高的问题。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种汽车的地形识别方法、***、设备及存储介质，实现了对车辆即将行驶经过的地形的准确识别，便于车辆的各个子***进行提前准备，提高了汽车全地形控制***的可靠性。
为实现上述目的，本发明提供了一种汽车的地形识别方法，该方法包括以下步骤：
S10，获取至少一车载激光雷达输出的点云数据，以及至少一车载相机输出的图像信息；
S20，对所述点云数据中的采样点进行预处理，得到第二点云数据；并对所述图像信息进行预处理，得到第二图像信息；
S30，对所述第二点云数据进行聚类，得到与所述第二点云数据对应的点簇；
S40，利用第一分类器对所述与所述第二点云数据对应的点簇进行分类，获得第一地形信息；
S50，基于预先训练的深度神经网络，对所述第二图像信息进行特征提取，得到与所述第二图像信息对应的图像特征向量；
S60，利用第二分类器对所述与所述第二图像信息对应的图像特征向量进行分类，获得第二地形信息；
S70，获取本车所在位置的地图信息，所述地图信息包括第三地形信息；
S80，对所述第一地形信息、所述第二地形信息和所述第三地形信息进行融合，获得地形识别结果。
优选地，所述点云数据是由多个采样点组成的集合，每个采样点对应的属性信息至少包括激光反射强度；步骤S20中所述对所述点云数据中的采样点进行预处理，得到第二点云数据，具体包括：
去除所述点云数据中所述激光反射强度低于强度阈值的采样点；
将所述点云数据中剩余的采样点作为第二点云数据。
优选地，所述点云数据是由多个采样点组成的集合，每个采样点对应的属性信息至少包括激光反射强度；步骤S20中所述对所述点云数据中的采样点进行预处理，得到第二点云数据，具体包括：
去除所述点云数据中所述激光反射强度低于强度阈值的采样点；
对所述点云数据中剩余的采样点利用中值滤波器进行处理；
将处理后得到的剩余的采样点作为第二点云数据。
优选地，步骤S20中，对所述图像信息进行自适应维纳滤波处理，得到第二图像信息。
优选地，步骤S30中将预设搜索半径内，密度大于预设密度阈值的所述第二点云数据中的采样点归为一类，得到与所述第二点云数据对应的点簇。
优选地，步骤S50中所述预先训练的深度神经网络通过如下方式训练得到：
将训练样本输入预先建立的并基于深度神经网络的初始图像特征提取网络，所述训练样本包括样本图像和用于表征样本图像的地形的标注；
将所述样本图像作为输入，并将用于表征样本图像的地形的标注作为期望输出，训练所述初始图像特征提取网络，得到训练后的图像特征提取网络。
优选地，步骤S80中，当所述第一地形信息和所述第二地形信息相同时，则将所述第一地形信息作为地形识别结果；
当所述第一地形信息和所述第三地形信息相同时，则将所述第一地形信息作为地形识别结果；
当所述第二地形信息和所述第三地形信息相同时，则将所述第二地形信息作为地形识别结果；
当所述第一地形信息、所述第二地形信息和第三地形信息互不相同时，则将手动选择地形模式提示信息发送至显示屏。
优选地，所述第一地形信息、所述第二地形信息和第三地形信息均至少包括公路、雪地、泥地、沙地或者沙漠。
优选地，所述第一分类器和所述第二分类器均采用随机森林分类算法。
优选地，预设搜索半径为30厘米，预设密度阈值为50。
为实现上述目的，本发明还提供一种汽车的地形识别***，该***包括：
点云数据和图像信息获取模块，用于获取至少一车载激光雷达输出的点云数据，以及至少一车载相机输出的图像信息；
预处理模块，用于对所述点云数据中的采样点进行预处理，得到第二点云数据；并对所述图像信息进行预处理，得到第二图像信息；
点云聚类模块，用于对所述第二点云数据进行聚类，得到与所述第二点云数据对应的点簇；
第一地形信息输出模块，用于利用第一分类器对所述与所述第二点云数据对应的点簇进行分类，获得第一地形信息；
图像特征提取模块，用于基于预先训练的深度神经网络，对所述第二图像信息进行特征提取，得到与所述第二图像信息对应的图像特征向量；
第二地形信息输出模块，用于利用第二分类器对所述与所述第二图像信息对应的图像特征向量进行分类，获得第二地形信息；
地图信息获取模块，用于获取本车所在位置的地图信息，所述地图信息包括第三地形信息；
地形结果输出模块，用于对所述第一地形信息、所述第二地形信息和第三地形信息进行融合，获得地形识别结果。
为实现上述目的，本发明还提供了一种汽车的地形识别设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项汽车的地形识别方法的步骤。
本发明还提供了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述任意一项汽车的地形识别方法的步骤。
本发明与现有技术相比，具有以下优点及突出性效果：
本发明提供的汽车的地形识别方法、***、设备及存储介质利用车载激光雷达获取到由多个地形表面信息采样点组成的点云数据，由该点云数据处理得到第一地形信息；利用相机获取到地形表面的图像信息，通过对该图像信息进行预处理、特征提取以及分类，得到第二地形信息；利用车辆所在位置获取到第三地形信息，通过对上述三个地形信息进行融合得到最终的地形识别结果，实现了对车辆即将行驶经过的地形的准确识别，使得车辆相关的各个子***可以提前准备，便于车辆稳定安全通过危险地形，提高了车辆全地形控制***的可靠性；另一方面，用户不再需要手动切换地形模式，提高了驾驶舒适性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明实施例公开的汽车的地形识别方法的流程示意图；
图2是本发明实施例公开的汽车的地形识别***的结构示意图；
图3为本发明实施例公开的汽车的地形识别设备的示意图；
图4为本发明实施例公开的一种计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明实施例公开了一种汽车的地形识别方法，该方法包括以下步骤：
S10，获取至少一车载激光雷达输出的点云数据，以及至少一车载相机输出的图像信息。具体来说，在本车的至少一处位置安装至少一个激光雷达以及至少一个相机，用于对地形表面信息进行采集。相机也可以是摄像头。该激光雷达包括但不限于4线激光雷达、16线激光雷达或者64线激光雷达，本实施例对上述激光雷达和相机在车身上的安装参数不作具体限定，上述安装参数包括但不限于安装位置、安装角度或者距离地面高度，具体实施时可以根据需要进行相应地设置。比如，安装位置可以是汽车车头的左侧、右侧或者正中位置，安装角度可以限定为：激光雷达的正面与车前夹角为60度等，激光雷达距离地面高度可以设置为30厘米至50厘米之间。
并且，本发明对激光雷达的采集参数不作具体限定，上述采集参数包括但不限于采集周期或者单位采集周期内应采集的点云数据包数，激光雷达的采集周期可以根据激光雷达的硬件参数预先设置的，比如，如果激光雷达转一圈的时间为200毫秒，那么就将激光雷达的采集周期设置为200毫秒。
在本实施例中，可以针对车身的每个激光雷达预置单位采集周期内应采集点云数据包数，单位采集周期内应采集点云数据包数是激光雷达在每个采集周期内正常所能采集到的点云数据包数目。激光雷达在单位采集周期内应采集的点云数据包数也可以根据激光雷达的硬件参数预先设置，比如，对于64线激光雷达来说，每线激光雷达在每个采集周期内正常情况下可以采集6个点云数据包，则64线激光雷达在单位采集周期内正常应采集64*6＝384个点云数据包，因此384就是该64线激光雷达的单位采集周期内应采集的点云数据包数。
激光雷达输出的点云数据是由多个采样点组成的集合，每个采样点对应的属性信息至少包括激光反射强度，在其他实施例中，每个采样点对应的属性信息还可以包括采样点的三维坐标和高程等；该点云数据以LAS格式的文件进行存储，即.las文件格式。相机输出的图像信息是由多个图像帧组成的。
S20，对步骤S10中采集到的点云数据中的采样点进行预处理，得到第二点云数据；并对步骤S10中采集到的图像信息进行预处理，得到第二图像信息。具体来说，对于上述点云数据中的采样点，去除其中激光反射强度低于强度阈值的采样点，然后将剩余的采样点作为第二点云数据。
比如，本实施例中的强度阈值为10。那么就将激光反射强度低于10的采样点去除，将剩下的采样点保留下来作为第二点云数据，因为激光反射强度低于强度阈值的采样点属于噪声点，可能是对扫描地形存在阻挡或者遮掩的外界环境因素，比如移动的车辆、行人以及树木，这些噪声点将影响地形识别的准确度，所以需要将这些噪声点去除。
对于相机采集到的图像信息，本实施例中，随时采集图像信息中的一个图像帧到内存中，然后对上述图像帧进行自适应维纳滤波预处理，用于去除图像帧中的噪声点，得到第二图像信息，即预处理后的图像帧。其中，可以理解的是，自适应维纳滤波预处理算法是现有技术中广泛研究的算法，本实施例在此不再赘述。
S30，对上述第二点云数据进行聚类，获得与该第二点云数据对应的点簇；具体来说，基于步骤S20中得到的第二点云数据中的采样点，将预设搜索半径内，且密度大于预设密度阈值的采样点归为一类，形成聚类结果，即与该第二点云数据对应的点簇。本实施例中，上述预设搜索半径为30厘米，上述预设密度阈值为50。本发明对上述参数不作具体限定，在其他实施例中，可以根据需要进行设置。
S40，利用第一分类器对上述与第二点云数据对应的点簇进行分类，获得第一地形信息。本实施例中的第一分类器采用的是随机森林分类算法，并且该随机森林分类算法中树的个数为200，树的深度为40，每个***节点随机选择的***属性维数大小是原始特征总维数的算术平方根取整得到的数目。该随机森林分类算法在对与第二点云数据对应的点簇进行分类前，已经利用训练样本完成训练，即将训练样本输入该随机森林分类算法，训练样本包括样本点云数据构成的样本点簇，以及用于表征样本点簇的地形的标注；并将上述样本点簇作为输入，将用于表征样本点簇的地形的标注作为期望输出，训练该随机森林分类算法。训练完成之后，利用测试样本对训练后的随机森林分类算法进行测试。
该随机森林分类算法是由若干个相互独立的决策树构成的一个多分类器，每棵决策树相当于一个独立的分类器，单棵决策树的训练过程如下：在大小为N的样本点簇中按照有放回的bagging采样规则进行N次随机采样，得到样本点簇集合{θk,M|k＝1,2,…,N}，k表示当前样本，把该样本点簇集合作为决策树根节点的训练样本。决策树在当前节点的M维特征属性中随机选择其中的m(m<M)维，并逐个计算它们的基尼不纯度指数，利用基尼不纯度最小准则选出不纯度指数最小的特征，把它作为该节点的***属性，由***函数把当前树在此节点分为左右两支子树，以此循环直到不能再***或到达叶子节点为止。由于决策树的训练是两个随机选择的过程，所以决策树的深度可以达到最大，在训练过程中不会过拟合。上述特征属性包括点簇密度、点簇高程差和点簇高程标准差。
当与第二点云数据对应的点簇输入到随机森林分类算法后，每棵决策树给出一个类别判断，最后随机森林综合所有决策树的单个分类结果，将单个分类结果出现次数最多的那一类作为该点簇的分类结果。
S50，基于预先训练的深度神经网络，对上述第二图像信息进行特征提取，得到与该第二图像信息对应的图像特征向量。
其中，上述预先训练的深度神经网络通过如下方式训练得到：
将训练样本输入预先建立的并基于深度神经网络的初始图像特征提取网络，上述训练样本包括样本图像和用于表征样本图像的地形的标注；
将上述样本图像作为输入，并将用于表征样本图像的地形的标注作为期望输出，训练上述初始图像特征提取网络，得到训练后的图像特征提取网络。
本实施例采用50层残差神经网络对第二图像信息进行特征向量的提取，提取的图像特征包括局部高程差、RGB强度以及颜色空间每个分量的平均值，上述50层残差神经网络具体包括卷积层、池化层以及全连接层，本实施例在训练过程中当训练迭代次数大于预设迭代次数时训练结束，保存50层残差神经网络的卷积层参数和池化层参数作为图像特征提取网络模型。本实施例中，上述预设迭代次数为1000次，需要说明的是，本发明对该预设迭代次数不作限定，具体实施时，可根据需要进行设置。
S60，利用第二分类器对上述与第二图像信息对应的图像特征向量进行分类，获得第二地形信息。上述第二分类器也采用随机森林分类算法，该随机森林分类算法的树的个数为200，树的深度为80。该随机森林分类算法分类的具体过程在步骤S40中已经具体描述，此处不再赘述，只是在训练该随机森林分类算法时，训练样本包括样本图像信息和用于表征样本图像信息所属地形的标注，并将样本图像信息作为输入，将用于表征样本图像信息所属地形的标注作为期望输出。
S70，获取本车所在位置的地图信息，该地图信息包括第三地形信息。具体来说，从车载GPS定位***里获得本车所在位置的地图信息，该地图信息指示出了本车所在位置的第三地形信息，比如是公路、雪地、泥地、沙地或者沙漠。
S80，对上述第一地形信息、第二地形信息和第三地形信息进行融合，得到地形识别结果。
具体来说，当上述第一地形信息和上述第二地形信息相同时，则将上述第一地形信息作为地形识别结果；
当上述第一地形信息和上述第三地形信息相同时，则将上述第一地形信息作为地形识别结果；
当上述第二地形信息和上述第三地形信息相同时，则将上述第二地形信息作为地形识别结果；
当上述第一地形信息、上述第二地形信息和第三地形信息互不相同时，则将手动选择地形模式提示信息发送至显示屏。
第一地形信息、上述第二地形信息和第三地形信息均至少包括公路、雪地、泥地、沙地或者沙漠。本发明中的地形信息不局限于上述五种地形，其他的地形信息也属于本发明的保护范围。
在本实施例的一些可选的实现方式中，步骤S20中对采集到的点云数据中的采样点进行预处理操作具体为，去除其中激光反射强度低于强度阈值的采样点，对剩余的采样点利用中值滤波器进行处理，然后将处理后再次剩余的采样点作为第二点云数据。由于在将激光反射强度低于强度阈值的采样点去除之后，第二点云数据中可能仍然有部分噪声点被保留下来，所以本实施例利用中值滤波器，进行二次滤波处理，将剩余的噪声有效滤除，并且保留有用的原始数据边缘信息，从而使周围的数据能更加靠近真实值，以便于后续处理。本实施例中的中值滤波器的窗口宽度为7。中值滤波器滤波的具体过程利用现有技术即可实现，本实施例对其不再具体描述。
在本实施例的一些可选的实现方式中，步骤S70还包括：上述地图信息还包括天气信息，并判断上述第二地形信息和第三地形信息是否满足预设约束输出条件，若满足该预设约束输出条件，则在步骤S80中，直接将该预设约束输出条件中的输出结果作为地形识别结果。
本实施例中的预设约束输出条件包括有：
上述第二地形信息为沙漠，第三地形信息为公路，则将该第三地形信息作为输出结果；
上述第二地形信息为泥地，上述天气信息为雨天，第三地形信息为公路，则将该第二地形信息作为输出结果。
本实施例通过该预设约束输出条件的限制，实现了对更多特殊场景的准确识别判断，降低了本发明对特殊地形情况下可能出现的识别误差，提升了地形识别的准确性。需要说明的是，本发明对预设约束输出条件不作具体限定，具体实施时，可根据具体情况需要进行具体设置。
如图2所示，本发明实施例还公开了一种汽车的地形识别***，该***包括：
点云数据和图像信息获取模块21，用于获取至少一车载激光雷达输出的点云数据，以及至少一车载相机输出的图像信息；
预处理模块22，用于对上述点云数据中的采样点进行预处理，得到第二点云数据；并对上述图像信息进行预处理，得到第二图像信息；
点云聚类模块23，用于对上述第二点云数据进行聚类，得到与上述第二点云数据对应的点簇；
第一地形信息输出模块24，用于利用第一分类器对上述与上述第二点云数据对应的点簇进行分类，获得第一地形信息；
图像特征提取模块25，用于基于预先训练的深度神经网络，对上述第二图像信息进行特征提取，得到与上述第二图像信息对应的图像特征向量；
第二地形信息输出模块26，用于利用第二分类器对上述与上述第二图像信息对应的图像特征向量进行分类，获得第二地形信息；
地图信息获取模块27，用于获取本车所在位置的地图信息，上述地图信息包括第三地形信息；
地形结果输出模块28，用于对上述第一地形信息、上述第二地形信息和第三地形信息进行融合，获得地形识别结果。
可以理解的是，本发明的汽车的地形识别***还包括其他支持汽车的地形识别***运行的现有功能模块。图2显示的汽车的地形识别***仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本实施例中的汽车的地形识别***用于实现上述的汽车的地形识别的方法，因此对于汽车的地形识别***的具体实施步骤可以参照上述对汽车的地形识别的方法的描述，此处不再赘述。
本发明实施例还公开了一种汽车的地形识别设备，包括处理器和存储器，其中存储器存储有上述处理器的可执行指令；处理器配置为经由执行可执行指令来执行上述汽车的地形识别方法中的步骤。图3是本发明公开的汽车的地形识别设备的结构示意图。下面参照图3来描述根据本发明的这种实施方式的电子设备600。图3显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述汽车的地形识别方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。
本发明还公开了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述汽车的地形识别方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述汽车的地形识别方法中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，利用激光雷达获取车辆即将行驶的地形的第一地形信息，利用相机获取第二地形信息，利用车辆所在位置获取第三地形信息，通过对上述三个地形信息进行融合得到最终的地形识别结果，实现了对车辆即将行驶经过的地形的准确识别，使得车辆相关的各个子***可以提前准备，便于车辆稳定安全通过危险地形，提高了车辆全地形控制***的可靠性。
图4是本发明的计算机可读存储介质的结构示意图。参考图4所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例提供的汽车的地形识别方法、***、设备及存储介质利用车载激光雷达获取到由多个地形表面信息采样点组成的点云数据，由该点云数据处理得到第一地形信息；利用相机获取到地形表面的图像信息，通过对该图像信息进行预处理、特征提取以及分类，得到第二地形信息；利用车辆所在位置获取到第三地形信息，通过对上述三个地形信息进行融合得到最终的地形识别结果，实现了对车辆即将行驶经过的地形的准确识别，使得车辆相关的各个子***可以提前准备，便于车辆稳定安全通过危险地形，提高了车辆全地形控制***的可靠性；另一方面，用户不再需要手动切换地形模式，提高了驾驶舒适性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (13)
1.一种汽车的地形识别方法，其特征在于，包括以下步骤：
S10，获取至少一车载激光雷达输出的点云数据，以及至少一车载相机输出的图像信息；
S20，对所述点云数据中的采样点进行预处理，得到第二点云数据；并对所述图像信息进行预处理，得到第二图像信息；
S30，对所述第二点云数据进行聚类，得到与所述第二点云数据对应的点簇；
S40，利用第一分类器对所述与所述第二点云数据对应的点簇进行分类，获得第一地形信息；
S50，基于预先训练的深度神经网络，对所述第二图像信息进行特征提取，得到与所述第二图像信息对应的图像特征向量；
S60，利用第二分类器对所述与所述第二图像信息对应的图像特征向量进行分类，获得第二地形信息；
S70，获取本车所在位置的地图信息，所述地图信息包括第三地形信息；
S80，对所述第一地形信息、所述第二地形信息和所述第三地形信息进行融合，获得地形识别结果。
2.如权利要求1所述的一种汽车的地形识别方法，其特征在于，所述点云数据是由多个采样点组成的集合，每个采样点对应的属性信息至少包括激光反射强度；步骤S20中所述对所述点云数据中的采样点进行预处理，得到第二点云数据，具体包括：
去除所述点云数据中所述激光反射强度低于强度阈值的采样点；
将所述点云数据中剩余的采样点作为第二点云数据。
3.如权利要求1所述的一种汽车的地形识别方法，其特征在于，所述点云数据是由多个采样点组成的集合，每个采样点对应的属性信息至少包括激光反射强度；步骤S20中所述对所述点云数据中的采样点进行预处理，得到第二点云数据，具体包括：
去除所述点云数据中所述激光反射强度低于强度阈值的采样点；
对所述点云数据中剩余的采样点利用中值滤波器进行处理；
将处理后得到的剩余的采样点作为第二点云数据。
4.如权利要求1所述的一种汽车的地形识别方法，其特征在于，步骤S20中，对所述图像信息进行自适应维纳滤波处理，得到第二图像信息。
5.如权利要求1所述的一种汽车的地形识别方法，其特征在于，步骤S30中将预设搜索半径内，密度大于预设密度阈值的所述第二点云数据中的采样点归为一类，得到与所述第二点云数据对应的点簇。
6.如权利要求1所述的一种汽车的地形识别方法，其特征在于，步骤S50中所述预先训练的深度神经网络通过如下方式训练得到：
将训练样本输入预先建立的并基于深度神经网络的初始图像特征提取网络，所述训练样本包括样本图像和用于表征样本图像的地形的标注；
将所述样本图像作为输入，并将用于表征样本图像的地形的标注作为期望输出，训练所述初始图像特征提取网络，得到训练后的图像特征提取网络。
7.如权利要求1所述的一种汽车的地形识别方法，其特征在于，步骤S80中，当所述第一地形信息和所述第二地形信息相同时，则将所述第一地形信息作为地形识别结果；
当所述第一地形信息和所述第三地形信息相同时，则将所述第一地形信息作为地形识别结果；
当所述第二地形信息和所述第三地形信息相同时，则将所述第二地形信息作为地形识别结果；
当所述第一地形信息、所述第二地形信息和第三地形信息互不相同时，则将手动选择地形模式提示信息发送至显示屏。
8.如权利要求1所述的一种汽车的地形识别方法，其特征在于，所述第一地形信息、所述第二地形信息和第三地形信息均至少包括公路、雪地、泥地、沙地或者沙漠。
9.如权利要求1所述的一种汽车的地形识别方法，其特征在于，所述第一分类器和所述第二分类器均采用随机森林分类算法。
10.如权利要求5所述的一种汽车的地形识别方法，其特征在于，预设搜索半径为30厘米，预设密度阈值为50。
11.一种汽车的地形识别***，其特征在于，包括：
点云数据和图像信息获取模块，用于获取至少一车载激光雷达输出的点云数据，以及至少一车载相机输出的图像信息；
预处理模块，用于对所述点云数据中的采样点进行预处理，得到第二点云数据；并对所述图像信息进行预处理，得到第二图像信息；
点云聚类模块，用于对所述第二点云数据进行聚类，得到与所述第二点云数据对应的点簇；
第一地形信息输出模块，用于利用第一分类器对所述与所述第二点云数据对应的点簇进行分类，获得第一地形信息；
图像特征提取模块，用于基于预先训练的深度神经网络，对所述第二图像信息进行特征提取，得到与所述第二图像信息对应的图像特征向量；
第二地形信息输出模块，用于利用第二分类器对所述与所述第二图像信息对应的图像特征向量进行分类，获得第二地形信息；
地图信息获取模块，用于获取本车所在位置的地图信息，所述地图信息包括第三地形信息；
地形结果输出模块，用于对所述第一地形信息、所述第二地形信息和第三地形信息进行融合，获得地形识别结果。
12.一种汽车的地形识别设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项所述汽车的地形识别方法的步骤。
13.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至10中任意一项所述汽车的地形识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910462467.0A CN110188687B (zh) | 2019-05-30 | 2019-05-30 | 汽车的地形识别方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910462467.0A CN110188687B (zh) | 2019-05-30 | 2019-05-30 | 汽车的地形识别方法、***、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110188687A true CN110188687A (zh) | 2019-08-30 |
| CN110188687B CN110188687B (zh) | 2021-08-20 |
Family
ID=67718948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910462467.0A Active CN110188687B (zh) | 2019-05-30 | 2019-05-30 | 汽车的地形识别方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188687B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110793512A (zh) * | 2019-09-11 | 2020-02-14 | 上海宾通智能科技有限公司 | 位姿识别方法、装置、电子设备和存储介质 |
| CN111291697A (zh) * | 2020-02-19 | 2020-06-16 | 北京百度网讯科技有限公司 | 用于识别障碍物的方法和装置 |
| CN112698301A (zh) * | 2020-12-11 | 2021-04-23 | 中国科学院微电子研究所 | 基于距离强度关联的激光雷达目标识别方法、装置及设备 |
| CN113190015A (zh) * | 2021-05-20 | 2021-07-30 | 中国第一汽车股份有限公司 | 一种地形识别方法、装置、计算机设备和存储介质 |
| CN113557528A (zh) * | 2021-03-30 | 2021-10-26 | 商汤国际私人有限公司 | 生成点云补全网络及点云数据处理 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140257621A1 (en) * | 2013-03-08 | 2014-09-11 | Oshkosh Corporation | Terrain classification system for a vehicle |
| WO2016170330A1 (en) * | 2015-04-24 | 2016-10-27 | Oxford University Innovation Limited | Processing a series of images to identify at least a portion of an object |
| CN106527427A (zh) * | 2016-10-19 | 2017-03-22 | 东风汽车公司 | 基于高速公路的自动驾驶感知*** |
| CN107031600A (zh) * | 2016-10-19 | 2017-08-11 | 东风汽车公司 | 基于高速公路的自动驾驶*** |
| CN207473410U (zh) * | 2017-11-16 | 2018-06-08 | 尹新通 | 一种汽车智能自动驾驶装置 |
-
2019
- 2019-05-30 CN CN201910462467.0A patent/CN110188687B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140257621A1 (en) * | 2013-03-08 | 2014-09-11 | Oshkosh Corporation | Terrain classification system for a vehicle |
| WO2016170330A1 (en) * | 2015-04-24 | 2016-10-27 | Oxford University Innovation Limited | Processing a series of images to identify at least a portion of an object |
| CN106527427A (zh) * | 2016-10-19 | 2017-03-22 | 东风汽车公司 | 基于高速公路的自动驾驶感知*** |
| CN107031600A (zh) * | 2016-10-19 | 2017-08-11 | 东风汽车公司 | 基于高速公路的自动驾驶*** |
| CN207473410U (zh) * | 2017-11-16 | 2018-06-08 | 尹新通 | 一种汽车智能自动驾驶装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110793512A (zh) * | 2019-09-11 | 2020-02-14 | 上海宾通智能科技有限公司 | 位姿识别方法、装置、电子设备和存储介质 |
| CN111291697A (zh) * | 2020-02-19 | 2020-06-16 | 北京百度网讯科技有限公司 | 用于识别障碍物的方法和装置 |
| CN111291697B (zh) * | 2020-02-19 | 2023-11-21 | 阿波罗智能技术(北京)有限公司 | 用于识别障碍物的方法和装置 |
| CN112698301A (zh) * | 2020-12-11 | 2021-04-23 | 中国科学院微电子研究所 | 基于距离强度关联的激光雷达目标识别方法、装置及设备 |
| CN112698301B (zh) * | 2020-12-11 | 2024-06-28 | 中国科学院微电子研究所 | 基于距离强度关联的激光雷达目标识别方法、装置及设备 |
| CN113557528A (zh) * | 2021-03-30 | 2021-10-26 | 商汤国际私人有限公司 | 生成点云补全网络及点云数据处理 |
| CN113557528B (zh) * | 2021-03-30 | 2023-11-28 | 商汤国际私人有限公司 | 生成点云补全网络及点云数据处理方法、装置和*** |
| CN113190015A (zh) * | 2021-05-20 | 2021-07-30 | 中国第一汽车股份有限公司 | 一种地形识别方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110188687B (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188687A (zh) | 汽车的地形识别方法、***、设备及存储介质 | |
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| US10429841B2 (en) | Vehicle control method and apparatus and method and apparatus for acquiring decision-making model | |
| CN111123735B (zh) | 自动驾驶仿真运行方法和装置 | |
| CN110796007B (zh) | 场景识别的方法与计算设备 | |
| CN110471411A (zh) | 自动驾驶方法和自动驾驶装置 | |
| CN110376594A (zh) | 一种基于拓扑图的智能导航的方法和*** | |
| CN111291697A (zh) | 用于识别障碍物的方法和装置 | |
| CN113895464B (zh) | 融合个性化驾驶风格的智能车驾驶地图生成方法及*** | |
| CN109284801A (zh) | 交通指示灯的状态识别方法、装置、电子设备及存储介质 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN113665570A (zh) | 自动地感知行驶信号的方法、装置及运载工具 | |
| CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
| CN116597690B (zh) | 智能网联汽车的高速公路测试场景生成方法、设备及介质 | |
| CN113119999A (zh) | 自动驾驶特征的确定方法、装置、设备、介质及程序产品 | |
| CN117367440A (zh) | 越野线路生成***、方法、电子设备及存储介质 | |
| CN116433865A (zh) | 一种基于场景可重建性分析的空地协同采集路径规划方法 | |
| CN115578703A (zh) | 激光感知融合优化方法、装置、设备及可读存储介质 | |
| CN114722931A (zh) | 车载数据处理方法、装置、数据采集设备和存储介质 | |
| CN114359233A (zh) | 图像分割模型训练方法、装置、电子设备及可读存储介质 | |
| CN111145187B (zh) | 基于霍夫空间的物体识别方法、***、设备及存储介质 | |
| CN114154510A (zh) | 自动驾驶车辆的控制方法、装置、电子设备及存储介质 | |
| CN114169129A (zh) | 自动驾驶的可视化评估方法和装置 | |
| CN112418183A (zh) | 一种停车场的元素提取方法、装置、电子设备及存储介质 | |
| CN112519779A (zh) | 基于位置的车辆操作 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20230131 Granted publication date: 20210820 |
|
| PD01 | Discharge of preservation of patent | ||
| PD01 | Discharge of preservation of patent |
Date of cancellation: 20240108 Granted publication date: 20210820 |
|
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240227 Granted publication date: 20210820 |