CN115223144A - 一种基于云端数据的无人驾驶矿车传感器数据筛选方法及装置 - Google Patents

Abstract

本申请通过对无人驾驶矿车的车载摄像头传感器获取的数据上传到云端服务器，通过云端服务器对云端数据进行特征识别，然后根据矿区的特点，选取道路曲率、坡度，前方道路中是否存在障碍物、前方道路是否存在岔路作为特征参数实现车载摄像头数据筛选，使得输入到无人驾驶矿车决策模型的数据减少，同时，并对车载摄像头数据筛选过程中，参考了无人驾驶矿车的速度信息，并且动态确定筛选权重，从而减少了决策模型的决策时间，并且，本申请根据矿区特点对传感器数据筛选以及动态确定筛选权重，多虑了造成干扰的大部分垃圾数据，在减少决策时间的同时提高了决策层的决策精度。

Description

一种基于云端数据的无人驾驶矿车传感器数据筛选方法及 装置

技术领域

本发明属于数据处理技术领域，尤其涉及一种基于云端数据的无人驾驶矿车传感器数据筛选方法及装置。

背景技术

无人驾驶技术为利用包括雷达、激光、超声波、GPS、里程计、计算机视觉等多种技术来感知其周边环境，通过先进的计算机控制***，来识别障碍物和各种标识牌，规划合适的路径来控制矿车行驶，随着汽车智能化技术的快速发展以及广泛应用，无人驾驶汽车成为了汽车行业未来的发展趋势，由于具有创新性、实用性、复杂性和多学科交叉等特点，无人驾驶汽车也是目前非常热门的一个研究领域，国际国内多个公司均对无人驾驶技术展开研究。

随着通讯手段的逐渐提高，为了提高无人驾驶路径和行车参数预测的实时性，利用无人驾驶过程中的传感器获取的数据上传到云端服务器，然后再实现路径和行车参数预测为如今研究的一大热点，一般的，无人驾驶车辆上会集成4-6个车载摄像头用于辅助决策，如此多的车载摄像头会产生大量的数据，但是，并不是所有的数据对决策均有作用，而且，由于无人驾驶车辆的无人属性，需要对后续的路径和行驶参数进行接近实时和准确的预判，如果不对传感器产生的数据进行筛选就输入到预测模型参与运算，不但时延会大大增加，而且预测精度也会有所降低。

同时，矿场由于突发干扰少，道路状态简单，正逐渐成为无人驾驶的热点研究领域，而，现有技术中并未有针对矿场的特点，对无人驾驶矿车的车载摄像头数据进行筛选从而减少时延并提高无人驾驶矿车行驶参数预测精度的方案。

发明内容

本发明要解决的技术问题是针对上述技术方案的不足，提供一种基于云端数据的无人驾驶矿车传感器数据筛选方法及装置，针对矿场这种应用场景，对无人驾驶矿车传感器采集的数据进行筛选，从而使输入到预测模型的数据量减少，达到降低时延和提高准确率的目的。

下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。

为了实现上述目的，根据本发明的一个方面，一种基于云端数据的无人驾驶矿车传感器数据筛选方法，包括：

步骤1：获取无人驾驶矿车行驶中的多个车载摄像头传感器采集的视频数据；

步骤2：将所述多个车载摄像头采集的视频数据以帧为单位转换成图像格式，打上时间戳后上传到云端服务器；

步骤3：通过图像识别技术获得每帧图像的特征信息作为云端数据，所述云端数据包括：行驶前方路面坡度信息，前方道路曲率大小，前方道路是否存在障碍物，前方是否为岔路口信息；

步骤4：根据所述步骤3获得的云端数据结合行驶速度对所述每帧图像进行筛选。

进一步，所述摄像头传感器用于采集矿车周边的环境信息。

进一步，所述矿车周边的环境信息包括矿车行驶前方情况，道路情况信息。

进一步，所述步骤2中，可以通过5G通讯技术实现数据的上传，或者，也可在通过在矿区建立边缘网络通讯节点，采用无人驾驶车载计算机将数据流传输到边缘节点，边缘网络节点再将数据传输到云端计算机的通讯方式实现数据传输。

进一步，所述步骤4具体包括：

步骤4.1：通过机器学习生成分类规则；

步骤4.2：利用所述步骤4.1建立的分类规则对所述步骤3中的云端数据进行分类，第一类为垃圾数据；第二类为可能上传数据；第三类为确定上传数据；

步骤4.3：根据分类规则结合行驶速度确定数据筛选上传策略。

进一步，所述步骤4.1具体包括：

步骤4.1.1：利用有人驾驶矿车在该任务路线驾驶车辆行驶，并通过车载摄像头传感器记录行驶过程的数据信息，通过车载计算机记录车辆行驶的行驶参数，所述行驶参数包括车速，加步骤4.1.2：将上述信息上传到所述云端服务器，针对所述上述信息进行特征识别处理；提取每帧图片的道路曲率、坡度、前方道路中是否存在障碍物、前方道路是否存在岔路作为数据筛选的特征参数信息生成特征信息数据集，针对道路曲率、坡度、前方道路是否存在障碍物以及前方道路是否存在岔路四个特征参数赋值初始权重，建立如公式(1)的分类模型：

Ti＝a*Ti_c+b*Ti_s+c*Ti_o+d*Ti_a (1)

其中，Ti为图像特征值，a，b，c，d为每个特征参数的权重，Ti_c为第i帧图像识别出来的道路曲率大小，Ti_s为第i帧图像识别出来的道路坡度大小，Ti_o为第i帧图像识别出来的前方道路障碍物大小信息，Ti_a为是否存在道路岔路；

利用每帧图片的特征信息数据集以及该时刻的驾驶参数作为训练数据，对分类模型进行训练，获得模型参数a，b，c，d；

步骤4.1.3：将采集到的实时行驶数据进行特征识别，确定道路曲率大小、道路坡度大小以及道路障碍物大小信息、道路是否存在岔路，将其输入分类模型后计算该图像特征值Ti，依据图像特征值其具体分类规则为：

若Ti<T1,确定其为第三类数据；若T1≤Ti≤T2，确定其为第二类数据；若T2<Ti，确定其为第一类数据，其中T1<T2。

进一步，所述分类模型为卷积网络模型。

进一步，所述步骤4.3还包括：

若行驶速度v<35km/h，则仅上传第三类数据；

若行驶速度120>v≥35km/h，则依据公式(2)计算上传比例k：

k＝(lnV-3.55)/1.24 (2)

其中，V为无人驾驶矿车的行驶速度，单位为km/h；根据计算结果，选择第二类数据中比例为k的数据以及第三类数据为上传数据；

若行驶速度≥120km/h，选择全部第二类数据以及第三类数据为上传数据。

根据本发明的另一个方面，提供了一种基于云端数据的无人驾驶矿车传感器数据筛选方法，包括：

车载摄像头：所述车载摄像头为多个，用于获取无人驾驶矿车行驶中的多个车载摄像头采集的视频数据；

数据转换与上传模块：用于将所述多个车载摄像头采集的视频数据以帧为单位转换成图像格式，打上时间戳后上传到云端服务器；

数据筛选模块：用于运行上述的数据分类筛选方法。

基于上述技术方案，本申请提供的一种基于云端数据的无人驾驶矿车传感器数据筛选方法，具有如下技术效果：

本申请通过对无人驾驶矿车的车载摄像头传感器获取的数据上传到云端服务器，通过云端服务器对云端数据进行特征识别，然后根据矿区的特点，选取道路曲率、坡度，前方道路中是否存在障碍物、前方道路是否存在岔路作为特征参数实现车载摄像头数据筛选，使得输入到无人驾驶矿车决策模型的数据减少，同时，并对车载摄像头数据筛选过程中，参考了无人驾驶矿车的速度信息，并且动态确定筛选权重，从而减少了决策层的决策时间，并且，本申请根据矿区特点对传感器数据筛选以及动态确定筛选权重，过虑了造成干扰的大部分垃圾数据，在减少决策时间的同时提高了决策层的决策精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于云端数据的无人驾驶矿车传感器数据筛选方法的流程图；

图2为本申请实施例提供的采用本申请方法筛选数据与原始数据的对比图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。

如图1所示，一种基于云端数据的无人驾驶矿车传感器数据筛选方法，包括：

步骤1：获取无人驾驶矿车行驶中的多个车载摄像头传感器采集的视频数据；

所述摄像头传感器主要用于采集矿车周边的环境信息，包括但不限于矿车行驶前方情况，道路情况等信息；

步骤2：将所述多个车载摄像头采集的视频数据以帧为单位转换成图像格式，打上时间戳后上传到云端服务器；

具体地，可以通过5G通讯技术实现数据的上传，或者，也可在通过在矿区建立边缘网络通讯节点，采用无人驾驶车载计算机将数据流传输到边缘节点，边缘网络节点再将数据传输到云端计算机的通讯方式实现数据传输；

步骤3：通过图像识别技术获得每帧图像的特征信息作为云端数据，所述云端数据包括：行驶前方路面坡度信息，前方道路曲率大小，前方道路是否存在障碍物，前方是否为岔路口等信息；

云端服务器由于性能相对于车载电脑性能更好，因此可以运行较为复杂的模型，因此，本申请在云端服务器中采用图像识别技术获得每帧的图像的特征信息作为云端数据参与决策层的运算

步骤4：根据所述步骤3获得的云端数据结合行驶速度对所述每帧图像进行筛选；

具体地，所述步骤4具体包括：

步骤4.1：通过机器学习生成分类规则；

由于无人驾驶矿车多个车载摄像头的存在，无人驾驶矿车在行驶过程中产生大量的数据信息，面对体量巨大的大数据，通过机器学习高效地获取知识，已逐渐成为当今机器学习技术发展的主要推动力，具体地，所述步骤4.1包括：步骤4.1.1：利用有人驾驶矿车在该任务路线驾驶车辆行驶，并通过车载摄像头传感器记录行驶过程的数据信息，通过车载计算机记录车辆行驶的行驶参数，所述行驶参数包括车速，加速度，是否转向；并通过车载摄像头传感器记录该次行驶过程的数据信息以及行驶参数；

步骤4.1.2：步骤4.1.2：将上述信息上传到所述云端服务器，针对所述上述信息进行特征识别处理；提取每帧图片的道路曲率、坡度、前方道路中是否存在障碍物、前方道路是否存在岔路作为数据筛选的特征参数信息生成特征信息数据集，针对道路曲率、坡度、前方道路是否存在障碍物以及前方道路是否存在岔路四个特征参数赋值初始权重，建立如公式(1)的分类模型：

Ti＝a*Ti_c+b*Ti_s+c*Ti_o+d*Ti_a (1)

其中，Ti为图像特征值，a，b，c，d为每个特征参数的权重，Ti_c为第i帧图像识别出来的道路曲率大小，Ti_s为第i帧图像识别出来的道路坡度大小，Ti_o为第i帧图像识别出来的前方道路障碍物大小信息，Ti_a为是否存在道路岔路；具体地，本申请采用卷积网络模型作为分类模型；通过训练数据对卷积网络模型训练，从而建立分类规则；训练时，采用Adam优化器，初始学习率为0.01，受软硬件环境的影响，特征信息数据集输入所述学习网络模型的大小为4x4xC，其中C为输入网络模型的每个特征参数数据集中参数多少，值得一提的是本申请采用道路曲率，坡度，前方道路中是否存在障碍物，前方道路是否存在岔路四个参数作为特征参数，因此C取值为4；示例性地，采用某作业路线为例，具体地，首先针对道路曲率，坡度，前方道路是否存在障碍物以及前方道路是否存在岔路等四个特征参数赋值初始权重，然后依据公式(1)计算出每帧图像的特征值，通过训练数据对分类模型进行训练，主要是对特征参数的权重进行训练，从而得到最优参数。

步骤4.1.3：将采集到的实时行驶数据进行特征识别，确定道路曲率大小、道路坡度大小以及道路障碍物大小信息、道路是否存在岔路，将其输入分类模型后计算该图像特征值Ti，依据图像特征值其具体分类规则为：

若Ti<T1,确定其为第三类数据；若T1≤Ti≤T2，确定其为第二类数据；若T2<Ti，确定其为第一类数据，其中T1<T2。

步骤4.2：采用所述步骤4.1中特征值计算方法计算每帧图片的特征值，然后，利用所述步骤4.1建立的分类规则对所述步骤3中的云端数据进行分类，第一类为垃圾数据；第二类为可能上传数据；第三类为确定上传数据，其中，对于垃圾数据，由于对无人驾驶矿车的决策影响较小，这类数据即不输入到决策模型中参与决策，而对于可能上传数据，由下述步骤判断上传比例，对于确定上传数据，由于其是参与决策必不可少的数据，该类数据全部参与到决策模型中参与决策。

步骤4.3：根据分类规则结合行驶速度确定数据筛选上传策略；由于无人驾驶车辆速度对车辆的正确决策起着至关重要的影响，速度较大时，需要上传较多信息以期提高决策精度从而降低事故风险，速度较小时，上传较少信息，以减少决策时间；因此，本申请重点考虑无人驾驶矿车行驶速度对矿车决策的影响从而对传感器数据筛选进行决策，具体地，行驶实时获取无人驾驶车辆行驶速度，若速度<35km/h，则仅上传第三类数据；若行驶速度120>v≥35km/h，则依据公式(2)计算上传比例k：

k＝(lnV-3.55)/1.24 (2)

其中，V为无人驾驶矿车的行驶速度，单位为km/h，根据计算结果，选择第二类数据中比例为k的数据以及第三类数据为上传数据；若行驶速度≥120km/h，选择全部第二类数据以及第三类数据为上传数据。

例如，当速度为45km/h时，此时，k为0.21，则，将第二类信息中随机选择21％的数据进行上传；

至此完成车载摄像头传感器数据的筛选，对有用信息进行上传，使得输入到决策模型的数据减少，从而减少了决策层运算的决策时间，并且，本申请根据无人驾驶矿区的特点，选择道路曲率、坡度，前方道路中是否存在障碍物作为特征参数实现车载摄像头数据筛选，使得上传的数据中含有的有用信息增多，多虑了造成干扰的大部分垃圾数据，提高了决策层的决策精度。

根据本发明的另一个方面，提供了一种基于云端数据的无人驾驶矿车传感器数据筛选方法，包括：

车载摄像头：所述车载摄像头为多个，用于获取无人驾驶矿车行驶中的多个车载摄像头采集的视频数据；

数据转换与上传模块：用于将所述多个车载摄像头采集的视频数据以帧为单位转换成图像格式，打上时间戳后上传到云端服务器；

数据筛选模块：用于运行上述的数据分类筛选方法。

本申请中采用某矿区某条作业路线作为具体任务，运用上述方案进行试验，首先选择具有多年驾驶经验的驾驶员对该路线进行驾驶，驾驶过程中，驾驶员根据路况信息采用较为准确的行驶参数实现行驶，例如，在平坦路段保持较高驾驶速度，在判断到前方路段坡度较大时，根据坡度大小对速度进行操控，同时，当前方道路弯曲程度较大时，根据前方道路的坡度大小对速度进行控制，当前方遇到岔路时，根据岔路是否有车辆，进而控制车速大小，然后通过车载摄像头传感器记录每次行驶过程的数据信息以及行驶参数；共获取10580帧图片以及和每帧图片对应的驾驶数据，然后将上述信息上传到云端服务器，利用云端服务器运行本申请所述的传感器数据筛选方法对36580帧图片进行分类，其中，第一类数据为17683帧，第二类数据8519帧，第三类数据10378帧，可见，通过本申请的筛选方法，可筛选相当比例的垃圾数据，然后根据无人驾驶矿车的行驶速度，对该作业路线的无人行驶参数预测时延进行统计，如图2所示，其中，纵轴为采用本申请筛选方法对数据进行筛选后输入到决策模型中，模型的决策时间，实线为没有进行数据筛选的决策时间，虚线为采用本申请数据筛选方法后作为输入数据的决策时间，决策时间平均减少了21％，同时，对决策精度进行核对发现也有了较为明显的提高。

以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。

Claims (9)

1.一种基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，包括以下步骤：

步骤1：获取无人驾驶矿车行驶中的多个车载摄像头传感器采集的视频数据；

步骤2：将所述多个车载摄像头采集的视频数据以帧为单位转换成图像格式，打上时间戳后上传到云端服务器；

步骤3：通过图像识别技术获得每帧图像的特征信息作为云端数据，所述云端数据包括：行驶前方路面坡度信息，前方道路曲率大小，前方道路是否存在障碍物，前方是否为岔路口信息；

步骤4：根据所述步骤3获得的云端数据结合行驶速度对所述每帧图像进行筛选。

2.根据权利要求1所述的基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，所述摄像头传感器用于采集矿车周边的环境信息。

3.根据权利要求2所述的基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，所述矿车周边的环境信息包括矿车行驶前方情况、道路情况信息。

4.根据权利要求1所述的基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，所述步骤2中，可以通过5G通讯技术实现数据的上传，或者，也可在通过在矿区建立边缘网络通讯节点，采用无人驾驶车载计算机将数据流传输到边缘节点，边缘网络节点再将数据传输到云端计算机的通讯方式实现数据传输。

5.根据权利要求1所述的基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，所述步骤4具体包括：

步骤4.1：通过机器学习生成分类规则；

步骤4.2：利用所述步骤4.1建立的分类规则对所述步骤3中的云端数据进行分类，第一类数据为垃圾数据；第二类数据为可能上传数据；第三类数据为确定上传数据；

步骤4.3：根据分类规则结合行驶速度确定数据筛选上传策略。

6.根据权利要求5所述的基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，所述步骤4.1具体包括：

步骤4.1.1：利用有人驾驶矿车在该任务路线驾驶车辆行驶，并通过车载摄像头传感器记录行驶过程的数据信息，通过车载计算机记录车辆行驶的行驶参数，所述行驶参数包括车速，加速度，是否转向；并通过车载摄像头传感器记录该次行驶过程的数据信息以及行驶参数；

步骤4.1.2：将上述信息上传到所述云端服务器，针对所述上述信息进行特征识别处理；提取每帧图片的道路曲率、坡度、前方道路中是否存在障碍物、前方道路是否存在岔路作为数据筛选的特征参数信息生成特征信息数据集，针对道路曲率、坡度、前方道路是否存在障碍物以及前方道路是否存在岔路四个特征参数赋值初始权重，建立如公式(1)的分类模型：

Ti＝a*Ti_c+b*Ti_s+c*Ti_o+d*Ti_a (1)

其中，Ti为图像特征值，a，b，c，d为每个特征参数的权重，Ti_c为第i帧图像识别出来的道路曲率大小，Ti_s为第i帧图像识别出来的道路坡度大小，Ti_o为第i帧图像识别出来的前方道路障碍物大小信息，Ti_a为是否存在道路岔路：

利用每帧图片的特征信息数据集以及该时刻的驾驶参数作为训练数据，对分类模型进行训练，获得模型参数a，b，c，d；

步骤4.1.3：将采集到的实时行驶数据进行特征识别，确定道路曲率大小、道路坡度大小以及道路障碍物大小信息、道路是否存在岔路，将其输入分类模型后计算该图像特征值Ti，依据图像特征值其具体分类规则为：

若Ti<T1,确定其为第三类数据；若T1≤Ti≤T2，确定其为第二类数据；若T2<Ti，确定其为第一类数据，其中T1<T2。

7.根据权利要求6所述的基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，所述分类模型为卷积网络模型。

8.根据权利要求5所述的基于云端数据的无人驾驶矿车传感器数据筛选方法，其特征在于，所述步骤4.3还包括：

若行驶速度v<35km/h，则仅上传第三类数据；

若行驶速度120>v≥35km/h，则依据公式(2)计算上传比例k：

k＝(lnV-3.55)/1.24 (2)

其中，V为无人驾驶矿车的行驶速度，单位为km/h；根据计算结果，选择第二类数据中比例为k的数据以及第三类数据为上传数据；

若行驶速度≥120km/h，选择全部第二类数据以及第三类数据为上传数据。

9.一种基于云端数据的无人驾驶矿车传感器数据筛选***，包括：

车载摄像头：所述车载摄像头为多个，用于获取无人驾驶矿车行驶中的多个车载摄像头采集的视频数据；

数据转换与上传模块：用于将所述多个车载摄像头采集的视频数据以帧为单位转换成图像格式，打上时间戳后上传到云端服务器；

数据筛选模块：用于运行权利要求1-8任一项所述的传感器数据分类筛选方法。

Images