CN115440050B - 一种矿山无人驾驶的信息传输优化方法及*** - Google Patents

一种矿山无人驾驶的信息传输优化方法及*** Download PDF

Info

Publication number
CN115440050B
CN115440050B CN202211388008.0A CN202211388008A CN115440050B CN 115440050 B CN115440050 B CN 115440050B CN 202211388008 A CN202211388008 A CN 202211388008A CN 115440050 B CN115440050 B CN 115440050B
Authority
CN
China
Prior art keywords
video frame
similarity
image
frame image
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211388008.0A
Other languages
English (en)
Other versions
CN115440050A (zh
Inventor
胡心怡
杨扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Boonray Intelligent Technology Co Ltd
Original Assignee
Shanghai Boonray Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Boonray Intelligent Technology Co Ltd filed Critical Shanghai Boonray Intelligent Technology Co Ltd
Priority to CN202211388008.0A priority Critical patent/CN115440050B/zh
Publication of CN115440050A publication Critical patent/CN115440050A/zh
Application granted granted Critical
Publication of CN115440050B publication Critical patent/CN115440050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请针对矿山半封闭场景，具有行车路线较为固定，道路封闭性较强，突发情况较少的特点，对无人驾驶矿车车载摄像头上传信息规则进行优化，判断车载摄像头实时采集的视频帧信息与背景视频帧信息相似度，据此判断是否有突发状况发生，有突发状况发生才将车载摄像头实时采集的视频信息上传；更进一步地，通过建立突发状况数据集，并将所述初始目标视频帧信息与所述突发状况数据集进行二次比较，并根据每种突发状况对无人驾驶决策影响程度不同设置不同的相似度，从而使上传的视频帧信息更能反应出是否发生突发状况，通过本申请的优化传输方法，有效减少了视频信息的上传量，减少了网络的拥堵程度，同时也有效减少了信息传输时延。

Description

一种矿山无人驾驶的信息传输优化方法及***
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种矿山无人驾驶的信息传输优化方法及***。
背景技术
无人驾驶技术为利用包括雷达、激光、超声波、GPS、里程计、计算机视觉等多种技术来感知其周边环境，通过先进的计算机控制***，来识别障碍物和各种标识牌，规划合适的路径来控制无人驾驶汽车行驶，随着汽车智能化技术的快速发展以及广泛应用，无人驾驶汽车成为了汽车行业未来的发展趋势，由于具有创新性、实用性、复杂性和多学科交叉等特点，无人驾驶汽车也是目前非常热门的一个研究领域，国际国内多个公司均对无人驾驶技术展开研究。
如图1所示，由于无人驾驶决策的复杂性，无人驾驶汽车一般将传感器采集的数据传输到云端服务器和边缘节点进行运算从而进行决策，然而，由于云端服务器同时控制多辆无人驾驶汽车，这将导致大量无人汽车同时将大量数据上传到云端服务器和边缘节点，极有可能会带来网络堵塞的问题，当车辆在行驶的时候，摄像头等各类传感器会以毫秒级的频率采集数据，有报告指出，无人驾驶汽车每天采集的数据量高达4TB，同时，实际观察发现，无人驾驶汽车实时产生的数据甚至会接近2 GB/s，如果某一路段上所有的车辆都向云端服务器发送全部数据，网络带宽极有可能会耗尽，从而造成网络的堵塞和数据传输时延，轻则影响辅助***和车载娱乐***的用户体验，重则导致无人驾驶***不能及时执行自动驾驶的计算任务，失去对车辆的控制，带来严重的安全隐患。
在解决数据传输量大的问题时，一方面在硬件上通过更新信息传输架构和增加网络传输带宽从而防止网络堵塞以及可能造成的传输时延；但这无疑将大大增加无人驾驶***的成本；另一方面则是在软件方面进行研究，将传感器获取的数据信息进行处理，在信息源头上进行传输优化，减少传输的信息量，比如，专利文献（CN112489072A）公开了一种车载视频感知信息的传输负载优化方法，当需要将实时采集到的环境感知信息的视频图像数据传输给车辆控制模块时，每次传输前先将实时视频帧图像中的静态背景图像与动态前景图像进行分离，并在初始传输时传输分离出的静态背景图像，在之后每次传输时则仅传输分离出的动态前景图像；车辆端接收到动态前景图像后，将动态前景图像与初始接收到的静态背景图像进行融合，得到所需传输的实时视频帧图像数据；
该方法会大幅降低传输的信息量，可以大大减少信息传输的时延，但是，该方法的使用场景为城市道路，为开放式场景，而无人驾驶矿车行驶场景为矿区场景，属于半封闭场景，具有行车路线较为固定，道路封闭性较强，突发情况较少的特点，因此，上述方法并不能很好的应用于矿山的无人驾驶车的信息优化传输领域。
发明内容
本发明要解决的技术问题是针对上述技术方案的不足，根据矿山半封闭场景，具有行车路线较为固定，道路封闭性较强，突发情况较少的特点，列举出无人驾驶矿车行驶过程中可能需要突然改变预设行车参数的场景作为突发状况信息，通过识别出车载摄像头的突发状况视频信息，并仅对突发状况视频信息进行上传操作，有效减少了上传信息量，减少了上传时延。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。
为了实现上述目的，根据本发明的一个方面，一种矿山无人驾驶的信息传输优化方法，包括：
步骤1：封闭无人驾驶矿车行驶路线，去除所述行驶路线道路中障碍物，检测无人驾驶矿车中传感器状态；
步骤2：调整无人驾驶矿车为司机驾驶模式，按照推荐行驶参数行驶整条所述行车路线，并将车载摄像头获取的视频数据作为背景视频信息；
具体地，所述推荐行驶参数为司机兼顾安全性与矿石运输效率得到的行驶参数，包括行驶速度，行驶加速度；
步骤3：将所述背景视频信息转换成背景视频帧图像，并记录该帧背景视频帧图像所在的位置坐标；
步骤4：所述无人驾驶矿车以无人驾驶模式执行运输任务，并通过车载摄像头实时采集视频信息，并转换成实时视频帧图像，以及车载GPS实时记录所述无人驾驶矿车的位置坐标；
步骤5：车载服务器判断所述车载摄像头采集的所述视频帧图像与该位置坐标下的背景视频帧图像相似度；并将相似度大于第一相似度的视频帧图像作为初始目标视频帧图像，所述初始目标视频帧为经过与所述背景视频帧图像比较后初步确定需要上传的视频帧图像；
更进一步地，天气不同，光线晴暗以及摄像头采集时间有差异，所述摄像头采集的数据与所述背景视频数据在图像亮度上可能会存在差异，从而对相似度判断造成影响，可将车载摄像头获取的所述视频帧图像与所述背景视频帧图像以像素为单位进行同种模式下的归一化处理，以避免天气，采集时间对视频信息和背景视频信息的干扰；所述归一化处理公式为：
Figure 94026DEST_PATH_IMAGE001
式中，xt表示经过归一化处理后的像素灰度值，x为所述车载摄像头实时拍摄的视频图像像素灰度值，xmin为图像矩阵中像素最小值，xmax为图像矩阵中像素最大值，a为系数；
具体地，相似度计算公式为：
Figure 61851DEST_PATH_IMAGE002
式中，F为实时视频帧图像像素集合A和背景视频帧图像像素集合B相似度函数，
Figure 515966DEST_PATH_IMAGE003
为实时视频帧图像像素集合A和背景视频帧图像像素集合B的交集，
Figure 294566DEST_PATH_IMAGE004
为实时视频帧图像像素集合A与背景视频帧图像像素集合B的并集，A-B为属于实时视频帧图像像素集合A而不属于背景视频帧图像像素B的特征，B-A为属于背景视频帧图像像素B而不属于实时视频帧图像像素集合A的特征。
本实施例中，进一步对所述初始目标视频帧数据进行筛选判断，筛选掉所述初始目标视频帧数据中对无人驾驶决策不重要的视频帧信息，保留对无人驾驶决策较为重要的视频帧信息作为确定上传的目标信息，具体地，包括：
步骤6：通过所述无人驾驶矿车的车载摄像头采集矿区内所有类型车辆图像作为车辆突发状况图像子集Sv以及路面设置多块矿石障碍物的图像作为道路出现障碍物突发状况图像子集So以及所述无人驾驶矿车行驶过程中偏离道路中心线的图像作为偏离中心线突发状况图像子集Sd，并根据所述车辆突发状况图像子集Sv、所述障碍物突发状况图像子集So以及所述偏离中心线突发状况图像子集Sd建立突发状况图像集S，
其中，S=Sv+ So + Sd
步骤7：将所述初始目标视频帧图像与所述突发状况图像集S中的每帧图像分别进行比较，进而确定上传目标信息；
由于所述突发状况图像集S中图像较少，所以，需要将所述初始目标视频帧图像与所述突发状况图像集S中每一张图像比较，计算所述初始目标视频帧图像与每一帧图像的相似度；
具体地，所述步骤7包括：
步骤7.1： 计算所述初始目标视频帧图像与所述突发状况图像集S中每一帧图像的相似度；具体地，此时，将所述初始视频帧图像定义为像素集合C，将所述突发状况图像集S中的每帧图像定义为像素集合D，将所述初始目标视频帧图像与突发状况图像集S中的每一张图像比较，进而得到多个相似度；
步骤7.2： 根据所述步骤7.1获得的相似度确定上传目标信息。
所述步骤7.2具体包括：
a、若所述步骤7.1获取的相似度最高值是所述初始视频帧图像与所述车辆突发状况图像子集Sv中图像计算得到的，则证明所述初始目标帧图像为前方道路出现车辆，此时，设置第二相似度，若所述相似度最高值大于第二相似度，则上传所述初始目标视频帧图像；
b：若所述步骤7.1获取的相似度最高值是所述初始视频帧图像与所述障碍物突发状况图像子集So中图像计算得到的，则证明所述初始目标帧图像为前方道路出现矿石障碍物类突发状况，此时，设置第三相似度，若所述相似度最高值大于第三相似度，则上传所述初始目标视频帧图像；
c：若所述步骤7.1获取的相似度最高值是所述初始视频帧图像与所述偏离中心线突发状况图像子集Sd中图像计算得到的，则证明所述初始目标帧图像为无人驾驶矿车偏移道路中心线类突发状况，此时，设置第四相似度，若相似度最高值大于第四相似度，则上传所述初始目标视频帧图像；
根据每种突发状况对无人驾驶决策的影响程度不同，设置不同的相似度值，对上传的数据进行针对性的进行二次过滤；
当前方道路出现车辆时，由于此种突发状况危险性小，因此需要上传的信息较少，此时，设置所述第二相似度为一个较大的数值，使得大部分的所述初始目标视频帧数据被二次过滤掉；
当前方道路出现矿石障碍物类突发状况时，此种突发状况危险系数较高，因此，需要上传较多的信息，此时，设置所述第三相似度为一个适中的数值；
当出现无人驾驶矿车偏移道路中心线类突发状况时，此种突发状况危险系数最高，此时需要上传大量的信息用于决策，因此，设置第四相似度为一个较小的数值，从而过滤掉较少数据，使得大部分数据上传；
值得强调的是，通过设置不同的相似度值，更有助于无人驾驶控制***进行精准决策，在本实施例中，设置所述第二相似度>所述第三相似度>所述第四相似度；
对所述目标视频帧信息执行数据传输操作。
至此，信息传输优化方法完成，云端服务器根据所述上传信息以及所述背景视频信息进行图像融合和替换所述坐标下的背景视频信息，并结合其他传感器信息对所述无人驾驶矿车行驶参数进行决策。
根据本发明的另外一个方面，一种矿山无人驾驶的信息传输优化***，包括：
车载摄像头，用于采集视频数据；
车载服务器，用于运行上述的矿山无人驾驶的信息传输优化方法；
传输模块，用于实现视频帧数据的传输。
基于上述技术方案，本申请提供的一种矿山无人驾驶的信息传输优化方法和***，具有如下技术效果：
本申请针对矿山半封闭场景，具有行车路线较为固定，道路封闭性较强，突发情况较少的特点，对无人驾驶矿车车载摄像头上传信息规则进行优化，判断车载摄像头实时采集的视频帧信息与背景视频帧信息相似度，据此判断是否有突发状况发生，有突发状况发生才将车载摄像头实时采集的视频信息上传；
通过建立突发状况数据集，并将所述初始目标视频帧信息与所述突发状况数据集进行二次比较，并根据每种突发状况对无人驾驶决策影响程度不同设置不同的相似度，从而使上传的视频帧信息更能反应出是否发生突发状况，通过本申请的优化传输方法，有效减少了视频信息的上传量，减少了网络的拥堵程度，同时也有效减少了信息传输时延。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的云端服务器-边缘节点-无人驾驶车辆信息传输示意图；
图2为本申请实施例提供的一种矿山无人驾驶的信息传输优化方法流程图。
图3为本申请实施例提供的根据不同突发状况确定上传目标信息流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。
本发明要解决的技术问题是针对上述技术方案的不足，根据矿山半封闭场景，具有行车路线较为固定，道路封闭性较强，突发情况较少的特点，针对车载摄像头上传的信息进行优化，识别出无人驾驶矿车行驶过程中可能需要突然改变预设行车参数的场景作为有用信息，并仅对有用信息进行上传操作，有效减少了上传信息量，减少了上传时延。
如图2所示，一种矿山无人驾驶的信息传输优化方法，包括：
步骤1：封闭无人驾驶矿车行驶路线，去除所述行驶路线道路中障碍物，检测无人驾驶矿车中传感器状态；
矿区中无人驾驶车辆的行车路线以及行车参数较为固定，用于控制无人驾驶矿车的云端服务器发送了作业命令后，无人驾驶矿车一般会按照固定的行车路线和固定的行车参数进行行驶，因此，在无人驾驶矿车行驶过程中，通过与所述云端服务器或者边缘服务器交互用于实现控制的目的在于预防的可能出现的危险场景，比如说路面出现大量矿石、前方出现车辆，所述矿车偏离道路等；用于控制无人驾驶矿车的云端服务器发送了作业命令后，无人驾驶矿车一般会在该条路线中多次往返行驶以完成该作业的运输任务，针对该固定作业路线，首先，可对该路线进行查勘，去除路线中散落路面的矿石障碍物，并且对该路线临时封闭，不允许其他车辆驶入该路线，同时，检测无人驾驶矿车中传感器状态尤其是车载摄像头状态；
步骤2：调整无人驾驶矿车为司机驾驶模式，按照推荐行驶参数行驶整条所述行车路线，并将车载摄像头获取的视频数据作为背景视频信息；
具体地，所述推荐行驶参数为司机兼顾安全性与矿石运输效率得到的行驶参数，包括行驶速度，行驶加速度；
步骤3：将所述背景视频信息转换成背景视频帧图像，并记录该帧图像所在的位置坐标；
步骤4：所述无人驾驶矿车以无人驾驶模式执行运输任务，并通过车载摄像头实时采集视频信息，并转换成实时视频帧图像，以及车载GPS实时记录所述无人驾驶矿车的位置坐标；
步骤5：车载服务器判断所述车载摄像头采集的所述视频帧图像与该位置坐标下的背景视频帧图像相似度；并将相似度大于第一相似度的视频帧图像作为初始目标视频帧图像所述初始目标视频帧为经过与所述背景视频帧图像比较后初步确定需要上传的视频帧图像；
更进一步地，天气不同光线晴暗以及摄像头采集时间有差异，所述摄像头采集的数据与所述背景视频数据在图像亮度上可能会存在差异，从而对相似度判断造成影响，可将车载摄像头获取的所述视频信息与所述背景视频信息以像素为单位进行同种模式下的归一化处理，以避免天气，采集时间对所述视频信息和所述背景视频信息的干扰；所述归一化处理公式为：
Figure 834132DEST_PATH_IMAGE005
式中，xt表示经过归一化处理后的像素灰度值，x为所述车载摄像头实时拍摄的视频图像像素灰度值，xmin为图像矩阵中像素最小值，xmax为图像矩阵中像素最大值，a为系数；
具体地，所述相似度计算公式为：
Figure 808910DEST_PATH_IMAGE006
式中，F为实时视频帧信息像素集合A和背景视频帧信息像素集合B相似度函数，
Figure 117532DEST_PATH_IMAGE003
为实时视频帧信息像素集合A和背景视频帧信息像素集合B的交集，
Figure 67033DEST_PATH_IMAGE004
为实时视频帧信息像素集合A与背景视频帧信息像素集合B的并集，A-B为属于实时视频帧信息像素集合A而不是背景视频帧信息像素B的特征，B-A为属于背景视频帧信息像素B而不属于实时视频帧信息像素集合A的特征。
本实施例中，进一步对所述初始目标视频帧数据进行筛选判断，筛选掉所述初始目标视频帧数据中对无人驾驶决策不重要的视频帧信息，保留对无人驾驶决策较为重要的视频帧信息作为确定上传的目标信息，具体地，包括：
步骤6：通过所述无人驾驶矿车的车载摄像头采集矿区内所有类型车辆图像作为车辆突发状况图像子集Sv以及路面设置多块矿石障碍物的图像作为道路出现障碍物突发状况图像子集So以及所述无人驾驶矿车行驶过程中偏离道路中心线的图像作为偏离中心线突发状况图像子集Sd，并根据所述车辆突发状况图像子集Sv、所述障碍物突发状况图像子集So以及所述偏离中心线突发状况图像子集Sd建立突发状况图像集S，
其中，S=Sv+ So + Sd
众所周知，由于矿场半封闭的特性，无人驾驶矿场的道路中经常遇到的突发状况主要有：（1）其他车辆突然驶入目标道路中影响了无人驾驶矿车的正常行驶，（2）道路上由于之前驶过的无人驾驶矿车的颠簸，洒落较多的矿石，矿石数量较多，对无人驾驶矿车安全行驶影响较大，以及（3）无人驾驶车辆由于路面不平等情况导致了无人驾驶偏移了道路中心线，则存在驶出目标道路的风险，对无人驾驶矿车的安全影响较大；
步骤7：将所述初始目标视频帧图像与所述突发状况图像集S中的每帧图像进行比较，进而确定上传目标信息；
由于所述突发状况图像集S中图像较少，所以，需要将所述初始目标视频帧图像与所述突发状况图像集S中每一个图像比较，计算所述初始目标视频帧图像与每一个图像的相似度；
具体地，所述步骤7包括：
步骤7.1： 计算所述初始目标视频帧图像与所述突发状况图像集S中每一帧图像的相似度；具体地，此时，将所述初始视频帧图像定义为像素集合C，将所述突发状况图像集S中的每帧图像定义为像素集合D，将所述初始目标视频帧图像与突发状况图像集S中的每一张图像比较，进而得到多个相似度；
步骤7.2： 根据所述步骤7.1获得的相似度确定上传目标信息。
如图3所述，所述步骤7.2具体包括：
a、若所述步骤7.1获取的相似度最高值是所述初始视频帧图像与所述车辆突发状况图像子集Sv中图像计算得到的，则证明所述初始目标帧图像为前方道路出现车辆，此时，设置第二相似度，若所述相似度最高值大于第二相似度，则上传所述初始目标视频帧图像；
b：若所述步骤7.1获取的相似度最高值是所述初始视频帧图像与所述障碍物突发状况图像子集So中图像计算得到的，则证明所述初始目标帧图像为前方道路出现矿石障碍物类突发状况，此时，设置第三相似度，若所述相似度最高值大于第三相似度，则上传所述初始目标视频帧图像；
c：若所述步骤7.1获取的相似度最高值是所述初始视频帧图像与所述偏离中心线突发状况图像子集Sd中图像计算得到的，则证明所述初始目标帧图像为无人驾驶矿车偏移道路中心线类突发状况，此时，设置第四相似度，若相似度最高值大于第四相似度，则上传所述初始目标视频帧图像；
示例性地，所述突发状况图像集S中设置有9张图像，分别为Sv-1，Sv-2，Sv-3；So-1，So-2，So-3；Sd-1，Sd-2，Sd-3，将所述初始视频帧图像与上述的突发状态图像集中的9张图像分别计算相似度，在计算时，为了产生区分度，相似度数值取小数点后两位，则会得到9个相似度数值，分别为81.57 , 81.52 , 82.17 ,73.14 , 74.16 , 79.58 ,91.16 , 92.01 ,91.52；则所述初始视频帧图像与Sd-2图像相似度最高，此时可认为，所述初始视频帧图像大概率为无人驾驶矿车偏移道路中心线类突发状况，即所述无人驾驶矿车此时可能正在偏离道路中心线驾驶，有失控风险；
根据每种突发状况对无人驾驶决策的影响程度不同，设置不同的相似度值，对上传的数据进行针对性的进行二次过滤；
当前方道路出现车辆时，由于此种突发状况危险性小，因此需要上传的信息较少，此时，设置所述第二相似度为一个较大的数值，使得大部分的所述初始目标视频帧数据被二次过滤掉；
当前方道路出现矿石障碍物类突发状况时，此种突发状况危险系数较高，因此，需要上传较多的信息，此时，设置所述第三相似度为一个适中的数值；
当出现无人驾驶矿车偏移道路中心线类突发状况时，此种突发状况危险系数最高，此时需要上传大量的信息用于决策，因此，设置第四相似度为一个较小的数值，从而过滤掉较少数据，使得大部分数据上传；
值得强调的是，通过设置不同的相似度值，更有助于无人驾驶控制***进行精准决策，在本实施例中，设置所述第二相似度>所述第三相似度>所述第四相似度；
对所述目标视频帧信息执行数据传输操作。
至此，信息传输优化方法完成，云端服务器根据所述上传信息以及所述背景视频信息进行图像融合和替换所述坐标下的背景视频信息，并结合其他传感器信息对所述无人驾驶矿车行驶参数进行决策。
根据本发明的另外一个方面，一种矿山无人驾驶的信息传输优化***，包括：
车载摄像头，用于采集视频数据；
车载服务器，用于运行上述的矿山无人驾驶的信息传输优化方法；
传输模块，用于实现视频帧数据的传输。
本申请针对矿山半封闭场景，具有行车路线较为固定，道路封闭性较强，突发情况较少的特点，对无人驾驶矿车车载摄像头上传信息规则进行优化，判断车载摄像头实时采集的视频帧信息与背景视频帧信息相似度，据此判断是否有突发状况发生，有突发状况发生才将车载摄像头实时采集的视频信息上传，更进一步地，通过建立突发状况数据集，并将所述初始目标视频帧信息与所述突发状况数据集进行二次比较，并根据每种突发状况对无人驾驶决策影响程度不同设置不同的相似度，从而使上传的视频帧信息更能反应出是否发生突发状况，通过本申请的优化传输方法，有效减少了视频信息的上传量，减少了网络的拥堵程度，同时也有效减少了信息传输时延。
以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。

Claims (8)

1.一种矿山无人驾驶的信息传输优化方法，其特征在于：包括以下步骤：
步骤1：封闭无人驾驶矿车行驶路线，去除所述行驶路线道路中矿石障碍物，检测无人驾驶矿车中传感器状态；
步骤2：调整所述无人驾驶矿车为司机驾驶模式，按照推荐行驶参数行驶整条所述行驶路线，并将车载摄像头获取的视频数据作为背景视频信息；
步骤3：将所述背景视频信息转换成背景视频帧图像，并记录每帧所述背景视频帧图像所在的位置坐标；
步骤4：所述无人驾驶矿车以无人驾驶模式执行运输任务，并通过所述车载摄像头实时采集视频信息，并转换成实时视频帧图像，通过车载GPS实时记录所述无人驾驶矿车的位置坐标；
步骤5：车载服务器判断所述车载摄像头采集的所述实时视频帧图像与该位置坐标下的背景视频帧图像相似度；并将相似度小于第一相似度的视频帧图像作为初始目标视频帧图像；
步骤6：建立突发状况图像集S；
步骤7：将所述初始目标视频帧图像与所述突发状况图像集S中的每帧图像分别进行比较，进而确定上传目标信息；
所述步骤7具体包括：步骤7.1：计算所述初始目标视频帧图像与所述突发状况图像集S中每一帧图像的相似度，所述突发状况图像集S包括车辆突发状况图像子集Sv、障碍物突发状况图像子集So以及偏离中心线突发状况图像子集Sd；
步骤7.2：根据所述步骤7.1获得的相似度确定上传目标信息；
所述步骤7.2具体包括：
a、若所述步骤7.1获取的相似度最高值是所述初始目标视频帧图像与所述车辆突发状况图像子集Sv中图像计算得到的，设置第二相似度，若所述相似度最高值大于第二相似度，则上传所述初始目标视频帧图像；
b：若所述步骤7.1获取的相似度最高值是所述初始目标视频帧图像与所述障碍物突发状况图像子集So中图像计算得到的，设置第三相似度，若所述相似度最高值大于第三相似度，则上传所述初始目标视频帧图像；
c：若所述步骤7.1获取的相似度最高值是所述初始目标视频帧图像与所述偏离中心线突发状况图像子集Sd中图像计算得到的，设置第四相似度，若所述相似度最高值大于第四相似度，则上传所述初始目标视频帧图像。
2.根据权利要求1所述的矿山无人驾驶的信息传输优化方法，其特征在于：所述步骤1具体为：用于控制无人驾驶矿车的云端服务器发送作业命令后，所述无人驾驶矿车对该路线进行查勘，去除路线中散落路面的矿石障碍物，并且对该路线临时封闭，不允许其他车辆驶入该路线，同时，检测无人驾驶矿车中车载摄像头状态。
3.根据权利要求1所述的矿山无人驾驶的信息传输优化方法，其特征在于：所述步骤2中，所述推荐行驶参数为司机兼顾安全性与矿石运输效率得到的行驶参数，包括行驶速度，行驶加速度。
4.根据权利要求1所述的矿山无人驾驶的信息传输优化方法，其特征在于：所述步骤5中，将车载摄像头获取的所述实时视频帧图像与所述背景视频帧图像以像素为单位进行同种模式下的归一化处理。
5.根据权利要求4所述的矿山无人驾驶的信息传输优化方法，其特征在于：所述归一化处理公式为：
Figure FDA0004005159620000021
式中，xt表示经过归一化处理后的像素灰度值，x为所述车载摄像头实时拍摄的视频图像像素灰度值，xmin为图像矩阵中像素最小值，xmax为图像矩阵中像素最大值，a为系数。
6.根据权利要求1所述的矿山无人驾驶的信息传输优化方法，其特征在于：所述步骤5中，相似度计算公式为：
Figure FDA0004005159620000022
式中，F为实时视频帧图像像素集合A和背景视频帧图像像素集合B相似度函数，A∩B为实时视频帧图像像素集合A和背景视频帧图像像素集合B的交集，A∪B为实时视频帧图像像素集合A与背景视频帧图像像素集合B的并集，A-B为属于实时视频帧图像像素集合A而不是背景视频帧图像像素B的特征，B-A为属于背景视频帧图像像素B而不属于实时视频帧信息图像集合A的特征。
7.根据权利要求1所述的矿山无人驾驶的信息传输优化方法，其特征在于：设置所述第二相似度>所述第三相似度>所述第四相似度。
8.一种矿山无人驾驶的信息传输优化***，包括：
车载摄像头，用于采集视频数据；
车载服务器，用于运行权利要求1-7任一项所述的矿山无人驾驶的信息传输优化方法；
传输模块，用于实现视频帧数据的传输。
CN202211388008.0A 2022-11-08 2022-11-08 一种矿山无人驾驶的信息传输优化方法及*** Active CN115440050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211388008.0A CN115440050B (zh) 2022-11-08 2022-11-08 一种矿山无人驾驶的信息传输优化方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211388008.0A CN115440050B (zh) 2022-11-08 2022-11-08 一种矿山无人驾驶的信息传输优化方法及***

Publications (2)

Publication Number Publication Date
CN115440050A CN115440050A (zh) 2022-12-06
CN115440050B true CN115440050B (zh) 2023-02-03

Family

ID=84252582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211388008.0A Active CN115440050B (zh) 2022-11-08 2022-11-08 一种矿山无人驾驶的信息传输优化方法及***

Country Status (1)

Country Link
CN (1) CN115440050B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480769B1 (en) * 1999-10-05 2002-11-12 Komatsu Ltd. Vehicle travel control system
JP2004046875A (ja) * 2002-07-03 2004-02-12 Iwane Kenkyusho:Kk 交通機関自動案内装置
JP2004362549A (ja) * 2003-05-09 2004-12-24 Matsushita Electric Ind Co Ltd 車載用映像再生システムおよびカーナビゲーション装置
KR20050096995A (ko) * 2004-03-30 2005-10-07 이규백 인터넷을 이용한 불법 주정차 단속 시스템 및 방법
WO2015163028A1 (ja) * 2014-04-25 2015-10-29 日立建機株式会社 鉱山用作業車両用の路面推定装置および路面推定システム
CN107330802A (zh) * 2017-06-20 2017-11-07 山东东山王楼煤矿有限公司 一种智能化矿山运销***
CN109855619A (zh) * 2017-11-30 2019-06-07 基本立子(北京)科技发展有限公司 一种优化车辆行驶轨迹上传信息的方法
CN109949231A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种用于城市管理信息采集和处理的方法及装置
CN111866809A (zh) * 2020-07-29 2020-10-30 江苏徐工工程机械研究院有限公司 一种无人矿卡远程遥控驾驶***及方法
CN112489072A (zh) * 2020-11-11 2021-03-12 广西大学 一种车载视频感知信息传输负载优化方法及装置
CN113919677A (zh) * 2021-09-29 2022-01-11 江苏徐工工程机械研究院有限公司 一种基于云平台的无人矿山作业管理***
CN114915646A (zh) * 2022-06-16 2022-08-16 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816986B2 (en) * 2016-08-02 2020-10-27 Ge Global Sourcing Llc Systems for vehicle collision avoidance

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480769B1 (en) * 1999-10-05 2002-11-12 Komatsu Ltd. Vehicle travel control system
JP2004046875A (ja) * 2002-07-03 2004-02-12 Iwane Kenkyusho:Kk 交通機関自動案内装置
JP2004362549A (ja) * 2003-05-09 2004-12-24 Matsushita Electric Ind Co Ltd 車載用映像再生システムおよびカーナビゲーション装置
KR20050096995A (ko) * 2004-03-30 2005-10-07 이규백 인터넷을 이용한 불법 주정차 단속 시스템 및 방법
WO2015163028A1 (ja) * 2014-04-25 2015-10-29 日立建機株式会社 鉱山用作業車両用の路面推定装置および路面推定システム
CN107330802A (zh) * 2017-06-20 2017-11-07 山东东山王楼煤矿有限公司 一种智能化矿山运销***
CN109855619A (zh) * 2017-11-30 2019-06-07 基本立子(北京)科技发展有限公司 一种优化车辆行驶轨迹上传信息的方法
CN109949231A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种用于城市管理信息采集和处理的方法及装置
CN111866809A (zh) * 2020-07-29 2020-10-30 江苏徐工工程机械研究院有限公司 一种无人矿卡远程遥控驾驶***及方法
CN112489072A (zh) * 2020-11-11 2021-03-12 广西大学 一种车载视频感知信息传输负载优化方法及装置
CN113919677A (zh) * 2021-09-29 2022-01-11 江苏徐工工程机械研究院有限公司 一种基于云平台的无人矿山作业管理***
CN114915646A (zh) * 2022-06-16 2022-08-16 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西湾露天煤矿110 t大型矿山卡车无人驾驶***关键技术;白怡明;《露天采矿技术》;20200215(第01期);全文 *

Also Published As

Publication number Publication date
CN115440050A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
KR101963422B1 (ko) 자율 주행 가능 차량용 충돌-회피 시스템
US11714420B2 (en) System and method for detecting occluded objects based on image processing
US10663575B2 (en) Off-road dump truck and obstacle discrimination device
AU2021313775A1 (en) Drivable surface identification techniques
US20200250984A1 (en) Pothole detection system
KR102131893B1 (ko) 화물차 덮개 불량 자동 인지 장치 및 방법
CN112466141A (zh) 一种面向车路协同的智能网联路端设备交互方法、***及存储介质
AU2023202153B2 (en) Apparatus for analyzing a payload being transported in a load carrying container of a vehicle
CN114915646B (zh) 一种无人驾驶矿车的数据分级上传方法和装置
US9939523B2 (en) Vehicle type radar system, and method for removing an uninterested target
CN115465293A (zh) 一种多传感器安全自认知及安全处理装置及方法
CN115440050B (zh) 一种矿山无人驾驶的信息传输优化方法及***
CN116279527A (zh) 一种车辆行驶控制方法，控制***及车辆
WO2022267266A1 (zh) 一种基于视觉识别的列车控制方法及设备
CN116152753A (zh) 车辆信息识别方法和***、存储介质和电子装置
CN111033169A (zh) 用于估计车辆尺寸的方法和控制装置
CN115131957A (zh) 路况预警方法及装置
CN113232678A (zh) 车辆的控制方法及装置、自动驾驶车辆
CN114954570B (zh) 轨道障碍物处理方法、装置、电子设备及存储介质
CN117622228B (zh) 一种车内无人自动驾驶营运汽车远程操控方法及装置
CN114550105B (zh) 基于车联网的货物运输方法及***
KR102281891B1 (ko) 도로 결빙 현상 알림을 제공하는 차량 제어 시스템 및 그것의 제어방법
US20220063559A1 (en) Work vehicle, door state determination system, and method of determining state of work vehicle door
EP3937066A1 (en) Peer vehicle center line determination system and method
US20230001917A1 (en) Method for detecting an obstacle on a route

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Optimization Method and System for Information Transmission of Mine Unmanned Driving

Effective date of registration: 20230802

Granted publication date: 20230203

Pledgee: Industrial Bank Co.,Ltd. Shanghai Huangpu Sub branch

Pledgor: SHANGHAI BOONRAY INTELLIGENT TECHNOLOGY Co.,Ltd.

Registration number: Y2023310000429