CN113071518A - 一种自动无人驾驶方法、小巴、电子设备以及存储介质 - Google Patents

Abstract

本发明提出了一种自动无人驾驶方法，涉及无人驾驶技术领域，通过获取园区范围的定位信息、图像信息，根据图像信息进行图像模型的搭建，实现园区地图的绘制；在园区地图中标记执行范围，且在执行范围中标记任务执行点；获取车辆的定位信息；获取车辆行驶信息，包括车辆的行驶速度以及识别车辆周围的反馈信息；根据车辆的定位信息和行驶信息进行正常行驶以及进行事故规避，利用反馈信息，通过预设事故规避方法实现处理，具有径规划与识别较为简单和智能，安全性能较好的特点；还提出了一种自动无人驾驶小巴、电子设备以及存储介质，应用有自动无人驾驶方法，具有解放人力，高效运行，安全稳定的特点。

Description

一种自动无人驾驶方法、小巴、电子设备以及存储介质

技术领域

本发明涉及无人驾驶技术领域，具体而言，涉及一种自动无人驾驶方法、小巴、电子设备以及存储介质。

背景技术

无人驾驶车辆是一种新型的智能汽车，也称之为“轮式移动机器人”，主要通过ECU(Electronic Control Unit)，电子控制单元，即车载终端设备对车辆中各个部分进行精准的控制与计算分析实现车辆的全自动运行，达到车辆无人驾驶的目的。

随着新一轮技术浪潮的推，园区摆渡车行业正悄悄的迎来一场前所未有的深刻变革。尤其公共交通正处于关键的十字路口，大数据、人工智能、5G等前沿技术正在颠覆传统公交的运营管理及未来出行方式。在以绿色化、智能化、网联化、共享化为特征的跨界融合浪潮中，引发了对扮演城市公共交通改革者角色的无人驾驶公交车的重新认识和关注。

而在园区和旅游景点等，具有一定封闭式的范围，无人驾驶技术能够得到更好运用，利用无人驾驶小巴，则可以完成游客或者工作人员的输送，以及可以实现一定的货物搬运；但在现有技术中，还存在着价格高昂，商用推广还难以落实，路径规划比较繁琐的不足。

发明内容

本发明的目的在于提供一种自动无人驾驶方法，其能够针对于现有技术中的不足，提出解决方案，具有路径规划与识别较为简单和智能，安全性能较好的特点。

本发明的另一目的在于提供一种自动无人驾驶小巴、电子设备以及存储介质，其能够针对于现有技术中的不足，提出解决方案，具有解放人力，高效运行，安全稳定的特点。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种自动无人驾驶方法，包括：

获取园区范围的定位信息；

获取园区范围的图像信息；

根据园区范围的图像信息进行图像模型的搭建，实现园区地图的绘制；

在园区地图中标记执行范围，且在执行范围中标记任务执行点；

获取车辆的定位信息；

获取车辆行驶信息，行驶信息包括车辆的行驶速度以及识别车辆周围的反馈信息；

根据车辆的定位信息和行驶信息进行正常行驶以及进行事故规避；正常行驶是基于任务执行点顺序行驶；利用反馈信息，通过预设事故规避方法实现处理。

在本申请的一些实施例中，获取园区范围的图像信息，进一步包括：

设定好采集图像路线，以及重复采集次数；

人工控制车辆在园区范围内沿着采集图像路线进行行驶，采集周围环境的图像信息；

车辆在去园区内循环行驶采集图像路线，重复采集图像信息。

在本申请的一些实施例中，根据园区范围的图像信息进行图像模型的搭建，实现园区地图的绘制，进一步包括：

通过获取的图像信息提取图像特征点，将图像特征点形成图像模型；

将图像模型进行训练和测试，从而形成深度学习模型；

将深度学习模型图形化处理，最终形成园区地图；

在本申请的一些实施例中，在园区地图中标记执行范围，且在执行范围中标记任务执行点，进一步包括：

获取当前待检测图像信息；

将待检测图像信息输入至预先训练好的深度学习模型中；

根据深度学习模型从当前待检测图像信息中识别出图像特征点；其中，图像特征点与任务执行点相匹配；

采用追踪算法对追图像特征点在当前待检测图像的下一帧图像中的位置进行追踪。

在本申请的一些实施例中，上述反馈信息包括前方的障碍物信息，侧方的障碍物信息和后方的障碍物信息；障碍物信息包括距离信息、相对速度信息；距离信息设置有安全阈值和持续时间阈值。

在本申请的一些实施例中，上述行驶信息包括：

参照对象识别信息，参照对象为车道线，用于对车道线的识别并使得车辆保持直线行驶；

偏移信息，用于对行驶路线的修正，行驶路线和车道线的偏移保持量设置有左偏阈值和右偏阈值，当识别到偏移信息超过左偏阈值或者右偏阈值时，实施对行驶路线的修正；

在本申请的一些实施例中，上述预设事故规避方法包括：

当识别到前方的障碍物信息时，距离信息小于安全阈值，相对速度表现为相互接近时，车辆会进行制动，进入到持续时间阈值；若到达持续时间阈值时，仍然能够检测到前方的障碍物信息，则会选择另外的最优路线进行行驶；若是还未到达持续时间阈值时，已经检测不到前方的障碍物信息，车辆会自动启动，沿着原始路线继续行驶；

当识别到侧方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆对相对侧方进行识别，若无障碍物则会进行变道处理，若有障碍物则会进入到制动；

当识别到后方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆会进行提速处理。

第二方面，本申请实施例提供一种自动无人驾驶小巴，包括应用有上述的自动无人驾驶方法的小巴本体，小巴本体上还设置有：

车载控制***，用于小巴本体的路线选择控制，行驶速度控制以及决策指令的执行；

多传感器融合感知***，包括16线程激光雷达、RTK的GNSS、双目视觉相机、惯性测量单元；用于小巴本体全方位、多层次、高精度地感知周围环境信息，进行准确的定位，最大限度地减少观测误差；

深度学习***，包括训练模块和测试模块，训练模块和测试模块分别还包括训练样本集和测试样本集；用于形成园区地图的图像模型深度学习以及决策指令的深度学习；

通信***，包括无线接收器以及无线发射器，用于实现小巴本体内部通信以及外部通信连接。

第三方面，本申请实施例提供一种电子设备，包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行的上述第一方面的自动无人驾驶方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面的自动无人驾驶方法。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

效果一，智能化较高；本发明通过实现对行驶路径的处理，区别于传统技术中必须在行驶路径上设置行车辅助，本发明通过多传感器融合感知***，包括16线程激光雷达、RTK的GNSS、双目视觉相机、惯性测量单元；用于小巴本体全方位、多层次、高精度地感知周围环境信息，进行准确的定位，最大限度地减少观测误差，实现路径识别与追踪，获取园区范围的图像信息；根据园区范围的图像信息进行图像模型的搭建，实现园区地图的绘制，在园区地图中标记执行范围，且在执行范围中标记任务执行点。获取当前待检测图像信息；将待检测图像信息输入至预先训练好的深度学习模型中；根据深度学习模型从当前待检测图像信息中识别出图像特征点；其中，图像特征点与任务执行点相匹配；采用追踪算法对追图像特征点在当前待检测图像的下一帧图像中的位置进行追踪，从而实现路径追踪，再配合参照对象识别信息，参照对象为车道线，用于对车道线的识别并使得车辆保持直线行驶；偏移信息，用于对行驶路线的修正，行驶路线和车道线的偏移保持量设置有左偏阈值和右偏阈值，当识别到偏移信息超过左偏阈值或者右偏阈值时，实施对行驶路线的修正；最终实现路径自我追踪与自我调整，具有无人驾驶的智能化特点。

效果二，安全性能佳；本发明通过获取车辆的定位信息；获取车辆行驶信息，行驶信息包括车辆的行驶速度以及识别车辆周围的反馈信息；根据车辆的定位信息和行驶信息进行正常行驶以及进行事故规避；正常行驶是基于任务执行点顺序行驶；利用反馈信息，通过预设事故规避方法实现处理；进一步地，上述预设事故规避方法包括：当识别到前方的障碍物信息时，距离信息小于安全阈值，相对速度表现为相互接近时，车辆会进行制动，进入到持续时间阈值；若到达持续时间阈值时，仍然能够检测到前方的障碍物信息，则会选择另外的最优路线进行行驶；若是还未到达持续时间阈值时，已经检测不到前方的障碍物信息，车辆会自动启动，沿着原始路线继续行驶；当识别到侧方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆对相对侧方进行识别，若无障碍物则会进行变道处理，若有障碍物则会进入到制动；当识别到后方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆会进行提速处理；并且配合上无人驾驶小巴的车载控制***，用于小巴本体的路线选择控制，行驶速度控制以及决策指令的执行；多传感器融合感知***，包括16线程激光雷达、RTK的GNSS、双目视觉相机、惯性测量单元；用于小巴本体全方位、多层次、高精度地感知周围环境信息，进行准确的定位，最大限度地减少观测误差；深度学习***，包括训练模块和测试模块，训练模块和测试模块分别还包括训练样本集和测试样本集；用于形成园区地图的图像模型深度学习以及决策指令的深度学习；通信***，包括无线接收器以及无线发射器，用于实现小巴本体内部通信以及外部通信连接。利用对无人驾驶车辆(小巴)的前、后、侧方的障碍物进行识别和判断，从而实现更加安全的驾驶，提高本申请的安全性能。

效果三，适用性较好；本发明既可以实现园区，如医院，学校，工厂以及工业园区的人员运输和货物运输；也还可以实现在景区实现工作人员和游客的输送任务，具有运输高效，安全，且24小时服务的优点；并且不用设置行车辅助组件(如路径选择)，以及昂贵的GPS高精度以及惯导组合，降低了成本，具备了推广使用前景，克服了实现商用前景的成本难题；因此，本申请具有适用性较好的特点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例的自动无人驾驶方法过程示意图；

图2为本发明实施例的获取图像信息过程示意图；

图3为本发明实施例的园区地图的绘制过程示意图；

图4为本发明实施例的园区地图的任务执行点确定过程示意图；

图5为本发明实施例小巴示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，术语方位词等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例

参照图1-图5所示，提出了本申请的一种实施例。

第一方面，如图1-图4所示，本申请实施例提供一种自动无人驾驶方法，包括：

S1，获取园区范围的定位信息；在本实施例中通过GPS或者北斗进行整个园区的定位，以及本申请覆盖范围的划分，从而为后续的无人驾驶车辆的适用范围；该使用范围可以是景区，医院，学校，工厂以及工业园区等具备一定的封闭区域内，影响因素因子相对于开放式环境较少，更加容易进行实现无人驾驶。

S2，获取园区范围的图像信息；园区范围的图像信息是通过多传感器融合感知***来进行图像采集，在本实施例中，在S2步骤中，进一步包括：

S21，设定好采集图像路线，以及重复采集次数；根据实际情况来进行采集图像的路线选择，主要是覆盖无人驾驶车辆(小巴)的行驶路线周围的情况，特别是站点周围情况，以及道路周围情况。重复采集次数主要是同样根据实际情况，进行多次采集，从而提高后续构图的精度。

S22，人工控制车辆在园区范围内沿着采集图像路线进行行驶，采集周围环境的图像信息；由于是图像信息采集，还没有形成导航地图所以这里是利用人工控制车辆进行行驶，这里的人工控制，可以是测试和采集人员实际操控车辆，也可以是通过远程控制操控车辆行驶，然后利用多传感器融合感知***进行采集图像信息。

S23，车辆在去园区内循环行驶采集图像路线，重复采集图像信息。

S3，根据园区范围的图像信息进行图像模型的搭建，实现园区地图的绘制；在本实施例中，需要构建无人驾驶的导航地图，通过导航的园区地图，无人驾驶车辆(小巴)才能实现路线行驶。

在S3步骤中，进一步地包括下列S31-S33；

S31，通过获取的图像信息提取图像特征点，将图像特征点形成图像模型；提取出图像特征点，建立三维云点图，形成图像模型。

S32，将图像模型进行训练和测试，从而形成深度学习模型；在这个过程中，需要利用到训练样本集和测试样本集，通过训练样本集对深度学习模型进行训练；通过测试样本集对深度学习模型进行测试，根据测试结果对深度学习模型进行修正，配合训练样本集的训练，得到训练和测试完成的深度学习模型。

S33，将深度学习模型图形化处理，最终形成园区地图；该步骤主要是为了形成可视化的园区地图，一方面是便于无人驾驶车辆(小巴)进行导航，另一方面也可以配合控制室的工作人员，实时知晓车辆(小巴)运行轨迹和行驶状态。

S4，在园区地图中标记执行范围，且在执行范围中标记任务执行点；在本实施例中，标记执行范围是行驶路线的范围和站台范围，在实际情况中，一般情况下，标记执行范围是小于园区范围(园区范围内有部分区域是无需无人驾驶车辆行驶的)，任务执行点一般是站台点，即为停靠点，该停靠点为作业点，包括运输人员的上下点，或者货物的上货点或者卸货点。

在本实施例的S4步骤中，具体包括以下S41-S44；

S41，获取当前待检测图像信息；同样是通过多传感器融合感知***进行在行驶过程中实施采集待检测图像，形成待检测图像信息。

S42，将待检测图像信息输入至预先训练好的深度学习模型中；此时深度学习模型已经测试和训练完毕，将整个环境以深度学习模型的形式进行存在，此时将待检测的图像信息输入至深度学习模型中，进行图像的对比和分析。

S43，根据深度学习模型从当前待检测图像信息中识别出图像特征点；其中，图像特征点与任务执行点相匹配；在本算法中，采用的是匹配度的方式判断识别出的初始目标物是否为任务执行点，以提高目标识别的准确性，避免误判，从而提高判断的准确率。

而匹配度设置有阈值来进行表示，详细地，在根据深度学习模型从当前待检测图像信息中识别出追踪目标物(此时还不能确定追踪目标物是否为任务执行点)时，可以先根据深度学习模型从当前待检测图像信息中识别出初始目标物，然后获取初始目标物与任务执行点之间的匹配度，若匹配度大于预设阈值，则将初始目标物作为追踪目标物(此时已经确定追踪目标物为任务执行点)。若匹配度的值过小，则说明根据深度学习模型从当前待检测图像信息中识别出来的初始目标物与任务执行点之间的差距过大，不予采信，重新去识别新的目标，直到找到的追踪目标物与任务执行点的匹配度达到了预设的阈值，从而判定该追踪目标物即为S4中的任务执行点。而具体的阈值则是根据实际情况经过技术人员多次试验得出，每种情况都有些许的不同。

S44，采用追踪算法对图像特征点在当前待检测图像的下一帧图像中的位置进行追踪。追踪算法可以是相关滤波法、均值漂移算法、运动目标建模法等。例如，可以采用相关滤波法中的KCF算法。而KCF算法则是比较成熟的滤波算法，这里不对其进行具体的限制和解释说明。

采用追踪算法对追踪目标物在当前待检测图像的下一帧图像中的位置进行追踪的步骤之后，还可以获取园区的地图信息以及机器人(车辆)的预设追踪参数。然后根据地图信息、追踪目标物在当前待检测图像的下一帧图像中的位置以及预设追踪参数生成追踪指令，以控制机器人根据追踪指令对追踪目标物进行追踪。采用追踪算法在当前待检测图像的下一帧图像中对追踪目标物进行追踪后，还可以获取场景的地图信息以及预设追踪参数，以生成用于控制机器人进行行走追踪的追踪命令。当到达追踪目标物处(此时即为任务执行点)，需要停靠一定时间，给予乘坐人员的上下时间，或者货物的上货，卸货时间；当然，这里的停靠时间同样是根据实际情况而定。完毕后，在执行到下一个任务执行点(停靠站)，进行追踪和验证。

本申请的KCF算法，是以基于ROS下应用深度相机或者车载摄像头的KCF追踪算法实现机器人(车辆)的追踪动作。启动ROS环境后，打开深度相机的节点，并发出可播放深度图像和rgb图像的topic，查看ROS的topic列表中是否有车载摄像头或者深度相机采集的图像和rgb图像的topic，然后进行编译，编译完成后启动追踪程序。追踪程序启动后，用户可以在图像窗口内通过输入设备框选所要跟踪的目标，并对速度进行规划。

S5，获取车辆的定位信息；通过RTK(载波相位差分技术)的GNSS模块(GPS或者北斗)以及惯性测量单元(IMU)，对小巴车辆进行实时定位。

S6，获取车辆行驶信息，行驶信息包括车辆的行驶速度以及识别车辆周围的反馈信息；行驶信息同样是通过多传感器融合感知***进行采集和获取。

在本实施例中，反馈信息包括前方的障碍物信息，侧方的障碍物信息和后方的障碍物信息；障碍物信息包括距离信息、相对速度信息；距离信息设置有安全阈值和持续时间阈值。

参照对象识别信息，参照对象为车道线，用于对车道线的识别并使得车辆保持直线行驶；这里的识别精度算法SLAM cartographer配合车辆实现车道线精度识别，精度可达毫米级(±1mm)。

偏移信息，用于对行驶路线的修正，行驶路线和车道线的偏移保持量设置有左偏阈值和右偏阈值，当识别到偏移信息超过左偏阈值或者右偏阈值时，实施对行驶路线的修正。

S7，根据车辆的定位信息和行驶信息进行正常行驶以及进行事故规避；正常行驶是基于任务执行点顺序行驶；利用反馈信息，通过预设事故规避方法实现处理。

上述预设事故规避方法包括：

当识别到前方的障碍物信息时，距离信息小于安全阈值，相对速度表现为相互接近时，车辆会进行制动，进入到持续时间阈值；若到达等持续时间阈值时，仍然能够检测到前方的障碍物信息，则会选择另外的最优路线进行行驶；若是还未到达持续时间阈值时，就已经检测不到前方的障碍物信息，车辆会自动启动，沿着原始路线继续行驶；这里的前方的距离信息是的安全阈值是五米，而持续时间阈值是30秒。若相对速度未显示为相互接近，此时采取车道跟随策略。

当识别到侧方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆对相对侧方进行识别，若无障碍物则会进行变道处理，若有障碍物则会进入到制动；

当识别到后方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆会进行提速处理，直到距离信息大于安全阈值，进行匀速行驶。若前提本身的速度已经较快，为了安全考虑，此时会进行变道处理。

第二方面，本申请实施例提供一种自动无人驾驶小巴，包括应用有上述的自动无人驾驶方法的小巴本体，小巴本体上还设置有：

车载控制***，用于小巴本体的路线选择控制，行驶速度控制以及决策指令的执行；决策指令包括强化学习决策与路径规划两个模块。

路径规划模块分为近程与远程，也即全局路径规划与局部路径规划。多传感器融合感知***为无人车提供了场景信息，全局的路劲规划根据场景信息提供一条最优路径，局部规划模块根据实时的路况信息进行避障与变道加减速等，如S7中预设避障方法；

强化学习决策使用深度强化学习算法，利用深度学习***，抛弃传统的Q-learning等强化学习方法，利用深度卷积网络逼近动作值函数，使用经验回放(experiencerelay)离线地训练无人车决策模型，设置独立的目标函数策略值梯度来单独处理TD算法中的target。

多传感器融合感知***，包括16线程激光雷达、RTK的GNSS、双目视觉相机、惯性测量单元；用于小巴本体全方位、多层次、高精度地感知周围环境信息，进行准确的定位，最大限度地减少观测误差；多传感器融合感知***分为多传感器的融合定位、场景感知与检测两部分内容。

上述惯性测量单元包括多个陀螺仪和加速度计(本实施例设置为六个)，加速度计和陀螺仪安装在互相垂直的测量轴上，而惯性测量单元的工作原理是：至少包括使用一个或多个加速度感应器(加速度计)，探测当前的加速度速率；使用一个或多个偏航陀螺仪，检测在方向、翻滚角度和倾斜姿态上的变化。加速度计检测物体在载体坐标***独立三轴的加速度信号,而陀螺仪检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。而在实际中，还可以增设GPS***，气压计以及磁力计，其中GPS***用于修正位置的长期漂移，气压计用于修正高度，磁力计用于修正姿态；本申请通过控制器、惯性测量单元配合多传感器融合感知***可以实现小巴本体的行进路线的实时控制，无需另外在场地中设置路径辅助规划模块，还需要利用传统的感应器对路径辅助规划模块的相互感应，实现传统的机器人(小巴)路径行走，从而节省一定程度上的使用成本，和前期的准备成本，提高机器人(小巴)的搬运效率和运送效率。

在一些情况下，多传感器融合感知***还包括车载摄像头和超声波雷达，车载摄像头配合双目相机实现更好的图像采集，超声波雷达主要是为了可以及时感知小巴周围的障碍物情况与距离信息，配合S6步骤和S7步骤实现其功能。

多传感器数据融合概念

数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使***获得比它的各组成部分更充分的信息。

多传感器数据融合原理

多传感器数据融合技术的基本原理就像人脑综合处理信息一样，充分利用多个传感器资源，通过对多传感器及其观测信息的合理支配和使用，把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述。具体地说，多传感器数据融合原理如下：

(1)N个不同类型的传感器(有源或无源的)收集观测目标的数据；

(2)对传感器的输出数据(离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换，提取代表观测数据的特征矢量Yi；

(3)对特征矢量Yi进行模式识别处理(如，聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等)完成各传感器关于目标的说明；

(4)将各传感器关于目标的说明数据按同一目标进行分组，即关联；

(5)利用融合算法将每一目标各传感器数据进行合成，得到该目标的一致性解释与描述。

多传感器数据融合方法

利用多个传感器所获取的关于对象和环境全面、完整的信息，主要体现在融合算法上。因此，多传感器***的核心问题是选择合适的融合算法。对于多传感器***来说，信息具有多样性和复杂性，因此，对信息融合方法的基本要求是具有鲁棒性和并行处理能力。此外，还有方法的运算速度和精度；与前续预处理***和后续信息，多传感器融合感知***的接口性能；与不同技术和方法的协调能力；对信息样本的要求等。一般情况下，基于非线性的数学方法，如果它具有容错性、自适应性、联想记忆和并行处理能力，则都可以用来作为融合方法。

多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、Dempster-Shafer(D-S)证据推理、产生式规则等；而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家***等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。

在本实施例中所采用的多传感器数据融合方法如下：

激光雷达使用迭代最近点(ICP)与图优化(cartographer)来采集点云数据，并对前端的点云数据进行去畸变处理，保证第一阶段的数据准确性。

双目深度相机使用卡尔曼滤波进行与高精度地图的特征点提取与匹配，为无人车提供训练模型的语义标签信息；

多传感器的数据通过自适应的卡尔曼滤波来进行多模态数据融合，保证无人车实时地对环境进行全方位多层次的感知场景感知与检测包括车道线检测识别、行人检测、交通标志分类等内容，使用深度学习***和方法离线地对相关数据集进行训练，将得到目标的模型数后写入无人车(小巴)的感知***中。

这里需要说明的是，激光SLAM与图优化(cartographer)算法的通过多传感器融合感知***首先对输入图像进行预处理，生成实例级位姿分割和密集光流。然后，对预处理后的图像跟踪静态背景结构和动态位姿的特征。接着在全局批量优化中细化根据特征轨迹估计得到的相机位姿和目标运动，并根据每一帧更新局部地图。该***能够输出相机位姿，静态结构，动态目标位姿的轨迹，并可以估计其随时间的位姿变化情况。整个***概述由图像预处理、跟踪和建图三个主要部分组成。

本申请的***的输入是双目图像或RGB-D图像。对于双目图像，首先采用双目深度估计方法(该方法于2014年已经被提出，这里不做赘述)提取深度信息，生成深度地图，所得数据被处理为RGB-D形式。

预处理主要是两个方面，一是将静态背景与(动态)目标实现鲁棒地分离，二是保证对于动态目标的长期跟踪。为了实现这一目标，我们利用了计算机视觉的最新技术，例如水平语义分割和密集光流估计，以确保高效的目标运动分割和鲁棒的目标跟踪要求。

利用密集光流可以最大化跟踪运动目标上点的数量。大多数运动目标只占图像的一小部分。因此，使用稀疏特征匹配不能保证鲁棒性和长期的特征跟踪。我们的方法利用了密集光流，通过对语义mask内的所有点进行采样来显著增加(对于运动)目标(提取出的)点的数量。密集光流还可以通过分配给目标mask每个点的唯一标识符来持续地跟踪多个位姿。在语义分割失败的情况下，可以恢复目标mask。

光流估计就是当给定两帧图像时，下一帧图像和上一帧图像中每一个点有什么不同，而且不同点移动到了什么位置。实现找出人眼所能看到的东西。这个过程是Lucas-Kanade发现的，简称L-K。

但是L-K有三个前提假设条件：

亮度恒定：一个像素点随着时间的变化，其亮度值(像素灰度值)是恒定不变的。这是光流法的基本设定。所有光流法都必须满足。(也就是说，一个物体当前的像素灰度值是恒定的，不改变的，光照不改变的情况下来进行)

小运动：时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。所有光流法必须满足。

空间一致：即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度，需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。

L-K光流估计方法的基本原理：

在亮度恒定，位移变化小，空间一致的相邻两帧图像中，找出位移后的像素值，主要是通过当前位置亮度在x和y方向，以及在相邻两帧中的灰度变化值来估计x和y变化了多少y，主要的方法是将图像进行缩小，只有缩小到足够小，才可以用泰勒展开，对缩小后的图片第一次LK得到位移值，然后按照一定的倍数放大当前采集到的位移值，再进行LK，重复此操作，直到达到原图的像素值时停止分层，得到最终的位移像素。

深度学习***，包括训练模块和测试模块，训练模块和测试模块分别还包括训练样本集和测试样本集；用于形成园区地图的图像模型深度学习以及决策指令的深度学习；深度学习***以程序形式设置于车载控制***中。

通信***，包括无线接收器以及无线发射器，用于实现小巴本体内部通信以及外部通信连接。无线接收器和无线发射器均与所述控制器通信连接，用于保持所述小巴本体与外部的通信连接。本实施例的无线接收器和无线发射器均为市面常见结构装置，在实际运用时，可以根据自身实际情况进行选用，这里不做具体的限制；在本实施例中，无线接收器和无线发射器均设置为两个，无线接收器和无线发射器在小巴本体上和外部的终端上均有设置，在其他实施例中也可以设置为其他数量(大于两个)。这里需要说明的是，为了增加传输效果，特别是在一些阻挡物较多的使用环境中，避免信号被阻挡的较多，导致传输信号较弱，在无线接收器和无线发射器传输路径中，增加设置有无线中继器，无线发射器发出的信号通过无线中继器的中转，再传输到无线接收器上，用于增加传输信号的稳定性，提高信号传输效果，保证本发明的车载控制***和外部的终端(控制室)的信号和指令，能够传输稳定和可靠，进而确保本发明的控制稳定性。控制室可以实时观测到无人驾驶小巴的行驶的情况和实时状态；并且可以对无人驾驶小巴实时强行介入控制，能够及时处理紧急情况。

还包括电源***，为整个小巴的多个***进行供电，提供工作电能。该电源***是能够持续重复使用的电源***。

本实施例提供的自动无人驾驶小巴，配合自动无人驾驶方法具有如下优点。

1.解放人力。无人巴士可以全程无人驾驶，避免司机长时间工作出现疲劳驾驶带来的安全隐患。

2.优化资源。无人小巴可根据后台智能调控***智能调配路线方案，实现资源优化合理配置，避免空载等现象出现。

3.共享数据。无人小巴可共享数据以实现智能规划路线，按时抵达目的地。园区所有巴士可共享数据，实时统计分析流量路段，从而高效运营，减少拥堵现象，提高准点率

4.智能座位设计。小巴可以固定人员搭乘，不会出现拥挤等体验不好的情况出现。

5.视觉成像***辅助。小巴可分析路况，提高安全系数，采用视觉成像辅助***，加之红外感应，可适应多种情境，包括雨天等特殊情况正常运行。弥补人流量大的高峰阶段造成的安全漏洞。

6.提升舒适的体验。无人小巴配备激光雷达，超声波雷达等传感器，能持续监测行驶的路面情况以及周围物体，具有车流判断计算、路牌识别、避障等能力。提升乘客乘坐的安全系数和舒适度。

7.安全稳定，提供双向保障。小巴采用了SLAM导航***，就园区和使用区域环境及路线进行及时汇总更新，确保道路通畅可行，弥补工作人员倦怠空隙，防止人为因素造成意外事故。

8.同时，采用驱动电机辅助以实现制动，同时设置人力可操作的机械手柄式制动方式，实现自主制动和紧急人力制动双重保障。

9. 24小时持续高效服务。无人巴士可实现24小时工作，全天候服务园区储备电量可保证其前往特定地点进行能源补足，避免造成人员滞留。

第三方面，本申请实施例提供一种电子设备，该电子设备设置于小巴本体的车载控制***中。其中包括：

至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行的上述自动无人驾驶方法。

包括存储器、处理器和通信接口，该存储器、处理器和通信接口相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器可用于存储软件程序及模块，如本申请实施例所提供的车载控制***对应的程序指令/模块，处理器通过执行存储在存储器内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。

其中，存储器可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图5所示的结构仅为示意，在其他实施例或者其他情况中，电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述自动无人驾驶方法。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明通过实现对行驶路径的处理，区别于传统技术中必须在行驶路径上设置行车辅助，本发明通过多传感器融合感知***，包括16线程激光雷达、RTK的GNSS、双目视觉相机、惯性测量单元；用于小巴本体全方位、多层次、高精度地感知周围环境信息，进行准确的定位，最大限度地减少观测误差，实现路径识别与追踪，获取园区范围的图像信息；根据园区范围的图像信息进行图像模型的搭建，实现园区地图的绘制，在园区地图中标记执行范围，且在执行范围中标记任务执行点。获取当前待检测图像信息；将待检测图像信息输入至预先训练好的深度学习模型中；根据深度学习模型从当前待检测图像信息中识别出图像特征点；其中，图像特征点与任务执行点相匹配；采用追踪算法对追图像特征点在当前待检测图像的下一帧图像中的位置进行追踪，从而实现路径追踪，再配合参照对象识别信息，参照对象为车道线，用于对车道线的识别并使得车辆保持直线行驶；偏移信息，用于对行驶路线的修正，行驶路线和车道线的偏移保持量设置有左偏阈值和右偏阈值，当识别到偏移信息超过左偏阈值或者右偏阈值时，实施对行驶路线的修正；最终实现路径自我追踪与自我调整，具有无人驾驶的智能化特点。本发明通过获取车辆的定位信息；获取车辆行驶信息，行驶信息包括车辆的行驶速度以及识别车辆周围的反馈信息；根据车辆的定位信息和行驶信息进行正常行驶以及进行事故规避；正常行驶是基于任务执行点顺序行驶；利用反馈信息，通过预设事故规避方法实现处理；进一步地，上述预设事故规避方法包括：当识别到前方的障碍物信息时，距离信息小于安全阈值，相对速度表现为相互接近时，车辆会进行制动，进入到持续时间阈值；若到达等持续时间阈值时，仍然能够检测到前方的障碍物信息，则会选择另外的最优路线进行行驶；若是还未到达持续时间阈值时，已经检测不到前方的障碍物信息，车辆会自动启动，沿着原始路线继续行驶；当识别到侧方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆对相对侧方进行识别，若无障碍物则会进行变道处理，若有障碍物则会进入到制动；当识别到后方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆会进行提速处理；并且配合上无人驾驶小巴的车载控制***，用于小巴本体的路线选择控制，行驶速度控制以及决策指令的执行；多传感器融合感知***，包括16线程激光雷达、RTK的GNSS、双目视觉相机、惯性测量单元；用于小巴本体全方位、多层次、高精度地感知周围环境信息，进行准确的定位，最大限度地减少观测误差；深度学习***，包括训练模块和测试模块，训练模块和测试模块分别还包括训练样本集和测试样本集；用于形成园区地图的图像模型深度学习以及决策指令的深度学习；通信***，包括无线接收器以及无线发射器，用于实现小巴本体内部通信以及外部通信连接。利用对无人驾驶车辆(小巴)的前、后、侧方的障碍物进行识别和判断，从而实现更加安全的驾驶，提高本申请的安全性能。本发明既可以实现园区，如医院，学校，工厂以及工业园区的人员运输和货物运输；也还可以实现在景区实现工作人员和游客的输送任务，具有运输高效，安全，且24小时服务的优点；并且不用设置行车辅助组件(如路径选择)，以及昂贵的GPS高精度以及惯导组合，降低了成本，具备了推广使用前景，克服了实现商用前景的成本难题；因此，本申请具有适用性较好的特点。适用于景区或者园区等具备一定封闭的区域，进行游客或者工作人员的乘坐和转移，以及一些货物的搬运。

综上所述，本申请实施例提供的一种自动无人驾驶方法，其能够针对于现有技术中的不足，提出解决方案，具有路径规划与识别较为简单和智能，安全性能较好的特点。还提供一种自动无人驾驶小巴、电子设备以及存储介质，运用有自动无人驾驶方法，具有解放人力，高效运行，安全稳定的特点，适用于景区或者园区等具备一定封闭的区域。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种自动无人驾驶方法，其特征在于，包括：

获取园区范围的定位信息；

获取园区范围的图像信息；

根据所述园区范围的图像信息进行图像模型的搭建，实现园区地图的绘制；

在园区地图中标记执行范围，且在执行范围中标记任务执行点；

获取车辆的定位信息；

获取车辆行驶信息，所述行驶信息包括车辆的行驶速度以及识别车辆周围的反馈信息；

根据车辆的定位信息和行驶信息进行正常行驶以及进行事故规避；正常行驶是基于所述任务执行点顺序行驶；利用反馈信息，通过预设事故规避方法实现处理。

2.根据权利要求1中所述自动无人驾驶方法，其特征在于，获取园区范围的图像信息，进一步包括：

设定好采集图像路线，以及重复采集次数；

人工控制车辆在园区范围内沿着采集图像路线进行行驶，采集周围环境的图像信息；

车辆在园区内循环行驶采集图像路线，重复采集图像信息。

3.根据权利要求2中所述自动无人驾驶方法，其特征在于，根据所述园区范围的图像信息进行图像模型的搭建，实现园区地图的绘制，进一步包括：

通过获取的图像信息提取图像特征点，将图像特征点形成图像模型；

将所述图像模型进行训练和测试，从而形成深度学习模型；

将所述深度学习模型图形化处理，最终形成园区地图。

4.根据权利要求3中所述自动无人驾驶方法，其特征在于，在园区地图中标记执行范围，且在执行范围中标记任务执行点，进一步包括：

获取当前待检测图像信息；

将所述待检测图像信息输入至预先训练好的深度学习模型中；

根据所述深度学习模型从所述当前待检测图像信息中识别出图像特征点；其中，所述图像特征点与所述任务执行点相匹配；

采用追踪算法对所述图像特征点在所述当前待检测图像的下一帧图像中的位置进行追踪。

5.根据权利要求4中所述自动无人驾驶方法，其特征在于，所述反馈信息包括前方的障碍物信息，侧方的障碍物信息和后方的障碍物信息；所述障碍物信息包括距离信息、相对速度信息；所述距离信息设置有安全阈值和持续时间阈值。

6.根据权利要求1中所述自动无人驾驶方法，其特征在于，所述行驶信息包括：

参照对象识别信息，所述参照对象为车道线，用于对车道线的识别并使得车辆保持直线行驶；

偏移信息，用于对行驶路线的修正，行驶路线和车道线的偏移保持量设置有左偏阈值和右偏阈值，当识别到偏移信息超过左偏阈值或者右偏阈值时，实施对行驶路线的修正。

7.根据权利要求1中所述自动无人驾驶方法，其特征在于，所述预设事故规避方法包括：

当识别到前方的障碍物信息时，距离信息小于安全阈值，相对速度表现为相互接近时，车辆会进行制动，进入到持续时间阈值；若到达持续时间阈值时，仍然能够检测到前方的障碍物信息，则会选择另外的最优路线进行行驶；若是还未到达持续时间阈值时，已经检测不到前方的障碍物信息，车辆会自动启动，沿着原始路线继续行驶；

当识别到侧方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆对相对侧方进行识别，若无障碍物则会进行变道处理，若有障碍物则会进入到制动；

当识别到后方障碍物信息时，距离信息小于安全阈值，且在不断缩小时，车辆会进行提速处理。

8.一种自动无人驾驶小巴，其特征在于，包括应用有权利要求1-7任一项所述的自动无人驾驶方法的小巴本体，所述小巴本体上还设置有：

车载控制***，用于所述小巴本体的路线选择控制，行驶速度控制以及决策指令的执行；

多传感器融合感知***，包括16线程激光雷达、RTK的GNSS、双目视觉相机、惯性测量单元；用于所述小巴本体全方位、多层次、高精度地感知周围环境信息，进行准确的定位，最大限度地减少观测误差；

深度学习***，包括训练模块和测试模块，所述训练模块和测试模块分别还包括训练样本集和测试样本集；用于形成园区地图的图像模型深度学习以及决策指令的深度学习；

通信***，包括无线接收器以及无线发射器，用于实现小巴本体内部通信以及外部通信连接。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一项所述的自动无人驾驶方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述自动无人驾驶方法。

Images