CN107677287A - 基于卷积神经网络的自动导航小车***及小车循线方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的自动导航小车***及小车循线方法。AGV小车的摄像头采集AGV小车前方的视频传输给控制芯片。引导机构包括路面上的矩形网格，矩形网格的交叉点上贴有路标。远程服务器将矩形网格的结构、路标坐标信息以及AGV小车路径信息以无线通讯方式传输至AGV小车。AGV小车自出发点起通过摄像头采集AGV小车前的路标信息，通过控制芯片与路径信息比对行驶。本发明通过AGV小车上的摄像头来进行路标识别，无需加装超声、激光、红外等复杂设备，不需要在路面上敷设磁道，设备利用率高，利用卷积神经网络可以最大程度模拟人眼识别路标的功能，且循线精度可随卷积神经网络的调优不断优化和提升，具有很高的研发深度和市场前景。

Description

基于卷积神经网络的自动导航小车***及小车循线方法

技术领域

本发明涉及基于卷积神经网络的自动导航小车***及小车循线方法。

背景技术

AGV小车，指装备有电磁或光学等自动导引装置，能够沿规定的导引路径行驶，具有安全保护以及各种移载功能的运输车，AGV的全程是Automated Guided Vehicle。AGV小车可以安装不同的末端以完成各种不同形状和状态的工件搬运工作，可以广泛应用于机床上下料、冲压机自动化生产线、自动装配流水线、码垛搬运、集装箱的自动搬运，大大减轻了人类繁重的体力劳动，具有广阔的市场前景。

我国搬运车发展历史较晚。在上世纪50年代，企业搬运还是主要使用落后的人工搬运，费时费力且效率低下。随着战后经济的复苏，政府和企业都认识到了物流对发展的重要性，高效搬运被单独提了出来，搬运物流业从人工转向了机械化搬运。近年来我国经济发展较快，对搬运车提出了更高的要求。

目前市场上推出了由计算机控制的自动无人搬运车，通过计算机发出搬运指令，控制小车的行驶路线，小车循线的引导方式主要有电磁感应引导、超声波引导、激光引导或红外引导，考虑到功耗和成本问题，超声波引导、激光引导、红外引导相配套产品价格昂贵，性价比不高，不便于推广，现有大多数小车都采用电磁感应引导，需要在路面上敷设多条磁道进行导航，但是敷设多条磁条需要对路面进行改造，空间重复利用率低，增加额外的硬件开销和工程开销，影响实际循线效率。

发明内容

针对上述不足，本发明提供了一种基于卷积神经网络的自动导航小车***及其小车循线方法。

实现本发明目的的技术方案是：基于卷积神经网络的自动导航小车***及其小车循线方法，自动导航小车***包括AGV小车、引导机构以及远程服务器。

AGV小车上设有摄像头与摄像头连接的包含卷积神经网络模型的控制芯片；所述AGV小车上设有一个或多个摄像头，摄像头以AGV小车纵向对称剖面内的中心线为对称线布置。

引导机构包括由设置在路面上由若干条横线和纵线形成的矩形网格，矩形网格的每个交叉点处设有不重复的路标，路标位置即路标的坐标信息，每个路标的坐标信息均不相同。路标为矩形标贴。每个路标的中心点与矩形网络中的交叉点重合，路标左右侧和前后侧的对称线与交叉点处的横线和纵线重合。

基于卷积神经网络的自动导航小车***的小车循线方法，包括以下步骤：

步骤一、远程服务器将路面上的矩形网格的结构、矩形网格线中横线和纵线交叉点的路标坐标信息保存并以无线通讯方式传输至AGV小车；

步骤二、远程服务器接收到AGV小车路径规划请求，根据路面上矩形网格内所有AGV小车的实时位置信息，计算出AGV小车从出发点到目标点的多个候选路径，在多个候选路径中，根据每条路径中AGV小车总数量来进行路径优先级排序，优先选择AGV小车总数量少的路径作为AGV小车的优先路径；

步骤三、服务器将路径信息发送至AGV小车，AGV小车根据路径上每个经过路标的坐标信息开始循线行驶；

步骤四、AGV小车利用设置在AGV小车前端的摄像头进行摄像，将路面上矩形网格线交叉点的路标图像传递至AGV小车的控制芯片，通过控制芯片计算路标距离AGV小车的距离，从而确定当前应该驱动行驶装置行驶多长距离以及应该遵循哪个路标行进，摄像记录的视频及图像信息、控制芯片处理后的信息有选择地以无线通讯方式传输至远程服务器保存；

步骤五、AGV小车在经过每个路标时会将路面循线信息与控制芯片内存放的路径信息比对，判断是否到达目标点。若是，则AGV小车返回出发点或者向远程服务器发送新的路径规划请求，由步骤二向下逐步运行；否则，返回步骤四。

所述的步骤四中，AGV小车通过摄像头将行驶时AGV小车所在横线或纵线图像摄像传递至AGV小车的控制芯片，控制芯片通过卷积神经网络模型识别出图像中的路标及其位置，进一步计算出路标偏离AGV小车所在网格横线或纵线的夹角，确定AGV小车向左或向右的偏向角度，选择保持方向行驶或者传输信号给AGV小车下端的行驶驱动装置调整行进角度。

所述步骤二中，远程服务器在多个候选路径中，根据每条路径中AGV小车数量和转弯数量之和来进行路径优先级排序，优先选择AGV小车数量和转弯数量之和少的路径作为AGV小车的优先路径。

自动导航小车***中，卷积神经网络模型的处理过程包括以下步骤：

①、样本采集；

采集路标图像和AGV小车图像，对图像进行分类生成路标样本和小车样本；

②、对路标样本和车辆样本预处理；

根据设定的样本尺寸，对路标样本和小车样本随机地进行对称翻转变化，随机修剪，色彩抖动，噪声扰动；手动将路标样本、小车样本中包含路标、小车的长方形区域框选出，将长方形框的左上角像素点的坐标值和右下角像素点的坐标值记录下来，完成小车或路标的标注；

③、卷积网络的训练：

将步骤②中标注好的小车样本和路标样本输入深度卷积网络中去，获得该图像文件的网络输出，然后计算出网络输出和标注的矩形框坐标之间的差值，然后将该差值通过反向传递进行卷积网络权重的更新。步骤③对所有的训练图像迭代上百次，最终获得训练好的卷积网络模型。

④、将路标样本和车辆样本输入已训练完成的卷积神经网络，卷积神经网络计算后获得识别结果，根据识别结果对路标和小车的位置、角度做进一步计算。

进一步优选地，①中步骤包括：从拍摄的视频或图片中截取大量路标样本和小车样本组成路标样本和小车样本，路标样本和小车样本分别包括了路标图像的各个视角和AGV小车图像的各个视角。

进一步优选地，②中步骤包括：将样本图像的像素尺寸范围转换至288*288–544*544。

进一步优选地，④中步骤包括：在识别出路标后，将该路标中心与图像底线中心连线，中心连接与垂直线的夹角即为本小车当前行进方向的夹角。中心连接的长度即为本小车距离前面路标的距离。

采用了上述技术方案，本发明具有以下的有益效果：(1)本发明通过AGV小车上的摄像头来进行路标识别，无需加装超声、激光、红外等复杂设备，也不需要在路面上敷设磁道，设备利用率高，利用卷积神经网络可以最大程度地模拟人眼识别路标的功能，且循线精度可随卷积神经网络的调优不断优化和提升，具有很高的研发深度和市场前景。

(2)本发明中利用卷积神经网络对摄像头采集的图像进行识别处理，识别速度快，提高了AGV小车的循线反应速度和行驶速度。

(3)本发明中，引导机构的路标颜色选择与路面主色反差较大的颜色，提高了卷积神经网络对路标的识别精度。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1为本发明中引导机构的矩形网格示意图。

图2为本发明中基于卷积神经网络的自动导航小车***的小车循线方法流程图。

图3为本发明实施例1中的AGV小车循线路径选择示意图。

图4为本发明实施例2中的AGV小车循线路径选择示意图。

图5为本发明的AGV小车循线时角度调整示意图。

具体实施方式

(实施例1)

本实施例的基于卷积神经网络的自动导航小车***，包括AGV小车、引导机构以及远程服务器。

AGV小车上设有摄像头与摄像头连接的包含卷积神经网络模型的控制芯片；所述AGV小车上设有一个或多个摄像头，摄像头以AGV小车纵向对称剖面内的中心线为对称线布置。

如图1所示，引导机构包括由设置在路面上由若干条横线和纵线形成的矩形网格，矩形网格的每个交叉点处设有不重复的路标，路标位置即路标的坐标信息，每个路标的坐标信息均不相同。路标为矩形标贴。每个路标的中心点与矩形网络中的交叉点重合，路标左右侧和前后侧的对称线与交叉点处的横线和纵线重合。引导机构的路标颜色选择与路面主色反差较大的颜色。

基于卷积神经网络的自动导航小车***的小车循线方法，图2所示是小车循线方法的流程图，小车循线方法包括以下步骤：

步骤一、远程服务器将路面上的矩形网格的结构、矩形网格线中路标坐标信息保存并以无线通讯方式传输至AGV小车；

步骤二、远程服务器接收到AGV小车路径规划请求，根据路面上矩形网格内所有AGV小车的实时位置信息(参考图3)，计算出AGV小车从出发点A点到目标点B点的多个候选路径，包括：路径1：(0、0)—(0、1)—(0、2)—(1、2)—(2、2)；路径2：(0、0)—(0、1)—(1、1)—(2、1)—(2、2)；路径3：(0、0)—(0、1)—(1、1)—(1、2)—(2、2)；路径4：(0、0)—(1、0)—(2、0)—(2、1)—(2、2)；路径5：(0、0)—(1、0)—(1、1)—(2、1)—(2、2)；路径6：(0、0)—(1、0)—(1、1)—(1、2)—(2、2)；在多个候选路径中，根据每条路径中AGV小车总数量来进行路径优先级排序，其中路径1中有1部AGV小车，路径2中有1部AGV小车，路径3中有0部AGV小车，路径4中有1部AGV小车，路径5中有2部AGV小车，路径6中有1部AGV小车；优先选择AGV小车总数量少的路径3作为AGV小车的优先路径，路径信息为多个路标位置的坐标信息集；

步骤三、服务器将路径信息发送至AGV小车，AGV小车根据路径信息开始循线行驶；

步骤四、AGV小车利用设置在AGV小车前端的摄像头进行摄像，将路面上矩形网格线交叉点的路标图像传递至AGV小车的控制芯片，通过控制芯片计算路标距离AGV小车的距离，从而确定当前应该驱动行驶装置行驶多长距离以及应该遵循哪个路标行进，摄像记录的视频及图像信息、控制芯片处理后的信息有选择地以无线通讯方式传输至远程服务器保存；AGV小车通过摄像头将行驶时AGV小车所在横线或纵线图像摄像传递至AGV小车的控制芯片，控制芯片通过卷积神经网络模型识别出图像中的路标及其位置，进一步计算出路标偏离AGV小车所在网格横线或纵线的夹角，确定AGV小车向左或向右的偏向角度，选择保持方向行驶或者传输信号给AGV小车下端的行驶驱动装置调整行进角度；如图5所示，AGV小车的控制芯片通过卷积神经网络模型识别出小车向左侧偏，且偏向夹角为α，传输信号给AGV小车下端的行驶驱动装置向右侧调整行进角度；

步骤五、AGV小车在经过每个路标时会将路面循线信息与控制芯片内存放的路径信息比对，判断是否到达目标点。若是，则AGV小车返回出发点或者向远程服务器发送新的路径规划请求，由步骤二向下逐步运行；否则，返回步骤四。

构建卷积神经网络模型的步骤如下：

(1)将352X352像素大小的图片作为输入层Input0输入卷积层Conv1，对其进行行块大小为3X3像素、步长为1像素、填充距离为1像素的卷积操作，总共使用16个卷积核，得到16张352X352像素的特征图；

(2)将卷积层Conv1输出的16张特征图输入到池化层Pool2，对其进行最大池操作，池化块的大小为2X2像素，步长为2像素，得到16张176X176像素的特征图；

(3)将池化层Pool2输出的16张特征图输入卷积层Conv3，对其进行行块大小为3X3像素、步长为1像素、填充距离为1像素的卷积操作，需要用到32个卷积核，得到32张176X176像素的特征图；

(4)将卷积层Conv3输出的32张特征图输入到池化层Pool4，对其进行最大池操作，池化块的大小为2X2像素，步长为2像素，得到32张88X88像素的特征图；

(5)将池化层Pool4输出的32张特征图输入卷积层Conv5，对其进行块大小为3X3像素、步长为1像素、填充距离为1像素的卷积操作，需要用到64个卷积核，得到64张88X88像素的特征图；

(6)将卷积层Conv5输出的64张特征图输入到池化层Pool6，对其进行最大池操作，池化块的大小为2X2像素，步长为2像素，得到64张44X44像素的特征图；

(7)将池化层Pool6输出的64张特征图输入卷积层Conv7，对其进行行块大小为3X3像素、步长为1像素、填充距离为1像素的卷积操作，需要用到128个卷积核，得到128张44X44像素的特征图；

(8)将卷积层Conv7输出的128张特征图输入到池化层Pool8，对其进行最大池操作，池化块的大小为2X2像素，步长为2像素，得到128张22X22像素的特征图；

(9)将池化层Pool8输出的输出的128张特征图输入卷积层Conv9，对其进行行块大小为3X3像素、步长为1像素、填充距离为1像素的卷积操作，需要用到256个卷积核，得到256张22X22像素的特征图；

(10)将卷积层Conv9输出的256张特征图输入到池化层Pool10，对其进行最大池操作，池化块的大小为2X2像素，步长为2像素，得到256张11X11像素的特征图；

(11)将池化层Pool10输出的输出的256张特征图输入卷积层Conv11，对其进行行块大小为3X3像素、步长为1像素、填充距离为1像素的卷积操作，需要用到512个卷积核，得到512张11X11像素的特征图；

(12)将卷积层Conv11输出的输出的512张特征图输入卷积层Conv12，对其进行行块大小为3X3像素、步长为1像素、填充距离为1像素的卷积操作，需要用到1024个卷积核，得到1024张11X11像素的特征图；

(13)将卷积层Conv12输出的输出的1024张特征图输入卷积层Conv13，对其进行行块大小为1X1像素、步长为1像素、填充距离为1像素的卷积操作，需要用到80个卷积核，得到80张11X11像素的特征图；

(14)根据最后获得的80张11*11的特征图判断图中各个像素点周围可能出现的目标物体及其轮廓矩形框的顶点坐标。输出判断结果。

(实施例2)

本实施例中自动导航小车***和小车循线方法与实施例1大体相同，不同之处在于小车循线方法步骤二中对于优先路径的选择。

步骤二中，远程服务器接收到AGV小车路径规划请求，根据路面上矩形网格内所有AGV小车的实时位置信息(参考图4)，计算出AGV小车从出发点A点到目标点B点的多个候选路径，包括：路径1：(0、0)—(0、1)—(0、2)—(1、2)—(2、2)；路径2：(0、0)—(0、1)—(1、1)—(2、1)—(2、2)；路径3：(0、0)—(0、1)—(1、1)—(1、2)—(2、2)；路径4：(0、0)—(1、0)—(2、0)—(2、1)—(2、2)；路径5：(0、0)—(1、0)—(1、1)—(2、1)—(2、2)；路径6：(0、0)—(1、0)—(1、1)—(1、2)—(2、2)；在多个候选路径中，先统计每条路径中AGV小车总数量来进行路径优先级排序，其中路径1中有0部AGV小车，路径2中有1部AGV小车，路径3中有0部AGV小车，路径4中有1部AGV小车，路径5中有1部AGV小车，路径6中有0部AGV小车；再统计每条路径中的转弯数量，其中路径1中有1个转弯，路径2中有2个转弯，路径3中有3个转弯，路径4中有1个转弯，路径5中有3个转弯，路径6中有2个转弯；综上，优先选择AGV小车数量和转弯数量之和最少的路径(路径1)作为AGV小车的优先路径。

本实施例中构建卷积神经网络模型的步骤与实施例1相同。

以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于卷积神经网络的自动导航小车***，其特征在于：包括AGV小车、引导机构以及远程服务器；

所述AGV小车上设有摄像头与摄像头连接的包含卷积神经网络模型的控制芯片；

所述引导机构包括由设置在路面上由若干条横线和纵线形成的矩形网格，矩形网格的每个交叉点处设有不重复的路标，路标位置即路标的坐标信息，每个路标的坐标信息均不相同。

2.根据权利要求1所述的一种基于卷积神经网络的自动导航小车***，其特征在于：所述AGV小车上设有一个摄像头，摄像头安装在AGV小车纵向对称剖面内的中心线上。

3.根据权利要求1所述的一种基于卷积神经网络的自动导航小车***，其特征在于：所述AGV小车上设有多个摄像头，多个摄像头以AGV小车纵向对称剖面内的中心线为对称线布置。

4.根据权利要求1所述的一种基于卷积神经网络的自动导航小车***，其特征在于：所述路标为矩形标贴；每个所述路标的中心点与矩形网络中的交叉点重合，路标左右侧和前后侧的对称线与交叉点处的横线和纵线重合。

5.根据权利要求1所述的一种基于卷积神经网络的自动导航小车***，其特征在于：所述引导机构的路标颜色选择与路面主色反差较大的颜色。

6.基于卷积神经网络的自动导航小车***的小车循线方法，其特征在于：包括以下步骤：

步骤一、远程服务器将路面上的矩形网格的结构、矩形网格线中路标坐标信息保存并以无线通讯方式传输至AGV小车；

步骤二、远程服务器接收到AGV小车路径规划请求，根据路面上矩形网格内所有AGV小车的实时位置信息，计算出AGV小车从出发点到目标点的多个候选路径，在多个候选路径中，根据每条路径中AGV小车总数量来进行路径优先级排序，优先选择AGV小车总数量少的路径作为AGV小车的优先路径，路径信息为多个路标位置的坐标信息集；

步骤三、服务器将路径信息发送至AGV小车，AGV小车根据路径信息开始循线行驶；

步骤四、AGV小车利用设置在AGV小车前端的摄像头进行摄像，将路面上矩形网格线交叉点的路标图像传递至AGV小车的控制芯片，通过控制芯片计算路标距离AGV小车的距离，从而确定当前应该驱动行驶装置行驶多长距离以及应该遵循哪个路标行进，摄像记录的视频及图像信息、控制芯片处理后的信息有选择地以无线通讯方式传输至远程服务器保存；

步骤五、AGV小车在经过每个路标时会将路面循线信息与控制芯片内存放的路径信息比对，判断是否到达目标点。若是，则AGV小车返回出发点或者向远程服务器发送新的路径规划请求，由步骤二向下逐步运行；否则，返回步骤四。

7.根据权利要求6中所述的一种基于卷积神经网络的自动导航小车***的小车循线方法，其特征在于：

所述的步骤四中，AGV小车通过摄像头将行驶时AGV小车所在横线或纵线图像摄像传递至AGV小车的控制芯片，控制芯片通过卷积神经网络模型识别出图像中的路标及其位置，进一步计算出路标偏离AGV小车所在网格横线或纵线的夹角，确定AGV小车向左或向右的偏向角度，选择保持方向行驶或者传输信号给AGV小车下端的行驶驱动装置调整行进角度。

8.根据权利要求6中所述的一种基于卷积神经网络的自动导航小车***的小车循线方法，其特征在于：

所述步骤二中，远程服务器在多个候选路径中，根据每条路径中AGV小车数量和转弯数量之和来进行路径优先级排序，优先选择AGV小车数量和转弯数量之和少的路径作为AGV小车的优先路径。