CN110597272A - 一种基于视觉导航的智能无人叉车***及方法 - Google Patents

Abstract

本发明涉及一种基于视觉导航的智能无人叉车***及方法，包括叉车主体、输入模块、输出模块和行车计算机，输入模块和输出模块均与行车计算机相连，并一起安装在叉车的车身主体上；所述输入模块包括拉绳式测距仪、电子罗盘、摄像头、红外线传感器、压力传感器、激光测距仪；所述输出模块包括arduino微控制模块、步进电机驱动器、模拟量输入输出模块、16路开关量控制模块、警报器、wifi传输模块、云服务数据处理中心；本发明由这些模块相互结合共同形成一个智能无人叉车***，能够实现实现无人叉车的无人运动、运动纠偏、视觉导航、货物叉取、障碍物检测的一体化无人操作，能提高物流领域的效率，节省大量的人工成本。

Description

一种基于视觉导航的智能无人叉车***及方法

技术领域

本发明涉及无人驾驶技术领域，具体是一种在物流领域应用的基于视觉导航的智能无人叉车***及方法。

背景技术

当今世界，随着智能化改造的兴起，工业也趋向于智能化，自动化。在很多工业生产物流运输中，基本都要使用叉车这项运输工具，但又是人工操作叉车，这就导致了一定程度上增加了成本，且效率提升缓慢。因此，很多企业想选择一种无人化整体搬运***，这套***里面最需要开发出的一种无人化装置就是无人叉车，因为无人叉车相对于普通叉车的优势更加明显。无人叉车近乎毫无限制的定制化选项和最少化投资可获得物料搬运效率的提高，节省资源，无人驾驶的搬运作业可以优化人力资源，优化能源利用，可以在区域内执行物料搬运。

目前，无人叉车的开发有很多发明者在发明创造，如中国专利(申请号：201711341489.9)公开了一种基于视觉的无人驾驶叉车导航***及其定位导航方法，其主要阐述了确立目标、对目标进行检测的无人叉车导航方法，缺少叉车的无人运动、货物叉取、叉车方向纠偏、障碍物检测等方法，因此还不够完善。中国专利(申请号：201910297824.2)公开了一种双目视觉导航叉车式AGV控制***和方法，该专利仅阐述了适用于AGV这种场景的视觉导航方法，未阐述普通叉车的视觉导航和无人化方法。

因此，针对上述存在的问题，本发明提供一种基于视觉导航的智能无人叉车***及方法，该智能无人叉车***及方法能够实现叉车的视觉导航、无人驾驶、障碍物检测、货物叉取、运动方向纠偏等一体化无人操作。

发明内容

本发明的目的是提供一种基于视觉导航的智能无人叉车***及方法，该***能有效提高物流领域的工作效率，减少生产成本，能够实现无人化，且导航定位精准，出错率低，及时性强。

本发明实现发明目的采用如下技术方案：

一种基于视觉导航的智能无人叉车***及方法，其特征在于：包括叉车主体、输入模块、输出模块和行车计算机，输入模块和输出模块均与行车计算机相连，并一起安装在叉车的车身主体上；

所述输入模块包括拉绳式测距仪、电子罗盘、摄像头、红外线传感器、压力传感器、激光测距仪，输入模块采集数据输入到行车计算机进行计算并得到结果；其中拉绳式测距仪安装在后轮横轴上，用来读取叉车后轮转动的偏角，电子罗盘读取叉车所在的磁场角度，摄像头读取叉车运动方向的视觉图像数据，红外线传感器检测叉车运动过程中前方的障碍物，压力传感器获取叉铲上货物的重量，激光测距仪用来获取叉车与货物的距离；

所述输出模块包括arduino微控制模块、步进电机驱动器、模拟量输入输出模块、16路开关量控制模块、警报器、wifi传输模块、云服务数据处理中心；该输出模块从行车计算机处获取到计算结果并实现相应操作，其中arduino微控制模块、步进电机驱动器、模拟量输入输出模块、16路开关量控制模块统称为控制模块，该控制模块控制叉车的无人运动和转向，警报器提醒叉车运动前方有障碍物，wifi传输模块和云服务数据处理中心实时的从行车计算机处将摄像头获取到的视觉图像数据上传到云服务数据处理中心，并在云服务数据处理中心完成图像中货物的目标检测，并将结果返回给行车计算机，为无人叉车实时提供视觉导航。

作为优选，本发明提供一种智能无人叉车的运动控制方法，该方法主要用来实现叉车的前进运动、后退运动、前进左转运动、前进右转运动、后退左转运动、后退右转运动；该方法主要通过16路开关量控制模块、模拟量输入输出模块、arduino微控制模块来实现；16路开关量控制模块用来控制叉车的前进后退和油门信号的通断，也就是置前进挡、后退档、空挡，收到行车计算机指令传输数字信号给叉车电动机，将电动机置于相应的档位；模拟量输入输出模块控制油门大小，收到行车计算机指令传输模拟信号给叉车油门，从而控制叉车速度；arduino微控制模块控制步进电机驱动器，步进电机驱动器用来控制步进电机，进而控制方向盘的转动，即叉车的转向。

作为优选，本发明提供一种智能无人叉车运动过程中的纠正叉车偏向的方法，因为叉车在运动过程中总会因为行驶阻力的影响而偏离原始导航的方向行驶，本发明因此采用边运动边纠正偏向的方法来解决此问题，主要利用电子罗盘和拉绳式测距仪来完成；

首先读取电子罗盘的读数，传送到行车计算机计算当前叉车所处的磁场角度与导航方向磁场角度的差值，然后将此差值经行车计算机计算而发送指令到arduino微控制模块，通过arduino微控制模块来控制步进电机驱动器，步进电机驱动器控制步进电机转动使得方向盘转动导致车身回正，最后再读取拉绳式测距仪的伸缩长度经行车计算机计算转化为叉车后轮转动的偏角，接着行车计算机发送相应的指令给arduino微控制模块，通过arduino微控制模块来控制步进电机驱动器，步进电机驱动器控制步进电机转动使得方向盘转动导致后轮回正。

作为优选，本发明提供一种智能无人叉车运动过程中的视觉导航方法，该方法主要是通过摄像头不断采集视觉图像数据，通过wifi传输模块将采集到的数据上传到云服务数据处理中心，云服务数据处理中心不间断地利用深度学习算法对视觉图像进行处理，完成货物的目标检测，然后再将结果返回给行车计算机，行车计算机发送相应指令给控制模块进而控制叉车的运动方向和导航。

作为优选，本发明提供一种智能无人叉车对货物精准叉取的方法，该方法主要是通过16路开关量控制模块、压力传感器和激光测距仪结合控制货物的叉取；首先激光测距仪获取叉车与目标货物的距离是否在事先设定好的阈值范围之内，若是，则打开16路开关量控制模块控制叉铲的端口，降下叉铲进行货物叉取，在货物叉取过程中不断利用压力传感器获取货物的重量，看是否全部叉中货物，若达到货物重量大小，则表示叉铲全部叉中货物。

作为优选，本发明提供一种智能无人叉车对运动过程中前方是否有障碍物而进行检测的方法，该方法是实时地在叉车运动过程中，利用红外线传感器检测前方是否有障碍物，一旦发现，直接由行车计算机传输指令控制叉车前进，并关闭所有运动控制***，引起警报器响应。

有益效果：本发明提供一种基于视觉导航的智能无人叉车***，具有更灵敏的环境感知能力，在不改变现有的情况下，本发明和现有的技术相比，具有以下优点和效果：

(1)该***具有独立的无人运动方法，基本实现叉车的无人运动；

(2)该***提供一种实时有效的叉车运动纠偏方法，能够解决叉车在运动过程中普遍存在的偏离方向行驶的问题；

(3)该***创新性的提供一种视觉导航的方法，该方法相比GPS定位导航方法，导航精度高，灵敏度强，且节约成本，使用方便；

(4)该***还提供了货物叉取和障碍物检测的方法，对叉车的工作效率和安全性提供了很好的支持与保障；

该***能实现叉车的视觉导航、无人驾驶、障碍物检测、货物叉取、运动方向纠偏的一体化无人操作，对无人叉车现有技术的不足提供了很大的帮助，并能提高物流领域的效率，节省大量的人工成本。

附图说明

图1是本发明的***硬件框图；

图2是本发明的***运行流程示意图；

图3是本发明的运动控制方法的流程示意图；

图4是本发明的运动过程中纠正叉车偏向方法的流程示意图；

图5是本发明的视觉导航方法的流程示意图；

图6是本发明的货物精准叉取方法的流程示意图；

图7是本发明的障碍物检测方法的流程示意图。

具体实施方式

以下通过具体实施例对本发明做进一步解释说明。

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1：如附图1所示，本发明包括包括叉车主体、输入模块、输出模块和行车计算机，输入模块和输出模块均与行车计算机相连；

所述输入模块包括拉绳式测距仪、电子罗盘、摄像头、红外线传感器、压力传感器、激光测距仪，输入模块采集数据输入到行车计算机进行计算并得到结果；

其中拉绳式测距仪安装在后轮横轴上，用来读取叉车后轮转动的偏角，电子罗盘读取叉车所在的磁场角度，摄像头读取叉车运动方向的视觉图像数据，红外线传感器检测叉车运动过程中前方的障碍物，压力传感器获取叉铲上货物的重量，激光测距仪用来获取叉车与货物的距离；

所述输出模块包括arduino微控制模块、步进电机驱动器、模拟量输入输出模块、16路开关量控制模块、警报器、wifi传输模块、云服务数据处理中心；该输出模块从行车计算机处获取到计算结果并实现相应操作；

其中arduino微控制模块、步进电机驱动器、模拟量输入输出模块、16路开关量控制模块统称为控制模块，该控制模块控制叉车的无人运动和转向，警报器提醒叉车运动前方有障碍物，wifi传输模块和云服务数据处理中心实时的从行车计算机处将摄像头获取到的视觉图像数据上传到云服务数据处理中心，并在云服务数据处理中心完成图像中货物的目标检测，并将结果返回给行车计算机，为无人叉车实时提供视觉导航。

实施例2：如附图2所示，给出的是整个***运行流程示意图，其整个运行步骤如下：

步骤S21：首先判断叉车是否处于静止状态，若是，则将智能无人叉车***启动；

步骤S22：智能无人叉车***启动之后，将执行初始化操作，分别将16路开关量控制模块、模拟量输入输出模块、arduino微控制模块进行初始化，然后判断是否完成初始化操作，若是，则执行下一步骤S23；若否，则返回到初始化操作；

步骤S23：在初始化完成后，叉车开始运动，在运动过程中，利用红外线传感器检测叉车运动过程中前方的障碍物，同时利用摄像头实时地检测目标货物，再利用激光测距仪检测与目标货物的距离；

步骤S24：当叉车在运动过程中，锁定目标货物并检测与它的距离，同时接下来利用拉绳式测距仪和电子罗盘判断叉车是否走偏，若是，则纠正运动偏向；若否，则执行下一步骤S25；

步骤S25：叉车继续前进，当激光测距仪检测到叉车与目标货物的距离在阈值范围内，则抵达终点，同时打开16路开关量控制模块控制叉铲端口，并利用压力传感器，实现成功叉取货物，最后，关闭智能叉车***，结束操作。

实施例3：如附图3所示，给出的是本发明的运动控制方法的流程示意图，其整个运行过程都是在整个***运行过程中实现，步骤如下：

步骤S31：首先***运行开始，利用行车计算机发送指令，指令传达到三个模块，分别是16路开关量控制模块、模拟量输入输出模块和arduino微控制模块；

步骤S32：接着利用16路开关量控制模块控制叉车的前进、后退、油门信号的通断；利用模拟量输入输出模块控制油门的大小及控制叉车的速度大小；利用arduino微控制模块来控制步进电机驱动器，步进电机驱动器控制步进电机，从而整个运行过程结束。

实施例4：如附图4所示，给出的是本发明的运动过程中纠正叉车偏向方法的流程示意图，其整个运行过程都是在整个***运行过程中实现，步骤如下：

步骤S41：首先***运行开始，在运动过程中，实时不间断读取电子罗盘读数，将读数返回给行车计算机；

步骤S42：行车计算机计算该读数与目标角度的差值；

步骤S43：行车计算机根据差值大小发送相应的指令给arduino微控制模块；

步骤S44：arduino微控制模块控制步进电机驱动器而控制步进电机运转，从而转动方向盘使车身回正；

步骤S45：进一步读取拉绳式测距仪的读数，将读数返回给行车计算机；

步骤S46：行车计算机根据拉绳式测距仪的读数计算后轮的偏角大小；

步骤S47：行车计算机根据所计算的后轮偏角大小，发送相应的指令给arduino微控制模块，从而实现转动方向盘使轮胎回正，从而整个运行过程结束。

实施例5：如附图5所示，给出的是本发明的视觉导航方法的流程示意图，其整个运行过程都是在整个***运行过程中实现，步骤如下：

步骤S51：首先***运行开始，摄像头开始实时不间断采集目标货物的视觉图像数据；

步骤S52：将采集到的视觉图像数据通过wifi通信模块传输到云服务数据处理中心；

步骤S53：云服务数据处理中心利用深度学习目标检测算法处理数据，并识别出货物所在图像中的位置，将该结果得出；

步骤S54：将目标货物精准识别检测的结果通过wifi通信模块返回给行车计算机；

步骤S55：行车计算机根据得到的相应识别结果，发送指令给相应***模块，完成实现叉车的导航定位，整个运行过程结束。

实施例6：如附图6所示，给出的是本发明的货物精准叉取方法的流程示意图，其整个运行过程都是在整个***运行过程中实现，步骤如下：

步骤S61：首先***运行开始，激光测距仪实时不间断检测叉车与货物的距离大小；

步骤S62：在检测距离过程中，行车计算机一直判断距离大小是否在设定的阈值范围内，若是，则行车计算机控制叉车停止运动，并控制叉铲落下；若否，则控制叉车继续前进直到距离大小在阈值范围内；

步骤S63：当叉铲叉取到货物之后，通过压力传感器检测货物重量，一旦达到货物的重量，则物品叉中，整个运行过程结束。

实施例7：如附图7是本发明的障碍物检测方法的流程示意图，其整个运行过程都是在整个***运行过程中实现，步骤如下：

步骤S71：首先***运行开始，红外线传感器实时不间断的检测叉车前进方向是否有障碍物，若是，则运行下一步骤S72；若否，则叉车继续前进；

步骤S72：当检测到前方有障碍物，则返回给行车计算机，由行车计算机控制中断所有的运动控制模块、完成紧急刹车操作，同时警报器响应，整个运行过程结束。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于视觉导航的智能无人叉车***及方法，其特征在于：包括叉车主体、输入模块、输出模块和行车计算机，输入模块和输出模块均与行车计算机相连，并一起安装在叉车的车身主体上；

所述输入模块包括拉绳式测距仪、电子罗盘、摄像头、红外线传感器、压力传感器、激光测距仪，输入模块采集数据输入到行车计算机进行计算并得到结果；

其中拉绳式测距仪安装在后轮横轴上，用来读取叉车后轮转动的偏角，电子罗盘读取叉车所在的磁场角度，摄像头读取叉车运动方向的视觉图像数据，红外线传感器检测叉车运动过程中前方的障碍物，压力传感器获取叉铲上货物的重量，激光测距仪用来获取叉车与货物的距离；

所述输出模块包括arduino微控制模块、步进电机驱动器、模拟量输入输出模块、16路开关量控制模块、警报器、wifi传输模块、云服务数据处理中心；该输出模块从行车计算机处获取到计算结果并实现相应操作；

其中arduino微控制模块、步进电机驱动器、模拟量输入输出模块、16路开关量控制模块统称为控制模块，该控制模块控制叉车的无人运动和转向，警报器提醒叉车运动前方有障碍物，wifi传输模块和云服务数据处理中心实时的从行车计算机处将摄像头获取到的视觉图像数据上传到云服务数据处理中心，并在云服务数据处理中心完成图像中货物的目标检测，并将结果返回给行车计算机，为无人叉车实时提供视觉导航。

2.根据权利要求1所述的基于视觉导航的智能无人叉车***及方法，其特征在于：所述的arduino微控制模块、16路开关量控制模块、模拟量输入输出模块和步进电机驱动器相结合控制叉车的前进运动、后退运动、前进左转运动、前进右转运动、后退左转运动、后退右转运动。

3.根据权利要求1所述的基于视觉导航的智能无人叉车***及方法，其特征在于：因叉车在运动过程中会受到行驶阻力的影响而偏离原始导航的方向行驶，为解决此问题，所述的arduino微控制模块还可以结合电子罗盘和拉绳式测距仪来实现叉车的运动方向纠偏操作；

首先读取电子罗盘的读数，传送到行车计算机计算当前叉车所处的磁场角度与导航方向磁场角度的差值，然后将此差值经行车计算机计算而发送指令到arduino微控制模块，通过arduino微控制模块来控制步进电机驱动器，步进电机驱动器控制步进电机转动使得方向盘转动导致车身回正，最后再读取拉绳式测距仪的伸缩长度经行车计算机计算转化为叉车后轮转动的偏角，接着行车计算机发送相应的指令给arduino微控制模块，通过arduino微控制模块来控制步进电机驱动器，步进电机驱动器控制步进电机转动使得方向盘转动导致后轮回正。

4.根据权利要求1所述的基于视觉导航的智能无人叉车***及方法，其特征在于：所述的视觉导航主要是通过摄像头不断采集视觉图像数据，通过wifi传输模块将采集到的数据上传到云服务数据处理中心，云服务数据处理中心不间断地利用深度学习算法对视觉图像进行处理，完成货物的目标检测，然后再将结果返回给行车计算机，行车计算机发送相应指令给控制模块进而控制叉车的运动方向和导航。

5.根据权利要求1所述的基于视觉导航的智能无人叉车***及方法，其特征在于：所述的16路开关量控制模块、压力传感器和激光测距仪结合控制货物叉取过程；首先激光测距仪获取叉车与目标货物的距离是否在事先设定好的阈值范围之内，若是，则打开16路开关量控制模块控制叉铲的端口，降下叉铲进行货物叉取，在货物叉取过程中不断利用压力传感器获取货物的重量，看是否全部叉中货物，若达到货物重量大小，则表示叉铲全部叉中货物。

6.根据权利要求1所述的基于视觉导航的智能无人叉车***及方法，其特征在于：所述的障碍物检测是指是在叉车运动过程中通过红外线传感器检测前方是否有障碍物，一旦发现运动前方有障碍物，直接由行车计算机发送指令控制叉车前进，并关闭所有运动控制***，引起警报器响应。