CN104777835A - 一种全向自动叉车及3d立体视觉导航定位方法 - Google Patents

Abstract

本发明公开了一种全向自动叉车及3D立体视觉导航定位方法，包括：获取自动叉车工作环境中3D坐标信息；生成3D地图；获取实时图像，根据3D地图对起始位置定位；确定目标位置；导航到目标位置，判断是否遇到障碍物；扫描识别货架上二维码；判断自动叉车是否正面朝向货物并对准货物；自动叉车***货架托盘完成取放货。本发明的有益效果：多台双目立体摄像头构建工作环境的3D地图，结合里程计、激光雷达和前置摄像头，有效精确的定位并实现取放货；利用麦克纳姆轮，实现平面上三自由度的全方位移动，无需转向就能在同一货架上取放货；通过激光雷达和红外传感器及时有效的规避工作环境中的任何障碍物；通过上位机与充电箱的通讯实现自动叉车的自动充电。

Description

一种全向自动叉车及3D立体视觉导航定位方法

技术领域

本发明涉及叉车技术领域，具体而言，涉及一种全向自动叉车及3D立体视觉导航定位方法。

背景技术

目前，人工成本的上升成为当前企业经营发展中遇到的最主要困难，在拥有先进制造业的国家和地区，使用自动叉车替代人工在仓库中进行货物装卸及运载以节约成本已经成为当今主流。在国内，目前使用的叉车，大部分仍是由人工操作或使用磁轨导航以及RFID定位技术来进行自主移动运送货物，该方法虽然能够满足一定的需要，但是局限性较大，需要针对仓库进行较大的改造，不具有通用性。同时，自动叉车采用目前导航定位技术的探测范围不广，导航性能的稳定性和精确性都不高，对障碍物不能较好的规避，无法探测的死角不能导航准确性较差。

发明内容

为解决上述问题，本发明的目的在于提供一种通用性好、稳定性高、精确度高的全向自动叉车及3D立体视觉导航定位方法。

本发明提供了一种全向自动叉车3D立体视觉导航定位方法，包括以下步骤：

步骤1，多台双目立体视觉摄像头对自动叉车的工作环境进行360度扫描，获取所述自动叉车的工作环境的图像信息，通过图像处理装置得到所述自动叉车工作环境中各个像素点的3D坐标信息；

步骤2，所述图像处理装置通过视觉SLAM算法，结合惯性测量装置得到的所述自动叉车的旋转角度，生成所述自动叉车工作环境的3D地图；

步骤3，所述自动叉车通过所述双目立体视觉摄像头获取实时图像，并根据所述3D地图对所述自动叉车目前所在的起始位置进行定位；

步骤4，所述自动叉车确定需要工作的目标位置；

步骤5，所述自动叉车根据目标位置通过A*算法导航到目标位置，若所述自动叉车在工作过程中没有遇到障碍物，执行步骤6，否则，通过所述激光雷达和红外传感器扫描障碍物是否在安全区域内，判断是否可行，若可行则所述自动叉车从侧面绕过障碍物，若不可行则所述自动叉车停止工作，发出警报信号直至障碍物被移除；

步骤6，所述自动叉车行驶到目标位置后，通过前置摄像头扫描识别货架上的二维码；

步骤7，里程计和所述激光雷达探测所述自动叉车是否正面朝向货物并对准货物，若所述自动叉车正面朝向货物并对准货物，执行步骤8，否则，所述前置摄像头通过二维码继续校准所述自动叉车的方位直至所述自动叉车正面朝向货物并对准货物；

步骤8，所述自动叉车***货架托盘，完成取货或放货。

作为本发明进一步的改进，所述安全区域包括所述激光雷达与所述红外传感器的扫描区域和所述自动叉车底部的半径区域。

作为本发明进一步的改进，所述激光雷达预警所述自动叉车行驶道路中的障碍物，所述红外传感器预警所述自动叉车车体周围空间上的障碍物。

本发明还提供了一种全向自动叉车，包括：

安装有四个麦克纳姆轮的运动车体，所述运动车体包括支撑结构、安装在所述支撑结构靠近地面的位置上的激光雷达和安装在所述支撑结构内的电池、直流电机、控制装置、中央处理器、图像处理装置、惯性测量装置、里程计、无线装置；

叉车升降装置，所述叉车升降装置包括升降结构、安装在所述叉车升降结构的顶部托盘上的多台双目立体视觉摄像头、安装在所述升降结构的底部的前置摄像头和安装在所述升降结构顶部的前后左右四个方向上的四个红外传感器；

上位机，所述上位机下发指令到所述中央处理器；

充电箱，所述充电箱对支撑结构内的所述电池进行充电；

所述上位机与所述中央处理器和所述充电箱通过所述无线装置进行通讯；

所述双目立体视觉摄像头进行360度的全方位扫描，获取所述运动车体工作环境的图像信息，通过所述图像处理装置处理获取的图像信息，结合所述惯性测量装置获取所述运动车体工作的姿态信息，构建出所述运动车体工作环境的3D地图；

所述激光雷达扫描所述运动车体行驶道路中的障碍物，所述红外传感器扫描所述运动车体周围空间上的障碍物，两者配合对所述运动车体工作中的障碍物进行预警，并向所述中央处理器发出报警信号；

所述前置摄像头扫描货架上的二维码；

所述中央处理器获取所述双目立体视觉摄像头、所述前置摄像头、所述激光雷达和所述红外传感器的信息，结合构建的3D地图信息将目标位置的坐标信息转换为指令信息，并下发指令信息给控制装置；

所述控制装置根据所述中央处理器下发的指令控制所述直流电机；

所述直流电机驱动四个麦克纳姆轮进而控制所述运动车体的工作；

所述里程计测量所述运动车体工作的行程信息。

作为本发明进一步的改进，所述双目立体视觉摄像头为5台，分别置于所述叉车升降装置顶部托盘的正上方和上下左右四个方向，形成一个金字塔的封闭空间。

作为本发明进一步的改进，四个所述红外传感器的扫描方向均为斜下方，形成一个金字塔的封闭空间。

优选的，所述激光雷达的扫描范围达180°，感应距离达7m，反应时间达60ms。

本发明的有益效果为：

1、利用多台双目立体摄像头能够快速获取更大范围的深度图像进而构建工作环境的3D地图，结合里程计和激光雷达以及前置摄像头，能有效、精确的实现起始位置、目标位置的定位，路径的灵活规划，货物的精确取放。

2、自动叉车在麦克纳姆轮的作用下，能实现平面上三自由度的全方位移动，具有零转弯半径、横向平移的能力，可以在狭窄空间内或恶劣环境中自由穿行，能够在狭小空间内进行自由平滑的全向移动，使叉车以期望的速度和方向灵活自如地移动。特别在仓库货架的取放过程中，利用此平台可以完全无需转向就能够在同一货架上取放货物。

3、通过激光雷达能预警在自动叉车行驶道路上的任何障碍物，通过红外传感器能预警自动叉车车体周围空间的障碍物，两者同时配合以保证自动叉车在工作过程中能及时有效的规避工作环境中的任何障碍物。

4、自动叉车电量低时，上位机与充电箱通过无线装置进行通讯，完成自动叉车的自动充电。

附图说明

图1为本发明的一种全向自动叉车的结构示意图。

图2为本发明的一种全向自动叉车3D立体视觉导航定位方法流程图。

图中，1、支撑结构；2、升降结构；3、激光雷达；4、双目摄像头；5、前置摄像头；6、红外传感器。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

如图1所示，本发明实施例所述的一种全向自动叉车，该自动叉车包括：

底盘上安装有四个麦克纳姆轮的运动车体，包括支撑结构1、安装在支撑结构1靠近地面的位置上的激光雷达3和安装在支撑结构1内的电池、直流电机、控制装置、中央处理器、图像处理装置、惯性测量装置、里程计、无线装置；

叉车升降装置，包括升降结构2、安装在叉车升降结构2的顶部托盘上的五台双目立体视觉摄像头4、安装在升降结构2的底部的前置摄像头5和安装在升降结构2顶部的前后左右四个方向上的四个红外传感器6，五台双目立体视觉摄像头4分别置于所述叉车升降装置顶部托盘的正上方和上下左右四个方向，形成一个金字塔的封闭空间，四个红外传感器6的扫描方向均为斜下方，形成一个金字塔的封闭空间；

上位机，上位机下发指令到中央处理器；

充电箱，充电箱对支撑结构1内的电池进行充电；

上位机与中央处理器和充电箱通过无线装置进行通讯；

五台双目立体视觉摄像头4进行360度的全方位扫描，获取运动车体工作环境的图像信息，通过图像处理装置处理获取的图像信息，结合惯性测量装置获取运动车体工作的姿态信息，构建出运动车体工作环境的3D地图；

激光雷达3扫描运动车体行驶道路中的障碍物，红外传感器6扫描运动车体周围空间上的障碍物，两者配合对运动车体工作中的障碍物进行预警，并向中央处理器发出报警信号；

前置摄像头5扫描货架上的二维码；

中央处理器获取五台双目立体视觉摄像头4、前置摄像头5、激光雷达3和四台红外传感器6的信息，结合构建的3D地图信息将目标位置的坐标信息转换为指令信息，并下发指令信息给控制装置；

控制装置根据中央处理器下发的指令控制直流电机；

直流电机驱动四个麦克纳姆轮进而控制运动车体的工作；

里程计测量运动车体工作的行程信息。

如图2所示，本发明还提供了一种全向自动叉车3D立体视觉导航定位方法，包括以下步骤：

步骤1，五台双目立体视觉摄像头4对自动叉车的工作环境进行360度扫描，获取自动叉车的工作环境的图像信息，通过图像处理装置得到自动叉车工作环境中各个像素点的3D坐标信息；

步骤2，图像处理装置通过视觉SLAM算法，结合惯性测量装置得到的自动叉车的旋转角度，生成自动叉车工作环境的3D地图；

步骤3，自动叉车通过五台双目立体视觉摄像头4获取实时图像，并根据所述3D地图对自动叉车目前所在的起始位置进行定位；

步骤4，自动叉车确定需要工作的目标位置；

步骤5，自动叉车根据目标位置按照规划路径导航到目标位置，若自动叉车在工作过程中没有遇到障碍物，执行步骤6，否则，通过激光雷达3和四个红外传感器6扫描判断障碍物是否可行，若可行则自动叉车从侧面绕过障碍物，若不可行则自动叉车停止工作，发出警报信号直至障碍物被移除；

步骤6自动叉车行驶到目标位置后，通过前置摄像头5扫描识别货架上的二维码；

步骤7，里程计和所述激光雷达3探测所述自动叉车是否正面朝向货物并对准货物，若所述自动叉车正面朝向货物并对准货物，执行步骤8，否则，所述前置摄像头5通过二维码继续校准所述自动叉车的方位直至所述自动叉车正面朝向货物并对准货物；

步骤8，自动叉车***货架托盘，完成取货或放货。

其中，安全区域包括激光雷达与红外传感器的扫描区域和自动叉车底部的半径区域。

本发明中，激光雷达3的扫描范围达180°，感应距离达7m，反应时间达60ms。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.全向自动叉车3D立体视觉导航定位方法，其特征在于，包括以下步骤：

步骤1，多台双目立体视觉摄像头对自动叉车的工作环境进行360度扫描，获取所述自动叉车的工作环境的图像信息，通过图像处理装置得到所述自动叉车工作环境中各个像素点的3D坐标信息；

步骤2，所述图像处理装置通过视觉SLAM算法，结合惯性测量装置得到的所述自动叉车的旋转角度，生成所述自动叉车工作环境的3D地图；

步骤3，所述自动叉车通过所述双目立体视觉摄像头获取实时图像，并根据所述3D地图对所述自动叉车目前所在的起始位置进行定位；

步骤4，所述自动叉车确定需要工作的目标位置；

步骤5，所述自动叉车根据目标位置通过A*算法导航到目标位置，若所述自动叉车在工作过程中没有遇到障碍物，执行步骤6，否则，通过所述激光雷达和红外传感器扫描障碍物是否在安全区域内，判断是否可行，若可行则所述自动叉车从侧面绕过障碍物，若不可行则所述自动叉车停止工作，发出警报信号直至障碍物被移除；

步骤6，所述自动叉车行驶到目标位置后，通过前置摄像头扫描识别货架上的二维码；

步骤7，里程计和所述激光雷达探测所述自动叉车是否正面朝向货物并对准货物，若所述自动叉车正面朝向货物并对准货物，执行步骤8，否则，所述前置摄像头通过二维码继续校准所述自动叉车的方位直至所述自动叉车正面朝向货物并对准货物；

步骤8，所述自动叉车***货架托盘，完成取货或放货。

2.根据权利要求1所述的一种全向自动叉车3D立体视觉导航定位方法，其特征在于，所述安全区域包括所述激光雷达与所述红外传感器的扫描区域和所述自动叉车底部的半径区域。

3.根据权利要求1所述的一种全向自动叉车3D立体视觉导航定位方法，其特征在于，所述激光雷达扫描所述自动叉车行驶道路中的障碍物，所述红外传感器扫描所述自动叉车周围空间上的障碍物。

4.一种全向自动叉车，其特征在于，包括：

安装有四个麦克纳姆轮的运动车体，所述运动车体包括支撑结构、安装在所述支撑结构靠近地面的位置上的激光雷达和安装在所述支撑结构内的电池、直流电机、控制装置、中央处理器、图像处理装置、惯性测量装置、里程计、无线装置；

叉车升降装置，所述叉车升降装置包括升降结构、安装在所述叉车升降结构的顶部托盘上的多台双目立体视觉摄像头、安装在所述升降结构的底部的前置摄像头和安装在所述升降结构顶部的前后左右四个方向上的四个红外传感器；

所述激光雷达和所述红外传感器扫描所述运动车体工作环境中的障碍物，对所述运动车体工作中的障碍物进行预警，并向所述中央处理器发出报警信号；

上位机，所述上位机下发指令到所述中央处理器；

充电箱，所述充电箱对所述电池进行充电；

所述上位机与所述中央处理器和所述充电箱通过所述无线装置进行通讯；

所述双目立体视觉摄像头进行360度的全方位扫描，获取所述运动车体工作环境的图像信息，通过所述图像处理装置处理获取的图像信息，结合所述惯性测量装置获取所述运动车体工作的姿态信息，构建出所述运动车体工作环境的3D地图；

所述激光雷达扫描所述运动车体行驶道路中的障碍物，所述红外传感器扫描所述运动车体周围空间上的障碍物，两者配合对所述运动车体工作中的障碍物进行预警，并向所述中央处理器发出报警信号；

所述前置摄像头扫描货架上的二维码；

所述中央处理器获取所述双目立体视觉摄像头、所述前置摄像头、所述激光雷达和所述红外传感器的信息，结合构建的3D地图信息将目标位置的坐标信息转换为指令信息，并下发指令信息给控制装置；

所述控制装置根据所述中央处理器下发的指令控制所述直流电机；

所述直流电机驱动四个麦克纳姆轮进而控制所述运动车体的工作；

所述里程计测量所述运动车体工作的行程信息。

5.根据权利要求4所述的一种全向自动叉车，其特征在于，所述双目立体视觉摄像头为5台，分别置于所述叉车升降装置顶部托盘的正上方和上下左右四个方向，形成一个金字塔的封闭空间。

6.根据权利要求4所述的一种全向自动叉车，其特征在于，四个所述红外传感器的扫描方向均为斜下方，形成一个金字塔的封闭空间。

7.根据权利要求4所述的一种全向自动叉车，其特征在于，所述激光雷达的扫描范围达180°，感应距离达7m，反应时间达60ms。