CN111596656A - 一种基于双目视频和磁传感器的重载agv混合导航装置 - Google Patents

一种基于双目视频和磁传感器的重载agv混合导航装置 Download PDF

Info

Publication number
CN111596656A
CN111596656A CN202010370727.4A CN202010370727A CN111596656A CN 111596656 A CN111596656 A CN 111596656A CN 202010370727 A CN202010370727 A CN 202010370727A CN 111596656 A CN111596656 A CN 111596656A
Authority
CN
China
Prior art keywords
magnetic sensor
control module
central control
vehicle
magnetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010370727.4A
Other languages
English (en)
Inventor
彭树生
张靖桢
吴礼
毕业昆
刘钧
缪擎阳
黄锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010370727.4A priority Critical patent/CN111596656A/zh
Publication of CN111596656A publication Critical patent/CN111596656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明公开了一种基于双目视频和磁传感器的重载AGV混合导航装置,包括前磁传感器、后磁传感器、前双目摄像头、后双目摄像头、单片机模块、中央控制模块和整车控制器模块。各个传感器与中央控制模块通过USB总线和CAN总线连接,中央控制模块采集各磁传感器数据,并进行处理、位姿计算、PID控制纠偏运算,将运算结果通过指令发送给整车控制器,使车辆能沿着规划路线(磁条)行驶。本发明既有磁导航方式的高精度、高稳定性,又有视觉导航的灵活性。

Description

一种基于双目视频和磁传感器的重载AGV混合导航装置
技术领域
本发明属于智能自动驾驶导航领域,具体为一种基于双目视频和磁传感器的重载AGV混合导航装置。
背景技术
自动驾驶导航是一种车辆自主沿规划路径进行自动驾驶的技术,在工业、农业中应用十分广泛。随着社会的不断发展和为了满足不同环境的需求,自动驾驶导航技术也经过长足的发展,主要可以概括为两大类:固定路径导引方式(用来导引的线路固定,改动成本较高)、自由路径导引方式(用来导引的路线不固定,可以根据实际情况进行调整)。固定路径导引主要通过在预先设定好的路线上铺设传感器感应媒介,通过车辆装载的导航传感器实时检测行驶路径,得到自身位置信息,从而调整车辆位置使其行驶在规定路线上,主要包括磁条或磁钉导引技术、电磁导引技术、光学导引技术等;自由路径导引方式是指在***中存储环境布局上的尺寸坐标,通过定位装置确定当前车***姿,并按照***规划的路径进行行驶,主要包括惯性导引技术、激光导引技术、视觉导引技术等。
就上述而言,固定路径引导方式相对简单,可靠性高且技术成熟,但前期传感器介质铺设较为麻烦,路径固定灵活性差,导致路径铺设成本以及后期维护成本较高;自由路径引导方式具有很高的适应性,应用灵活,但***复杂,成本较高。
发明内容
本发明的目的在于提出了一种基于双目视频和磁传感器的重载AGV混合导航装置。
实现本发明目的的技术方案为:一种基于双目视频和磁传感器的重载AGV混合导航装置,包括前磁传感器(a)、后磁传感器(b)、前双目摄像头(c)、后双目摄像头(d)、单片机模块(1)、中央控制模块(2)和整车控制器模块(3);
所述前磁传感器(a)、后磁传感器(b)分别设置在车辆舵轮上和驱动轮上,并在同一中轴线上;所述视觉传感器分别设置在车辆的前后边缘位置且与磁传感器在同一中轴线上;
所述前磁传感器(a)、后磁传感器(b)通过单片机模块(1)与中央控制模块(2)连接,前双目摄像头(c)、后双目摄像头(d)直接与中央控制模块(2)连接;
所述中央控制模块(2)用于根据磁传感数据和双目摄像头采集的图像数据进行相应处理获得车辆的当前位置、姿态,以及所需的转向角度和纠偏角度并向整车控制器发出执行命令;
所述整车控制器根据中央控制模块(2)发出的执行命令,驱动电机和转向电机进行驾驶导航。
优选地,所述中央控制模块模块(2)以集成箱的形式设置在左驱动轮右后方。
优选地,所述前磁传感器(a)、后磁传感器(b)分别距车辆前后边缘1.2m、1.5m。
优选地,前双目摄像头(c)、后双目摄像头(d)均与地面形成45°夹角。
优选地,所述单片机模块(1)以STM32f405为MCU连接中央控制模块模块(2)、前磁传感器(a)、后磁传感器(b)。
优选地,所述中央控制模块模块根据磁传感数据和双目摄像头采集的图像数据进行的处理包括:磁导航的位姿计算、PID控制纠偏、基于Caffe深度学习框架的转角模型训练、转角模型预测。
优选地,所述整车控制器模块(3)包括驱动组件和转向组件,整车控制器模块通过CAN总线与中央控制模块模块(2)连接,接收中央控制模块模块(2)所发送的决策指令,解读后让驱动组件电机和转向组件工作,在不同的场景让重载AGV沿着设定的路径行驶。
本发明与现有技术相比,其显著优点为:本发明采用两种导航方式相结合的方式,使用视觉导航优化了磁条导引方式在室外行驶时路径固定、铺设较麻烦、磁条易损坏和干扰的问题,而在室内时以直线或小角度拐弯为主,磁导航相比于视觉导航精度更高,同时重载AGV的前后是以成对的方式安装视觉传感器和磁传感器,更加准确和方便的进行位姿计算,并且进而进行高效和精确的纠偏,与单一的路径导引方式相比,灵活性具有较大的提高,同时对相应的算法进行不断优化,使得该混合导航装置抗干扰性能强,导航精确度高,稳定性好。
附图说明
图1为本发明的示意图。
图2为本发明的模块连接图。
图3为本发明的视觉导航流程图。
图4为本发明的磁导航流程图。
图中:1.单片机模块;2.中央控制模块模块;3.整车控制器模块;a.前磁传感器;b.后磁传感器;c.前双目摄像头;d.后双目摄像头。
具体实施方式
一种基于双目视频和磁传感器的重载AGV混合导航装置,包括前磁传感器a、后磁传感器b、前双目摄像头c、后双目摄像头d、单片机模块1、中央控制模块2和整车控制器模块3;
所述前磁传感器a、后磁传感器b分别设置在舵轮和驱动轮车辆舵轮中间的偏上位置和驱动轮中间的偏下位置,并在同一中轴线上;所述视觉传感器分别设置在车辆的前后边缘位置且与磁传感器在同一中轴线上
所述前磁传感器a、后磁传感器b通过单片机模块1与中央控制模块2连接,前双目摄像头c、后双目摄像头d直接与中央控制模块2连接;
所述中央控制模块2用于根据磁传感数据和双目摄像头采集的图像数据进行相应处理获得车辆的当前位置、姿态,以及所需的转向角度和纠偏角度并向整车控制器发出执行命令;
所述整车控制器根据中央控制模块2发出的执行命令,驱动电机和转向电机进行驾驶导航。
进一步的实施例中,所述中央控制模块模块2以集成箱的形式设置在左驱动轮右后方。
进一步的实施例中,所述前磁传感器a、后磁传感器b分别距车辆前后边缘1.2m、1.5m左右。
进一步的实施例中,前双目摄像头c、后双目摄像头d均与地面形成45°夹角。
进一步的实施例中,所述单片机模块1以STM32f405为MCU连接中央控制模块模块2、前磁传感器a、后磁传感器b。
进一步的实施例中,所述中央控制模块模块根据磁传感数据和双目摄像头采集的图像数据进行的处理包括:磁导航的位姿计算、PID控制纠偏、基于Caffe深度学习框架的转角模型训练、转角模型预测。
进一步的实施例中,所述整车控制器模块3包括驱动组件和转向组件,整车控制器模块通过CAN总线与中央控制模块模块2连接,接收中央控制模块模块2所发送的决策指令,解读后让驱动组件电机和转向组件工作,在不同的场景让重载AGV沿着设定的路径行驶。
本发明的工作过程为:
磁传感器通过单片机模块的CAN总线接口与中央控制模块的预留的CAN总线相连接,双目摄像头使用USB直接和中央控制模块的预留USB接口相连接,整车控制器通过CAN总线和中央控制模块连接,从而在车辆的行驶过程中分别把磁传感器检测到的磁传感器数据和双目摄像头拍摄的图像传送给中央控制模块,中央控制模块对磁传感数据和图像数据进行相应的处理,包括磁导航的位姿计算、PID控制纠偏,以及视觉导航的图像处理、基于卷积神经网络模型的转角模型训练、转角模型预测,从而得出当前车辆的位置、姿态,以及所需的转向角度和纠偏角度等,然后通过中央控制模块的CAN总线向整车控制器发出执行命令,驱动电机和转向电机开始工作,按照发出的指令进行自动驾驶导航。
实施例
如图1所示,一种基于双目视频和磁传感器的重载AGV混合导航装置,借用铁架把磁传感器a安装在东风平板车的舵轮附近,磁传感器b安装在驱动轮附近,且在同一中轴线,双目摄像头c和d分别车辆的前后边缘位置,与地面形成45°夹角,与磁传感器在同一中轴线上,缩小识别区域,减少环境变化带来的干扰,从而提高识别精度,提高导航精度。中央控制模块2以集成箱的形式用铁架安装在左驱动轮右后方,整车控制器3安装在中央控制模块后方。磁传感器通过单片机模块1的CAN总线接口与中央控制模块2的预留的CAN总线相连接,双目摄像头使用USB直接和中央控制模块的预留USB接口相连接,整车控制器3通过CAN总线和中央控制模块连接。
如图2所示,重载AGV进入室外,开始采用视觉导航,双目摄像头开始工作,通过运行双目摄像头驱动节点,在程序中采用subscribe函数订阅image_raw话题。将获取的话题信息转化为Mat类型文件,通过Opencv库提供的rect函数截出目标区域,采用cvtColor函数转化为灰度图,增加车道线环境的对比度。通过边缘检测Canny算法检测出车道线轮廓,经过逆透视变换后得到正视图,霍夫变换得到正视车道线图片。最后将每一帧经过处理后的图片通过write函数保存在指定路径下。
如图2所示,完成数据的采集与处理,进行转角模型预测。转角模型预测基于转角模型训练,该训练基于Caffe深度学习框架,深度学习框架的卷积神经网络结构主要由输入层、输出层以及中间的多个隐藏层组成。隐藏层主要是由数据输入层(Data Layer)、卷积层(Convolutional Layer)、激活函数(Activation Function)、池化层(Pooling Layer)、全连接层(Fully Connected Layer)等组成。采集好图片训练样本,将测试样本放入目标路径下,其中每个样本集都包含一定数量的负样本,接着生成标签文件对应不同情况下的采集图像,其次将输入图片处理后得到32×32像素大小的LMDB格式文件;为了提高图像的稳定性(降低波动性),以及提高图像分类精度,通过减去均值的方式让图像亮度下降,通过对数据进行标准化处理使均值规整,但均值文件只是针对训练集的,不针对验证集;设置好训练参数,经过卷积神经网络,最终得到在不同训练迭代次数下的训练损失结果,可以初步建立能较好地收敛的转角控制模型;在测试集上预测出的结果随着迭代次数的增加基本趋于稳定,此时可以认为该转角控制模型具有一定的准确性,然后通过caffe.hpp头文件提供的预测函数,将被测图片,转角模型,deploy.prototx文件输入其中,得到分类结果。由于测试只有前向传递过程,所以采用SoftMax分类器对处理结果进行分类。
如图2所示,完成转角模型预测之后,根据双目摄像头采集的车道线图像判断是否需要转弯,若需要,中央控制模块2对整车控制器3发出指令进行转弯,到点回正行驶,最终达到居中直线行走状态,再判断是否需要进入辅助区域,若是则停车结束,不是则进入下一个循环;若不需要,则判断是否需要纠偏,以达到居中直线行走状态,而后同样判断是否需要进入辅助区域,若是则停车结束,否则进入下一个循环。
如图3所示,室内重载AGV经过铺设有磁条的路段,前磁传感器a和后磁传感器b开始工作,根据识别CAN ID读取车辆实时运行的磁传感器数据。考虑到在预测整体车身位姿时,在相同磁条横向偏移程度的情况下底部舵轮的朝向有偏差,因此在转向控制结构中增加了绝对值编码器,用来确定此刻舵轮的偏转方向。通过参考前磁传感器a和后磁传感器b和绝对值编码器共同的数据偏差,相互结合,确定车辆的位姿,不同的情况使用不同的纠偏方式,既能减少车身摆幅,也能提高车辆的纠偏效率。
如图3所示,PID控制器的设计采用基于增量式的PID控制器。采用转速控制模式,使车辆在不同负载情况下都能保持相同的速度,从而减少负载变化带来的误差。而且加入了限幅和取整操作,使控制输出更加符合实际硬件性能。其次为了加快车辆的纠偏过程,引入了积分分离的思想。其思路是偏差值较大时,取消积分作用,变成PD控制。在完成位姿计算之后,经中央控制模块2给整车控制器3发出指令完成一次纠偏。根据车辆的行驶状态和双磁传感器采集的数据,以及绝对值编码器的值中央控制模块2进行不断地纠偏,从而能沿着磁条导航。
本发明实时采集重载车辆行驶过程中的图像数据和磁传感器数据,经中央控制模块算法处理,从而达到精确导航、实现自动行驶的装置。本发明采用视觉导引技术和磁条导引技术相结合的方式,根据不同的场景使用不同的引导方式,使得导航精度更高,鲁棒性更好。

Claims (7)

1.一种基于双目视频和磁传感器的重载AGV混合导航装置,其特征在于,包括前磁传感器(a)、后磁传感器(b)、前双目摄像头(c)、后双目摄像头(d)、单片机模块(1)、中央控制模块(2)和整车控制器模块(3);
所述前磁传感器(a)、后磁传感器(b)分别设置在车辆舵轮上和驱动轮上,并在同一中轴线上;所述视觉传感器分别设置在车辆的前后边缘位置且与磁传感器在同一中轴线上;
所述前磁传感器(a)、后磁传感器(b)通过单片机模块(1)与中央控制模块(2)连接,前双目摄像头(c)、后双目摄像头(d)直接与中央控制模块(2)连接;
所述中央控制模块(2)用于根据磁传感数据和双目摄像头采集的图像数据进行相应处理获得车辆的当前位置、姿态,以及所需的转向角度和纠偏角度并向整车控制器发出执行命令;
所述整车控制器根据中央控制模块(2)发出的执行命令,驱动电机和转向电机进行驾驶导航。
2.根据权利要求1所述的基于双目视频和磁传感器的重载AGV混合导航装置,其特征在于,所述中央控制模块模块(2)以集成箱的形式设置在左驱动轮右后方。
3.根据权利要求1所述的基于双目视频和磁传感器的重载AGV混合导航装置,其特征在于,所述前磁传感器(a)、后磁传感器(b)分别距车辆前后边缘1.2m、1.5m。
4.根据权利要求1所述的基于双目视频和磁传感器的重载AGV混合导航装置,其特征在于,前双目摄像头(c)、后双目摄像头(d)均与地面形成45°夹角。
5.根据权利要求1所述的基于双目视频和磁传感器的重载AGV混合导航装置,其特征在于,所述单片机模块(1)以STM32f405为MCU连接中央控制模块模块(2)、前磁传感器(a)、后磁传感器(b)。
6.根据权利要求1所述的基于双目视频和磁传感器的重载AGV混合导航装置,其特征在于,所述中央控制模块模块根据磁传感数据和双目摄像头采集的图像数据进行的处理包括:磁导航的位姿计算、PID控制纠偏、基于Caffe深度学习框架的转角模型训练、转角模型预测。
7.根据权利要求1所述的基于双目视频和磁传感器的重载AGV混合导航装置,其特征在于,所述整车控制器模块(3)包括驱动组件和转向组件,整车控制器模块通过CAN总线与中央控制模块模块(2)连接,接收中央控制模块模块(2)所发送的决策指令,解读后让驱动组件电机和转向组件工作,在不同的场景让重载AGV沿着设定的路径行驶。
CN202010370727.4A 2020-04-30 2020-04-30 一种基于双目视频和磁传感器的重载agv混合导航装置 Pending CN111596656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010370727.4A CN111596656A (zh) 2020-04-30 2020-04-30 一种基于双目视频和磁传感器的重载agv混合导航装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010370727.4A CN111596656A (zh) 2020-04-30 2020-04-30 一种基于双目视频和磁传感器的重载agv混合导航装置

Publications (1)

Publication Number Publication Date
CN111596656A true CN111596656A (zh) 2020-08-28

Family

ID=72192120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010370727.4A Pending CN111596656A (zh) 2020-04-30 2020-04-30 一种基于双目视频和磁传感器的重载agv混合导航装置

Country Status (1)

Country Link
CN (1) CN111596656A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113203408A (zh) * 2021-05-21 2021-08-03 山东新一代信息产业技术研究院有限公司 一种基于地板传感器预测机器人位置的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶***的传感器模块、自动驾驶***及方法
CN108406731A (zh) * 2018-06-06 2018-08-17 珠海市微半导体有限公司 一种基于深度视觉的定位装置、方法及机器人
CN108762276A (zh) * 2018-06-07 2018-11-06 安徽理工大学 一种agv小车的自动偏轨校正装置和自动偏轨校正方法
CN209008730U (zh) * 2018-10-24 2019-06-21 湖北三江航天万山特种车辆有限公司 一种基于视觉传感器的重型导引车
CN110054115A (zh) * 2018-01-19 2019-07-26 安吉汽车物流股份有限公司 一种车辆自动搬运导引运输车及导引运输***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶***的传感器模块、自动驾驶***及方法
CN110054115A (zh) * 2018-01-19 2019-07-26 安吉汽车物流股份有限公司 一种车辆自动搬运导引运输车及导引运输***
CN108406731A (zh) * 2018-06-06 2018-08-17 珠海市微半导体有限公司 一种基于深度视觉的定位装置、方法及机器人
CN108762276A (zh) * 2018-06-07 2018-11-06 安徽理工大学 一种agv小车的自动偏轨校正装置和自动偏轨校正方法
CN209008730U (zh) * 2018-10-24 2019-06-21 湖北三江航天万山特种车辆有限公司 一种基于视觉传感器的重型导引车

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113203408A (zh) * 2021-05-21 2021-08-03 山东新一代信息产业技术研究院有限公司 一种基于地板传感器预测机器人位置的方法

Similar Documents

Publication Publication Date Title
CN106680290B (zh) 狭窄空间的多功能检测车
CN111986506B (zh) 基于多视觉***的机械式停车位泊车方法
CN201926927U (zh) 智能循迹小车
CN111158355A (zh) 自动导航云服务器及自动导航控制方法
CN110696818A (zh) 一种基于最优路径的自动泊车方法及***
CN109066861A (zh) 基于机器视觉的智能巡检机器人自动充电控制方法
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航***及方法
CN112819943B (zh) 一种基于全景相机的主动视觉slam***
US20210190526A1 (en) System and method of generating high-definition map based on camera
CN107807651B (zh) 一种移动机器人的自充电控制***和方法
CN112068574A (zh) 一种无人车在动态复杂环境中的控制方法及***
CN108459600A (zh) 一种agv小车的视觉导航***
CN111813114A (zh) 智能小车视觉导航方法
CN111476166A (zh) 一种地面巡检机器人自助充电对准方法
CN111930125A (zh) 适用于agv的低成本障碍物检测装置及方法
Tomono et al. Mobile robot navigation in indoor environments using object and character recognition
CN111596656A (zh) 一种基于双目视频和磁传感器的重载agv混合导航装置
CN112462762B (zh) 一种基于路侧二维码单元的机器人室外自主移动***及其方法
CN207516258U (zh) 狭窄空间的多功能检测车
KR102275083B1 (ko) 이동 로봇 시스템 및 자동 충전을 위한 이동 로봇의 귀소 방법
US11086332B2 (en) Navigation method and system
CN109032125B (zh) 一种视觉agv的导航方法
CN109909989A (zh) 一种沙滩垃圾收集机器人
Kanbara et al. Selection of efficient landmarks for an autonomous vehicle
CN113673462B (zh) 一种基于车道线的物流agv定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828