CN110716559A - 一种用于商场超市拣货机器人的综合控制方法 - Google Patents
一种用于商场超市拣货机器人的综合控制方法 Download PDFInfo
- Publication number
- CN110716559A CN110716559A CN201911153026.9A CN201911153026A CN110716559A CN 110716559 A CN110716559 A CN 110716559A CN 201911153026 A CN201911153026 A CN 201911153026A CN 110716559 A CN110716559 A CN 110716559A
- Authority
- CN
- China
- Prior art keywords
- robot
- obstacle
- goods
- target
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 238000002372 labelling Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 8
- 239000012530 fluid Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 241000531116 Blitum bonus-henricus Species 0.000 claims description 3
- 235000008645 Chenopodium bonus henricus Nutrition 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 description 25
- 238000010276 construction Methods 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000011541 reaction mixture Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种用于商场超市拣货机器人的综合控制方法，包括1)采用激光雷达和单目相机结合的方式构建环境地图；利用gmapping算法增量式构建环境地图，并对当前帧的环境图像进行回环检测，在构建环境地图的过程中利用贝叶斯滤波算法计算货架的位置坐标；2)采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；利用融合A*算法和DWA算法进行全局最优路径规划，采用匀速直线行进的方式进行局部匀速路径规划；3)基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障；4)基于单目相机的目标识别，包括图像标注和数据集的训练。该方法能够实现大场景下机器人的拣货送货，不仅大大降低了对人力的需求，而且提高了场景的适应性。
Description
技术领域
本发明涉及机器人自动控制领域，尤其涉及一种用于商场超市拣货机器人的综合控制方法。
背景技术
随着服务机器人逐渐进入人们的生活，尤其是近年来电商业的快速发展，拣货机器人应运而生。拣货机器人一般能根据拣货单自动完成货物的定位、识别和捡取，并将捡取的货物运送至指定位置，进而取代繁重的人工劳动，实现无人化的货物拣选作业。为保证拣货机器人顺利完成前述动作，一套实现拣货机器人各部分之间相互协调工作的控制方法显得尤为重要。
申请号201811371601.8的中国专利公开了一种基于机器人的物流分区拣选方法、装置、终端、***及存储介质，机器人获得货物的货位信息后，再通过获取货位信息所映射的机器人的拣货位信息，再规划机器人的行进路径，该方法需要提前统计所有货物的位置信息，但是由于超市货架摆放的商品种类繁多，商品位置变化频率快，每次统计商品位置信息耗时多，人力消耗大，因此该方法并不适用于复杂环境的超市。
申请号201710295472.8的中国专利公开了一种机器人的控制***，包括障碍物检测模块、障碍物处理模块和导航控制模块，通过背景建模的方法或帧差法检测障碍物是否运动，静态障碍物会影响路径规划，机器人绕开障碍物行走；动态障碍物不影响机器人路径规划，机器人靠近动态障碍物时减速，并试图穿过动态障碍物行走；机器人需等待障碍物自动消除后再行走，影响拣货效率，因此该方法并不适用于超市等障碍物较多的复杂场合。
发明内容
针对现有技术的不足，本发明拟解决的问题是，提供一种用于商场超市拣货机器人的综合控制方法，该方法集地图构建、路径规划、动态避障、目标识别、信息通信于一体，能够实现大场景下机器人的拣货送货，不仅大大降低了对人力的需求，而且提高了场景的适应性。
本发明解决所述技术问题采用的技术方案是，提供一种用于商场超市拣货机器人的综合控制方法，该方法包含以下内容：
一、采用激光雷达和单目相机结合的方式构建环境地图；利用gmapping算法增量式构建环境地图，并对当前帧的环境图像进行回环检测，在构建环境地图的过程中利用贝叶斯滤波算法计算货架的位置坐标；
二、采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；利用融合A*算法和DWA算法进行全局最优路径规划，采用匀速直线行进的方式进行局部匀速路径规划；
三、基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障，保证机器人不会因避障绕行而错捡漏捡；
四、基于单目相机的目标识别，包括图像标注和数据集的训练。
步骤一中计算货架的位置坐标的过程是：上位机采用SSD算法检测货架；检测出货架后，结合单目相机与激光雷达的相对安装位置，利用贝叶斯滤波算法计算货架的位置坐标，贝叶斯滤波算法满足公式1)：
xt～p(xt|w1：t，v1：t) 1)
式1)中，xt为货架在t时刻的位置坐标；w1：t表示从初始状态到t时刻货架相对于激光雷达的位置坐标；v1：t表示从初始状态到t时刻货架相对于单目相机的位置坐标；p(xt|w1：t，v1：t)为用货架相对于激光雷达以及单目相机的位置表示货架的位置坐标。
对机器人从起始位置运动至目标货架起点之间、从上一目标货架终点运动至下一目标货架起点之间以及机器人从拣货完成位置运动至中转箱之间的路径进行全局最优路径规划，对机器人从目标货架起点至该目标货架终点之间的路径进行局部匀速路径规划。
步骤四中图像标注的过程是：先对每种商品选取相同数量的图像进行人工标注，为***提供初始训练数据集；
然后采用流体标注对所有商品剩余的图像进行自动标注，使用Q-learning线程计算流体标注图像边界两侧的像素值，并对两侧的像素值之差进行评价，计算划分收益并设定收益阈值，以设定的收益阈值为评价标准，选出标注合格的图像；人工再次对完成自动标注的图像进行复筛，完成所有图像的标注；上述所有标注合格的图像组成数据集；
采用分布式机器学习***SPARK，通过YOLO自带的darknet脚本对数据集进行训练；利用YOLOV3线程进行目标检测，并采用ResNet-101对YOLOV3线程的识别结果进行优化。
非拣货避障的具体过程为：(1)机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按全局最优路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，机器人报障；若正后端不存在障碍物，则机器人后退一段距离；机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物；若前端右侧不存在障碍物，机器人向右侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；
拣货避障：(1)机器人从目标货架起点运动到该目标货架终点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按预定的路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，则机器人报障；若正后端不存在障碍物，则机器人后退一段距离；然后机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向右侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；当剩余目标货架都检完后，机器人判断商品目录是否都检到，如果未捡完所有目标商品则机器人返回拣货失败的目标货架，对该目标货架进行重新拣货。
该方法还包括基于ROS机器人操作***的实时通信，即机器人控制***的通信机制；
机器人启动，使用激光雷达和单目相机构建环境地图，上位机计算所有货架的坐标，机器人获取商品目录开始拣货；根据所有货架的坐标预估目标货架的位置并读取目标货架的起点与终点，根据目标货架的起点与终点计算机器人的起点与终点并进行局部匀速路径规划，使机器人到达初始目标货架起点；机器人沿着目标货架匀速运动，单目相机进行目标识别；
当该目标货架上不存在商品目录中的目标商品时，机器人继续运动；当存在目标商品时，机器人检测目标商品是否在视野正中，如果不在视野正中则继续运动，如果在视野正中机器人停止运动，机器人的机械臂开始拣货；拣货成功后从商品目录中剔除已拣商品，拣货不成功则机器人后退一定距离，重新拣货；
机器人在运动过程中依靠超声波传感器检测是否存在障碍物，若前进方向不存在障碍物则继续运动；若前进方向存在障碍物，机器人停止运动等待障碍物消除，一段时间后再次检测前进方向是否存在障碍物；若不存在，机器人继续运动；若存在则判断机器人目前是否正在进行拣货，并启动相应的避障措施；直到机器人完成商品目录中所有商品的拣货。
与现有技术相比，本发明的有益效果是：
1)本发明针对商场超市的大场景环境，采用激光雷达和单目相机相结合的方式构建环境地图，并对环境信息进行回环检测，避免误匹配；采用贝叶斯滤波算法计算货架在环境地图中的位置坐标，实现货架的自动标注。
2)传统的路径规划方法仅考虑时间或路径最优，而忽视机器人执行任务时所需的路径需求；本发明提出全局最优路径规划和局部匀速路径规划相结合的方式，保证机器人在货架前拣货过程中匀速行走，增加机器人行进的稳定性，使单目相机更加准确地识别目标商品。
3)针对商超环境，不仅是单纯的避开障碍物，而是与拣货过程中的目标识别相结合，针对拣货和未拣货场景提出不同避障方式，保证机器人不会因避障绕行而错捡漏捡。
4)改进了传统的YOLO算法，在YOLOV3的目标识别之后使用ResNet-101对识别结果进行优化，提高多光照强度和背景下识别小体积商品的准确性；该目标识别能更好适应商品种类繁多和摆放不规律的情景。
5)基于ROS机器人操作***提出一种各***协作工作的机制，保证了整个***的稳定运行；本发明集地图构建、路径规划、动态避障、目标识别、信息通信于一体，能够实现大场景下机器人的拣货送货，不仅大大降低了对人力的需求，而且提高了场景的适应性。
6)本发明适用于超市或仓储环境的无人作业。
附图说明
图1为本发明的机器人的通信机制；
图2为本发明的机器人的避障流程图。
具体实施方式
为了使本发明更加通俗易懂，下文将结合实施例及附图进一步阐述本发明。
本发明提供了一种用于商场超市拣货机器人的综合控制方法，包括以下内容：
拣货机器人的拣货***包括激光雷达、单目相机、四个超声波传感器、Arduino开发板和上位机；激光雷达和单目相机均设在机器人的前端，激光雷达的扫描平面与货架层板所在的平面等高；两个超声波传感器分别安装在机器人的正前端和正后端，另外两个超声波传感器安装在机器人的前端左侧、前端右侧，分别与机器人的左右轴线呈30°夹角；Arduino开发板和上位机均设在机器人上；上位机分别与激光雷达、单目相机、超声波传感器和Arduino开发板通信连接，上位机中储存有机器人的控制程序；
一、采用激光雷达和单目相机结合的方式构建环境地图；激光雷达用于扫描环境信息，单目相机用于提取环境图像；
S1、上位机采用gmapping算法增量式构建环境地图，具体步骤为：
步骤一：将环境信息抽象为粒子状态信息，粒子状态信息用公式(1)描述为：
p(x1：t，m|z1：t，u1：t-1)＝p(m|x1：t，z1：t)·p(x1：t|z1：t，u1：t-1) (1)
式(1)中，x1：t为机器人从初始状态到t时刻的位姿；m为环境地图的状态数据；z1：t表示激光雷达从初始状态到t时刻的观测数据；u1：t-1表示从初始状态到t-1时刻控制***发给机器人的控制数据；p(m|x1：t，z1：t)表示环境地图在t时刻的状态分布；p(x1：tz1：t，u1：t-1)表示从初始状态到t时刻机器人的位姿；p(x1：t，m|z1：t，u1：t-1)为用从初始状态到t-1时刻的控制***控制机器人进行的数据和激光雷达的观测数据表示机器人位姿和环境地图的状态分布；
步骤二：计算每个粒子的权重，以供步骤三的重采样使用；
由于粒子要覆盖机器人的全部运动状态空间，而其中只有一小部分粒子符合要求，采用公式(2)计算每个粒子的权重；
式(2)中，
表示t时刻任意粒子的权重；
表示t-1时刻任意粒子的权重；xj表示运动状态空间峰值附近(接近真实状态)的机器人位姿；Zt表示t-1时刻激光雷达的观测数据；
表示t-1时刻环境地图的状态数据；
表示t-1时刻机器人的位姿；ut-1表示t-1时刻控制***给机器人的控制数据；K表示运动状态空间峰值附近粒子的个数；为用t-1时刻环境地图的状态数据、机器人位姿和控制机器人的控制数据表示运动状态空间峰值附近激光雷达的观测数据；
为用t-1时刻环境地图的状态数据表示运动状态空间峰值附近激光雷达的观测数据；
为用t-1时刻机器人的位姿和机器人的控制数据表示运动状态空间峰值附近的机器人位姿；
步骤三：对粒子进行重采样，筛选符合实际场景环境的粒子；采用粒子表示环境地图状态分布时，需要把权重小的粒子丢弃，保留权重大的粒子并复制，使粒子收敛到真实状态附近；为了筛选出与真实状态相近的粒子，需对权重变化超过阈值的粒子进行重采样，重采样的标准满足公式(3)；阈值为N/2，N为采集到的粒子个数；
式(3)中，
表示任意粒子的权重；N表示采集到的粒子个数；当Neff大于阈值时，表示粒子权重与真实值的差距越小，当所有粒子权重都一样时这些粒子恰好可以表示真实分布；当Neff小于阈值时，表示粒子权重与真实值的差距很大，需要对粒子进行重采样；
通过步骤一至步骤三获得t时刻的环境地图，重复执行步骤一至步骤三，完成增量式构建室内环境地图；在此过程中机器人实时更新自身位姿，实现了自定位的目的；
S2、采用ORB-SLAM2算法的LOOPCLOSING线程对当前帧的环境图像进行回环检测；
利用单目相机采集每一帧的环境图像，上位机采用ORB特征描述算法分别对每帧的环境图像提取特征点，当同一环境图像的特征点满足一定数量(至少为30个)为关键帧，并将所有关键帧加入词袋模型；
上位机采用ORB-SLAM2算法的LOOPCLOSING线程匹配单目相机采集的当前帧和词袋模型中的关键帧，对当前帧进行回环检测，即对当前帧与词袋模型中的关键帧进行匹配，将当前帧生成的地图与上一帧生成的地图进行匹配；若回环检测成功，上位机引导gmapping算法匹配回环检测成功的关键帧对应的机器人位置点，实现机器人路径的闭合，以消除机器人在构建环境地图中的累计误差，实现环境地图的校正，为拣货机器人更加精准的避障和导航提供基础；若回环检测失败，上位机继续对回环检测失败的帧进行回环检测；
S3、采用贝叶斯滤波算法计算货架的位置坐标；在构建环境地图的过程中，上位机采用SSD算法检测货架；检测出货架后，结合单目相机与激光雷达的相对安装位置，利用贝叶斯滤波算法计算货架的位置坐标，贝叶斯滤波算法满足公式(4)：
xt～p(xt|w1：t，v1：t) (4)
式(4)中，xt为货架在t时刻的位置坐标；w1：t表示从初始状态到t时刻货架相对于激光雷达的位置坐标；v1：t表示从初始状态到t时刻货架相对于单目相机的位置坐标；p(xt|w1：t，v1：t)为用货架相对于激光雷达以及单目相机的位置表示货架的位置坐标；
gmapping算法体现激光雷达与货架的相对位置，SSD算法体现单目相机与货架的相对位置，结合单目相机与激光雷达的相对安装位置，可以实时计算货架在环境地图中的位置坐标，实现货架的位置自动标注；
由于激光雷达扫描区域为一定高度的平面，而商场超市的货架支脚比较细小，难以被激光雷达扫描，故本算法将激光雷达的扫描平面设置为货架层板所在的平面，使货架更加容易识别；由于货架位置信息已经被扫描到环境地图上，上位机计算货架在环境地图中的位置坐标，因此不需要在地图上手动标注货架位置坐标；
在大场景范围内构建环境地图，如果只使用激光雷达和gmapping算法，缺少回环检测，并且商场超市货架较为类似，货架之间容易发生误匹配；如果只使用单目相机，构建环境地图易受到光照等环境因素影响，难以构建大场景环境地图，故本发明使用激光雷达和单目相机相结合的方式构建环境地图；
此部分的主要创新点为：采用ORB-SLAM2的LOOPCLOSING线程对gmapping算法构建的环境地图进行回环检测，增加建图精度；采用贝叶斯滤波算法计算货架的位置坐标，实现货架坐标在环境地图中的自动标注，取代了人工标注；
二、采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；
1)全局最优路径规划：采用融合A*算法和DWA算法对机器人从起始位置运动至目标货架起点之间、从上一目标货架终点运动至下一目标货架起点之间以及机器人从拣货完成位置运动至中转箱之间的路径进行全局最优路径规划；
2)局部匀速路径规划：采用匀速直线行进的方式对机器人从目标货架起点至该目标货架终点之间的路径进行局部匀速路径规划，机器人沿着局部匀速路径作匀速直线运动；
此部分的主要创新点为：传统的仓储物流领域，需要在机器人运动路径上预先铺设磁条或张贴二维码，以实现机器人按照设定路径运动；本发明中机器人只需要读取货架起点和终点坐标，实现匀速直线行进，不需要在机器人行进路径上铺设外部辅助设备；
传统的路径规划方法仅考虑时间或路径最优，而忽视机器人执行任务时所需的路径需求；本发明提出全局最优路径规划和局部匀速路径规划相结合的方式，保证机器人在货架前拣货过程中匀速行走，增加机器人行进的稳定性，使单目相机更加准确地识别目标商品；
三、基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障；
非拣货避障：(1)机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后(5s左右)，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按全局最优路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，机器人报障；若正后端不存在障碍物，则机器人后退一段距离(一般为两倍机器人底盘长度)，以保证机器人避障过程中不会碰撞障碍物；机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物；若前端右侧不存在障碍物，机器人向右侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；
拣货避障：(1)机器人从目标货架起点运动到该目标货架终点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后(5s左右)，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按预定的路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，则机器人报障；若正后端不存在障碍物，则机器人后退一段距离(一般为机器人底盘长度的两倍)，以保证机器人避障过程中不会碰撞障碍物；然后机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向右侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；当剩余目标货架都检完后，机器人判断商品目录是否都检到，如果未捡完所有目标商品则机器人返回拣货失败的目标货架，对该目标货架进行重新拣货；
此部分的障碍物一般为拣货机器人；
综上所述，此部分的主要创新点为：针对商超环境，不仅是单纯的避开障碍物，而是与拣货过程中的目标识别相结合，针对拣货和未拣货场景提出不同避障方式，保证机器人不会因避障绕行而错捡漏捡；
四、基于单目相机的目标识别；
使用单目相机采集商品的图像数据，同时采集同一商品在不同角度、光照、背景下的多张图片，增加图像数据的丰富性，提高目标识别的成功率；对采集的所有图像进行高斯模糊和锐化，保证单目相机在运动过程中，即使拍摄的图像不清晰，也可以实现准确快速的目标识别；
图像标注：先对每种商品选取相同数量的图像进行人工标注，为***提供初始训练数据集；
然后采用流体标注对所有商品剩余的图像进行自动标注，提高图像标注的效率；针对流体标注中边界不准的问题，使用Q-learning线程计算流体标注图像边界两侧的像素值，并对两侧的像素值之差进行评价，计算划分收益并设定收益阈值，以设定的收益阈值为评价标准对标注结果进行评价和筛选，选出标注合格的图像；若划分收益大于或等于收益阈值，表示图像标注合格；若划分收益小于收益阈值，表示图像标注不合格，标注不合格的图像重新进入自动标注线程进行循环标注，直到每种商品标注合格的图像达到数量要求，数量要求取决于识别精度；若循环标注后某种商品标注合格的图像仍未达到数量要求，则需要对此种商品补充采集图像，并对补充的图像进行自动标注与筛选，直到此种商品标注合格的图像达到数量要求，完成图像的自动标注；
人工再次对完成自动标注的图像进行复筛，完成所有图像的标注；所有标注合格的图像组成数据集；
数据集的训练：采用分布式机器学习***SPARK，通过YOLO自带的darknet脚本对数据集进行训练，实现多线程共同训练数据以提高训练的速度；使用单目相机实时扫描货架上的商品，上位机利用YOLOV3线程进行目标检测；YOLOV3线程对小体积商品具有很好的鲁棒性，对小体积商品感知不准确，故在YOLOV3线程的目标识别之后采用ResNet-101对YOLOV3线程的识别结果进行优化，防止对小体积商品识别不明显，以提高多光照强度和背景下识别小体积商品的准确性，避免当使用环境背景加深时，匹配误差变大，识别结果不准确的问题，ResNet-101可以保证目标识别的速度最优；
此部分的主要创新点为：首先，为减少人工标注图像的工作量，对图像进行自动标注；针对图像自动标注中存在的边界不准问题，引入Q-learning线程对自动标注结果进行评价，筛选出标注合格的图像；其次，引入分布式机器学习***对图像进行训练，以提高训练速度；最后，在采用YOLOV3线程进行目标识别的基础上，通过ResNet-101对目标识别进行优化，降低目标识别的误差，提高对小体积物体识别的准确性；
五、基于ROS(机器人软件平台)机器人操作***的实时通信，即机器人控制***的通信机制；
机器人启动，使用激光雷达和单目相机构建环境地图，上位机计算所有货架的坐标，机器人获取商品目录开始拣货；根据所有货架的坐标预估目标货架的位置并读取目标货架的起点与终点，根据目标货架的起点与终点计算机器人的起点与终点并进行路径规划，使机器人到达初始目标货架起点位置；机器人沿着目标货架匀速运动，此时单目相机开启进行目标识别；
当该目标货架上不存在商品目录中的目标商品时，机器人继续运动；当存在目标商品时，机器人检测目标商品是否在视野正中，如果不在视野正中则继续运动，如果在视野正中机器人停止运动，机器人的机械臂开始拣货；拣货成功后从商品目录中剔除已拣商品，拣货不成功则表明机器人依靠惯性前进太多，错过了目标商品，则机器人后退一定距离，重新拣货；
机器人在运动过程中依靠超声波传感器检测是否存在障碍物，若前进方向不存在障碍物则继续运动；若前进方向存在障碍物，机器人停止运动等待障碍物消除，一段时间(5S)后再次检测前进方向是否存在障碍物；若不存在，机器人继续运动；若存在则判断机器人目前是否正在进行拣货；
如果正在拣货，则检测机器人其他方向(正后端、前端左侧和前端右侧)是否存在障碍物；只要正后端存在障碍物则进行报障，若前端左侧、正后端或前端右侧、正后端没有障碍物则机器人绕开障碍物运动至下一目标货架；
如果不是在拣货(机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点过程中)，继续检测机器人后方是否存在障碍物，若存在则进行报障；若不存在则检测机器人左、右(前端左侧、前端右侧)是否存在障碍物；若不存在则机器人避障绕行进行前进，若均存在则进行报障处理；
此部分的主要创新点为：针对商超环境，基于ROS机器人操作***提出一套机器人的通信机制，保证各部分之间的协调工作，使机器人安全平稳运行。
本发明未述及之处适用于现有技术。
Claims (6)
1.一种用于商场超市拣货机器人的综合控制方法，其特征在于，该方法包含以下内容：
一、采用激光雷达和单目相机结合的方式构建环境地图；利用gmapping算法增量式构建环境地图，并对当前帧的环境图像进行回环检测，在构建环境地图的过程中利用贝叶斯滤波算法计算货架的位置坐标；
二、采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；利用融合A*算法和DWA算法进行全局最优路径规划，采用匀速直线行进的方式进行局部匀速路径规划；
三、基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障，保证机器人不会因避障绕行而错捡漏捡；
四、基于单目相机的目标识别，包括图像标注和数据集的训练。
2.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，步骤一中计算货架的位置坐标的过程是：上位机采用SSD算法检测货架；检测出货架后，结合单目相机与激光雷达的相对安装位置，利用贝叶斯滤波算法计算货架的位置坐标，贝叶斯滤波算法满足式1)：
xt～p(xt|w1：tv1：t) 1)
式1)中，xt为货架在t时刻的位置坐标；w1：t表示从初始状态到t时刻货架相对于激光雷达的位置坐标；v1：t表示从初始状态到t时刻货架相对于单目相机的位置坐标；p(xt|w1： tv1：t)为用货架相对于激光雷达以及单目相机的位置表示货架的位置坐标。
3.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，对机器人从起始位置运动至目标货架起点之间、从上一目标货架终点运动至下一目标货架起点之间以及机器人从拣货完成位置运动至中转箱之间的路径进行全局最优路径规划，对机器人从目标货架起点至该目标货架终点之间的路径进行局部匀速路径规划。
4.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，步骤四中图像标注的过程是：先对每种商品选取相同数量的图像进行人工标注，为***提供初始训练数据集；
然后采用流体标注对所有商品剩余的图像进行自动标注，使用Q-learning线程计算流体标注图像边界两侧的像素值，并对两侧的像素值之差进行评价，计算划分收益并设定收益阈值，以设定的收益阈值为评价标准，选出标注合格的图像；人工再次对完成自动标注的图像进行复筛，完成所有图像的标注；上述所有标注合格的图像组成数据集；
采用分布式机器学习***SPARK，通过YOLO自带的darknet脚本对数据集进行训练；利用YOLO V3线程进行目标检测，并采用ResNet-101对YOLO V3线程的识别结果进行优化。
5.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，非拣货避障的具体过程为：(1)机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按全局最优路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，机器人报障；若正后端不存在障碍物，则机器人后退一段距离；机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物；若前端右侧不存在障碍物，机器人向右侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；
拣货避障：(1)机器人从目标货架起点运动到该目标货架终点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按预定的路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，则机器人报障；若正后端不存在障碍物，则机器人后退一段距离；然后机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向右侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；当剩余目标货架都检完后，机器人判断商品目录是否都检到，如果未捡完所有目标商品则机器人返回拣货失败的目标货架，对该目标货架进行重新拣货。
6.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，该方法还包括基于ROS机器人操作***的实时通信，即机器人控制***的通信机制；
机器人启动，使用激光雷达和单目相机构建环境地图，上位机计算所有货架的坐标，机器人获取商品目录开始拣货；根据所有货架的坐标预估目标货架的位置并读取目标货架的起点与终点，根据目标货架的起点与终点计算机器人的起点与终点并进行局部匀速路径规划，使机器人到达初始目标货架起点；机器人沿着目标货架匀速运动，单目相机进行目标识别；
当该目标货架上不存在商品目录中的目标商品时，机器人继续运动；当存在目标商品时，机器人检测目标商品是否在视野正中，如果不在视野正中则继续运动，如果在视野正中机器人停止运动，机器人的机械臂开始拣货；拣货成功后从商品目录中剔除已拣商品，拣货不成功则机器人后退一定距离，重新拣货；
机器人在运动过程中依靠超声波传感器检测是否存在障碍物，若前进方向不存在障碍物则继续运动；若前进方向存在障碍物，机器人停止运动等待障碍物消除，一段时间后再次检测前进方向是否存在障碍物；若不存在，机器人继续运动；若存在则判断机器人目前是否正在进行拣货，并启动相应的避障措施；直到机器人完成商品目录中所有商品的拣货。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911153026.9A CN110716559B (zh) | 2019-11-22 | 2019-11-22 | 一种用于商场超市拣货机器人的综合控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911153026.9A CN110716559B (zh) | 2019-11-22 | 2019-11-22 | 一种用于商场超市拣货机器人的综合控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110716559A true CN110716559A (zh) | 2020-01-21 |
| CN110716559B CN110716559B (zh) | 2022-07-29 |
Family
ID=69215498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911153026.9A Active CN110716559B (zh) | 2019-11-22 | 2019-11-22 | 一种用于商场超市拣货机器人的综合控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110716559B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112161624A (zh) * | 2020-09-11 | 2021-01-01 | 上海高仙自动化科技发展有限公司 | 标记方法、标记装置、智能机器人及可读存储介质 |
| CN112241171A (zh) * | 2020-10-09 | 2021-01-19 | 国网江西省电力有限公司检修分公司 | 一种可绕障碍的轮式机器人直线轨迹跟踪方法 |
| CN112904855A (zh) * | 2021-01-19 | 2021-06-04 | 四川阿泰因机器人智能装备有限公司 | 基于改进动态窗口的跟随机器人局部路径规划方法 |
| CN114227683A (zh) * | 2021-12-23 | 2022-03-25 | 江苏木盟智能科技有限公司 | 机器人控制方法、***、终端设备和存储介质 |
| CN114723154A (zh) * | 2022-04-18 | 2022-07-08 | 淮阴工学院 | 一种智慧超市 |
| WO2023124621A1 (zh) * | 2021-12-31 | 2023-07-06 | 追觅创新科技(苏州)有限公司 | 一种基于障碍标记的路径规划方法、***及自移动机器人 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109634267A (zh) * | 2017-10-09 | 2019-04-16 | 北京瑞悟科技有限公司 | 一种用于商场超市智能拣货送货机器人 |
| CN110465928A (zh) * | 2019-08-23 | 2019-11-19 | 河北工业大学 | 一种仓储商品取放移动平台及该移动平台的路径规划方法 |
-
2019
- 2019-11-22 CN CN201911153026.9A patent/CN110716559B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109634267A (zh) * | 2017-10-09 | 2019-04-16 | 北京瑞悟科技有限公司 | 一种用于商场超市智能拣货送货机器人 |
| CN110465928A (zh) * | 2019-08-23 | 2019-11-19 | 河北工业大学 | 一种仓储商品取放移动平台及该移动平台的路径规划方法 |
Non-Patent Citations (4)
| Title |
|---|
| JAKUB HVĚZDA等: "Context-Aware Route Planning for Automated Warehouses", 《2018 21ST INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 * |
| 唐淑华等: "电商仓库拣货机器人路径规划与实现", 《物流技术》 * |
| 王晓彤等: "基于单目天花板视觉的扫地机器人定位算法设计及实现", 《微电子学与计算机》 * |
| 陈至坤等: "移动机器人目标路径规划的仿真研究", 《计算机仿真》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112161624A (zh) * | 2020-09-11 | 2021-01-01 | 上海高仙自动化科技发展有限公司 | 标记方法、标记装置、智能机器人及可读存储介质 |
| CN112241171A (zh) * | 2020-10-09 | 2021-01-19 | 国网江西省电力有限公司检修分公司 | 一种可绕障碍的轮式机器人直线轨迹跟踪方法 |
| CN112904855A (zh) * | 2021-01-19 | 2021-06-04 | 四川阿泰因机器人智能装备有限公司 | 基于改进动态窗口的跟随机器人局部路径规划方法 |
| CN112904855B (zh) * | 2021-01-19 | 2022-08-16 | 四川阿泰因机器人智能装备有限公司 | 基于改进动态窗口的跟随机器人局部路径规划方法 |
| CN114227683A (zh) * | 2021-12-23 | 2022-03-25 | 江苏木盟智能科技有限公司 | 机器人控制方法、***、终端设备和存储介质 |
| CN114227683B (zh) * | 2021-12-23 | 2024-02-09 | 江苏木盟智能科技有限公司 | 机器人控制方法、***、终端设备和存储介质 |
| WO2023124621A1 (zh) * | 2021-12-31 | 2023-07-06 | 追觅创新科技(苏州)有限公司 | 一种基于障碍标记的路径规划方法、***及自移动机器人 |
| CN114723154A (zh) * | 2022-04-18 | 2022-07-08 | 淮阴工学院 | 一种智慧超市 |
| CN114723154B (zh) * | 2022-04-18 | 2024-05-28 | 淮阴工学院 | 一种智慧超市 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110716559B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110716559B (zh) | 一种用于商场超市拣货机器人的综合控制方法 | |
| CN112014857B (zh) | 用于智能巡检的三维激光雷达定位导航方法及巡检机器人 | |
| CN112476434B (zh) | 一种基于协作机器人的视觉3d取放方法及*** | |
| CN111462135B (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN110163904B (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
| CN107741234B (zh) | 一种基于视觉的离线地图构建及定位方法 | |
| CN113537208B (zh) | 一种基于语义orb-slam技术的视觉定位方法及*** | |
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| CN111664843A (zh) | 一种基于slam的智能仓储盘点方法 | |
| CN111496770A (zh) | 基于3d视觉与深度学习的智能搬运机械臂***及使用方法 | |
| KR20200041355A (ko) | 마커를 결합한 동시 위치결정과 지도작성 내비게이션 방법, 장치 및 시스템 | |
| CN110560373B (zh) | 一种多机器人协作分拣运输方法及*** | |
| CN106379684A (zh) | 一种潜入式agv对接方法及***以及潜入式agv | |
| CN112363158B (zh) | 机器人的位姿估计方法、机器人和计算机存储介质 | |
| CN111523545B (zh) | 一种结合深度信息的物品查找方法 | |
| CN112101389B (zh) | 仓储货物测量方法和装置 | |
| US11995852B2 (en) | Point cloud annotation for a warehouse environment | |
| CN116075818B (zh) | 走查视频中的图像搜索 | |
| CN112605993B (zh) | 基于双目视觉引导的自动抓取档案机器人控制***及方法 | |
| CN114047750A (zh) | 一种基于移动机器人的快递入库方法 | |
| LeVoir et al. | High-accuracy adaptive low-cost location sensing subsystems for autonomous rover in precision agriculture | |
| Liu et al. | Vision-aware air-ground cooperative target localization for UAV and UGV | |
| CN114998276A (zh) | 一种基于三维点云的机器人动态障碍物实时检测方法 | |
| CN113469045B (zh) | 无人集卡的视觉定位方法、***、电子设备和存储介质 | |
| Maier et al. | Appearance-based traversability classification in monocular images using iterative ground plane estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |