CN107214704A - 一种送餐机器人的自动放餐装置及控制*** - Google Patents

一种送餐机器人的自动放餐装置及控制*** Download PDF

Info

Publication number
CN107214704A
CN107214704A CN201710569079.3A CN201710569079A CN107214704A CN 107214704 A CN107214704 A CN 107214704A CN 201710569079 A CN201710569079 A CN 201710569079A CN 107214704 A CN107214704 A CN 107214704A
Authority
CN
China
Prior art keywords
meal
puts
delivery robot
robot
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710569079.3A
Other languages
English (en)
Other versions
CN107214704B (zh
Inventor
张涛
郭璁
阮进
蔡阳春
邓卓
王远志
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen City Purdue Technology Co Ltd
Original Assignee
Shenzhen City Purdue Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Purdue Technology Co Ltd filed Critical Shenzhen City Purdue Technology Co Ltd
Priority to CN201710569079.3A priority Critical patent/CN107214704B/zh
Publication of CN107214704A publication Critical patent/CN107214704A/zh
Application granted granted Critical
Publication of CN107214704B publication Critical patent/CN107214704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提出一种送餐机器人的自动放餐装置以及一种送餐机器人的控制***，所述自动放餐装置特征在于基于送餐机器人的硬件平台，包括RGBD相机构成的深度视觉识别***、以及机械臂和末端执行器构成的放餐执行机构，所述放餐执行机构具有两个。所述控制***采用所述的自动放餐装置，其特征包括采用RGBD相机构成的深度视觉识别***获取桌面放餐区域的大小及空间坐标、规划机械臂与末端执行器的运动。本发明的目的在于解决现有的餐厅放餐没有实现无人化的问题，以提高餐厅运作效率和普及无人化，降低人工成本。

Description

一种送餐机器人的自动放餐装置及控制***
技术领域
本发明涉及一种放餐装置及方法，具体涉及一种送餐机器人的自动放餐装置及控制***。
背景技术
目前，有很多企业机构已研发出用于餐厅智能送餐的机器人，但是只能实现替代餐厅服务员送餐这一自动送餐功能，在送餐机器人自动送餐到达顾客就餐位置之后仍需服务员手动将菜品放到餐桌上，这种送餐机器人只能部分替代服务员工作的现状并不能很好的提高餐厅运作效率以及降低人工成本，必定会影响到餐厅无人化智能化的普及。
发明内容
本发明的目的在于解决现有的餐厅放餐没有实现无人化的问题，以提高餐厅运作效率和普及无人化、低人工成本的餐厅运作方式。
本发明为实现上述目的，采用以下技术方案实现：
1.一种送餐机器人的自动放餐装置，其特征在于基于送餐机器人的硬件平台，包括RGBD相机构成的深度视觉识别***、以及机械臂和末端执行器构成的放餐执行机构，所述放餐执行机构具有两个：
（1）为了避免水雾及油雾的影响，所述RGBD相机采用防水结构，实时感知目标环境信息并回传给送餐机器人的中央处理单元。
（2）所述机械臂采用具有力矩传感器的电机驱动，具有多个自由度；所述末端执行器特征在于基于力反馈的欠驱动柔性自适应抓取。
2.一种送餐机器人的控制***，采用所述的自动放餐装置，其特征包括采用RGBD相机构成的深度视觉识别***获取桌面放餐区域的大小及空间坐标、规划机械臂与末端执行器的运动：
（1）所述深度视觉识别***经过离线标定及双目校正后获取放餐区域的大小及空间坐标过程中,为了提高图像采集的真实度，采集到的图像信息先经过滤波除噪，图像增强预处理，之后经过边缘提取，图像匹配对餐桌放餐区域以及放餐区域周围环境进行分析；
（2）所述规划机械臂与末端执行器的运动，采用基于PID算法的反馈回路控制方法控制机械臂逼近目标放餐区域，采用非线性智能控制方法控制末端执行器实现灵活的放餐操作，以及为了确保放餐的平稳性，在放餐过程中采用自适应阻抗匹配。
3.进一步的，其特征在于以下实现步骤：
（1）所述送餐机器人到达顾客就餐位置，通过RGBD相机构成的深度视觉识别***识别放餐区域位置并调整机器人位姿，确保目标放餐区域进入放餐执行机构的工作空间。
（2）所述送餐机器人利用RGBD相机构成的深度视觉识别***采集目标放餐区域信息，包括放餐区域餐盘占用信息，放餐区域空间大小信息，放餐区域坐标信息。为了节省计算资源，建立合适的空间坐标系，计算放餐目标位置点的空间坐标，并实时微调送餐机器人位姿，使机器人的放餐执行机构能够以最优的方式放餐。
（3）根据所述送餐机器人获取的目标放餐区域的空间坐标、机器人自身机械臂以及末端执行器的相对位姿，在送到目标位置点的过程中，通过机器人的中央处理单元计算机器人末端执行器最优的餐盘抓取姿态以及机械臂的各个关节在连续时间内的旋转角度。
（4）所述送餐机器人机械臂移动到达目标放餐位置，通过控制基于力反馈的欠驱动柔性自适应的末端执行器实现放餐，放餐成功后将信息反馈给送餐机器人。
（5）根据步骤（2）、（3）、（4）、（5）相同原理，收回放餐执行机构到初始位姿，自动放餐过程结束，机器人自主移动离开当前餐桌，恢复待命状态。
4.进一步的，
在所述送餐机器人取餐后直至把餐盘送到目标放餐区域的过程中，通过RGBD相机构成的深度视觉识别***实时反馈放餐执行机构的位姿，通过力矩传感器实时反馈力矩信息，机器人的中央处理单元实时优化最后运动路径，确保机器人的机械臂各关节的力矩在合适的范围内、确保机械臂各关节电机旋转角度最优、确保餐盘姿态稳定。
5.进一步的，
所述放餐执行机构具备自锁功能，当在放餐过程中所述送餐机器人出现故障时，放餐执行机构自锁，确保断电之后餐盘稳定不脱离末端执行器。
下面结合附图来进一步描述本专利的具体实施方案：
附图说明：
图1为自动放餐装置及控制***框架图
图2为自动放餐流程图
图3为自动放餐场景示意图
图2中：1、机械臂；2、RGBD相机；3、送餐机器人；4、末端执行器；5、餐椅；6、放餐区域；7、餐桌。
1.一种送餐机器人的自动放餐装置，其特征在于基于送餐机器人3的硬件平台，包括RGBD相机2构成的深度视觉识别***、以及机械臂1和末端执行器4构成的放餐执行机构，所述放餐执行机构具有两个：
（1）为了避免水雾及油雾的影响，所述RGBD相机2采用防水结构，实时感知目标环境信息并回传给送餐机器人3的中央处理单元。
（2）所述机械臂1采用具有力矩传感器的电机驱动，具有多个自由度；所述末端执行器4特征在于基于力反馈的欠驱动柔性自适应抓取。
2.一种送餐机器人的控制***，采用所述的自动放餐装置，其特征包括采用RGBD相机2构成的深度视觉识别***获取桌面放餐区域6的大小及空间坐标、规划机械臂1与末端执行器4的运动：
（1）所述深度视觉识别***经过离线标定及双目校正后获取放餐区域6的大小及空间坐标过程中,为了提高图像采集的真实度，采集到的图像信息先经过滤波除噪，图像增强预处理，之后经过边缘提取，图像匹配对餐桌放餐区域6以及放餐区域周围环境进行分析；
（2）所述规划机械臂1与末端执行器4的运动，采用基于PID算法的反馈回路控制方法控制机械臂1逼近目标放餐区域6，采用非线性智能控制方法控制末端执行器4实现灵活的放餐操作，以及为了确保放餐的平稳性，在放餐过程中采用自适应阻抗匹配。
3.如图2所示，其特征在于以下实现步骤：
（1）所述送餐机器人3到达顾客就餐位置，通过RGBD相机2构成的深度视觉识别***识别放餐区域6位置并调整机器人位姿，确保目标放餐区域6进入放餐执行机构1、4的工作空间。
（2）所述送餐机器人3利用RGBD相机2构成的深度视觉识别***采集目标放餐区域6信息，包括放餐区域6餐盘占用信息，放餐区域6空间大小信息，放餐区域6坐标信息。为了节省计算资源，建立合适的空间坐标系，计算放餐目标位置点的空间坐标，并实时微调送餐机器人3位姿，使机器人的放餐执行机构1、4能够以最优的方式放餐。
（3）根据所述送餐机器人3获取的目标放餐区域6的空间坐标、机器人自身机械臂1以及末端执行器4的相对位姿，在送到目标位置点的过程中，通过机器人的中央处理单元计算机器人末端执行器4最优的餐盘抓取姿态以及机械臂1的各个关节在连续时间内的旋转角度。
（4）所述送餐机器人3机械臂1移动到达目标放餐位置，通过控制基于力反馈的欠驱动柔性自适应的末端执行器4实现放餐，放餐成功后将信息反馈给送餐机器人3。
（5）根据步骤（2）、（3）、（4）、（5）相同原理，收回放餐执行机构到初始位姿，自动放餐过程结束，机器人自主移动离开当前餐桌，恢复待命状态。
4.在所述送餐机器人3取餐后直至把餐盘送到目标放餐区域6的过程中，通过RGBD相机2构成的深度视觉识别***实时反馈放餐执行机构1、4的位姿，通过力矩传感器实时反馈力矩信息，机器人的中央处理单元实时优化最后运动路径，确保机器人的机械臂1各关节的力矩在合适的范围内、确保机械臂1各关节电机旋转角度最优、确保餐盘姿态稳定。
5.所述放餐执行机构1、4具备自锁功能，当在放餐过程中所述送餐机器人3出现故障时，放餐执行机构自锁，确保断电之后餐盘稳定不脱离末端执行器4。

Claims (5)

1.一种送餐机器人的自动放餐装置，其特征在于基于送餐机器人的硬件平台，包括RGBD相机构成的深度视觉识别***、以及机械臂和末端执行器构成的放餐执行机构，所述放餐执行机构具有两个：
(1)为了避免水雾及油雾的影响，所述RGBD相机采用防水结构，实时感知目标环境信息并回传给送餐机器人的中央处理单元。
(2)所述机械臂采用具有力矩传感器的电机驱动，具有多个自由度；所述末端执行器特征在于基于力反馈的欠驱动柔性自适应抓取。
2.一种送餐机器人的控制***，采用如权利要求1所述的自动放餐装置，其特征包括采用RGBD相机构成的深度视觉识别***获取桌面放餐区域的大小及空间坐标、规划机械臂与末端执行器的运动：
(1)所述深度视觉识别***经过离线标定及双目校正后获取放餐区域的大小及空间坐标过程中,为了提高图像采集的真实度，采集到的图像信息先经过滤波除噪，图像增强预处理，之后经过边缘提取，图像匹配对餐桌放餐区域以及放餐区域周围环境进行分析；
(2)所述规划机械臂与末端执行器的运动，采用基于PID算法的反馈回路控制方法控制机械臂逼近目标放餐区域，采用非线性智能控制方法控制末端执行器实现灵活的放餐操作，以及为了确保放餐的平稳性，在放餐过程中采用自适应阻抗匹配。
3.如权利要求2所述的一种送餐机器人的控制***，其特征在于以下实现步骤：
(1)所述送餐机器人到达顾客就餐位置，通过RGBD相机构成的深度视觉识别***识别放餐区域位置并调整机器人位姿，确保目标放餐区域进入放餐执行机构的工作空间。
(2)所述送餐机器人利用RGBD相机构成的深度视觉识别***采集目标放餐区域信息，包括放餐区域餐盘占用信息，放餐区域空间大小信息，放餐区域坐标信息。为了节省计算资源，建立合适的空间坐标系，计算放餐目标位置点的空间坐标，并实时微调送餐机器人位姿，使机器人的放餐执行机构能够以最优的方式放餐。
(3)根据所述送餐机器人获取的目标放餐区域的空间坐标、机器人自身机械臂以及末端执行器的相对位姿，在送到目标位置点的过程中，通过机器人的中央处理单元计算机器人末端执行器最优的餐盘抓取姿态以及机械臂的各个关节在连续时间内的旋转角度。
(4)所述送餐机器人机械臂移动到达目标放餐位置，通过控制基于力反馈的欠驱动柔性自适应的末端执行器实现放餐，放餐成功后将信息反馈给送餐机器人。
(5)根据步骤(2)、(3)、(4)、(5)相同原理，收回放餐执行机构到初始位姿，自动放餐过程结束，机器人自主移动离开当前餐桌，恢复待命状态。
4.如权利要求2所述的一种送餐机器人的控制***，在所述送餐机器人取餐后直至把餐盘送到目标放餐区域的过程中，通过RGBD相机构成的深度视觉识别***实时反馈放餐执行机构的位姿，通过力矩传感器实时反馈力矩信息，机器人的中央处理单元实时优化最后运动路径，确保机器人的机械臂各关节的力矩在合适的范围内、确保机械臂各关节电机旋转角度最优、确保餐盘姿态稳定。
5.如权利要求1所述的一种送餐机器人的自动放餐装置，其特征在于：所述放餐执行机构具备自锁功能，当在放餐过程中所述送餐机器人出现故障时，放餐执行机构自锁，确保断电之后餐盘稳定不脱离末端执行器。
CN201710569079.3A 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制*** Active CN107214704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710569079.3A CN107214704B (zh) 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710569079.3A CN107214704B (zh) 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制***

Publications (2)

Publication Number Publication Date
CN107214704A true CN107214704A (zh) 2017-09-29
CN107214704B CN107214704B (zh) 2023-08-11

Family

ID=59953605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710569079.3A Active CN107214704B (zh) 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制***

Country Status (1)

Country Link
CN (1) CN107214704B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062224A (zh) * 2018-09-06 2018-12-21 深圳市三宝创新智能有限公司 机器人送餐控制方法、装置、送餐机器人及自动送餐***
CN110666791A (zh) * 2019-08-29 2020-01-10 江苏大学 一种基于深度学习的rgbd机器人看护***及方法
CN111240329A (zh) * 2020-01-17 2020-06-05 广东智源机器人科技有限公司 智能机器人的控制方法、装置及智能机器人
CN114700968A (zh) * 2022-04-12 2022-07-05 广州城市理工学院 一种自动上菜机器人及上菜方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
CN202045637U (zh) * 2011-01-11 2011-11-23 山东大陆科技有限公司 一种服务机器人
CN103400377A (zh) * 2013-07-22 2013-11-20 上海理工大学 一种基于双目立体视觉的三维圆形目标检测和判断方法
CN104690732A (zh) * 2015-02-10 2015-06-10 赵言正 送菜机器人
TWI494889B (zh) * 2014-05-22 2015-08-01 Nat Univ Chin Yi Technology 端菜機器人及其控制方法
CN105291086A (zh) * 2015-11-19 2016-02-03 长春诺惟拉智能科技有限责任公司 用于送餐的室内移动机器人
CN106584468A (zh) * 2015-10-19 2017-04-26 沈阳新松机器人自动化股份有限公司 一种餐厅机器人
CN106695831A (zh) * 2017-01-20 2017-05-24 南宁职业技术学院 智能取餐机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
CN202045637U (zh) * 2011-01-11 2011-11-23 山东大陆科技有限公司 一种服务机器人
CN103400377A (zh) * 2013-07-22 2013-11-20 上海理工大学 一种基于双目立体视觉的三维圆形目标检测和判断方法
TWI494889B (zh) * 2014-05-22 2015-08-01 Nat Univ Chin Yi Technology 端菜機器人及其控制方法
CN104690732A (zh) * 2015-02-10 2015-06-10 赵言正 送菜机器人
CN106584468A (zh) * 2015-10-19 2017-04-26 沈阳新松机器人自动化股份有限公司 一种餐厅机器人
CN105291086A (zh) * 2015-11-19 2016-02-03 长春诺惟拉智能科技有限责任公司 用于送餐的室内移动机器人
CN106695831A (zh) * 2017-01-20 2017-05-24 南宁职业技术学院 智能取餐机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062224A (zh) * 2018-09-06 2018-12-21 深圳市三宝创新智能有限公司 机器人送餐控制方法、装置、送餐机器人及自动送餐***
CN110666791A (zh) * 2019-08-29 2020-01-10 江苏大学 一种基于深度学习的rgbd机器人看护***及方法
CN110666791B (zh) * 2019-08-29 2022-04-26 江苏大学 一种基于深度学习的rgbd机器人看护***及方法
CN111240329A (zh) * 2020-01-17 2020-06-05 广东智源机器人科技有限公司 智能机器人的控制方法、装置及智能机器人
CN114700968A (zh) * 2022-04-12 2022-07-05 广州城市理工学院 一种自动上菜机器人及上菜方法

Also Published As

Publication number Publication date
CN107214704B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN107214704A (zh) 一种送餐机器人的自动放餐装置及控制***
Mehta et al. Robust visual servo control in the presence of fruit motion for robotic citrus harvesting
US9821455B1 (en) Replacing a first robot with a second robot during performance of a task by the first robot
WO2016189924A1 (ja) ロボット操作装置およびプログラム
US11745332B1 (en) Robot control
CN106809730B (zh) 一种基于视觉的集装箱自动对接起吊***及起吊方法
CN110539109A (zh) 一种基于单双目视觉的机器人自动焊接***及方法
CN109202848A (zh) 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法
Monajjemi et al. UAV, do you see me? Establishing mutual attention between an uninstrumented human and an outdoor UAV in flight
CN106254836A (zh) 无人机红外图像目标跟踪***及方法
CN106227215A (zh) 机器人自动光伏组件清洗***及其清洗方法
CN102096927A (zh) 自主林业机器人目标跟踪方法
CN108422421A (zh) 骨骼肌肉式机器人的肌肉控制和装配方法
CN106345781A (zh) 一种光伏阵列跨板清洗方法和装置
CN110076780A (zh) 基于视觉和力反馈位姿调节的机器人装配方法及***
CN101853048B (zh) 可调节的图像显示及采集装置
Huang et al. Visual servoing of a micro quadrotor landing on a ground platform
WO2017000773A1 (zh) 一种机器人的摄像头总成装置及其拍摄与跟踪方法
CN115248605A (zh) 运动控制视觉对位方法及***
CN106054829B (zh) 家庭送水服务机器人***的动作方法
US20190324468A1 (en) Method for the navigation and self-localization of an autonomously moving processing device
Zhang et al. Recent advances on robot visual servo control methods
CN109062258A (zh) 控制无人机返航方法和装置
CN207833563U (zh) 一种基于无人机和地面机器人的目标检测定位与抓取装置
Gromov et al. Guiding quadrotor landing with pointing gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant