CN107214704B - 一种送餐机器人的自动放餐装置及控制*** - Google Patents

一种送餐机器人的自动放餐装置及控制*** Download PDF

Info

Publication number
CN107214704B
CN107214704B CN201710569079.3A CN201710569079A CN107214704B CN 107214704 B CN107214704 B CN 107214704B CN 201710569079 A CN201710569079 A CN 201710569079A CN 107214704 B CN107214704 B CN 107214704B
Authority
CN
China
Prior art keywords
meal
robot
meal delivery
placing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710569079.3A
Other languages
English (en)
Other versions
CN107214704A (zh
Inventor
张涛
郭璁
阮进
蔡阳春
邓卓
王远志
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN201710569079.3A priority Critical patent/CN107214704B/zh
Publication of CN107214704A publication Critical patent/CN107214704A/zh
Application granted granted Critical
Publication of CN107214704B publication Critical patent/CN107214704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提出一种送餐机器人的自动放餐装置以及一种送餐机器人的控制***，所述自动放餐装置特征在于基于送餐机器人的硬件平台，包括RGBD相机构成的深度视觉识别***、以及机械臂和末端执行器构成的放餐执行机构，所述放餐执行机构具有两个。所述控制***采用所述的自动放餐装置，其特征包括采用RGBD相机构成的深度视觉识别***获取桌面放餐区域的大小及空间坐标、规划机械臂与末端执行器的运动。本发明的目的在于解决现有的餐厅放餐没有实现无人化的问题，以提高餐厅运作效率和普及无人化，降低人工成本。

Description

一种送餐机器人的自动放餐装置及控制***
技术领域
本发明涉及一种放餐装置及方法，具体涉及一种送餐机器人的自动放餐装置及控制***。
背景技术
目前，有很多企业机构已研发出用于餐厅智能送餐的机器人，但是只能实现替代餐厅服务员送餐这一自动送餐功能，在送餐机器人自动送餐到达顾客就餐位置之后仍需服务员手动将菜品放到餐桌上，这种送餐机器人只能部分替代服务员工作的现状并不能很好的提高餐厅运作效率以及降低人工成本，必定会影响到餐厅无人化智能化的普及。
发明内容
本发明的目的在于解决现有的餐厅放餐没有实现无人化的问题，以提高餐厅运作效率和普及无人化、低人工成本的餐厅运作方式。
本发明为实现上述目的，采用以下技术方案实现：
1.一种送餐机器人的自动放餐装置，其特征在于基于送餐机器人的硬件平台，包括RGBD相机构成的深度视觉识别***、以及机械臂和末端执行器构成的放餐执行机构，所述放餐执行机构具有两个：
(1)为了避免水雾及油雾的影响，所述RGBD相机采用防水结构，实时感知目标环境信息并回传给送餐机器人的中央处理单元。
(2)所述机械臂采用具有力矩传感器的电机驱动，具有多个自由度；所述末端执行器特征在于基于力反馈的欠驱动柔性自适应抓取。
2.一种送餐机器人的控制***，采用所述的自动放餐装置，其特征包括采用RGBD相机构成的深度视觉识别***获取桌面放餐区域的大小及空间坐标、规划机械臂与末端执行器的运动：
(1)所述深度视觉识别***经过离线标定及双目校正后获取放餐区域的大小及空间坐标过程中,为了提高图像采集的真实度，采集到的图像信息先经过滤波除噪，图像增强预处理，之后经过边缘提取，图像匹配对餐桌放餐区域以及放餐区域周围环境进行分析；
(2)所述规划机械臂与末端执行器的运动，采用基于PID算法的反馈回路控制方法控制机械臂逼近目标放餐区域，采用非线性智能控制方法控制末端执行器实现灵活的放餐操作，以及为了确保放餐的平稳性，在放餐过程中采用自适应阻抗匹配。
3.进一步的，其特征在于以下实现步骤：
(1)所述送餐机器人到达顾客就餐位置，通过RGBD相机构成的深度视觉识别***识别放餐区域位置并调整机器人位姿，确保目标放餐区域进入放餐执行机构的工作空间。
(2)所述送餐机器人利用RGBD相机构成的深度视觉识别***采集目标放餐区域信息，包括放餐区域餐盘占用信息，放餐区域空间大小信息，放餐区域坐标信息。为了节省计算资源，建立合适的空间坐标系，计算放餐目标位置点的空间坐标，并实时微调送餐机器人位姿，使机器人的放餐执行机构能够以最优的方式放餐。
(3)根据所述送餐机器人获取的目标放餐区域的空间坐标、机器人自身机械臂以及末端执行器的相对位姿，在送到目标位置点的过程中，通过机器人的中央处理单元计算机器人末端执行器最优的餐盘抓取姿态以及机械臂的各个关节在连续时间内的旋转角度。
(4)所述送餐机器人机械臂移动到达目标放餐位置，通过控制基于力反馈的欠驱动柔性自适应的末端执行器实现放餐，放餐成功后将信息反馈给送餐机器人。
(5)根据步骤(2)、(3)、(4)、(5)相同原理，收回放餐执行机构到初始位姿，自动放餐过程结束，机器人自主移动离开当前餐桌，恢复待命状态。
4.进一步的，
在所述送餐机器人取餐后直至把餐盘送到目标放餐区域的过程中，通过RGBD相机构成的深度视觉识别***实时反馈放餐执行机构的位姿，通过力矩传感器实时反馈力矩信息，机器人的中央处理单元实时优化最后运动路径，确保机器人的机械臂各关节的力矩在合适的范围内、确保机械臂各关节电机旋转角度最优、确保餐盘姿态稳定。
5.进一步的，
所述放餐执行机构具备自锁功能，当在放餐过程中所述送餐机器人出现故障时，放餐执行机构自锁，确保断电之后餐盘稳定不脱离末端执行器。
下面结合附图来进一步描述本专利的具体实施方案：
附图说明：
图1为自动放餐装置及控制***框架图
图2为自动放餐流程图
图3为自动放餐场景示意图
图2中：1、机械臂；2、RGBD相机；3、送餐机器人；4、末端执行器；5、餐椅；6、放餐区域；7、餐桌。
1.一种送餐机器人的自动放餐装置，其特征在于基于送餐机器人3的硬件平台，包括RGBD相机2构成的深度视觉识别***、以及机械臂1和末端执行器4构成的放餐执行机构，所述放餐执行机构具有两个：
(1)为了避免水雾及油雾的影响，所述RGBD相机2采用防水结构，实时感知目标环境信息并回传给送餐机器人3的中央处理单元。
(2)所述机械臂1采用具有力矩传感器的电机驱动，具有多个自由度；所述末端执行器4特征在于基于力反馈的欠驱动柔性自适应抓取。
2.一种送餐机器人的控制***，采用所述的自动放餐装置，其特征包括采用RGBD相机2构成的深度视觉识别***获取桌面放餐区域6的大小及空间坐标、规划机械臂1与末端执行器4的运动：
(1)所述深度视觉识别***经过离线标定及双目校正后获取放餐区域6的大小及空间坐标过程中,为了提高图像采集的真实度，采集到的图像信息先经过滤波除噪，图像增强预处理，之后经过边缘提取，图像匹配对餐桌放餐区域6以及放餐区域周围环境进行分析；
(2)所述规划机械臂1与末端执行器4的运动，采用基于PID算法的反馈回路控制方法控制机械臂1逼近目标放餐区域6，采用非线性智能控制方法控制末端执行器4实现灵活的放餐操作，以及为了确保放餐的平稳性，在放餐过程中采用自适应阻抗匹配。
3.如图2所示，其特征在于以下实现步骤：
(1)所述送餐机器人3到达顾客就餐位置，通过RGBD相机2构成的深度视觉识别***识别放餐区域6位置并调整机器人位姿，确保目标放餐区域6进入放餐执行机构1、4的工作空间。
(2)所述送餐机器人3利用RGBD相机2构成的深度视觉识别***采集目标放餐区域6信息，包括放餐区域6餐盘占用信息，放餐区域6空间大小信息，放餐区域6坐标信息。为了节省计算资源，建立合适的空间坐标系，计算放餐目标位置点的空间坐标，并实时微调送餐机器人3位姿，使机器人的放餐执行机构1、4能够以最优的方式放餐。
(3)根据所述送餐机器人3获取的目标放餐区域6的空间坐标、机器人自身机械臂1以及末端执行器4的相对位姿，在送到目标位置点的过程中，通过机器人的中央处理单元计算机器人末端执行器4最优的餐盘抓取姿态以及机械臂1的各个关节在连续时间内的旋转角度。
(4)所述送餐机器人3机械臂1移动到达目标放餐位置，通过控制基于力反馈的欠驱动柔性自适应的末端执行器4实现放餐，放餐成功后将信息反馈给送餐机器人3。
(5)根据步骤(2)、(3)、(4)、(5)相同原理，收回放餐执行机构到初始位姿，自动放餐过程结束，机器人自主移动离开当前餐桌，恢复待命状态。
4.在所述送餐机器人3取餐后直至把餐盘送到目标放餐区域6的过程中，通过RGBD相机2构成的深度视觉识别***实时反馈放餐执行机构1、4的位姿，通过力矩传感器实时反馈力矩信息，机器人的中央处理单元实时优化最后运动路径，确保机器人的机械臂1各关节的力矩在合适的范围内、确保机械臂1各关节电机旋转角度最优、确保餐盘姿态稳定。
5.所述放餐执行机构1、4具备自锁功能，当在放餐过程中所述送餐机器人3出现故障时，放餐执行机构自锁，确保断电之后餐盘稳定不脱离末端执行器4。

Claims (3)

1.一种送餐机器人的控制方法，采用自动放餐装置，所述自动放餐装置基于送餐机器人的硬件平台，包括RGBD相机构成的深度视觉识别***、以及机械臂和末端执行器构成的放餐执行机构；为了避免水雾及油雾的影响，所述RGBD相机采用防水结构，实时感知目标环境信息并回传给送餐机器人的中央处理单元；所述机械臂采用具有力矩传感器的电机驱动，具有多个自由度；所述末端执行器采用基于力反馈的欠驱动实现柔性自适应抓取；所述方法包括采用RGBD相机构成的深度视觉识别***获取桌面上放餐区域的大小及空间坐标、规划机械臂与末端执行器的运动：所述深度视觉识别***经过离线标定及双目校正后在获取放餐区域的大小及空间坐标过程中,为了提高图像采集的真实度，将采集到的图像信息先经过滤波除噪，图像增强预处理，之后经过边缘提取，图像匹配对放餐区域以及放餐区域周围环境进行分析；所述规划机械臂与末端执行器的运动，采用基于PID算法的反馈回路控制方法控制机械臂逼近放餐区域，采用非线性智能控制方法控制末端执行器实现灵活的放餐操作，以及为了确保放餐的平稳性，在放餐过程中采用自适应阻抗匹配；其特征在于，所述方法通过以下步骤实现：
(1)所述送餐机器人到达顾客就餐位置，通过RGBD相机构成的深度视觉识别***识别放餐区域位置并调整机器人位姿，确保放餐区域进入放餐执行机构的工作空间；
(2)所述送餐机器人利用RGBD相机构成的深度视觉识别***采集放餐区域信息，包括放餐区域餐盘占用信息，放餐区域空间大小信息，放餐区域坐标信息，为了节省计算资源，建立空间坐标系，计算放餐区域的空间坐标，并实时微调送餐机器人位姿，使机器人的放餐执行机构能够以最优的方式放餐；
(3)根据所述送餐机器人获取的放餐区域的空间坐标、机器人自身机械臂以及末端执行器的相对位姿，在送到目标位置点的过程中，通过机器人的中央处理单元计算机器人末端执行器最优的餐盘抓取姿态以及机械臂的各个关节在连续时间内的旋转角度；
(4)所述送餐机器人机械臂移动到达放餐区域位置，通过控制基于力反馈的欠驱动柔性自适应的末端执行器实现放餐，放餐成功后将信息反馈给送餐机器人；
(5)收回放餐执行机构到初始位姿，自动放餐过程结束，机器人自主移动离开当前餐桌，恢复待命状态。
2.如权利要求1所述的送餐机器人的控制方法，其特征在于：在所述送餐机器人取餐后直至把餐盘送到放餐区域的过程中，通过RGBD相机构成的深度视觉识别***实时反馈放餐执行机构的位姿，通过力矩传感器实时反馈力矩信息，机器人的中央处理单元实时优化运动路径，确保机器人的机械臂各关节的力矩在范围内、确保机械臂各关节电机旋转角度最优、确保餐盘姿态稳定。
3.如权利要求1所述的送餐机器人的控制方法，其特征在于：所述放餐执行机构具备自锁功能，当在放餐过程中所述送餐机器人出现故障时，放餐执行机构自锁，确保断电之后餐盘稳定不脱离末端执行器。
CN201710569079.3A 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制*** Active CN107214704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710569079.3A CN107214704B (zh) 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710569079.3A CN107214704B (zh) 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制***

Publications (2)

Publication Number Publication Date
CN107214704A CN107214704A (zh) 2017-09-29
CN107214704B true CN107214704B (zh) 2023-08-11

Family

ID=59953605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710569079.3A Active CN107214704B (zh) 2017-07-13 2017-07-13 一种送餐机器人的自动放餐装置及控制***

Country Status (1)

Country Link
CN (1) CN107214704B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062224A (zh) * 2018-09-06 2018-12-21 深圳市三宝创新智能有限公司 机器人送餐控制方法、装置、送餐机器人及自动送餐***
CN110666791B (zh) * 2019-08-29 2022-04-26 江苏大学 一种基于深度学习的rgbd机器人看护***及方法
CN111240329A (zh) * 2020-01-17 2020-06-05 广东智源机器人科技有限公司 智能机器人的控制方法、装置及智能机器人
CN114700968B (zh) * 2022-04-12 2023-07-04 广州城市理工学院 一种自动上菜机器人及上菜方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
CN202045637U (zh) * 2011-01-11 2011-11-23 山东大陆科技有限公司 一种服务机器人
CN103400377A (zh) * 2013-07-22 2013-11-20 上海理工大学 一种基于双目立体视觉的三维圆形目标检测和判断方法
CN104690732A (zh) * 2015-02-10 2015-06-10 赵言正 送菜机器人
TWI494889B (zh) * 2014-05-22 2015-08-01 Nat Univ Chin Yi Technology 端菜機器人及其控制方法
CN105291086A (zh) * 2015-11-19 2016-02-03 长春诺惟拉智能科技有限责任公司 用于送餐的室内移动机器人
CN106584468A (zh) * 2015-10-19 2017-04-26 沈阳新松机器人自动化股份有限公司 一种餐厅机器人
CN106695831A (zh) * 2017-01-20 2017-05-24 南宁职业技术学院 智能取餐机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
CN202045637U (zh) * 2011-01-11 2011-11-23 山东大陆科技有限公司 一种服务机器人
CN103400377A (zh) * 2013-07-22 2013-11-20 上海理工大学 一种基于双目立体视觉的三维圆形目标检测和判断方法
TWI494889B (zh) * 2014-05-22 2015-08-01 Nat Univ Chin Yi Technology 端菜機器人及其控制方法
CN104690732A (zh) * 2015-02-10 2015-06-10 赵言正 送菜机器人
CN106584468A (zh) * 2015-10-19 2017-04-26 沈阳新松机器人自动化股份有限公司 一种餐厅机器人
CN105291086A (zh) * 2015-11-19 2016-02-03 长春诺惟拉智能科技有限责任公司 用于送餐的室内移动机器人
CN106695831A (zh) * 2017-01-20 2017-05-24 南宁职业技术学院 智能取餐机器人

Also Published As

Publication number Publication date
CN107214704A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107214704B (zh) 一种送餐机器人的自动放餐装置及控制***
JP2022189986A (ja) 撮像装置及び入力コントロールを再芯出しするためのシステム及び方法
CN110825076B (zh) 基于视线和力反馈的移动机器人编队导航半自主控制方法
CN109719438A (zh) 一种工业焊接机器人焊缝自动跟踪方法
JP2020062743A (ja) ロボット制御ための方法及び装置
CN111906788B (zh) 一种基于机器视觉的卫浴智能打磨***及其打磨方法
GB2580690A9 (en) Mapping an environment using a state of a robotic device
CN106695784A (zh) 一种机器人视觉控制***
CN110226413A (zh) 一种机器人采摘多串堆叠葡萄的方法
CN104116517A (zh) 一种基于双机械臂协同的术中x光影像***
JP2023528579A (ja) サービス・ロボット・システム、ロボット、およびサービス・ロボットを操作するための方法
Yu et al. Gesture-based telemanipulation of a humanoid robot for home service tasks
TWI494889B (zh) 端菜機器人及其控制方法
KR101571313B1 (ko) 무게중심 제어를 통한 로봇의 자세 제어 시스템
CN203993899U (zh) 一种可自动调节角度的码垛机器人手抓
CN106054829B (zh) 家庭送水服务机器人***的动作方法
Vahrenkamp et al. Visual servoing for dual arm motions on a humanoid robot
CN206645534U (zh) 一种基于双相机的机器人无序抓取装置
US20240083037A1 (en) System and Method for Robotic Food and Beverage Preparation Using Computer Vision
CN109479520A (zh) 一种果蔬采摘机器人双边遥操作控制方法
CN208262843U (zh) 一种桌面级搬运机械臂
Grigorescu et al. ROVIS: Robust machine vision for service robotic system FRIEND
CN115476379A (zh) 一种柔性机器人及其控制方法
CN107121988A (zh) 一种机械臂抓取无人机电池的方式
CN114670175A (zh) 服务机器人、服务机器人控制方法、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant