CN108655026A - 一种机器人快速示教分拣***和方法 - Google Patents
一种机器人快速示教分拣***和方法 Download PDFInfo
- Publication number
- CN108655026A CN108655026A CN201810427834.9A CN201810427834A CN108655026A CN 108655026 A CN108655026 A CN 108655026A CN 201810427834 A CN201810427834 A CN 201810427834A CN 108655026 A CN108655026 A CN 108655026A
- Authority
- CN
- China
- Prior art keywords
- robot
- node
- module
- camera
- sorting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人快速示教分拣***和方法,涉及机器人及人机交互技术等领域。该分拣***由一个在机器人外部的远景深度相机、一个安装在机器人末端的近景深度相机以及ROS***组成;所述远景深度相机,用于实时跟踪示教者演示分拣过程以及检测物体;所述近景深度相机,用于扫描被抓取物点云以及计算位姿;所述ROS***(Robot Operating System)用于融合前述深度相机信息以及实时控制机器人位姿。本发明通过跟踪示教者演示分拣动作,自动为机器人生成自适应分拣程序。本发明工程实用性强,可以广泛应用于工业生产领域。
Description
技术领域
本发明涉及机器人以及人机交互技术领域,尤其涉及一种机器人快速示教分拣***和方法。
背景技术
随着多样化小批量生产的出现,人们提出了柔性制造。现阶段工业机器人为了实现柔性制造、智能制造,人机便捷交互和快速编程成为了人们关注的焦点。
传统的机器人组成的生产线是通过手动编程后运行的。一旦任务调整,就需要专业的工程师对程序进行重新调整,维护成本极高。随着技术的发展,出现了拖拽示教。通过拖拽机器人进行编程是一种相对友好的方式,这为不会编程的用户提供了方便的应用接口,但是他的局限性在于只能让机器人复现拖拽的轨迹,如果没有专用夹具限制***作物体的位姿,机器人就不能正确的工作。
经对现有文献检索发现,中国专利授权号CN104842356B,名称为“一种基于分布式计算与机器视觉的多码垛机器人示教方法”,采用虚拟现实技术,通过采集用户的肢体动作就可以对机器人进行示教,使用户可以不用长时间的操作示教盒、键盘以及鼠标。这一专利改善了用户的使用体验,但是由于需要在虚拟环境中操作并将操作记录返回给示教盒,对用户而言,只是从操作示教盒变成了在虚拟环境操作。
又经检索发现,中国专利授权号CN206105869U,名称为“一种机器人快速示教装置”,采用语音和增强现实对机器人进行示教。摄像头以及穿戴式设备可以采集用户的动作信息,然后将数据传输给机器人进行控制。与上一个专利类似,用户可以不用枯燥的操作示教盒或者键盘,但是穿戴式设备本身对于用户来说也是比较麻烦的。
因此,本领域的技术人员致力于开发一种机器人快速示教分拣***和方法,通过ROS***集成视觉传感和演示编程技术,通过简单演示就可以快速配置一个分拣***,并采用发明所示的方法完成机器人快速示教分拣。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是克服现有机器人示教***和方法编程复杂、维护成本高、使用环境受限的现有技术问题,通过ROS***集成视觉传感和演示编程技术,通过简单演示就可以快速配置一个分拣***。
为实现上述目的,本发明提供了一种机器人快速示教分拣***,包括机器人模块、机械抓手模块、机械臂模块、深度相机模块、标定板模块、标志物模块、计算机模块和安装在其上的ROS***模块;
所述机械抓手模块至少包括一个机械抓手,所述机械抓手被配置为执行抓取任务,所述机械臂模块至少包括一个机械臂,其末端安装在所述机械抓手上;
所述深度相机模块至少一个远景相机和至少一个近景相机,所述深度相机模块被配置为跟踪演示、识别物***姿、采集点云;
所述标定板模块被配置为标定深度相机和机器人坐标系;
所述标志物模块被配置为在演示中动态跟踪物***姿;
所述机器人模块与计算机模块通过网线连接;
所述近景相机和所述机械抓手通过机械连接安装于所述机器人模块末端。
进一步地,所述远景相机安装在相机支架上,被配置为观测机器人整个运动空间以及分拣任务区域;所述远景相机为长距离相机,工作距离2m以上;所述近景相机安装在机器人末端,被配置为扫描点云模型以及抓取任务;所述近景相机扫到的点云的平面度误差应小于2mm。
进一步地,所述ROS***模块包括远景及近景深度相机驱动节点、标定节点、模型扫描节点、演示跟踪节点、物体识别节点、位姿估计节点、信息流节点、UR驱动节点、抽象程序节点、Movegroup节点;所述ROS***模块被配置在计算机上,并由一根网线连接至机器人控制柜。
进一步地,所述远景及近景深度相机驱动节点被配置为连接相机、采集图像和点云信息。
进一步地,所述标定节点被配置为标定机器人基坐标系和远景相机坐标系的位置,以及机器人末端坐标系与近景像极坐标系的位置。
进一步地,所述模型扫描节点被配置为自动扫描被抓取物体的点云模型;所述演示追踪节点被配置为在演示阶段追踪示教者演示分拣;所述物体识别节点被配置为在执行阶段识别所需抓取的物体;所述位姿估计节点被配置为在执行阶段定位所要抓取的物体。
进一步地,所述UR驱动节点被配置为通过网线连接机器人控制器,调用ROSservice经由TCP/IP协议实现机器人控制。
进一步地,所述抽象程序节点被配置为整合信息流节点的有限状态机以及参数服务器的数据形成物体运动路径。
进一步地,所述Movegroup节点被配置为实现抓取和运动规划,建立机器人任务。
进一步地,本发明提供了一种机器人快速示教分拣方法,包括以下步骤:
(1)标定两个相机与机器人关系;
(2)扫描分拣物体点云模型;
(3)给二维码绑定点云模型,进行演示;
(4)***提示是否确认演示过程,如演示出错可重新演示;
(5)演示成功后,进入执行阶段;视觉***监视任务执行区域,如果没有找到物体,持续检测;
(6)一旦检测到物体,视觉***自动匹配物体类别,调用不同演示生成的程序;
(7)执行生成的程序,根据自适应抓取程序和运动规划程序进行分拣动作;
(8)如果没有收到停止或者重新演示的命令,***将持续步骤5到步骤7。
本发明成本低廉,用户无需穿戴额外设备、也不要专业的编程知识即可实现快速配置。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的***框图;
图2是本发明的一个较佳实施例的布局示意图;
图3是本发明的一个较佳实施例的运行流程图;
图4是本发明的一个较佳实施例的标定过程中使用的标定板;
图5是本发明的一个较佳实施例的演示过程中使用的二维码。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,本发明的保护范围并非仅限于文中提到的实施例。
在附图中,结构相同的部件以相同数字标号表示,各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的,本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰,附图中有些地方适当夸大了部件的厚度。
如图1所示,本发明所述一种机器人快速示教分拣***,包括UR5机器人至少一台、至少两个深度相机(远景相机为一个ASUS Xtion PRO相机,近景相机为一个RealsenseSR300相机)、一个标志物(包括但不限于二维码,如图5所示)、一个标定板(如图4所示为棋盘格)以及ROS***。所述UR5机器人至少包括一个机械手和一个机械臂,所述机械手用于执行抓取任务,所述机械臂末端安装所述机械手。所述深度相机用于跟踪演示、识别物***姿、采集点云。所述标定板用于标定深度相机和机器人坐标系。所述标志物用于在演示中动态跟踪物***姿。***包含一台计算机,需安装ROS***。机器人控制柜与计算机通过网线连接。
所述远景深度相机应选择长距离相机,工作距离至少2m以上。所述近景深度相机应确保点云质量,平面度误差小于2mm。远景深度相机安装在相机支架上,要求观测到机器人整个运动空间以及分拣任务区域;近景深度相机安装在机器人末端,用以精准6D位姿估计。
所述ROS***为Robot Operating System,是一个开源机器人框架,最初由斯坦福大学开发,2007年以后由Willow Garage公司完善并推广。本发明采用的是ROS indigo版本。所述机械抓手为Onrobot公司的RG2。
所述ROS***应包含远景以及近景深度相机驱动节点、标定节点、模型扫描节点、演示跟踪节点、物体识别节点、位姿估计节点、信息流节点、UR驱动节点、抽象程序节点以及Movegroup节点。所述ROS***的版本为Indigo或Kinetic。所述ROS***,硬件上须由一根网线连接计算机和机器人控制柜。
所述深度相机驱动节点,用于连接相机、采集图像和点云信息。所述标定节点,用以标定机器人基坐标系和远景相机坐标系的位置以及机器人末端坐标系与近景像极坐标系的位置。所述模型扫描节点,用于自动扫描被抓取物体的点云模型。所述演示追踪节点,用于在演示阶段追踪示教者演示分拣。所述物体识别节点,用于在执行阶段识别所需抓取的物体。所述位姿估计节点,用于在执行阶段定位所要抓取的物体。所述信息流节点,用于将采集到的演示信息表述成基于符号的有限状态机。所述UR驱动节点,通过网线连接机器人控制器,调用ROS service经由TCP/IP协议实现机器人控制。UR机器人的软件驱动,用于建立ROS***与UR机器人的通信,调用UR驱动节点的ROS service可以直接控制UR机器人IO、关节速度等。所述抽象程序节点,用于整合信息流节点的有限状态机以及参数服务器的数据形成物体运动路径。所述Movegroup节点用于实现抓取和运动规划,建立机器人任务,如抓取、搬运等。
如图2所示,为本发明的布局示意图。机器人4与计算机6通过网线5连接,两者距离不作要求,但计算机位置不能遮挡远景相机2的视野。远景相机需要观测到机器人、示教者演示区域以及任务执行区域。相机安装高度取决于现场情况,应尽量不低于机器人基座。近景相机7和机械抓手8通过机械连接安装于机器人末端,用以执行抓取任务。
图3为本发明的运行流程图。按图2布局完成后,开始执行以下步骤:
1)标定两个相机与机器人关系。
2)扫描分拣物体点云模型。
3)给二维码绑定点云模型,进行演示。用户从传送带或者桌面移动贴了如图5所示的二维码的物体放到某一目标位置或者盒子中。多类物体放置到不同目标位置需要使用多个二维码分别演示各执行过程。若只使用一个二维码进行多类物体分类,每次演示结束,需将另一个点云模型绑定到该二维码,然后演示执行过程。
4)***提示是否确认演示过程,如果认为演示出错可重新演示。
5)演示成功后,进入执行阶段。视觉***监视任务执行区域,如果没有找到物体,持续检测。
6)一旦检测到物体,视觉***自动匹配物体类别,调用不同演示生成的程序。
7)执行生成的程序,根据自适应抓取程序和运动规划程序进行分拣动作。
8)如果没有收到停止或者重新演示的命令,***将持续步骤5到步骤7。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种机器人快速示教分拣***,其特征在于,包括机器人模块、机械抓手模块、机械臂模块、深度相机模块、标定板模块、标志物模块、计算机模块和安装在其上的ROS***模块;
所述机械抓手模块至少包括一个机械抓手,所述机械抓手被配置为执行抓取任务,所述机械臂模块至少包括一个机械臂,其末端安装在所述机械抓手上;
所述深度相机模块至少一个远景相机和至少一个近景相机,所述深度相机模块被配置为跟踪演示、识别物***姿、采集点云;
所述标定板模块被配置为标定深度相机和机器人坐标系;
所述标志物模块被配置为在演示中动态跟踪物***姿;
所述机器人模块与计算机模块通过网线连接;
所述近景相机和所述机械抓手通过机械连接安装于所述机器人模块末端。
2.如权利要求1所述的机器人快速示教分拣***,其特征在于,所述远景相机安装在相机支架上,被配置为观测机器人整个运动空间以及分拣任务区域;所述远景相机为长距离相机,工作距离2m以上;所述近景相机安装在机器人末端,被配置为扫描点云模型以及抓取任务;所述近景相机扫到的点云的平面度误差应小于2mm。
3.如权利要求1所述的机器人快速示教分拣***,其特征在于,所述ROS***模块包括远景及近景深度相机驱动节点、标定节点、模型扫描节点、演示跟踪节点、物体识别节点、位姿估计节点、信息流节点、UR驱动节点、抽象程序节点、Movegroup节点;所述ROS***模块被配置在计算机上,并由一根网线连接至机器人控制柜。
4.如权利要求3所述的机器人快速示教分拣***,其特征在于,所述远景及近景深度相机驱动节点被配置为连接相机、采集图像和点云信息。
5.如权利要求3所述的机器人快速示教分拣***,其特征在于,所述标定节点被配置为标定机器人基坐标系和远景相机坐标系的位置,以及机器人末端坐标系与近景相机坐标系的位置。
6.如权利要求3所述的机器人快速示教分拣***,其特征在于,所述模型扫描节点被配置为自动扫描被抓取物体的点云模型;所述演示追踪节点被配置为在演示阶段追踪示教者演示分拣;所述物体识别节点被配置为在执行阶段识别所需抓取的物体;所述位姿估计节点被配置为在执行阶段定位所要抓取的物体。
7.如权利要求3所述的机器人快速示教分拣***,其特征在于,所述UR驱动节点被配置为通过网线连接机器人控制器,调用ROS service经由TCP/IP协议实现机器人控制。
8.如权利要求3所述的机器人快速示教分拣***,其特征在于,所述抽象程序节点被配置为整合信息流节点的有限状态机以及参数服务器的数据形成物体运动路径。
9.如权利要求3所述的机器人快速示教分拣***,其特征在于,所述Movegroup节点被配置为实现抓取和运动规划,建立机器人任务。
10.一种基于权利要求1-9任意一项所述机器人快速示教分拣***的机器人快速示教分拣方法,其特征在于,包括以下步骤:
(1)标定两个相机与机器人关系;
(2)扫描分拣物体点云模型;
(3)给二维码绑定点云模型,进行演示;
(4)***提示是否确认演示过程,如演示出错可重新演示;
(5)演示成功后,进入执行阶段;视觉***监视任务执行区域,如果没有找到物体,持续检测;
(6)一旦检测到物体,视觉***自动匹配物体类别,调用不同演示生成的程序;
(7)执行生成的程序,根据自适应抓取程序和运动规划程序进行分拣动作;
(8)如果没有收到停止或者重新演示的命令,***将持续步骤5到步骤7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810427834.9A CN108655026B (zh) | 2018-05-07 | 2018-05-07 | 一种机器人快速示教分拣***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810427834.9A CN108655026B (zh) | 2018-05-07 | 2018-05-07 | 一种机器人快速示教分拣***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108655026A true CN108655026A (zh) | 2018-10-16 |
CN108655026B CN108655026B (zh) | 2020-08-14 |
Family
ID=63778597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810427834.9A Active CN108655026B (zh) | 2018-05-07 | 2018-05-07 | 一种机器人快速示教分拣***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108655026B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109940616A (zh) * | 2019-03-21 | 2019-06-28 | 佛山智能装备技术研究院 | 一种基于大脑—小脑模式的智能抓取***及方法 |
CN110599823A (zh) * | 2019-09-05 | 2019-12-20 | 北京科技大学 | 一种基于示教视频和解说语音融合的服务机器人示教方法 |
CN112605974A (zh) * | 2020-11-27 | 2021-04-06 | 广东省科学院智能制造研究所 | 一种机器人复杂操作技能表征方法及*** |
CN113199454A (zh) * | 2021-06-22 | 2021-08-03 | 北京航空航天大学 | 一种轮式移动智能物流作业机器人*** |
CN114535102A (zh) * | 2022-02-16 | 2022-05-27 | 北京京东乾石科技有限公司 | 分拣***、分拣方法、控制方法及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807247A (zh) * | 2010-03-22 | 2010-08-18 | 中国农业大学 | 果蔬采摘点微调定位方法 |
CN104786226A (zh) * | 2015-03-26 | 2015-07-22 | 华南理工大学 | 抓取在线工件的机器人位姿及运动轨迹定位***与方法 |
CN105234943A (zh) * | 2015-09-09 | 2016-01-13 | 大族激光科技产业集团股份有限公司 | 一种基于视觉识别的工业机器人示教装置及方法 |
CN106096518A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨多智科技发展有限公司 | 基于深度学习的快速动态人体动作提取、识别方法 |
US20160368150A1 (en) * | 2015-06-17 | 2016-12-22 | Seiko Epson Corporation | Robot, control device, and control method |
CN106826822A (zh) * | 2017-01-25 | 2017-06-13 | 南京阿凡达机器人科技有限公司 | 一种基于ros***的视觉定位及机械臂抓取实现方法 |
CN107160364A (zh) * | 2017-06-07 | 2017-09-15 | 华南理工大学 | 一种基于机器视觉的工业机器人示教***及方法 |
CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程***及方法 |
CN107571260A (zh) * | 2017-10-25 | 2018-01-12 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
CN107932560A (zh) * | 2017-11-14 | 2018-04-20 | 上海交通大学 | 一种人机安全防护***和防护方法 |
-
2018
- 2018-05-07 CN CN201810427834.9A patent/CN108655026B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807247A (zh) * | 2010-03-22 | 2010-08-18 | 中国农业大学 | 果蔬采摘点微调定位方法 |
CN104786226A (zh) * | 2015-03-26 | 2015-07-22 | 华南理工大学 | 抓取在线工件的机器人位姿及运动轨迹定位***与方法 |
US20160368150A1 (en) * | 2015-06-17 | 2016-12-22 | Seiko Epson Corporation | Robot, control device, and control method |
CN105234943A (zh) * | 2015-09-09 | 2016-01-13 | 大族激光科技产业集团股份有限公司 | 一种基于视觉识别的工业机器人示教装置及方法 |
CN106096518A (zh) * | 2016-06-02 | 2016-11-09 | 哈尔滨多智科技发展有限公司 | 基于深度学习的快速动态人体动作提取、识别方法 |
CN106826822A (zh) * | 2017-01-25 | 2017-06-13 | 南京阿凡达机器人科技有限公司 | 一种基于ros***的视觉定位及机械臂抓取实现方法 |
CN107160364A (zh) * | 2017-06-07 | 2017-09-15 | 华南理工大学 | 一种基于机器视觉的工业机器人示教***及方法 |
CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程***及方法 |
CN107571260A (zh) * | 2017-10-25 | 2018-01-12 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
CN107932560A (zh) * | 2017-11-14 | 2018-04-20 | 上海交通大学 | 一种人机安全防护***和防护方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109940616A (zh) * | 2019-03-21 | 2019-06-28 | 佛山智能装备技术研究院 | 一种基于大脑—小脑模式的智能抓取***及方法 |
CN109940616B (zh) * | 2019-03-21 | 2022-06-03 | 佛山智能装备技术研究院 | 一种基于大脑—小脑模式的智能抓取***及方法 |
CN110599823A (zh) * | 2019-09-05 | 2019-12-20 | 北京科技大学 | 一种基于示教视频和解说语音融合的服务机器人示教方法 |
CN110599823B (zh) * | 2019-09-05 | 2021-08-13 | 北京科技大学 | 一种基于示教视频和解说语音融合的服务机器人示教方法 |
CN112605974A (zh) * | 2020-11-27 | 2021-04-06 | 广东省科学院智能制造研究所 | 一种机器人复杂操作技能表征方法及*** |
CN113199454A (zh) * | 2021-06-22 | 2021-08-03 | 北京航空航天大学 | 一种轮式移动智能物流作业机器人*** |
CN114535102A (zh) * | 2022-02-16 | 2022-05-27 | 北京京东乾石科技有限公司 | 分拣***、分拣方法、控制方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108655026B (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108655026A (zh) | 一种机器人快速示教分拣***和方法 | |
Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
US10751877B2 (en) | Industrial robot training using mixed reality | |
Frank et al. | Realizing mixed-reality environments with tablets for intuitive human-robot collaboration for object manipulation tasks | |
US9776325B1 (en) | Method for tele-robotic operations over time-delayed communication links | |
CN107395844A (zh) | 测试设备、方法、***、介质、装置和计算设备 | |
CN107122045A (zh) | 一种基于混合现实技术的虚拟人机示教***及方法 | |
Lengare et al. | Human hand tracking using MATLAB to control Arduino based robotic arm | |
El Zaatari et al. | iTP-LfD: Improved task parametrised learning from demonstration for adaptive path generation of cobot | |
Shamaine et al. | RoSTAR: ROS-based telerobotic control via augmented reality | |
Yanaokura et al. | A multimodal learning-from-observation towards all-at-once robot teaching using task cohesion | |
JP2020077231A (ja) | 位置検出プログラム、位置検出方法及び位置検出装置 | |
Grasshoff et al. | 7dof hand and arm tracking for teleoperation of anthropomorphic robots | |
Khan | ROS-based control of a manipulator arm for balancing a ball on a plate | |
Chew et al. | Development of a virtual environment to realize human-machine interaction of forklift operation | |
Piciarelli et al. | An augmented reality system for technical staff training | |
CN114683251A (zh) | 机器人抓取方法、装置、电子设备及可读取存储介质 | |
Yu et al. | Efficiency and learnability comparison of the gesture-based and the mouse-based telerobotic systems | |
Yeasin et al. | Automatic robot programming by visual demonstration of task execution | |
JP2023505322A (ja) | ロボットをプログラムするための方法及びシステム | |
Ma et al. | Design of manipulator control system based on leap motion | |
Root et al. | Research and development of a gesture-controlled robot manipulator system | |
Yang et al. | Teaching a robot to draw: hand gesture demonstration based on human-robot interaction | |
Timofeev et al. | Design and implementation of multi-agent man-machine interface on the base of virtual reality models | |
Moldovan et al. | Motion leap compared to data gloves in human hand tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |