CN108161904A - 基于增强现实的机器人在线示教装置、***、方法、设备 - Google Patents
基于增强现实的机器人在线示教装置、***、方法、设备 Download PDFInfo
- Publication number
- CN108161904A CN108161904A CN201810019213.7A CN201810019213A CN108161904A CN 108161904 A CN108161904 A CN 108161904A CN 201810019213 A CN201810019213 A CN 201810019213A CN 108161904 A CN108161904 A CN 108161904A
- Authority
- CN
- China
- Prior art keywords
- robot
- module
- feeding
- teaching
- virtual robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims description 22
- 238000004891 communication Methods 0.000 claims abstract description 65
- 238000009877 rendering Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract 2
- 238000001514 detection method Methods 0.000 claims description 17
- 230000015556 catabolic process Effects 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 5
- 238000005507 spraying Methods 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Numerical Control (AREA)
Abstract
本发明涉及一种基于增强现实的机器人在线示教***,包括示教操作器、方位跟踪传感器、虚拟机器人模型***、增强现实显示器以及一计算机,所述计算机包括存储器、处理器以及通信模块,所述存储器存储有程序,所述程序包括进给计算模块、机器人正向运动学模型、机器人控制逻辑及故障设置模块、虚拟机器人渲染模块和方位跟踪模块。本发明中,操作人员可以通过物理的示教操作器驱动虚拟的机器人模型运动,并通过增强现实技术将虚拟的机器人模型叠加在真实场景中,不需要物理机器人即可进行示教训练或者示教编程,提高了机器人示教训练的安全性,降低了成本,可广泛应用教学和示教编程。
Description
技术领域
本发明涉及一种基于增强现实的机器人在线示教训练***,属于机器人和计算机应用领域。
背景技术
现有的机器人示教训练一般是操作人员通过示教器,手动控制机器人的关节运动,以使机器人运动到预定的位置,同时将该位置进行记录,并传递到机器人控制器中,之后的机器人可根据指令自动重复该任务,操作人员也可以选择不同的坐标系对机器人进行示教。正如公开号为CN104552300A的《一种基于示教机器人的离线编程示教装置及方法》,该技术方案通过数据采集***的位置传感器分别记录关节臂上各自所对应的运动副的移动和转动信息;并将所记录的关节臂每个运动副的移动和转动信息通过通讯总线发送给上位机应用专用软件进行处理与编译,生成机器人程序。
现有的机器人在线示教***均使用示教编程器控制物理机器人运动,如果操作人员操作不当会使物理机器人与周围的障碍物碰撞,致使物理机器人受到损伤。
针对机器人在线示教训练,申请人发明了一种基于增强现实的机器人在线示教训练***,属于半实物仿真。
发明内容
为了解决上述技术问题,本发明提供一种基于增强现实的机器人在线示教训练***,其不需要物理机器人即可进行示教训练或者示教编程,且可以检测虚拟机器人模型与物理环境之间的碰撞,提高了示教训练的安全性和逼真度。
本发明的技术方案如下:
方案一:
基于增强现实的机器人在线示教装置,包括示教操作器、方位跟踪传感器、虚拟机器人模型***、增强现实显示器以及一计算机,所述示教操作器、方位跟踪传感器、增强现实显示器均连接至所述计算机;操作人员手持所述示教操作器,所述示教操作器发出的操作数据传输至所述计算机;所述方位跟踪传感器用于检测操作人员头部和虚拟机器人模型***上的特征信息,并将所述特征信息发送至所述计算机;所述虚拟机器人模型***用于定位虚拟机器人模型在真实环境中的位置并发送至所述计算机;所述计算机处理接收到的数据,并将处理结果发送至所述示教操作器和增强现实显示器,所述示教操作器显示操作结果,所述增强现实显示器显示虚拟机器人模型及其运动图像,并通过虚拟机器人模型***定位虚拟机器人模型在真实环境中的位置,从而生成一个虚实叠加的增强现实环境,通过示教操作器控制虚拟机器人模型对真实环境中的被加工件进行加工。
更优地,机器人在线示教装置所述还包括一深度相机,其连接至所述计算机,所述深度相机实时采集物理环境的深度数据,所述计算机结合所述示教操作器发出的操作数据处理后判断虚拟机器人模型是否与物理环境发生碰撞,如果发生碰撞将碰撞信息发送给增强现实显示器,以提示操作者。
方案二:
基于增强现实的机器人在线示教***,包括进给计算模块、机器人正向运动学模型、虚拟机器人渲染模块和方位跟踪模块;
所述进给计算模块通过计算机内的通信模块接收来自示教操作器的操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块、机器人正向运动学模型以及虚拟机器人渲染模块,通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示;
所述机器人正向运动学模型根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块发送给示教操作器用于显示;
所述方位跟踪模块 接收方位跟踪传感器采集到的特征信息,然后计算虚拟机器人模型***和操作人员在物理坐标系中的位置和姿态,并发送至所述虚拟机器人渲染模块;所述特征信息为操作人员的头部和虚拟机器人模型***上的特征信息;
所述虚拟机器人渲染模块首先根据虚拟机器人模型***的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***的位置和姿态生成与操作人员视角相对应的虚拟机器人模型的图像,并将图像发送给增强现实显示器上显示,或者与视频图像叠加后发送给增强现实显示器显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器控制虚拟机器人模型运动,对真实环境中的被加工件进行模拟加工。
更优地,所述机器人在线示教***还包括一机器人控制逻辑及故障设置模块;所述示教操作器的操作数据通过所述通信模块接收后,分别发送至所述进给计算模块和机器人控制逻辑及故障设置模块; 所述机器人控制逻辑及故障设置模块 根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器判断示教操作器上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块;
所述进给计算模块接收到所述示教操作器的操作数据时必须等到所述机器人控制逻辑及故障设置模块发出执行指令后才生成所述进给量和控制指令。
更优地,所述机器人在线示教***还包括深度图像处理模块和碰撞检测模块,所述深度图像处理模块接收并处理深度相机实时采集到的物理环境的深度数据,然后发送至所述碰撞检测模块,所述碰撞检测模块从所述虚拟机器人渲染模块中获取所述进给量和控制指令,然后结合所述深度数据,判断虚拟机器人模型是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器,以提示操作者。
方案三:
基于增强现实的机器人在线示教方法,包括如下步骤:
步骤1、通过计算机内的通信模块接收来自示教操作器的操作数据,并生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块,通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示;
同时,通过方位跟踪传感器采集特征信息,然后计算虚拟机器人模型***和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***上的特征信息;
步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块发送给示教操作器用于显示;
步骤3、首先根据设于真实环境中的虚拟机器人模型***的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***的位置和姿态生成与操作人员视角相对应的虚拟机器人模型的图像,并将图像发送给增强现实显示器上显示,或者与视频图像叠加后发送给增强现实显示器显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器控制虚拟机器人模型运动,对真实环境中的被加工件进行模拟加工;
上述步骤1执行后,所述步骤2和步骤3不分先后顺序,同时执行。
更优地,所述机器人在线示教方法还包括控制逻辑和故障判断过程,具体如下:
所述步骤1具体为:通过计算机内的通信模块接收来自示教操作器的操作数据,根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块;所述进给计算模块根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块,通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示;
同时,通过方位跟踪传感器采集特征信息,然后计算虚拟机器人模型***和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***上的特征信息;
然后同时执行所述步骤2和步骤3。
更优地,所述步骤3之后还包括碰撞检测步骤4,具体如下:
所述步骤4具体为:首先接收并处理深度相机实时采集到的物理环境的深度数据,然后获取所述进给量和控制指令,接着结合所述深度数据,判断虚拟机器人模型是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器,以提示操作者。
方案四:
基于增强现实的机器人在线示教设备,包括示教操作器、方位跟踪传感器、虚拟机器人模型***、增强现实显示器以及一计算机,所述计算机包括存储器、处理器以及通信模块,其中,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时能够实现以下步骤:
步骤1、通过所述通信模块接收来自所述示教操作器的操作数据,并生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块,通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示;
同时,通过所述方位跟踪传感器采集特征信息,然后计算虚拟机器人模型***和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和所述虚拟机器人模型***上的特征信息;
步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块发送给所述示教操作器用于显示;
步骤3、首先根据设于真实环境中的虚拟机器人模型***的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***的位置和姿态生成与操作人员视角相对应的虚拟机器人模型的图像,并将图像发送给增强现实显示器上显示,或者与视频图像叠加后发送给增强现实显示器显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器控制虚拟机器人模型运动,对真实环境中的被加工件进行模拟加工;
上述步骤1执行后,所述步骤2和步骤3不分先后顺序,同时执行。
更优地,所述计算机程序被处理时还包括控制逻辑和故障判断过程,具体如下:
所述步骤1具体为:通过计算机内的通信模块接收来自所述示教操作器的操作数据,根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块;所述进给计算模块根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块,通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示;
同时,通过方位跟踪传感器采集特征信息,然后计算虚拟机器人模型***和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***上的特征信息;
然后同时执行所述步骤2和步骤3;
所述步骤3执行后,再执行所述步骤4,具体如下:
所述步骤4具体为:在示教空间内设置一深度相机,首先接收并处理所述深度相机实时采集到的物理环境的深度数据,然后获取所述进给量和控制指令,接着结合所述深度数据,判断虚拟机器人模型是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器,以提示操作者。
本发明具有如下有益效果:
(1)、本发明中,操作人员可以通过物理的示教操作器驱动虚拟的机器人模型运动,并通过增强现实技术将虚拟的机器人模型叠加在真实场景中,不需要物理机器人即可进行示教训练或者示教编程,提高了机器人示教训练的安全性,降低了成本,可广泛应用教学和示教编程。
(2)、本发明中,碰撞检测模块和深度相机相结合,可以检测虚拟机器人模型与物理环境之间的碰撞,提高了训练***的逼真度。
(3)、本发明中,在机器人控制逻辑和故障设置模型中预先设置故障,从而使模拟机器人故障。
附图说明
图1为本发明机器人在线示教装置的结构示意图;
图2为本发明机器人在线示教***的示意图;
图3位本发明机器人在线示教方法的流程示意图。
图中附图标记表示为:
1、示教操作器;2、方位跟踪传感器;3、虚拟机器人模型***;4、增强现实显示器;5、计算机;6、通信模块;7、进给计算模块;8、机器人正向运动学模型;9、机器人控制逻辑及故障设置模块;10、虚拟机器人渲染模块;11、方位跟踪模块;12、深度相机;13、深度图像处理模块;14、碰撞检测模块;15、被加工件;16、虚拟机器人模型。
具体实施方式
下面结合附图图1至图3和具体实施例来对本发明进行详细的说明。
实施例一:
请参阅图1,基于增强现实的机器人在线示教装置,包括示教操作器1、方位跟踪传感器2、虚拟机器人模型***3、增强现实显示器4以及一计算机5,所述示教操作器1、方位跟踪传感器2、增强现实显示器4均连接至所述计算机5;操作人员手持所述示教操作器1,所述示教操作器1发出的操作数据传输至所述计算机5;所述方位跟踪传感器2用于检测操作人员头部和虚拟机器人模型***3上的特征信息,并将所述特征信息发送至所述计算机5;所述虚拟机器人模型***3用于定位虚拟机器人模型16在真实环境中的位置并发送至所述计算机5;所述计算机5处理接收到的数据,并将处理结果发送至所述示教操作器1和增强现实显示器4,所述示教操作器1显示操作结果,所述增强现实显示器4显示虚拟机器人模型16及其运动图像,并通过虚拟机器人模型***3定位虚拟机器人模型在真实环境中的位置,从而生成一个虚实叠加的增强现实环境,通过示教操作器1控制虚拟机器人模型16对真实环境中的被加工件15进行加工。
所述示教操作器1与物理机器人用的示教操作面板相同或者类似,可为带按键手柄的操作面板或者计算机5,示教操作器1与计算机5通过通信接口相连。
所述方位跟踪传感器2根据用于检测操作人员头部和虚拟机器人模型***3上的特征信息,因此可以在操作人员头部和虚拟机器人模型***3上设置对应的跟踪标志物或图案,从而实现位置和姿态跟踪。在本实施例中,通过增强现实显示器4上的颜色图像传感器采集虚拟机器人模型***3上的特征,进行增强现实注册,并确定操作人员头部相对于虚拟机器人模型***3的位置和姿态。
更优地,所述机器人在线示教装置还包括一深度相机12,其连接至所述计算机5,所述深度相机12实时采集物理环境的深度数据,所述计算机5 结合所述示教操作器1发出的操作数据处理后判断虚拟机器人模型16是否与物理环境发生碰撞,如果发生碰撞将碰撞信息发送给增强现实显示器4,以提示操作者。
请参阅图3,本发明机器人在线示教装置的工作过程如下:
首先,通过计算机5内的通信模块6接收来自示教操作器1的操作数据,计算机5处理后生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块6,通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示;
同时,通过方位跟踪传感器2采集特征信息,计算机5根据所述特征信息计算虚拟机器人模型16和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***3上的特征信息,具体地,所述特征信息可以是特征点或图案等。
接着,计算机5根据所述进给量和控制指令利用机器人正向运动学模型8计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块6发送给示教操作器1,以及:根据设于真实环境中的虚拟机器人模型***3的位置和姿态将虚拟环境坐标系与物理坐标系对齐,根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动,并根据操作人员的头部相对于虚拟机器人模型***3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像,并将图像发送给增强现实显示器4上显示,或者与视频图像叠加后发送给增强现实显示器4显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器1控制虚拟机器人模型16运动,对真实环境中的被加工件15进行模拟加工,如焊接、喷涂等。
实施例二:
重点请参阅图2和图3,基于增强现实的机器人在线示教***,包括进给计算模块7、机器人正向运动学模型8、虚拟机器人渲染模块10和方位跟踪模块11;
所述进给计算模块7通过计算机5内的通信模块6接收来自示教操作器1的操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块6、机器人正向运动学模型8以及虚拟机器人渲染模块10,通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示;所述进给量包括角位移或直线位移;
所述机器人正向运动学模型8根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块6发送给示教操作器1用于显示;
所述方位跟踪模块11 接收方位跟踪传感器2采集到的特征信息,然后计算虚拟机器人模型***3和操作人员在物理坐标系中的位置和姿态,并发送至所述虚拟机器人渲染模块10;所述特征信息为操作人员的头部和虚拟机器人模型***3上的特征信息;
所述虚拟机器人渲染模块10首先根据虚拟机器人模型***3的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像,并将图像发送给增强现实显示器4上显示,或者与视频图像叠加后发送给增强现实显示器4显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器1控制虚拟机器人模型16运动,对真实环境中的被加工件15进行模拟加工,如焊接、喷涂等。
为了模拟物理机器人可能出现的故障或控制逻辑错误,所述机器人在线示教***还包括一机器人控制逻辑及故障设置模块9;所述示教操作器1的操作数据通过所述通信模块6接收后,分别发送至所述进给计算模块7和机器人控制逻辑及故障设置模块9; 所述机器人控制逻辑及故障设置模块9 根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器1判断示教操作器1上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块7;
所述进给计算模块7接收到所述示教操作器1的操作数据时必须等到所述机器人控制逻辑及故障设置模块9发出执行指令后才生成所述进给量和控制指令。
为了避免物理机器人在实际操作与真实环境之间存在碰撞,因此,在线示教***中增加了碰撞检测模块14,提高了训练***的逼真度,具体如下:
所述机器人在线示教***还包括深度图像处理模块13和碰撞检测模块14,所述深度图像处理模块13接收并处理深度相机12实时采集到的物理环境的深度数据,然后发送至所述碰撞检测模块14,所述碰撞检测模块14从所述虚拟机器人渲染模块10中获取所述进给量和控制指令,然后结合所述深度数据,判断虚拟机器人模型16是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器4,以提示操作者。
实施例三:
请参阅图3,基于增强现实的机器人在线示教方法,包括如下步骤:
步骤1、通过计算机5内的通信模块6接收来自示教操作器1的操作数据,并生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块6,通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示;
同时,通过方位跟踪传感器2采集特征信息,然后计算虚拟机器人模型***3和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***3上的特征信息;
步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块6发送给示教操作器1用于显示;
步骤3、首先根据设于真实环境中的虚拟机器人模型***3的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像,并将图像发送给增强现实显示器4上显示,或者与视频图像叠加后发送给增强现实显示器4显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器1控制虚拟机器人模型16运动,对真实环境中的被加工件15进行模拟加工,如焊接、喷涂等;
上述步骤1执行后,所述步骤2和步骤3不分先后顺序,同时执行。
更优地,为了模拟物理机器人可能出现的故障或控制逻辑错误,所述机器人在线示教方法还包括控制逻辑和故障判断过程,具体如下:
所述步骤1具体为:通过计算机5内的通信模块6接收来自示教操作器1的操作数据,根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器1上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块7;所述进给计算模块7根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块6,通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示;
同时,通过方位跟踪传感器2采集特征信息,然后计算虚拟机器人模型***3和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***3上的特征信息;
然后同时执行所述步骤2和步骤3。
为了避免物理机器人在实际操作与真实环境(即物理环境)之间存在碰撞,所述步骤3之后还包括碰撞检测步骤4,具体如下:
所述步骤4具体为:首先接收并处理深度相机12实时采集到的物理环境的深度数据,然后获取所述进给量和控制指令,接着结合所述深度数据,判断虚拟机器人模型16是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器4,以提示操作者。
实施例四:
请参阅图1和图3,基于增强现实的机器人在线示教设备,包括示教操作器1、方位跟踪传感器2、虚拟机器人模型***3、增强现实显示器4以及一计算机5,所述计算机5包括存储器、处理器以及通信模块6,其中,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时能够实现以下步骤:
步骤1、通过所述通信模块6接收来自所述示教操作器1的操作数据,并生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块6,通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示;
同时,通过所述方位跟踪传感器2采集特征信息,然后计算虚拟机器人模型***3和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和所述虚拟机器人模型***3上的特征信息;
步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块6发送给所述示教操作器1用于显示;
步骤3、首先根据设于真实环境中的虚拟机器人模型***3的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像,并将图像发送给增强现实显示器4上显示,或者与视频图像叠加后发送给增强现实显示器4显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器1控制虚拟机器人模型16运动,对真实环境中的被加工件15进行模拟加工,如焊接、喷涂等;
上述步骤1执行后,所述步骤2和步骤3不分先后顺序,同时执行。
为了模拟物理机器人可能出现的故障或控制逻辑错误,所述计算机程序被处理时还包括控制逻辑和故障判断过程,具体如下:
所述步骤1具体为:通过计算机5内的通信模块6接收来自所述示教操作器1的操作数据,根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器1上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块7;所述进给计算模块7根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块6,通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示;
同时,通过方位跟踪传感器2采集特征信息,然后计算虚拟机器人模型***3和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***3上的特征信息;
然后同时执行所述步骤2和步骤3。
为了避免物理机器人在实际操作与真实环境之间存在碰撞,机器人在线示教设备还包括至少一深度相机12,所述计算机程序被处理时还包括碰撞检测步骤4,所述步骤3执行后,再执行所述步骤4,具体如下:
所述步骤4具体为:首先接收并处理所述深度相机12实时采集到的物理环境的深度数据,然后获取所述进给量和控制指令,接着结合所述深度数据,判断虚拟机器人模型16是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器4,以提示操作者。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.基于增强现实的机器人在线示教装置,其特征在于:包括示教操作器(1)、方位跟踪传感器(2)、虚拟机器人模型***(3)、增强现实显示器(4)以及一计算机(5),所述示教操作器(1)、方位跟踪传感器(2)、增强现实显示器(4)均连接至所述计算机(5);操作人员手持所述示教操作器(1),所述示教操作器(1)发出的操作数据传输至所述计算机(5);所述方位跟踪传感器(2)用于检测操作人员头部和虚拟机器人模型***(3)上的特征信息,并将所述特征信息发送至所述计算机(5);所述虚拟机器人模型***(3)用于定位虚拟机器人模型(16)在真实环境中的位置并发送至所述计算机(5);所述计算机(5)处理接收到的数据,并将处理结果发送至所述示教操作器(1)和增强现实显示器(4),所述示教操作器(1)显示操作结果,所述增强现实显示器(4)显示虚拟机器人模型(16)及其运动图像,并通过虚拟机器人模型***(3)定位虚拟机器人模型在真实环境中的位置,从而生成一个虚实叠加的增强现实环境,通过示教操作器(1)控制虚拟机器人模型(16)运动,对真实环境中的被加工件(15)进行模拟加工。
2.根据权利要求1所述的基于增强现实的机器人在线示教装置,其特征在于:还包括一深度相机(12),其连接至所述计算机(5),所述深度相机(12)实时采集物理环境的深度数据,所述计算机(5)结合所述示教操作器(1)发出的操作数据处理后判断虚拟机器人模型(16)是否与物理环境发生碰撞,如果发生碰撞将碰撞信息发送给增强现实显示器(4),以提示操作者。
3.基于增强现实的机器人在线示教***,其特征在于:包括进给计算模块(7)、机器人正向运动学模型(8)、虚拟机器人渲染模块(10)和方位跟踪模块(11);
所述进给计算模块(7)通过计算机(5)内的通信模块(6)接收来自示教操作器(1)的操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块(6)、机器人正向运动学模型(8)以及虚拟机器人渲染模块(10),通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示;
所述机器人正向运动学模型(8)根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块(6)发送给示教操作器(1)用于显示;
所述方位跟踪模块(11) 接收方位跟踪传感器(2)采集到的特征信息,然后计算虚拟机器人模型***(3)和操作人员在物理坐标系中的位置和姿态,并发送至所述虚拟机器人渲染模块(10);所述特征信息为操作人员的头部和虚拟机器人模型***(3)上的特征信息;
所述虚拟机器人渲染模块(10)首先根据虚拟机器人模型***(3)的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型(16) 的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***(3)的位置和姿态生成与操作人员视角相对应的虚拟机器人模型(16)的图像,并将图像发送给增强现实显示器(4)上显示,或者与视频图像叠加后发送给增强现实显示器(4)显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器(1)控制虚拟机器人模型(16)运动,对真实环境中的被加工件(15)进行模拟加工。
4.根据权利要求3所述的基于增强现实的机器人在线示教***,其特征在于:还包括一机器人控制逻辑及故障设置模块(9);所述示教操作器(1)的操作数据通过所述通信模块(6)接收后,分别发送至所述进给计算模块(7)和机器人控制逻辑及故障设置模块(9); 所述机器人控制逻辑及故障设置模块(9) 根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器(1)判断示教操作器(1)上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块(7);
所述进给计算模块(7)接收到所述示教操作器(1)的操作数据时必须等到所述机器人控制逻辑及故障设置模块(9)发出执行指令后才生成所述进给量和控制指令。
5.根据权利要求3所述的基于增强现实的机器人在线示教***,其特征在于:还包括深度图像处理模块(13)和碰撞检测模块(14),所述深度图像处理模块(13)接收并处理深度相机(12)实时采集到的物理环境的深度数据,然后发送至所述碰撞检测模块(14),所述碰撞检测模块(14)从所述虚拟机器人渲染模块(10)中获取所述进给量和控制指令,然后结合所述深度数据,判断虚拟机器人模型(16)是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器(4),以提示操作者。
6.基于增强现实的机器人在线示教方法,其特征在于,包括如下步骤:
步骤1、通过计算机(5)内的通信模块(6)接收来自示教操作器(1)的操作数据,并生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块(6),通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示;
同时,通过方位跟踪传感器(2)采集特征信息,然后计算虚拟机器人模型***(3)和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***(3)上的特征信息;
步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块(6)发送给示教操作器(1)用于显示;
步骤3、首先根据设于真实环境中的虚拟机器人模型***(3)的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型(16) 的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***(3)的位置和姿态生成与操作人员视角相对应的虚拟机器人模型(16)的图像,并将图像发送给增强现实显示器(4)上显示,或者与视频图像叠加后发送给增强现实显示器(4)显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器(1)控制虚拟机器人模型(16)运动,对真实环境中的被加工件(15)进行模拟加工;
上述步骤1执行后,所述步骤2和步骤3不分先后顺序,同时执行。
7.根据权利要求6所述的基于增强现实的机器人在线示教方法,其特征在于,还包括控制逻辑和故障判断过程,具体如下:
所述步骤1具体为:通过计算机(5)内的通信模块(6)接收来自示教操作器(1)的操作数据,根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器(1)上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块(7);所述进给计算模块(7)根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块(6),通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示;
同时,通过方位跟踪传感器(2)采集特征信息,然后计算虚拟机器人模型***(3)和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***(3)上的特征信息;
然后同时执行所述步骤2和步骤3。
8.根据权利要求6所述的基于增强现实的机器人在线示教方法,其特征在于,所述步骤3之后还包括碰撞检测步骤4,具体如下:
所述步骤4具体为:首先接收并处理深度相机(12)实时采集到的物理环境的深度数据,然后获取所述进给量和控制指令,接着结合所述深度数据,判断虚拟机器人模型(16)是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器(4),以提示操作者。
9.基于增强现实的机器人在线示教设备,其特征在于:包括示教操作器(1)、方位跟踪传感器(2)、虚拟机器人模型***(3)、增强现实显示器(4)以及一计算机(5),所述计算机(5)包括存储器、处理器以及通信模块(6),其中,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时能够实现以下步骤:
步骤1、通过所述通信模块(6)接收来自所述示教操作器(1)的操作数据,并生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块(6),通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示;
同时,通过方位跟踪传感器(2)采集特征信息,然后计算虚拟机器人模型***(3)和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***(3)上的特征信息;
步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态,并将末端点的位置和姿态数据通过所述通信模块(6)发送给所述示教操作器(1)用于显示;
步骤3、首先根据设于真实环境中的虚拟机器人模型***(3)的位置和姿态将虚拟环境坐标系与物理坐标系对齐,然后根据所述进给量和控制指令驱动所述虚拟机器人模型(16) 的各关节相对运动,最后根据操作人员的头部相对于虚拟机器人模型***(3)的位置和姿态生成与操作人员视角相对应的虚拟机器人模型(16)的图像,并将图像发送给增强现实显示器(4)上显示,或者与视频图像叠加后发送给增强现实显示器(4)显示,从而生成一个虚实叠加的增强现实环境,通过示教操作器(1)控制虚拟机器人模型(16)运动,对真实环境中的被加工件(15)进行模拟加工。
10.根据权利要求9所述的基于增强现实的机器人在线示教设备,其特征在于:所述计算机程序被处理时还包括控制逻辑和故障判断过程以及碰撞检测步骤4,具体如下:
所述步骤1具体为:通过计算机(5)内的通信模块(6)接收来自所述示教操作器(1)的操作数据,根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器(1)上的操作是否符合机器人的控制逻辑,并判断机器人的被控单元是否存在故障,若符合逻辑且被控单元不存在故障,则发送执行指令给所述进给计算模块(7);所述进给计算模块(7)根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令,并将其发送至所述通信模块(6),通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示;
同时,通过方位跟踪传感器(2)采集特征信息,然后计算虚拟机器人模型***(3)和操作人员在物理坐标系中的位置和姿态;所述特征信息为操作人员的头部和虚拟机器人模型***(3)上的特征信息;
然后同时执行所述步骤2和步骤3;
所述步骤3执行后,再执行所述步骤4,具体如下:
所述步骤4具体为:在示教空间内设置一深度相机(12),首先接收并处理所述深度相机(12)实时采集到的物理环境的深度数据,然后获取所述进给量和控制指令,接着结合所述深度数据,判断虚拟机器人模型(16)是否与物理环境发生碰撞,如果发生碰撞则将碰撞信息发送给增强现实显示器(4),以提示操作者。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810019213.7A CN108161904B (zh) | 2018-01-09 | 2018-01-09 | 基于增强现实的机器人在线示教装置、***、方法、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810019213.7A CN108161904B (zh) | 2018-01-09 | 2018-01-09 | 基于增强现实的机器人在线示教装置、***、方法、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108161904A true CN108161904A (zh) | 2018-06-15 |
CN108161904B CN108161904B (zh) | 2019-12-03 |
Family
ID=62517916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810019213.7A Active CN108161904B (zh) | 2018-01-09 | 2018-01-09 | 基于增强现实的机器人在线示教装置、***、方法、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108161904B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898676A (zh) * | 2018-06-19 | 2018-11-27 | 青岛理工大学 | 一种虚实物体之间碰撞及遮挡检测方法及*** |
CN108908298A (zh) * | 2018-07-23 | 2018-11-30 | 合肥工业大学 | 一种融合虚拟现实技术的主从式喷涂机器人示教*** |
CN109078334A (zh) * | 2018-06-21 | 2018-12-25 | 广州市世平计算机科技有限公司 | 一种基于虚拟机器人的vr操作引导及陪练方法和*** |
CN110084890A (zh) * | 2019-04-08 | 2019-08-02 | 中科云创(北京)科技有限公司 | 基于混合现实的机械臂文字复写方法及装置 |
CN110125944A (zh) * | 2019-05-14 | 2019-08-16 | 中国地质大学(武汉) | 一种机械臂示教***和方法 |
CN110142770A (zh) * | 2019-05-07 | 2019-08-20 | 中国地质大学(武汉) | 一种基于头戴显示装置的机器人示教***及方法 |
CN110181519A (zh) * | 2019-06-25 | 2019-08-30 | 广东希睿数字科技有限公司 | 基于数字孪生机器人的地铁台站门故障检测方法及*** |
CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教***及方法 |
CN110286769A (zh) * | 2019-06-28 | 2019-09-27 | 泉州信息工程学院 | 一种基于增强现实的智能仿真制造方法和***以及设备 |
CN110394803A (zh) * | 2019-08-14 | 2019-11-01 | 纳博特南京科技有限公司 | 一种机器人控制*** |
CN111283664A (zh) * | 2020-03-24 | 2020-06-16 | 青岛理工大学 | 一种面向机器人增强现实示教的注册***和方法 |
CN111300416A (zh) * | 2020-03-10 | 2020-06-19 | 南京工程学院 | 基于增强现实的模块化可重构机器人规划仿真方法和*** |
CN111317490A (zh) * | 2020-02-25 | 2020-06-23 | 京东方科技集团股份有限公司 | 一种远程操作控制***及远程操作控制方法 |
CN112017488A (zh) * | 2020-08-28 | 2020-12-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于ar的教育机器人***及学习方法 |
CN112247993A (zh) * | 2020-04-15 | 2021-01-22 | 牧今科技 | 具有碰撞避免机制的机器人***及其操作方法 |
CN112686399A (zh) * | 2020-12-24 | 2021-04-20 | 国网上海市电力公司 | 一种基于增强现实技术的配电室火灾应急抢修方法及*** |
US20210154844A1 (en) * | 2019-11-22 | 2021-05-27 | Fanuc Corporation | Simulation device and robot system using augmented reality |
CN112936261A (zh) * | 2021-01-27 | 2021-06-11 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人现场仿真***与方法 |
CN113001548A (zh) * | 2021-03-15 | 2021-06-22 | 安徽工程大学 | 一种基于虚拟仿真体验的机器人示教方法及*** |
CN113034668A (zh) * | 2021-03-01 | 2021-06-25 | 中科数据(青岛)科技信息有限公司 | 一种ar辅助的机械模拟操作方法和*** |
CN113126568A (zh) * | 2021-03-10 | 2021-07-16 | 上海乾庾智能科技有限公司 | 一种基于增强现实技术的工业机器人操作和演示*** |
CN113194862A (zh) * | 2018-08-14 | 2021-07-30 | 威博外科公司 | 使用增强反射镜显示器设置外科机器人 |
CN113710430A (zh) * | 2019-03-07 | 2021-11-26 | 万德博茨有限公司 | 方法、***和非易失性存储介质 |
CN114130995A (zh) * | 2021-11-29 | 2022-03-04 | 烟台朗文汽车零部件有限公司 | 一种制芯机器人自动化取芯***及方法 |
CN114932537A (zh) * | 2022-06-27 | 2022-08-23 | 重庆大学 | 一种机器人轨迹规划方法及装置 |
US11919175B2 (en) | 2020-04-15 | 2024-03-05 | Mujin, Inc. | Robotic system with collision avoidance mechanism and method of operation thereof |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104470687A (zh) * | 2012-07-20 | 2015-03-25 | 株式会社安川电机 | 机器人模拟器、机器人示教装置以及机器人示教方法 |
CN104842356A (zh) * | 2015-05-29 | 2015-08-19 | 电子科技大学 | 一种基于分布式计算与机器视觉的多码垛机器人示教方法 |
CN106448422A (zh) * | 2016-08-22 | 2017-02-22 | 纳博特南京科技有限公司 | 基于vr装置的机器人培训***及培训方法 |
JP2017100234A (ja) * | 2015-12-01 | 2017-06-08 | 株式会社デンソーウェーブ | ティーチング結果表示システム |
WO2017151999A1 (en) * | 2016-03-04 | 2017-09-08 | Covidien Lp | Virtual and/or augmented reality to provide physical interaction training with a surgical robot |
CN107263449A (zh) * | 2017-07-05 | 2017-10-20 | 中国科学院自动化研究所 | 基于虚拟现实的机器人远程示教*** |
CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程***及方法 |
-
2018
- 2018-01-09 CN CN201810019213.7A patent/CN108161904B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104470687A (zh) * | 2012-07-20 | 2015-03-25 | 株式会社安川电机 | 机器人模拟器、机器人示教装置以及机器人示教方法 |
CN104842356A (zh) * | 2015-05-29 | 2015-08-19 | 电子科技大学 | 一种基于分布式计算与机器视觉的多码垛机器人示教方法 |
JP2017100234A (ja) * | 2015-12-01 | 2017-06-08 | 株式会社デンソーウェーブ | ティーチング結果表示システム |
WO2017151999A1 (en) * | 2016-03-04 | 2017-09-08 | Covidien Lp | Virtual and/or augmented reality to provide physical interaction training with a surgical robot |
CN106448422A (zh) * | 2016-08-22 | 2017-02-22 | 纳博特南京科技有限公司 | 基于vr装置的机器人培训***及培训方法 |
CN107263449A (zh) * | 2017-07-05 | 2017-10-20 | 中国科学院自动化研究所 | 基于虚拟现实的机器人远程示教*** |
CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程***及方法 |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898676B (zh) * | 2018-06-19 | 2022-05-13 | 青岛理工大学 | 一种虚实物体之间碰撞及遮挡检测方法及*** |
CN108898676A (zh) * | 2018-06-19 | 2018-11-27 | 青岛理工大学 | 一种虚实物体之间碰撞及遮挡检测方法及*** |
CN109078334A (zh) * | 2018-06-21 | 2018-12-25 | 广州市世平计算机科技有限公司 | 一种基于虚拟机器人的vr操作引导及陪练方法和*** |
CN109078334B (zh) * | 2018-06-21 | 2020-04-14 | 广州市世平计算机科技有限公司 | 一种基于虚拟机器人的vr操作引导及陪练方法和*** |
CN108908298A (zh) * | 2018-07-23 | 2018-11-30 | 合肥工业大学 | 一种融合虚拟现实技术的主从式喷涂机器人示教*** |
CN108908298B (zh) * | 2018-07-23 | 2021-08-10 | 合肥工业大学 | 一种融合虚拟现实技术的主从式喷涂机器人示教*** |
CN113194862A (zh) * | 2018-08-14 | 2021-07-30 | 威博外科公司 | 使用增强反射镜显示器设置外科机器人 |
CN113710430A (zh) * | 2019-03-07 | 2021-11-26 | 万德博茨有限公司 | 方法、***和非易失性存储介质 |
CN110084890A (zh) * | 2019-04-08 | 2019-08-02 | 中科云创(北京)科技有限公司 | 基于混合现实的机械臂文字复写方法及装置 |
CN110142770A (zh) * | 2019-05-07 | 2019-08-20 | 中国地质大学(武汉) | 一种基于头戴显示装置的机器人示教***及方法 |
CN110125944A (zh) * | 2019-05-14 | 2019-08-16 | 中国地质大学(武汉) | 一种机械臂示教***和方法 |
CN110181519A (zh) * | 2019-06-25 | 2019-08-30 | 广东希睿数字科技有限公司 | 基于数字孪生机器人的地铁台站门故障检测方法及*** |
CN110181519B (zh) * | 2019-06-25 | 2022-03-18 | 广东希睿数字科技有限公司 | 基于数字孪生机器人的地铁台站门故障检测方法及*** |
CN110286769A (zh) * | 2019-06-28 | 2019-09-27 | 泉州信息工程学院 | 一种基于增强现实的智能仿真制造方法和***以及设备 |
CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教***及方法 |
CN110394803A (zh) * | 2019-08-14 | 2019-11-01 | 纳博特南京科技有限公司 | 一种机器人控制*** |
US11904478B2 (en) * | 2019-11-22 | 2024-02-20 | Fanuc Corporation | Simulation device and robot system using augmented reality |
US20210154844A1 (en) * | 2019-11-22 | 2021-05-27 | Fanuc Corporation | Simulation device and robot system using augmented reality |
CN111317490A (zh) * | 2020-02-25 | 2020-06-23 | 京东方科技集团股份有限公司 | 一种远程操作控制***及远程操作控制方法 |
CN111300416A (zh) * | 2020-03-10 | 2020-06-19 | 南京工程学院 | 基于增强现实的模块化可重构机器人规划仿真方法和*** |
CN111283664A (zh) * | 2020-03-24 | 2020-06-16 | 青岛理工大学 | 一种面向机器人增强现实示教的注册***和方法 |
US11919175B2 (en) | 2020-04-15 | 2024-03-05 | Mujin, Inc. | Robotic system with collision avoidance mechanism and method of operation thereof |
CN112247993B (zh) * | 2020-04-15 | 2022-02-18 | 牧今科技 | 具有碰撞避免机制的机器人***及其操作方法 |
CN112247993A (zh) * | 2020-04-15 | 2021-01-22 | 牧今科技 | 具有碰撞避免机制的机器人***及其操作方法 |
CN112017488B (zh) * | 2020-08-28 | 2023-01-03 | 山东浪潮科学研究院有限公司 | 一种基于ar的教育机器人***及学习方法 |
CN112017488A (zh) * | 2020-08-28 | 2020-12-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于ar的教育机器人***及学习方法 |
CN112686399A (zh) * | 2020-12-24 | 2021-04-20 | 国网上海市电力公司 | 一种基于增强现实技术的配电室火灾应急抢修方法及*** |
CN112936261B (zh) * | 2021-01-27 | 2022-07-08 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人现场仿真***与方法 |
CN112936261A (zh) * | 2021-01-27 | 2021-06-11 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人现场仿真***与方法 |
CN113034668A (zh) * | 2021-03-01 | 2021-06-25 | 中科数据(青岛)科技信息有限公司 | 一种ar辅助的机械模拟操作方法和*** |
CN113126568A (zh) * | 2021-03-10 | 2021-07-16 | 上海乾庾智能科技有限公司 | 一种基于增强现实技术的工业机器人操作和演示*** |
CN113001548A (zh) * | 2021-03-15 | 2021-06-22 | 安徽工程大学 | 一种基于虚拟仿真体验的机器人示教方法及*** |
CN114130995A (zh) * | 2021-11-29 | 2022-03-04 | 烟台朗文汽车零部件有限公司 | 一种制芯机器人自动化取芯***及方法 |
CN114130995B (zh) * | 2021-11-29 | 2023-11-07 | 烟台朗文汽车零部件有限公司 | 一种制芯机器人自动化取芯***及方法 |
CN114932537A (zh) * | 2022-06-27 | 2022-08-23 | 重庆大学 | 一种机器人轨迹规划方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108161904B (zh) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108161904B (zh) | 基于增强现实的机器人在线示教装置、***、方法、设备 | |
CN110238831B (zh) | 基于rgb-d图像及示教器的机器人示教***及方法 | |
CN110977931B (zh) | 使用了增强现实和混合现实的机器人控制装置及显示装置 | |
Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
Yew et al. | Immersive augmented reality environment for the teleoperation of maintenance robots | |
US9984178B2 (en) | Robot simulator, robot teaching apparatus and robot teaching method | |
CN104858876B (zh) | 机器人任务的可视调试 | |
Krupke et al. | Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction | |
US20150151431A1 (en) | Robot simulator, robot teaching device, and robot teaching method | |
US20210170603A1 (en) | Method for using a multi-link actuated mechanism, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display apparatus | |
CN104002297B (zh) | 示教***、示教方法及机器人*** | |
CN111267073B (zh) | 一种基于增强现实技术的工业机器人示教***及方法 | |
US20190202055A1 (en) | Industrial robot training using mixed reality | |
Pettersen et al. | Augmented reality for programming industrial robots | |
SE526119C2 (sv) | Metod och system för programmering av en industrirobot | |
Pan et al. | Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device | |
KR101876845B1 (ko) | 로봇 제어 장치 | |
JP2004243516A (ja) | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 | |
EP3224681B1 (en) | System for virtual commissioning | |
Hoang et al. | Virtual barriers in augmented reality for safe and effective human-robot cooperation in manufacturing | |
Frank et al. | Towards teleoperation-based interactive learning of robot kinematics using a mobile augmented reality interface on a tablet | |
Gallala et al. | Human-robot interaction using mixed reality | |
Yang et al. | An augmented-reality based human-robot interface for robotics programming in the complex environment | |
Bolano et al. | Towards a vision-based concept for gesture control of a robot providing visual feedback | |
KR102403021B1 (ko) | 로봇 교시 장치 및 이를 이용한 로봇 교시 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |