CN108422435A - 一种基于增强现实的远程监测及控制*** - Google Patents
一种基于增强现实的远程监测及控制*** Download PDFInfo
- Publication number
- CN108422435A CN108422435A CN201810236758.3A CN201810236758A CN108422435A CN 108422435 A CN108422435 A CN 108422435A CN 201810236758 A CN201810236758 A CN 201810236758A CN 108422435 A CN108422435 A CN 108422435A
- Authority
- CN
- China
- Prior art keywords
- manipulator
- monitoring
- module
- augmented reality
- robot body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 131
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 44
- 238000004088 simulation Methods 0.000 claims abstract description 63
- 230000002452 interceptive effect Effects 0.000 claims abstract description 19
- 238000007689 inspection Methods 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000003745 diagnosis Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013154 diagnostic monitoring Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于增强现实的远程监测及控制***，包括交互仿真控制模式和监测模式，交互仿真模式下，在服务器接收移动机器人上的RGBD相机拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型；然后结合场景三维点云模型，操作机械手仿真模型，规划路径，利用所述路径驱动所述机械手仿真模型运动，最后将动态的机械手仿真模型叠加在RGBD相机拍摄的彩色图像中，实现虚实结合的模拟显示和路径规划；所述监测模式下，通过远程数据采集***采集监测数据，通过移动机器人巡检，获取监测对象的监测图像，通过服务器得到监测数据，将监测数据与监测数据的叠加显示，显示界面更加直观。
Description
技术领域
本发明涉及一种基于增强现实的远程监测及控制***，属于智能制造和计算机测量与控制领域。
背景技术
当前远程监测与控制已经广泛应用生产，然而在监测方面，当前的监测***把监测视频和监测数据分别显示，监视人员需要自己将视频内容和监测数据联系在一起，界面现实不够直观。另外，在控制方面，控制人员只能够通过颜色图像估计远程环境的三维信息，规划机械手的路径，以此方式控制远程机械手完成操作，这样会造成机器人控制不够准确。
公开号为CN106863303A的发明专利《CN106863303A》，其具体技术方案为：通过安装在机械手各关节处的编码器采集各关节的角位移，并将采集数据送计算机处理，计算机依据各关节角位移数据规划出机械手路径，并控制机械手沿此路径完成焊缝的焊接。该技术方案为设备现场路径规划方式，无法满足当前企业远程路径规划的需求。
发明内容
为了解决上述技术问题，本发明提供一种基于增强现实的远程监测及控制***，实现远程巡检应用的视频监测和数据监测的融合显示以及在服务器端生成机器人远端操作的本地路径规划和模拟。
本发明的技术方案如下：
一种基于增强现实的远程监测及控制***，包括交互仿真控制模式，该模式通过服务器和位于远端设备及环境中的移动机器人，以虚实结合的方式完成机械手远端操作的本地路径规划和模拟，具体地：
所述移动机器人包括机器人本体，以及设于机器人本体上的机械手和RGBD相机；
所述服务器包括一远端环境重建模块、机械手操作仿真模块以及增强现实显示模块；所述远端环境重建模块接收所述RGBD相机拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型；所述机械手操作仿真模块建立机械手仿真模型，然后结合场景三维点云模型，操作机械手仿真模型，规划路径，最后利用所述路径驱动所述机械手仿真模型运动；所述增强现实显示模块将动态的机械手仿真模型叠加在RGBD相机拍摄的彩色图像中，实现虚实结合的模拟显示。
更优地，所述交互仿真控制模式下还完成碰撞检测，具体地：所述机械手操作仿真模块在场景三维点云模型中利用所述路径驱动机械手仿真模型运动，检查机械手仿真模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，若不存在干涉，则将所述路径发送给移动机器人，移动机器人根据路径控制机械手的运动，完成操作任务。
更优地，所述移动机器人上还包括图像采集控制器、机器人本体控制器以及机械手控制器；所述图像采集器控制相机云台运动，并采集所述RGBD相机上的彩色图像和深度图像，所述RGBD相机固定于相机云台上；所述机器人本体控制器控制机器人本体运动，并反馈机器人本体的方位和姿态；所述机械手控制器控制机械手的运动；
所述服务器上还设有云台遥操作模块、机器人本体遥操作模块以及机械手遥操作模块；所述云台遥操作模块向图像采集控制器发送指令，控制相机云台按照指令运动，从而改变RGBD相机的拍摄角度；所述机器人本体遥操作模块向机器人本体控制器发送指令，控制机器人本体按照指令运动；所述机械手遥操作模块向机械手控制器发送指令，控制机械手按照指令运动；
所述远端环境重建模块在合成场景三维点云模型时，首先通过机器人本体遥操作模块和机械手遥操作模块分别向与之对应的机器人本体控制器和机械手控制器发送控制指令，使机器人本体和机械手保持固定不动，然后通过云台遥操作模块向图像采集控制器发送指令，控制相机云台按照指令多角度转动，且在各角度拍摄深度图像，从而获得不同角度的深度图像，并合成场景三维点云模型。
更优地，所述机械手操作仿真模块建立的机械手仿真模型，包括机械手三维虚拟模型和逆运动学模型，在交互仿真环境中规划机械手的末端点轨迹和姿态，获得末端点轨迹和姿态序列，以末端点轨迹和姿态序列作为所述逆运动学模型的输入，求取机械手各关节的角度序列，然后按顺序读取机械手各关节的角度序列，驱动机械手三维虚拟模型各关节运动。
更优地，所述增强现实显示模块根据机器人本体当前的位置、姿态以及相机云台方位信息将动态的机械手三维虚拟模型叠加在RGBD相机拍摄的彩色图像中，然后显示出来，实现虚实的视觉融合。
更优地，所述机器人本体当前的位置、姿态通过机器人本体遥操作模块发送控制指令给机器人本体控制器，获取该信息；所述相机云台方位信息通过云台遥操作模块向图像采集控制器发送指令，获取相机云台的方位信息；
更优地，所述远程监测及控制***还包括监测模式，其通过位于远端设备及环境中的远程数据采集***以及所述服务器和移动机器人，并以虚实结合的方式完成监测数据和监测图像的融合显示，具体地：
所述远程数据采集***采集各监测对象的监测数据，然后发送至服务器；各监测对象处均设置一标签；
所述移动机器人接收来自服务器的控制指令，控制机器人本体和相机云台运动，使机器人本体运动至监测对象处，并控制相机云台的转动，使RGBD相机拍摄到包含标签信息的监测图像，并发送至服务器；
所述服务器还包括设备识别模块和存储及故障诊断模块；
所述设备识别模块分析所述RGBD相机拍摄的监测图像，分割识别该监测图像上的标签信息，并发送包含标签信息的查询请求；
所述存储及故障诊断模块接收并保存所述远程数据采集***发送的监测数据，并诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块接收来自设备识别模块的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块；
所述增强现实显示模块将监测数据叠加在RGBD相机拍摄的监测图像上对应标签的附近区域显示，实现监测数据与监测数据的叠加显示，显示界面更加直观。
更优地，所述远程数据采集***包括工控机和传感器，各所述传感器均接入所述工控机，各监测对象处均设有所述传感器，各传感器均对应设置一所述标签；
更优地，所述存储及故障诊断模块依据标签、监测对象以及监测数据之间的对应关系接收并保存所述远程数据采集***发送的监测数据，并依据预设的报警阈值，将监测数据与对应的报警阈值进行比对，诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块接收来自设备识别模块的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块。
更优地，所述监测图像包括图片和视频。
本发明具有如下有益效果：
1、本发明一种基于增强现实的远程监测及控制***，通过位于远端设备及环境中的移动机器人获取环境的深度图像，然后在服务器端计算合成远端设备及环境的三维点云模型，进而在服务器端通过虚拟的仿真机械手模型实现移动机器人远端操作的本地路径规划和模拟，是一种虚实结合的远程控制***，提高了移动机器人的控制准确度；
2、本发明一种基于增强现实的远程监测及控制***，通过远程数据采集***采集监测数据，然后通过移动机器人，获取监测对象的监测图像，并在服务器端识别标签信息，获取监测对象的当前状态信息，然后将监测信息叠加在监测图像上，实现了远程巡检应用的数据监测和现场视频监测或数据监测和图像监测的融合显示。
附图说明
图1为本发明的***框图；
图2为本发明交互仿真控制模式的流程图；
图3为本发明监测模式的流程图。
图中附图标记表示为：
1、机器人本体；2、机械手；3、RGBD相机；4、相机云台；5、机器人本体控制器；6、机械手控制器；7、图像采集控制器；10、机器人本体遥操作模块；20、机械手遥操作模块；30、云台遥操作模块；40、远端环境重建模块；50、机械手操作仿真模块；60、增强现实显示模块；70、设备识别模块；80、存储及故障诊断模块；100、工控机；200、传感器；300、标签。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一：
请参阅图1和图2，一种基于增强现实的远程监测及控制***，包括交互仿真控制模式，该模式通过服务器和位于远端设备及环境中的移动机器人，以虚实结合的方式完成机械手2远端操作的本地路径规划和模拟，具体地：
所述移动机器人包括机器人本体1，以及设于机器人本体1上的机械手2和RGBD相机3；
所述服务器包括一远端环境重建模块40、机械手操作仿真模块50以及增强现实显示模块60；所述远端环境重建模块40接收所述RGBD相机3拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型，所述机械手操作仿真模块50建立机械手仿真模型，然后结合场景三维点云模型，操作机械手仿真模型，规划路径，最后利用所述路径驱动所述机械手仿真模型运动；所述增强现实显示模块60将动态的机械手仿真模型叠加在RGBD相机3拍摄的彩色图像中，实现虚实结合的模拟显示。所述机械手2包括多自由度机械手，例如六自由度机械手，三自由度机械手或者二自由度机械手，自由度越多，机械手的灵活性越大。
所述交互仿真控制模式下还完成碰撞检测，具体地：所述机械手操作仿真模块50在所述场景三维点云模型中利用所述路径驱动所述机械手仿真模型运动，检查机械手仿真模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，从而控制移动机器人上机械手2的运动，完成机械手2的操作任务；所述优化后路径还可以通过所述增强现实显示模块60进行模拟显示。
所述移动机器人上还包括图像采集控制器7、机器人本体控制器5以及机械手控制器6；所述图像采集器控制相机云台4运动，并采集所述RGBD相机3上的彩色图像和深度图像，所述RGBD相机3固定于相机云台4上；所述机器人本体控制器5控制机器人本体1运动，并反馈机器人本体1的方位和姿态；所述机械手控制器6控制机械手2的运动；
所述服务器上还设有云台遥操作模块30、机器人本体遥操作模块10以及机械手遥操作模块20；所述云台遥操作模块30向图像采集控制器7发送指令，控制相机云台4按照指令运动，从而改变RGBD相机3的拍摄角度；所述机器人本体遥操作模块10向机器人本体控制器5发送指令，控制机器人本体1按照指令运动；所述机械手遥操作模块20向机械手控制器6发送指令，控制机械手2按照指令运动；
所述远端环境重建模块40在合成场景三维点云模型时，首先通过机器人本体遥操作模块10和机械手遥操作模块20分别向与之对应的机器人本体控制器5和机械手控制器6发送控制指令，使机器人本体1和机械手2保持固定不动，然后通过云台遥操作模块30向图像采集控制器7发送指令，控制相机云台4按照指令多角度转动，且在各角度拍摄深度图像，从而获得不同角度的深度图像，并合成场景三维点云模型。
所述机械手操作仿真模块50建立的机械手仿真模型，包括机械手三维虚拟模型和逆运动学模型，在交互仿真环境中（即结合场景三维点云模型）规划机械手2的末端点轨迹和姿态，获得末端点轨迹和姿态序列，以末端点轨迹和姿态序列作为所述逆运动学模型的输入，求取机械手2各关节的角度序列，按顺序读取机械手2各关节的角度序列，驱动机械手三维虚拟模型各关节运动。
所述增强现实显示模块60根据机器人本体1当前的位置、姿态以及相机云台4方位信息将动态的机械手三维虚拟模型叠加在RGBD相机3拍摄的彩色图像中，然后显示出来，实现虚实的视觉融合。所述机器人本体1当前的位置、姿态通过机器人本体遥操作模块10发送控制指令给机器人本体控制器5，获取该信息。所述相机云台4方位信息通过云台遥操作模块30向图像采集控制器7发送指令，获取相机云台4的方位信息。所述增强现实显示模块60根据机器人本体1当前的位置姿态以及相机云台4方位信息，获取相机云台4在世界坐标系中（世界坐标系是***的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置）的方位，从而实现增强现实注册，进而根据机械手三维虚拟模型的坐标信息将机械手三维虚拟模型叠加在RGBD相机3拍摄的彩色图像中。
具体地，在所述交互仿真控制模式下还完成碰撞检测，所述机械手操作仿真模块50在所述场景三维点云模型中利用所述路径驱动机械手三维虚拟模型运动，检查机械手三维虚拟模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，由移动机器人的机械手控制器6接收并控制移动机器人上机械手2的运动，完成移动机器人的操作任务。
所述交互仿真控制模式的运行过程如下：
步骤1、机械手操作仿真模块50建立机械手2的机械手仿真模型，包括机械手三维虚拟模型和逆运动学模型；
步骤2、保持机器人本体1和机械手2固定不动，远端环境重建模块40接收RGBD相机3拍摄的深度图像，并将不同角度拍摄的深度图像合成为场景三维点云模型；
步骤3、在交互仿真环境中交互规划的机械手三维虚拟模型的末端点轨迹和姿态，获得末端点轨迹和姿态序列；
步骤4、以末端点轨迹和姿态序列作为机械手2的逆运动学模型的输入，求取机械手2各关节的角度序列；
步骤5、按顺序读取机械手2各关节的角度序列，驱动机械手三维虚拟模型各关节运动；运动过程中检查机械手三维虚拟模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测，若存在碰撞，则优化路径，然后将优化的路径发送至移动机器人的机械手控制器6，从而控制机械手2完成操作任务；
同时，还可以根据机器人本体1的当前的位置、姿态和相机云台4方位信息将动态的机械手三维虚拟模型叠加在彩色图像中，并通过增强现实显示模块60，实现虚实的模拟显示。
本发明一种基于增强现实的远程监测及控制***能够在服务器端计算合成远端设备及环境的三维点云模型，进而在服务器端通过虚拟的仿真机械手模型实现移动机器人远端操作的本地路径规划和模拟，是一种虚实结合远程控制***，提高了移动机器人的控制准确度。
实施例二、
请参阅图1和图3，本实施例与实施例一的区别在于，实施例二可以在执行交互仿真控制模式的同时执行监测模式，所述交互仿真制模式不再赘述。
所述监测模式通过位于远端设备及环境中的远程数据采集***以及所述服务器和移动机器人，并以虚实结合的方式完成监测数据和监测图像的融合显示，所述监测图像可以是图片和/或视频。具体地：
所述远程数据采集***包括工控机100和传感器200，各所述传感器200均接入所述工控机100，各监测对象处均设有所述传感器200，各传感器200均对应设置一标签300；所述标签300包括二维码、条形码等非对称形式的标签300；
所述移动机器人接收来自服务器的控制指令，控制机器人本体1和RGBD相机3，使机器人本体1运动至监测对象处，使RGBD相机3拍摄到包含标签信息的监测图像（所述监测图像是一种彩色图像），并发送至服务器；另一种实施方式是，RGBD相机3通过相机云台4固定，则通过服务器的控制指令控制相机云台4的转动，使RGBD相机3拍摄到包含标签信息的监测图像。所述移动机器人还可以接收来自服务器的控制指令，控制机械手2的运动；具体地，服务器的机器人本体遥操作模块10和云台遥操作模块30分别向移动机器人的机器人本体控制器5和图像采集控制器7发送控制指令，由机器人本体控制器5控制机器人本体1运动至监测对象处，由图像采集控制器7控制相机云台4转动，使RGBD相机3拍摄到包含标签信息的监测图像，实现远程操控移动机器人获取监测对象的包含标签信息和当前监测对象运行状态的监测图像； 所述服务器的机械手遥操作模块20还可以向移动机器人的机械手控制器6发送控制指令，由机械手控制器6控制机械手2的运动，实现远程操控机械手2；
所述服务器还包括设备识别模块70和存储及故障诊断模块80；
所述设备识别模块70分析所述RGBD相机3拍摄的监测图像，分割识别该监测图像上的标签信息，并发送包含标签信息的查询请求；
所述存储及故障诊断模块80依据标签300、监测对象以及监测数据之间的对应关系接收并保存所述远程数据采集***发送的监测数据，并依据预设的报警阈值，将监测数据与对应的报警阈值进行比对，诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块80接收来自设备识别模块70的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块60；
所述增强现实显示模块60将监测数据叠加在RGBD相机3拍摄的监测图像上对应标签300的附近区域显示，实现监测数据与监测图像（即监测对象的彩色图像）的叠加显示，显示界面更加直观。
所述交互仿真监测模式的运行过程如下：
步骤10、操作者在服务器端操作计算机输入设备，通过机械手遥操作模块20、机器人本体遥操作模块10、云台遥操作模块30分别向机器人控制器、机器人本体控制器5、图像采集控制器7发送控制指令，控制位于远端设备及环境中的机械手2、机器人本体1以及相机云台4运动；
步骤20、设备设别模块接收RGBD相机3拍摄的监测图像，分割识别出监测图像上的标签信息；
步骤30、依据识别到的标签信息，从存储及故障诊断模块80中查询该标签300对应的监测对象的当前信息；
步骤40、将查询到的信息发送给增强现实显示模块60，叠加在RGBD相机3拍摄的监测图像上对应标签300的附近区域显示，实现监测信息与监测图像的叠加显示。
本发明一种基于增强现实的远程监测及控制***能够在服务器本地控制远端的移动机器人，获取监测对象的监测图像，并在服务器端识别标签信息，获取监测对象的当前状态，然后将监测信息叠加在监测图像上，实现了远程巡检应用的数据监测和现场视频监测或数据监测和图像监测的融合显示。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于增强现实的远程监测及控制***，其特征在于：包括交互仿真控制模式，该模式通过服务器和位于远端设备及环境中的移动机器人，以虚实结合的方式完成机械手(2)远端操作的本地路径规划和模拟，具体地：
所述移动机器人包括机器人本体(1)，以及设于机器人本体(1)上的机械手(2)和RGBD相机(3)；
所述服务器包括一远端环境重建模块(40)、机械手操作仿真模块(50)以及增强现实显示模块(60)；所述远端环境重建模块(40)接收所述RGBD相机(3)拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型；所述机械手操作仿真模块(50)建立机械手仿真模型，然后结合场景三维点云模型，操作机械手仿真模型，规划路径，最后利用所述路径驱动所述机械手仿真模型运动；所述增强现实显示模块(60)将动态的机械手仿真模型叠加在RGBD相机(3)拍摄的彩色图像中，实现虚实结合的模拟显示和路径规划。
2.根据权利要求1所述的一种基于增强现实的远程监测及控制***，其特征在于：所述交互仿真控制模式下还完成碰撞检测，具体地：所述机械手操作仿真模块(50)在场景三维点云模型中利用所述路径驱动机械手仿真模型运动，检查机械手仿真模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，若不存在干涉，则将所述路径发送给移动机器人，移动机器人根据路径控制机械手(2)的运动，完成操作任务。
3.根据权利要求1所述的一种基于增强现实的远程监测及控制***，其特征在于：所述移动机器人上还包括图像采集控制器(7)、机器人本体控制器(5)以及机械手控制器(6)；所述图像采集器控制相机云台(4)运动，并采集所述RGBD相机(3)上的彩色图像和深度图像，所述RGBD相机(3)固定于相机云台(4)上；所述机器人本体控制器(5)控制机器人本体(1)运动，并反馈机器人本体(1)的方位和姿态；所述机械手控制器(6)控制机械手(2)的运动；
所述服务器上还设有云台遥操作模块(30)、机器人本体遥操作模块(10)以及机械手遥操作模块(20)；所述云台遥操作模块(30)向图像采集控制器(7)发送指令，控制相机云台(4)按照指令运动，从而改变RGBD相机(3)的拍摄角度；所述机器人本体遥操作模块(10)向机器人本体控制器(5)发送指令，控制机器人本体(1)按照指令运动；所述机械手遥操作模块(20)向机械手控制器(6)发送指令，控制机械手(2)按照指令运动；
所述远端环境重建模块(40)在合成场景三维点云模型时，首先通过机器人本体遥操作模块(10)和机械手遥操作模块(20)分别向与之对应的机器人本体控制器(5)和机械手控制器(6)发送控制指令，使机器人本体(1)和机械手(2)保持固定不动，然后通过云台遥操作模块(30)向图像采集控制器(7)发送指令，控制相机云台(4)按照指令多角度转动，且在各角度拍摄深度图像，从而获得不同角度的深度图像，并合成场景三维点云模型。
4.根据权利要求3所述的一种基于增强现实的远程监测及控制***，其特征在于：所述机械手操作仿真模块(50)建立的机械手仿真模型，包括机械手三维虚拟模型和逆运动学模型，在交互仿真环境中规划机械手(2)的末端点轨迹和姿态，获得末端点轨迹和姿态序列，以末端点轨迹和姿态序列作为所述逆运动学模型的输入，求取机械手(2)各关节的角度序列，然后按顺序读取机械手(2)各关节的角度序列，驱动机械手三维虚拟模型各关节运动。
5.根据权利要求3所述的一种基于增强现实的远程监测及控制***，其特征在于：所述增强现实显示模块(60)根据机器人本体(1)当前的位置、姿态以及相机云台(4)方位信息将动态的机械手三维虚拟模型叠加在RGBD相机(3)拍摄的彩色图像中，然后显示出来，实现虚实的视觉融合。
6.根据权利要求5所述一种基于增强现实的远程监测及控制***，其特征在于：所述机器人本体(1)当前的位置、姿态通过机器人本体遥操作模块(10)发送控制指令给机器人本体控制器(5)，获取该信息；所述相机云台(4)方位信息通过云台遥操作模块(30)向图像采集控制器(7)发送指令，获取相机云台(4)的方位信息。
7.根据权利要求1所述一种基于增强现实的远程监测及控制***，其特征在于：还包括监测模式，其通过位于远端设备及环境中的远程数据采集***以及所述服务器和移动机器人，并以虚实结合的方式完成监测数据和监测图像的融合显示，具体地：
所述远程数据采集***采集各监测对象的监测数据，然后发送至服务器；各监测对象处均设置一标签(300)；
所述移动机器人巡检时，接收来自服务器的控制指令，控制机器人本体(1)和RGBD相机(3)，使机器人本体(1)运动至监测对象处，使RGBD相机(3)拍摄到包含标签信息的监测图像，并发送至服务器；
所述服务器还包括设备识别模块(70)和存储及故障诊断模块(80)；
所述设备识别模块(70)分析所述RGBD相机(3)拍摄的监测图像，分割识别该监测图像上的标签信息，并发送包含标签信息的查询请求；
所述存储及故障诊断模块(80)接收并保存所述远程数据采集***发送的监测数据，并诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块(80)接收来自设备识别模块(70)的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块(60)；
所述增强现实显示模块(60)将监测数据叠加在RGBD相机(3)拍摄的监测图像上对应标签(300)的附近区域显示，实现监测数据与监测数据的叠加显示，显示界面更加直观。
8.根据权利要求7所述一种基于增强现实的远程监测及控制***，其特征在于：所述远程数据采集***包括工控机(100)和传感器(200)，各所述传感器(200)均接入所述工控机(100)，各监测对象处均设有所述传感器(200)，各传感器(200)均对应设置一所述标签(300) 。
9.根据权利要求7所述一种基于增强现实的远程监测及控制***，其特征在于：所述存储及故障诊断模块(80)依据标签(300)、监测对象以及监测数据之间的对应关系接收并保存所述远程数据采集***发送的监测数据，并依据预设的报警阈值，将监测数据与对应的报警阈值进行比对，诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块(80)接收来自设备识别模块(70)的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块(60)。
10.根据权利要求7所述一种基于增强现实的远程监测及控制***，其特征在于：所述监测图像包括图片和视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810236758.3A CN108422435B (zh) | 2018-03-21 | 2018-03-21 | 一种基于增强现实的远程监测及控制*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810236758.3A CN108422435B (zh) | 2018-03-21 | 2018-03-21 | 一种基于增强现实的远程监测及控制*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108422435A true CN108422435A (zh) | 2018-08-21 |
| CN108422435B CN108422435B (zh) | 2020-05-12 |
Family
ID=63159299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810236758.3A Active CN108422435B (zh) | 2018-03-21 | 2018-03-21 | 一种基于增强现实的远程监测及控制*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108422435B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109434808A (zh) * | 2018-12-13 | 2019-03-08 | 上海菡为智能科技有限公司 | 一种云端远程服务智能机器人控制***实现方法 |
| CN109483234A (zh) * | 2018-11-02 | 2019-03-19 | 北京卫星制造厂有限公司 | 一种基于移动机器人的智能制造***及方法 |
| CN110047150A (zh) * | 2019-04-24 | 2019-07-23 | 大唐环境产业集团股份有限公司 | 一种基于增强现实的复杂设备操作运行在位仿真*** |
| CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教***及方法 |
| CN110434877A (zh) * | 2019-08-14 | 2019-11-12 | 纳博特南京科技有限公司 | 一种基于增强现实和意念控制的机器人控制方法 |
| WO2020073681A1 (en) * | 2018-10-10 | 2020-04-16 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
| CN111459274A (zh) * | 2020-03-30 | 2020-07-28 | 华南理工大学 | 一种基于5g+ ar的针对非结构化环境的遥操作方法 |
| CN111660294A (zh) * | 2020-05-18 | 2020-09-15 | 北京科技大学 | 一种液压重载机械臂增强现实操控*** |
| CN111754647A (zh) * | 2020-05-21 | 2020-10-09 | 江苏锐士安防科技有限公司 | 基于环境感知的智能安防机器人巡检方法 |
| US10803314B2 (en) | 2018-10-10 | 2020-10-13 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
| CN111818115A (zh) * | 2019-04-12 | 2020-10-23 | 华为技术有限公司 | 一种处理方法、装置和*** |
| US10816994B2 (en) | 2018-10-10 | 2020-10-27 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
| CN112549034A (zh) * | 2020-12-21 | 2021-03-26 | 南方电网电力科技股份有限公司 | 一种机器人任务部署方法、***、设备和存储介质 |
| CN112819966A (zh) * | 2021-01-05 | 2021-05-18 | 上海大学 | 一种适合水下遥控机器人人机交互作业的环境融合***及方法 |
| CN112839778A (zh) * | 2018-10-12 | 2021-05-25 | 丰田研究所股份有限公司 | 用于条件机器人遥操作的***和方法 |
| CN113100934A (zh) * | 2021-04-06 | 2021-07-13 | 德智鸿(上海)机器人有限责任公司 | 手术辅助方法、装置、计算机设备和存储介质 |
| CN113276110A (zh) * | 2021-04-22 | 2021-08-20 | 国网浙江省电力有限公司嘉兴供电公司 | 一种基于ar技术的变电站操作机器人控制***及方法 |
| CN113618731A (zh) * | 2021-07-22 | 2021-11-09 | 中广核研究院有限公司 | 机器人控制*** |
| CN114434437A (zh) * | 2020-10-30 | 2022-05-06 | 西门子（中国）有限公司 | 一种机器人的远程控制方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102528811A (zh) * | 2011-12-19 | 2012-07-04 | 上海交通大学 | 托克马克腔内的机械臂定位与避障*** |
| CN205405613U (zh) * | 2016-03-07 | 2016-07-27 | 广东理工学院 | 一种建筑物室内三维场景重建机器人 |
| US20160349835A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
| CN206561409U (zh) * | 2017-01-20 | 2017-10-17 | 上海大学 | 一种vr拍摄运动机器人*** |
| CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程***及方法 |
| CN107578487A (zh) * | 2017-09-19 | 2018-01-12 | 北京枭龙科技有限公司 | 一种基于增强现实智能设备的巡检*** |
| CN107635133A (zh) * | 2017-11-01 | 2018-01-26 | 广州供电局有限公司 | 一种基于增强现实的数据中心机器人巡视*** |
| CN107657682A (zh) * | 2017-10-30 | 2018-02-02 | 成都极致空觉科技有限公司 | 一种基于增强现实技术的变电巡检方法 |
| CN107765854A (zh) * | 2017-10-20 | 2018-03-06 | 国网湖北省电力公司检修公司 | 一种基于增强现实的输电线路巡检方法 |
| CN207087855U (zh) * | 2017-08-17 | 2018-03-13 | 苏州中德睿博智能科技有限公司 | 用于煤矿巷道三维实景建模的移动机器人平台 |
-
2018
- 2018-03-21 CN CN201810236758.3A patent/CN108422435B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102528811A (zh) * | 2011-12-19 | 2012-07-04 | 上海交通大学 | 托克马克腔内的机械臂定位与避障*** |
| US20160349835A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
| CN205405613U (zh) * | 2016-03-07 | 2016-07-27 | 广东理工学院 | 一种建筑物室内三维场景重建机器人 |
| CN206561409U (zh) * | 2017-01-20 | 2017-10-17 | 上海大学 | 一种vr拍摄运动机器人*** |
| CN107309882A (zh) * | 2017-08-14 | 2017-11-03 | 青岛理工大学 | 一种机器人示教编程***及方法 |
| CN207087855U (zh) * | 2017-08-17 | 2018-03-13 | 苏州中德睿博智能科技有限公司 | 用于煤矿巷道三维实景建模的移动机器人平台 |
| CN107578487A (zh) * | 2017-09-19 | 2018-01-12 | 北京枭龙科技有限公司 | 一种基于增强现实智能设备的巡检*** |
| CN107765854A (zh) * | 2017-10-20 | 2018-03-06 | 国网湖北省电力公司检修公司 | 一种基于增强现实的输电线路巡检方法 |
| CN107657682A (zh) * | 2017-10-30 | 2018-02-02 | 成都极致空觉科技有限公司 | 一种基于增强现实技术的变电巡检方法 |
| CN107635133A (zh) * | 2017-11-01 | 2018-01-26 | 广州供电局有限公司 | 一种基于增强现实的数据中心机器人巡视*** |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10816994B2 (en) | 2018-10-10 | 2020-10-27 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
| US10678264B2 (en) | 2018-10-10 | 2020-06-09 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
| US10803314B2 (en) | 2018-10-10 | 2020-10-13 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
| CN112770875B (zh) * | 2018-10-10 | 2022-03-11 | 美的集团股份有限公司 | 提供远程机器人控制的方法和*** |
| WO2020073681A1 (en) * | 2018-10-10 | 2020-04-16 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
| CN112839778A (zh) * | 2018-10-12 | 2021-05-25 | 丰田研究所股份有限公司 | 用于条件机器人遥操作的***和方法 |
| CN109483234A (zh) * | 2018-11-02 | 2019-03-19 | 北京卫星制造厂有限公司 | 一种基于移动机器人的智能制造***及方法 |
| CN109434808A (zh) * | 2018-12-13 | 2019-03-08 | 上海菡为智能科技有限公司 | 一种云端远程服务智能机器人控制***实现方法 |
| CN111818115B (zh) * | 2019-04-12 | 2021-10-22 | 华为技术有限公司 | 一种处理方法、装置和*** |
| CN111818115A (zh) * | 2019-04-12 | 2020-10-23 | 华为技术有限公司 | 一种处理方法、装置和*** |
| CN110047150B (zh) * | 2019-04-24 | 2023-06-16 | 大唐环境产业集团股份有限公司 | 一种基于增强现实的复杂设备操作运行在位仿真*** |
| CN110047150A (zh) * | 2019-04-24 | 2019-07-23 | 大唐环境产业集团股份有限公司 | 一种基于增强现实的复杂设备操作运行在位仿真*** |
| CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教***及方法 |
| CN110434877A (zh) * | 2019-08-14 | 2019-11-12 | 纳博特南京科技有限公司 | 一种基于增强现实和意念控制的机器人控制方法 |
| CN111459274A (zh) * | 2020-03-30 | 2020-07-28 | 华南理工大学 | 一种基于5g+ ar的针对非结构化环境的遥操作方法 |
| CN111459274B (zh) * | 2020-03-30 | 2021-09-21 | 华南理工大学 | 一种基于5g+ ar的针对非结构化环境的遥操作方法 |
| CN111660294A (zh) * | 2020-05-18 | 2020-09-15 | 北京科技大学 | 一种液压重载机械臂增强现实操控*** |
| CN111754647A (zh) * | 2020-05-21 | 2020-10-09 | 江苏锐士安防科技有限公司 | 基于环境感知的智能安防机器人巡检方法 |
| CN114434437A (zh) * | 2020-10-30 | 2022-05-06 | 西门子（中国）有限公司 | 一种机器人的远程控制方法及装置 |
| CN112549034B (zh) * | 2020-12-21 | 2021-09-03 | 南方电网电力科技股份有限公司 | 一种机器人任务部署方法、***、设备和存储介质 |
| WO2022135138A1 (zh) * | 2020-12-21 | 2022-06-30 | 南方电网电力科技股份有限公司 | 一种机器人任务部署方法、***、设备和存储介质 |
| CN112549034A (zh) * | 2020-12-21 | 2021-03-26 | 南方电网电力科技股份有限公司 | 一种机器人任务部署方法、***、设备和存储介质 |
| CN112819966A (zh) * | 2021-01-05 | 2021-05-18 | 上海大学 | 一种适合水下遥控机器人人机交互作业的环境融合***及方法 |
| CN113100934A (zh) * | 2021-04-06 | 2021-07-13 | 德智鸿(上海)机器人有限责任公司 | 手术辅助方法、装置、计算机设备和存储介质 |
| CN113276110A (zh) * | 2021-04-22 | 2021-08-20 | 国网浙江省电力有限公司嘉兴供电公司 | 一种基于ar技术的变电站操作机器人控制***及方法 |
| CN113618731A (zh) * | 2021-07-22 | 2021-11-09 | 中广核研究院有限公司 | 机器人控制*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108422435B (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108422435A (zh) | 一种基于增强现实的远程监测及控制*** | |
| US7714895B2 (en) | Interactive and shared augmented reality system and method having local and remote access | |
| WO2020221311A1 (zh) | 基于可穿戴设备的移动机器人控制***及控制方法 | |
| CN105665970B (zh) | 用于焊接机器人的路径点自动生成***和方法 | |
| CN114728417B (zh) | 由远程操作员触发的机器人自主对象学习的方法及设备 | |
| CN109164829B (zh) | 一种基于力反馈装置和vr感知的飞行机械臂***及控制方法 | |
| US20180190014A1 (en) | Collaborative multi sensor system for site exploitation | |
| JP7337654B2 (ja) | 保全活動サポートシステムおよび保全活動サポート方法 | |
| KR101768958B1 (ko) | 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템 | |
| CN112634318B (zh) | 一种水下维修机器人的遥操作***和方法 | |
| JP2004209641A (ja) | 工業ロボットをプログラミングするための方法およびシステム | |
| CN111716365B (zh) | 基于自然行走的沉浸式远程交互***及方法 | |
| CN110977981A (zh) | 一种机器人虚拟现实同步***及同步方法 | |
| CN107703956A (zh) | 一种基于惯性捕捉技术的虚拟交互***及其工作方法 | |
| CN111383348A (zh) | 一种虚拟现实远程同步控制机器人的方法 | |
| CN114775724A (zh) | 一种基于数字孪生的井控应急抢险远程协同作业方法 | |
| CN102566552A (zh) | 面向物联网和3d gis的公路隧道智能检修机器人 | |
| CN116160440A (zh) | 基于mr远程控制的双臂智能机器人遥操作*** | |
| CN116225213A (zh) | 一种电网元宇宙***及构建方法 | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| CN113276110B (zh) | 一种基于ar技术的变电站操作机器人控制***及方法 | |
| JPH0421105A (ja) | マニピユレータの立体教示装置 | |
| JP2001062766A (ja) | ２足歩行ロボットの遠隔制御用ユーザインターフェイスシステム | |
| CN113597362B (zh) | 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 | |
| Marin-Urias et al. | Towards shared attention through geometric reasoning for human robot interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200417 Address after: No. 63, Xingyu Road, Dongjiang street, Longkou City, Yantai City, Shandong Province Applicant after: Yantai Longwen Auto Parts Co.,Ltd. Address before: 266555 Jialing River Road 777, Qingdao economic and Technological Development Zone, Qingdao, Shandong Applicant before: Qingdao University of Technology |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Remote monitoring and control system based on augmented reality Effective date of registration: 20200618 Granted publication date: 20200512 Pledgee: Shandong Longkou Rural Commercial Bank Co.,Ltd. Pledgor: Yantai Longwen Auto Parts Co.,Ltd. Registration number: Y2020980003223 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210520 Granted publication date: 20200512 Pledgee: Shandong Longkou Rural Commercial Bank Co.,Ltd. Pledgor: Yantai Longwen Auto Parts Co.,Ltd. Registration number: Y2020980003223 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A remote monitoring and control system based on Augmented Reality Effective date of registration: 20210531 Granted publication date: 20200512 Pledgee: Shandong Longkou Rural Commercial Bank Co.,Ltd. Pledgor: Yantai Longwen Auto Parts Co.,Ltd. Registration number: Y2021980004111 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220624 Granted publication date: 20200512 Pledgee: Shandong Longkou Rural Commercial Bank Co.,Ltd. Pledgor: Yantai Longwen Auto Parts Co.,Ltd. Registration number: Y2021980004111 |