CN104057450B - 一种针对服务机器人的高维操作臂遥操作方法 - Google Patents
一种针对服务机器人的高维操作臂遥操作方法 Download PDFInfo
- Publication number
- CN104057450B CN104057450B CN201410279982.2A CN201410279982A CN104057450B CN 104057450 B CN104057450 B CN 104057450B CN 201410279982 A CN201410279982 A CN 201410279982A CN 104057450 B CN104057450 B CN 104057450B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- service robot
- robot
- motion
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Manipulator (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
Abstract
本发明提供了一种针对服务机器人的高维机械臂遥操作方法，包括手势识别器、沉浸式虚拟3D眼镜、带路由器的嵌入式处理器和服务机器人；机械臂采用自主运动规划方法，这一规划方法是由远端服务机器人自主运行，这个自主运动规划方法是一种基于采样的路径规划方法。本发明可以实时的控制并且以第一视角体验远端服务机器人手臂的运动，机器人自身能够根据其真实环境做出自主的规划出可行的运动路径。该发明不仅可以应用于家庭服务机器人，还可以在工业机器人以及工业虚拟制造领域，都有非常广泛的应用价值。
Description
技术领域
本发明涉及服务机器人领域，尤其涉及一种通过手势捕捉***远程控制服务机器人高维度机械臂抓取复杂环境中的物体的控制方法。
背景技术
伴随着机器人技术的迅速发展，机器人已经在各个领域，如工业制造、军事探险、以及日益兴起的民用服务行业等，得到了广泛的应用。如今信息高速发展，人们的工作生活节奏加快，非常希望能够从繁重的家务中解脱出来，将更多的时间花在自己想做的事情上面；另一方面，世界各国由于家庭形态和生活方式的改变，造成人口出生率降低，加上医疗保健科技的不断进步，人类社会老龄化速度在不断的加快，未来人口结构将逐渐变成倒金字塔结构，这个问题在亚洲地区尤其是大中华地区日益凸显。劳动力短缺、老年人照顾、健康维护等社会保障和服务需求的异常紧迫，将促使更多的服务机器人尤其是带有机械臂的机器人走入寻常百姓家。
近年来，扫地、监控以及娱乐教育等简单机器人虽然得到了广泛的应用，但是远远满足不了人们的需求。人们更需要服务机器人能够像人一样用手臂去抓取环境中的物体，特别是能够通过用户手的姿势直接远程控制机器人完成某种家务，例如打开冰箱，抓取水杯等等。本发明正是根据这种需求提出了一种能够远程控制服务机器人机械臂的方法。目前学术期刊或者发明专利所发表的服务机器人远程机械臂遥控制方法中，主要有两个方面的局限性：其一它们针对的是简单环境(主要指的是障碍物少)下的远程机械臂控制，而实际应用中，环境中障碍物要多得多，传统方法无法保证机械臂的安全无碰撞；其二它们在用户端采用昂贵的力反馈设备来远程控制机器人，这使得带有机械臂的服务机器人无法民用化。本发明通过提出一种全新的***和控制方法，不仅能够使得机械臂能够在复杂的环境中顺利完成任务，而且在成本和效果上也能找到很好的平衡。
发明专利《网络遥操作机器人***及时延克服方法》(公开号：CN102825603 A)。该发明公开了一种网络遥操作机器人***以及时延克服方法，本***由两个结构相同，功能对称的机械手通过网络通讯环节联系在一起。操作者对主机械手进行操作，使主机械手动作，主机械手通过力和角位移传感器以及通信控制环节将动作信号传递给从机械手，使其能够跟随主机械手同向运动。当从机械手受到环境影响时，能够再原路返回给主机械手，使主机械手也同样感受到环境的作用，再反馈给操作者。这个发明专利着重网络延时问题的解决，但是在未来高速网络时代，时延问题对于机器人操作的影响较小，此外该发明采用了实际应用中并不常见的同构主从手***，因此该发明的应用范围非常有限。基于成本和操作简单化的需要，用户更希望是由低成本的低自由度操作方法来控制高维机械臂的运动。
发明专利《一种遥操作服务机器人***》(公开号：CN103631221 A)。该发明公开一种遥操作服务机器人***，包括通过无线通讯网络连接的机器人本体和远程操作终端，机器人***内设有语音交互模块、视频监控模块、状态监控模块、任务管理模块和任务操作终端，任务管理模块设于机器人本体上，任务操作终端设于远程操作终端上；语音交互模块包括两个语音交互终端，分别设于机器人本体上和远程操作终端上；视频监控模块包括设于机器人本体上的图像采集传输子模块和设于远程操作终端上的图像接收显示子模块，状态监控模块包括设于机器人本体上的状态采集发送子模块和设于远程操作终端上的状态接收显示子模块。该发明只涉及用户端和机器人端的信息通信，并不涉及手势的识别和远端机器人机械臂的控制。
发明内容
为了解决现有技术中问题，本发明提供了一种针对服务机器人的高维机械臂遥操作方法，包括手势识别器、沉浸式虚拟3D眼镜、带路由器的嵌入式处理器和服务机器人；手势识别器，负责识别用户的手势以及获得手的三维坐标，这些信息构成了远程遥操作的控制输入，为4自由度控制量；沉浸式虚拟3D眼镜，负责显示仿真手势和服务机器人的第一视角信息；嵌入式处理器，负责将用户端的控制输入传递给远端的服务机器人，并从远端传回服务机器人的环境感知数据，处理后生成虚拟人手和自由空间的影像，该影像与双目影像融合后一并输入到沉浸式虚拟3D眼镜中显示；远端的服务机器人为任务执行机构，设有高维自由度的机械臂和服务机器人本体，服务机器人本体上设有传感器，传感器包括深度传感器和双目视觉***；
机械臂采用自主运动规划方法，这一规划方法是由远端服务机器人自主
运行，这个自主运动规划方法是一种基于采样的路径规划方法，其流程
如下：
a、深度传感器获得机器人操作环境的三维信息并建立环境三维地图，然后在该地图上生成路径规划所需的状态空间，包括自由空间、障碍物空间以及控制空间，同时给出初始位置和目标位置；
b、建立运动结构树，用于保存规划过程中的合法运动；
c、随机给定机械臂的运动控制量，通过综合机械臂的运动学和动力学，计算在该控制量作用下，机械臂在下一个更新周期的预测位姿；
d、判定预测位姿的合法性，如果该位姿处在自由空间，即为合法，转至步骤e，否则判定为非法，转至步骤c重新预测；
e、将合法运动控制量加入到运动结构树中，并将运动起点移至新生成的预测位姿，转至步骤c，如此循环直至到达目标位置；最后通过运动结构树中的控制量结合机械臂的运动学和动力学，生成最终路径；
f、如果生成了最终路径，则利用简单的PID算法控制机器人跟随路径运动；如果未找到路径，这说明机器人手臂不可以到达目标位置。
作为本发明的进一步改进，所述手势识别器识别用户的手势为闭合或打开这两种手势。
作为本发明的进一步改进，所述手势识别器采用低成本运动捕捉器Leap Motion，沉浸式虚拟3D眼镜采用OculusRift，嵌入式处理器使用mini开发板。
作为本发明的进一步改进，高维自由度的机械臂为6自由度或7自由度或7自由度以上。
作为本发明的进一步改进，完成自主运动规划方法采用云端处理或者GPU并行计算，机械臂在自主运动规划过程中会生成运动可行性评估值，连同环境地图和双目实时视频一起，这几种信息被实时的传输给用户端进行处理，用户则根据处理后的信息，实时的调整手臂姿势。
作为本发明的进一步改进，服务机器人端实现机器人的自主运动规划、环境感知和机器人的控制，其机载电脑要求具有很强的CPU、GPU以及很大的内存空间。
作为本发明的进一步改进，嵌入式处理器选用成本低的mini型PC。
本发明的有益效果是：
本发明一种针对服务机器人的高维机械臂遥操作方法通过手势捕捉、沉浸式双目眼镜和远端机械臂的自主运动规划等多种方法的融合，使得服务机器人手臂遥操作的成本大为降低，但可操作性却得到了加强；这个方法脱离了高成本力反馈装置思路，用户只需要简单的手势操作，就可以实时的控制并且以第一视角体验远端服务机器人手臂的运动，机器人自身能够根据其真实环境自主的规划出可行的运动路径。该发明不仅可以应用于家庭服务机器人，还可以在工业机器人以及工业虚拟制造领域，都有非常广泛的应用价值。
附图说明
图1是本发明硬件***构成结构示意图；
图2是本发明基于采样的路径规划方法流程图；
图3是本发明***集成示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
本发明针对远端服务机器人手臂的遥操作问题，提出了一种新的实现方法，用户在近端不需要昂贵的力反馈设备，仅通过手势就可以远程控制机器人的手臂运动并完成复杂环境下的物体抓取任务。本发明由硬件***构成方案、欠输入下的高维机械臂的自主运动规划方法以及***集成技术组成，下面我们就这三个方面分别展开论述：
1、硬件***构成：如图所示，本发明的***主要由手势识别器、沉浸式虚拟3D眼镜、带路由器的嵌入式处理器和服务机器人组成。
手势识别器采用低成本运动捕捉器Leap Motion，负责识别用户的手势(如闭合或打开)以及获得手的三维坐标，这些信息构成了远程遥操作的控制输入，为4自由度控制量。沉浸式虚拟3D眼镜采用OculusRift，负责显示仿真手势和远端服务机器人的第一视角等信息。嵌入式处理器使用mini开发板，负责将用户端的控制输入传递给远端的服务机器人，并从远端传回服务机器人的环境感知数据，处理后生成虚拟人手和自由空间的影像，该影像与双目影像融合后一并输入到沉浸式虚拟3D眼镜中显示。远端的服务机器人为任务执行机构，装备有高维自由度(6自由度以上)的机械臂和必要的传感器(包括深度传感器和双目视觉***)；高维自由度机械臂保证了机器人能够在复杂环境下完成类似人手的复杂任务；深度传感器提供环境的三维感知信息，双目视觉***则是为了实现用户端的临场感的体验，类似于人的感知***，这两个传感器都将安装服务机器人本体上，而非机械臂上。
2.为了降低成本和增加可操作性，本发明采用低成本手势识别器来控制远端机械臂，但是由于手势识别得到的控制输入只能用来控制机械臂的末端姿态，其输入个数低于机械臂总自由度数，即存在着冗余自由度，因此机械臂的控制属于欠输入控制，如果不进行专门的姿态规划，机械臂某些关节有可能会与环境物体相碰撞。本发明针对这一问题，提出了一种机械臂的自主运动规划方法，能够根据环境空间三维地图和机械臂末端目标位置规划出安全无碰撞的运动轨迹，这一规划算法不在用户端设备进行运算，而是由远端服务机器人自主运行。传统的自主运动规划方法(如A*，D*，势能场等)只能适用于低维度的机械臂，而本发明提出的方法可以解决高维机械臂的三维空间运动规划问题。这个自主运动规划方法是一种基于采样的路径规划算法，如图2所示，其简要流程如下：
a、深度传感器获得机器人操作环境的三维信息并通过八叉树地图创建法建立环境三维地图，然后在该地图上生成路径规划所需的状态空间，包括自由空间、障碍物空间以及控制空间，同时给出初始位置和目标位置；
b、建立运动结构树，用于保存规划过程中的合法运动；
c、随机给定机械臂的运动控制量，通过综合机械臂的运动学和动力学，计算在该控制量作用下，机械臂在下一个更新周期的预测位姿；
d、判定预测位姿的合法性，如果该位姿处在自由空间，即为合法，转至步骤e，否则判定为非法，转至步骤c重新预测；
e、将合法运动控制量加入到运动结构树中，并将运动起点移至新生成的预测位姿，转至步骤c，如此循环直至到达目标位置。最后通过运动结构树中的控制量结合机械臂的运动学和动力学，生成最终路径。
f、如果生成了最终路径，则利用简单的PID算法控制机器人跟随路径运动；如果未找到路径，这说明机器人手臂不可以到达目标位置。
完成上述的路径规划方法虽然比较耗时，我们可以采用云端处理或者GPU并行计算来了解决这个问题，从而减小用户手势与机械臂运动的迟滞。机械臂在自主运动规划过程中会生成运动可行性评估值(该值越高，机械臂获得可行路径的可能性就越高)，连同环境地图和双目实时视频一起，这几种信息被实时的传输给用户端进行处理，用户则根据处理后的信息，实时的调整手臂姿势，以便顺利完成任务。为了保证视频的实时性，我们将使用H.264对视频进行压缩后，再进行传输。
3.***集成：
图3所示为***集成示意图。
我们将整个***分成主控电脑(嵌入式电脑和服务机器人机载电脑)和***设备(OculusRift、LeapMotion和服务机器人硬件***)。下面就这些***的实现进行详细阐述：
嵌入式电脑我们可选用CubieBoard,它是一种比较强大但成本很低的mini型PC，其采用国产高性能CPU芯片全智A20(配置为Arm Cortex A7双核架构和Arm Mali400MP2GPU，1GDDR480M)，支持Wifi，千兆以太网，USB，SATA硬盘等，最为重要的是其支持H.264视频编解码，极大的方便了远端视频的实时传输。从服务机器人经过H.264压缩的视频流经过网络传输到CubieBoard上，进行解码。为了实现远端机器人的控制，cubieboard从外设LeapMotion获取用户手势的三维姿态并进行解析，形成与手势对应的控制指令以及三维手势的简单仿真视频，仿真视频与解码后的双目视频进行融合后直接输出到OculusRift显示，而控制指令则通过基于Autobahn网络通信库的Websocket连接传输到远端机器人机载电脑上,机器人的传感数据和状态信息也通过这个连接传输到cubieboard上。为了实现类似于力反馈设备的反馈功能，我们采用了模拟仿真的方式，由cubieboard根据机器人的状态反馈数据生成虚拟的人手自由空间影像并输入到3D眼镜显示，用这种仿真的视觉感受来代替人手的实际力学感知，能够取得很好的成本与体验感的平衡。
服务机器人端实现机器人的自主运动规划、环境感知和机器人的控制，其机载电脑要求具有很强的CPU、GPU以及很大的内存空间。由于服务机器人一般体积较大，可以承受较大负载，所以我们选用高性能的笔记本或者台式主板来实现机载电脑。在机器人端的机载电脑上，主要运行如下模块：***从双目摄像头中获取服务机器人第一视角的视频，经过H.264压缩后，通过RTSP(实时流协议)下的视频流传输到用户端cubieboard主机上；机械臂自主运动规划算法模块从用户端获取机器人控制目标，同时从机器人硬件传感器读取传感信息进行处理，最终规划出正确可行的机械臂路径，输出到机器人硬件中驱动机械臂运动，而机器人的状态信息又通过网络传输给用户，供用户做出决策。
机载电脑的网络通讯与用户端主机一样，其视频流和控制信息分别是用RTSP和Websocket协议来实现的。此外，网络两端的主机均采用Ubuntu操作***，其为开源，不存在专利问题。为了方便使用机器人领域的知名算法库(如SLAM，路径规划等)，我们还将在操作机器人基础上安装著名的软件中间件ROS(即机器人操作***)。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (8)
1.一种针对服务机器人的高维机械臂遥操作方法，其特征在于：包括手势识别器、沉浸式虚拟3D眼镜、带路由器的嵌入式处理器和服务机器人；手势识别器，负责识别用户的手势以及获得手的三维坐标，这些用户的手势以及获得手的三维坐标信息构成了远程遥操作的控制输入，为4自由度控制量； 沉浸式虚拟3D眼镜，负责显示仿真手势和服务机器人的第一视角信息；嵌入式处理器，负责将用户端的控制输入传递给远端的服务机器人，并从远端传回服务机器人的环境感知数据，处理后生成虚拟人手和自由空间的影像，该影像与双目影像融合后一并输入到沉浸式虚拟3D眼镜中显示；远端的服务机器人为任务执行机构，设有高维自由度的机械臂和服务机器人本体，服务机器人本体上设有传感器，传感器包括深度传感器和双目视觉***；
机械臂采用自主运动规划方法，这一规划方法是由远端服务机器人自主运行，这个自主运动规划方法是一种基于采样的路径规划方法，其流程如下：
步骤a：深度传感器获得服务机器人操作环境的三维信息并建立环境三维地图，然后在该地图上生成路径规划所需的状态空间，包括自由空间、障碍物空间以及控制空间，同时给出初始位置和目标位置；
步骤b：建立运动结构树，用于保存规划过程中的合法运动；
步骤c：随机给定机械臂的运动控制量，通过综合机械臂的运动学和动力学，计算在该控制量作用下，机械臂在下一个更新周期的预测位姿；
步骤d：判定预测位姿的合法性，如果该位姿处在自由空间，即为合法，转至步骤e，否则判定为非法，转至步骤c重新预测；
步骤e：将合法运动控制量加入到运动结构树中，并将运动起点移至新生成的预测位姿，转至步骤c，如此循环直至到达目标位置；最后通过运动结构树中的控制量结合机械臂的运动学和动力学，生成最终路径；
步骤f：如果生成了最终路径，则利用简单的PID算法控制服务机器人跟随路径运动；如果未找到路径，这说明机械臂不可以到达目标位置。
2.根据权利要求1所述的一种针对服务机器人的高维机械臂遥操作方法，其特征在于：所述手势识别器识别用户的手势为闭合或打开这两种手势。
3.根据权利要求1所述的一种针对服务机器人的高维机械臂遥操作方法，其特征在于：所述手势识别器采用运动捕捉器Leap Motion，沉浸式虚拟3D眼镜采用OculusRift，嵌入式处理器使用mini开发板。
4.根据权利要求1所述的一种针对服务机器人的高维机械臂遥操作方法，其特征在于：高维自由度的机械臂为6自由度或7自由度以上。
5.根据权利要求1所述的一种针对服务机器人的高维机械臂遥操作方法，其特征在于：步骤a中，深度传感器获得服务机器人操作环境的三维信息并通过八叉树地图创建法建立环境三维地图。
6.根据权利要求1所述的一种针对服务机器人的高维机械臂遥操作方法，其特征在于：完成自主运动规划方法采用云端处理或者GPU并行计算，机械臂在自主运动规划过程中会生成运动可行性评估值，连同环境地图和双目实时视频一起，这几种信息被实时的传输给用户端进行处理，用户则根据处理后的信息，实时的调整机械臂姿势。
7.根据权利要求1所述的一种针对服务机器人的高维机械臂遥操作方法，其特征在于：服务机器人端实现服务机器人的自主运动规划、环境感知和服务机器人的控制。
8.根据权利要求1所述的一种针对服务机器人的高维机械臂遥操作方法，其特征在于：嵌入式处理器选用mini型PC。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410279982.2A CN104057450B (zh) | 2014-06-20 | 2014-06-20 | 一种针对服务机器人的高维操作臂遥操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410279982.2A CN104057450B (zh) | 2014-06-20 | 2014-06-20 | 一种针对服务机器人的高维操作臂遥操作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104057450A CN104057450A (zh) | 2014-09-24 |
| CN104057450B true CN104057450B (zh) | 2016-09-07 |
Family
ID=51545522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410279982.2A Active CN104057450B (zh) | 2014-06-20 | 2014-06-20 | 一种针对服务机器人的高维操作臂遥操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104057450B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104827457B (zh) * | 2014-02-07 | 2016-09-14 | 广明光电股份有限公司 | 机器手臂的教导装置及方法 |
| CN104834249A (zh) * | 2015-03-16 | 2015-08-12 | 张时勉 | 穿戴式远程控制器 |
| CN105710856A (zh) * | 2015-06-01 | 2016-06-29 | 李锦辉 | 远程体感控制机器人 |
| CN105094373A (zh) * | 2015-07-30 | 2015-11-25 | 深圳汇达高科科技有限公司 | 操作工业机器人的手势采集装置和相应手势采集方法 |
| CN105291138B (zh) * | 2015-11-26 | 2017-10-20 | 华南理工大学 | 一种增强虚拟现实浸入感的视觉反馈平台 |
| CN105364915B (zh) * | 2015-12-11 | 2017-06-30 | 齐鲁工业大学 | 基于三维机器视觉的智能家庭服务机器人 |
| US10272572B2 (en) * | 2016-06-10 | 2019-04-30 | The Boeing Company | Remotely controlling robotic platforms based on multi-modal sensory data |
| CN106363637B (zh) * | 2016-10-12 | 2018-10-30 | 华南理工大学 | 一种机器人快速示教方法及装置 |
| CN106444861B (zh) * | 2016-11-21 | 2019-05-10 | 清华大学深圳研究生院 | 一种基于三维手势的空间机器人遥操作*** |
| CN106737668A (zh) * | 2016-12-09 | 2017-05-31 | 南京理工大学 | 一种基于虚拟现实的带电作业机器人遥操作方法 |
| CN107199566B (zh) * | 2017-06-02 | 2019-09-10 | 东南大学 | 一种基于虚拟手臂的面向空间站机器人的遥操作*** |
| CN108598990A (zh) * | 2018-04-11 | 2018-09-28 | 南京理工大学 | 一种基于力反馈主从控制技术的带电作业机器人架空地线更换修补方法 |
| CN108762060B (zh) * | 2018-05-07 | 2021-02-02 | 中国科学院力学研究所 | 一种远程操作任务制定的优化方法及*** |
| CN108830453B (zh) * | 2018-05-07 | 2021-10-08 | 中国科学院力学研究所 | 一种远程操作效果的评估方法及*** |
| CN109379440A (zh) * | 2018-12-05 | 2019-02-22 | 电子科技大学 | 一种手机远程操控*** |
| CN110216698A (zh) * | 2019-03-11 | 2019-09-10 | 浙江工业大学 | 一种基于ros的机械臂遥操作*** |
| CN109955254B (zh) * | 2019-04-30 | 2020-10-09 | 齐鲁工业大学 | 移动机器人控制***及机器人末端位姿的遥操作控制方法 |
| KR102379245B1 (ko) * | 2019-04-30 | 2022-03-28 | 치루 유니버시티 오브 테크놀로지 | 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법 |
| CN110682291B (zh) * | 2019-10-16 | 2020-07-10 | 国网江苏省电力有限公司扬州供电分公司 | 一种基于vr的机器人遥操作***及其遥操作方法 |
| CN111061215B (zh) * | 2019-12-26 | 2021-01-22 | 北京市商汤科技开发有限公司 | 控制机器人脱困的方法、装置、机器人 |
| CN111438673B (zh) * | 2020-03-24 | 2022-04-22 | 西安交通大学 | 基于立体视觉和手势控制的高空作业遥操作方法及*** |
| CN111645093B (zh) * | 2020-05-22 | 2022-06-21 | 北京工业大学 | 一种用于遥操作的力觉反馈数据手套 |
| CN112530000A (zh) * | 2020-11-20 | 2021-03-19 | 西安科技大学 | 一种任务约束下虚拟人臂运动复现的方法 |
| CN113282173B (zh) * | 2021-05-21 | 2023-01-03 | 燕山大学 | 一种基于虚拟现实的双臂机器人远程实时控制***及方法 |
| CN113359996A (zh) * | 2021-08-09 | 2021-09-07 | 季华实验室 | 生活辅助机器人控制***、方法、装置及电子设备 |
| WO2023123257A1 (zh) * | 2021-12-30 | 2023-07-06 | 西门子（中国）有限公司 | 一种机器人的控制方法及装置 |
| CN115635482B (zh) * | 2022-10-18 | 2024-01-30 | 深圳市人工智能与机器人研究院 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323817A (zh) * | 2011-06-07 | 2012-01-18 | 上海大学 | 一种服务机器人控制平台***及其多模式智能交互与智能行为的实现方法 |
| CN102681542A (zh) * | 2012-03-07 | 2012-09-19 | 陶重犇 | 一种室内多用途移动机器人实验平台 |
| CN103279191A (zh) * | 2013-06-18 | 2013-09-04 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及*** |
| CN103631221A (zh) * | 2013-11-20 | 2014-03-12 | 华南理工大学广州学院 | 一种遥操作服务机器人*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8781629B2 (en) * | 2010-09-22 | 2014-07-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Human-robot interface apparatuses and methods of controlling robots |
| US8706299B2 (en) * | 2011-08-02 | 2014-04-22 | GM Global Technology Operations LLC | Method and system for controlling a dexterous robot execution sequence using state classification |
| US8996167B2 (en) * | 2012-06-21 | 2015-03-31 | Rethink Robotics, Inc. | User interfaces for robot training |
-
2014
- 2014-06-20 CN CN201410279982.2A patent/CN104057450B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323817A (zh) * | 2011-06-07 | 2012-01-18 | 上海大学 | 一种服务机器人控制平台***及其多模式智能交互与智能行为的实现方法 |
| CN102681542A (zh) * | 2012-03-07 | 2012-09-19 | 陶重犇 | 一种室内多用途移动机器人实验平台 |
| CN103279191A (zh) * | 2013-06-18 | 2013-09-04 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及*** |
| CN103631221A (zh) * | 2013-11-20 | 2014-03-12 | 华南理工大学广州学院 | 一种遥操作服务机器人*** |
Non-Patent Citations (3)
| Title |
|---|
| "双臂空间机器人捕获运动目标的自主路径规划";徐文福等;《机器人》;20121130;第34卷(第6期);第704-714页 * |
| "基于A*算法的空间机械臂避障路径规划";贾庆轩等;《机械工程学报》;20100731;第46卷(第13期);第109-115页 * |
| "基于快速扩展随机树的7R机械臂避障达点运动规划";谢碧云等;《机械工程学报》;20120331;第48卷(第3期);第63-69页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104057450A (zh) | 2014-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104057450B (zh) | 一种针对服务机器人的高维操作臂遥操作方法 | |
| CN106444861B (zh) | 一种基于三维手势的空间机器人遥操作*** | |
| Fallon et al. | An architecture for online affordance‐based perception and whole‐body planning | |
| US20180272529A1 (en) | Apparatus and methods for haptic training of robots | |
| Cheng et al. | Design and implementation of human-robot interactive demonstration system based on Kinect | |
| US9751212B1 (en) | Adapting object handover from robot to human using perceptual affordances | |
| CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
| WO2008065458A3 (en) | System and method for moving real objects through operations performed in a virtual environment | |
| Wang et al. | Research of UAV target detection and flight control based on deep learning | |
| KR20130110441A (ko) | 신체 제스처 인식 방법 및 장치 | |
| Chen et al. | A multichannel human-swarm robot interaction system in augmented reality | |
| Yang et al. | Humanoid motion planning of robotic arm based on human arm action feature and reinforcement learning | |
| CN104858852A (zh) | 类人机器人实时模仿人体上肢动作的优化与约束方法 | |
| CN110142769A (zh) | 基于人体姿态识别的ros平台在线机械臂示教*** | |
| Bolder et al. | Visually guided whole body interaction | |
| CN109213306A (zh) | 一种机器人远程控制平台及其设计方法 | |
| CN116079747A (zh) | 机器人跨具身控制方法、***、计算机设备和存储介质 | |
| US20220331966A1 (en) | Mobility surrogates | |
| CN116248920A (zh) | 虚拟角色直播处理方法、装置及*** | |
| US20220101477A1 (en) | Visual Interface And Communications Techniques For Use With Robots | |
| CN114700950A (zh) | 基于数字孪生的医用护理机器人运动预测和故障诊断的方法 | |
| CN107738256A (zh) | 一种手把手仿人示教机器人编程*** | |
| Han et al. | Multi-sensors based 3D gesture recognition and interaction in virtual block game | |
| Karlekar et al. | Innovations in urban automation: Robotic arm integration in smart city environments | |
| Vargas et al. | Project Donaxi@ HOME Service Robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20161215 Address after: 518000 Shenzhen, Guangdong, Xixiang, the streets of the Republic of Hong Kong Industrial Road, F block, moon flower, Patentee after: Shenzhen Technology Co., Ltd. Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili town of Harbin Institute of Technology campus of Shenzhen University Patentee before: Shenzhen Graduate School, Harbin Univ. of Technology |