CN113282173B - 一种基于虚拟现实的双臂机器人远程实时控制***及方法 - Google Patents

一种基于虚拟现实的双臂机器人远程实时控制***及方法 Download PDF

Info

Publication number
CN113282173B
CN113282173B CN202110556471.0A CN202110556471A CN113282173B CN 113282173 B CN113282173 B CN 113282173B CN 202110556471 A CN202110556471 A CN 202110556471A CN 113282173 B CN113282173 B CN 113282173B
Authority
CN
China
Prior art keywords
double
ros
unity
virtual reality
arm robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110556471.0A
Other languages
English (en)
Other versions
CN113282173A (zh
Inventor
温淑焕
贾仕东
方斌
孙富春
刘鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110556471.0A priority Critical patent/CN113282173B/zh
Publication of CN113282173A publication Critical patent/CN113282173A/zh
Application granted granted Critical
Publication of CN113282173B publication Critical patent/CN113282173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提出了一种基于虚拟现实的双臂机器人远程实时控制***及方法，属于机械臂遥操作技术领域，包括用于完成人体与双臂机器人交互的虚拟现实设备及其仿真***、用于获取双臂机器人图像的视频采集***、双臂机器人、电脑和软件控制子***；方法包括规划实验区、手臂姿态获取与实验平台设计、姿态信息传输、双臂机器人的控制程序设计、虚拟现实画面显示等步骤。本发明将虚拟现实技术引入到机械臂的控制中，对比传统操纵杆、控制面板控制方式更加快速简单，同时将双臂机器人的运动视频实时反馈到虚拟现实设备中，十分有利于无经验的操作者，实现了更好的人机交互方式，***更为安全。

Description

一种基于虚拟现实的双臂机器人远程实时控制***及方法
技术领域
本发明涉及机械臂遥操作技术领域，尤其是一种基于虚拟现实的双臂机器人远程实时控制***及方法。
背景技术
如今机器人技术发展迅速，越来越多的机器人应用于各个领域，传统的远程机器人控制方式往往是利用操纵杆、控制面板，在操作任务中对操作者的经验技术要求很高，并且无法模仿人类动作完成任务，对远程环境的突发事件应对性差。特别是一些危险的操作环境中，不仅需要操作者进行远程控制，而且还要远程操作环境的变化实时的做出调整。
发明内容
本发明需要解决的技术问题是提供一种基于虚拟现实的双臂机器人远程实时控制***及方法，通过虚拟现实设备采集人体手臂姿态信息完成双臂机器人的控制任务，实现机械臂高精度的目标抓取任务。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于虚拟现实的双臂机器人远程实时控制***，包括用于完成人体与双臂机器人交互的虚拟现实设备及其仿真***、用于获取双臂机器人图像的视频采集***、双臂机器人、电脑和软件控制子***；
所述虚拟现实设备采集人体手臂姿态信息展现于虚拟现实仿真***；
所述视频采集***利用相机采集双臂机器人的图像信息实时展现于虚拟现实仿真***，利用虚拟现实设备进行双臂机器人实时控制时，相机采集到的图像实时在虚拟现实设备中显示；
所述双臂机器人为整个***的被控对象，用于根据控制指令实现相应动作；电脑和软件控制子***用于还原人体手臂的运动轨迹。
本发明技术方案的进一步改进在于：所述虚拟现实设备包括头戴显示器和两只手柄；所述头戴显示器用于实时地观察双臂机器人的运动状态；所述两只手柄用于获取人体手臂姿态信息；
所述视频采集***包括获取双臂机器人的深度图像的相机一和获取双臂机器人的RGB图像的相机二；
所述电脑设置2台，一台电脑使用Windows***，另一台使用Ubuntu***；
所述软件控制子***包括用于获取虚拟现实设备中两个手柄姿态信息的Unity***和用于完成与Unity***的通讯以及双臂机器人控制的ROS***。
一种基于虚拟现实的双臂机器人远程实时控制方法，使用一种基于虚拟现实的双臂机器人远程实时控制***，包括以下步骤：
步骤1，规划实验区：操作者与双臂机器人的人机交互都在试验区进行；
步骤2，手臂姿态获取与实验平台设计：
首先，利用虚拟现实设备的两个手柄获取到人体手臂姿态信息，在Unity***3D仿真平台中构建双臂机器人机械臂模型，在虚拟现实设备的头部显示器中能够实时观察双臂机器人机械臂的运动状态；
然后，设计末端六维姿态数据到双臂机器人机械臂的数据转换，采用基于时间的差值映射方式，搭建双臂机器人控制平台ROS***及相关功能包；
步骤3，姿态信息传输：
Windows***获取的手柄六维姿态信息通过网络通讯的方式传送到Ubuntu***中，进而完成对于双臂机器人的控制；
步骤4，双臂机器人的控制程序设计：
步骤3中发送的数据是手柄的末端姿态，当按住手柄控制器两侧的开关时，当前位置和方向从Unity坐标系转换为ROS***中的信息并通过主题发布到节点，利用双臂机器人ROS***内置IK解算器找到解决方案后移动双臂机器人的机械臂；为了让双臂机器人机械臂运动的更加流畅自然，采用差值增量的控制方式，将获取到的姿态数据与上一时刻作差，这样的控制方式是相对的，每次遥操作任务也不用调整到绝对的初始状态，同时在控制过程中可以对双臂机器人机械臂进行微调，完成更加精细的任务；
步骤5，虚拟现实画面显示：
相机一和相机二连接到Ubuntu***电脑，在Windows***电脑中Unity平台获取到手柄末端姿态信息，在Ubuntu***电脑中ROS平台获取深度图像；再利用网络通讯将信息传递到的两个手柄获取到人体手臂末端姿态信息传递到装有ROS的另一台电脑，将深度图像传送到虚拟现实设备的头戴显示器中。
本发明技术方案的进一步改进在于：步骤1中，规划实验区首先确保有足够的空间；房间的大小设置至少具有2m*1.5m的实验区；将所有障碍物移出实验区,将电脑放置在实验区附近；虚拟现实设备线缆从电脑延伸5米，确保双臂机器人在两个定位相机的中间，操作者能够以站姿或者坐姿来进行遥操作任务。
本发明技术方案的进一步改进在于：ROS***和Unity***使用不同的坐标系；转换***首先通过转换ROS***的位置和旋转，如式(1)、(2)：
位置：
xunity＝-xros (1)
yunity＝-zros
zunity＝-yros
式中，xunity,yunity,zunity表示Unity***中的三维坐标，xros,yros,zros表示ROS***中的三维坐标；
四元数：
qxunity＝qxros (2)
qyunity＝-qzros
qzunity＝qyros
qwunity＝qwros
式中，qxunity,qyunity,qzunity,qwunity表示Unity***中的四元数，qxros,qyros,qzros,qwros表示ROS***中的四元数；
Unity***到ROS***的转换从式(1)、(2)推导，通过四元数运算得出旋转角度，如式(3)：
(qx,qy,qz,qw)ros＝(qx,qz,-qy,qw)unity*(0,1,0,0) (3)。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明将虚拟现实设备与相机结合起来，进行机械臂的控制时利用相机采集遥操作画面，将采集到的画面实时传输到虚拟现实环境中，可以根据画面实时调整自己的操作任务。
2、本发明将虚拟现实技术引入到机械臂的控制中，对比传统操纵杆、控制面板控制方式更加快速简单，同时将双臂机器人的运动视频实时反馈到虚拟现实设备中，十分有利于无经验的操作者，实现了更好的人机交互方式，***更为安全。
3、本发明增加了操作者的临场感。
附图说明
图1是本发明操作***结构示意图；
图2是本发明中实验区域及实施相机坐标定位示意图；
图3是本发明实施例流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步详细说明：
如图1-3所示，基于虚拟现实的双臂机器人远程实时控制***及方法，在本实施例中，所述虚拟现实设备采用HTC vive pro；所述传感装置采用Kinect相机，所述双臂机器人为Baxter；大致分为以下几个模块：
软件平台设计：首先将HTC vive pro连接到运行Unity***的电脑。Unity***与ROS***是通过WebSocket连接。将ROS连接到运行Unity的远程Windows机器，在Unity设计读取HTC vive pro手柄信息的，之后设计Socket通讯在ROS主题上发送的将读取到的六维姿态。手柄的姿态信息是通过此WebSocket连接发送的，当用户按住夹持器两侧按钮时，便会发送用户夹持器的姿态到机械臂。
姿态信息传输：该框架使用到两台电脑，一台电脑使用Windows***，另一台使用ROS***，Windows***获取的手柄六维姿态信息通过网络通讯的方式传送到ROS***中，进而完成对于机器人的控制。首先将HTC vive pro设备连接到Windows***电脑，Kinect相机连接到Ubuntu***电脑，在Windows***电脑中Unity平台获取到手柄末端姿态信息，再利用网络通讯将信息传递到的两个手柄获取到人体手臂末端姿态信息传递到装有ROS的另一台电脑。
双臂机器人的控制程序设计：完成数据传输后便是机器人的控制设计了，发送的数据是手柄的末端姿态，当按住手柄控制器两侧的开关(HTC vive pro上的侧面按钮)时，当前位置和方向从Unity坐标系转换为ROS***中的信息并通过主题发布到节点，利用机器人ROS***内置IK解算器找到解决方案后移动Baxter机械臂。为了让Baxter机械臂运动的更加流畅自然，采用差值增量的控制方式，将获取到的姿态数据与上一时刻作差，这样的控制方式是相对的，每次遥操作任务也不用调整到绝对的初始状态，同时在控制过程中可以对Baxter机械臂进行微调，完成更加精细的任务。还能够使用手柄上的触发器可以打开和关闭Baxter机械臂的夹具，这也可以通过主题的形式把消息发送给机器人。
ROS***和Unity***使用不同的坐标系。那里的转换***首先，通过转换ROS***的位置和旋转，如以下式(1)、(2)。
位置：
xunity＝-xros (1)
yunity＝-zros
zunity＝-yros
式中，[xunity,yunity,zunity]表示Unity***中的三维坐标，[xros,yros,zros]表示ROS***中的三维坐标。
四元数：
qxunity＝qxros (2)
qyunity＝-qzros
qzunity＝qyros
qwunity＝qwros
式中，[qxunity,qyunity,qzunity,qwunity]表示Unity***中的四元数，[qxros,qyros,qzros,qwros]表示ROS***中的四元数。
Unity***到ROS***的转换可以是从式(1)、(2)推导，通过四元数运算得出旋转角度，如式(3)。
(qx,qy,qz,qw)ros＝(qx,qz,-qy,qw)unity*(0,1,0,0) (3)
虚拟现实画面显示：Kinect相机连接到Ubuntu***电脑，在Windows***电脑中Unity平台获取到手柄末端姿态信息，在Ubuntu***电脑中ROS平台获取深度图像。再利用网络通讯将信息传递到的两个手柄获取到人体手臂末端姿态信息传递到装有ROS的另一台电脑，将深度图像传送到HTC vive pro的头戴显示器中；
实验结果表明，基于VR虚拟现实技术的遥操作任务比基于可穿戴设备的遥操作任务精度更高，能够很好的完成复杂的操作任务。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于虚拟现实的双臂机器人远程实时控制***，其特征在于：包括用于完成人体与双臂机器人交互的虚拟现实设备及其仿真***、用于获取双臂机器人图像的视频采集***、双臂机器人、电脑和软件控制子***；
所述虚拟现实设备采集人体手臂姿态信息展现于虚拟现实仿真***；
所述视频采集***利用相机采集双臂机器人的图像信息实时展现于虚拟现实仿真***，利用虚拟现实设备进行双臂机器人实时控制时，相机采集到的图像实时在虚拟现实设备中显示；
所述双臂机器人为整个***的被控对象，用于根据控制指令实现相应动作；电脑和软件控制子***用于还原人体手臂的运动轨迹；
所述虚拟现实设备包括头戴显示器和两只手柄；所述头戴显示器用于实时地观察双臂机器人的运动状态；所述两只手柄用于获取人体手臂姿态信息；
所述视频采集***包括获取双臂机器人的深度图像的相机一和获取双臂机器人的RGB图像的相机二；
所述电脑设置2台，一台电脑使用Windows***，另一台使用Ubuntu***；
所述软件控制子***包括用于获取虚拟现实设备中两个手柄姿态信息的Unity***和用于完成与Unity***的通讯以及双臂机器人控制的ROS***；Unity***与ROS***通过WebSocket连接；
所述基于虚拟现实的双臂机器人远程实时控制***的控制方法，包括以下步骤：
步骤1，规划实验区：操作者与双臂机器人的人机交互都在试验区进行；
步骤2，手臂姿态获取与实验平台设计：
首先，利用虚拟现实设备的两个手柄获取到人体手臂姿态信息，在Unity***3D仿真平台中构建双臂机器人机械臂模型，在虚拟现实设备的头部显示器中能够实时观察双臂机器人机械臂的运动状态；
然后，设计末端六维姿态数据到双臂机器人机械臂的数据转换，采用基于时间的差值映射方式，搭建双臂机器人控制平台ROS***及相关功能包；
步骤3，姿态信息传输：
Windows***获取的手柄六维姿态信息通过网络通讯的方式传送到Ubuntu***中，进而完成对于双臂机器人的控制；
步骤4，双臂机器人的控制程序设计：
步骤3中发送的数据是手柄的末端姿态，当按住手柄控制器两侧的开关时，当前位置和方向从Unity坐标系转换为ROS***中的信息并通过主题发布到节点，利用双臂机器人ROS***内置IK解算器找到解决方案后移动双臂机器人的机械臂；为了让双臂机器人机械臂运动的更加流畅自然，采用差值增量的控制方式，将获取到的姿态数据与上一时刻作差，这样的控制方式是相对的，每次遥操作任务也不用调整到绝对的初始状态，同时在控制过程中可以对双臂机器人机械臂进行微调，完成更加精细的任务；
步骤5，虚拟现实画面显示：
相机一和相机二连接到Ubuntu***电脑，在Windows***电脑中Unity平台获取到手柄末端姿态信息，在Ubuntu***电脑中ROS平台获取深度图像；再利用网络通讯将信息传递到的两个手柄获取到人体手臂末端姿态信息传递到装有ROS的另一台电脑，将深度图像传送到虚拟现实设备的头戴显示器中。
2.根据权利要求1所述的一种基于虚拟现实的双臂机器人远程实时控制***，其特征在于：步骤1中，规划实验区首先确保有足够的空间；房间的大小设置至少具有2m*1.5m的实验区；将所有障碍物移出实验区,将电脑放置在实验区附近；虚拟现实设备线缆从电脑延伸5米，确保双臂机器人在两个定位相机的中间，操作者能够以站姿或者坐姿来进行遥操作任务。
3.根据权利要求1所述的一种基于虚拟现实的双臂机器人远程实时控制***，其特征在于：ROS***和Unity***使用不同的坐标系；转换***首先通过转换ROS***的位置和旋转，如式(1)、(2)：
位置：
xunity＝-xros (1)
yunity＝-zros
zunity＝-yros
式中，xunity,yunity,zunity表示Unity***中的三维坐标，xros,yros,zros表示ROS***中的三维坐标；
四元数：
qxunity＝qxros (2)
qyunity＝-qzros
qzunity＝qyros
qwunity＝qwros
式中，qxunity,qyunity,qzunity,qwunity表示Unity***中的四元数，qxros,qyros,qzros,qwros表示ROS***中的四元数；
Unity***到ROS***的转换从式(1)、(2)推导，通过四元数运算得出旋转角度，如式(3)：
(qx,qy,qz,qw)ros＝(qx,qz,-qy,qw)unity*(0,1,0,0) (3)。
CN202110556471.0A 2021-05-21 2021-05-21 一种基于虚拟现实的双臂机器人远程实时控制***及方法 Active CN113282173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110556471.0A CN113282173B (zh) 2021-05-21 2021-05-21 一种基于虚拟现实的双臂机器人远程实时控制***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110556471.0A CN113282173B (zh) 2021-05-21 2021-05-21 一种基于虚拟现实的双臂机器人远程实时控制***及方法

Publications (2)

Publication Number Publication Date
CN113282173A CN113282173A (zh) 2021-08-20
CN113282173B true CN113282173B (zh) 2023-01-03

Family

ID=77280595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110556471.0A Active CN113282173B (zh) 2021-05-21 2021-05-21 一种基于虚拟现实的双臂机器人远程实时控制***及方法

Country Status (1)

Country Link
CN (1) CN113282173B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527177A (zh) * 2016-10-26 2017-03-22 北京控制工程研究所 一种多功能一站式遥操作控制设计与仿真***及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104057450B (zh) * 2014-06-20 2016-09-07 哈尔滨工业大学深圳研究生院 一种针对服务机器人的高维操作臂遥操作方法
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
EP3598270A1 (en) * 2018-07-17 2020-01-22 Technische Universität München Method and control unit for controlling a virtual reality display, virtual reality display and virtual reality system
CN110119207A (zh) * 2019-05-14 2019-08-13 重庆大学 基于人体自然信号的虚拟现实机器人交互***及交互方法
CN111459277B (zh) * 2020-04-01 2023-05-30 重庆大学 基于混合现实的机械臂遥操作***及交互界面构建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527177A (zh) * 2016-10-26 2017-03-22 北京控制工程研究所 一种多功能一站式遥操作控制设计与仿真***及方法

Also Published As

Publication number Publication date
CN113282173A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
US11440179B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
CN111906784B (zh) 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN110405730B (zh) 一种基于rgb-d图像的人机物交互机械臂示教***
Hashimoto et al. Touchme: An augmented reality based remote robot manipulation
CN100484726C (zh) 基于虚拟现实机器人灵巧手遥操作平台
CN108214445B (zh) 一种基于ros的主从异构遥操作控制***
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
Naceri et al. Towards a virtual reality interface for remote robotic teleoperation
WO2018219194A1 (zh) 基于数据手臂的面向空间站机器人的遥操作***
CN111438673B (zh) 基于立体视觉和手势控制的高空作业遥操作方法及***
CN110039547A (zh) 一种柔性机械臂遥操作的人机交互终端及方法
CN110682291B (zh) 一种基于vr的机器人遥操作***及其遥操作方法
CN110977981A (zh) 一种机器人虚拟现实同步***及同步方法
CN110355750A (zh) 面向遥操作手眼协调的交互控制方法
CN116197899A (zh) 一种基于vr的主动式机器人遥操作***
CN114098981B (zh) 一种双臂协作的头颈部辅助牵拉手术机器人及其控制方法
CN113282173B (zh) 一种基于虚拟现实的双臂机器人远程实时控制***及方法
CN109857258B (zh) 一种虚拟远程遥控方法及装置、***
CN112947238B (zh) 一种基于vr技术的工业机器人实时控制***
CN116252298A (zh) 基于力反馈技术的机器人遥操作方法及***
Zhou et al. Development of a synchronized human-robot-virtuality interaction system using cooperative robot and motion capture device
CN112947117A (zh) 一种多rov水下协同作业仿真***
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation
Zhao et al. Interactive mechanical arm control system based on Kinect
Wang et al. Design of a teleoperated and mixed reality-based electric power live line working robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant