CN107322596A - 用于危险环境下的vr体控机器人 - Google Patents

用于危险环境下的vr体控机器人 Download PDF

Info

Publication number
CN107322596A
CN107322596A CN201710505629.5A CN201710505629A CN107322596A CN 107322596 A CN107322596 A CN 107322596A CN 201710505629 A CN201710505629 A CN 201710505629A CN 107322596 A CN107322596 A CN 107322596A
Authority
CN
China
Prior art keywords
frame
image
mobile robots
hazardous environment
controlled mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710505629.5A
Other languages
English (en)
Inventor
李金泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710505629.5A priority Critical patent/CN107322596A/zh
Publication of CN107322596A publication Critical patent/CN107322596A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于危险环境下的VR体控机器人，包括机架、电子双目图像采集***、头戴式虚拟现实显示设备、姿态传感器、控制***，其特征在于：所述机架的前端安装有舵机：且所述舵机上连接有机械臂：所述机架的台面上固定有Arduino Uno开发板；且所述机架的中端固定有电路控制板；所述机架的下方挂装有驱动电机；所述机架的后端设置有立体图像获取***。该新型具有较好的3D视觉效果，立体感的形成以及画面的实时传输性要好，可达200米远距离无线数据链路通讯，机械控制的动作性强，响应快速，机械控制的动作性强，响应快速。

Description

用于危险环境下的VR体控机器人
技术领域
本发明属于体感控制机器人领域，具体涉及一种用于危险环境下的VR体控机器人。
背景技术
现在的智能机器人大多是依靠自身存储的复杂程序代码或者操作手柄，根据外部事件触发产生相应的执行动作来实现控制。但是大量的的程序代码存储需要大的存储空间同时伴随而来的体积大、功耗大、速度慢、存在延时等问题都会降低机器人得控制精度，不易实现同步控制功能。
同时检测机器人携带视频监控相机或其他先进的设备，可以提供直接的监测结果，但是目前这类监测机器人传输的二维视频画面对三维世界描述的巨大局限性，对复杂环境无法进行最真实的还原与反馈，操作者无法更加自由、方便和直接地控制机器人进行工作。综上所述，所以我设计了一种用于危险环境下的VR体控机器人。
发明内容
为了解决上述存在的问题，本发明提供一种用于危险环境下的VR体控机器人。
本发明是通过以下技术方案实现：
一种用于危险环境下的VR体控机器人，包括机架、电子双目图像采集***、头戴式虚拟现实显示设备、姿态传感器、控制***，所述机架的前端安装有舵机：且所述舵机上连接有机械臂：所述机架的台面上固定有ARDUIN0开发板；且所述机架的中端固定有电路控制板；所述机架的下方挂装有驱动电机；所述机架的后端设置有立体图像获取***。
作为本发明的进一步优化方案，所述立体图像获取***连接到电子双目图像采集***、头戴式虚拟现实显示设备、姿态传感器、控制***等几部分；所述电子双目图像采集***和头戴式虚拟现实显示设备共同构建立体环境；所述电子双目图像采集***是电子双目完成对场景的捕捉与图像获取，电子双目摄像头是利用人眼观察事物的原理，用两台摄像机模拟人的双眼对景物进行拍摄，捕捉场景画面并实时传输现场图像，两台摄像机并列放置从而得到左、右两幅具有视差的图像，最后对该图像进行融合处理或通过3D设备观测图像。
作为本发明的进一步优化方案，所述头戴式虚拟现实显示设备使两幅具有视差的图像分别映入人的左右眼，人的大脑将能感知两幅图像的视察信息，感知到生理深度暗示，产生立体感；且所述头戴式虚拟现实显示设备透镜具有放大作用，从而使图像充满使用者的整个视界，从而使用户产生强烈的沉浸感；在头戴设备上加入姿态传感器感知使用者的姿态信息来控制电子双目的移动，就构成了强交互性、高自由度视点的沉浸式视频体验和智能体感控制***。
作为本发明的进一步优化方案，本***由姿态传感器、微处理器(MCU)、电源模块和数据传输模块等组成。
作为本发明的进一步优化方案，本***选择MPU6050模块来检测人体头部和手臂的姿态角度变化。MPU6050芯片内部集成了姿态传感器、数字滤波、温度传感器、16位ADC以及可扩展数字运动处理器(DMP)等；其中姿态传感器选用的是惯性式姿态传感器，包含有三轴陀螺仪和三轴加速度计，可以分别测量出运动的角速度和线加速度，经过AD转换，滤波和数据融合处理便可得到反映真实机体状态的姿态角；且所述MPU6050模块通过波特率为9600bps的串口完成所有设备寄存器及与MCU的通信，完成采集三轴加速度、三轴角速度的任务；所述微处理器(MCU)采用具有低功耗、低成本以及更好兼容性等优点的AtmelMega328P单片机(核心处理器为AVR)，其主要负责数据的调试、控制电子双目的转动以及完成姿态解算的相关运算并且本***使用以AVR单片机为核心处理器的Arduino Uno开发板，配套有软件处理平台Arduino ADE，通过串口调试窗口即可显示出MPU6050采集的数据信息。
作为本发明的进一步优化方案，本***使用以AVR单片机为核心处理器的ArduinoUno开发板，配套有软件处理平台Arduino ADE，通过串口调试窗口即可显示出MPU6050采集的数据信息。
与现有的技术相比，本发明的有益效果是：该新型具有较好的3D视觉效果，立体感的形成以及画面的实时传输性要好。为了满足沉浸式视觉体验，立体画面是基础；若想在监测等工程应用中使用，不仅要求立体画面传输延迟小，速度快，而且视频画面质量要求较高。并且该新型可达200米远距离无线数据链路通讯。具有应用价值的机器人所处的工作环境必然在人体视线之外，就要求视频传输的距离要提高，本次设计阶段，需满足200米的无线通讯。除了保证视频数据的远距离实时高质量的传输，在某些场合可以进行加密处理，实现可靠地双向数据交流。该新型机械控制的动作性强，响应快速。动作性是指用户能以客观世界的实际动作来操作***，这更得益于体感交互技术的实现。动作性好的关键在于控制端较高的自由度和灵活度，能够与使用者的姿态动作保持一致和同步。同时也要求对使用者姿态信息的采集和捕捉要灵敏且快速，执行机构(机械臂等)惯性小，能够快速准确响应。而且该新型能耗低，可持续工作4小时，为避免控制器在远程操作过程中能量耗尽，要求沉浸式控制器具备低能耗的特点。
附图说明
图1是本发明的结构主视图；
图2是本发明的结构俯视图；
图3是本发明的结构侧视图。
图中：1、机架；2、电子双目图像采集***；3、机械臂；4、ARDUINO开发板；5、电路控制板；6、驱动电机；7、立体图像获取***。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
如图1-3所示，一种用于危险环境下的VR体控机器人，包括机架(1)、电子双目图像采集***(2)、头戴式虚拟现实显示设备、姿态传感器、控制***，所述机架(1)的前端安装有舵机(2)：且所述舵机(2)上连接有机械臂(3)：所述机架(1)的台面上固定有ARDUINO开发板(4)；且所述机架(1)的中端固定有电路控制板(5)；所述机架(1)的下方挂装有驱动电机(6)；所述机架(1)的后端设置有立体图像获取***(7)；所述立体图像获取***(7)连接到电子双目图像采集***、头戴式虚拟现实显示设备、姿态传感器、控制***等几部分；所述电子双目图像采集***和头戴式虚拟现实显示设备共同构建立体环境；所述电子双目图像采集***是电子双目完成对场景的捕捉与图像获取，电子双目摄像头是利用人眼观察事物的原理，用两台摄像机模拟人的双眼对景物进行拍摄，捕捉场景画面并实时传输现场图像，两台摄像机并列放置从而得到左、右两幅具有视差的图像，最后对该图像进行融合处理或通过3D设备观测图像；所述头戴式虚拟现实显示设备使两幅具有视差的图像分别映入人的左右眼，人的大脑将能感知两幅图像的视察信息，感知到生理深度暗示，产生立体感；且所述头戴式虚拟现实显示设备透镜具有放大作用，从而使图像充满使用者的整个视界，从而使用户产生强烈的沉浸感；在头戴设备上加入姿态传感器感知使用者的姿态信息来控制电子双目的移动，就构成了强交互性、高自由度视点的沉浸式视频体验和智能体感控制***；本***由姿态传感器、微处理器(MCU)、电源模块和数据传输模块等组成；本***选择MPU6050模块来检测人体头部和手臂的姿态角度变化。MPU6050芯片内部集成了姿态传感器、数字滤波、温度传感器、16位ADC以及可扩展数字运动处理器(DMP)等；其中姿态传感器选用的是惯性式姿态传感器，包含有三轴陀螺仪和三轴加速度计，可以分别测量出运动的角速度和线加速度，经过AD转换，滤波和数据融合处理便可得到反映真实机体状态的姿态角；且所述MPU6050模块通过波特率为9600bps的串口完成所有设备寄存器及与MCU的通信，完成采集三轴加速度、三轴角速度的任务；所述微处理器(MCU)采用具有低功耗、低成本以及更好兼容性等优点的AtmelMega328P单片机(核心处理器为AVR)，其主要负责数据的调试、控制电子双目的转动以及完成姿态解算的相关运算并且本***使用以AVR单片机为核心处理器的Arduino Uno开发板，配套有软件处理平台Arduino ADE，通过串口调试窗口即可显示出MPU6050采集的数据信息；本***使用以AVR单片机为核心处理器的Arduino Uno开发板(4)，配套有软件处理平台Arduino ADE，通过串口调试窗口即可显示出MPU6050采集的数据信息。
所述本新型装置在这个实施例中，该新型中集成芯片与单片机通过串口通讯，MPU6050输出的原始数据经过内部集成的姿态解算器和卡尔曼滤波算法，可直接输出稳定、实时的姿态信息至MCU中，MCU再经过数据线传输数据至控制电子双目***的MCU，该MCU即可根据角度值输出不同的指令，对电子双目的转动进行控制，最终带给用户沉浸式的体感控制体验。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种用于危险环境下的VR体控机器人，包括机架、电子双目图像采集***、头戴式虚拟现实显示设备、姿态传感器、控制***，其特征在于：所述机架的前端安装有舵机：且所述舵机上连接有机械臂：所述机架的台面上固定有Arduino Uno开发板；且所述机架的中端固定有电路控制板；所述机架的下方挂装有驱动电机；所述机架的后端设置有立体图像获取***。
2.根据权利要求1所述的一种用于危险环境下的VR体控机器人，其特征在于：所述立体图像获取***连接到电子双目图像采集***、头戴式虚拟现实显示设备、姿态传感器、控制***等几部分；所述电子双目图像采集***和头戴式虚拟现实显示设备共同构建立体环境；所述电子双目图像采集***是电子双目完成对场景的捕捉与图像获取，电子双目摄像头是利用人眼观察事物的原理，用两台摄像机模拟人的双眼对景物进行拍摄，捕捉场景画面并实时传输现场图像，两台摄像机并列放置从而得到左、右两幅具有视差的图像，最后对该图像进行融合处理或通过3D设备观测图像。
3.根据权利要求1所述的一种用于危险环境下的VR体控机器人，其特征在于：所述头戴式虚拟现实显示设备使两幅具有视差的图像分别映入人的左右眼，人的大脑将能感知两幅图像的视察信息，感知到生理深度暗示，产生立体感；且所述头戴式虚拟现实显示设备透镜具有放大作用，从而使图像充满使用者的整个视界，从而使用户产生强烈的沉浸感；在头戴设备上加入姿态传感器感知使用者的姿态信息来控制电子双目的移动，就构成了强交互性、高自由度视点的沉浸式视频体验和智能体感控制***。
4.根据权利要求1所述的一种用于危险环境下的VR体控机器人，其特征在于：本***由姿态传感器、微处理器(MCU)、电源模块和数据传输模块等组成。
5.根据权利要求1所述的一种用于危险环境下的VR体控机器人，其特征在于：本***选择MPU6050模块来检测人体头部和手臂的姿态角度变化。MPU6050芯片内部集成了姿态传感器、数字滤波、温度传感器、16位ADC以及可扩展数字运动处理器(DMP)等；其中姿态传感器选用的是惯性式姿态传感器，包含有三轴陀螺仪和三轴加速度计，可以分别测量出运动的角速度和线加速度，经过AD转换，滤波和数据融合处理便可得到反映真实机体状态的姿态角；且所述MPU6050模块通过波特率为9600bps的串口完成所有设备寄存器及与MCU的通信，完成采集三轴加速度、三轴角速度的任务；所述微处理器(MCU)采用具有低功耗、低成本以及更好兼容性等优点的AtmelMega328P单片机(核心处理器为AVR)，其主要负责数据的调试、控制电子双目的转动以及完成姿态解算的相关运算并且本***使用以AVR单片机为核心处理器的Arduino Uno开发板，配套有软件处理平台Arduino ADE，通过串口调试窗口即可显示出MPU6050采集的数据信息。
6.根据权利要求1所述的一种用于危险环境下的VR体控机器人，其特征在于：本***使用以AVR单片机为核心处理器的Arduino Uno开发板，配套有软件处理平台Arduino ADE，通过串口调试窗口即可显示出MPU6050采集的数据信息。
CN201710505629.5A 2017-06-28 2017-06-28 用于危险环境下的vr体控机器人 Pending CN107322596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710505629.5A CN107322596A (zh) 2017-06-28 2017-06-28 用于危险环境下的vr体控机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710505629.5A CN107322596A (zh) 2017-06-28 2017-06-28 用于危险环境下的vr体控机器人

Publications (1)

Publication Number Publication Date
CN107322596A true CN107322596A (zh) 2017-11-07

Family

ID=60198414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710505629.5A Pending CN107322596A (zh) 2017-06-28 2017-06-28 用于危险环境下的vr体控机器人

Country Status (1)

Country Link
CN (1) CN107322596A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107471216A (zh) * 2017-08-08 2017-12-15 陆兴华 危险环境下的vr体控机器人
CN108582032A (zh) * 2018-04-11 2018-09-28 南京理工大学 一种基于虚拟现实技术的带电作业机器人机械臂协作力反馈主从控制方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107471216A (zh) * 2017-08-08 2017-12-15 陆兴华 危险环境下的vr体控机器人
CN108582032A (zh) * 2018-04-11 2018-09-28 南京理工大学 一种基于虚拟现实技术的带电作业机器人机械臂协作力反馈主从控制方法及***

Similar Documents

Publication Publication Date Title
CN107471216A (zh) 危险环境下的vr体控机器人
CN106131530B (zh) 一种裸眼3d虚拟现实展示***及其展示方法
CN107438804B (zh) 一种用于控制无人机的穿戴式设备及无人机***
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互***及方法
CN206162398U (zh) 一种用于重型机械远程无人操作的立体视觉随动显示***
CN108363415A (zh) 一种应用于水下机器人的视觉远程控制随动***及方法
JP6642432B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
EP2979127B1 (en) Display method and system
CN204741528U (zh) 立体沉浸式体感智能控制器
CN104536579B (zh) 交互式三维实景与数字图像高速融合处理***及处理方法
CN107968915A (zh) 水下机器人摄像机云台实时控制***及其方法
CN206294286U (zh) 一种远程虚拟现实的实现***
CN109129523A (zh) 基于人机交互的移动机器人实时远程控制***
CN107166153B (zh) 头部穿戴摄像机架
CN109358754B (zh) 一种混合现实头戴显示***
CN108022302A (zh) 一种Inside-Out空间定位的AR立体显示装置
CN109547600A (zh) 微云台手机
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN205195880U (zh) 观看设备及观看***
CN107065195A (zh) 一种模块化mr设备成像方法
CN203773476U (zh) 基于3d交互的虚拟现实***
CN111383348A (zh) 一种虚拟现实远程同步控制机器人的方法
CN107322596A (zh) 用于危险环境下的vr体控机器人
CN204990186U (zh) 一种桌面式立体显示交互***
CN106507090A (zh) 一种主从遥视***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
DD01 Delivery of document by public notice

Addressee: Li Jinze

Document name: Notification of Passing Preliminary Examination of the Application for Invention

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Li Jinze

Document name: Notification of Publication of the Application for Invention

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Li Jinze

Document name: Notification of before Expiration of Request of Examination as to Substance

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Li Jinze

Document name: Deemed as a notice of withdrawal

DD01 Delivery of document by public notice
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171107

WD01 Invention patent application deemed withdrawn after publication