CN105828021A - 基于增强现实技术的特种机器人图像采集控制方法及*** - Google Patents

基于增强现实技术的特种机器人图像采集控制方法及*** Download PDF

Info

Publication number
CN105828021A
CN105828021A CN201510003004.XA CN201510003004A CN105828021A CN 105828021 A CN105828021 A CN 105828021A CN 201510003004 A CN201510003004 A CN 201510003004A CN 105828021 A CN105828021 A CN 105828021A
Authority
CN
China
Prior art keywords
wide
image acquisition
angle lens
dimensional
specialized robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510003004.XA
Other languages
English (en)
Inventor
李邦宇
谭波悦
郑春晖
姜楠
张涛
王海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Siasun Robot and Automation Co Ltd
Original Assignee
Shenyang Siasun Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Siasun Robot and Automation Co Ltd filed Critical Shenyang Siasun Robot and Automation Co Ltd
Priority to CN201510003004.XA priority Critical patent/CN105828021A/zh
Publication of CN105828021A publication Critical patent/CN105828021A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及特种机器人技术领域，公开一种基于增强现实技术的特种机器人图像采集控制方法，包括如下步骤：S1.进行广角镜头到眼镜显示器图像的曲面投射；S2.实时图像数据传输；S3.进行人眼位置校正与广角镜头的变焦处理；S4.进行头盔姿态感应到三维云台控制的映射以及调整。本发明特种机器人的视频监控从二维图像变为三维图像，更具有身临其境的操作感，三维云台的控制从摇杆按钮方式变为体感式操作，解放手控制云台的操作，使控制特种机器人更加灵活和专注。

Description

基于增强现实技术的特种机器人图像采集控制方法及***
技术领域
本发明涉及特种机器人技术领域，特别涉及一种基于增强现实技术的特种机器人图像采集控制方法及***。
背景技术
特种机器人是一种具有履带式结构，具有/不具有多个摆臂，具有/不具有操作机械臂的野外移动机器人；具有一个或多个摄像头用以采集环境图像。
在移动过程中，需对外界环境进行视频采集并传输给控制端，以达到了解特种机器人车体周围环境的功能。现有方案中，使用一个或多个摄像头，带有云台的单目摄像头等图像拍摄装置，使用有线或者无线通讯方式，将视频信号传输给控制端的屏幕进行显示。
现有技术方案属于动态图像查看，并没有对机器人本体周围环境进行真实还原为立体图像呈现给观察者，观察者对于机器人的状态和环境的感受不直观，并且现有的摄像头云台控制仍然使用摇杆或者按钮等控制方式，使用者控制机器人本体运动时观察四周环境很不方便。
发明内容
本发明旨在克服现有特种机器人的缺陷，实现特种机器人环境视觉图像的真实还原，，提供一种基于增强现实技术的特种机器人图像采集控制方法及***。
为实现上述目的，本发明采用以下技术方案：
本发明提供一种基于增强现实技术的特种机器人图像采集控制方法，包括如下步骤：S1、进行广角镜头到眼镜显示器图像的曲面投射；S2、实时图像数据传输；S3、进行人眼位置校正与广角镜头的变焦处理；S4、进行头盔姿态感应到三维云台控制的映射以及调整。
一些实施例中，所述广角镜头所拍摄的两幅图像经过裁剪、变形图像处理，传输至眼镜显示器的两个曲面镜片。
一些实施例中，所述实时图像数据传输，用于实时流畅观察机器人周围环境三维图像。
一些实施例中，所述人眼位置校正与广角镜头的变焦处理为，根据人眼瞳距调整三维云台两个广角摄像头的间距，并根据人眼瞳孔的定位校正镜头的变焦参数。
一些实施例中，所述头盔姿态感应到三维云台控制的映射以及调整为，装有惯性导航传感器的眼镜感应到佩戴者头部运动后，向机器人本体发出控制指令，控制机器人三维云台的水平旋转和竖直起降。
本发明还提供一种基于增强现实技术的特种机器人图像采集控制***，包括广角镜头、眼镜、三维云台，其中，进行广角镜头到眼镜显示器图像的曲面投射；传输模块实时图像数据传输；进行人眼位置校正与广角镜头的变焦处理；进行头盔姿态感应到三维云台控制的映射以及调整。
一些实施例中，所述广角镜头为电子可变焦。
一些实施例中，所述三维云台可以水平360度旋转，竖直150度运动。
一些实施例中，所述眼镜上装有惯性导航传感器，用于检测带眼镜人的运动姿态，以同步三维云台的水平运动姿态和竖直运动姿态。
本发明的有益效果在于：特种机器人的视频监控从二维图像变为三维图像，更具有身临其境的操作感，三维云台的控制从摇杆按钮方式变为体感式操作，解放手控制云台的操作，使控制特种机器人更加灵活和专注。
附图说明
图1示意性示出根据本发明一个实施例的采集控制方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
如图1所示，本发明提供一种基于增强现实技术的特种机器人图像采集控制方法，包括如下步骤：
S1、进行广角镜头到眼镜显示器图像的曲面投射；
S2、实时图像数据传输；
S3、进行人眼位置校正与广角镜头的变焦处理；
S4、进行头盔姿态感应到三维云台控制的映射以及调整。
本发明的有益效果在于：特种机器人的视频监控从二维图像变为三维图像，更具有身临其境的操作感，三维云台的控制从摇杆按钮方式变为体感式操作，解放手控制云台的操作，使控制特种机器人更加灵活和专注。
一些实施例中，所述广角镜头所拍摄的两幅图像经过裁剪、变形图像处理，传输至眼镜显示器的两个曲面镜片，以达到模拟人眼所观测到得图像效果。
所述实时图像数据传输，用于实时流畅观察机器人周围环境三维图像，具体为是操作控制台的使用者可以实时流畅观察到机器人周围环境三维图像的基础保证。
所述人眼位置校正与广角镜头的变焦处理为，根据人眼瞳距调整三维云台两个广角摄像头的间距，并根据人眼瞳孔的定位校正镜头的变焦参数。
优选地，所述头盔(头盔)姿态感应到三维云台控制的映射以及调整为，装有惯性导航传感器的眼镜感应到佩戴者头部运动后，向机器人本体发出控制指令，控制机器人三维云台的水平旋转和竖直起降。
本发明还提供一种基于增强现实技术的特种机器人图像采集控制***，包括广角镜头、眼镜、三维云台，其中，进行广角镜头到眼镜显示器图像的曲面投射；传输模块实时图像数据传输；进行人眼位置校正与广角镜头的变焦处理；进行头盔姿态感应到三维云台控制的映射以及调整。
具体该***为在室外机器人端安装的是带三维云台的双摄像头视觉***，采用电子可变焦、广角镜头。
一些实施例中，所述三维云台可以水平360度旋转，竖直150度运动。两个摄像头的横向间距可以通过第三维度的操作拉近或者拉远。
所述眼镜上装有惯性导航传感器，用于检测带眼镜人的运动姿态，以同步三维云台的水平运动姿态和竖直运动姿态。
在控制台端安装有增强视觉效果的眼镜(头盔)，眼镜(头盔)的两个镜片为弧面显示，可以分别显示经过投射处理的两个广角镜头所拍摄的图像，通过眼镜(头盔)正对眼睛的摄像头获取人眼的位置和瞳距，通过计算得到机器人端安装的两个广角镜头的距离等信息，机器人自动调整和校正镜头，以适应不同的使用者和观察不同距离的环境景物。
在实际应用中，如在一个履带式特种机器人使用本发明所述的图像采集可控制方法时，可能会出现下列场景：
机器人行走至野外时，操作员可以随时自由的观察机器人四周的情况不用切换摄像机视角或者手动控制摄像云台。
本发明不仅限于履带式特种机器人应用范围，也包括其它室内外可移动式机器人(设备)使用该方案用于观察环境图像的应用场景。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种基于增强现实技术的特种机器人图像采集控制方法，其特征在于，包括如下步骤：
S1、进行广角镜头到眼镜显示器图像的曲面投射；
S2、实时图像数据传输；
S3、进行人眼位置校正与广角镜头的变焦处理；
S4、进行头盔姿态感应到三维云台控制的映射以及调整。
2.如权利要求1所述的特种机器人图像采集控制方法，其特征在于，所述广角镜头所拍摄的两幅图像经过裁剪、变形图像处理，传输至眼镜显示器的两个曲面镜片。
3.如权利要求1所述的特种机器人图像采集控制方法，其特征在于，所述实时图像数据传输，用于实时流畅观察机器人周围环境三维图像。
4.如权利要求1所述的特种机器人图像采集控制方法，其特征在于，所述人眼位置校正与广角镜头的变焦处理为，根据人眼瞳距调整三维云台两个广角摄像头的间距，并根据人眼瞳孔的定位校正镜头的变焦参数。
5.如权利要求1所述的特种机器人图像采集控制方法，其特征在于，所述头盔姿态感应到三维云台控制的映射以及调整为，装有惯性导航传感器的眼镜感应到佩戴者头部运动后，向机器人本体发出控制指令，控制机器人三维云台的水平旋转和竖直起降。
6.一种基于增强现实技术的特种机器人图像采集控制***，其特征在于，包括广角镜头、眼镜、三维云台，其中，进行广角镜头到眼镜显示器图像的曲面投射；传输模块实时图像数据传输；进行人眼位置校正与广角镜头的变焦处理；进行头盔姿态感应到三维云台控制的映射以及调整。
7.如权利要求6所述的特种机器人图像采集控制***，其特征在于，所述广角镜头为电子可变焦。
8.如权利要求6所述的特种机器人图像采集控制***，其特征在于，所述三维云台可以水平360度旋转，竖直150度运动。
9.如权利要求6所述的特种机器人图像采集控制***，其特征在于，所述眼镜上装有惯性导航传感器，用于检测带眼镜人的运动姿态，以同步三维云台的水平运动姿态和竖直运动姿态。
CN201510003004.XA 2015-01-05 2015-01-05 基于增强现实技术的特种机器人图像采集控制方法及*** Pending CN105828021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510003004.XA CN105828021A (zh) 2015-01-05 2015-01-05 基于增强现实技术的特种机器人图像采集控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510003004.XA CN105828021A (zh) 2015-01-05 2015-01-05 基于增强现实技术的特种机器人图像采集控制方法及***

Publications (1)

Publication Number Publication Date
CN105828021A true CN105828021A (zh) 2016-08-03

Family

ID=56513541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510003004.XA Pending CN105828021A (zh) 2015-01-05 2015-01-05 基于增强现实技术的特种机器人图像采集控制方法及***

Country Status (1)

Country Link
CN (1) CN105828021A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426531A (zh) * 2017-05-16 2017-12-01 上海欧忆能源科技有限公司 姿态视角遥控遥视智能头盔、方法、摄像装置及***
CN107943282A (zh) * 2017-11-06 2018-04-20 上海念通智能科技有限公司 一种基于增强现实和可穿戴设备的人机交互***及方法
WO2020063307A1 (zh) * 2018-09-29 2020-04-02 桂林智神信息技术股份有限公司 监控摄影设备的方法、云台***及移动设备
US10777012B2 (en) 2018-09-27 2020-09-15 Universal City Studios Llc Display systems in an entertainment environment

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
CN101630064A (zh) * 2009-08-11 2010-01-20 广东工业大学 一种头戴式视频透视立体显示器及其控制方法
WO2010110411A1 (ja) * 2009-03-26 2010-09-30 独立行政法人産業技術総合研究所 頭部運動による入力装置
CN102043410A (zh) * 2010-09-30 2011-05-04 清华大学 操纵人员头部运动指示无人机云台伺服***
CN102348068A (zh) * 2011-08-03 2012-02-08 东北大学 一种基于头部姿态控制的随动远程视觉***
US20120287284A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
CN202587217U (zh) * 2011-12-16 2012-12-05 新时代集团国防科技研究中心 用于无人飞行器作业的辅助显示装置
CN102842122A (zh) * 2012-06-21 2012-12-26 哈尔滨工业大学 基于小波神经网络的增强现实图像方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
WO2010110411A1 (ja) * 2009-03-26 2010-09-30 独立行政法人産業技術総合研究所 頭部運動による入力装置
CN101630064A (zh) * 2009-08-11 2010-01-20 广东工业大学 一种头戴式视频透视立体显示器及其控制方法
CN102043410A (zh) * 2010-09-30 2011-05-04 清华大学 操纵人员头部运动指示无人机云台伺服***
US20120287284A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
CN102348068A (zh) * 2011-08-03 2012-02-08 东北大学 一种基于头部姿态控制的随动远程视觉***
CN202587217U (zh) * 2011-12-16 2012-12-05 新时代集团国防科技研究中心 用于无人飞行器作业的辅助显示装置
CN102842122A (zh) * 2012-06-21 2012-12-26 哈尔滨工业大学 基于小波神经网络的增强现实图像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426531A (zh) * 2017-05-16 2017-12-01 上海欧忆能源科技有限公司 姿态视角遥控遥视智能头盔、方法、摄像装置及***
CN107943282A (zh) * 2017-11-06 2018-04-20 上海念通智能科技有限公司 一种基于增强现实和可穿戴设备的人机交互***及方法
US10777012B2 (en) 2018-09-27 2020-09-15 Universal City Studios Llc Display systems in an entertainment environment
WO2020063307A1 (zh) * 2018-09-29 2020-04-02 桂林智神信息技术股份有限公司 监控摄影设备的方法、云台***及移动设备

Similar Documents

Publication Publication Date Title
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
EP3379525B1 (en) Image processing device and image generation method
JP6339239B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP6642432B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
CN107968915A (zh) 水下机器人摄像机云台实时控制***及其方法
CN108616752B (zh) 支持增强现实交互的头戴设备及控制方法
JP2013219541A (ja) 撮影システムおよび撮影方法
US11443540B2 (en) Information processing apparatus and information processing method
CN105828021A (zh) 基于增强现实技术的特种机器人图像采集控制方法及***
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
JP2020003898A (ja) 情報処理装置、情報処理方法、及びプログラム
US20200213467A1 (en) Image display system, image display method, and image display program
JP7122372B2 (ja) 画像生成装置、画像生成システム、および画像生成方法
Fernando et al. Effectiveness of Spatial Coherent Remote Drive Experience with a Telexistence Backhoe for Construction Sites.
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
CN115890693A (zh) 一种基于沉浸式感知和仿生控制的移动排爆装置及方法
CN111970502A (zh) 一种适用于机器人遥操作的仿人双目随动虚拟现实***
KR20160144245A (ko) 프로젝터 장치
WO2024125465A1 (zh) 视角跟随显示***、操作***、重构感知控制***及控制方法
JP6103743B2 (ja) ディスプレイ装置
CN114051099B (zh) 无人机模块vr***及通过无人机模块实现vr的方法
JP2023047376A (ja) 立体画像制御方法
CN117234282A (zh) 数据处理方法、装置、电子设备、头戴设备及介质
CN117234281A (zh) 数据处理方法、装置、电子设备、头戴设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803

WD01 Invention patent application deemed withdrawn after publication