CN110083241A - 一种用于vr头盔控制无人机运动的映射机制 - Google Patents

一种用于vr头盔控制无人机运动的映射机制 Download PDF

Info

Publication number
CN110083241A
CN110083241A CN201910344190.1A CN201910344190A CN110083241A CN 110083241 A CN110083241 A CN 110083241A CN 201910344190 A CN201910344190 A CN 201910344190A CN 110083241 A CN110083241 A CN 110083241A
Authority
CN
China
Prior art keywords
unmanned plane
user
head
mapping mechanism
helmet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910344190.1A
Other languages
English (en)
Other versions
CN110083241B (zh
Inventor
高�浩
杨扬
岳东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910344190.1A priority Critical patent/CN110083241B/zh
Publication of CN110083241A publication Critical patent/CN110083241A/zh
Application granted granted Critical
Publication of CN110083241B publication Critical patent/CN110083241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开一种基于VR头盔(Head mounted display，HMD)的运动映射机制，用于控制无人机(Unmanned aerial vehicle，UAV)的飞行。通过对基本的速率控制运动映射机制进行改进，引入一种自适应的原点更新策略，在用户不借助任何辅助工具的情况下，解决了基本速率控制映射机制中固有的自归中问题。同时，在无人机上加入云台补充了相机的两个自由度，实现了全部6个自由度的视角控制，也补偿了无人机的飞行抖动，获得更稳定的视频流。

Description

一种用于VR头盔控制无人机运动的映射机制
技术领域
本发明涉及无人机和虚拟现实技术领域，尤其涉及通过改进运动映射机制，提升VR用户在进行无人机远程观景时的操控和观看体验，具体为一种用于VR头盔控制无人机运动的映射机制。
背景技术
远程观景是虚拟现实(VR)领域的一个新概念，它实现了用户在虚拟场景中与远程景观的实时交互。普通的VR技术向用户提供了计算机合成场景的沉浸式体验，而远程观景***更有可能被用于现实世界。该项技术给予用户实时的在线观感，可以被应用于包括商业、科学、游戏、影视等各个领域。
近些年机器人正经历飞速发展，人们将其用于探索一些危险的或者人类难以到达的区域。无人机(UAV)具有足够的自由度和监测天空、山脉等广阔空间的可能性，与其他远程机器人相比，显示出优越的能力，尤其是在远程任务中。鉴于此，研究人员更感兴趣的是通过使用不同的自然用户界面(如手势和语音)和3D显示设备来开发无人机电传信息***。
公开号CN105955470A的中国专利公开了一种头盔显示器的控制方法及装置，其技术方案是：判断头盔显示器中控制光标的位置是否落在虚拟界面中的可操作目标上；当所述控制光标落在所述可操作目标上时，弹出操作控制窗口，所述操作控制窗口中展示有确认选中所述可操作目标的头盔操作动作图形；判断所述控制光标的操作动作与所述操作控制窗口中的头盔操作动作是否一致，若一致则确认选中所述可操作目标。该专利主要用于VR头盔的界面操作控制，不能对无人机进行全部6个自由度的控制，用户体验感不佳。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种用于VR头盔控制无人机运动的映射机制，通过改进运动映射机制，实现一种能够对无人机进行全部6个自由度控制的操控方式，提升VR用户在进行无人机远程观景时的操控体验和观看效果。
为实现上述目的，本发明采用的技术方案是：
一种用于VR头盔控制无人机运动的映射机制，包括：一种引入自适应原点更新策略进行改进后的速率控制映射机制，在该机制下，不借助任何辅助设备来解决速率控制机制中固有的自归中问题；一种全部6个自由度的无人机视点控制机制。
优选地，在无人机上加入相机云台，利用相机云台实现滚转角和俯仰角旋转。
优选地，所述6个自由度包括无人机前后左右4个方向的平移、相机云台的滚转角旋转和俯仰角旋转。
优选地，所述引入自适应原点更新策略进行改进后的速率控制映射机制，包括：
S1，以用户的初始位置作为原点，始终以用户面朝的方向为x轴的正方向，始终以用户左手的方向为y轴的正方向，以向上的方向为z轴的正方向；
S2，设定圆心为原点，半径r为2个步长的圆的范围内为归中区域，在这个区域内，用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角则分别映射到相机云台的滚转角和俯仰角，x轴和y轴的运动不影响无人机的运动，即无人机保持悬停，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S3，当用户走出归中区域后，记用户的位置向量为该向量从原点出发指向用户当前所在的位置，此时用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角分别被映射到相机云台的滚转和俯仰角，用户的位置被映射到无人机的速度，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S4，当用户从归中区域外走回归中区域并且停下来，把原点更新到用户的当前位置，保证用户在多次走出归中区域后仍然能能正确返回归中区域。
优选地，当用户走到离归中区域较远的位置时，用户可以通过快速向飞行方向的反方向运动一小段距离，使无人机进行急停刹车的动作，无人机停止飞行并且原点更新到用户当前的位置，即使用户没有回到归中区域也能控制无人机停止飞行，这是无人机高速飞行或者失控的情况下的紧急策略。
优选地，S3中，当用户走出归中区域后，无人机的具体速度为其飞行方向为向量的方向，该速度随着用户距原点的距离线性变化，其中，k为控制因子，一般设为1。
与现有技术相比，本发明的有益效果是：1)本发明通过改进运动映射机制，实现一种能够对无人机进行全部6个自由度控制的操控方式，提升VR用户在进行无人机远程观景时的操控体验和观看效果；2)本发明引入自适应原点更新策略进行改进后的速率控制映射机制，在该机制下，不借助任何辅助设备来解决速率控制机制中固有的自归中问题；3)本发明实现了全部6个自由度的运动映射，包括无人机各个方向的平移以及相机各个方向的灵活旋转，除了无人机自带的4个自由度，利用相机云台实现滚转角和俯仰角旋转，使得调节视点更加自由方便；4)本发明在无人机上加入相机云台，该相机云台补偿了无人机的震动，可以捕获更稳定的视频流。
附图说明
图1为根据实施例的本发明的整体***框架示意图；
图2为根据实施例的运动映射机制的示意图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
本发明主要目的在于通过改进运动映射机制，实现一种能够对无人机进行全部6个自由度控制的操控方式，提升VR用户在进行无人机远程观景时的操控体验和观看效果。
如附图所示，本发明提出了一种用于VR头盔控制无人机运动的映射机制，其引入了自适应原点更新策略改进后的速率控制映射机制，在该机制下，不借助任何辅助设备，就可以解决速率控制机制中固有的自归中问题。
具体地，所述引入自适应原点更新策略进行改进后的速率控制映射机制，包括：
S1：以用户的初始位置作为原点，x轴和y轴的正方向始终为用户面朝的方向和左手的方向，向上的方向为z轴的正方向。设定圆心为原点，半径r为2个步长的圆的范围内为归中区域，在这个区域内，用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角则分别映射到相机云台的滚转角和俯仰角，x轴和y轴的运动不影响无人机的运动，即无人机保持悬停，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化。
S2：当用户走出归中区域后，记用户的位置向量为该向量从原点出发指向用户当前所在的位置，此时用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角分别被映射到相机云台的滚转和俯仰角，用户的位置被映射到无人机的速度，无人机的具体速度为其飞行方向为向量的方向，该速度随着用户距原点的距离线性变化，k为控制因子，一般设为1。同时，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化。
S3：当用户从归中区域外走回归中区域并且停下来，把原点更新到用户的当前位置，保证用户在多次走出归中区域后仍然能能正确返回归中区域。当用户走到离归中区域较远的位置时，用户可以通过快速向飞行方向的反方向运动一小段距离，使无人机进行急停刹车的动作，无人机停止飞行并且原点更新到用户当前的位置，即使用户没有回到归中区域也能控制无人机停止飞行，这是无人机高速飞行或者失控的情况下的紧急策略。
在具体实施中，本发明提供的方法实现了全部6个自由度的运动映射，包括无人机各个方向的平移以及相机各个方向的灵活旋转。除了无人机自带的4个自由度，还利用相机云台实现滚转角和俯仰角旋转，使得调节视点更加自由方便。此外，相机云台补偿了无人机的震动，可以捕获更稳定的视频流。
至此，基于VR头盔控制无人机飞行的运动映射机制全部流程结束，取上述过程获取的实际效果与用户体验，进行比较，我们可以得出如下结论：
首先该方法完全适用于VR头盔控制无人机飞行的问题，同未改进的基本映射机制相比，解决了后者固有的自归中问题，在实际用户测试中，用户在连续的运动后依然能够准确找到归中点的位置，且不借助任何辅助设备，同时引入了相机云台，实现了6自由度全向映射的同时，减小了因无人机的震动带来的视频模糊问题，获得更加清晰地观看体验，极大地提高了用户的操作舒适感以及VR沉浸感。
综上所述，基于VR头盔控制无人机运动的映射机制应用与VR远程观景，很大程度上改善了用户的操作舒适度以及沉浸式体验，有很强的实际应用意义。
本发明公开一种基于VR头盔(Head mounted display，HMD)的运动映射机制，用于控制无人机(Unmanned aerial vehicle，UAV)的飞行。通过对基本的速率控制运动映射机制进行改进，引入一种自适应的原点更新策略，在用户不借助任何辅助工具的情况下，解决了基本速率控制映射机制中固有的自归中问题。同时，在无人机上加入云台补充了相机的两个自由度，实现了全部6个自由度的视角控制，也补偿了无人机的飞行抖动，获得更稳定的视频流。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种用于VR头盔控制无人机运动的映射机制，其特征在于，包括：一种引入自适应原点更新策略进行改进后的速率控制映射机制，在该机制下，不借助任何辅助设备来解决速率控制机制中固有的自归中问题；一种全部6个自由度的无人机视点控制机制。
2.根据权利要求1所述的用于VR头盔控制无人机运动的映射机制，其特征在于，在无人机上加入相机云台，利用相机云台实现滚转角和俯仰角旋转。
3.根据权利要求2所述的用于VR头盔控制无人机运动的映射机制，其特征在于，所述6个自由度包括无人机前后左右4个方向的平移、相机云台的滚转角旋转和俯仰角旋转。
4.根据权利要求1所述的用于VR头盔控制无人机运动的映射机制，其特征在于，所述引入自适应原点更新策略进行改进后的速率控制映射机制，包括：
S1，以用户的初始位置作为原点，始终以用户面朝的方向为x轴的正方向，始终以用户左手的方向为y轴的正方向，以向上的方向为z轴的正方向；
S2，设定圆心为原点，半径r为2个步长的圆的范围内为归中区域，在这个区域内，用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角则分别映射到相机云台的滚转角和俯仰角，x轴和y轴的运动不影响无人机的运动，即无人机保持悬停，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S3，当用户走出归中区域后，记用户的位置向量为该向量从原点出发指向用户当前所在的位置，此时用户头部的偏航角被映射到无人机的偏航角，滚转角和俯仰角分别被映射到相机云台的滚转和俯仰角，用户的位置被映射到无人机的速度，用户踮起脚抬升头部高度则无人机上升，下蹲降低头部高度则无人机下降，上升和下降的速度随用户头部上下位移的幅度线性变化；
S4，当用户从归中区域外走回归中区域并且停下来，把原点更新到用户的当前位置，保证用户在多次走出归中区域后仍然能能正确返回归中区域。
5.根据权利要求4所述的用于VR头盔控制无人机运动的映射机制，其特征在于，当用户走到离归中区域较远的位置时，用户可以通过快速向飞行方向的反方向运动一小段距离，使无人机进行急停刹车的动作，无人机停止飞行并且原点更新到用户当前的位置，即使用户没有回到归中区域也能控制无人机停止飞行，这是无人机高速飞行或者失控的情况下的紧急策略。
6.根据权利要求4所述的用于VR头盔控制无人机运动的映射机制，其特征在于，S3中，当用户走出归中区域后，无人机的具体速度为其飞行方向为向量的方向，该速度随着用户距原点的距离线性变化，其中，k为控制因子，一般设为1。
CN201910344190.1A 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制 Active CN110083241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910344190.1A CN110083241B (zh) 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910344190.1A CN110083241B (zh) 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制

Publications (2)

Publication Number Publication Date
CN110083241A true CN110083241A (zh) 2019-08-02
CN110083241B CN110083241B (zh) 2022-02-11

Family

ID=67417029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910344190.1A Active CN110083241B (zh) 2019-04-26 2019-04-26 一种用于vr头盔控制无人机运动的映射机制

Country Status (1)

Country Link
CN (1) CN110083241B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599845A (zh) * 2019-09-19 2019-12-20 深汕特别合作区智慧城市研究院有限公司 一种基于5g实时传输的vr沉浸式旅游***
CN113253750A (zh) * 2021-06-28 2021-08-13 北京科技大学 一种面向扑翼飞行器的多模态控制***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播***
CN105892472A (zh) * 2015-02-13 2016-08-24 Lg电子株式会社 移动终端及其控制方法
CN106022534A (zh) * 2016-05-27 2016-10-12 南京邮电大学 基于改进型差分算法的解决飞机着陆问题的方法
US20170092235A1 (en) * 2015-09-30 2017-03-30 Sony Interactive Entertainment Inc. Methods for Optimizing Positioning of Content on a Screen of a Head Mounted Display
CN107544480A (zh) * 2016-06-24 2018-01-05 北京末元科技有限公司 一种控制无人机的头盔及其使用方法
CN108366208A (zh) * 2018-03-29 2018-08-03 燕山大学 一种应用于灾区搜索的无人机立体视觉随动***
US20180281950A1 (en) * 2017-03-28 2018-10-04 Seiko Epson Corporation Head mounted display and method for maneuvering unmanned vehicle
CN208760900U (zh) * 2018-06-29 2019-04-19 西安航空学院 一种环形翼无人飞行器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN105892472A (zh) * 2015-02-13 2016-08-24 Lg电子株式会社 移动终端及其控制方法
US20170092235A1 (en) * 2015-09-30 2017-03-30 Sony Interactive Entertainment Inc. Methods for Optimizing Positioning of Content on a Screen of a Head Mounted Display
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播***
CN106022534A (zh) * 2016-05-27 2016-10-12 南京邮电大学 基于改进型差分算法的解决飞机着陆问题的方法
CN107544480A (zh) * 2016-06-24 2018-01-05 北京末元科技有限公司 一种控制无人机的头盔及其使用方法
US20180281950A1 (en) * 2017-03-28 2018-10-04 Seiko Epson Corporation Head mounted display and method for maneuvering unmanned vehicle
CN108366208A (zh) * 2018-03-29 2018-08-03 燕山大学 一种应用于灾区搜索的无人机立体视觉随动***
CN208760900U (zh) * 2018-06-29 2019-04-19 西安航空学院 一种环形翼无人飞行器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOWEI WANG等: "Drone were me: Flying drone as avatar by aligned stereo view and head pose", 《IEEE》 *
YANG YANG等: "An adaptive unified artificial bee colony algorithm for global optimization", 《IEEE》 *
袁学敏等: "基于Lyapunov的六旋翼无人机姿态镇定控制技术的研究", 《***仿真学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599845A (zh) * 2019-09-19 2019-12-20 深汕特别合作区智慧城市研究院有限公司 一种基于5g实时传输的vr沉浸式旅游***
CN113253750A (zh) * 2021-06-28 2021-08-13 北京科技大学 一种面向扑翼飞行器的多模态控制***

Also Published As

Publication number Publication date
CN110083241B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
US11703886B2 (en) Control method, apparatus, and device, and UAV
US11632497B2 (en) Systems and methods for controlling an image captured by an imaging device
CN108363946B (zh) 基于无人机的人脸跟踪***及方法
US11106201B2 (en) Systems and methods for target tracking
US10032276B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
CN109076249B (zh) 用于视频处理和显示的***和方法
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的***和方法
CN108701362B (zh) 目标跟踪期间的障碍避免
US8725273B2 (en) Situational awareness for teleoperation of a remote vehicle
CN113163119A (zh) 拍摄控制方法及装置
CN107278262A (zh) 飞行轨迹的生成方法、控制装置及无人飞行器
CN110728739B (zh) 一种基于视频流的虚拟人控制与交互方法
CN106054870A (zh) 无人机的沉浸式导航***
US10706634B1 (en) System for generating augmented reality content from a perspective view of an unmanned aerial vehicle
CN110083241A (zh) 一种用于vr头盔控制无人机运动的映射机制
CN108731681A (zh) 旋翼无人机领航方法、相关计算机程序、电子设备和无人机
CN205983222U (zh) 无人机机载第一视角吊舱装置的硬件连接结构
Zhao et al. The effects of visual and control latency on piloting a quadcopter using a head-mounted display
CN108052901A (zh) 一种基于双目的手势识别智能无人机远程操控方法
CN112975972B (zh) 一种基于头戴式ar设备和操作手柄的机器人控制方法
CN115454130A (zh) 一种基于机载视角相对定位的室内无人机编队控制方法
CN112738404B (zh) 电子设备的控制方法及电子设备
CN114637306A (zh) 无人机视觉导航策略方法、装置和介质
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质
CN206885306U (zh) 倾转短舱水下遥控潜艇

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant