CN108475064A - 用于设备控制的方法、设备和计算机可读存储介质 - Google Patents

用于设备控制的方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN108475064A
CN108475064A CN201780004525.4A CN201780004525A CN108475064A CN 108475064 A CN108475064 A CN 108475064A CN 201780004525 A CN201780004525 A CN 201780004525A CN 108475064 A CN108475064 A CN 108475064A
Authority
CN
China
Prior art keywords
space
equipment
coordinate
mapping relations
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780004525.4A
Other languages
English (en)
Other versions
CN108475064B (zh
Inventor
陈喆君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108475064A publication Critical patent/CN108475064A/zh
Application granted granted Critical
Publication of CN108475064B publication Critical patent/CN108475064B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于第一设备(100)控制第二设备(200)的方法、相应的第一设备(100)和计算机可读存储介质。在第一设备(100)处执行的用于控制第二设备(200)的方法(700)包括:(步骤S710)确定与第一设备(100)相关联的第一空间(10)和与第二设备(200)相关联的第二空间(20);(步骤S720)确定第一空间(10)和第二空间(20)之间的第一坐标映射关系;(步骤S730)基于第一坐标映射关系,根据第一设备(100)在第一空间(10)中的第一操作来确定要由第二设备(200)在第二空间(20)中执行的第二操作;(步骤S740)以及向第二设备(200)发送控制指令,以指示第二设备(200)执行第二操作。

Description

用于设备控制的方法、设备和计算机可读存储介质
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者专利披露。
技术领域
本公开涉及远程控制领域,更具体地涉及用于设备控制的方法、设备和计算机可读存储介质。
背景技术
无人驾驶飞行器(UAV),一般也被称作“无人机”、“无人驾驶飞行***(UAS)”或若干其他名称,是一种其上没有人类飞行员的飞行器。无人机的飞行可以通过各种方式来控制:例如由人类操作员(有时也被称为“飞手”)加以远程控制,或者由无人机半自主或全自主方式进行飞行等等。
在远程遥控时,需要飞手能够根据需要来随时调整无人机的飞行姿态。然而,对于大部分人来说,无人机的操控方式与他们日常生活中驾驶汽车、遥控玩具的生活体验相去甚远,因此需要他们进行复杂、冗长的专业训练。在该情况下,如何简化无人机的操作,或甚至使其操作自动化或半自动化,就成为了亟待解决的问题之一。
发明内容
根据本公开的第一方面,提出了一种在第一设备处执行的用于控制第二设备的方法。该方法包括:确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间;确定所述第一空间和所述第二空间之间的第一坐标映射关系;基于所述第一坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作;以及向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
根据本公开的第二方面,提出了一种用于控制第二设备的第一设备。该第一设备包括:空间确定模块,用于确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间;第一映射关系确定模块,用于确定所述第一空间和所述第二空间之间的第一坐标映射关系;第二操作确定模块,用于基于所述第一坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作;以及指令发送模块,用于向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
根据本公开的第三方面,提出了一种用于控制第二设备的第一设备。该第一设备包括:处理器;存储器,其中存储有指令,所述指令在由所述处理器执行时使得所述处理器:确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间;确定所述第一空间和所述第二空间之间的第一坐标映射关系;基于所述第一坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作;以及向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
根据本公开的第四方面,提出了一种存储指令的计算机可读存储介质,所述指令在由处理器执行时使得所述处理器执行根据本公开第一方面所述的方法。
附图说明
为了更完整地理解本公开实施例及其优势,现在将参考结合附图的以下描述,其中:
图1是示出了根据本公开实施例的示例第一空间。
图2是示出了根据本公开实施例的示例第二空间。
图3是示出了根据本公开实施例的示例第一设备与示例第二设备的示例同步过程。
图4是示出了根据本公开实施例的在示例第一设备离开第一空间时的示例场景。
图5是示出了根据本公开实施例的在示例第一设备控制示例第二设备时示例第二设备遇到障碍物的示例场景。
图6是示出了根据本公开实施例的在重新确定示例第二空间时的示例重新同步过程。
图7是示出了根据本公开实施例的用于示例第一设备控制示例第二设备的示例方法的流程图。
图8是示出了根据本公开实施例的用于控制示例第二设备的示例第一设备的功能模块框图。
图9是示出了根据本公开实施例的用于控制示例第二设备的示例第一设备的硬件示意图。
此外,各附图并不一定按比例来绘制,而是仅以不影响读者理解的示意性方式示出。
具体实施方式
根据结合附图对本公开示例性实施例的以下详细描述,本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本公开中,术语“包括”和“含有”及其派生词意为包括而非限制。
在本说明书中,下述用于描述本公开原理的各种实施例只是说明,不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解,但这些细节应认为仅仅是示例性的。因此,本领域普通技术人员应认识到,在不脱离本公开的范围和精神的情况下,可以对本文中描述的实施例进行多种改变和修改。此外,为了清楚和简洁起见,省略了公知功能和结构的描述。此外,贯穿附图,相同附图标记用于相同或相似的功能和操作。此外,尽管可能在不同实施例中描述了具有不同特征的方案,但是本领域技术人员应当意识到:可以将不同实施例的全部或部分特征相结合,以形成不脱离本公开的精神和范围的新的实施例。
请注意:尽管以下实施例以无人机作为操控对象以及头戴式显示器作为操控主体来进行详细描述,然而本公开不限于此。事实上,操控对象可以是任何操控对象,例如机器人、遥控汽车、飞机等或任何可被远程控制的设备。此外,操控主体也可以是例如固定终端(例如,台式机)、移动终端(例如,手机、平板电脑)、除了头戴式显示器之外的其他可穿戴设备、遥控器、手柄、摇杆等或任何可发出操控指令的设备。
在正式描述本公开的一些实施例之前,首先将描述在本文中将要使用的部分术语。
虚拟现实(Virtual Reality,简称为VR):虚拟现实技术是仿真技术的一个重要方向,是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境通常是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还可以有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入做出实时响应,并分别反馈到用户的五官。传感设备是指三维交互设备。
欧拉角/姿态角:机体坐标系(以例如机尾指向机头的方向、左翼指向右翼的方向、以及与这两个方向均垂直(即,与飞机水平面垂直)且指向机体下方的方向为三个轴的坐标系)与地面坐标系(又称为大地坐标系,以例如东向、北向、地心方向为三个轴的坐标系)的关系是三个欧拉角,其反应了飞机相对地面的姿态。这三个欧拉角分别是:俯仰角(pitch)、偏航角(yaw)和滚转角(roll)。
俯仰角θ(pitch):机体坐标系X轴(例如,由机尾指向机头的方向)与大地水平面的夹角。当X轴的正半轴位于过坐标原点的水平面之上(抬头)时,俯仰角为正,否则为负。当飞行器的俯仰角变化时,通常意味着其随后的飞行高度会发生变化。如果是图像传感器的俯仰角发生变化,则通常意味着其拍摄的画面会出现高度变化。
偏航角ψ(yaw):机体坐标系X轴在水平面上投影与地面坐标系X轴(在水平面上,指向目标为正)之间的夹角,由机体坐标系X轴逆时针转至地面坐标系X轴的投影线时,偏航角为正,即机头右偏航为正,反之为负。当飞行器的偏航角变化时,通常意味着其随后的水平飞行方向会发生变化。如果是图像传感器的偏航角发生变化,则通常意味着其拍摄的画面会出现左右移动。
滚转角Φ(roll):机体坐标系Z轴(例如,飞机水平面朝向下方的方向)与通过机体X轴的铅垂面间的夹角,机体向右滚为正,反之为负。当飞行器的滚转角变化时,通常意味着其水平面转动。如果是图像传感器的滚转角发生变化,则通常意味着其拍摄的画面会出现左倾或右倾。
如前所述,需要简单易用的无人机操控方式。在常见的无人机操控方式中,通常通过手持遥控器来进行操纵。例如,可以通过作用在操纵杆的位移量大小来控制飞机各个方向的速度大小。同时飞手通常还需要关心无人机上的摄像机(或更一般地,图像传感器或图像传感组件)的拍摄角度,对于飞手的负担及熟练程度都有一定的要求。
在例如城市区域交通拥堵、重大事件或者节日造成的突发性人流高峰、突发性灾难(地震、火灾、恐怖袭击等)、甚至小规模的军事冲突时,决策人员需要掌握即时与直观的现地情报信息的能力,以进行现场指挥。又例如,新闻行业需要尽可能多角度全方位地对事件进行报道。在现有的技术条件下,最主要的方式是通过现场的固定或者便携式监控设备,或是飞行器从空中进行覆盖监控。然而,在这些常见的方案中,存在以下问题:需要足够数量和操作人员的设备来完整覆盖监控区域,而地面的监控设备的机动性有限,难以被灵活部署。此外,对于空中的载人飞行器或是UAV,无法做到快速从高空切换至其他视角。以上所描述的方式,同时还需要多方面专业人员操作,并且汇总来呈现给决策人员。
为了至少部分解决或减轻上述问题,提出了根据本公开实施例的基于虚拟现实的无人机操控***。此***能够让指挥人员在灵活直观地掌握到现地各种角度的即时画面同时,减少对人员和设备数量需求。通过此***的直观操纵方式,可以用人类的自然行为(例如,站立、下蹲、行走和/或头部活动等)来操纵无人机及其摄像机角度,且可以通过行走与转头就能完成用双手难以完成的飞行轨迹及镜头角度控制。
在本公开的一些实施例中,该无人机操控***的硬件部分可以大致由以下部分构成:输入端、通信端、以及终端。在一些实施例中,输入端可以包括例如头戴式显示器(HeadMounted Display,简称为HMD)和/或手柄控制器。输入端的主要作用在于向操作者提供虚拟现实画面以及提供操作界面,使得操作者能够根据所观察到的虚拟现实画面来进行相应观察、对无人机的操作等。请注意:在本文中,虚拟现实画面不限于由计算机所生成的纯虚拟画面,而是还可以包括例如由无人机的图像传感器所捕捉到的实际画面、实际画面与虚拟画面的组合、和/或纯虚拟画面。换言之,在本公开的上下文中,虚拟现实(VR)也包括增强现实(Augmented Reality,简称为AR)。在一些实施例中,通信端可以包括例如:各种网络(例如,互联网、局域网、移动通信网(3G、4G、和/或5G等)、WiMax网络、光纤网络等)、控制中心、和/或地面站等。通信端的主要作用在于为输入端和终端提供通信链路、通信控制等。通信端可以用有线、无线、或其组合的方式在输入端和终端之间传输数据、信号等。在一些实施例中,终端可以包括例如无人飞行器(UAV)、机器人、遥控汽车、飞机等或任何可被远程控制的设备。
在本文以下描述的实施例中,将以输入端为头戴式显示器(HMD)、通信端为无线通信网络(例如,4G网络)、终端为无人机为例来详细描述。然而,如上所述本公开不限于此。此外,在本文中,还经常会以“第一设备”来指代HMD(或更一般地,操控主体),以“第二设备”来指代无人机(或更一般地,操控对象),然而本公开不限于此。事实上,随着网络(例如,5G网络)速度的提升以及技术的发展,在单一设备中执行的一个功能可能会以分布式形式分散在多个设备中。例如,如下文中描述的在第一设备处执行的方法的各个步骤中的一些完全可以在通信端或终端处执行,从而可以将这些设备中执行这些步骤的硬件部分的组合视为等同于“第一设备”。类似地,例如,如下文中描述的在第二设备处执行的方法的各个步骤中的一些完全可以在输入端或通信端处执行,从而可以将这些设备中执行这些步骤的硬件部分的组合视为等同于“第二设备”。
接下来,将结合图1~3来详细描述根据本公开实施例的使用第一设备(例如,头戴式显示器)来控制第二设备(例如,无人机)的初始化过程。
图1是示出了根据本公开实施例的示例第一空间10,且图2是示出了根据本公开实施例的示例第二空间20。如图1所示,第一空间10可以是与第一设备100相关联的空间,用于供佩戴第一设备100的用户在其中进行实际操作。如图1所示,佩戴了第一设备100的用户可以在该空间中进行站立、行走、转向、下蹲、跳跃、转头等动作。第一设备100在感测到这些动作时,可以根据如下文所描述的方式对用户和/或第一设备100在第一空间10中的这些动作进行解读,并将其相应转换为操控对象(例如,图3所示的无人机200)在如图2所示的第二空间20中要执行的动作,然后向无人机200发送指示这些动作的操控指令。请注意:在本文中,由于用户始终佩戴第一设备100,因此除非另有声明,否则以下将不区分用户和第一设备100。换言之,除非另有声明,否则下文中“用户”和“第一设备100”可以互换使用。
为了确定该第一空间10的范围,佩戴第一设备100的用户可以通过指定第一空间10的全部或部分顶点和/或全部或部分边长来进行。例如,在图1所示实施例中,第一空间10可以是如虚线所示的立方体,则用户为了指定该立方体空间,可以指定该第一空间10的任一顶点作为原点,且指定各个方向(例如,图1所示的X、Y和Z轴)上的长度作为边长。在另一些实施例中,也可以通过确定以下至少一项来指定第一空间10的范围:第一空间10的两个顶点的位置和第一空间10在由这两个顶点所形成的线的垂面的坐标轴上的长度;第一空间10的非共线的三个顶点的位置和第一空间10在由这三个顶点所形成的面的垂线方向上的长度;以及第一空间10的非共面的至少四个顶点的位置。
此外,尽管为了使得读者理解更为方便、直观,在本文所示实施例中以第一空间10是立方体为例,但本公开不限于此。第一空间10电可以具有其他形状,包括(但不限于):球形、棱台、棱锥、圆柱体、圆锥、或任何其他规则或不规则的立体结构。
在一些实施例中,确定顶点的方式可以例如是用户走到某点处时按动手中控制器或通过头部动作(例如,点头、摇头)或任何其他动作(例如,跳跃、下蹲)或甚至是通过旁观者所操控的另一设备来确定,以通知第一设备100该点是第一空间100的某个顶点。确定边长的方式可以是例如用户通过键盘之类的输入设备手动输入,或通过检测用户实际行走的距离等方式。在另一些实施例中,用户也可以通过对拍摄到的场地的图像进行虚拟框选,来确定第一空间10的范围。
此外,在一些实施例中,可以用下述方式来变更第一空间10的原点高度:例如,当第一设备100检测到用户处于下蹲状态超过一定时间(例如,1秒、3秒或任何其他恰当的时间),或者通过蹲下之后触发事件(例如,按动遥控器的相应按钮等),或者通过这二者的组合,可以将第一空间10的原点提高到例如用户眼睛的高度,此时可以使得第二设备在第二空间中保持一个低高度,例如沿着第二空间的底面进行活动。此外,在一些实施例中,可以通过检测固定动作或更一般地触发事件(例如,按动遥控器的相应按钮等),使得第一空间10的顶面的高度降至用户眼睛高度,从而使得对应第二设备可以沿着第二空间的顶面移动。此外,在一些实施例中,可以通过设置定时器(例如,在第二设备沿变更后的高度运行1秒、3秒或任何其他恰当的时间后)或触发事件(例如,按动遥控器的相应按钮),来解除前述实施例中对第二设备运行高度的变更。在解除了第二设备的固定运行高度的情况下,第二设备可以回到相应的第二空间位置,例如垂直运行以返回相应位置。此外,在一些实施例中,为了使得用户能够通过下蹲动作来操控第二设备,可以在确定第一空间10时,选择用户可以下蹲的范围中的某个点作为第一空间10的原点,从而使得上述实施例中的原点高度变更成为可能。
在一些实施例中,上述实施例中的操作均可以通过第一设备100的输出设备(例如,显示器)向用户加以提示。例如,当检测到下蹲超过预定时间或检测到触发事件时,可以在执行前述实施例的操作的同时,通过第一设备100的显示器向用户提示第二设备进入高度变更模式,或第二设备解除了高度变更模式等。
如图2所示,第二空间20可以是与第二设备200相关联的空间,用于供第二设备200(例如,无人机)在其中进行实际操作。如图2所示,第二设备200可以在该空间中进行悬停、飞行、转向、下降、上升、摄像头调整视角等动作。第二设备200可以根据如下文所描述的方式从第一设备100接收操控指令,并执行相应的动作。在图2所示实施例中,第二空间20的顶部和底部可以分别对应于第二设备200的最高与最低飞行高度,然而本公开不限于此。
与图1所示的第一空间10相类似,为了确定该第二空间20的范围,用户可以通过在三维电子地图上指定第二空间20的全部或部分顶点和/或全部或部分边长来进行。例如,在图2所示实施例中,第二空间20也可以是如虚线所示的立方体,则用户为了指定该立方体空间,可以指定该第二空间20的任一顶点作为原点,且指定各个方向(例如,图2所示的X、Y和Z轴)上的长度作为边长。在另一些实施例中,也可以通过确定以下至少一项来指定第二空间20的范围:第二空间20的两个顶点在三维电子地图上的位置和第二空间在由这两个顶点所形成的线的垂面的坐标轴上的长度;第二空间20的非共线的三个顶点在三维电子地图上的位置和第二空间20在由这三个顶点所形成的面的垂线方向上的长度;以及第二空间20的非共面的至少四个顶点在三维电子地图上的位置。
此外,尽管为了使得读者理解更为方便、直观,在本文所示实施例中以第二空间20是立方体为例,但本公开不限于此。第二空间20也可以具有其他形状,包括(但不限于):球形、棱台、棱锥、圆柱体、圆锥、或任何其他规则或不规则的立体结构。例如,在接近诸如机场之类的禁飞区的情况下,由于禁飞区呈倒圆台形状,因此第二空间20的靠近机场的一侧可能是具有上窄下宽形式的不规则立体结构。
在一些实施例中,确定顶点的方式可以例如是用户在三维电子地图中框选出第二空间20的范围,例如,选中第二空间20在三维电子地图中的各个顶点、或部分顶点和边长等。此外,在另一些实施例中,也可以通过操控第二设备200飞行到空中的某个指定点,然后向第一设备100指示该指定点为第二空间20的某个顶点(例如,原点、中心点等),然后指定各个边长的方式来确定第二空间20的范围。
在图2所示实施例中,为了方便第二设备200工作,通常可以指定第二空间20,使得其中没有可以阻挡第二设备200飞行的物体存在。然而本公开不限于此,例如如图5、图6右上侧所示,第二空间20(或20’)中可能存在永久或临时的障碍物影响第二设备200的飞行。
此外,前面结合图1和图2分别描述的确定第一空间10和第二空间20的操作可以是顺序进行的、同时进行的、或部分顺序部分同时进行的,且确定这二者的顺序也不限于本文的描述顺序(即,先确定第一空间10再确定第二空间20),而是可以相反(即,先确定第二空间20再确定第一空间10)。
接下来,需要确定第一空间10中的坐标与第二空间20中的坐标之间的坐标映射关系。如前所示,为了说明的方便和直观,图1所示的第一空间10和图2所示的第二空间20均具有立方体形状。在大多数情况下,第二空间20具有远大于第一空间10的大小,例如,第二空间20的大小可能在公里的级别上,而第一空间10的大小可能在米的级别上。然而,本公开不限于此,第一空间10和第二空间20的大小也可以大致相当或第一空间10的大小大于第二空间20的大小。
在图1和图2所示实施例中,由于第一空间10和第二空间20均为立方体,因此可以在这二者的坐标之间建立线性映射关系。例如,将第一空间10和第二空间20的原点(例如,如前所述手动确定的或者由第一设备100根据第一空间10和/或第二空间20的范围来自动确定的)相互映射,且对这二者的X轴、Y轴和Z轴分别进行线性映射。
在一些实施例中,第一空间10的各个边长与第二空间20的各个边长之间的各个映射比例可以一致,但这并不是必需的。例如,第一空间10的X轴、Y轴和Z轴长度可以分别为例如10米、5米和2米,且第二空间20的X轴、Y轴和Z轴长度可以分别为例如5公里、2.5公里和1公里,则三个轴上的边长相应比例均为1/500。又例如,第一空间10的X轴、Y轴和Z轴长度可以分别为例如10米、10米和2米,且第二空间20的X轴、Y轴和Z轴长度可以分别为例如5公里、2.5公里和0.75公里,则三个轴上的边长相应比例分别为1/500、1/250和1/375。
在前一情况下,在佩戴第一设备100的用户沿第一空间10的X轴行走3米的情况下,第二设备200则可以相应延其X轴飞行1.5公里;在佩戴第一设备100的用户沿第一空间10的Y轴行走3米的情况下,第二设备200则可以相应延其Y轴也飞行1.5公里。在后一情况下,在佩戴第一设备100的用户沿第一空间10的X轴行走3米的情况下,第二设备200依然可以延其X轴飞行1.5公里;而在佩戴第一设备100的用户沿第一空间10的Y轴行走3米的情况下,则与前一情况不同,第二设备200可以相应延其Y轴飞行0.75公里,而不是1.5公甲。
可见,在本公开的一些实施例中,当确定了第一空间10和第二空间20在各坐标轴上的长度的相应比例时,可以基于该相应比例,来确定第一空间10中的坐标与第二空间20中的坐标的(第一)坐标映射关系。从而,第一设备100可以将用户在第一空间10中的位移等动作映射为第二设备200在第二空间20中要执行的位移等动作。这样的映射直观、简单,方便了用户(或第一设备100)对第二设备200的操作。
接下来将结合图3来详细描述操控初始化中的同步过程。
图3是示出了根据本公开实施例的示例第一设备100与示例第二设备200的示例同步过程。在如结合图1和图2所述的建立了第一空间10和第二空间20的坐标映射关系之后,如图3下部所示,佩戴第一设备100的用户可以走入第一空间10中的某个点(例如,图3所示的大致中心处),并通过向第一设备100指示“同步激活”(例如,通过用户手中的控制器手柄、或通过利用HMD来检测用户点头、摇头或任何其他触发动作)来指示第一设备100和第二设备200之间要开始同步过程。
在接收到“同步激活”指令时,第一设备100可以检测自身在第一空间10中的(第一)坐标,并根据之前所确定的坐标映射关系来确定第二设备200要在第二空间20中所处的位置的(第二)坐标。当第一设备100确定了第二坐标时,其可以通过例如前述通信端向第二设备200发送或直接向第二设备200发送“同步激活”指令,以指示第二设备200飞行到第二坐标处悬停且进入“同步”状态。此外,在一些实施例中,当第二设备200在向第二坐标处飞行途中,即第二设备进行同步时,可以通过第一设备100向用户提示例如“同步中”字样或图标或其他指示符,以指示用户暂时不要移动,从而避免延长同步过程。
如图3上部所示,第二设备200初始时可以处于第二空间20之外,并在接收到“同步激活”指令时(起飞并)以预定进场高度进入第二空间20。该进场高度可以取决于第二空间20的最高和/或最低高度,也可以是由用户所指定的其他高度。在进场期间,第二设备200可以使用自身的任何避障装置或措施,避开进入第二空间20期间的任何障碍。换言之,第二设备200的飞行路线可以不是如图3上部所示的折线,而是具有任何形式(例如,曲线、直线、随机线路等)、长度的路线,例如,为了绕开第二设备200正上方的障碍物,第二设备200甚至可以先向远离第二空间20的方向飞行一段距离、爬升到进场高度,再向第二空间20中的第二坐标前进。与此同时,用户可以通过第一设备10上呈现的由第二设备20上搭载的图像传感组件(例如,摄像头)所捕捉到的实时图像来观察第二设备20的飞行状态、周边环境,以保证第二设备20在进场时不发生意外。
在一些实施例中,当第二设备200到达第二坐标时,其可以经由例如通信端向第一设备100返回或直接向第一设备100返回“同步激活”确认消息,以表明其已到达指定位置并进入“同步”状态。此时,第二设备200的图像传感组件所捕捉的画面可以实时传输并显示在第一设备100上。操作者可以在第一空间10内任意进行行走、转向、抬/低头、下蹲/跳跃等动作,以作用于第一设备100并相应控制第二设备200。
在一些实施例中,可以通过第一设备100上安装的陀螺仪、加速度计、或磁传感器、定位装置(例如,GPS等)等装置,来实时获取用户或第一设备100的瞬时加速度、瞬时速度、几何坐标、方位(偏航)角和/或俯仰角等参数。例如,通过使用第一设备100上的加速度计,第一设备100可以确定自身在一段时间内在某个方向上的加速度,进而确定自身在这段时间内的速度,从而可以确定自身在这段时间内的位移以及在该方向上相对于初始位置的坐标。又例如,可以通过使用陀螺仪,第一设备100可以检测到用户的头部转向和/或抬头/低头等动作的幅度,并结合第一空间20的各边长,可以确定该动作在第一空间20的方位(偏航)角和/或俯仰角的变化。
在确定了第一设备100在第一空间10中的(第一)操作时,第一设备100可以根据前述第一坐标映射关系来确定与第一操作相对应的第二设备200在第二空间20中要执行的(第二)操作。例如,如前所述,当第一设备100沿第一空间10的X轴移动3米时,则可以根据1/500的第一坐标映射关系,将第二操作确定为第二设备200延其X轴飞行1.5公里。又例如,当第一设备100在X轴(或Y轴)和Z轴所在的平面内的俯仰角为+15度(即,用户的视线抬升15度)时,则由于第一坐标映射关系中各坐标轴之间的比例一致,且因此可以将第二操作确定为第二设备200和/或其图像传感组件在其X轴(或Y轴)和Z轴所在的平面内的俯仰角为+15度。此外,如果第一坐标映射关系中各坐标轴之间的比例并不一致,例如X轴(或Y轴)的比例为1/500而Z轴的比例为1/375,则可以将第二操作确定为第二设备200和/或其图像传感组件在其X轴(或Y轴)和Z轴所在的平面内的俯仰角约为+11.3度(即,)。这样做的目的主要是保证:尽管第一空间10和第二空间20在各轴上比例不同,但是用户所能实现的最大俯仰范围相对应。此外,方位角也可以类似处理。
此外,在一些实施例中,当用户或第一设备100例如产生高度变化时(例如,跳跃、下蹲等),第一设备100可以确定第一设备100上升或下降的最高或最低高度,并将该最高或最低高度与预先设置的某个最高阈值高度或最低阈值高度进行比较。当获取到检测到的高度与阈值高度之差时,可以根据前述第一坐标映射关系将其映射为第二空间20中的高度差,并相应指示第二设备200上升或下降该高度差。在另一些实施例中,也可以不考虑第一坐标映射关系来进行该高度转换。例如,只要用户跳跃一次,第二设备200可以上升固定高度,例如10米。又例如,只要用户下蹲一次,第二设备200可以下降固定高度,例如5米。此外,也可以在不设置阈值的情况下,根据第一设备100的实际高度变化来相应调整第二设备200的高度。然而,考虑到人类在自然行走时会发生的轻微高度变化,这对于第二设备的操控来说是无益的。
更一般地,在一些实施例中,第一设备100可以确定在执行平移操作时在第一空间10中的第一平移路线,基于上述第一坐标映射关系将第一平移路线映射为第二空间20中的第二平移路线,并将第二操作确定为指示第二设备200沿第二平移路线移动的操作。在另一些实施例中,第一设备100可以确定第一设备100在结束转向操作时在第一空间10中的第一方位角;基于上述第一坐标映射关系将第一方位角映射为第二空间20中的第二方位角;以及将第二操作确定为指示第二设备200或第二设备200的图像传感组件转向至第二方位角。在又一些实施例中,第一设备100可以确定第一设备100在结束视角变化操作时在第一空间10中的第一俯仰角,基于第一坐标映射关系将第一俯仰角映射为第二空间20中的第二俯仰角;以及将第二操作确定为指示第二设备200的图像传感组件转向至第二俯仰角。在再一些实施例中,第一设备100可以确定第一设备100在执行高度变化操作期间在第一空间10中所达到最高高度或最低高度;如果最高高度或最低高度相应高于或低于最高阈值或最低阈值,则基于第一坐标映射关系将最高高度或最低高度与相应的最高阈值或最低阈值之差映射为第二空间20中的高度差;以及将第二操作确定为指示第二设备200上升或下降高度差。
然而,本公开不限于此。在另一些实施例中,对于俯仰角和/或方位角之类的角度变化,也可以在不考虑第一坐标映射关系的前提下进行直接转换。例如,如果第一操作是第一设备100在第一空间10内原地顺时针旋转45度,则可以将第二操作确定为第二设备200在第二空间20内也原地顺时针旋转45度。由例如,如果第一操作是第一设备100在第一空间10内低头30度,则可以将第二操作确定为第二设备200在第二空间20内的俯仰角也下降30度。这样做的目的主要是保证:尽管第一空间10和第二空间20在各轴上比例不同,但是用户所能实现的最大俯仰角度相对应。此外,方位角也可以类似处理。
此外,尽管本文中并未讨论滚转角,但这主要是因为第二设备200通常无需滚转,且第一设备100也通常不会进行滚转操作。然而本公开不限于此,也可以对滚转角进行类似处理。
在一些实施例中,在确定了第二操作之后,可以向第二设备200发送控制指令,以指示第二设备200执行该第二操作。
因此,在理想状态下,操作者或第一设备100所在的第一空间10的坐标可以实时同步于第二设备200在其所在第二空间20中的相应坐标,且第二设备200的图像传感组件的方位角和/或俯仰角可以对应于第一设备100的相应角度。使得用户能够方便、直观地操作无人机,并获得与用户当前头部姿态相对应的实时视图。
接下来,将结合图4来详细描述第一设备100与第二设备200解除同步的过程。
图4是示出了根据本公开实施例的在示例第一设备100离开第一空间10时的示例场景。在图4所示实施例中,当佩戴第一设备100的用户离开第一空间10时,例如其走出第一空间10的边界时,理论上第二设备200也应当处于第二空间20的相应边界并准备飞出。此时,在一些实施例中,第一设备100可以向第二设备200发送“同步取消”指令,以指示第二设备200解除同步状态,并在原地悬停等待接收进一步的指示。在另一些实施例中,第二设备200也可以在检测到要离开第二空间20时,自行解除同步状态并原地悬停。此时,第二设备200也可以选择向第一设备100报告其“解除同步”的状态。除了用户或第一设备100离开第一空间10时解除同步之外,用户或第一设备100也可以选择主动解除同步状态,例如通过按动手持控制器上的某个固定按钮、通过头戴式显示器的点头、摇头动作、或某个其他指定动作等。此时,第二设备200可解除同步状态,并原地悬停。
在一些实施例中,当佩戴第一设备100的原用户或另一用户重新回到第一空间10中时,第一设备100可以据此向第二设备20发出重新同步的指令(例如,前述的“同步激活”指令或另一重新同步指令),以指示第二设备20进入同步状态,并飞行至与第一设备100在第一空间10中的当前位置相对应的第二空间20中的正确位置。此外,在另一些实施例中,佩戴第一设备100的用户也可以选择手动激活同步状态,例如重新设置第一空间10,并如前所述向第二设备200发送“同步激活”指令。
接下来,将结合图5来详细描述第二设备200的避障过程。
图5是示出了根据本公开实施例的在示例第一设备100控制示例第二设备200时示例第二设备200遇到障碍物的示例场景。如图5下部所示,用户或第一设备100进行了位移操作。此时,第二设备200应当按照前述方式也位移到相应位置处。如果在第二设备200位移的路线上出现障碍物,如图5上部所示,则第二设备200可以选择自行重新设计路线并移动到相应位置处。在一些实施例中,该避障过程可以是由第二设备200自行进行的。以这样的方式,可以更快地避开障碍物。在另一些实施例中,该避障过程也可以是由第一设备100在接收到第二设备200的报告后相应控制的。无论哪种方式,第二设备200都可以在避开障碍物后到达指定位置处。
在一些实施例中,当第二设备200重新选择路线来避开障碍物时,其可以解除与第一设备100的同步状态,并在到达指定位置后重新进入同步状态。在另一些实施例中,该同步状态也可以始终保持,仅在指定时间段内第二设备200未到达指定地点时才解除。
接下来,将结合图6来详细描述重新确定第二空间20的过程。
图6是示出了根据本公开实施例的在重新确定示例第二空间20时的示例重新同步过程。如图6所示,当第一设备10在第一空间10内的移动不能完全覆盖到整个第二空间20的所有位置时(例如,初始设置有误)或者想要观察第二空间20外的某个区域时或者是需要在操作者静止不动的情况下使第二设备200进行位移时,用户可以例如通过手柄在三维电子地图上指定一个目标点(或更一般地,新的第二空间),将重新映射第一空间10与第二空间20’的坐标关系,使当前用户所在的第一空间10的相应坐标即刻改变为此目标点在第二空间20’中的坐标。
例如,如图6所示,用户可以通过控制手柄或其他方式(例如,通过安装在用户手臂上的姿态检测器来检测用户手臂在虚拟空间中的动作),在虚拟空间中指定了一个要到达的位置150,则第二设备200可以前往第二空间20中的相应空间坐标处,并以该新的位置对应于用户或第一设备100在第一空间10中的当前位置的方式重新设置第二空间20’,并继续后续的操作。
此外,在一些实施例中,当第二设备200因某些原因而没有实时同步于第一设备100的位置时,第一设备100可以将其所呈现的画面切换到预先对飞行区域完成的3D建模画面(即,纯虚拟画面)。在该3D空间中所用的坐标系和图像传感组件的视角与实际飞行区域中一致。此外,可以通过3D的静态模型以及根据当前飞行区域的时间、天气等周边条件来模拟光照天气等环境,渲染出接近于实景拍摄的飞行区域画面显示在第一设备100上,让操作者能够在没有拍摄画面的情况下使用参照物进行操作。在一些实施例中,当第二设备200再次与第一设备100保持同步状态之后,可以切换至实景拍摄画面。
此外,控制中心(例如,第一设备100或其他控制设施)可以对第二设备200当前的周边环境、电量状态和返航距离等数据进行监测,以自动决策何时派出候补第二设备200保证作业的照常进行。例如,另一第一设备100可以派出候补第二设备200接近当前第二设备200的位置,保证在当前第二设备200的电量降低到返航电量之前到达并完成替换,从而实现对监控区域的无间断监控。
通过上面结合图1~6所描述的设备控制方案,可以让指挥人员灵活直观地掌握到现地各种角度的即时画面,只需在飞行条件允许下,操作者走到合适的位置,就能得到想要的监控角度。此外,还减少了对其他人员和设备依赖。
以下将结合图7~8来详细描述根据本公开实施例的在第一设备100处执行的用于控制第二设备200的方法以及相应第一设备100的功能构造。
图7是示出了根据本公开实施例的在第一设备100处执行的用于控制第二设备200的方法700的流程图。如图7所示,方法700可以包括步骤S710、S720、S730和S740。根据本公开,方法700的一些步骤可以单独执行或组合执行,以及可以并行执行或顺序执行,并不局限于图7所示的具体操作顺序。在一些实施例中,方法700可以由图1~图6所示的第一设备100、图8所示的第一设备800、或图9所示的设备900来执行。
图8是示出了根据本公开实施例的示例第一设备800(例如,第一设备100、头戴式显示器、手持控制器、或其他控制设备等)的功能模块框图。如图8所示,第一设备800可以包括:空间确定模块810、第一映射关系确定模块820、第二操作确定模块830和指令发送模块840。
空间确定模块810可以用于确定与第一设备100相关联的第一空间10和与第二设备200相关联的第二空间20。空间确定模块810可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等,其可以与例如第一设备100的输入装置等相配合,确定与第一设备100相关联的第一空间10和与第二设备200相关联的第二空间20。
第一映射关系确定模块820可以用于确定第一空间10和第二空间20之间的第一坐标映射关系。第一映射关系确定模块820也可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等,其可以根据第一空间10和第二空间20的大小、形状、方位等来确定第一空间10和第二空间20之间的第一坐标映射关系。
第二操作确定模块830可以用于基于第一坐标映射关系,根据第一设备100在第一空间10中的第一操作来确定要由第二设备200在第二空间20中执行的第二操作。第二操作确定模块830也可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等,其可以将第一设备100的第一操作转换为第二设备200的第二操作,从而使得用户能够直观、简单地操控第二设备200。
指令发送模块840可以用于向第二设备200发送控制指令,以指示第二设备200执行第二操作。指令发送模块840也可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等,其可以与第一设备100的通信部分(例如,有线/无线通信单元,具体地例如RF单元、WiFi单元、电缆、以太网接口卡)相配合,向第二设备200发送控制指令,以指示第二设备200执行第二操作。
此外,第一设备800还可以包括图8中未示出的其他功能模块,例如第一坐标确定模块、第二坐标映射模块、同步激活指令发送模块、同步解除指令发送模块、操作停止指令发送模块、第三坐标确定模块、第四坐标映射模块、第二空间重新确定模块、映射关系重新确定模块、和/或第二操作重新确定模块等。在一些实施例中,第一坐标确定模块可以用于确定第一设备在执行同步激活操作时在第一空间中的第一坐标。在一些实施例中,第二坐标映射模块可以用于基于第一坐标映射关系将第一坐标映射为第二空间中的第二坐标。在一些实施例中,同步激活指令发送模块可以用于向第二设备发送同步激活指令,以指示第二设备移动至第二坐标处并指示第二设备处于“同步”状态。在一些实施例中,同步解除指令发送模块可以用于向第二设备发送同步取消指令,以指示第二设备处于“解除同步”状态。在一些实施例中,操作停止指令发送模块可以用于如果第一设备在第一操作期间离开第一空间,则向第二设备发送操作停止指令,以指示第二设备停止执行相应的第二操作并悬停在当前位置处。在一些实施例中,第三坐标确定模块可以用于如果第一设备回到第一空间,则确定第一设备在回到第一空间时的第三坐标。在一些实施例中,第四坐标映射模块可以用于基于第一坐标映射关系将第三坐标映射为第二空间中的第四坐标。在一些实施例中,第二操作确定模块还可以用于将第二操作确定为指示第二设备移动至第四坐标处的操作。在一些实施例中,第二空间重新确定模块可以用于重新确定与第二设备相关联的第二空间。在一些实施例中,映射关系重新确定模块可以用于确定第一空间和经重新确定的第二空间之间的第二坐标映射关系。在一些实施例中,第二操作重新确定模块可以用于基于第二坐标映射关系,根据第一设备在第一空间中的第一操作来确定要由第二设备在经重新确定的第二空间中执行的第二操作。
此外,第一设备800还可以包括图8中未示出的其他功能模块,然而由于其并不影响本领域技术人员理解本公开的实施方式,因此在图8中加以省略。例如,第一设备800还可以包括以下一项或多项功能模块:电源、存储器、数据总线、天线、无线收发信机等等。
以下将结合图7和图8,对根据本公开实施例的在第一设备800(例如,第一设备100)处执行的用于控制第二设备200的方法700和第一设备800(例如,第一设备100)进行详细的描述。
方法700开始于步骤S710,在步骤S710中,可以由第一设备800的空间确定模块810来确定与第一设备800相关联的第一空间10和与第二设备200相关联的第二空间20。
在步骤S720中,可以由第一设备800的第一映射关系确定模块820确定第一空间10和第二空间20之间的第一坐标映射关系。
在步骤S730中,可以由第一设备800的第二操作确定模块830基于第一坐标映射关系,根据第一设备800在第一空间10中的第一操作来确定要由第二设备200在第二空间20中执行的第二操作。
在步骤S740中,可以由第一设备800的指令发送模块840向第二设备200发送控制指令,以指示第二设备200执行第二操作。
在一些实施例中,步骤S710可以包括确定以下至少一项:第一空间的一个顶点的位置和第一空间在各坐标轴上的长度;第一空间的两个顶点的位置和第一空间在由两个顶点所形成的线的垂面的坐标轴上的长度;第一空间的非共线的三个顶点的位置和第一空间在由三个顶点所形成的面的垂线方向上的长度;以及第一空间的非共面的至少四个顶点的位置。在一些实施例中,步骤S710可以包括确定以下至少一项:第二空间的一个顶点在三维电子地图上的位置和第二空间在三维电子地图的各坐标轴上的长度;第二空间的两个顶点在三维电子地图上的位置和第二空间在由两个顶点所形成的线的垂面的坐标轴上的长度;第二空间的非共线的三个顶点在三维电子地图上的位置和第二空间在由三个顶点所形成的面的垂线方向上的长度;以及第二空间的非共面的至少四个顶点在三维电子地图上的位置。在一些实施例中,步骤S720可以包括:设置第一空间和第二空间各自的原点;确定第一空间和第二空间在各坐标轴上的长度的相应比例;以及基于第一空间和第二空间的原点和相应比例,确定第一空间中的坐标与第二空间中的坐标的第一坐标映射关系。在一些实施例中,方法700还可以包括:确定第一设备在执行同步激活操作时在第一空间中的第一坐标;基于第一坐标映射关系将第一坐标映射为第二空间中的第二坐标;以及向第二设备发送同步激活指令,以指示第二设备移动至第二坐标处并指示第二设备处于“同步”状态。在一些实施例中,方法700还可以包括向第二设备发送同步取消指令,以指示第二设备处于“解除同步”状态。
在一些实施例中,第一操作可以包括以下至少一项:平移操作、转向操作、视角变化操作、以及高度变化操作。在一些实施例中,如果第一操作是平移操作,则步骤S730可以包括:确定第一设备在执行平移操作时在第一空间中的第一平移路线;基于第一坐标映射关系将第一平移路线映射为第二空间中的第二平移路线;以及将第二操作确定为指示第二设备沿第二平移路线移动的操作。在一些实施例中,如果第一操作是转向操作,则步骤S730可以包括:确定第一设备在结束转向操作时在第一空间中的第一方位角;基于第一坐标映射关系将第一方位角映射为第二空间中的第二方位角;以及将第二操作确定为指示第二设备或第二设备的图像传感组件转向至第二方位角。在一些实施例中,如果第一操作是视角变化操作,则步骤S730可以包括:确定第一设备在结束视角变化操作时在第一空间中的第一俯仰角;基于第一坐标映射关系将第一俯仰角映射为第二空间中的第二俯仰角;以及将第二操作确定为指示第二设备的图像传感组件转向至第二俯仰角。在一些实施例中,如果第一操作是高度变化操作,则步骤S730可以包括:确定第一设备在执行高度变化操作期间在第一空间中所达到最高高度或最低高度;如果最高高度或最低高度相应高于或低于最高阈值或最低阈值,则基于第一坐标映射关系将最高高度或最低高度与相应的最高阈值或最低阈值之差映射为第二空间中的高度差;以及将第二操作确定为指示第二设备上升或下降高度差。
在一些实施例中,方法700还可以包括:如果第一设备在第一操作期间离开第一空间,则向第二设备发送控制指令,以指示第二设备停止执行相应的第二操作并悬停在当前位置处。在一些实施例中,方法700还可以包括:如果第一设备回到第一空间,则确定第一设备在回到第一空间时的第三坐标;基于第一坐标映射关系将第三坐标映射为第二空间中的第四坐标;以及将第二操作确定为指示第二设备移动至第四坐标处的操作。在一些实施例中,方法700还可以包括:重新确定与第二设备相关联的第二空间;确定第一空间和经重新确定的第二空间之间的第二坐标映射关系;基于第二坐标映射关系,根据第一设备在第一空间中的第一操作来确定要由第二设备在经重新确定的第二空间中执行的第二操作;以及向第二设备发送控制指令,以指示第二设备执行第二操作。
图9是示出了根据本公开实施例的图1~6所示的第一设备100或图8所示第一设备800的示例硬件布置900的框图。硬件布置900可包括处理器906(例如,中央处理器(CPU)、数字信号处理器(DSP)、微控制器单元(MCU)等)。处理器906可以是用于执行本文描述的流程的不同动作的单一处理单元或者是多个处理单元。布置900还可以包括用于从其他实体接收信号的输入单元902、以及用于向其他实体提供信号的输出单元904。输入单元902和输出单元904可以被布置为单一实体或者是分离的实体。
此外,布置900可以包括具有非易失性或易失性存储器形式的至少一个可读存储介质908,例如是电可擦除可编程只读存储器(EEPROM)、闪存、和/或硬盘驱动器。可读存储介质908包括计算机程序指令910,该计算机程序指令910包括代码/计算机可读指令,其在由布置900中的处理器906执行时使得硬件布置900和/或包括硬件布置900在内的第一设备100或第一设备800可以执行例如上面结合图1~7所描述的流程及其任何变形。
计算机程序指令910可被配置为具有例如计算机程序指令模块910A~910D架构的计算机程序指令代码。因此,在例如第一设备100或800中使用硬件布置900时的示例实施例中,布置900的计算机程序指令中的代码包括:模块910A,用于确定与第一设备相关联的第一空间和与第二设备相关联的第二空间。计算机程序指令中的代码还包括:模块910B,用于确定第一空间和第二空间之间的第一坐标映射关系。计算机程序指令中的代码还包括:模块910C,基于第一坐标映射关系,根据第一设备在第一空间中的第一操作来确定要由第二设备在第二空间中执行的第二操作。计算机程序指令中的代码还包括:模块910D,向第二设备发送控制指令,以指示第二设备执行第二操作。
计算机程序指令模块实质上可以执行图1~7中所示出的流程中的各个动作,以模拟第一设备100或800。换言之,当在处理器906中执行不同计算机程序指令模块时,它们可以对应于第一设备100或800中的上述不同模块。
尽管上面结合图9所公开的实施例中的代码手段被实现为计算机程序指令模块,其在处理器906中执行时使得硬件布置900执行上面结合图1~7所描述的动作,然而在备选实施例中,该代码手段中的至少一项可以至少被部分地实现为硬件电路。
处理器可以是单个CPU(中央处理单元),但也可以包括两个或更多个处理单元。例如,处理器可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))。处理器还可以包括用于缓存用途的板载存储器。计算机程序指令可以由连接到处理器的计算机程序指令产品来承载。计算机程序指令产品可以包括其上存储有计算机程序指令的计算机可读介质。例如,计算机程序指令产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)、EEPROM,且上述计算机程序指令模块在备选实施例中可以用UE内的存储器的形式被分布到不同计算机程序指令产品中。
需要注意的是,在本文中被描述为通过纯硬件、纯软件和/或固件来实现的功能,也可以通过专用硬件、通用硬件与软件的结合等方式来实现。例如,被描述为通过专用硬件(例如,现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)来实现的功能,可以由通用硬件(例如,中央处理单元(CPU)、数字信号处理器(DSP))与软件的结合的方式来实现,反之亦然。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (46)

1.一种在第一设备处执行的用于控制第二设备的方法,包括:
确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间;
确定所述第一空间和所述第二空间之间的第一坐标映射关系;
基于所述第一坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作;以及
向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
2.根据权利要求1所述的方法,其中,确定与所述第一设备相关联的第一空间的步骤包括确定以下至少一项:
所述第一空间的一个顶点的位置和所述第一空间在各坐标轴上的长度;
所述第一空间的两个顶点的位置和所述第一空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度;
所述第一空间的非共线的三个顶点的位置和所述第一空间在由所述三个顶点所形成的面的垂线方向上的长度;以及
所述第一空间的非共面的至少四个顶点的位置。
3.根据权利要求1所述的方法,其中,确定与所述第二设备相关联的第二空间的步骤包括确定以下至少一项:
所述第二空间的一个顶点在三维电子地图上的位置和所述第二空间在三维电子地图的各坐标轴上的长度;
所述第二空间的两个顶点在三维电子地图上的位置和所述第二空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度;
所述第二空间的非共线的三个顶点在三维电子地图上的位置和所述第二空间在由所述三个顶点所形成的面的垂线方向上的长度;以及
所述第二空间的非共面的至少四个顶点在三维电子地图上的位置。
4.根据权利要求1所述的方法,其中,确定所述第一空间和所述第二空间之间的第一坐标映射关系的步骤包括:
设置所述第一空间和所述第二空间各自的原点;
确定所述第一空间和所述第二空间在各坐标轴上的长度的相应比例;以及
基于所述第一空间和所述第二空间的原点和相应比例,确定所述第一空间中的坐标与所述第二空间中的坐标的第一坐标映射关系。
5.根据权利要求1所述的方法,其中,所述方法还包括:
确定所述第一设备在执行同步激活操作时在所述第一空间中的第一坐标;
基于所述第一坐标映射关系将所述第一坐标映射为所述第二空间中的第二坐标;以及
向所述第二设备发送同步激活指令,以指示所述第二设备移动至所述第二坐标处并指示所述第二设备处于“同步”状态。
6.根据权利要求5所述的方法,其中,所述方法还包括:
向所述第二设备发送同步取消指令,以指示所述第二设备处于“解除同步”状态。
7.根据权利要求5所述的方法,其中,所述第一操作包括以下至少一项:平移操作、转向操作、视角变化操作、以及高度变化操作。
8.根据权利要求7所述的方法,其中,如果所述第一操作是平移操作,则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括:
确定所述第一设备在执行所述平移操作时在所述第一空间中的第一平移路线;
基于所述第一坐标映射关系将所述第一平移路线映射为所述第二空间中的第二平移路线;以及
将所述第二操作确定为指示所述第二设备沿所述第二平移路线移动的操作。
9.根据权利要求7所述的方法,其中,如果所述第一操作是转向操作,则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括:
确定所述第一设备在结束所述转向操作时在所述第一空间中的第一方位角;
基于所述第一坐标映射关系将所述第一方位角映射为所述第二空间中的第二方位角;以及
将所述第二操作确定为指示所述第二设备或所述第二设备的图像传感组件转向至所述第二方位角。
10.根据权利要求7所述的方法,其中,如果所述第一操作是视角变化操作,则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括:
确定所述第一设备在结束所述视角变化操作时在所述第一空间中的第一俯仰角;
基于所述第一坐标映射关系将所述第一俯仰角映射为所述第二空间中的第二俯仰角;以及
将所述第二操作确定为指示所述第二设备的图像传感组件转向至所述第二俯仰角。
11.根据权利要求7所述的方法,其中,如果所述第一操作是高度变化操作,则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括:
确定所述第一设备在执行所述高度变化操作期间在所述第一空间中所达到最高高度或最低高度;
如果所述最高高度或所述最低高度相应高于或低于最高阈值或最低阈值,则基于所述第一坐标映射关系将所述最高高度或所述最低高度与相应的所述最高阈值或所述最低阈值之差映射为所述第二空间中的高度差;以及
将所述第二操作确定为指示所述第二设备上升或下降所述高度差。
12.根据权利要求5所述的方法,还包括:
如果所述第一设备在所述第一操作期间离开所述第一空间,则向所述第二设备发送控制指令,以指示所述第二设备停止执行相应的第二操作并悬停在当前位置处。
13.根据权利要求12所述的方法,还包括:
如果所述第一设备回到所述第一空间,则确定所述第一设备在回到所述第一空间时的第三坐标;
基于所述第一坐标映射关系将所述第三坐标映射为所述第二空间中的第四坐标;以及
将所述第二操作确定为指示所述第二设备移动至所述第四坐标处的操作。
14.根据权利要求12所述的方法,还包括:
重新确定与所述第二设备相关联的第二空间;
确定所述第一空间和经重新确定的所述第二空间之间的第二坐标映射关系;
基于所述第二坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在经重新确定的所述第二空间中执行的第二操作;以及
向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
15.根据权利要求1所述的方法,其中,所述第一设备是头戴式显示器,且所述第二设备是无人机。
16.一种用于控制第二设备的第一设备,包括:
空间确定模块,用于确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间;
第一映射关系确定模块,用于确定所述第一空间和所述第二空间之间的第一坐标映射关系;
第二操作确定模块,用于基于所述第一坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作;以及
指令发送模块,用于向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
17.根据权利要求16所述的第一设备,其中,所述空间确定模块还用于确定以下至少一项:
所述第一空间的一个顶点的位置和所述第一空间在各坐标轴上的长度;
所述第一空间的两个顶点的位置和所述第一空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度;
所述第一空间的非共线的三个顶点的位置和所述第一空间在由所述三个顶点所形成的面的垂线方向上的长度;以及
所述第一空间的非共面的至少四个顶点的位置。
18.根据权利要求16所述的第一设备,其中,所述空间确定模块还用于确定以下至少一项:
所述第二空间的一个顶点在三维电子地图上的位置和所述第二空间在三维电子地图的各坐标轴上的长度;
所述第二空间的两个顶点在三维电子地图上的位置和所述第二空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度;
所述第二空间的非共线的三个顶点在三维电子地图上的位置和所述第二空间在由所述三个顶点所形成的面的垂线方向上的长度;以及
所述第二空间的非共面的至少四个顶点在三维电子地图上的位置。
19.根据权利要求16所述的第一设备,其中,所述第一映射关系确定模块还用于:
设置所述第一空间和所述第二空间各自的原点;
确定所述第一空间和所述第二空间在各坐标轴上的长度的相应比例;以及
基于所述第一空间和所述第二空间的原点和相应比例,确定所述第一空间中的坐标与所述第二空间中的坐标的第一坐标映射关系。
20.根据权利要求16所述的第一设备,还包括:
第一坐标确定模块,用于确定所述第一设备在执行同步激活操作时在所述第一空间中的第一坐标;
第二坐标映射模块,用于基于所述第一坐标映射关系将所述第一坐标映射为所述第二空间中的第二坐标;以及
同步激活指令发送模块,用于向所述第二设备发送同步激活指令,以指示所述第二设备移动至所述第二坐标处并指示所述第二设备处于“同步”状态。
21.根据权利要求20所述的第一设备,还包括:
同步解除指令发送模块,用于向所述第二设备发送同步取消指令,以指示所述第二设备处于“解除同步”状态。
22.根据权利要求20所述的第一设备,其中,所述第一操作包括以下至少一项:平移操作、转向操作、视角变化操作、以及高度变化操作。
23.根据权利要求22所述的第一设备,其中,如果所述第一操作是平移操作,则所述第二操作确定模块还用于:
确定所述第一设备在执行所述平移操作时在所述第一空间中的第一平移路线;
基于所述第一坐标映射关系将所述第一平移路线映射为所述第二空间中的第二平移路线;以及
将所述第二操作确定为指示所述第二设备沿所述第二平移路线移动的操作。
24.根据权利要求22所述的第一设备,其中,如果所述第一操作是转向操作,则所述第二操作确定模块还用于:
确定所述第一设备在结束所述转向操作时在所述第一空间中的第一方位角;
基于所述第一坐标映射关系将所述第一方位角映射为所述第二空间中的第二方位角;以及
将所述第二操作确定为指示所述第二设备或所述第二设备的图像传感组件转向至所述第二方位角。
25.根据权利要求22所述的第一设备,其中,如果所述第一操作是视角变化操作,则所述第二操作确定模块还用于:
确定所述第一设备在结束所述视角变化操作时在所述第一空间中的第一俯仰角;
基于所述第一坐标映射关系将所述第一俯仰角映射为所述第二空间中的第二俯仰角;以及
将所述第二操作确定为指示所述第二设备的图像传感组件转向至所述第二俯仰角。
26.根据权利要求22所述的第一设备,其中,如果所述第一操作是高度变化操作,则所述第二操作确定模块还用于:
确定所述第一设备在执行所述高度变化操作期间在所述第一空间中所达到最高高度或最低高度;
如果所述最高高度或所述最低高度相应高于或低于最高阈值或最低阈值,则基于所述第一坐标映射关系将所述最高高度或所述最低高度与相应的所述最高阈值或所述最低阈值之差映射为所述第二空间中的高度差;以及
将所述第二操作确定为指示所述第二设备上升或下降所述高度差。
27.根据权利要求20所述的第一设备,还包括:
操作停止指令发送模块,用于如果所述第一设备在所述第一操作期间离开所述第一空间,则向所述第二设备发送操作停止指令,以指示所述第二设备停止执行相应的第二操作并悬停在当前位置处。
28.根据权利要求27所述的第一设备,还包括:
第三坐标确定模块,用于如果所述第一设备回到所述第一空间,则确定所述第一设备在回到所述第一空间时的第三坐标;
第四坐标映射模块,用于基于所述第一坐标映射关系将所述第三坐标映射为所述第二空间中的第四坐标,
其中,所述第二操作确定模块还用于将所述第二操作确定为指示所述第二设备移动至所述第四坐标处的操作。
29.根据权利要求16所述的第一设备,还包括:
第二空间重新确定模块,用于重新确定与所述第二设备相关联的第二空间;
映射关系重新确定模块,用于确定所述第一空间和经重新确定的所述第二空间之间的第二坐标映射关系;以及
第二操作重新确定模块,用于基于所述第二坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在经重新确定的所述第二空间中执行的第二操作。
30.根据权利要求16所述的第一设备,其中,所述第一设备是头戴式显示器,且所述第二设备是无人机。
31.一种用于控制第二设备的第一设备,包括:
处理器;
存储器,其中存储有指令,所述指令在由所述处理器执行时使得所述处理器:
确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间;
确定所述第一空间和所述第二空间之间的第一坐标映射关系;
基于所述第一坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作;以及
向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
32.根据权利要求31所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器确定以下至少一项:
所述第一空间的一个顶点的位置和所述第一空间在各坐标轴上的长度;
所述第一空间的两个顶点的位置和所述第一空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度;
所述第一空间的非共线的三个顶点的位置和所述第一空间在由所述三个顶点所形成的面的垂线方向上的长度;以及
所述第一空间的非共面的至少四个顶点的位置。
33.根据权利要求31所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器确定以下至少一项:
所述第二空间的一个顶点在三维电子地图上的位置和所述第二空间在三维电子地图的各坐标轴上的长度;
所述第二空间的两个顶点在三维电子地图上的位置和所述第二空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度;
所述第二空间的非共线的三个顶点在三维电子地图上的位置和所述第二空间在由所述三个顶点所形成的面的垂线方向上的长度;以及
所述第二空间的非共面的至少四个顶点在三维电子地图上的位置。
34.根据权利要求31所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器:
设置所述第一空间和所述第二空间各自的原点;
确定所述第一空间和所述第二空间在各坐标轴上的长度的相应比例;以及
基于所述第一空间和所述第二空间的原点和相应比例,确定所述第一空间中的坐标与所述第二空间中的坐标的第一坐标映射关系。
35.根据权利要求31所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器:
确定所述第一设备在执行同步激活操作时在所述第一空间中的第一坐标;
基于所述第一坐标映射关系将所述第一坐标映射为所述第二空间中的第二坐标;以及
向所述第二设备发送同步激活指令,以指示所述第二设备移动至所述第二坐标处并指示所述第二设备处于“同步”状态。
36.根据权利要求35所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器:
向所述第二设备发送同步取消指令,以指示所述第二设备处于“解除同步”状态。
37.根据权利要求35所述的第一设备,其中,所述第一操作包括以下至少一项:平移操作、转向操作、视角变化操作、以及高度变化操作。
38.根据权利要求37所述的第一设备,其中,如果所述第一操作是平移操作,则所述指令在由所述处理器执行时还使得所述处理器:
确定所述第一设备在执行所述平移操作时在所述第一空间中的第一平移路线;
基于所述第一坐标映射关系将所述第一平移路线映射为所述第二空间中的第二平移路线;以及
将所述第二操作确定为指示所述第二设备沿所述第二平移路线移动的操作。
39.根据权利要求37所述的第一设备,其中,如果所述第一操作是转向操作,则所述指令在由所述处理器执行时还使得所述处理器:
确定所述第一设备在结束所述转向操作时在所述第一空间中的第一方位角;
基于所述第一坐标映射关系将所述第一方位角映射为所述第二空间中的第二方位角;以及
将所述第二操作确定为指示所述第二设备或所述第二设备的图像传感组件转向至所述第二方位角。
40.根据权利要求37所述的第一设备,其中,如果所述第一操作是视角变化操作,则所述指令在由所述处理器执行时还使得所述处理器:
确定所述第一设备在结束所述视角变化操作时在所述第一空间中的第一俯仰角;
基于所述第一坐标映射关系将所述第一俯仰角映射为所述第二空间中的第二俯仰角;以及
将所述第二操作确定为指示所述第二设备的图像传感组件转向至所述第二俯仰角。
41.根据权利要求37所述的第一设备,其中,如果所述第一操作是高度变化操作,则所述指令在由所述处理器执行时还使得所述处理器:
确定所述第一设备在执行所述高度变化操作期间在所述第一空间中所达到最高高度或最低高度;
如果所述最高高度或所述最低高度相应高于或低于最高阈值或最低阈值,则基于所述第一坐标映射关系将所述最高高度或所述最低高度与相应的所述最高阈值或所述最低阈值之差映射为所述第二空间中的高度差;以及
将所述第二操作确定为指示所述第二设备上升或下降所述高度差。
42.根据权利要求35所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器:
如果所述第一设备在所述第一操作期间离开所述第一空间,则向所述第二设备发送控制指令,以指示所述第二设备停止执行相应的第二操作并悬停在当前位置处。
43.根据权利要求42所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器:
如果所述第一设备回到所述第一空间,则确定所述第一设备在回到所述第一空间时的第三坐标;
基于所述第一坐标映射关系将所述第三坐标映射为所述第二空间中的第四坐标;以及
将所述第二操作确定为指示所述第二设备移动至所述第四坐标处的操作。
44.根据权利要求31所述的第一设备,其中,所述指令在由所述处理器执行时还使得所述处理器:
重新确定与所述第二设备相关联的第二空间;
确定所述第一空间和经重新确定的所述第二空间之间的第二坐标映射关系;
基于所述第二坐标映射关系,根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在经重新确定的所述第二空间中执行的第二操作;以及
向所述第二设备发送控制指令,以指示所述第二设备执行所述第二操作。
45.根据权利要求31所述的第一设备,其中,所述第一设备是头戴式显示器,且所述第二设备是无人机。
46.一种存储指令的计算机可读存储介质,所述指令在由处理器执行时使得所述处理器执行根据权利要求1~15中任一项所述的方法。
CN201780004525.4A 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质 Expired - Fee Related CN108475064B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/084531 WO2018209557A1 (zh) 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108475064A true CN108475064A (zh) 2018-08-31
CN108475064B CN108475064B (zh) 2021-11-05

Family

ID=63266469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004525.4A Expired - Fee Related CN108475064B (zh) 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108475064B (zh)
WO (1) WO2018209557A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062259A (zh) * 2018-10-31 2018-12-21 西安天问智能科技有限公司 一种无人机自动避障方法及其装置
CN109395382A (zh) * 2018-09-12 2019-03-01 苏州蜗牛数字科技股份有限公司 一种针对摇杆的线性优化方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799838B (zh) * 2018-12-21 2022-04-15 金季春 一种训练方法和***

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
CN102589544A (zh) * 2012-01-10 2012-07-18 合肥工业大学 基于大气偏振模式空间特征的三维姿态获取方法
CN102749080A (zh) * 2012-06-18 2012-10-24 北京航空航天大学 一种基于流体力学的无人机三维航路生成方法
US20120293512A1 (en) * 2011-05-19 2012-11-22 Via Technologies, Inc. Three-dimensional graphics clipping method, three-dimensional graphics displaying method, and graphics processing apparatus using the same
US20130082978A1 (en) * 2011-09-30 2013-04-04 Microsoft Corporation Omni-spatial gesture input
CN103150309A (zh) * 2011-12-07 2013-06-12 清华大学 一种空间方向感知地图兴趣点搜索方法和***
CN103226386A (zh) * 2013-03-13 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的手势识别方法及***
CN103499346A (zh) * 2013-09-29 2014-01-08 大连理工大学 一种小型无人机地面站三维导航地图实现方法
EP2685336A1 (en) * 2012-07-13 2014-01-15 Honeywell International Inc. Autonomous airspace flight planning and virtual airspace containment system
JP2014059824A (ja) * 2012-09-19 2014-04-03 Casio Comput Co Ltd 機能駆動装置、機能駆動方法および機能駆動プログラム
WO2015020540A1 (en) * 2013-08-09 2015-02-12 Fisher & Paykel Healthcare Limited Asymmetrical nasal delivery elements and fittings for nasal interfaces
CN104991561A (zh) * 2015-08-10 2015-10-21 北京零零无限科技有限公司 一种手持无人机回收的方法、装置及无人机
CN105424024A (zh) * 2015-11-03 2016-03-23 葛洲坝易普力股份有限公司 一种基于全站仪的空间目标的位置和朝向标定方法
CN105607740A (zh) * 2015-12-29 2016-05-25 清华大学深圳研究生院 一种基于计算机视觉的无人飞行器控制方法及装置
CN105786011A (zh) * 2016-03-07 2016-07-20 重庆邮电大学 一种遥控飞行器的控制方法及设备
CN106023657A (zh) * 2015-03-30 2016-10-12 国际商业机器公司 用于实现受限操作区域的***、方法和交通工具
CN106064378A (zh) * 2016-06-07 2016-11-02 南方科技大学 一种无人机机械臂的控制方法和装置
CN106094863A (zh) * 2015-04-23 2016-11-09 鹦鹉无人机股份有限公司 用于沉浸式驾驶无人机的***
US20160328862A1 (en) * 2015-05-06 2016-11-10 Korea University Research And Business Foundation Method for extracting outer space feature information from spatial geometric data
CN106125747A (zh) * 2016-07-13 2016-11-16 国网福建省电力有限公司 基于vr交互的无人机机载第一视角随动吊舱***
CN106227230A (zh) * 2016-07-09 2016-12-14 东莞市华睿电子科技有限公司 一种无人机控制方法
CN106228615A (zh) * 2016-08-31 2016-12-14 陈昊 基于增强现实的无人飞行器体验***及其体验方法
CN106292679A (zh) * 2016-08-29 2017-01-04 电子科技大学 基于体感的可穿戴无人机控制设备的控制方法
CN205942090U (zh) * 2016-04-29 2017-02-08 深圳市大疆创新科技有限公司 可穿戴设备及无人机***
WO2017043687A1 (ko) * 2015-09-07 2017-03-16 한국항공대학교산학협력단 L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법
CN206031749U (zh) * 2016-08-31 2017-03-22 佛山世寰智能科技有限公司 无人机的四轴旋翼固定结构
CN106569596A (zh) * 2016-10-20 2017-04-19 努比亚技术有限公司 一种手势控制方法和设备
CN106664401A (zh) * 2014-08-19 2017-05-10 索尼互动娱乐股份有限公司 用于在与内容交互时向用户提供反馈的***和方法
CN107065914A (zh) * 2013-07-05 2017-08-18 深圳市大疆创新科技有限公司 无人飞行器的飞行辅助方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577535B2 (en) * 2010-03-31 2013-11-05 Massachusetts Institute Of Technology System and method for providing perceived first-order control of an unmanned vehicle
WO2014128810A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ及び画像表示装置
EP3283930A2 (en) * 2015-04-14 2018-02-21 Tobin Fisher System for authoring, executing, and distributing unmanned aerial vehicle flight-behavior profiles
CN205216197U (zh) * 2015-12-07 2016-05-11 南京邮电大学 一种基于主动式姿态检测的航模飞行器安全遥控***
CN106155069A (zh) * 2016-07-04 2016-11-23 零度智控(北京)智能科技有限公司 无人机飞行控制装置、方法及遥控终端

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
US20120293512A1 (en) * 2011-05-19 2012-11-22 Via Technologies, Inc. Three-dimensional graphics clipping method, three-dimensional graphics displaying method, and graphics processing apparatus using the same
US20130082978A1 (en) * 2011-09-30 2013-04-04 Microsoft Corporation Omni-spatial gesture input
CN103150309A (zh) * 2011-12-07 2013-06-12 清华大学 一种空间方向感知地图兴趣点搜索方法和***
CN102589544A (zh) * 2012-01-10 2012-07-18 合肥工业大学 基于大气偏振模式空间特征的三维姿态获取方法
CN102749080A (zh) * 2012-06-18 2012-10-24 北京航空航天大学 一种基于流体力学的无人机三维航路生成方法
EP2685336A1 (en) * 2012-07-13 2014-01-15 Honeywell International Inc. Autonomous airspace flight planning and virtual airspace containment system
JP2014059824A (ja) * 2012-09-19 2014-04-03 Casio Comput Co Ltd 機能駆動装置、機能駆動方法および機能駆動プログラム
CN103226386A (zh) * 2013-03-13 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的手势识别方法及***
CN107065914A (zh) * 2013-07-05 2017-08-18 深圳市大疆创新科技有限公司 无人飞行器的飞行辅助方法和装置
WO2015020540A1 (en) * 2013-08-09 2015-02-12 Fisher & Paykel Healthcare Limited Asymmetrical nasal delivery elements and fittings for nasal interfaces
CN103499346A (zh) * 2013-09-29 2014-01-08 大连理工大学 一种小型无人机地面站三维导航地图实现方法
CN106664401A (zh) * 2014-08-19 2017-05-10 索尼互动娱乐股份有限公司 用于在与内容交互时向用户提供反馈的***和方法
CN106023657A (zh) * 2015-03-30 2016-10-12 国际商业机器公司 用于实现受限操作区域的***、方法和交通工具
CN106094863A (zh) * 2015-04-23 2016-11-09 鹦鹉无人机股份有限公司 用于沉浸式驾驶无人机的***
US20160328862A1 (en) * 2015-05-06 2016-11-10 Korea University Research And Business Foundation Method for extracting outer space feature information from spatial geometric data
CN104991561A (zh) * 2015-08-10 2015-10-21 北京零零无限科技有限公司 一种手持无人机回收的方法、装置及无人机
WO2017043687A1 (ko) * 2015-09-07 2017-03-16 한국항공대학교산학협력단 L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법
CN105424024A (zh) * 2015-11-03 2016-03-23 葛洲坝易普力股份有限公司 一种基于全站仪的空间目标的位置和朝向标定方法
CN105607740A (zh) * 2015-12-29 2016-05-25 清华大学深圳研究生院 一种基于计算机视觉的无人飞行器控制方法及装置
CN105786011A (zh) * 2016-03-07 2016-07-20 重庆邮电大学 一种遥控飞行器的控制方法及设备
CN205942090U (zh) * 2016-04-29 2017-02-08 深圳市大疆创新科技有限公司 可穿戴设备及无人机***
CN106064378A (zh) * 2016-06-07 2016-11-02 南方科技大学 一种无人机机械臂的控制方法和装置
CN106227230A (zh) * 2016-07-09 2016-12-14 东莞市华睿电子科技有限公司 一种无人机控制方法
CN106125747A (zh) * 2016-07-13 2016-11-16 国网福建省电力有限公司 基于vr交互的无人机机载第一视角随动吊舱***
CN106292679A (zh) * 2016-08-29 2017-01-04 电子科技大学 基于体感的可穿戴无人机控制设备的控制方法
CN106228615A (zh) * 2016-08-31 2016-12-14 陈昊 基于增强现实的无人飞行器体验***及其体验方法
CN206031749U (zh) * 2016-08-31 2017-03-22 佛山世寰智能科技有限公司 无人机的四轴旋翼固定结构
CN106569596A (zh) * 2016-10-20 2017-04-19 努比亚技术有限公司 一种手势控制方法和设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MAIER, M等: "Landing of VTOL UAVs Using a Stationary Robot Manipulator: A New Approach for Coordinated Control", 《54TH IEEE CONFERENCE ON DECISION AND CONTROL》 *
ZHANG, JS等: "A Space-Time Network-Based Modeling Framework for Dynamic Unmanned Aerial Vehicle Routing in Traffic Incident Monitoring Applications", 《SENSORS》 *
左善超: "某飞行器建模与三维视景仿真研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
康丽坤等: "《高等数学实用教程》", 30 September 2016, 北京工业大学出版社 *
张腾: "基于智能手机运动感知的小型无人飞行器姿态控制", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
李杰: "基于几何力学模型的无人机运动规划与导引方法研究", 《中国博士学位论文全文数据库 工程科技II辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109395382A (zh) * 2018-09-12 2019-03-01 苏州蜗牛数字科技股份有限公司 一种针对摇杆的线性优化方法
CN109062259A (zh) * 2018-10-31 2018-12-21 西安天问智能科技有限公司 一种无人机自动避障方法及其装置

Also Published As

Publication number Publication date
WO2018209557A1 (zh) 2018-11-22
CN108475064B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN104808675B (zh) 基于智能终端的体感飞行操控***及终端设备
US9947230B2 (en) Planning a flight path by identifying key frames
US9928649B2 (en) Interface for planning flight path
JP6816156B2 (ja) Uav軌道を調整するシステム及び方法
CN108351653B (zh) 用于uav飞行控制的***和方法
CN110300938A (zh) 用于免控制器式用户无人机交互的***和方法
CN106125747A (zh) 基于vr交互的无人机机载第一视角随动吊舱***
JP2017524958A (ja) ジンバル及びジンバルシミュレーションシステム
CN106716272A (zh) 用于飞行模拟的***和方法
CN109388150A (zh) 多传感器环境地图构建
CN107223199A (zh) 基于三维地图的导航方法和设备
CN106227231A (zh) 无人机的控制方法、体感交互装置以及无人机
US11804052B2 (en) Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
WO2018187916A1 (zh) 云台随动控制方法及控制设备
CN108475064A (zh) 用于设备控制的方法、设备和计算机可读存储介质
CN110209202A (zh) 一种可行空间生成方法、装置、飞行器及飞行器***
KR20170090888A (ko) Hmd를 이용한 무인기 조종 장치
CN205983222U (zh) 无人机机载第一视角吊舱装置的硬件连接结构
WO2020209167A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Mahayuddin et al. Comparison of human pilot (remote) control systems in multirotor unmanned aerial vehicle navigation
O'Keeffe et al. Oculus rift application for training drone pilots
WO2024000189A1 (zh) 控制方法、头戴式显示设备、控制***及存储介质
CN114935940B (zh) 一种基于虚拟现实的多无人机远程控制方法
WO2022094808A1 (zh) 拍摄控制方法、装置、无人机、设备及可读存储介质
KR102263227B1 (ko) 상대 항법 정보를 활용한 증강 현실 기반 무인 이동체 제어 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211105

CF01 Termination of patent right due to non-payment of annual fee