CN109656319B - 一种用于呈现地面行动辅助信息方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于呈现地面行动辅助信息的方法和设备，无人机控制设备向对应的用户设备发送无人机辅助信息；所述用户设备接收所述无人机控制设备所发送的无人机辅助信息，并呈现所述无人机辅助信息所对应的地面行动辅助信息；其中，所述地面行动辅助信息用于辅助地面行动。本申请能提高团队的地面行动效率。

Description

一种用于呈现地面行动辅助信息方法与设备

技术领域

本申请涉及计算机领域，尤其涉及一种用于呈现地面行动辅助信息的技术。

背景技术

随着技术的发展，无人机逐渐得到广泛应用。一般而言，一组无人机设备包括无人机(本体)以及用于控制无人机的无人机控制设备。由于行动灵活，无人机经常被用于辅助地面行动，通常由操作无人机控制设备的用户(或称为无人机“飞手”)根据无人机拍摄的场景画面(或称为“航拍画面”)向地面人员提供行动指引，例如飞手向地面人员描述周围环境、提供行动路线建议等。其中无人机飞手和地面人员通过无线电等手段联络。

虽然无人机丰富了地面人员能够获得的信息，但是地面人员获得的信息仍具有较大的局限性。一方面，无人机飞手通过无线电(例如，对讲机)提供的信息并非现场的原始信息，因此在沟通过程中地面人员所获得的信息可能出错；另一方面，根据无人机飞手的描述，地面人员可能会对现场状况造成误判而失误。这将降低团队的行动效率。此外，在地面人员为警员时，警员需要手持用于与无人机飞手通讯的警务设备，不利于开展任务。

发明内容

本申请的一个目的是提供一种用于呈现地面行动辅助信息的方法。

根据本申请的一个方面，提供了一种在用户设备端用于呈现地面行动辅助信息的方法，该方法包括：

接收对应的无人机控制设备所发送的无人机辅助信息；

呈现所述无人机辅助信息所对应的地面行动辅助信息；

其中，所述地面行动辅助信息用于辅助地面行动。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现地面行动辅助信息的方法，该方法包括：

向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。

根据本申请的一个方面，提供了一种用于呈现地面行动辅助信息的用户设备，该用户设备包括：

第一一模块，用于接收对应的无人机控制设备所发送的无人机辅助信息；

第一二模块，用于呈现所述无人机辅助信息所对应的地面行动辅助信息；

其中，所述地面行动辅助信息用于辅助地面行动。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的无人机控制设备，该无人机控制设备包括：

第二一模块，用于向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。

根据本申请的一个方面，提供了一种用于呈现地面行动辅助信息的方法，该方法包括：

无人机控制设备向对应的用户设备发送无人机辅助信息；

所述用户设备接收所述无人机控制设备所发送的无人机辅助信息，并呈现所述无人机辅助信息所对应的地面行动辅助信息；

其中，所述地面行动辅助信息用于辅助地面行动。

根据本申请的一个方面，提供了一种用于呈现地面行动辅助信息的设备，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述方法的操作。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得***执行以上所述方法的操作。

本申请通过无人机控制设备向地面人员的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息以辅助地面行动，从而加强了无人机飞手和地面人员之间的互动。与现有技术相比，地面人员得到的信息更为直观和多样化，且地面人员能获取现场的原始信息，从而地面人员发生误判的可能性大为减小，团队行动效率也极大提高。此外，在地面人员为警员时，可将其用户设备配置为智能眼镜等头戴式显示设备，从而地面人员无需手持用于与无人机飞手通讯的警务设备，便于开展任务。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个实施例的无人机、无人机控制设备、用户设备之间进行协作以辅助地面行动的***拓扑；

图2是根据本申请一个实施例的在用户设备端用于呈现地面行动辅助信息的方法流程图；

图3是根据本申请另一个实施例的在用户设备端用于呈现地面行动辅助信息的方法流程图；

图4是根据本申请一个实施例的在无人机控制设备端用于呈现地面行动辅助信息的方法流程图；

图5是根据本申请另一个实施例的在无人机控制设备端用于呈现地面行动辅助信息的方法流程图；

图6是根据本申请又一个实施例的在无人机控制设备端用于呈现地面行动辅助信息的方法流程图；

图7是根据本申请一个实施例的用于呈现地面行动辅助信息的用户设备的功能框图；

图8是根据本申请另一个实施例的用于呈现地面行动辅助信息的用户设备的功能框图；

图9是根据本申请一个实施例的用于呈现地面行动辅助信息的无人机控制设备的功能框图；

图10是根据本申请另一个实施例的用于呈现地面行动辅助信息的无人机控制设备的功能框图；

图11是根据本申请又一个实施例的用于呈现地面行动辅助信息的无人机控制设备的功能框图；

图12示出本申请的一个示例性***。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑、智能眼镜等，所述移动电子产品可以采用任意操作***，如Android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

本申请所指的用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现和/或用于设置增强现实内容，其中，在一些实施例中，该增强现实内容叠加呈现于目标装置上，而目标装置通过用户设备(例如透射式眼镜或具有显示屏幕的其他用户设备)呈现；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强现实内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制和/或眼球追踪实现的。

参考图1示出的***拓扑，无人机控制设备与无人机进行通讯以传输数据，以供无人机飞手控制无人机的飞行方向、姿态等，以及无人机向无人机控制设备发送数据(例如包括但不限于无人机自身状态、场景图像信息等一项或多项传感信息)。同时，无人机控制设备和地面人员的用户设备进行通讯，以供无人机控制设备向用户设备发送无人机辅助信息(例如包括无人机拍摄的场景画面，或者根据无人机飞手的操作确定的其他信息)，并由用户设备呈现与该无人机辅助信息相对应的地面行动辅助信息，以辅助地面人员的行动。其中，无人机可搭载多种传感器，这些传感器用于感测无人机自身的方位、姿态等数据或者用于采集外部环境的相关信息。例如，无人机基于GPS传感器、实时动态(Real-TimeKinematic,RTK)模块、气压传感器、陀螺仪、电子罗盘等采集自身的角速率、姿态、位置、加速度、高度、空速等信息，并基于图像传感器拍摄场景画面，该场景画面可传输至无人机控制设备。在一些情形下，可在无人机上设置云台以安装相机，以隔离无人机姿态变化、机体震动和外界风阻力矩等外部扰动对拍摄工作带来的不利影响，保证机载相机的视轴稳定。

基于图1示出的***，本申请提供了一种用于呈现地面行动辅助信息的方法，该方法包括以下步骤：

无人机控制设备向对应的用户设备发送无人机辅助信息；以及

所述用户设备接收所述无人机控制设备所发送的无人机辅助信息，并呈现所述无人机辅助信息所对应的地面行动辅助信息；

其中，所述地面行动辅助信息用于辅助地面行动。

以下分别从用户设备和无人机控制设备两方面，对本申请进行详细描述。

根据本申请的一个方面，提供了一种在用户设备端用于呈现地面行动辅助信息的方法。参考图2，该方法包括步骤S110和步骤S120。

在步骤S110中，用户设备接收对应的无人机控制设备所发送的无人机辅助信息。在一些实施例中，所述无人机辅助信息包括但不限于以下的一项或者多项：

1)目标相关资料信息，包括但不限于地面行动的目的地所在位置信息、周边地标信息、相关地面目标(包括但不限于目标物体及目标人物)的名称或特征等相关信息；

2)无人机所拍摄的图像信息(下称无人机图像信息)，包括但不限于静态图像信息和动态图像信息(例如视频)；

3)标注信息，包括但不限于所述用户、无人机飞手或者其他用户基于添加的标注信息，所标注的对象包括但不限于场景中的某一点(例如，该点基于地面实际行动或模拟行动的目的地的经纬度信息而确定)或某一区域(例如该区域基于其各个顶点的经纬度信息而确定)，标注的内容包括但不限于色点、线条、模型、图像、文字等；

4)目标位置信息，包括但不限于供地面人员参考的目标所在经纬度信息，可用于确定目标相对于地面人员所处的方位。

其中，在一些实施例中，地面人员需要对有关目标进行辨识(例如地面人员为警员)，上述目标相关资料信息还可包括目标(例如犯罪嫌疑人)的面容、外貌特征、身高、性别、年龄等信息。

在无人机辅助信息包括周边地标信息的情况下，该周边地标信息可基于无人机的传感信息而确定。例如，无人机安装了多种传感器，包括GPS传感器、气压传感器、陀螺仪、电子罗盘等，这些传感器用于采集无人机的经纬度位置、姿态、速度、角速率、加速度、高度和空速等信息；与无人机进行通信的无人机控制设备获取无人机的经纬度信息，然后向地理信息***(Geographic Information System,GIS)发出相关请求，地理信息***根据接收到无人机经纬度数据向无人机控制设备返回周边的建筑地标信息。之后，无人机控制设备获取所需的传感数据，并结合无人机的高度、方位、经纬度位置等数据，把周边的建筑地标叠加到当前无人机拍摄的图像中，供警员和飞手了解周围地理信息。

在步骤S120中，用户设备呈现所述无人机辅助信息所对应的地面行动辅助信息。例如，用户设备呈现上述目标相关资料信息、无人机图像信息或者标注信息。或者，用户设备基于上述无人机辅助信息生成对应的地面行动辅助信息，例如所述无人机辅助信息包括目标位置信息；相应地，在步骤S120中，用户设备基于所述目标位置信息，确定所述无人机辅助信息所对应的地面行动辅助信息(例如基于上述目标位置信息以及用户设备自身的位置信息，调用地图应用接口以生成实景导航信息(例如，基于透射式眼镜，在实景中叠加虚拟的箭头等用于导航；或者提供独立的场景地图及导航信息)，并呈现所述地面行动辅助信息，以指引地面人员行动。

其中在一些实施例中，所述地面行动辅助信息包括无人机所拍摄的无人机图像信息，上述方法还包括以下步骤：根据用户的无人机图像标注操作(例如用户在触摸屏幕上进行的点击、触碰、滑动等操作)，确定对应的无人机图像标注信息；以及，向所述无人机控制设备发送所述无人机图像标注信息以供无人机用户查看，例如该无人机图像标注信息为地面人员通过其所对应的用户设备在上述无人机图像信息的基础上标注后发回至无人机控制设备，以供无人机控制设备的用户参考，例如，无人机控制设备接收并呈现所述用户设备所发送的关于所述无人机图像信息的无人机图像标注信息。

其中，以上所述的用户设备可以是智能眼镜/头盔等头戴式智能设备，或者移动电话、平板电脑、导航设备(例如手持的或者固定在交通工具上的计算设备)；在一些情形下，以上所述的用户设备可用于捕获地面人员的第一视角视频、上述地面行动辅助信息、与其他用户的互动信息、负责指挥地面行动的指挥平台所发送的指挥调度信息等。在一些实施例中，所述地面行动辅助信息在用户设备的显示装置上的固定区域(例如矩形区域，或者整个可显示区域)中呈现；在另一些实施例中，所述地面行动辅助信息以增强现实的方式呈现，例如基于透射式眼镜的投射装置呈现，从而在现实世界的相关区域叠加虚拟信息，以实现虚实结合的体验。本领域技术人员应能理解，以上所述的用户设备仅为举例，其他现有的或者今后可能出现的用户设备如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

在一些实施例中，在步骤S110中，用户设备经由对应的网络设备(例如，包括但不限于云端服务器)，接收对应的无人机控制设备所发送的无人机辅助信息，以实现多端的信息共享，例如在存在多个无人机飞手或者多个地面人员的情况下，其他无人机飞手或者地面人员也可通过该网络设备获取上述无人机辅助信息。在一些实施例中，所述无人机辅助信息包括无人机图像信息(例如视频信息)并由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，参考图3，该方法还包括步骤S130。在步骤S130中，用户设备获取所述用户设备所在场景的地面图像信息，并将所述地面图像信息发送至所述无人机控制设备。例如，该用户设备基于固定设于其上的摄像装置实时拍摄地面人员所处位置的图像作为地面图像信息，并将其发送至所述无人机控制设备。与以上所述的情形类似，在一些实施例中，用户设备经由对应的网络设备将所述地面图像信息发送至所述无人机控制设备，例如将所述地面图像信息推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，上述方法还包括步骤S140(未示出)和步骤S150(未示出)。

具体而言，在取得上述地面图像信息后，用户设备在步骤S140中对所述地面图像信息执行目标识别操作。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将用户设备拍摄的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

在步骤S150中，用户设备呈现所述地面图像信息，并基于所述目标识别操作的操作结果呈现对应的目标跟踪信息。例如，接上例，在经过目标识别操作而得到行人在画面中的位置后，用户设备在该位置叠加呈现相应的目标跟踪信息，以将该行人在画面中与其他物体或行人相区分，例如所述目标跟踪信息为目标周围高亮的轮廓线，或方框、色条、色点、箭头等。在一些实施例中，当所述地面图像信息随时间变化(例如用户设备拍摄的并非静态图像而是视频)，为保持识别出的目标与画面中的其他物体或行人的相区分的状态，所述目标跟踪信息可跟随识别出的目标移动，例如对用户设备所拍摄的视频逐帧执行上述目标识别操作，或者对视频中的多个关键帧执行上述目标识别操作。

其中，上述目标跟踪信息除了基于用户设备在本地进行的目标识别操作以获得之外，也可基于无人机所发送的无人机辅助信息获得。在一些实施例中，所述无人机辅助信息包括目标辅助跟踪信息，所述地面行动辅助信息包括与所述目标辅助跟踪信息对应的目标跟踪信息。例如，所述无人机控制设备对无人机所拍摄的图像执行目标识别操作以识别该图像中的特定物体或人物，从而获得上述目标辅助跟踪信息(例如，特定物体或人物在无人机拍摄的图像中的位置)。无人机控制设备执行目标识别操作的过程与上述用户设备执行目标识别操作的过程相同或基本相同，不再赘述，并以引用方式包含于此。

在一些实施例中，所述无人机辅助信息包括标注信息(例如，该标注信息由无人机飞手通过所述无人机控制设备添加，或者由能够与所述用户设备通信的其他行动参与方，例如指挥平台，添加)，所述标注信息包括标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)。相应地，在步骤S120中，用户设备基于所述标注信息，呈现所述无人机辅助信息所对应的地面行动辅助信息(例如所述地面行动辅助信息包括所述标注信息)。例如，当所述标注信息对应某一点(例如标注信息包括地面实际行动或模拟行动的目的地的经纬度信息)时，用户设备在实景中或者地图画面中或无人机传送的图像画面中该点位置叠加呈现色点；而当所述标注信息对应某一区域(例如标注信息包括某一区域各个顶点的经纬度信息)时，用户设备对应于该区域叠加呈现一色块。具体来说，在一些实施例中，上述标注信息可包括但不限于以下几个方面：路线规划信息，例如可根据当前追踪的嫌疑人的位置，添加前线警员抓捕行动的规划路线；战略部署信息，例如可在无人机图传画面中标注区域(突发事件时的围闭区域、执勤任务时所属区域、战术部署时的指定区域等)，在抓捕行动中能让前线警务人员直观地获取特定区域位置；实战演练(例如对地面情况进行标注以辅助战术的演练)信息，可标定模拟的嫌疑人的位置并以红色圈高亮。附近地面人员前往目的地的同时可查看无人机监控画面，通过这些标注信息，地面人员能够更好地理解和执行任务，行动效率也得以提升。

其中，在一些实施例中，所述无人机辅助信息还包括无人机图像信息，且该无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备向用户设备发送该视频以及上述标注信息(包括标注元素及其呈现位置信息)后，用户设备呈现该视频，并基于标注元素的呈现位置信息呈现该标注元素，从而在用户设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升用户和无人机飞手的协作效率。在一些情形下，例如包括但不限于而在网络延迟无法忽略的情形和需要回调翻查视频及标注信息的情形，所述标注信息还包括所述标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置)，并在该视频帧上叠加该标注元素，从而避免因标注元素叠加于不对应的视频帧而造成的标注错位。

为进一步提升团队协作效率，同一用户设备可与多个无人机控制设备同时或者分别通讯，例如多个无人机控制设备所对应的无人机分别覆盖同一片行动区域的不同部分，通过多个无人机控制设备与无人机同时或者分别互动，团队资源得以合理利用。在一些实施例中，在步骤S110中，用户设备接收对应的多个无人机控制设备中的至少一个所发送的无人机辅助信息；在步骤S120中，用户设备呈现所述多个无人机控制设备中，至少一个无人机控制设备所发送的无人机辅助信息所对应的地面行动辅助信息。例如，用户设备可轮流呈现多个无人机控制设备所发送的无人机辅助信息，或者同时呈现(例如多种不同信息同时叠加呈现)多项无人机辅助信息，或者根据用户的选取操作呈现用户所需的一项或者多项无人机辅助信息；对于每项无人机辅助信息而言，其呈现方式与以上所述的无人机辅助信息的呈现方式相同或者基本相同，不再赘述，并以引用方式包含于此。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现地面行动辅助信息的方法。参考图4，该方法包括步骤S210。在步骤S210中，无人机控制设备向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。在一些实施例中，所述无人机辅助信息包括但不限于以下的一项或者多项：

1)目标相关资料信息，包括但不限于地面行动的目的地所在位置信息、周边地标信息、相关地面目标(包括但不限于目标物体及目标人物)的名称或特征等相关信息；在一些实施例中，无人机控制设备对无人机所拍摄得到的图像进行目标识别操作，以识别特定的物体或人物目标，进而无人机控制设备在本地或者其可访问的数据库中读取目标相关资料信息，从而提升任务执行效率；

2)无人机图像信息，包括但不限于静态图像信息和动态图像信息，例如视频；

3)标注信息，包括但不限于所述用户、无人机飞手或者其他用户基于添加的标注信息，其中所标注的对象包括但不限于场景中的某一点(例如，该点基于地面实际行动或模拟行动的目的地的经纬度信息而确定)或某一区域(例如该区域基于其各个顶点的经纬度信息而确定)，标注的形式包括但不限于色点、线条、模型、图像、文字等；

4)目标位置信息，包括但不限于供地面人员参考的目标所在经纬度信息，可用于确定目标相对于地面人员所处的方位。

在一些实施例中，无人机控制设备经由对应的网络设备(例如，包括但不限于云端服务器)，向对应的用户设备发送的无人机辅助信息，以实现多端的信息共享，例如在存在多个无人机飞手或者多个地面人员的情况下，其他无人机飞手或者地面人员也可通过该网络设备获取上述无人机辅助信息。在一些实施例中，所述无人机辅助信息包括无人机图像信息(例如视频信息)并由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

除了向用户设备发送无人机辅助信息之外，无人机控制设备也可接收用户设备所发送的地面图像信息以供参考；相应地，在一些实施例中，上述方法还包括步骤S220，如图5所示。无人机控制设备在步骤S220中接收并呈现所述用户设备所发送的地面图像信息。此外，基于用户设备所发送的地面图像信息，无人机控制设备也可对该地面图像信息执行目标识别操作，并基于目标识别操作的操作结果，向用户设备发送对应的目标辅助跟踪信息(例如，识别出的目标在画面中的位置)，以供用户设备基于该目标辅助跟踪信息向地面人员呈现对应的目标跟踪信息(例如目标周围高亮的轮廓线，或方框、色条、色点、箭头等)。通过接收用户设备所发送的地面图像信息，无人机飞手能够获取用户的第一视角画面，全面掌握现场状况，也可协助地面人员对该地面图像信息执行目标识别操作，从而进一步提升协作效率。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将用户设备拍摄的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中在一些实施例中，上述方法还包括以下步骤：根据用户关于所述地面图像信息的地面图像标注操作，确定对应的地面图像标注信息。其中，所述无人机辅助信息包括所述地面图像标注信息。例如，在收到地面人员所对应的用户设备所拍摄并发送的地面图像后，无人机控制设备的用户在该图像上添加相应的标注信息，并将该图像及对应的标注信息再发回至前述用户设备。

在一些情形下，以上所述的无人机辅助信息可基于无人机所拍摄的无人机图像信息获得。在一些实施例中，参考图6，上述方法包括步骤S250。无人机控制设备在步骤S250中获取对应的无人机所拍摄的无人机图像信息(包括但不限于静态图像、视频等)，之后在步骤S210中基于所述无人机图像信息，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。例如，所述地面行动辅助信息包含上述无人机图像信息；或者，无人机控制设备对该无人机图像信息执行目标识别操作以识别特定目标，并确定相应的目标辅助跟踪信息；或者，无人机识别画面中的特定目标的数量，并将该数量信息作为地面行动辅助信息的一部分发送至用户设备。

在此基础上，在一些实施例中，上述方法还包括步骤S260(未示出)。在步骤S260中，无人机控制设备基于无人机用户的用户操作(例如，包括但不限于点击、框选、拖动操作，或者文字输入操作)，确定关于所述无人机图像信息的图像标注信息，其中所述图像标注信息包括标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)。相应地，在步骤S210中，无人机控制设备基于所述无人机图像信息以及所述图像标注信息，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。

其中，在一些实施例中，所述无人机辅助信息还包括无人机图像信息，且该无人机图像信息为视频。例如，在步骤S260中，无人机控制设备基于无人机用户的用户操作，确定关于所述无人机图像信息的图像标注信息，其中所述图像标注信息包括标注元素及其呈现位置信息，还包括所述标注元素所对应的时间轴位置信息，例如在忽略网络延迟的前提下，无人机控制设备向用户设备发送该视频以及上述标注信息(包括标注元素及其呈现位置信息)后，用户设备呈现该视频，并基于标注元素的呈现位置信息呈现该标注元素，从而在用户设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升用户和无人机飞手的协作效率。在一些情形下，例如包括但不限于而在网络延迟无法忽略的情形和需要回调翻查视频及标注信息的情形，所述标注信息还包括所述标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置)，并在该视频帧上叠加该标注元素，从而避免因标注元素叠加于不对应的视频帧而造成的标注错位。

在一些实施例中，上述方法还包括步骤S270(未示出)。在步骤S270中，无人机控制设备基于对应的无人机与指定目标的相对方位信息，以及所述无人机的空间位置信息，确定所述指定目标的目标位置信息。其中在一些实施例中，指定目标由无人机飞手在无人机控制设备上确定，例如在无人机控制设备的显示屏幕上通过点击、框选等方式确定。例如，在一个实施例中，无人机控制设备基于用户的选定操作，确定对应的指定目标，随后无人机控制设备控制无人机测量该指定目标与无人机的直线距离(例如，基于机载的激光测距仪获得)，结合无人机自身的高度信息(例如，基于气压计获得)，得到无人机和指定目标的水平距离，再根据无人机自身的经纬度信息(例如，基于GPS传感器获得)以及目标相对于无人机的方位角，最终确定指定目标的经纬度信息，并将该经纬度信息作为目标的目标位置信息。又例如，在另一个实施例中，无人机控制设备基于无人机的俯仰角度(例如，基于陀螺仪获得)确定无人机与指定目标之间连线与铅垂线的夹角，并根据该夹角和无人机的高度(例如，基于气压计获得)计算无人机与指定目标之间的水平距离，再根据无人机自身的经纬度信息(例如，基于GPS传感器获得)以及目标相对于无人机的方位角，最终确定指定目标的经纬度信息，并将该经纬度信息作为目标的目标位置信息。当然，本领域技术人员应能理解，以上所述的用于取得目标位置信息的方式仅为举例，其他现有的或者今后可能出现的获取方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

如前所述，为进一步提升团队协作效率，同一用户设备可与多个无人机控制设备同时或者分别通讯。类似地，对于同一无人机控制设备而言，其也可与多个用户设备同时或者分别通讯，例如多个用户设备所对应的地面行动人员分别位于同一片行动区域的不同位置，通过与无人机控制设备同时或者分别互动，团队资源得以合理利用。在一些实施例中，在步骤S210中，无人机控制设备向对应的至少一个用户设备发送无人机辅助信息，以供所述至少一个用户设备呈现对应的地面行动辅助信息。例如，无人机控制设备可轮流向多个用户设备发送无人机辅助信息，或者同时发送多项无人机辅助信息(例如多种不同信息分别发送至不同的用户设备)，或者根据无人机用户的选取操作发送某个地面人员所需的一项或者多项无人机辅助信息；对于每项无人机辅助信息而言，其生成或发送的方式与以上所述的方式相同或者基本相同，不再赘述，并以引用方式包含于此。

根据本申请的一个方面，还提供了一种用于呈现地面行动辅助信息的用户设备。参考图7，该用户设备100包括第一一模块110和第一二模块120。

第一一模块110接收对应的无人机控制设备所发送的无人机辅助信息。在一些实施例中，所述无人机辅助信息包括但不限于以下的一项或者多项：

1)目标相关资料信息，包括但不限于地面行动的目的地所在位置信息、周边地标信息、相关地面目标(包括但不限于目标物体及目标人物)的名称或特征等相关信息；

2)无人机所拍摄的图像信息(下称无人机图像信息)，包括但不限于静态图像信息和动态图像信息(例如视频)；

3)标注信息，包括但不限于所述用户、无人机飞手或者其他用户基于添加的标注信息，所标注的对象包括但不限于场景中的某一点(例如，该点基于地面实际行动或模拟行动的目的地的经纬度信息而确定)或某一区域(例如该区域基于其各个顶点的经纬度信息而确定)，标注的形式包括但不限于色点、线条、模型、图像、文字等；

4)目标位置信息，包括但不限于供地面人员参考的目标所在经纬度信息，可用于确定目标相对于地面人员所处的方位。

其中，在一些实施例中，地面人员需要对有关目标进行辨识(例如地面人员为警员)，上述目标相关资料信息还可包括目标(例如犯罪嫌疑人)的面容、外貌特征、身高、性别、年龄等信息。

在无人机辅助信息包括周边地标信息的情况下，该周边地标信息可基于无人机的传感信息而确定。例如，无人机安装了多种传感器，包括GPS传感器、气压传感器、陀螺仪、电子罗盘等，这些传感器用于采集无人机的经纬度位置、姿态、速度、角速率、加速度、高度和空速等信息；与无人机进行通信的无人机控制设备获取无人机的经纬度信息，然后向地理信息***(Geographic Information System,GIS)发出相关请求，地理信息***根据接收到无人机经纬度数据向无人机控制设备返回周边的建筑地标信息。之后，无人机控制设备获取所需的传感数据，并结合无人机的高度、方位、经纬度位置等数据，把周边的建筑地标叠加到当前无人机拍摄的图像中，供警员和后台指挥人员了解周围地理信息。

第一二模块120呈现所述无人机辅助信息所对应的地面行动辅助信息。例如，用户设备呈现上述目标相关资料信息、无人机图像信息或者标注信息。或者，用户设备基于上述无人机辅助信息生成对应的地面行动辅助信息，例如所述无人机辅助信息包括目标位置信息；相应地，第一二模块120基于所述目标位置信息，确定所述无人机辅助信息所对应的地面行动辅助信息(例如基于上述目标位置信息以及用户设备自身的位置信息，调用地图应用接口以生成实景导航信息，例如，基于透射式眼镜，在实景中叠加虚拟的箭头等用于导航；或者提供独立的场景地图及导航信息)，并呈现所述地面行动辅助信息，以指引地面人员行动。

其中在一些实施例中，所述地面行动辅助信息包括无人机所拍摄的无人机图像信息，上述用户设备还包括第一六模块(未示出)，所述第一六模块用于：根据用户的无人机图像标注操作(例如用户在触摸屏幕上进行的点击、触碰、滑动等操作)，确定对应的无人机图像标注信息；以及，向所述无人机控制设备发送所述无人机图像标注信息以供无人机用户查看，例如该无人机图像标注信息为地面人员通过其所对应的用户设备在上述无人机图像信息的基础上标注后发回至无人机控制设备，以供无人机控制设备的用户参考，例如，无人机控制设备接收并呈现所述用户设备所发送的关于所述无人机图像信息的无人机图像标注信息。

其中，以上所述的用户设备可以是智能眼镜/头盔等头戴式智能设备，或者移动电话、平板电脑、导航设备(例如手持的或者固定在交通工具上的计算设备)；在一些情形下，以上所述的用户设备可用于捕获地面人员的第一视角视频、上述地面行动辅助信息、与其他用户的互动信息、负责指挥地面行动的指挥平台所发送的指挥调度信息等。在一些实施例中，所述地面行动辅助信息在用户设备的显示装置上的固定区域(例如矩形区域，或者整个可显示区域)中呈现；在另一些实施例中，所述地面行动辅助信息以增强现实的方式呈现，例如基于透射式眼镜的投射装置呈现，从而在现实世界的相关区域叠加虚拟信息，以实现虚实结合的体验。本领域技术人员应能理解，以上所述的用户设备仅为举例，其他现有的或者今后可能出现的用户设备如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

在一些实施例中，第一一模块110经由对应的网络设备(例如，包括但不限于云端服务器)，接收对应的无人机控制设备所发送的无人机辅助信息，以实现多端的信息共享，例如在存在多个无人机飞手或者多个地面人员的情况下，其他无人机飞手或者地面人员也可通过该网络设备获取上述无人机辅助信息。在一些实施例中，所述无人机辅助信息包括无人机图像信息(例如视频信息)并由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，参考图8，该用户设备100还包括第一三模块130。第一三模块130获取所述用户设备所在场景的地面图像信息，并将所述地面图像信息发送至所述无人机控制设备。例如，该用户设备基于固定设于其上的摄像装置实时拍摄地面人员所处位置的图像作为地面图像信息，并将其发送至所述无人机控制设备。与以上所述的情形类似，在一些实施例中，用户设备经由对应的网络设备将所述地面图像信息发送至所述无人机控制设备，例如将所述地面图像信息推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，上述用户设备100还包括第一四模块140(未示出)和第一五模块150(未示出)。

具体而言，在取得上述地面图像信息后，第一四模块140对所述地面图像信息执行目标识别操作。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将用户设备拍摄的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

第一五模块150呈现所述地面图像信息，并基于所述目标识别操作的操作结果呈现对应的目标跟踪信息。例如，接上例，在经过目标识别操作而得到行人在画面中的位置后，用户设备在该位置叠加呈现相应的目标跟踪信息，以将该行人在画面中与其他物体或行人相区分，例如所述目标跟踪信息为目标周围高亮的轮廓线，或方框、色条、色点、箭头等。在一些实施例中，当所述地面图像信息随时间变化(例如用户设备拍摄的并非静态图像而是视频)，为保持识别出的目标与画面中的其他物体或行人的相区分的状态，所述目标跟踪信息可跟随识别出的目标移动，例如对用户设备所拍摄的视频逐帧执行上述目标识别操作，或者对视频中的多个关键帧执行上述目标识别操作。

其中，上述目标跟踪信息除了基于用户设备在本地进行的目标识别操作以获得之外，也可基于无人机所发送的无人机辅助信息获得。在一些实施例中，所述无人机辅助信息包括目标辅助跟踪信息，所述地面行动辅助信息包括与所述目标辅助跟踪信息对应的目标跟踪信息。例如，所述无人机控制设备对无人机所拍摄的图像执行目标识别操作以识别该图像中的特定物体或人物，从而获得上述目标辅助跟踪信息(例如，特定物体或人物在无人机拍摄的图像中的位置)。无人机控制设备执行目标识别操作的过程与上述用户设备执行目标识别操作的过程相同或基本相同，不再赘述，并以引用方式包含于此。

在一些实施例中，所述无人机辅助信息包括标注信息(例如，该标注信息由无人机飞手通过所述无人机控制设备添加，或者由能够与所述用户设备通信的其他行动参与方，例如指挥平台，添加)，所述标注信息包括标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)。相应地，在步骤S120中，用户设备基于所述标注信息，呈现所述无人机辅助信息所对应的地面行动辅助信息(例如所述地面行动辅助信息包括所述标注信息)。例如，当所述标注信息对应某一点(例如标注信息包括地面实际行动或模拟行动的目的地的经纬度信息)时，用户设备在实景中或者地图画面中或无人机传送的图像画面中该点位置叠加呈现色点；而当所述标注信息对应某一区域(例如标注信息包括某一区域各个顶点的经纬度信息)时，用户设备对应于该区域叠加呈现一色块。具体来说，在一些实施例中，上述标注信息可包括但不限于以下几个方面：路线规划信息，例如可根据当前追踪的嫌疑人的位置，添加前线警员抓捕行动的规划路线；战略部署信息，例如可在无人机图传画面中标注区域(突发事件时的围闭区域、执勤任务时所属区域、战术部署时的指定区域等)，在抓捕行动中能让前线警务人员直观地获取特定区域位置；实战演练(例如对地面情况进行标注以辅助战术的演练)信息，可标定模拟的嫌疑人的位置并以红色圈高亮。附近地面人员前往目的地的同时可查看无人机监控画面，通过这些标注信息，地面人员能够更好地理解和执行任务，行动效率也得以提升。

其中，在一些实施例中，所述无人机辅助信息还包括无人机图像信息，且该无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备向用户设备发送该视频以及上述标注信息(包括标注元素及其呈现位置信息)后，用户设备呈现该视频，并基于标注元素的呈现位置信息呈现该标注元素，从而在用户设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升用户和无人机飞手的协作效率。在一些情形下，例如包括但不限于而在网络延迟无法忽略的情形和需要回调翻查视频及标注信息的情形，所述标注信息还包括所述标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置)，并在该视频帧上叠加该标注元素，从而避免因标注元素叠加于不对应的视频帧而造成的标注错位。

为进一步提升团队协作效率，同一用户设备可与多个无人机控制设备同时或者分别通讯，例如多个无人机控制设备所对应的无人机分别覆盖同一片行动区域的不同部分，通过多个无人机控制设备与无人机同时或者分别互动，团队资源得以合理利用。在一些实施例中，第一一模块110接收对应的多个无人机控制设备中的至少一个所发送的无人机辅助信息；第一二模块120呈现所述多个无人机控制设备中，至少一个无人机控制设备所发送的无人机辅助信息所对应的地面行动辅助信息。例如，用户设备可轮流呈现多个无人机控制设备所发送的无人机辅助信息，或者同时呈现(例如多种不同信息同时叠加呈现)多项无人机辅助信息，或者根据用户的选取操作呈现用户所需的一项或者多项无人机辅助信息；对于每项无人机辅助信息而言，其呈现方式与以上所述的无人机辅助信息的呈现方式相同或者基本相同，不再赘述，并以引用方式包含于此。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的无人机控制设备。参考图9，该无人机控制设备200包括第二一模块210。第二一模块210向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。在一些实施例中，所述无人机辅助信息包括但不限于以下的一项或者多项：

1)目标相关资料信息，包括但不限于地面行动的目的地所在位置信息、周边地标信息、相关地面目标(包括但不限于目标物体及目标人物)的名称或特征等相关信息；在一些实施例中，无人机控制设备对无人机所拍摄得到的图像进行目标识别操作，以识别特定的物体或人物目标，进而无人机控制设备在本地或者其可访问的数据库中读取目标相关资料信息，从而提升任务执行效率；

2)无人机图像信息，包括但不限于静态图像信息和动态图像信息，例如视频；

3)标注信息，包括但不限于所述用户、无人机飞手或者其他用户基于添加的标注信息，其中所标注的对象包括但不限于场景中的某一点(例如，该点基于地面实际行动或模拟行动的目的地的经纬度信息而确定)或某一区域(例如该区域基于其各个顶点的经纬度信息而确定)，标注的形式包括但不限于色点、线条、模型、图像、文字等；

4)目标位置信息，包括但不限于供地面人员参考的目标所在经纬度信息，可用于确定目标相对于地面人员所处的方位。

在一些实施例中，无人机控制设备经由对应的网络设备(例如，包括但不限于云端服务器)，向对应的用户设备发送的无人机辅助信息，以实现多端的信息共享，例如在存在多个无人机飞手或者多个地面人员的情况下，其他无人机飞手或者地面人员也可通过该网络设备获取上述无人机辅助信息。在一些实施例中，所述无人机辅助信息包括无人机图像信息(例如视频信息)并由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

除了向用户设备发送无人机辅助信息之外，无人机控制设备也可接收用户设备所发送的地面图像信息以供参考；相应地，在一些实施例中，上述无人机控制设备还包括第二二模块220，如图10所示。第二二模块220接收并呈现所述用户设备所发送的地面图像信息。此外，基于用户设备所发送的地面图像信息，无人机控制设备也可对该地面图像信息执行目标识别操作，并基于目标识别操作的操作结果，向用户设备发送对应的目标辅助跟踪信息(例如，识别出的目标在画面中的位置)，以供用户设备基于该目标辅助跟踪信息向地面人员呈现对应的目标跟踪信息(例如目标周围高亮的轮廓线，或方框、色条、色点、箭头等)。通过接收用户设备所发送的地面图像信息，无人机飞手能够获取用户的第一视角画面，全面掌握现场状况，也可协助地面人员对该地面图像信息执行目标识别操作，从而进一步提升协作效率。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将用户设备拍摄的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中在一些实施例中，上述无人机控制设备还包括第二八模块(未示出)，所述第二八模块用于根据用户关于所述地面图像信息的地面图像标注操作，确定对应的地面图像标注信息。其中，所述无人机辅助信息包括所述地面图像标注信息。例如，在收到地面人员所对应的用户设备所拍摄并发送的地面图像后，无人机控制设备的用户在该图像上添加相应的标注信息，并将该图像及对应的标注信息再发回至前述用户设备。

在一些情形下，以上所述的无人机辅助信息可基于无人机所拍摄的无人机图像信息获得。在一些实施例中，参考图11，上述无人机控制设备200包括第二五模块250。第二五模块250获取对应的无人机所拍摄的无人机图像信息(包括但不限于静态图像、视频等)，之后第二一模块210基于所述无人机图像信息，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。例如，所述地面行动辅助信息包含上述无人机图像信息；或者，无人机控制设备对该无人机图像信息执行目标识别操作以识别特定目标，并确定相应的目标辅助跟踪信息；或者，无人机识别画面中的特定目标的数量，并将该数量信息作为地面行动辅助信息的一部分发送至用户设备。

在此基础上，在一些实施例中，上述无人机控制设备200还包括第二六模块260(未示出)。第二六模块260基于无人机用户的用户操作(例如，包括但不限于点击、框选、拖动操作，或者文字输入操作)，确定关于所述无人机图像信息的图像标注信息，其中所述图像标注信息包括标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)。相应地，第二一模块210基于所述无人机图像信息以及所述图像标注信息，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。

其中，在一些实施例中，所述无人机辅助信息还包括无人机图像信息，且该无人机图像信息为视频。例如，第二六模块260基于无人机用户的用户操作，确定关于所述无人机图像信息的图像标注信息，其中所述图像标注信息包括标注元素及其呈现位置信息，还包括所述标注元素所对应的时间轴位置信息，例如在忽略网络延迟的前提下，无人机控制设备向用户设备发送该视频以及上述标注信息(包括标注元素及其呈现位置信息)后，用户设备呈现该视频，并基于标注元素的呈现位置信息呈现该标注元素，从而在用户设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升用户和无人机飞手的协作效率。在一些情形下，例如包括但不限于而在网络延迟无法忽略的情形和需要回调翻查视频及标注信息的情形，所述标注信息还包括所述标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置)，并在该视频帧上叠加该标注元素，从而避免因标注元素叠加于不对应的视频帧而造成的标注错位。

在一些实施例中，上述无人机控制设备200还包括第二七模块270(未示出)。第二七模块270基于对应的无人机与指定目标的相对方位信息，以及所述无人机的空间位置信息，确定所述指定目标的目标位置信息。其中在一些实施例中，指定目标由无人机飞手在无人机控制设备上确定，例如在无人机控制设备的显示屏幕上通过点击、框选等方式确定。例如，在一个实施例中，无人机控制设备基于用户的选定操作，确定对应的指定目标，随后无人机控制设备控制无人机测量该指定目标与无人机的直线距离(例如，基于机载的激光测距仪获得)，结合无人机自身的高度信息(例如，基于气压计获得)，得到无人机和指定目标的水平距离，再根据无人机自身的经纬度信息(例如，基于GPS传感器获得)以及目标相对于无人机的方位角，最终确定指定目标的经纬度信息，并将该经纬度信息作为目标的目标位置信息。又例如，在另一个实施例中，无人机控制设备基于无人机的俯仰角度(例如，基于陀螺仪获得)确定无人机与指定目标之间连线与铅垂线的夹角，并根据该夹角和无人机的高度(例如，基于气压计获得)计算无人机与指定目标之间的水平距离，再根据无人机自身的经纬度信息(例如，基于GPS传感器获得)以及目标相对于无人机的方位角，最终确定指定目标的经纬度信息，并将该经纬度信息作为目标的目标位置信息。当然，本领域技术人员应能理解，以上所述的用于取得目标位置信息的方式仅为举例，其他现有的或者今后可能出现的获取方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

如前所述，为进一步提升团队协作效率，同一用户设备可与多个无人机控制设备同时或者分别通讯。类似地，对于同一无人机控制设备而言，其也可与多个用户设备同时或者分别通讯，例如多个用户设备所对应的地面行动人员分别位于同一片行动区域的不同位置，通过与无人机控制设备同时或者分别互动，团队资源得以合理利用。在一些实施例中，第二一模块210向对应的至少一个用户设备发送无人机辅助信息，以供所述至少一个用户设备呈现对应的地面行动辅助信息。例如，无人机控制设备可轮流向多个用户设备发送无人机辅助信息，或者同时发送多项无人机辅助信息(例如多种不同信息分别发送至不同的用户设备)，或者根据无人机用户的选取操作发送某个地面人员所需的一项或者多项无人机辅助信息；对于每项无人机辅助信息而言，其生成或发送的方式与以上所述的方式相同或者基本相同，不再赘述，并以引用方式包含于此。

需要注意的是，就本申请而言，由用户设备或者无人机控制设备所发送的标注信息可能有多种呈现方式。例如，该标注信息可以由接收方叠加呈现(例如基于标注元素的位置信息，或基于标注元素的呈现位置信息及时间轴位置信息，在相应的视频帧上叠加呈现该标注元素)；此外，标注信息的发送方也可在拍摄所得的视频的基础上叠加相关元素后保存为新的视频或视频流，并将新生成的视频或视频流发送至接收方以供其呈现。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图12示出了可被用于实施本申请中所述的各个实施例的示例性***。

如图12所示，在一些实施例中，***300能够作为各所述实施例中的任意一个用户设备或者无人机控制设备。在一些实施例中，***300可包括具有指令的一个或多个计算机可读介质(例如，***存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。

对于一个实施例，***控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与***控制模块310通信的任意适当的设备或组件提供任意适当的接口。

***控制模块310可包括存储器控制器模块330，以向***存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。

***存储器315可被用于例如为***300加载和存储数据和/或指令。对于一个实施例，***存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，***控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。

例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备320可包括在物理上作为***300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。

(一个或多个)通信接口325可为***300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。***300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。

在各个实施例中，***300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (28)

1.一种在用户设备端用于呈现地面行动辅助信息的方法，其中，该方法包括：

接收对应的无人机控制设备所发送的无人机辅助信息；所述无人机控制设备用于供无人机飞手控制无人机，并且所述无人机控制设备与所述用户设备通信，其中，所述无人机辅助信息包括目标相关资料信息、标注信息、目标位置信息、目标辅助跟踪信息中的至少一项，所述目标相关资料信息包括地面行动的目的地所在位置信息、周边地标信息、相关地面目标信息中的至少一项，所述标注信息为所述无人机飞手或其他用户添加的，所述目标位置信息用于确定目标相对于所述地面人员所处的方位；

呈现所述无人机辅助信息所对应的地面行动辅助信息；

其中，所述地面行动辅助信息用于辅助地面人员的地面行动。

2.根据权利要求1所述的方法，其中，所述地面行动辅助信息包括以下至少任一项：

目标相关资料信息；

无人机图像信息；

标注信息；

实景导航信息。

3.根据权利要求1所述的方法，其中，所述地面行动辅助信息包括无人机图像信息；

所述方法还包括：

根据用户的无人机图像标注操作，确定对应的无人机图像标注信息；

向所述无人机控制设备发送所述无人机图像标注信息。

4.根据权利要求1所述的方法，其中，所述接收对应的无人机控制设备所发送的无人机辅助信息，包括：

经由对应的网络设备，接收对应的无人机控制设备所发送的无人机辅助信息。

5.根据权利要求1所述的方法，其中，所述方法还包括：

获取所述用户设备所在场景的地面图像信息，并将所述地面图像信息发送至所述无人机控制设备。

6.根据权利要求5所述的方法，其中，所述获取所述用户设备所在场景的地面图像信息，并将所述地面图像信息发送至所述无人机控制设备，包括：

获取所述用户设备所在场景的地面图像信息，并经由对应的网络设备将所述地面图像信息发送至所述无人机控制设备。

7.根据权利要求5所述的方法，其中，所述方法还包括：

对所述地面图像信息执行目标识别操作；

呈现所述地面图像信息，并基于所述目标识别操作的操作结果呈现对应的目标跟踪信息。

8.根据权利要求1所述的方法，其中，所述无人机辅助信息包括标注信息，所述标注信息包括标注元素及其呈现位置信息；

所述呈现所述无人机辅助信息所对应的地面行动辅助信息，包括：

基于所述标注信息，呈现所述无人机辅助信息所对应的地面行动辅助信息。

9.根据权利要求8所述的方法，其中，所述标注信息还包括所述标注元素所对应的时间轴位置信息。

10.根据权利要求1所述的方法，其中，所述无人机辅助信息包括目标位置信息，所述呈现所述无人机辅助信息所对应的地面行动辅助信息，包括：

基于所述目标位置信息，确定所述无人机辅助信息所对应的地面行动辅助信息，并呈现所述地面行动辅助信息。

11.根据权利要求1所述的方法，其中，所述无人机辅助信息包括目标辅助跟踪信息，所述地面行动辅助信息包括与所述目标辅助跟踪信息对应的目标跟踪信息。

12.根据权利要求1所述的方法，其中，所述接收对应的无人机控制设备所发送的无人机辅助信息，包括：

接收对应的多个无人机控制设备中的至少一个所发送的无人机辅助信息；

所述呈现所述无人机辅助信息所对应的地面行动辅助信息，包括：

呈现所述多个无人机控制设备中，至少一个无人机控制设备所发送的无人机辅助信息所对应的地面行动辅助信息。

13.一种在无人机控制设备端用于呈现地面行动辅助信息的方法，其中，该方法包括：

向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息；所述无人机控制设备用于供无人机飞手控制无人机，并且所述无人机控制设备与所述用户设备通信，所述地面行动辅助信息用于辅助地面人员的地面行动，其中，所述无人机辅助信息包括目标相关资料信息、标注信息、目标位置信息、目标辅助跟踪信息中的至少一项，所述目标相关资料信息包括所述地面行动的目的地所在位置信息、周边地标信息、相关地面目标信息中的至少一项，所述标注信息为所述无人机飞手或其他用户添加的，所述目标位置信息用于确定目标相对于所述地面人员所处的方位。

14.根据权利要求13所述的方法，其中，所述向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息，包括：

经由对应的网络设备，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。

15.根据权利要求13所述的方法，其中，所述方法还包括：

接收并呈现所述用户设备所发送的地面图像信息。

16.根据权利要求15所述的方法，其中，所述方法还包括：

对所述地面图像信息执行目标识别操作；

基于所述目标识别操作的操作结果，向所述用户设备发送对应的目标辅助跟踪信息。

17.根据权利要求15所述的方法，其中，所述方法还包括：

根据用户关于所述地面图像信息的地面图像标注操作，确定对应的地面图像标注信息；

其中，所述无人机辅助信息包括所述地面图像标注信息。

18.根据权利要求13所述的方法，其中，所述方法还包括：

获取对应的无人机所拍摄的无人机图像信息；

所述向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息，包括：

基于所述无人机图像信息，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。

19.根据权利要求18所述的方法，其中，所述方法还包括：

基于无人机用户的用户操作，确定关于所述无人机图像信息的图像标注信息，其中所述图像标注信息包括标注元素及其呈现位置信息；

所述基于所述无人机图像信息，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息，包括：

基于所述无人机图像信息以及所述图像标注信息，向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息。

20.根据权利要求19所述的方法，其中，所述基于无人机用户的用户操作，确定关于所述无人机图像信息的图像标注信息，其中所述图像标注信息包括标注元素及其呈现位置信息，包括：

基于无人机用户的用户操作，确定关于所述无人机图像信息的图像标注信息，其中所述图像标注信息包括标注元素及其呈现位置信息，还包括所述标注元素所对应的时间轴位置信息。

21.根据权利要求18所述的方法，其中，所述方法还包括：

接收并呈现所述用户设备所发送的关于所述无人机图像信息的无人机图像标注信息。

22.根据权利要求13所述的方法，其中，所述方法还包括：

基于对应的无人机与指定目标对应的无人机的相对方位信息，以及所述无人机的空间位置信息，确定所述指定目标的目标位置信息。

23.根据权利要求13所述的方法，其中，所述向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息，包括：

向对应的至少一个用户设备发送无人机辅助信息，以供所述至少一个用户设备呈现对应的地面行动辅助信息。

24.一种用于呈现地面行动辅助信息的用户设备，其中，该用户设备包括：

第一一模块，用于接收对应的无人机控制设备所发送的无人机辅助信息；所述无人机控制设备用于供无人机飞手控制无人机，并且所述无人机控制设备与所述用户设备通信，其中，所述无人机辅助信息包括目标相关资料信息、标注信息、目标位置信息、目标辅助跟踪信息中的至少一项，所述目标相关资料信息包括地面行动的目的地所在位置信息、周边地标信息、相关地面目标信息中的至少一项，所述标注信息为所述无人机飞手或其他用户添加的，所述目标位置信息用于确定目标相对于所述地面人员所处的方位；

第一二模块，用于呈现所述无人机辅助信息所对应的地面行动辅助信息；

其中，所述地面行动辅助信息用于辅助地面人员的地面行动。

25.一种用于呈现地面行动辅助信息的无人机控制设备，其中，该无人机控制设备包括：

第二一模块，用于向对应的用户设备发送无人机辅助信息，以供所述用户设备呈现对应的地面行动辅助信息；所述无人机控制设备用于供无人机飞手控制无人机，并且所述无人机控制设备与所述用户设备通信，所述地面行动辅助信息用于辅助地面人员的地面行动，其中，所述无人机辅助信息包括目标相关资料信息、标注信息、目标位置信息、目标辅助跟踪信息中的至少一项，所述目标相关资料信息包括所述地面行动的目的地所在位置信息、周边地标信息、相关地面目标信息中的至少一项，所述标注信息为所述无人机飞手或其他用户添加的，所述目标位置信息用于确定目标相对于所述地面人员所处的方位。

26.一种用于呈现地面行动辅助信息的方法，其中，该方法包括：

无人机控制设备向对应的用户设备发送无人机辅助信息，其中，所述无人机辅助信息包括目标相关资料信息、标注信息、目标位置信息、目标辅助跟踪信息中的至少一项，所述目标相关资料信息包括地面行动的目的地所在位置信息、周边地标信息、相关地面目标信息中的至少一项，所述标注信息为无人机飞手或其他用户添加的，所述目标位置信息用于确定目标相对于所述地面人员所处的方位；

所述用户设备接收所述无人机控制设备所发送的无人机辅助信息，并呈现所述无人机辅助信息所对应的地面行动辅助信息；所述无人机控制设备用于供无人机飞手控制无人机，并且所述无人机控制设备与所述用户设备通信；

其中，所述地面行动辅助信息用于辅助地面人员的地面行动。

27.一种用于呈现地面行动辅助信息的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至23中任一项所述方法的操作。

28.一种包括指令的计算机可读介质，所述指令在被执行时使得***执行根据权利要求1至23中任一项所述方法的操作。

Images