CN115439635A - 一种呈现目标对象的标记信息的方法与设备 - Google Patents
一种呈现目标对象的标记信息的方法与设备 Download PDFInfo
- Publication number
- CN115439635A CN115439635A CN202210762152.XA CN202210762152A CN115439635A CN 115439635 A CN115439635 A CN 115439635A CN 202210762152 A CN202210762152 A CN 202210762152A CN 115439635 A CN115439635 A CN 115439635A
- Authority
- CN
- China
- Prior art keywords
- position information
- information
- augmented reality
- target object
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000003190 augmentative effect Effects 0.000 claims abstract description 230
- 239000003550 marker Substances 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000005291 magnetic effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请的目的是提供一种呈现目标对象的标记信息的方法与设备，具体包括：获取无人机设备拍摄的场景图像；获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。本申请通能够实现空间计算技术、增强现实技术与指挥***相结合，丰富指挥形式的同时，大幅提升指挥效率，为用户提供了良好的指挥环境。
Description
技术领域
本申请涉及通信领域，尤其涉及一种呈现目标对象的标记信息的技术。
背景技术
随着无人机产业迅速崛起，无人机应用探索之路日渐明晰，例如，警用无人机设备以高空全景视频采集而备受实战应用青睐，无人机设备以图传方式将高空全景画面传送至指挥中心用于重大事件全局指挥调度。但是，现有的指挥调度***，前后端指挥手段单一，主要侧重于双向音视频通话、文本、图片等方式，针对一些复杂多变的场景效率较低，且缺乏直观性。
发明内容
本申请的一个目的是提供一种呈现目标对象的标记信息的方法与设备。
根据本申请的一个方面，提供了一种呈现目标对象的标记信息的方法，该方法包括：
获取无人机设备拍摄的场景图像；
获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。
根据本申请的另一个方面，提供了一种呈现目标对象的标记信息的方法，应用于增强现实设备，其中，该方法包括：
获取执勤用户正在使用的增强现实设备的第一位姿信息，其中，所述第一位姿信息包括所述增强现实设备的第一位置信息及第一姿态信息，所述第一位姿信息用于结合对应目标对象的地理位置信息确定所述目标对象所述增强现实设备的实景中的叠加位置信息，并基于上所述叠加位置信息在所述实景中叠加呈现关于所述目标对象的标记内容。
根据本申请的一个方面，提供了一种呈现目标对象的标记信息的指挥设备，其中，该设备包括：
一一模块，用于获取无人机设备拍摄的场景图像；
一二模块，用于获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。
根据本申请的另一个方面，提供了一种呈现目标对象的标记信息的增强现实设备，其中，该设备包括：
二一模块，用于获取执勤用户正在使用的增强现实设备的第一位姿信息，其中，所述第一位姿信息包括所述增强现实设备的第一位置信息及第一姿态信息，所述第一位姿信息用于结合对应目标对象的地理位置信息确定所述目标对象所述增强现实设备的实景中的叠加位置信息，并基于上所述叠加位置信息在所述实景中叠加呈现关于所述目标对象的标记内容。
根据本申请的一个方面，提供了一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得***进行执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如上任一所述方法的步骤。
与现有技术相比，本申请通过指挥设备获取场景图像，并基于该场景图像确定目标对象的标记信息，从而在增强现实设备实景中叠加呈现该标记信息的标记内容，从而实现空间计算技术、增强现实技术与指挥***相结合，丰富指挥形式的同时，大幅提升指挥效率，为用户提供了良好的指挥环境。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种呈现目标对象的标记信息的方法流程图；
图2示出根据本申请另一个实施例的一种呈现目标对象的标记信息的方法流程图；
图3示出根据本申请一个实施例的一种指挥设备的设备结构图；
图4示出根据本申请另一个实施例的一种增强现实设备的设备结构图；
图5示出可被用于实施本申请中所述的各个实施例的示例性***。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作***，如Android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请的一个方面的一种呈现目标对象的标记信息的方法，应用于指挥设备，其中，该方法包括步骤S101以及步骤S102。在步骤S101中，获取无人机设备拍摄的场景图像；在步骤S102中，获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。在此，所述指挥设备包括但不限于用户设备、网络设备、用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的移动电子产品，例如手机、个人电脑、平板电脑等；所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。
所述指挥设备与对应无人机设备、增强现实设备等建立了通信连接，通过该通信连接进行相关数据的传输等。在一些情形下，该指挥设备与无人机设备和/或增强现实设备处于同一协同任务的协同执行状态，所述协同任务是指多个设备根据一定约束条件(例如，与目标对象的空间距离、时间约束、关于设备自身物理条件或者任务执行顺序等)以实现某个准则为目标的，共同完成的某项任务，该任务通常可以被分解成多个子任务，并分配至***中的各个设备，由各个设备分别去完成被分配的子任务，从而实现该协同任务的总任务进度的推进。对应协同任务在执行过程中由对应指挥设备充当该协同任务***的控制中心，对协同任务中各个设备的子任务等进行调控。在此，所述协同任务的任务参与设备包括指挥设备、一个或多个无人机设备以及一个或多个增强现实设备，对应指挥设备由指挥用户进行相应操作；无人机设备可以是基于指挥设备发送的采集指令/飞行路径规划指令等进行图像采集或者飞行等，还可以是由对应无人机飞手通过无人机设备的地面控制设备对无人机设备进行控制，该地面控制设备接收并呈现该指挥设备发送的控制指令，并由无人机飞手的控制操作实现对无人机设备的控制等；所述增强现实设备由对应执勤用户穿戴并进行控制，增强现实设备包括但不限于增强现实眼镜、增强现实头盔等。当然，在一些情形下，所述协同任务除了指挥设备、增强现实设备和/或无人机设备参与之外，还可以由网络设备进行三方数据传输和数据处理等，例如，无人机设备将对应场景图像发送至对应网络设备，指挥设备和/或增强现实设备等通过网络设备获取场景图像。
具体而言，在步骤S101中，获取无人机设备拍摄的场景图像。例如，无人机设备是指利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器，具有体积小、造价低、使用方便、对作战环境要求低、战场生存能力较强等优点。所述无人机设备可以采集特定区域的场景图像，例如，无人机设备基于预设飞行路线或者预先确定的目标地点在飞行过程中采集对应区域的场景图像，该无人机设备在采集场景图像过程中会记录该场景图像被采集时该无人机设备对应的摄像位姿信息，该摄像位姿信息包括该无人机设备的摄像装置在采集场景图像时的摄像位置信息及摄像姿态信息等。无人机设备或对应的地面控制设备可以将该场景图像发送至网络设备，并由网络设备发送至对应设备等，或者无人机设备或对应的地面控制设备可以与对应设备的通信连接直接将场景图像发送至该对应设备等，其中，对应设备包括指挥设备和/或增强现实设备。在一些情形下，该无人机设备在发送场景图像的过程中，还会将该场景图像对应的摄像位姿信息发送至对应设备或网络设备，如将该摄像位姿信息发送至指挥设备和/或增强现实设备或者网络设备等。具体地，例如，网络设备可以基于该协同任务，将处于协同任务执行状态的无人机设备采集的场景图像转发至指挥设备和/或增强现实设备等；或者，无人机设备实时将采集的场景图像传输至网络设备，指挥设备和/或增强现实设备向网络设备发送关于该无人机设备的图像获取请求，对应图像获取请求包含该无人机设备的设备标识信息，网络设备响应于图像获取请求，基于该无人机设备的设备标识信息调取该无人机设备采集的场景图像并将该场景图像发送至指挥设备和/或增强现实设备等。指挥设备和/或增强现实设备获取到对应场景图像后，在对应显示装置(例如，显示屏、投影仪等)中呈现该场景图像。
在步骤S102中，获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。例如，指挥设备包括数据采集装置，用于获取指挥用户的用户操作，例如，键盘、鼠标、触摸屏或者触控板、图像采集单元、语音输入单元等。例如，指挥用户的用户操作可以是指挥用户的手势动作或者语音指令，通过识别手势动作或语音指令生成标记信息；又如，指挥用户的用户操作可以是利用键盘、鼠标、触摸屏或者触控板等设备对场景图像直接的操作，如指挥用户通过鼠标在呈现的场景图像上进行框选、涂鸦或者添加其他编辑信息(例如，编辑文字、添加2D或者3D模型信息等)等操作。在一些实施例中，指挥设备在呈现无人机设备采集的场景图像同时，还可以呈现关于该场景图像的操作界面，指挥用户可以在操作界面中的控件进行操作，从而实现对场景图像中目标对象的标记，例如，指挥设备可以采集用户关于场景图像中的标记操作生成关于该目标对象的标记信息，具体地，标记信息包括但不限于对于场景图像中特定区域/特定位置/特定目标的框选、涂鸦或者添加其他编辑信息。该目标对象用于指示对应标记信息在场景图像中的标记区域中包含的物理对象等，如行人、车辆、地理位置/区域、建筑、街道或者其他标识物体等。对应标记信息包括用户操作确定的标记内容及该标记内容在场景图像中的图像位置信息，该标记内容由用户操作在场景图像的添加的信息确定，包括但不限于方框、圆形、线条、点、箭头、图片/视频、动画、三维模型等，优选地，标记内容还包括参数信息，如颜色、粗细等，对应图像位置信息用于指示该标记信息在场景图像对应图像/像素坐标系中的坐标信息，该坐标信息可以是该目标对象所处标记区域的区域坐标集合或者对应特定位置的位置坐标等。
在一些情形下，该所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，例如，协同任务中的任一参与设备(指挥设备、无人机设备、增强现实设备或者网络设备等)可以基于该图像位置信息及场景图像被采集时的摄像位姿信息计算确定该图像位置信息在现实世界对应的地理坐标系的地理位置信息。地理坐标系一般是指由经度、纬度和高度组成的坐标系，能够标示地球上的任何一个位置。不同地区可能会使用不同的参考椭球体，即使是使用相同的椭球体，也可能会为了让椭球体更好地吻合当地的大地水准面，而调整椭球体的方位，甚至大小。这就需要使用不同的大地测量***(Geodetic datum)来标识，例如，我国经常使用的CGCS2000与WGS84地理坐标系等。其中，WGS84为一种地理坐标系，是目前最流行的地理坐标***，也是目前广泛使用的GPS全球卫星定位***使用的坐标系。三维直角坐标系包括但不限于：站心坐标系、导航坐标系、NWU坐标系等。具体地，在获取场景图像对应的摄像位姿信息等同时，还可以获取多个地图点的空间位置信息，其中，所述空间位置信息包括对应地图点在三维直角坐标系中的空间坐标信息。在三维直角坐标系已知的情况下，地理位置信息从地理坐标系转换至三维直角坐标系对应的坐标变换也为已知的，基于该已知的坐标变换信息我们可以将处于地理坐标系中的地图点转换至三维直角坐标系中，从而基于地图点的地理坐标信息确定对应空间位置信息；进一步地，根据所述多个地图点的空间位置信息、目标点图像位置信息、所述摄像位置信息以及所述摄像姿态信息确定所述目标点在所述三维直角坐标系的目标空间位置信息，如在获取到已知的多个地图点的空间位置信息、所述目标点图像位置信息、所述摄像位置信息以及对应摄像姿态信息之后，由于摄像装置的内参已知，我们可以基于相机成像模型构建由相机光心通过目标点对应的图像位置信息的空间射线，基于该空间射线、多个地图点的空间位置信息及摄像位置信息确定目标点的目标空间位置信息。例如，我们可以假设该图像位置信息与该相机底片所在平面垂直(例如，无人机图像中心对应光轴与相机底片所在平面垂直等)，从而基于该底片所在平面的法向量及该图像位置信息确定对应空间射线信息，从而基于该空间射线信息及多个地图点组成的地面信息确定相应的交点，将该交点的空间坐标信息作为目标点的目标空间位置信息等。当然，若对应图像位置信息对应像素未处于图像中心，则基于底片确定的法向量与实际射线向量存在误差，此时，我们需要通过相机的成像模型、图像位置信息和摄像姿态信息确定对应图像位置信息的空间目标射线的向量信息，其中，空间目标射线由光心坐标和射线的向量信息描述。计算机设备确定对应空间目标射线的向量信息之后，可以基于该目标射线的向量信息、摄像位置信息以及多个地图点的空间位置信息，计算射线相对于地面的交点，从而将该交点的空间坐标信息作为目标点的目标空间位置信息等。最后，基于目标点的目标空间位置信息确定目标点在地理坐标系(如大地坐标系等)中的地理坐标信息。例如，计算机设备确定目标点的目标空间位置信息之后，利用可以将三维直角坐标系下的坐标信息从三维空间坐标系转成地理坐标系(例如，WGS84坐标系)并存储，便于后续的计算。其中，在一些实施例中，根据目标射线的向量信息、摄像位置信息以及多个地图点的空间位置信息确定目标点在三维直角坐标系的目标空间位置信息包括：基于摄像位置信息获取摄像装置的光心在三维直角坐标系中的光心空间位置信息；根据目标射线向量信息、多个地图点的空间位置信息、光心空间位置信息从多个地图点中确定距离目标射线最近的目标地图点；从多个地图点中除目标地图点之外的其他地图点中取两个地图点，与目标地图点构成对应空间三角形，并根据目标射线及对应空间三角形确定对应空间交点；将空间交点的空间坐标信息作为目标点的目标空间位置信息。
或者，我们可以根据目标点在无人机场景图像上的图像位置信息，以及无人机相机内参信息，确定目标点在相机坐标系中的当前位置信息；根据目标点在相机坐标系中的当前位置信息，以及基于无人机拍摄的场景图像时的拍摄参数信息确定的相机的外参，从而确定目标点在地理坐标系中的地理位置信息，其中，所述拍摄参数信息包括但不限于无人机设备的摄像装置的分辨率、视场角、相机的旋转角度以及无人机的飞行高度等。其中，若目标对象所处标记区域仅有1个点，则目标点对应的地理位置信息为目标对象对应的地理位置信息；若目标对象所处标记区域为多个点，则在一些实施例中，目标点用于指示该目标对象所处标记区域的一个点，基于目标对象所处标记区域中每个点的地理位置信息，我们可以确定该目标对象的地理坐标集合，从而确定该目标对象的地理位置信息。在另一些实施例中，目标点用于指示该目标对象所处标记区域中的一个或多个关键点(例如，角点坐标或者圆心等)，基于该一个或多个关键点的地理位置信息，我们可以确定该目标对象的地理坐标集合，如以基于多个角点的空间坐标计算每条边对应的线段的坐标表达式，从而确定每条边对应的坐标集合，对每条边的坐标集合进行汇总可以确定该目标对象的地理位置信息。
该地理位置信息的确定可以是发生在指挥设备端，还可以是发生在无人机设备、增强现实设备或者网络设备端等。例如，优选地，指挥设备端根据指挥用户关于场景图像中目标对象的用户操作确定的图像位置信息、该场景图像对应的摄像位姿信息计算确定目标对象的地理位置信息；又如，指挥设备确定对应图像位置信息之后，将该图像位置信息发送至无人机设备/增强现实设备/网络设备，由对应无人机设备/增强现实设备/网络设备基于对应场景图像、该场景图像对应的摄像位姿信息计算确定该目标对象的地理位置信息等，在此以网络设备计算确定该目标对象的地理位置信息为例进行介绍，指挥设备将图像位置信息发送至对应网络设备，并接收网络设备基于图像位置信息、场景图像的摄像位姿信息确定的地理位置信息。例如，协同任务除了由各执行端的用户参与之外，还包括用于数据传输和数据处理的网络设备端。在一些情形下，指挥设备基于指挥用户的用户操作确定对应标记信息后，将该标记信息发送至对应的网络设备，网络设备接收该标记信息，并基于标记信息中的图像位置信息及无人机设备传输至网络设备的该场景图像对应的摄像位姿信息，计算确定该目标对象的地理位置信息等。一方面，网络设备可以将该地理位置信息返回至指挥设备，供指挥设备基于地理位置信息对目标对象的标记内容进行叠加呈现，例如，在指挥设备端获取的无人机拍摄的实时场景图像中跟踪叠加呈现该目标对象的标记内容，或者在指挥设备获取的增强现实设备对应的实时实景中叠加呈现该目标对象的标记内容，还，或者在指挥设备呈现的关于目标对象的电子地图中呈现该目标对象的标记内容等。另一方面，网络设备可以进一步确定叠加位置信息，将叠加位置返回至供指挥设备，供指挥设备基于叠加位置信息对目标对象的标记内容进行叠加呈现。其中，将地理坐标系投影(如等矩形投影、墨卡托投影、高斯-克吕格投影、Lambert投影等)为2D平面描述，形成地图。电子地图遵循地理坐标系协议，是地理坐标系的映射，映射关系已知，即已知地理坐标系中的某一点，可以确定其在电子地图中的地图位置。如果已知电子地图上的地图位置信息，根据该位置信息也可确定在地理坐标系中的位置。
在一些实施例中，该地理位置信息确定后可以由对应的确定设备(如指挥设备、无人机设备)直接发送至执勤用户的增强现实设备，或者经网络设备转发至增强现实设备，由增强现实设备本地端计算确定该地理位置信息叠加显示于该增强现实设备当前实景画面中的叠加位置信息，例如，指挥设备/无人机设备/网络设备获取到对应地理位置信息后，将该地理位置信息发送至该增强现实设备，该增强现实设备可以基于接收到的地理位置信息及当前执勤摄像位姿信息等，确定标记内容叠加于显示屏幕的屏幕位置信息等，其中，执勤摄像位姿信息包括该增强现实设备的摄像装置的摄像位置信息及摄像姿态信息等，该摄像位置信息用于指示执勤用户当前的地理位置信息等。其中，若该地理位置信息的计算过程发生在增强现实设备端，则增强现实设备保留该地理位置信息，并将该地理位置信息发送至其他设备，或者发送至网络设备由网络设备发送至其他设备等。在另一些实施例中，该地理位置信息确定后并不发送至执勤用户的增强现实设备，而是直接将该地理位置信息叠加显示于该增强现实设备当前实景画面中的叠加位置信息发送至该增强现实设备。协同任务中的任一设备获取到该地理位置信息后，可以基于地理位置信息及增强现实设备的摄像装置的执勤摄像位姿信息计算确定该地理位置信息叠加显示于该增强现实设备当前实景画面中的叠加位置信息，该叠加位置信息用于指示该标记内容在增强现实设备的显示屏幕中的显示位置信息，如该显示屏幕对应屏幕/图像/像素坐标系的屏幕/图像/像素坐标点或集合等。同样地，在一些实施例中，某一设备端(如网络设备/增强现实设备/无人机设备/指挥设备)确定目标对象的地理位置信息后，可以直接发送给其它设备端，由其它设备在本地端确定该地理位置信息在增强现实设备的实景中对应的叠加位置信息/在实时场景图像中的实时场景图像位置信息/在电子地图中的地图位置信息，从而在增强现实设备、无人机设备和/或指挥设备对应的实景中叠加呈现该标记信息/显示的实时场景图像中叠加呈现该标记信息/显示的电子地图中叠加呈现该标记信息；在另一些实施例中，某一设备端(如网络设备/增强现实设备/无人机设备/指挥设备)可以进一步确定地理位置信息在增强现实设备的实景中对应的叠加位置信息/在实时场景图像中的实时场景图像位置信息/在电子地图中的地图位置信息，并发送至其它设备端，从而在增强现实设备、无人机设备和/或指挥设备对应的实景中叠加呈现该标记信息/显示的实时场景图像中叠加呈现该标记信息/显示的电子地图中叠加呈现该标记信息。在一些实施方式中，所述地理位置信息还用于确定所述目标对象在所述无人机设备拍摄的实时场景图像中的实时图像位置信息，并在所述增强现实设备和/或无人机设备呈现的实时场景图像中叠加呈现所述标记内容。例如，关于目标对象的标记信息，可以基于该标记信息中的图像位置信息计算得到对应的地理位置信息后将其存储于存储数据库(例如，指挥设备/增强现实设备/无人机设备进行本地存储或者网络设备端设立对应网络存储数据库等)中，方便关于该标记信息进行调用时，同时调用该标记信息对应的地理位置信息，基于该地理位置信息进行其他位置信息(例如，无人机设备的实时场景图像中的实时图像位置信息或者增强现实设备的实时采集的实景中的实时叠加位置信息等)计算转化等。例如，无人机设备端可以将对应实时场景图像直接通过通信连接发送至指挥设备/增强现实设备，或者经由网络设备发送至指挥设备或者增强现实设备等，对应增强现实设备可以在显示屏幕中呈现该实时场景图像，例如，以视频透视的方式在显示屏幕中呈现该实时场景图像，或者在显示屏幕中的一定屏幕区域中呈现该实时场景图像等。为了方便对于标记信息在实时场景图像中进行跟踪叠加呈现，无人机设备获取实时场景图像对应的实时飞行摄像位姿信息，在一些实施例中，对应增强现实设备/指挥设备可以直接通过与无人机设备的通信连接或者通过网络设备转发的方式获取到实时场景图像的实时飞行摄像位姿信息等，并结合该已计算确定的地理位置信息等，可以在本地端计算出对应实时场景图像中的叠加位置信息等，并在呈现的实时场景图像中跟踪叠加呈现该标记内容等。例如，设定无人机在某一位置时(如起飞位置)为三维直角坐标系(如站心坐标系、导航坐标系等)的原点；将标记信息对应的地理位置信息转换到该三维直角坐标系；获取无人机实时飞行的地理位置和姿态信息，将无人机的地理位置转换到该三维直角坐标系，基于无人机的姿态信息确定三维直角坐标系到无人机相机坐标系的旋转矩阵；基于标记信息的三维直角坐标、无人机位置对应的三维直角坐标、旋转矩阵和无人机的相机内参，确定标记信息在无人机采集的实时场景图像中的实时图像位置信息并呈现。在另一些实施例中，由某一设备端(例如，指挥设备/增强现实设备/无人机设备/网络设备端)获取到实时场景图像的实时飞行摄像位姿信息等，并结合该标记信息已计算确定的地理位置信息等，可以计算出该标记信息对应实时场景图像中的叠加位置信息等，然后将叠加位置信息发送到其它设备端，以在其它设备端呈现的实时场景图像中跟踪叠加呈现该标记内容等。在一些实施方式中，所述方法还包括步骤S103(未示出)，在步骤S103中，基于所述图像位置信息、所述场景图像的摄像位姿信息确定所述目标对象的地理位置信息。例如，指挥设备基于指挥用户的用户操作确定对应标记信息后，基于标记信息中的图像位置信息及无人机设备传输的该场景图像对应的摄像位姿信息，计算确定该目标对象的地理位置信息等，然后将该地理位置信息直接发送至协同任务的其它执行设备，如增强现实设备、无人机设备等，或者将该地理位置信息发送至网络设备，由网络设备发送至协同任务的其它执行设备。一方面，指挥设备可以将该地理位置信息发送至协同任务的其它执行设备，供其它执行设备基于地理位置信息进一步确定叠加位置信息从而对目标对象的标记内容进行叠加呈现，例如，在增强现实设备端获取的无人机拍摄的实时场景图像中跟踪叠加呈现该目标对象的标记内容，或者在增强现实设备获取的增强现实设备对应的实时实景中叠加呈现该目标对象的标记内容，还或者在增强现实设备呈现的关于目标对象的电子地图中呈现该目标对象的标记内容等。另一方面，指挥设备可以进一步确定叠加位置信息，将叠加位置返回至其它执行设备，供其它执行设备基于叠加位置信息对目标对象的标记内容进行叠加呈现。其中，
在一些实施方式中，所述方法还包括步骤S104(未示出)，在步骤S104中，呈现所述目标对象所处场景的电子地图；根据所述目标对象的地理位置信息确定所述目标对象在所述电子地图中的地图位置信息，并基于所述地图位置信息在所述电子地图中呈现所述标记内容。例如，指挥设备端可以调用该目标对象所处场景的电子地图，如指挥设备根据目标对象所处的地理位置信息，从本地数据库或者网络设备端确定该地理位置信息附近的电子地图，并呈现该电子地图。指挥设备还可以获取目标对象在电子地图中的地图位置信息，如在本地端基于地理位置信息进行投影转换确定对应电子地图中的地图位置信息，还或者接收其它设备端(如网络设备、无人机设备、增强现实设备)返回的地图位置信息等。指挥设备可以通过对应显示装置呈现该电子地图，并在电子地图中的地图位置信息对应区域呈现标记信息的标记内容，从而实现在电子地图中对于目标对象的标记信息进行叠加呈现。
在一些实施方式中，所述地理位置信息还用于在所述增强现实设备和/或无人机设备呈现的、关于所述目标对象所处场景的电子地图中叠加呈现所述标记内容。例如，所述地理位置信息可以是指挥设备端/增强现实设备端/无人机设备端计算确定的，也可以是网络设备端计算确定的。对应指挥设备、无人机设备或者增强现实设备可以通过各自显示装置呈现目标对象所处场景的电子地图，并基于地理位置信息获取目标对象的地图位置信息，从而在各自呈现的电子地图中叠加呈现标记内容，从而实现了在无人机设备拍摄的场景图像中对目标对象添加的标记信息同步呈现在电子地图中的目标对象的对应位置。其中，地图位置信息的获取可以是在各自设备本地端基于标记信息对应的地理位置信息进行投影转换确定，也可以是由网络设备计算完成后返回至各自设备，还可以是由某一设备端计算完成后发送至其它设备端等。
在一些实施方式中，所述方法还包括步骤S105(未示出)，在步骤S105中，获取并呈现电子地图，基于所述指挥用户在所述电子地图中操作对象的用户操作确定所述操作对象的操作标记信息，其中，所述操作标记信息包括对应的操作标记内容及所述操作标记内容在所述电子地图中的操作地图位置信息，其中，所述操作地图位置信息用于确定所述操作对象的操作地理位置信息并在所述增强现实设备的实景中和/或无人机设备拍摄的场景图像中叠加呈现所述操作标记内容。例如，指挥用户的用户操作可以是指挥用户的手势动作或者语音指令，通过识别手势动作或语音指令生成操作标记信息；又如，指挥用户的用户操作可以是利用键盘、鼠标、触摸屏或者触控板等设备对电子地图直接的操作，如指挥用户通过鼠标在呈现的电子地图上进行框选、涂鸦或者添加其他编辑信息(例如，编辑文字、添加2D或者3D模型信息等)等操作。在一些实施例中，例如，指挥设备在能够调用本地端或者网络设备端关于目标对象的电子地图，指挥设备在呈现该电子地图的同时，可以呈现关于该电子地图的操作界面，指挥用户可以通过操作界面对电子地图进行标记等，如在电子地图中框选一部分区域或者选中一个或多个位置标识等，指挥设备可以基于指挥用户的用户操作，将对应区域或者位置标识确定为操作对象，并生成该操作对象对应的操作标记信息，该操作标记信息包括对应操作标记内容及该操作标记内容在电子地图中的操作地图位置信息等，操作标记内容由用户操作在电子地图的添加的信息确定，包括但不限于方框、圆形、线条、点、箭头、图片/视频、动画、三维模型等，优选地，操作标记内容还包括参数信息，如颜色、粗细等。其中，该操作地图位置信息与目标对象的地图位置信息并无关联，可以是同一位置也可以是不同位置等。基于该操作地图位置信息，可以计算得到该操作对象对应的操作地理位置信息，例如，在指挥设备端本地计算对应操作地理位置信息，或者将操作地图位置信息发送至网络设备、增强现实设备或无人机设备计算确定对应操作地理位置信息等，优选地，指挥设备根据指挥用户在电子地图中操作对象的用户操作确定的操作地图位置信息计算确定操作对象对应的操作地理位置信息；又如，指挥设备确定对应操作地图位置信息之后，将该操作地图位置信息发送至无人机设备/增强现实设备/网络设备，由对应无人机设备/增强现实设备/网络设备基于对应操作地图位置信息计算确定该操作对象的操作地理位置信息等，在此以网络设备计算确定该操作对象的操作地理位置信息为例进行介绍，指挥设备将操作地图位置信息发送至对应网络设备，并接收网络设备基于操作地图位置信息确定的操作地理位置信息。例如，网络设备接收指挥设备发送的操作地图位置信息，并基于投影变换的反向变换确定该操作地图位置信息对应的操作地理位置信息。一方面，网络设备可以将该操作地理位置信息返回至指挥设备，供指挥设备基于操作地理位置信息对操作对象的标记内容进行叠加呈现，例如，在指挥设备端呈现的关于操作对象的实时的电子地图中呈现该操作对象的标记内容，或者在指挥设备获取的增强现实设备对应的实时实景中叠加呈现该操作对象的标记内容，还或者在指挥设备获取的无人机拍摄的实时场景图像中跟踪叠加呈现该操作对象的标记内容等。另一方面，网络设备可以进一步确定叠加位置信息，将叠加位置返回至供指挥设备，供指挥设备基于叠加位置信息对操作对象的标记内容进行叠加呈现。为了实现指挥设备对全局的指挥调度，增强现实设备和/或及无人机设备端也可以基于对应操作地理位置信息在实时获取的图像中叠加呈现该操作标记信息，在一些实施例中，例如，增强现实设备在本地端计算确定操作地理位置信息或接收其它设备(网络设备/指挥设备/无人机设备)发送的操作地理位置信息，并基于当前执勤摄像位姿信息，计算确定该操作地理位置信息在增强现实设备的实景中对应的叠加位置信息，从而在增强现实设备的实景中叠加呈现该操作标记信息；又如，增强现实设备显示无人机设备拍摄的实时场景图像，增强现实设备在本地端计算确定操作地理位置信息或接收其它设备(网络设备/指挥设备/无人机设备)发送的操作地理位置信息，并基于在无人机设备拍摄的实时场景图像对应的实时飞行摄像位姿信息，计算确定该操作地理位置信息实时场景图像中实时场景图像位置信息，从而在增强现实设备显示的实时场景图像中叠加呈现该操作标记信息；再如，增强现实设备在本地端计算确定操作地理位置信息或接收其它设备(网络设备/指挥设备/无人机设备)发送的操作地理位置信息，计算确定该操作地理位置信息在增强现实设备呈现的电子地图中的地图位置信息，从而在增强现实设备的电子地图中叠加呈现该操作标记信息；同样地，例如，无人机设备在本地端计算确定操作地理位置信息或接收其它设备(网络设备/指挥设备/增强现实设备)发送的操作地理位置信息，并基于在无人机设备拍摄的实时场景图像对应的实时飞行摄像位姿信息，计算确定该操作地理位置信息对应的实时场景图像中实时场景图像位置信息，从而在无人机设备的实时场景图像中叠加呈现该操作标记信息。又如，无人机设备在本地端计算确定操作地理位置信息或接收其它设备(网络设备/指挥设备/增强现实设备)发送的操作地理位置信息，计算确定该操作地理位置信息在无人机设备呈现的电子地图中的地图位置信息，从而在无人机设备的电子地图中叠加呈现该操作标记信息。再如，无人机设备在本地端计算确定操作地理位置信息或接收其它设备(网络设备/指挥设备/无人机设备)发送的操作地理位置信息，并基于当前执勤摄像位姿信息，计算确定该操作地理位置信息在无人机设备获取的增强现实设备的实景中对应的叠加位置信息，从而在无人机设备获取的增强现实设备的实景中叠加呈现该操作标记信息。在另一些实施例中，某一设备端(如网络设备/增强现实设备/无人机设备/指挥设备)可以进一步确定操作地理位置信息在增强现实设备的实景中对应的叠加位置信息/在实时场景图像中的实时场景图像位置信息/在电子地图中的地图位置信息，并发送至其它设备端，从而在增强现实设备、无人机设备和/或指挥设备对应的实景中叠加呈现该操作标记信息/显示的实时场景图像中叠加呈现该操作标记信息/显示的电子地图中叠加呈现该操作标记信息。通过以上技术，实现了在电子地图中对操作对象添加的操作标记信息同步呈现在增强现实设备的实景中和/或无人机设备拍摄的场景图像中的操作对象的对应位置。
如在一些实施方式中，所述方法还包括步骤S106(未示出)，在步骤S106中，基于所述操作地图位置信息确定所述操作对象的操作地理位置信息。例如，指挥设备根据操作地图位置信息，并基于投影变换的反向变换确定该操作地图位置信息对应的操作地理位置信息，在一些实施例中，指挥设备将该操作地理位置信息直接发送至协同任务的其它执行设备，如增强现实设备、无人机设备等，或者将该操作地理位置信息发送至网络设备，由网络设备发送至协同任务的其它执行设备，例如，供其它执行设备基于当前执勤摄像位姿信息，计算确定该操作地理位置信息在增强现实设备的实景中对应的叠加位置信息，从而在其它执行设备对应的实景中叠加呈现该操作标记信息，如在增强现实设备对应的实景中、在指挥设备或无人机设备获取的增强现实设备对应的实景中叠加呈现该操作对象的标记内容；又如，供其它执行设备基于在无人机设备拍摄的实时场景图像对应的实时飞行摄像位姿信息，计算确定该操作地理位置信息在实时场景图像中实时场景图像位置信息，从而在其它执行设备显示的实时场景图像中叠加呈现该操作标记信息；再如，供其它执行设备计算确定该操作地理位置信息在电子地图中的地图位置信息，从而在其它执行设备显示的电子地图中叠加呈现该操作标记信息。在另一些实施例中，指挥设备端可以进一步确定操作地理位置信息在增强现实设备的实景中对应的叠加位置信息/在实时场景图像中的实时场景图像位置信息/在电子地图中的地图位置信息，并发送至其它执行设备(如增强现实设备、无人机设备等)，从而在其它执行设备对应的实景/实时无人机画面/电子地图中叠加呈现该操作标记信息。
在一些实施方式中，所述操作地理位置信息还用于在所述增强现实设备和/或无人机设备呈现的、关于所述操作对象所处场景的电子地图中叠加呈现所述操作标记内容。例如，无人机设备或者增强现实设备还可以调用操作对象所处场景的电子地图，在一些实施例中，无人机设备或者增强现实设备从其它设备端(如指挥设备或者网络设备等)获取对应操作地理位置信息，并基于操作地理位置信息在对应电子地图中叠加呈现操作标记内容，例如，无人机设备对应地面控制中心可以呈现对应电子地图，并基于获取的操作地理位置信息通过投影转换确定对应操作地图位置信息，从而在电子地图的操作地图位置信息叠加呈现操作对象的操作标记内容；还例如，增强现实设备可以通过现实屏幕呈现对应电子地图，并基于获取的操作地理位置信息通过投影转换确定对应操作地图位置信息，从而在电子地图的操作地图位置信息叠加呈现操作对象的操作标记内容。在一些实施例中，无人机设备或者增强现实设备可以从其它设备端(如指挥设备或者网络设备等)获取操作地理位置信息对应的操作地图位置信息，从而在呈现的电子地图的操作地图位置信息叠加呈现操作对象的操作标记内容。
在一些实施方式中，所述方法还包括步骤S107(未示出)，在步骤S107中，获取所述增强现实设备的第一地图位置信息和/或所述无人机设备的第二地图位置信息，并在所述电子地图中基于所述第一地图位置信息标识所述增强现实设备，和/或基于第二地图位置信息标识所述无人机设备。例如，增强现实设备包括对应位置传感装置(例如，位置传感器等)，可以获取该增强现实设备的第一地理位置信息，同理，无人机设备包括对应位置传感装置，可以获取无人机设备的第二地理位置信息。指挥设备可以获取到该第一地理位置信息或者第二地理位置信息，并基于投影转换确定对应第一地理位置信息对应的第一地图位置信息和/或第二地理位置信息对应的第二地图位置信息等。或者，网络设备可以接收增强现实设备和/或无人机设备上传的第一地理位置信息和/或第二地理位置信息等，并基于投影转换确定对应第一地图位置信息和/或第二地图位置信息等，网络设备可以将该第一地图位置信息和/或第二地地图位置信息发送至对应指挥设备，供指挥设备在电子地图中进行位置标识。指挥设备获取到增强现实设备的第一地图位置信息和/或无人机设备的第二地图位置信息后，可以在电子地图中基于所述第一地图位置信息标识所述增强现实设备，和/或基于第二地图位置信息标识所述无人机设备，例如，在第一地图位置信息呈现增强现实设备对应执勤用户的用户头像、编号或者序列号等对增强现实设备进行标识，和/或，在第二地图位置信息呈现无人机设备的设备头像、编号或者无人机飞手的头像、编号等对无人机设备进行标识。
在一些实施方式中，所述方法还包括步骤S108(未示出)，在步骤S108中，获取并呈现关于目标对象所处场景的电子地图，其中，所述电子地图包括多个候选无人机设备的设备标识信息；其中，在步骤S101中，基于所述指挥用户关于所述多个候选无人机设备的设备标识信息之一的调用操作，获取所述多个候选无人机设备的设备标识信息之一的无人机设备拍摄的场景图像，所述无人机设备处于所述协同任务的协同执行状态。例如，指挥设备可以调用目标对象所处场景的电子地图，例如，指挥设备从本地端或者网络设备端调用任务区域的电子地图。若该电子地图当前区域中存在多个候选无人机设备，指挥设备可以在该电子地图中标识出该多个无人机设备，例如，指挥设备基于各个无人机设备的地理位置信息获取各个无人机设备的地图位置信息，并在电子地图的对应地图位置信息呈现各个无人机设备的设备标识信息，对应设备标识信息包括但不限于无人机设备的设备序列号、头像、编号或者无人机飞手的飞手头像、名称、编号等。指挥用户可以在电子地图的操作界面点击对应候选无人机设备对应的设备标识信息，通过调用该候选无人机设备的采集图像作为对应场景图像，将该候选无人机设备确定为协同任务执行的参与设备等。或者，该多个候选无人机设备均为协同任务的参与设备，指挥设备基于指挥用户的操作随时从多个候选无人机设备中调用合适的无人机设备获取场景图像实现对地图中对应的多角度观察和跟踪等。
在一些实施方式中，所述方法还包括步骤S109(未示出)，在步骤S109中，获取所述指挥用户的任务创建操作，其中，所述任务创建操作包括关于所述无人机设备的设备标识信息和/或所述增强现实设备的设备标识信息的选中操作，所述任务创建操作用于建立关于所述指挥设备及所述无人机设备和/或所述增强现实设备的协同任务。例如，所述协同任务由指挥设备的指挥用户创建，例如，指挥用户可以获取到当前区域的一个或多个无人机设备的设备标识信息及一个或多个增强现实设备的设备标识信息等，并在对应任务创建界面中添加指挥用户期望进行协同任务的设备标识信息，或者指挥用户可以在创建界面输入对应约束条件，并基于约束条件从一个或多个无人机设备和/或一个或多个增强现实设备中确定相适配的一个或多个设备标识信息，从而基于该一个或多个设备标识信息确定对应任务创建过程，例如，基于该一个或多个设备标识信息建立与一个或多个设备标识信息对应无人机设备和/或增强现实设备的通信连接从而实现指挥设备与其共同执行对应协同任务；或者基于该一个或多个设备标识信息生成对应任务创建请求，并将该任务创建请求发送至网络设备，网络设备向一个或多个设备标识信息对应无人机设备和/或增强现实设备发送对应任务建立请求，若获取到关于任务建立请求的确认操作，建立关于指挥设备以及一个或多个设备标识信息对应无人机设备和/或增强现实设备的协同任务等。
在一些实施方式中，所述协同任务包括多个子任务，所述增强现实设备属于目标子任务的执行设备之一，所述目标子任务属于所述多个子任务之一。例如，对应协同任务包括多个子任务，例如，对各个设备进行不同的任务分工，例如，对于目标人物的抓捕协同任务可以规划为抓捕子任务、拦截子任务或者监视子任务等。指挥设备可以对不同子任务下发不同的任务指令，例如，对于抓捕子任务，指挥设备可以下发抓捕路线的任务指令，对于拦截子任务，指挥设备可以下发拦截路线的任务指令等。对应增强现实设备的执勤人员属于多个子任务之一的目标子任务的执行设备之一，指挥设备可以通过选择不同的子任务，从而向不同子任务对应的所有执行设备下发对应执行指令，例如，对同一子任务的所有执行设备同时建立通信连接并进行语音指令调度等，如在一些实施方式中，所述方法还包括步骤S110(未示出)，在步骤S110中，将关于所述目标子任务的子任务执行指令发送至所述目标子任务的所有执行设备，以通过所述目标子任务的所有执行设备呈现所述执行指令。例如，指挥设备可以向该协同任务的某一子任务的全部执勤设备发送指令，用于针对单任务多个人员的协作模式等。该子任务的多个执行设备可以通过编队的方式，完成小组编队。例如，指挥设备可以基于指挥人员的选择确定对应小组人员/小组设备，又如，参与当前协同任务的执行设备预先确定了对应人员/小组设备等。指挥设备可以通过获取指挥人员的点击操作选择具体子任务对应的小组，也可以通过语音指令选择具体子任务对应的小组等，将当前协同任务的调度模式从全局指挥变为定向指挥；此时指挥人员对场景图像中目标对象的用户操作确定的标记信息和/或电子地图中操作对象的用户操作确定的操作标记信息将下发给选中小组内的所有执行设备，供所述目标子任务的所有执行设备呈现所述执行指令，而非选中小组的执行设备无法获取该标记信息和该操作标记信息。当然，在一些情形下，该指挥设备还可以基于指挥用户关于某一特定设备标识信息的触控操作，实现对该具体设备标识信息对应的单一设备的调度等，例如，向该单一设备下发对应调度指令等。
图2示出根据本申请的一个方面的一种呈现目标对象的标记信息的方法，应用于增强现实设备，该方法包括步骤S201，在步骤S201中，获取执勤用户正在使用的增强现实设备的第一位姿信息，其中，所述第一位姿信息包括所述增强现实设备的第一位置信息及第一姿态信息，所述第一位姿信息用于结合对应目标对象的地理位置信息确定所述目标对象所述增强现实设备的实景中的叠加位置信息，并基于上所述叠加位置信息在所述实景中叠加呈现关于所述目标对象的标记内容。
例如，所述执勤用户用于指示增强现实设备的穿戴用户，该增强现实设备与对应指挥设备和/或无人机设备正在执行同一协同任务。目标对象的地理位置信息可以是指挥设备基于指挥用户在场景图像中的用户操作确定的图像位置信息结合场景图像的飞行摄像位姿信息确定的，还可以指挥用户在电子地图中关于目标对象的用户操作确定的地图位置信息经过投影转换确定的。该地理位置信息可以是由相应设备(如增强现实设备、无人机设备、指挥设备)本地计算得到，也可以是由网络设备计算得到。在一些实施例中，增强现实设备端可以获取目标对象的地理位置信息，然后基于增强现实设备的实时位姿信息确定目标对象在增强现实设备的实景中的叠加位置信息，例如，增强现实设备本地端计算确定目标对象的地理位置信息，又如，指挥设备/无人机设备计算后直接发送至该增强现实设备，还可以是由网络设备计算确定并发送至增强现实设备等。在另一些实施例中，其它设备端(如网络设备、无人机设备、指挥设备)可以基于地理位置信息和增强现实设备的实时位姿信息确定目标对象在增强现实设备的实景中的叠加位置信息，并将该叠加位置发送至增强现实设备。
增强现实设备可以实时获取该增强现实设备的摄像装置对应的第一位姿信息，该第一位姿信息所述增强现实设备的第一位置信息及第一姿态信息。我们根据第一位姿信息及该地理位置信息可以计算确定目标对象在增强现实设备的实景画面中的叠加位置信息，并基于该叠加位置信息在增强现实设备的显示屏幕中叠加呈现对应标记内容等。具体地，设定增强现实设备在某一位置时(如执勤人员起始位置)为三维直角坐标系(如站心坐标系、导航坐标系等)的原点；将标记信息的地理位置信息转换到该三维直角坐标系；获取增强现实设备实时的地理位置和姿态信息，将增强现实设备的地理位置转换到该三维直角坐标系，基于增强现实设备的姿态信息确定三维直角坐标系到增强现实设备的相机坐标系的旋转矩阵；基于标记信息的三维直角坐标、增强现实设备位置对应的三维直角坐标、旋转矩阵和增强现实设备相机内参，确定标记信息在增强现实设备屏幕中的叠加位置信息。其中，该叠加位置信息计算过程可以是发生在增强现实设备本地，还可以是由其它设备(如网络设备、增强现实设备、无人机设备等)基于地理位置信息及第一位姿信息计算完成后返回至增强现实设备等。
在一些情形下，该增强现实设备的实景画面可以传输至对应指挥设备和/或无人机设备，并在指挥设备的显示装置和/或无人机设备的控制设备中呈现。同理，对应目标对象的标记内容基于对应叠加位置信息呈现该指挥设备/无人机控制设备的显示装置中，对应叠加位置信息可以是网络设备/增强现实设备确定并发送至对应指挥设备和/无人机控制设备，还可以由对应指挥设备/无人机控制设备基于第一位姿信息(例如，增强现实设备直接发送或者网络设备转发等)及该目标对象的地理位置信息在各自本地端计算确定的。如在一些实施方式中，所述方法还包括步骤S202(未示出)，在步骤S202中，将所述第一位姿信息发送至对应网络设备；其中，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态；接收所述网络设备返回的、关于目标对象在所述增强现实设备的实景中的待叠加的标记内容及所述标记内容的叠加位置信息，其中，所述叠加位置信息由所述第一位姿信息及所述目标对象的地理位置信息确定，所述地理位置信息由所述目标对象在对应无人机设备拍摄的场景图像中关于所述标记内容的图像位置信息确定，所述标记内容、所述图像位置信息由对应指挥设备关于所述场景图像的用户操作确定，所述指挥设备、所述无人机设备与所述增强现实设备处于同一协同任务的协同执行状态。例如，对应叠加位置信息的计算可以是在网络设备进行，增强现实设备将对应第一位姿信息上传至网络设备，网络设备可以基于该第一位姿信息及目标对象的地理位置信息计算确定对应叠加位置信息，其中，该地理位置信息可以是网络设备基于无人机设备的飞行摄像位姿信息及目标对象的图像位置信息计算确定，还可以是接收指挥设备/无人机设备/增强现实设备基于无人机设备的飞行摄像位姿信息及目标对象的图像位置信息计算确定的地理位置信息等。
在一些实施方式中，所述协同任务包括多个子任务，所述增强现实设备属于目标子任务的执行设备之一，所述目标子任务属于所述多个子任务之一；其中，所述方法还包括步骤S203(未示出)，在步骤S203中，接收并呈现所述指挥设备向所述增强现实设备发送的关于所述目标子任务的子任务执行指令，其中，所述子任务执行指令呈现于所述目标子任务的所有执行设备。例如，对应协同任务包括多个子任务，例如，对各个设备进行不同的任务分工，例如，对于目标人物的抓捕协同任务可以规划为抓捕子任务、拦截子任务或者监视子任务等。指挥设备可以对不同子任务下发不同的任务指令，例如，对于抓捕子任务，指挥设备可以下发抓捕路线的任务指令，对于拦截子任务，指挥设备可以下发拦截路线的任务指令等。对应增强现实设备的执勤人员属于多个子任务之一的目标子任务的执行设备之一，指挥设备可以通过选择不同的子任务，从而向不同子任务对应的所有执行设备下发对应执行指令，例如，对同一子任务的所有执行设备同时建立通信连接并进行语音指令调度等。指挥设备可以向该协同任务的某一子任务的全部执勤设备发送指令，用于针对单任务多个人员的协作模式等。该子任务的多个执行设备可以通过编队的方式，完成小组编队。例如，指挥设备可以基于指挥人员的选择确定对应小组人员/小组设备，又如，参与当前协同任务的执行设备预先确定了对应人员/小组设备等。指挥设备可以通过获取指挥人员的点击操作选择具体子任务对应的小组，也可以通过语音指令选择具体子任务对应的小组等，将当前协同任务的调度模式从全局指挥变为定向指挥；此时指挥人员对场景图像中目标对象的用户操作确定的标记信息和/或电子地图中操作对象的用户操作确定的操作标记信息将下发给选中小组内的所有执行设备，供所述目标子任务的所有执行设备呈现所述执行指令，而非选中小组的执行设备无法获取该标记信息和该操作标记信息。当然，在一些情形下，该指挥设备还可以基于指挥用户关于某一特定设备标识信息的触控操作，实现对该具体设备标识信息对应的单一设备的调度等，例如，向该单一设备下发对应调度指令等。
在一些实施方式中，所述方法还包括步骤S204(未示出)，在步骤S204中，获取对应无人机设备拍摄的、关于所述目标对象的场景图像，及对应标记内容在所述场景图像中的图像位置信息；呈现所述场景图像并在所述场景图像根据所述图像位置信息叠加呈现所述标记内容。例如，所述增强现实设备还可以获取无人机拍摄的关于目标对象的场景图像，该场景图像可以是直接从无人机设备端获取，还可以是从网络设备基于无人机设备的设备标识信息调用从而获取。其中，无人机设备端可以将对应场景图像直接通过通信连接发送至指挥设备/增强现实设备，或者经由网络设备发送至指挥设备或者增强现实设备等，对应增强现实设备可以在显示屏幕中呈现该场景图像，例如，以视频透视的方式在显示屏幕中呈现该场景图像，或者在显示屏幕中的一定屏幕区域中呈现该场景图像等。为了方便对于标记信息在场景图像中进行叠加呈现，无人机设备获取场景图像对应的飞行摄像位姿信息，在一些实施例中，对应增强现实设备可以直接通过与无人机设备的通信连接或者通过网络设备转发的方式获取到场景图像的飞行摄像位姿信息等，并结合该已计算确定的目标对象的地理位置信息等，可以计算出对应场景图像中的图像位置信息等，并在呈现的场景图像中叠加呈现该标记内容等。在另一些实施例中，其它设备(如网络设备、指挥设备、无人机设备)获取到场景图像的飞行摄像位姿信息等，并结合该已计算确定的目标对象的地理位置信息等，可以计算出对应场景图像中的叠加位置信息等，将叠加位置信息发送至增强现实设备，并在增强现实设备呈现的场景图像中叠加呈现该标记内容等。
在一些实施方式中，所述方法还包括步骤S205(未示出)，在步骤S205中，获取所述目标对象所处场景的电子地图及所述目标在所述电子地图中的地图位置信息；呈现所述电子地图并基于所述地图位置信息在所述电子地图中叠加呈现所述标记内容。例如，增强现实设备端可以调用该目标对象所处场景的电子地图，如增强现实设备根据目标对象所处的地理位置信息，从本地数据库或者网络设备端确定该地理位置信息附近的电子地图，并呈现该电子地图。增强现实设备还可以获取目标对象在电子地图中的地图位置信息，如在本地端基于地理位置信息进行投影转换确定对应电子地图中的地图位置信息，还或者其它设备端(如网络设备、指挥设备、无人机设备)基于地理位置信息进行投影转换确定对应电子地图中的地图位置信息，发送至增强现实设备等。增强现实设备可以通过对应显示装置呈现该电子地图，并在电子地图中的地图位置信息对应区域呈现标记信息的标记内容，从而实现在电子地图中对于目标对象的标记信息进行叠加呈现。
上文主要对本申请的一种呈现目标对象的标记信息的各实施例进行了具体介绍，此外，本申请还提供了能够实施上述各实施例的具体设备，下面我们结合图3、图4进行介绍。
图3示出了根据本申请的一个方面的一种呈现目标对象的标记信息的指挥设备100，其中，该设备包括一一模块101以及一二模块102。一一模块101，用于获取无人机设备拍摄的场景图像；一二模块102，用于获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。
在一些实施方式中，所述地理位置信息还用于确定所述目标对象在所述无人机设备拍摄的实时场景图像中的实时图像位置信息，并在所述增强现实设备和/或无人机设备呈现的实时场景图像中叠加呈现所述标记内容。
在此，所述图3示出的一一模块101以及一二模块102对应的具体实施方式与前述图1示出的步骤S101、步骤S102的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括一三模块(未示出)，用于基于所述图像位置信息、所述场景图像的摄像位姿信息确定所述目标对象的地理位置信息。
在一些实施方式中，所述设备还包括一四模块(未示出)，用于呈现所述目标对象所处场景的电子地图；根据所述目标对象的地理位置信息确定所述目标对象在所述电子地图中的地图位置信息，并基于所述地图位置信息在所述电子地图中呈现所述标记内容。
在一些实施方式中，所述地理位置信息还用于在所述增强现实设备和/或无人机设备呈现的、关于所述目标对象所处场景的电子地图中叠加呈现所述标记内容。
在一些实施方式中，所述设备还包括一五模块(未示出)，用于获取并呈现电子地图，基于所述指挥用户在所述电子地图中操作对象的用户操作确定所述操作对象的操作标记信息，其中，所述操作标记信息包括对应的操作标记内容及所述操作标记内容在所述电子地图中的操作地图位置信息，其中，所述操作地图位置信息用于确定所述操作对象的操作地理位置信息并在所述增强现实设备的实景中和/或无人机设备拍摄的场景图像中叠加呈现所述操作标记内容。在一些实施方式中，所述设备还包括一六模块(未示出)，用于基于所述操作地图位置信息确定所述操作对象的操作地理位置信息。
在一些实施方式中，所述操作地理位置信息还用于在所述增强现实设备和/或无人机设备呈现的、关于所述操作对象所处场景的电子地图中叠加呈现所述操作标记内容。
在一些实施方式中，所述设备还包括一七模块(未示出)，用于获取所述增强现实设备的第一地图位置信息和/或所述无人机设备的第二地图位置信息，并在所述电子地图中基于所述第一地图位置信息标识所述增强现实设备，和/或基于第二地图位置信息标识所述无人机设备。
在一些实施方式中，所述设备还包括一八模块(未示出)，用于获取并呈现关于目标对象所处场景的电子地图，其中，所述电子地图包括多个候选无人机设备的设备标识信息；其中，一一模块101，用于基于所述指挥用户关于所述多个候选无人机设备的设备标识信息之一的调用操作，获取所述多个候选无人机设备的设备标识信息之一的无人机设备拍摄的场景图像，所述无人机设备处于所述协同任务的协同执行状态。
在一些实施方式中，所述设备还包括一九模块(未示出)，用于获取所述指挥用户的任务创建操作，其中，所述任务创建操作包括关于所述无人机设备的设备标识信息和/或所述增强现实设备的设备标识信息的选中操作，所述任务创建操作用于建立关于所述指挥设备及所述无人机设备和/或所述增强现实设备的协同任务。
在一些实施方式中，所述协同任务包括多个子任务，所述增强现实设备属于目标子任务的执行设备之一，所述目标子任务属于所述多个子任务之一。在一些实施方式中，所述设备还包括一十模块(未示出)，用于将关于所述目标子任务的子任务执行指令发送至所述目标子任务的所有执行设备，以通过所述目标子任务的所有执行设备呈现所述执行指令。
在此，所述一三模块至一十模块对应的具体实施方式与前述步骤S103至步骤S110的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
图4示出根据本申请的一个方面的一种呈现目标对象的标记信息的增强现实设备，该设备包括二一模块201，用于获取执勤用户正在使用的增强现实设备的第一位姿信息，其中，所述第一位姿信息包括所述增强现实设备的第一位置信息及第一姿态信息，所述第一位姿信息用于结合对应目标对象的地理位置信息确定所述目标对象所述增强现实设备的实景中的叠加位置信息，并基于上所述叠加位置信息在所述实景中叠加呈现关于所述目标对象的标记内容。
在此，所述二一模块201对应的具体实施方式与前述步骤S201的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括二二模块(未示出)，用于将所述第一位姿信息发送至对应网络设备；其中，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态；接收所述网络设备返回的、关于目标对象在所述增强现实设备的实景中的待叠加的标记内容及所述标记内容的叠加位置信息，其中，所述叠加位置信息由所述第一位姿信息及所述目标对象的地理位置信息确定，所述地理位置信息由所述目标对象在对应无人机设备拍摄的场景图像中关于所述标记内容的图像位置信息确定，所述标记内容、所述图像位置信息由对应指挥设备关于所述场景图像的用户操作确定，所述指挥设备、所述无人机设备与所述增强现实设备处于同一协同任务的协同执行状态。
在一些实施方式中，所述协同任务包括多个子任务，所述增强现实设备属于目标子任务的执行设备之一，所述目标子任务属于所述多个子任务之一；其中，所述设备还包括二三模块(未示出)，用于接收并呈现所述指挥设备向所述增强现实设备发送的关于所述目标子任务的子任务执行指令，其中，所述子任务执行指令呈现于所述目标子任务的所有执行设备。
在一些实施方式中，所述设备还包括二四模块(未示出)，用于获取对应无人机设备拍摄的、关于所述目标对象的场景图像，及对应标记内容在所述场景图像中的图像位置信息；呈现所述场景图像并在所述场景图像根据所述图像位置信息叠加呈现所述标记内容。
在一些实施方式中，所述设备还包括二五模块(未示出)，用于获取所述目标对象所处场景的电子地图及所述目标在所述电子地图中的地图位置信息；呈现所述电子地图并基于所述地图位置信息在所述电子地图中叠加呈现所述标记内容。
在此，所述二二模块至二五模块对应的具体实施方式与前述步骤S202至步骤S205的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图5示出了可被用于实施本申请中所述的各个实施例的示例性***；
如图5所示在一些实施例中，***300能够作为各所述实施例中的任意一个设备。在一些实施例中，***300可包括具有指令的一个或多个计算机可读介质(例如，***存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，***控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与***控制模块310通信的任意适当的设备或组件提供任意适当的接口。
***控制模块310可包括存储器控制器模块330，以向***存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
***存储器315可被用于例如为***300加载和存储数据和/或指令。对于一个实施例，***存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，***控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为***300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为***300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。***300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，***300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (23)
1.一种呈现目标对象的标记信息的方法，应用于指挥设备，其中，该方法包括：
获取无人机设备拍摄的场景图像；
获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。
2.根据权利要求1所述的方法，其中，所述地理位置信息还用于确定所述目标对象在所述无人机设备拍摄的实时场景图像中的实时图像位置信息，并在所述增强现实设备和/或无人机设备呈现的实时场景图像中叠加呈现所述标记内容。
3.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述图像位置信息、所述场景图像的摄像位姿信息确定所述目标对象的地理位置信息。
4.根据权利要求1所述的方法，其中，所述方法还包括：
呈现所述目标对象所处场景的电子地图；
根据所述目标对象的地理位置信息确定所述目标对象在所述电子地图中的地图位置信息，并基于所述地图位置信息在所述电子地图中呈现所述标记内容。
5.根据权利要求1所述的方法，其中，所述地理位置信息还用于在所述增强现实设备和/或无人机设备呈现的、关于所述目标对象所处场景的电子地图中叠加呈现所述标记内容。
6.根据权利要求1所述的方法，其中，所述方法还包括：
获取并呈现电子地图，基于所述指挥用户在所述电子地图中操作对象的用户操作确定所述操作对象的操作标记信息，其中，所述操作标记信息包括对应的操作标记内容及所述操作标记内容在所述电子地图中的操作地图位置信息，其中，所述操作地图位置信息用于确定所述操作对象的操作地理位置信息并在所述增强现实设备的实景中和/或无人机设备拍摄的场景图像中叠加呈现所述操作标记内容。
7.根据权利要求6所述的方法，其中，所述方法还包括：
基于所述操作地图位置信息确定所述操作对象的操作地理位置信息。
8.根据权利要求6所述的方法，其中，所述操作地理位置信息还用于在所述增强现实设备和/或无人机设备呈现的、关于所述操作对象所处场景的电子地图中叠加呈现所述操作标记内容。
9.根据权利要求4至8中任一项所述的方法，其中，所述方法还包括：
获取所述增强现实设备的第一地图位置信息和/或所述无人机设备的第二地图位置信息，并在所述电子地图中基于所述第一地图位置信息标识所述增强现实设备，和/或基于第二地图位置信息标识所述无人机设备。
10.根据权利要求1所述的方法，其中，所述方法还包括：
获取并呈现关于目标对象所处场景的电子地图，其中，所述电子地图包括多个候选无人机设备的设备标识信息；
其中，所述获取无人机设备拍摄的场景图像，包括：
基于所述指挥用户关于所述多个候选无人机设备的设备标识信息之一的调用操作，获取所述多个候选无人机设备的设备标识信息之一的无人机设备拍摄的场景图像，所述无人机设备处于所述协同任务的协同执行状态。
11.根据权利要求1所述的方法，其中，所述方法还包括：
获取所述指挥用户的任务创建操作，其中，所述任务创建操作包括关于所述无人机设备的设备标识信息和/或所述增强现实设备的设备标识信息的选中操作，所述任务创建操作用于建立关于所述指挥设备及所述无人机设备和/或所述增强现实设备的协同任务。
12.根据权利要求11所述的方法，其中，所述协同任务包括多个子任务，所述增强现实设备属于目标子任务的执行设备之一，所述目标子任务属于所述多个子任务之一。
13.根据权利要求12所述的方法，其中，所述方法还包括：
将关于所述目标子任务的子任务执行指令发送至所述目标子任务的所有执行设备，以于所述目标子任务的所有执行设备呈现所述执行指令。
14.一种呈现目标对象的标记信息的方法，应用于增强现实设备，其中，该方法包括：
获取执勤用户正在使用的增强现实设备的第一位姿信息，其中，所述第一位姿信息包括所述增强现实设备的第一位置信息及第一姿态信息，所述第一位姿信息用于结合对应目标对象的地理位置信息确定所述目标对象所述增强现实设备的实景中的叠加位置信息，并基于上所述叠加位置信息在所述实景中叠加呈现关于所述目标对象的标记内容。
15.根据权利要求14所述的方法，其中，所述方法还包括：
将所述第一位姿信息发送至对应网络设备；其中，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态；
接收所述网络设备返回的、关于目标对象在所述增强现实设备的实景中的待叠加的标记内容及所述标记内容的叠加位置信息，其中，所述叠加位置信息由所述第一位姿信息及所述目标对象的地理位置信息确定，所述地理位置信息由所述目标对象在对应无人机设备拍摄的场景图像中关于所述标记内容的图像位置信息确定，所述标记内容、所述图像位置信息由对应指挥设备关于所述场景图像的用户操作确定，所述指挥设备、所述无人机设备与所述增强现实设备处于同一协同任务的协同执行状态。
16.根据权利要求14或15所述的方法，其中，所述协同任务包括多个子任务，所述增强现实设备属于目标子任务的执行设备之一，所述目标子任务属于所述多个子任务之一；其中，所述方法还包括：
接收并呈现所述指挥设备向所述增强现实设备发送的关于所述目标子任务的子任务执行指令，其中，所述子任务执行指令呈现于所述目标子任务的所有执行设备。
17.根据权利要求14所述的方法，其中，所述方法还包括：
获取对应无人机设备拍摄的、关于所述目标对象的场景图像，及对应标记内容在所述场景图像中的图像位置信息；
呈现所述场景图像并在所述场景图像根据所述图像位置信息叠加呈现所述标记内容。
18.根据权利要求14所述的方法，其中，所述方法还包括：
获取所述目标对象所处场景的电子地图及所述目标在所述电子地图中的地图位置信息；
呈现所述电子地图并基于所述地图位置信息在所述电子地图中叠加呈现所述标记内容。
19.一种呈现目标对象的标记信息的指挥设备，其中，该设备包括：
一一模块，用于获取无人机设备拍摄的场景图像；
一二模块，用于获取指挥设备的指挥用户关于所述场景图像中目标对象的用户操作，基于所述用户操作生成关于所述目标对象的标记信息，其中，所述标记信息包括对应的标记内容及所述标记内容在所述场景图像中的图像位置信息，所述图像位置信息用于确定所述目标对象的地理位置信息并在执勤用户的增强现实设备的实景中叠加呈现所述标记内容，所述增强现实设备与所述指挥设备处于同一协同任务的协同执行状态。
20.一种呈现目标对象的标记信息的增强现实设备，其中，该设备包括：
二一模块，用于获取执勤用户正在使用的增强现实设备的第一位姿信息，其中，所述第一位姿信息包括所述增强现实设备的第一位置信息及第一姿态信息，所述第一位姿信息用于结合对应目标对象的地理位置信息确定所述目标对象所述增强现实设备的实景中的叠加位置信息，并基于上所述叠加位置信息在所述实景中叠加呈现关于所述目标对象的标记内容。
21.一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至18中任一项所述方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得***进行执行如权利要求1至18中任一项所述方法的步骤。
23.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至18中任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210762152.XA CN115439635B (zh) | 2022-06-30 | 2022-06-30 | 一种呈现目标对象的标记信息的方法与设备 |
| PCT/CN2022/110489 WO2024000733A1 (zh) | 2022-06-30 | 2022-08-05 | 一种呈现目标对象的标记信息的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210762152.XA CN115439635B (zh) | 2022-06-30 | 2022-06-30 | 一种呈现目标对象的标记信息的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115439635A true CN115439635A (zh) | 2022-12-06 |
| CN115439635B CN115439635B (zh) | 2024-04-26 |
Family
ID=84240888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210762152.XA Active CN115439635B (zh) | 2022-06-30 | 2022-06-30 | 一种呈现目标对象的标记信息的方法与设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115439635B (zh) |
| WO (1) | WO2024000733A1 (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108769517A (zh) * | 2018-05-29 | 2018-11-06 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实进行远程辅助的方法与设备 |
| CN109656259A (zh) * | 2018-11-22 | 2019-04-19 | 亮风台（上海）信息科技有限公司 | 一种用于确定目标对象的图像位置信息的方法与设备 |
| CN109656319A (zh) * | 2018-11-22 | 2019-04-19 | 亮风台（上海）信息科技有限公司 | 一种用于呈现地面行动辅助信息方法与设备 |
| CN110365666A (zh) * | 2019-07-01 | 2019-10-22 | 中国电子科技集团公司第十五研究所 | 军事领域基于增强现实的多端融合协同指挥*** |
| CN112017304A (zh) * | 2020-09-18 | 2020-12-01 | 北京百度网讯科技有限公司 | 用于呈现增强现实数据的方法、装置、电子设备及介质 |
| CN112639682A (zh) * | 2018-08-24 | 2021-04-09 | 脸谱公司 | 在增强现实环境中的多设备地图构建和协作 |
| WO2021075878A1 (ko) * | 2019-10-18 | 2021-04-22 | 주식회사 도넛 | 증강현실 기록물 서비스 제공 방법 및 사용자 단말 |
| CN113741698A (zh) * | 2021-09-09 | 2021-12-03 | 亮风台（上海）信息科技有限公司 | 一种确定和呈现目标标记信息的方法与设备 |
| CN114116110A (zh) * | 2021-07-20 | 2022-03-01 | 上海诺司纬光电仪器有限公司 | 基于增强现实的智能界面 |
| CN114332417A (zh) * | 2021-12-13 | 2022-04-12 | 亮风台（上海）信息科技有限公司 | 一种多人场景交互的方法、设备、存储介质及程序产品 |
| CN114529690A (zh) * | 2020-10-30 | 2022-05-24 | 北京字跳网络技术有限公司 | 增强现实场景呈现方法、装置、终端设备和存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104457704B (zh) * | 2014-12-05 | 2016-05-25 | 北京大学 | 基于增强地理信息的无人机地面目标定位***及方法 |
| US9471059B1 (en) * | 2015-02-17 | 2016-10-18 | Amazon Technologies, Inc. | Unmanned aerial vehicle assistant |
| CN109388230A (zh) * | 2017-08-11 | 2019-02-26 | 王占奎 | Ar消防应急指挥推演***平台、ar消防头盔 |
| CN108303994B (zh) * | 2018-02-12 | 2020-04-28 | 华南理工大学 | 面向无人机的群控交互方法 |
| CN109561282B (zh) * | 2018-11-22 | 2021-08-06 | 亮风台（上海）信息科技有限公司 | 一种用于呈现地面行动辅助信息的方法与设备 |
| CN110248157B (zh) * | 2019-05-25 | 2021-02-05 | 亮风台（上海）信息科技有限公司 | 一种进行执勤调度的方法与设备 |
| CN111625091B (zh) * | 2020-05-14 | 2021-07-20 | 佳都科技集团股份有限公司 | 基于ar眼镜的标签叠加方法及装置 |
-
2022
- 2022-06-30 CN CN202210762152.XA patent/CN115439635B/zh active Active
- 2022-08-05 WO PCT/CN2022/110489 patent/WO2024000733A1/zh unknown
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108769517A (zh) * | 2018-05-29 | 2018-11-06 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实进行远程辅助的方法与设备 |
| CN112639682A (zh) * | 2018-08-24 | 2021-04-09 | 脸谱公司 | 在增强现实环境中的多设备地图构建和协作 |
| CN109656259A (zh) * | 2018-11-22 | 2019-04-19 | 亮风台（上海）信息科技有限公司 | 一种用于确定目标对象的图像位置信息的方法与设备 |
| CN109656319A (zh) * | 2018-11-22 | 2019-04-19 | 亮风台（上海）信息科技有限公司 | 一种用于呈现地面行动辅助信息方法与设备 |
| CN110365666A (zh) * | 2019-07-01 | 2019-10-22 | 中国电子科技集团公司第十五研究所 | 军事领域基于增强现实的多端融合协同指挥*** |
| WO2021075878A1 (ko) * | 2019-10-18 | 2021-04-22 | 주식회사 도넛 | 증강현실 기록물 서비스 제공 방법 및 사용자 단말 |
| CN112017304A (zh) * | 2020-09-18 | 2020-12-01 | 北京百度网讯科技有限公司 | 用于呈现增强现实数据的方法、装置、电子设备及介质 |
| CN114529690A (zh) * | 2020-10-30 | 2022-05-24 | 北京字跳网络技术有限公司 | 增强现实场景呈现方法、装置、终端设备和存储介质 |
| CN114116110A (zh) * | 2021-07-20 | 2022-03-01 | 上海诺司纬光电仪器有限公司 | 基于增强现实的智能界面 |
| CN113741698A (zh) * | 2021-09-09 | 2021-12-03 | 亮风台（上海）信息科技有限公司 | 一种确定和呈现目标标记信息的方法与设备 |
| CN114332417A (zh) * | 2021-12-13 | 2022-04-12 | 亮风台（上海）信息科技有限公司 | 一种多人场景交互的方法、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115439635B (zh) | 2024-04-26 |
| WO2024000733A1 (zh) | 2024-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9558559B2 (en) | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system | |
| AU2018450490B2 (en) | Surveying and mapping system, surveying and mapping method and device, and apparatus | |
| RU2741443C1 (ru) | Способ и устройство для планирования точек выборки для съёмки и картографирования, терминал управления и носитель для хранения данных | |
| CN107450088A (zh) | 一种基于位置的服务lbs的增强现实定位方法及装置 | |
| CN113345028B (zh) | 一种确定目标坐标变换信息的方法与设备 | |
| CN109561282B (zh) | 一种用于呈现地面行动辅助信息的方法与设备 | |
| US10733777B2 (en) | Annotation generation for an image network | |
| US20230162449A1 (en) | Systems and methods for data transmission and rendering of virtual objects for display | |
| CN109459029A (zh) | 一种用于确定目标对象的导航路线信息的方法与设备 | |
| WO2020103023A1 (zh) | 一种测绘***、测绘方法、装置、设备及介质 | |
| CN109656319B (zh) | 一种用于呈现地面行动辅助信息方法与设备 | |
| CN113869231B (zh) | 一种用于获取目标对象的实时图像信息的方法与设备 | |
| CN115439528B (zh) | 一种获取目标对象的图像位置信息的方法与设备 | |
| AU2018450426B2 (en) | Method and device for planning sample points for surveying and mapping, control terminal and storage medium | |
| CN110248157B (zh) | 一种进行执勤调度的方法与设备 | |
| CN111527375B (zh) | 一种测绘采样点的规划方法、装置、控制终端及存储介质 | |
| CN115460539B (zh) | 一种获取电子围栏的方法、设备、介质及程序产品 | |
| CN115439635B (zh) | 一种呈现目标对象的标记信息的方法与设备 | |
| EP3885940A1 (en) | Job control system, job control method, apparatus, device and medium | |
| CN115565092A (zh) | 一种获取目标对象的地理位置信息的方法与设备 | |
| CN115760964B (zh) | 一种获取目标对象的屏幕位置信息的方法与设备 | |
| CN118092710A (zh) | 输电设备信息增强现实人机交互方法、装置和计算机设备 | |
| CN118250447A (zh) | 一种用于呈现ar虚拟信息的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Applicant before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |