CN113014824A - 视频画面处理方法、装置及电子设备 - Google Patents

视频画面处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113014824A
CN113014824A CN202110508409.4A CN202110508409A CN113014824A CN 113014824 A CN113014824 A CN 113014824A CN 202110508409 A CN202110508409 A CN 202110508409A CN 113014824 A CN113014824 A CN 113014824A
Authority
CN
China
Prior art keywords
coordinate
coordinates
tag
rendered
converting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110508409.4A
Other languages
English (en)
Other versions
CN113014824B (zh
Inventor
林凡雨
吴伟波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuandu Internet Technology Co ltd
Original Assignee
Beijing Yuandu Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuandu Internet Technology Co ltd filed Critical Beijing Yuandu Internet Technology Co ltd
Priority to CN202110508409.4A priority Critical patent/CN113014824B/zh
Publication of CN113014824A publication Critical patent/CN113014824A/zh
Application granted granted Critical
Publication of CN113014824B publication Critical patent/CN113014824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例中提供了一种视频画面处理方法、装置及电子设备，通过本申请实施例提供的技术方案，无人机在巡检过程中，能够对当前区域中与巡检对象对应的元素和标签进行渲染，实现了在无人机上实时渲染的效果，无需将相关数据传回服务器，再由服务器进行渲染，提高了渲染的效率。另外，在渲染过程中，将元素渲染和标签渲染进行了分离，避免元素与标签一起进行渲染时标签发生变形，提高了标签渲染的效果。同时将渲染得到的叠加图层叠加到无人机真实拍摄的视频画面上，得到叠加视频画面，实现虚实结合的效果，可以在真实视频画面中实时观察巡检对象和/或巡检对象周围区域的情况，便于及时发现安全隐患，提高了巡检的效率。

Description

视频画面处理方法、装置及电子设备
技术领域
本申请涉及无人机巡检技术领域，尤其涉及一种视频画面处理方法、装置及电子设备。
背景技术
随着经济的快速发展，管线（如燃气管线、供水管线、污水管线、电力线等）和/或道路沿线区域新建经济开发区、市政基础设施建设等，使管线和/或道路沿线的地理环境每天都在变化，给管线和/或道路安全运行带来隐患。
相关技术中，会采用人工对管线和/或道路进行巡检，也即是工人沿着管线和/或道路前进，随时发现和记录管线和/或道路周围的异常情况。但是，人工对管线和/或道路进行巡检时的效率较低。
发明内容
有鉴于此，本申请实施例提供一种视频画面处理方法、装置及电子设备，能够提高巡检的效率。
第一方面，本申请实施例提供了一种视频画面处理方法，应用于无人机，所述方法包括：
从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息；其中，所述元素信息包括元素的类型和元素的地理坐标，所述标签信息包括标签和标签的地理坐标；
将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标；
基于预设渲染模式，并根据所述元素的地平坐标，确定待渲染元素的地平坐标；
基于相机的姿态信息和相机参数，将所述待渲染元素的地平坐标转换为像素坐标，以及将所述标签的地平坐标转换为像素坐标；
基于待渲染元素的类型以及所述待渲染元素的像素坐标，对所述待渲染元素进行渲染，得到元素图层；所述待渲染元素的类型与所述元素的类型相同；
基于所述标签的像素坐标，在所述元素图层上对所述标签进行渲染，得到叠加图层；
将所述叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
在一种可能的实施方式中，所述基于预设渲染模式，并根据所述元素的地平坐标，确定待渲染元素的地平坐标包括下述任一项：
响应于所述预设渲染模式为元素渲染模式，将所述元素的地平坐标确定为所述待渲染元素的地平坐标；
响应于所述预设渲染模式为区域渲染模式，根据所述元素的地平坐标以及预设区域宽度确定渲染区域，将所述渲染区域的边界的地平坐标确定为所述待渲染元素的地平坐标。
在一种可能的实施方式中，所述基于相机的姿态信息和相机参数，将所述待渲染元素的地平坐标转换为像素坐标，以及将所述标签的地平坐标转换为像素坐标包括：
基于所述相机的姿态信息，生成投影矩阵；
基于所述相机的姿态信息和相机参数，生成第二坐标转换矩阵；
基于所述投影矩阵以及所述第二坐标转换矩阵，将所述待渲染元素的地平坐标转换为像素坐标；
基于所述投影矩阵以及所述第二坐标转换矩阵，将所述标签的地平坐标转换为像素坐标。
在一种可能的实施方式中，所述基于所述投影矩阵以及所述第二坐标转换矩阵，将所述待渲染元素的地平坐标转换为像素坐标包括：
采用所述投影矩阵，将所述待渲染元素的地平坐标转换为相机坐标；
采用所述第二坐标转换矩阵，将所述待渲染元素的相机坐标转换为像素坐标。
在一种可能的实施方式中，所述基于所述投影矩阵以及所述第二坐标转换矩阵，将所述标签的地平坐标转换为像素坐标包括：
采用所述投影矩阵，将所述标签的地平坐标转换为相机坐标；
采用所述第二坐标转换矩阵，将所述标签的相机坐标转换为像素坐标。
在一种可能的实施方式中，所述从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息包括：
从所述巡检对象的当前区域地图信息中提取与所述巡检对象对应的元素的类型、所述元素的地理坐标和标签；
基于所述元素的类型、所述元素的地理坐标，确定所述标签的地理坐标。
在一种可能的实施方式中，所述基于所述元素的类型、所述元素的地理坐标，确定所述标签的地理坐标包括下述至少一项：
响应于所述元素的类型为点，将所述元素的地理坐标确定为所述标签的地理坐标；
响应于所述元素的类型为线，将所述元素的拐点或中点的地理坐标确定为所述标签的地理坐标；
响应于所述元素的类型为多边形，将所述元素的几何中心点的地理坐标确定为所述标签的地理坐标。
在一种可能的实施方式中，所述将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标包括：
采用第一坐标转换矩阵，将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标。
在一种可能的实施方式中，所述将所述标签的地理坐标转换为地平坐标包括：
根据所述无人机的地理坐标，确定标签去重区域；
基于所述标签去重区域和所述标签，对所述标签的地理坐标进行去重处理；
将去重之后的所述标签的地理坐标转换为地平坐标。
在一种可能的实施方式中，从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息之前，所述方法还包括：
根据所述无人机的地理坐标，确定所述巡检对象的当前区域地图信息。
第二方面，本申请实施例提供了一种视频画面处理装置，应用于无人机，包括：
信息确定模块，用于从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息；其中，所述元素信息包括元素的类型和元素的地理坐标，所述标签信息包括标签和标签的地理坐标；
地平坐标转换模块，用于将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标；
地平坐标确定模块，用于基于预设渲染模式，并根据所述元素的地平坐标，确定待渲染元素的地平坐标；
像素坐标转换模块，用于基于相机的姿态信息、相机参数，将所述待渲染元素的地平坐标转换为像素坐标，以及将所述标签的地平坐标转换为像素坐标；
渲染模块，用于基于待渲染元素的类型以及所述待渲染元素的像素坐标，对所述待渲染元素进行渲染，得到元素图层；所述待渲染元素的类型与所述元素的类型相同；
所述渲染模块，还用于基于所述标签的像素坐标，在所述元素图层上对所述标签进行渲染，得到叠加图层；
叠加模块，用于将所述叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：
至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述视频画面处理方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述视频画面处理方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述视频画面处理方法。
通过本申请实施例提供的技术方案，无人机在巡检过程中，能够在无人机上对当前区域中与巡检对象对应的元素和标签进行渲染，实现了在无人机上实时渲染的效果，无需将相关数据传回服务器，再由服务器进行渲染，降低了AR叠加的延迟，提高了渲染的效率。另外，在渲染过程中，将元素渲染和标签渲染进行了分离，避免元素与标签一起进行渲染时标签发生变形，提高了标签的可读性。同时将渲染得到的图层叠加到相机真实拍摄的视频画面上，得到叠加视频画面，实现虚实结合的效果，使得在真实视频画面上可以显示叠加图层，通过将叠加图层叠加到真实视频画面中，可以得到更加精准的地图信息，便于区分同一视频画面内的巡检对象的分布，便于在真实画面中实时观察巡检对象和/或巡检对象周围区域的情况，便于及时发现安全隐患，提高了巡检的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例的一种视频画面处理方法的实施环境示意图；
图2为本申请实施例的一种视频画面处理方法的流程图；
图3为本申请实施例的一种视频画面处理方法的流程图；
图4为本申请实施例的一种视频画面处理装置的结构示意图；
图5为本申请一具体实施例的一种视频画面处理方法的流程图；
图6为本申请实施例的一种电子设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
为了对本申请实施例提供的技术方案进行更加清楚的说明，下面对本申请实施例涉及的一些名词进行介绍。
无人机：是无人驾驶飞机（UAV）的简称，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。无人机实际上是无人驾驶飞行器的统称，从技术角度定义可以分为：无人固定翼飞机、无人垂直起降飞机、无人飞艇、无人直升机、无人多旋翼飞行器、无人伞翼机等。
AR(Augmented Reality，增强现实)：AR技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
图1是本申请实施例提供的视频画面处理方法的实施环境示意图，参见图1，无人机100上设置有电子设备110，电子设备110通过无线网络与地面站120连接，地面站120通过无线网络或有线网络与用户终端140连接，或者地面站120通过无线网络与服务器130连接。服务器130通过无线网络或有线网络与用户终端140连接。无人机100上的电子设备110安装和运行有支持视频画面处理方法的应用程序。
在一些实施例中，上述电子设备110可以是设置在无人机上的视频画面处理装置。无人机上设置的视频画面处理装置能够用于执行本申请实施例提供的视频画面处理方法。无人机上还设置有视频画面传输装置，用于通过网络与外界建立通讯，比如将利用视频画面处理方法得到的叠加视频画面通过无线网络（蓝牙或电台）传输给地面站120，然后地面站120通过无线网络或有线网络将生成的叠加视频画面传输给用户终端140。当然，地面站120也可以通过无线网络将生成的叠加视频画面传输给服务器130，服务器130通过无线网络或有线网络将叠加视频画面传输给多个用户终端140。
在一些实施例中，上述电子设备110还可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但本申请并不局限于此。
可选地，服务器140是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式***，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器140能够将电子设备110发送给地面站的叠加视频画面转送给多个用户终端，以供不同用户观看。
在介绍完本申请实施例的实施环境之后，下面对本申请实施例的应用场景进行说明。
本申请实施例能够应用在无人机巡检的场景下，尤其是对管线或道路的巡检场景，在巡检的过程中，通过控制无人机沿着管线或道路所在的区域进行飞行，从而对管线或道路进行巡检。通过本申请实施例提供的技术方案，可根据实际需要，选择在相机拍摄的真实视频画面上显示管线或道路本身或者显示管线或道路周围区域的边界，便于实时观察管线或道路周围区域的情况。当然，在无人机进行巡检的过程中，也能够对相机实时拍摄的视频画面进行存储留档，从而便于后续的观看。
本申请实施例中，相机是指机载相机即设置在无人机上的相机，该相机用于在无人机巡检过程中，实时拍摄视频画面。
接下来，以电子设备110作为示意性执行主体，并结合附图，描述本申请实施例提供的视频画面处理方法，在一些实施例中，电子设备110可以为设置在无人机上的视频画面处理装置。
参见图2，本申请实施例提供的一种视频画面处理方法，包括下述步骤S201-S207：
S201、从巡检对象的当前区域地图信息中确定位于当前区域内且与巡检对象对应的元素信息和标签信息；其中，元素信息包括元素的类型和元素的地理坐标，标签信息包括标签和标签的地理坐标。
其中，元素的地理坐标，是指元素在地理坐标系中的坐标，标签的地理坐标，是指标签在地理坐标系中的坐标。
其中，巡检对象的当前区域地图信息是指与当前区域对应的巡检对象的地图信息。巡检对象的地图信息所覆盖的区域通常大于当前区域，为了提高数据处理的速度，可以根据当前区域对巡检对象的地图信息进行筛选，仅从与当前区域对应的巡检对象的地图信息（即巡检对象的当前区域地图信息）中获取与巡检对象对应的元素信息和标签信息，提高了数据处理的速度和效率。
在一些实施例中，可选的，巡检对象为管线、道路、建筑物和/或特定区域。其中，管线可以是已经建设好的管线，也可以是建设中或计划建设的管线。可选的，管线包括但不限于供水管线、污水管线、燃气管线以及电力线。道路可以是已经建设好的道路，也可以是建设中或计划建设的道路。
在一些实施例中，巡检对象对应的标签也即是巡检对象的名称，比如为，XXX高压电塔（高压电塔名称或编号）、XXX地铁站A口（地铁口名称或编号），XXX大厦（大厦名称），XXX管线（管线名称），XXX路（道路名称），XXX公园（公园名称），XXX广场（广场名称）。这里巡检对象的名称也可以是巡检对象的编号，比如为0001等，本申请实施例对此不做限定。
在一些实施例中，当前区域为根据无人机的地理坐标确定的区域，其中，无人机的地理坐标是指无人机的当前位置对应的地理坐标。
在一种可能的实施方式中，步骤S201包括：从巡检对象的当前区域地图信息中提取与巡检对象对应的元素的类型、元素的地理坐标和标签；基于元素的类型、元素的地理坐标，确定标签的地理坐标。
为了对上述实施方式进行更加清楚的说明，下面将分为两个部分，对上述实施方式进行说明。
第一部分、对从巡检对象的当前区域地图信息中提取与巡检对象对应的元素的类型、元素的地理坐标和标签的方法进行说明。
在一种可能的实施方式中，电子设备加载巡检对象的当前区域地图信息，并从巡检对象的当前区域地图信息中提取与巡检对象对应的元素的类型、元素的地理坐标和标签。
元素的类型包括点、线和多边形。具体的，巡检对象为高压电塔、地铁口、公交站牌等面积较小的地理标志时，元素的类型为点；元素的地理坐标为点的地理坐标。巡检对象为管线或道路时，元素的类型为线；元素的地理坐标为线上的点的坐标集合；其中，线包括直线和折线。巡检对象为复杂建筑物、公园等面积较大的地理标志时，元素的类型为多边形，元素的地理坐标为多边形的边界点的坐标集合。
第二部分、对基于元素的类型、元素的地理坐标，确定标签的地理坐标的方法进行说明，该方法可包括下述至少一项：
在一种可能的实施方式中，响应于元素的类型为点，将元素的地理坐标确定为标签的地理坐标。例如，对于高压电塔、地铁口、公交站牌等面积较小的地理标志（即巡检对象），元素的类型为点，电子设备能够将该点的地理坐标作为标签的地理坐标。
在一种可能的实施方式中，响应于元素类型为线，将元素的拐点或中点的地理坐标确定为标签的地理坐标。例如，对于管线、电力线、道路等地理标志（即巡检对象），元素的类型为线，其中，线包括折线和直线，对于折线，电子设备可以将折线的拐点的地理坐标作为标签的地理坐标；对于较长的直线，电子设备可以对直线进行分段处理，根据元素的地理坐标计算每段的中点的地理坐标，将中点的地理坐标作为标签的地理坐标。
在一种可能的实施方式中，响应于元素的类型为多边形，将元素的几何中心点的地理坐标确定为标签的地理坐标。例如，对于复杂建筑物、公园等面积较大的地理标志（即巡检对象），元素的类型为多边形，电子设备计算多边形的几何中心点的地理坐标，将该几何中心点的地理坐标作为标签的地理坐标。
S202、将元素的地理坐标转换为地平坐标，以及将标签的地理坐标转换为地平坐标。
其中，地平坐标也即是地平坐标系下的坐标，地平坐标系为以无人机的当前位置（即无人机的地理坐标）为原点建立的坐标系。
请参见图3，在一种可能的实施方式中，步骤S202包括步骤S202a和S202b：
S202a、采用第一坐标转换矩阵，将元素的地理坐标转换为地平坐标。
在一种可能的实施方式中，电子设备采用第一坐标转换矩阵，并通过下述公式（1），将元素的地理坐标转换为地平坐标。
第一坐标转换矩阵NED，表达式如下：
Figure 655477DEST_PATH_IMAGE001
其中，Rearth为地球的半径，lat为纬度，lon为经度，alt为海拔高度；
公式（1）如下：
PNED = NED（Pgeometry - Pdrone）（1）
式中，PNED为元素的地平坐标，Pgeometry为元素的地理坐标，Pdrone为相机的地理坐标，NED为第一坐标转换矩阵。
由于无人机的地理坐标与相机的地理坐标比较接近，因此，本申请实施例中可将无人机的地理坐标作为相机的地理坐标（即相机的位置信息）。无人机的地理坐标可通过无人机上安装的位置确定单元确定。
S202b、采用第一坐标转换矩阵，将标签的地理坐标转换为地平坐标。
在一种可能的实施方式中，步骤S202b将标签的地理坐标转换为地平坐标包括：根据无人机的地理坐标，确定标签去重区域；基于标签去重区域和标签，对标签去重区域内的标签的地理坐标进行去重处理；将去重之后的标签的地理坐标转换为地平坐标。
在一种可能的实施方式中，根据无人机的地理坐标，确定标签去重区域包括：以无人机的地理坐标为圆心，以第二预设距离阈值为半径限定的区域确定为标签去重区域。可选的，第二预设距离阈值的取值范围为1km~10km；优选的，第二预设距离阈值的取值范围为1km~6km；例如，第二预设距离阈值可以为1km、2km、3km、4km、5km、6km、7km、8km、9km、10km。
本申请不以此为限制，标签去重区域也可以根据无人机的地理坐标、相机的姿态信息和相机的视场角确定，其中，相机的姿态信息是指相机相对于地的姿态信息，相机的姿态信息包括相机的横滚角、偏航角以及俯仰角等角度信息。
举例来说，当巡检对象为管线或道路时，元素的类型为线，通常为折线，此时，由于管线或道路的长度较长，针对同一管线或道路，会分段布置有多个相同的标签，因此，在无人机巡检过程中，可能会出现无人机附近区域（即标签去重区域）内同时出现至少两个相同的标签的情况。若电子设备对同时出现的至少两个相同的标签均进行坐标转换，不仅增加了工作量，还会在叠加后的视频画面上同时显示至少两个标签，导致显示混乱，不易分辨。为了使得叠加后的视频画面简洁，同时减少工作量，提高计算速度，电子设备能够在对标签进行坐标转换的时候，先对标签的地理坐标进行去重处理再进行坐标转换，对于至少两个相同的标签对应的地理坐标，仅保留一个标签的地理坐标即可，然后基于去重之后的标签的地理坐标进行坐标转换，从而通过对标签进行去重处理，实现叠加视频画面简洁，减少工作量，提高效率的目的。
在一种可能的实施方式中，将标签的地理坐标转换为地平坐标的方法可参照上述将元素的地理坐标转换为地平坐标的方法，采用第一坐标转换矩阵，并根据公式（1）实现，仅需将公式（1）中元素的地理坐标替换为标签的地理坐标，即可得到标签的地平坐标，在此不再赘述。这里的标签的地理坐标，可以是去重之前的标签的地理坐标，也可以是去重之后的标签的地理坐标。
S203、基于预设渲染模式，并根据元素的地平坐标，确定待渲染元素的地平坐标。
可选的，预设渲染模式包括元素渲染模式和区域渲染模式。其中，元素渲染模式是指仅对元素进行渲染；区域渲染模式是指对根据元素的地平坐标和预设区域宽度确定的渲染区域的边界进行渲染。预设渲染模式用于指示电子设备进行渲染的方式。
在一种可能的实施方式中，响应于预设渲染模式为元素渲染模式，将元素的地平坐标确定为待渲染元素的地平坐标。
在这种实施方式下，当渲染模式为元素渲染模式时，电子设备能够将元素的地平坐标确定为待渲染元素的地平坐标。
在一种可能的实施方式中，响应于预设渲染模式为区域渲染模式，根据元素的地平坐标以及预设区域宽度确定渲染区域，将渲染区域的边界的地平坐标确定为待渲染元素的地平坐标。
在这种实施方式下，电子设备能够对渲染区域的边界进行渲染，当元素的类型为线时，渲染区域的边界通常为两条“线”，这两条“线”的地平坐标即为待渲染元素的地平坐标，两条“线”之前的区域即为渲染区域，这两条线之间的宽度即为预设区域宽度。相应的，可根据预设区域宽度确定渲染模式，当预设区域宽度取0时，对应的预设渲染模式为元素渲染模式，当预设区域宽度取值大于0时，对应的预设渲染模式为区域渲染模式。具体的，巡检对象为管线时，对应的元素的类型为线，若预设区域宽度设置为50米，则渲染模式为区域渲染模式，渲染区域是以管线的中心线为中心线，宽度为50米限定的区域，该渲染区域的两条边界即为待渲染元素，相应的，两条边界的地平坐标即为待渲染元素的地平坐标。可选的，预设区域宽度的取值范围可以为0-200m，优选的，预设区域宽度的取值范围为20~120m，比如，预设区域宽度可以设置为10m、20m、30m、40m、50m、60m、70m、80m、90m、100m、120m、150m、180m、200m等，但本申请不以此为限制，预设区域宽度的具体取值可根据实际需要适当调整。
下面以巡检对象为管线，渲染模式为区域渲染模式为例，对待渲染元素的地平坐标的确定过程进行举例说明：
假设管线对应的线元素的地平坐标为L=[P1, P2, P3, …]，预设区域宽度为D，根据线元素的地平坐标和预设区域宽度D，可以计算出渲染区域的两条边界的地平坐标分别为Lu=[Pu1, Pu2, Pu3, …]和Ll=[Pl1, Pl2, Pl3, …]，此时，边界Lu的每段线段(Pu1, Pu2)与对应的管线 (P1, P2) 平行且相距D/2，同理，边界Ll的每段线段(Pl1, Pl2)与对应的管线(P1, P2) 平行且相距D/2，之后，将边界Lu和Ll的地平坐标作为待渲染元素的地平坐标进行坐标转换和渲染。其中，P1, P2, P3,…为电力线对应的线元素的地平坐标，Pu1, Pu2, Pu3,…为渲染区域一侧边界对应的线元素的地平坐标，Pl1, Pl2, Pl3, …为渲染区域另一侧边界对应的线元素的地平坐标。
S204、基于相机的姿态信息和相机参数，将待渲染元素的地平坐标转换为像素坐标，以及将标签的地平坐标转换为像素坐标。
其中，相机的姿态信息是指相机相对于地的姿态信息，相机的姿态信息包括相机的横滚角、偏航角以及俯仰角等角度信息。相机参数包括相机的焦距、相机传感器的尺寸、相机传感器的像素单元的尺寸等信息，其中，相机传感器的尺寸包括相机传感器的横向尺寸和相机传感器的纵向尺寸，相机传感器的像素单元的尺寸包括像素单元的横向尺寸和像素单元的纵向尺寸。但本申请不以此为限制，相机参数还可以包括相机的变焦倍数以及相机的视场角等。
在一种可能实施方式中，无人机上安装有姿态获取模块和姿态转换模块，姿态获取模块用于获取无人机的姿态信息和相机相对于无人机的姿态信息，姿态转换模块用于基于无人机的姿态信息，将相机相对于无人机的姿态信息转换为相机相对于地的姿态信息即上述相机的姿态信息。姿态转换模块能够采用一个向量来表示相机的俯仰角、横滚角以及偏航角，比如，若相机的俯仰角为-10°，横滚角为+0.5°，偏航角为+20°，那么电子设备能够采用向量（-10，+0.5，+20）来表示相机的姿态信息。基于该实施方式，电子设备能够实时获取相机的姿态信息，从而便于后续的实时视频画面处理。
请参照图3，在一种可能的实施方式中，步骤S204包括步骤S2041~S2044。
S2041、基于相机的姿态信息，生成投影矩阵。
其中，投影矩阵用于将地平坐标转换为相机坐标，相机坐标是指相机坐标系中的坐标，相机坐标系是以相机的地理坐标为原点，以相机的俯仰轴为x轴，偏航轴为y轴，横滚轴为z轴建立的坐标系。
S2042、基于相机的姿态信息和相机参数，生成第二坐标转换矩阵。
其中，第二坐标转换矩阵用于将相机坐标转换为像素坐标，像素坐标也即是像素坐标系下的坐标，像素坐标系是以像素为单位的二维坐标系，像素坐标系的原点可以设置在图像的左上角、左下角或者图像中心。这里的图像，是指相机实时拍摄的视频画面。
S2043、基于投影矩阵以及第二坐标转换矩阵，将待渲染元素的地平坐标转换为像素坐标。
在一种可能的实施方式中，基于投影矩阵以及第二坐标转换矩阵，将待渲染元素的地平坐标转换为像素坐标包括：采用投影矩阵，将待渲染元素的地平坐标转换为相机坐标；采用第二坐标转换矩阵，将待渲染元素的相机坐标转换为像素坐标。
下面对步骤S2041基于相机的姿态信息，生成投影矩阵；以及步骤2043 中采用投影矩阵，将待渲染元素的地平坐标转换为相机坐标的方法进行说明。
在一种可能的实施方式中，步骤S2041中电子设备基于相机的姿态信息，生成投影矩阵TrTpTy，该投影矩阵TrTpTy为三个变换矩阵Tr、Tp和Ty的乘积，三个变换矩阵Tr、Tp和Ty的生成公式分别如下：
Figure 581845DEST_PATH_IMAGE002
式中，Tr、Tp以及Ty为三个变换矩阵，三个变换矩阵Tr、Tp和Ty的乘积TrTpTy也即是投影矩阵，r表示相机的横滚角，p表示相机的偏航角，y表示相机的俯仰角。
由上述三个变换矩阵Tr、Tp和Ty的生成公式可知，三个变换矩阵是根据相机的姿态信息（即相机的横滚角r、偏航角p和俯仰角y）生成的，因此，投影矩阵TrTpTy也是根据相机的姿态信息生成的。
在一种可能的实施方式中，步骤2043中电子设备能够采用投影矩阵，并根据下述公式（2）将待渲染元素的地平坐标转换为相机坐标。
PNED = TrTpTyPcamera（2）
式中，PNED为待渲染元素的地平坐标，Pcamera为待渲染元素的相机坐标，TrTpTy为投影矩阵。
下面对步骤S2042基于相机的姿态信息和相机参数，生成第二坐标转换矩阵；以及步骤2043 中采用第二坐标转换矩阵，将待渲染元素的相机坐标转换为像素坐标的方法进行说明。
在一种可能的实施方式中，步骤2042中，电子设备基于相机的姿态信息和相机参数，生成第二坐标转换矩阵TcTs，第二坐标转换矩阵TcTs为两个变换矩阵Tc和Ts的乘积，其中，两个变换矩阵Tc和Ts的生成公式分别如下：
Figure 192954DEST_PATH_IMAGE003
式中，d为相机的镜头的中心点距离相机的中心线的延长线与地面的交点之间的距离，f为相机的焦距，ws为相机传感器的横向尺寸，hs为相机传感器的纵向尺寸，wp为相机传感器的像素单元的横向尺寸，hp为相机传感器的像素单元的纵向尺寸。
其中，上述变换矩阵Ts的生成公式中，距离d是根据相机的姿态信息实时计算得到的，而焦距f属于相机的相机参数，因此，由上述变换矩阵Ts的生成公式可知，变换矩阵Ts是根据相机的姿态信息和相机参数生成的；由变换矩阵Tc的生成公式可知，变换矩阵Tc是根据相机参数生成的；因此两个变换矩阵的乘积TcTs是根据相机的姿态信息和相机参数生成的，即第二坐标转换矩阵是根据相机的姿态信息和相机参数生成的。
在一种可能的实施方式中，电子设备能够采用第二坐标转换矩阵，并根据下述公式（3），将待渲染元素的相机坐标转化为待渲染元素的像素坐标。
Pcamera = TcTsPpixel（3）
式中，Ppixel为待渲染元素的像素坐标，Pcamera为待渲染元素的相机坐标，TcTs为第二坐标转换矩阵。
S2044、基于投影矩阵以及第二坐标转换矩阵，将标签的地平坐标转换为像素坐标。
在一种可能的实施方式中，基于投影矩阵以及第二坐标转换矩阵，将标签的地平坐标转换为像素坐标包括：采用投影矩阵，将标签的地平坐标转换为相机坐标；采用第二坐标转换矩阵，将标签的相机坐标转换为像素坐标。
本实施方式中，采用投影矩阵将标签的地平坐标转换为相机坐标的具体方法，可参照上述将待渲染元素的地平坐标转换为相机坐标的方法，采用投影矩阵并根据公式（2）实现，仅需将公式（2）中待渲染元素的地平坐标替换为标签的地平坐标即可得到标签的相机坐标，在此不再赘述。
本实施方式中，采用第二坐标转换矩阵将标签的相机坐标转换为像素坐标的具体方法，可参照上述将待渲染元素的相机坐标转换为像素坐标的方法，采用第二坐标转换矩阵并根据公式（3）实现，仅需将公式（3）中待渲染元素的相机坐标替换为标签的相机坐标即可得到标签的像素坐标，在此不再赘述。
S205、基于待渲染元素的类型以及待渲染元素的像素坐标，对待渲染元素进行渲染，得到元素图层；待渲染元素的类型与元素的类型相同。
其中，待渲染元素的类型可根据元素的类型确定，通常情况下，待渲染元素的类型应与元素的类型相同。比如，在巡检对象为管线或道路时，元素的类型为线。如果是元素渲染模式，则待渲染元素是单条线，其类型为线；如果是区域渲染模式，则待渲染元素是渲染区域的边界，即两条线，则待渲染元素的类型也是线。
在一种可能的实施方式中，电子设备基于待渲染元素的像素坐标，确定待渲染元素在元素图层中的位置。电子设备基于待渲染元素在元素图层中的位置和待渲染元素的类型，对待渲染元素进行渲染，得到元素图层。
在一些实施例中，元素图层的尺寸与相机拍摄的视频画面的尺寸相同。在一些实施例中，电子设备对待渲染元素进行渲染时，采用3D渲染的方式，得到元素图层。
206、基于标签的像素坐标，在元素图层上对标签进行渲染，得到叠加图层。
在一种可能的实施方式中，电子设备基于标签的像素坐标，确定标签在元素图层上的位置。电子设备基于标签在元素图层上的位置，对标签进行渲染，得到叠加图层。
本申请实施例，通过在元素图层上对标签进行渲染，从而实现对待渲染元素和标签的分别渲染，将标签以叠加层的形式渲染在元素图层上，避免待渲染元素与标签一起进行渲染时，导致标签变形的现象，使得标签不会变形，便于识别，提高了标签的可读性。
需要说明的是，电子设备在元素图层上对标签进行渲染时，采用的是2D渲染的方式，也即是平面渲染的方式，得到的叠加图层也即是AR图层。
S207、将叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
其中，相机拍摄的视频画面为无人机下方真实的画面，而叠加图层是对待渲染元素和标签分别进行渲染之后得到的图层，也即是一个虚拟画面，真实画面加虚拟画面相结合，使得在真实视频画面上可以显示叠加图层，通过将叠加图层叠加到真实视频画面中，可以得到更加精准的地图信息，便于区分同一视频画面内的巡检对象的分布，便于在真实视频画面中实时观察巡检对象和/或巡检对象周围区域的情况，便于及时发现安全隐患。
上述实施例中，步骤S202中将标签的地理坐标转换为地平坐标的过程可以与将元素的地理坐标转换为地平坐标的过程同步进行，将标签的地理坐标转换为地平坐标的过程也可以在步骤S205得到元素图层之后进行，本申请不做具体限定。
上述实施例中，若巡检对象为已经建设好的管线（或道路），那么通过本申请提供的视频画面处理方法，能够在真实视频画面中实时显示该管线（或道路）周围区域边界，便于及时发现安全隐患，提高巡检的效率。若管线（或道路）为计划建设的管线（或道路），也即是未建设好的管线（或道路），那么能够在真实视频画面中模拟该管线（或道路）建设好的情况，用户能够通过提前查看管线（或道路）周围环境的情况，便于及时进行调整。
本申请实施例提供的技术方案，在无人机巡检过程中，能够在无人机上对当前区域中与巡检对象对应的元素和标签进行渲染，实现了在无人机上实时渲染的效果，无需将相关数据传回服务器，再由服务器进行渲染，降低了AR叠加的延迟，提高了渲染的效率。另外，在渲染过程中，将元素渲染和标签渲染进行了分离，避免元素与标签一起进行渲染时标签发生变形，提高了标签的可读性。同时将渲染得到的叠加图层叠加到相机真实拍摄的视频画面上，得到叠加视频画面，实现虚实结合的效果，使得在真实视频画面上可以显示叠加图层，通过将叠加图层叠加到真实视频画面中，可以得到更加精准的地图信息，便于区分同一视频画面内的巡检对象的分布，便于在真实视频画面中实时观察与元素对应的巡检对象的周围区域的情况。同时，通过采用区域渲染模式，将元素所在区域的边界(即根据预设区域宽度得到的渲染区域的边界)叠加到真实视频画面中，使得在巡检过程，可以重点关注巡检对象所在的区域范围，明确了重点关注的范围，使得巡检更有针对性，便于及时发现安全隐患，提高了巡检的效率。
请参照图3，在一些实施例中，在步骤S201之前，视频画面处理方法还包括步骤S200：根据无人机的地理坐标，确定巡检对象的当前区域地图信息。
其中，地理坐标也即是地理坐标系下的坐标，地理坐标系也被称为地球坐标系，地理坐标系包括三个维度，分别是纬度、经度和海拔高度。相应的，无人机的地理坐标，是指无人机在地理坐标系下的坐标，即无人机的当前位置对应的纬度、经度和海拔高度。
在一些实施例中，步骤S200包括：根据无人机的地理坐标，确定当前区域；根据当前区域，将位于当前区域内的巡检对象的地图信息确定为巡检对象的当前区域地图信息。
下面对步骤S200中根据无人机的地理坐标，确定当前区域的过程进行说明。
在一种可能的实施方式中，电子设备可以根据无人机的地理坐标（即无人机的当前位置），确定无人机所在的区域，该区域也即是当前区域。具体的，电子设备可根据无人机的地理坐标，确定无人机所在区域的边界线的地理坐标，无人机所在区域的边界线围成的区域即为当前区域。
在一种可能的实施方式中，无人机上安装有位置确定单元，位置确定单元用于确定无人机的位置。比如，电子设备通过位置确定单元来实时确定无人机的地理坐标。电子设备基于无人机的地理坐标，确定当前区域。
举例来说，位置确定单元可以为GPS（Global Positioning System，全球定位***），电子设备通过GPS能够实时获取无人机的纬度、经度和海拔高度，GPS对应的坐标系也即是地理坐标系。若无人机的纬度为北纬40.5°，经度为东经116.3°，海拔高度为300m，那么电子设备能够采用（+40.5，+116.3，+300）来表示无人机的地理坐标，其中，“+116.3”中的“+”表示东经，相应的，“-”也就表示西经，“+40.5” 中的“+”表示北纬，相应的，“-”也就表示南纬，“+300”中的“+”表示海平面以上，相应的，“-”也就表示海平面以下。在这种情况下，电子设备能够采用无人机在地理坐标系中的地理坐标来精准的表示无人机的当前位置。
需要说明的是，在上述举例中，是以位置确定单元为GPS为例进行说明的，在其他可能的实施方式中，位置确定单元也能够由其他定位***来实现，本申请实施例对此不做限定。
在一种可能的实施方式中，当前区域可以是根据无人机的地理坐标（即无人机的当前位置）确定的以经纬度限定的区域。比如，电子设备可以根据无人机的地理坐标（+40.5，+116.3，+300），将北纬40°至北纬41°以及东经116°至东经117°之间围成的区域确定为当前区域，此时，该当前区域的跨度范围为1经度和1纬度，但本申请不以此为限制，当前区域的跨度范围可以根据实际需要调整，比如当前区域的跨度范围为2经度和2纬度或者其他取值。
在一种可能的实施方式中，当前区域可以是以无人机的地理坐标为圆心，以预设距离阈值为半径限定的区域。比如，电子设备可以将以无人机的地理坐标中的经纬度坐标（+40.5，+116.3）为圆心，以第一预设距离阈值为半径限定的区域确定为当前区域。可选的，第一预设距离阈值可以为5km~10km，该第一预设距离阈值可根据实际情况进行设置，比如设置为5km、8km或10km等，本申请实施例对此不做限定。
下面对步骤S200中根据当前区域，将位于当前区域内的巡检对象的地图信息确定为巡检对象的当前区域地图信息的过程进行说明。
在确定当前区域之后，电子设备能够将位于当前区域内的巡检对象的地图信息确定为巡检对象的当前区域地图信息。具体的，电子设备能够根据当前区域边界线的经纬度坐标，将位于当前区域边界线的经纬度坐标范围内的巡检对象的地图信息确定为巡检对象的当前区域地图信息。其中，巡检对象的地图信息可以由客户提供，也可以来源于网络。
巡检对象的地图信息包括与巡检对象相关的信息，比如包括与巡检对象对应的元素信息和标签信息。
通过确定巡检对象的当前区域地图信息，电子设备在获取巡检对象的地图信息时，无需获取巡检对象的全部区域的地图信息，只获取与当前区域对应的巡检对象的地图信息即可，减少了后续视频画面处理过程中对运算资源的消耗。
通过本申请实施例提供的视频画面处理方法，无人机在巡检过程中，能够在无人机上对当前区域中与巡检对象对应的元素和标签进行渲染，实现了在无人机上实时渲染的效果，无需将相关数据传回服务器，再由服务器进行渲染，提高了渲染的效率。另外，在渲染过程中，将元素渲染和标签渲染进行了分离，避免元素与标签一起进行渲染时标签发生变形，提高了标签渲染的效果。同时将渲染得到的叠加图层叠加到相机真实拍摄的视频画面上，得到叠加视频画面，实现虚实结合的效果，使得在真实视频画面上可以显示叠加图层，通过将叠加图层叠加到真实视频画面中，可以在真实视频画面中实时观察与巡检对象对应的元素的周围区域的情况，便于及时发现安全隐患，提高巡检的效率。
与上面的视频画面处理方法实施例相对应，参见图4，本申请实施例还提供了一种视频画面处理装置400，包括：信息确定模块401、地平坐标转换模块402、地平坐标确定模块403、像素坐标转换模块404、渲染模块405以及叠加模块406。
信息确定模块401，用于从巡检对象的当前区域地图信息中确定位于当前区域内且与巡检对象对应的元素信息和标签信息。其中，元素信息包括元素的类型和元素的地理坐标，标签信息包括标签和标签的地理坐标。
在一种可能的实施方式中，信息确定模块401包括：信息提取单元和标签坐标确定单元。
信息提取单元，用于从巡检对象的当前区域地图信息中提取与巡检对象对应的元素的类型、元素的地理坐标和标签。
标签坐标确定单元，用于基于元素的类型、元素的地理坐标，确定标签的地理坐标。具体的，地理坐标确定单元用于执行下述至少一项：响应于元素的类型为点，将元素的地理坐标确定为标签的地理坐标；响应于元素的类型为线，将元素的拐点或中点的地理坐标确定为标签的地理坐标；响应于元素的类型为多边形，将元素的几何中心点的地理坐标确定为标签的地理坐标。
地平坐标转换模块402，用于将元素的地理坐标转换为地平坐标，以及用于将标签的地理坐标转换为地平坐标。
可选的，地平坐标转换模块402用于采用第一坐标转换矩阵，将元素的地理坐标转换为地平坐标，以及将标签的地理坐标转换为地平坐标。具体转换方法可参照上述方法实施例中的方法实现，在此不再赘述。
可选的，当需要对标签去重处理时，地平坐标转换模块402用于根据无人机的地理坐标确定标签去重区域；还用于基于标签去重区域和标签，对标签的地理坐标进行去重处理；以及用于将去重之后的标签的地理坐标转换为地平坐标。
地平坐标确定模块403，用于基于预设渲染模式，并根据元素的地平坐标，确定待渲染元素的地平坐标。
在一种可能的实施方式中，地平坐标确定模块403用于执行下述任一项：响应于预设渲染模式为元素渲染模式，将元素的地平坐标确定为待渲染元素的地平坐标；响应于预设渲染模式为区域渲染模式，根据元素的地平坐标以及预设区域宽度确定渲染区域，将渲染区域的边界的地平坐标确定为待渲染元素的地平坐标。
像素坐标转换模块404，用于基于相机的姿态信息和相机参数，将待渲染元素的地平坐标转换为像素坐标，以及将标签的地平坐标转换为像素坐标。
在一种可能的实施方式中，像素坐标转换模块404包括：矩阵生成单元和坐标转换单元。
矩阵生成单元，用于基于相机的姿态信息，生成投影矩阵；还用于基于相机的姿态信息和相机参数，生成第二坐标转换矩阵。
坐标转换单元，用于基于投影矩阵以及第二坐标转换矩阵，将待渲染元素的地平坐标转换为像素坐标，以及将标签的地平坐标转换为像素坐标。具体的，坐标转换单元用于采用投影矩阵将待渲染元素的地平坐标转换为相机坐标，还用于采用第二坐标转换矩阵将待渲染元素的相机坐标转换为像素坐标；坐标转换单元还用于采用投影矩阵将标签的地平坐标转换为相机坐标，还用于采用第二坐标转换矩阵，将标签的相机坐标转换为像素坐标。
渲染模块405，用于基于待渲染元素的类型以及待渲染元素的像素坐标，对待渲染元素进行渲染，得到元素图层；待渲染元素的类型与元素的类型相同。
渲染模块405，还用于基于标签的像素坐标，在元素图层上对标签进行渲染，得到叠加图层。
叠加模块406，用于将叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
在一种可能的实施方式中，视频画面处理装置400还包括：当前区域地图信息确定模块，该当前区域地图信息确定模块用于根据无人机的地理坐标确定巡检对象的当前区域地图信息。
可选的，当前区域地图信息确定模块包括：当前区域确定单元和当前区域地图信息确定单元。具体的，当前区域确定单元用于根据无人机的地理坐标确定当前区域。当前区域地图信息确定单元，用于根据当前区域将位于当前区域内的巡检对象的地图信息确定为巡检对象的当前区域地图信息。
图4所示的视频画面处理装置400可以对应的执行上述视频画面处理方法实施例中的方法，本实施例未详细描述的部分，参照上述方法实施例中记载的内容，在此不再赘述。
请参照图5，本申请提供一具体实施例，以对本申请实施例提供的技术方案进行更加清楚的说明。
S501、CPU根据无人机的地理坐标，确定当前区域。
S502、CPU根据当前区域，加载巡检对象的当前区域地图信息，即获取巡检对象的当前区域地图信息。
具体的，CPU根据当前区域，加载位于当前区域内的巡检对象的地图信息作为巡检对象的当前区域地图信息，即加载巡检对象的当前区域地图信息。
S503、CPU从巡检对象的当前区域地图信息中确定位于当前区域内且与巡检对象对应的元素信息和标签信息；其中，元素信息包括元素的类型和元素的地理坐标，标签信息包括标签和标签的地理坐标。
具体的，从巡检对象的当前区域地图信息中可以直接提取到元素的类型、元素的地理坐标和标签，并可以根据元素的类型和元素的地理坐标确定标签的地理坐标。
S504、CPU采用第一坐标转换矩阵，将元素的地理坐标转换为地平坐标。
S505、CPU采用第一坐标转换矩阵，将标签的地理坐标转换为地平坐标，并发送给GPU。
其中，将标签的地理坐标转换为地平坐标的过程可包括对标签去重处理的过程，具体方法可参照上述步骤220b进行，在此不再赘述，后续步骤则基于去重之后得到的标签的地平坐标进行处理。
S506、CPU判断预设渲染模式是否为区域渲染模式。若是，执行步骤S507和S508，若否，执行步骤S509。
S507、若是，CPU根据元素的地平坐标以及预设区域宽度，计算渲染区域的边界的地平坐标。
S508、CPU将渲染区域的边界的地平坐标确定为待渲染元素的地平坐标，并发送给GPU。
S509、若否，CPU将元素的地平坐标确定为待渲染元素的地平坐标，并发送给GPU。
步骤S506中，判断预设渲染模式是否为区域渲染模式，可通过判断预设区域宽度是否大于零实现，若预设区域宽度大于零，则预设渲染模式为区域渲染模式，若预设区域宽度等于零，则预设渲染模式为元素渲染模式，即不是区域渲染模式。
S510、CPU根据相机的姿态信息生成投影矩阵，并发送给GPU。
S511、CPU根据相机的姿态信息和相机参数，生成第二坐标转换矩阵，并发送给GPU。
S512、GPU采用投影矩阵和第二坐标转换矩阵，将待渲染元素的地平坐标转换为像素坐标。
S513、GPU采用投影矩阵和第二坐标转换矩阵，将标签的地平坐标转换为像素坐标。
S514、GPU基于待渲染元素的类型和待渲染元素的像素坐标，对待渲染元素进行渲染，得到元素图层。
S515、GPU基于标签的像素坐标，在元素图层上对标签进行渲染，得到叠加图层，将叠加图层发送给CPU。
S516、CPU将叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
在上述具体实施方式中，步骤S510和S511可与步骤S501同步执行，也可以在步骤S501之后在步骤S512之前执行。步骤S513可与步骤S512同步执行，也可以在步骤S514与步骤S515之间执行，即在步骤S514之后且在步骤S515之前执行。
在该具体实施方式中，电子设备包括CPU和GPU，具体的，CPU用于执行步骤S501~S511、以及S516的方法，GPU用于执行步骤S512~S515的方法。但本申请不以此为限制，在其他实施方式中，CPU和GPU具体执行的步骤可根据实际需要适当调整，比如，CPU用于执行步骤S501~S513、以及S516的方法，GPU用于执行步骤S514和S515的方法，此时，步骤S512和步骤513的执行主体为CPU，相应的，步骤S512还包括将待渲染元素的像素坐标发送给GPU，步骤S513还包括将标签的像素坐标发送给GPU；也可以是CPU执行步骤S501~S516的所有方法，此时，步骤S512~S515的执行主体都为CPU，相应的，步骤S505、S508~S511中省略发送给GPU的步骤。
在该具体实施方式中，若电子设备为设置在无人机上的视频画面处理装置，视频画面处理装置包括CPU和GPU，CPU用于实现信息确定模块401、地平坐标转换模块402、地平坐标确定模块403、像素坐标转换模块404中的矩阵生成单元、以及叠加模块406的功能，GPU用于实现像素坐标转换模块404中的坐标转换单元和渲染模块405的功能。但本申请不以此为限制，CPU和GPU与视频画面处理装置的对应关系可根据实际需要适当调整，比如，在其他实施方式中，CPU用于实现信息确定模块401、地平坐标转换模块402、地平坐标确定模块403、像素坐标转换模块404以及叠加模块406的功能，GPU仅用于实现渲染模块405的功能；还可以是CPU用于实现视频画面处理装置中信息确定模块401、地平坐标转换模块402、地平坐标确定模块403、像素坐标转换模块404、渲染模块405和叠加模块406的所有功能。
可选的，视频画面处理装置可以为Tegra X2处理器（即图睿X2处理器），但本申请不以此为限制。
下面以对电力线巡检为例，对本申请提供的技术方案进行具体说明：
对电力线巡检时，巡检对象不仅包括电力线本身，还包括沿电力线分布的高压电塔，相应的，巡检对象的地图信息中，不仅包括电力线本身的地图信息，还包括高压电塔的地图信息。具体过程如下：
1、根据无人机的地理坐标，确定当前区域。根据当前区域，加载巡检对象的当前区域地图信息。从巡检对象的当前区域地图信息中确定位于当前区域内且分别与电力线和高压电塔对应的元素信息和标签信息；其中，元素信息包括与电力线对应的线、线的地理坐标，以及与高压电塔对应的点、点的地理坐标；标签信息包括与电力线对应的标签（电力线的名称）和标签的地理坐标（电力线名称的地理坐标），以及与高压电塔对应的标签（高压电塔编号）和标签的地理坐标（高压电塔编号的地理坐标）。由于高压电塔对应的元素类型为点，因此，可将高压电塔的地理坐标作为标签（高压电塔编号）的地理坐标。
2、采用第一坐标转换矩阵，将电力线对应的线元素的地理坐标转换为地平坐标，将电力线名称的地理坐标转换为地平坐标，将高压电塔对应的点元素的地理坐标转换为地平坐标。
3、通过预设区域宽度的数值判断预设渲染模式是否为区域渲染模式，若预设区域宽度大于零，则为区域渲染模式，若预设区域宽度小于零，则为元素渲染模式，即不是区域渲染模式。
（1）若是区域渲染模式，根据电力线对应的线元素的地平坐标及预设区域宽度，计算渲染区域的边界的地平坐标，将渲染区域的边界的地平坐标确定为待渲染元素的地平坐标。
（2）若不是区域渲染模式，即渲染模式为元素渲染模式，则将电力线的地平坐标确定为待渲染元素的地平坐标。
4、根据相机的姿态信息生成投影矩阵；根据相机的姿态信息和相机参数，生成第二坐标转换矩阵。
5、采用投影矩阵和第二坐标转换矩阵，将电力线对应的线元素和高压电塔对应的点元素的地平坐标转换为像素坐标。
6、基于元素的类型（线、点）、线的像素坐标、点的像素坐标，对与电力线对应的线元素和与高压电塔对应的点元素进行渲染，得到元素图层。
7、采用投影矩阵和第二坐标转换矩阵，将与电力线对应的标签的地平坐标转换为像素坐标。由于与高压电塔对应的元素的类型为点，因此，高压电塔的标签的地平坐标采用与高压电塔对应的点元素的地平坐标，相应的，高压电塔的标签的像素坐标采用与高压电塔对应的点元素的像素坐标。
8、基于与电力线对应的标签的像素坐标和与高压电塔对应的标签的像素坐标，在元素图层上对与对电力线对应的标签和与高压电塔对应的标签进行渲染，得到叠加图层。
9、将叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
上述电力线巡检的实施例中，由于巡检对象的地图信息中，已经存在高压电塔的标签信息（高压电塔编号）了，因此，电力线的标签信息可以根据实际需要确定是否省略，如果省略电力线的标签信息，则上述方法中对应省略对电力线的标签信息处理的过程，本申请对此不作具体限定。
通过上述方法得到的叠加视频画面，可以在相机实时拍摄的画面上，清楚的看到分布在视频画面中的电力线及沿电力线分布的高压电塔的分布情况，同时，如果电力线采用的是区域渲染模式，通过叠加视频画面可以准确定位电力线两侧的重点关注区域范围，使得巡检更有针对性，便于及时发现安全隐患，提高了巡检的效率。
可以理解的，本申请上述实施例中，巡检对象的地图信息中，应该包括至少一个巡检对象对应的地图信息，也可以包括多个巡检对象对应的地图信息，例如电力线巡检时，巡检对象的地图信息中既包括电力线的地图信息，也包括高压电塔的地图信息。对于元素类型为线的巡检对象，可以通过设置预设区域宽度确定是元素渲染模式还是区域渲染模式，对于元素类型为点和多边形的巡检对象，通常默认渲染模式为元素渲染模式。但本申请不以此为限制，针对元素类型为点和多边形的巡检对象，也可以采用区域渲染模式，显示以点或多边形中心点为中心，以预设区域宽度为直径的区域的边界。
通过本申请实施例提供的技术方案，无人机在巡检过程中，能够在无人机上对当前区域中与巡检对象对应的元素和标签进行渲染，实现了在无人机上实时渲染的效果，无需将相关数据传回服务器，再由服务器进行渲染，降低了AR叠加的延迟，提高了渲染的效率。另外，在渲染过程中，将元素渲染和标签渲染进行了分离，避免元素与标签一起进行渲染时标签发生变形，提高了标签的可读性。同时将渲染得到的叠加图层叠加到相机真实拍摄的视频画面上，得到叠加视频画面，实现虚实结合的效果，使得在真实视频画面上可以显示叠加图层，通过将叠加图层叠加到真实视频画面中，可以得到更加精准的地图信息，便于区分同一视频画面内的巡检对象的分布，便于在真实视频画面中实时观察巡检对象和/或巡检对象周围区域的情况。同时，通过采用区域渲染模式，将元素所在区域的边界(即根据预设区域宽度得到的渲染区域的边界)叠加到真实视频画面中，使得在巡检过程，可以重点关注巡检对象所在的区域范围，明确了重点关注的范围，使得巡检更有针对性，便于及时发现安全隐患，提高了巡检的效率。
参见图6，本申请实施例还提供了一种电子设备600，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中的视频画面处理方法。
本申请实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述方法实施例中的视频画面处理方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的视频画面处理方法。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。图6示出的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储装置608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本申请实施例的方法中限定的上述功能。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种视频画面处理方法，其特征在于，应用于无人机，所述方法包括：
从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息；其中，所述元素信息包括元素的类型和元素的地理坐标，所述标签信息包括标签和标签的地理坐标；
将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标；
基于预设渲染模式，并根据所述元素的地平坐标，确定待渲染元素的地平坐标；
基于相机的姿态信息和相机参数，将所述待渲染元素的地平坐标转换为像素坐标，以及将所述标签的地平坐标转换为像素坐标；
基于待渲染元素的类型以及所述待渲染元素的像素坐标，对所述待渲染元素进行渲染，得到元素图层；所述待渲染元素的类型与所述元素的类型相同；
基于所述标签的像素坐标，在所述元素图层上对所述标签进行渲染，得到叠加图层；
将所述叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
2.根据权利要求1所述的视频画面处理方法，其特征在于，所述基于预设渲染模式，并根据所述元素的地平坐标，确定待渲染元素的地平坐标包括下述任一项：
响应于所述预设渲染模式为元素渲染模式，将所述元素的地平坐标确定为所述待渲染元素的地平坐标；
响应于所述预设渲染模式为区域渲染模式，根据所述元素的地平坐标以及预设区域宽度确定渲染区域，将所述渲染区域的边界的地平坐标确定为所述待渲染元素的地平坐标。
3.根据权利要求1所述的视频画面处理方法，其特征在于，所述基于相机的姿态信息和相机参数，将所述待渲染元素的地平坐标转换为像素坐标，以及将所述标签的地平坐标转换为像素坐标包括：
基于所述相机的姿态信息，生成投影矩阵；
基于所述相机的姿态信息和相机参数，生成第二坐标转换矩阵；
基于所述投影矩阵以及所述第二坐标转换矩阵，将所述待渲染元素的地平坐标转换为像素坐标；
基于所述投影矩阵以及所述第二坐标转换矩阵，将所述标签的地平坐标转换为像素坐标。
4.根据权利要求3所述的视频画面处理方法，其特征在于，所述基于所述投影矩阵以及所述第二坐标转换矩阵，将所述待渲染元素的地平坐标转换为像素坐标包括：
采用所述投影矩阵，将所述待渲染元素的地平坐标转换为相机坐标；
采用所述第二坐标转换矩阵，将所述待渲染元素的相机坐标转换为像素坐标。
5.根据权利要求3所述的视频画面处理方法，其特征在于，所述基于所述投影矩阵以及所述第二坐标转换矩阵，将所述标签的地平坐标转换为像素坐标包括：
采用所述投影矩阵，将所述标签的地平坐标转换为相机坐标；
采用所述第二坐标转换矩阵，将所述标签的相机坐标转换为像素坐标。
6.根据权利要求1所述的视频画面处理方法，其特征在于，所述从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息包括：
从所述巡检对象的当前区域地图信息中提取与所述巡检对象对应的元素的类型、所述元素的地理坐标和标签；
基于所述元素的类型、所述元素的地理坐标，确定所述标签的地理坐标。
7.根据权利要求6所述的视频画面处理方法，其特征在于，所述基于所述元素的类型、所述元素的地理坐标，确定所述标签的地理坐标包括下述至少一项：
响应于所述元素的类型为点，将所述元素的地理坐标确定为所述标签的地理坐标；
响应于所述元素的类型为线，将所述元素的拐点或中点的地理坐标确定为所述标签的地理坐标；
响应于所述元素的类型为多边形，将所述元素的几何中心点的地理坐标确定为所述标签的地理坐标。
8.根据权利要求1-7中任一项所述的视频画面处理方法，其特征在于，所述将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标包括：
采用第一坐标转换矩阵，将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标。
9.根据权利要求1-7中任一项所述的视频画面处理方法，其特征在于，所述将所述标签的地理坐标转换为地平坐标包括：
根据所述无人机的地理坐标，确定标签去重区域；
基于所述标签去重区域和所述标签，对所述标签的地理坐标进行去重处理；
将去重之后的所述标签的地理坐标转换为地平坐标。
10.根据权利要求1-7中任一项所述的视频画面处理方法，其特征在于，从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息之前，所述方法还包括：
根据所述无人机的地理坐标，确定所述巡检对象的当前区域地图信息。
11.一种视频画面处理装置，其特征在于，应用于无人机，包括：
信息确定模块，用于从巡检对象的当前区域地图信息中确定位于当前区域内且与所述巡检对象对应的元素信息和标签信息；其中，所述元素信息包括元素的类型和元素的地理坐标，所述标签信息包括标签和标签的地理坐标；
地平坐标转换模块，用于将所述元素的地理坐标转换为地平坐标，以及将所述标签的地理坐标转换为地平坐标；
地平坐标确定模块，用于基于预设渲染模式，并根据所述元素的地平坐标，确定待渲染元素的地平坐标；
像素坐标转换模块，用于基于相机的姿态信息和相机参数，将所述待渲染元素的地平坐标转换为像素坐标，以及将所述标签的地平坐标转换为像素坐标；
渲染模块，用于基于待渲染元素的类型以及所述待渲染元素的像素坐标，对所述待渲染元素进行渲染，得到元素图层；所述待渲染元素的类型与所述元素的类型相同；
所述渲染模块，还用于基于所述标签的像素坐标，在所述元素图层上对所述标签进行渲染，得到叠加图层；
叠加模块，用于将所述叠加图层叠加到相机实时拍摄的视频画面上，得到叠加视频画面。
12.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-10中任一项所述的视频画面处理方法。
13.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1-10中任一项所述的视频画面处理方法。
CN202110508409.4A 2021-05-11 2021-05-11 视频画面处理方法、装置及电子设备 Active CN113014824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110508409.4A CN113014824B (zh) 2021-05-11 2021-05-11 视频画面处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110508409.4A CN113014824B (zh) 2021-05-11 2021-05-11 视频画面处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113014824A true CN113014824A (zh) 2021-06-22
CN113014824B CN113014824B (zh) 2021-09-24

Family

ID=76380785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110508409.4A Active CN113014824B (zh) 2021-05-11 2021-05-11 视频画面处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113014824B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570720A (zh) * 2021-08-04 2021-10-29 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及***
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN114363696A (zh) * 2021-12-16 2022-04-15 广州方硅信息技术有限公司 视频支持元素***的显示处理方法、电子终端及存储介质
CN114779679A (zh) * 2022-03-23 2022-07-22 北京英智数联科技有限公司 一种增强现实巡检***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130281209A1 (en) * 2010-11-15 2013-10-24 Bally Gaming, Inc. System and method for augmented maintenance of a gaming system
CN109872401A (zh) * 2019-02-18 2019-06-11 中国铁路设计集团有限公司 一种无人机视频增强现实实现方法
CN110414359A (zh) * 2019-07-01 2019-11-05 中国石化销售有限公司华南分公司 长输管道无人机巡检数据分析与管理方法及***
US20200380769A1 (en) * 2018-05-22 2020-12-03 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, storage medium, and computer device
CN112541049A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 高精地图处理方法、装置、设备、存储介质和程序产品
CN112767391A (zh) * 2021-02-25 2021-05-07 国网福建省电力有限公司 融合三维点云和二维图像的电网线路部件缺陷定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130281209A1 (en) * 2010-11-15 2013-10-24 Bally Gaming, Inc. System and method for augmented maintenance of a gaming system
US20200380769A1 (en) * 2018-05-22 2020-12-03 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, storage medium, and computer device
CN109872401A (zh) * 2019-02-18 2019-06-11 中国铁路设计集团有限公司 一种无人机视频增强现实实现方法
CN110414359A (zh) * 2019-07-01 2019-11-05 中国石化销售有限公司华南分公司 长输管道无人机巡检数据分析与管理方法及***
CN112541049A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 高精地图处理方法、装置、设备、存储介质和程序产品
CN112767391A (zh) * 2021-02-25 2021-05-07 国网福建省电力有限公司 融合三维点云和二维图像的电网线路部件缺陷定位方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570720A (zh) * 2021-08-04 2021-10-29 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及***
CN113570720B (zh) * 2021-08-04 2024-02-27 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及***
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN114363696A (zh) * 2021-12-16 2022-04-15 广州方硅信息技术有限公司 视频支持元素***的显示处理方法、电子终端及存储介质
CN114363696B (zh) * 2021-12-16 2024-04-09 广州方硅信息技术有限公司 视频支持元素***的显示处理方法、电子终端及存储介质
CN114779679A (zh) * 2022-03-23 2022-07-22 北京英智数联科技有限公司 一种增强现实巡检***及方法

Also Published As

Publication number Publication date
CN113014824B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113014824B (zh) 视频画面处理方法、装置及电子设备
CN110222137B (zh) 一种基于倾斜摄影与增强现实技术智慧校园***
CN106371456B (zh) 一种无人机巡线方法及***
Kikuchi et al. Future landscape visualization using a city digital twin: Integration of augmented reality and drones with implementation of 3D model-based occlusion handling
CN114637026A (zh) 一种基于三维仿真技术实现输电线路在线监测与智能巡检的方法
CN109961522B (zh) 图像投射方法、装置、设备和存储介质
CN108917758B (zh) 一种基于ar的导航方法及***
US20110169826A1 (en) Universal collaborative pseudo-realistic viewer
CN104517001A (zh) 一种基于浏览器的用于展示待建成建筑信息的方法
US20170228933A1 (en) Method and apparatus for updating navigation map
CN108981734B (zh) 电子地图道路拓展方法、装置、电子设备及存储介质
TWI725360B (zh) 用於確定地圖上的新道路的系統和方法
KR102097416B1 (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
CN109242966B (zh) 一种基于激光点云数据的3d全景模型建模方法
Brovelli et al. The power of Virtual Globes for valorising cultural heritage and enabling sustainable tourism: NASA World Wind applications
Rau et al. A cost-effective strategy for multi-scale photo-realistic building modeling and web-based 3-D GIS applications in real estate
CN110910504A (zh) 区域的三维模型的确定方法及装置
CN111710041B (zh) 基于多源异构数据融合展示技术的***及环境模拟方法
Capece et al. A client-server framework for the design of geo-location based augmented reality applications
CN115859657A (zh) 一种基于高精度路网数据的交通在线仿真和数字孪生引擎
CN106649777B (zh) 一种在全景矢量数据中构建路口拓扑关系的方法
Adăscăliţei et al. The Influence of Augmented Reality in Construction and Integration into Smart City.
CN109520513B (zh) 一种三维地图绘制方法及装置
JP2023021469A (ja) 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
CN112785083B (zh) 到达时间的预估方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant