CN115937440A

CN115937440A - 一种无人机实时视频与三维场景融合的方法

Info

Publication number: CN115937440A
Application number: CN202211200921.3A
Authority: CN
Inventors: 严振涛; 江一帆; 周丹; 毛铭祺; 潜军伟; 郑幸
Original assignee: Zhejiang Jingyuan Electric Power Industry Co ltd
Current assignee: Zhejiang Jingyuan Electric Power Industry Co ltd
Priority date: 2022-09-29
Filing date: 2022-09-29
Publication date: 2023-04-07

Abstract

本发明公开了一种无人机实时视频与三维场景融合的方法，包括以下步骤：步骤S1：实时视频数据的采集和处理；步骤S2：三维地理场景和实际场景的构建；步骤S3：通过无人机将采集到的实时视频数据和三维地理场景进行数据融合；通过无人机定点巡查进行倾斜摄影对指定区域进行实景融合，无人机和三维地图融合的方法对指定区域具有更好的覆盖，使得实景视频数据更清晰，实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理做到快速响应，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

Description

一种无人机实时视频与三维场景融合的方法

技术领域

本发明涉及无人机倾斜三维摄影技术领域，尤其是涉及一种无人机实时视频与三维场景融合的方法。

背景技术

随着无人机技术的成熟和应用难度的降低，越来越多的领域开始应用无人机代替人类完成一些高难度的工作，如摄影测量数据采集、自然资源调查监管、交通救援搜索和巡查等。无人机具备通信、远程控制、高分辨率视觉图像信息和数据传输等能力，可以实现快速分析大量的影音与图片信息。由于传统固定位置的摄像头存在监控死角，且无法拍摄正射的视频，在三维地理场景中投影时变形较大，而无人机可以实现任意位置和任意角度的视频信息获取，将视频与三维地理场景相融合，赋予其空间信息，可实现与周围场景的地理要素关联分析，从而在诸如重大安全事故处理的应用中，可以快速进行资源配置和应急处置。

例如，一种在中国专利文献上公开的“一种无人机屋头自旋飞行倾斜摄影航拍方法”，其公开号为CN111891356A，包括无法通过实时的倾斜摄影与三维地理场景进行空间信息赋予，无法实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理无法做到快速响应。

发明内容

本发明是为了克服现有技术中，固定位置的摄像头存在监控或拍摄死角，而无人机倾斜摄影无法与三维地理场景进行空间信息赋予，无法实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理无法做到快速响应，提出一种无人机实时视频与三维场景融合的方法，通过倾斜视角的拍摄和三维地理场景的布景结合，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

为了实现上述技术目的，本发明采用以下技术方案：

一种无人机实时视频与三维场景融合的方法，包括以下步骤：

步骤S1：实时视频数据的采集和处理；

步骤S2：三维地理场景和实际场景的构建；

步骤S3：通过无人机将采集到的实时视频数据和三维地理场景进行数据融合。

通过无人机定点巡查进行倾斜摄影对指定区域进行实景融合，无人机和三维地图融合的方法对指定区域具有更好的覆盖，使得实景视频数据更清晰，实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理做到快速响应。

作为优选，步骤S1包括以下步骤：

步骤S1-1：无人机对周围地理环境进行实时数据采集和数据传输；

步骤S1-2：无人机客户端将无人机采集到的视频图像通过编码压缩后传输到无人机遥控接收器；

步骤S1-3：在无人机巡查过程中进行实时视频流数据解析，并将视频流数据投影到三维地理场景中；

步骤S1-4：判断无人机进入站点和离开站点时的状态。

作为优选，所述步骤S1-2中，无人机视频的采集和传输通过客户端和服务端进行，在网络条件下，无人机遥控接收器通过对数据流进行封装后将数据流发送到服务器端，并通过指定服务实时接收客户端发送的数据包，并对数据包进行数据解析获取视频数据流。

作为优选，所述步骤S1-4包括以下步骤：

步骤S1-4-1：对无人机飞行速度进行监控，当无人机实时速度为0且保持不变时，则判断无人机为悬停状态，即将无人机接入站点，记录当前时间并获取视频流；

步骤S1-4-2：当无人机实时速度不为0时，则判断无人机为飞行状态，即无人机离开站点，记录当前时间并停止获取视频流。

作为优选，步骤S2包括以下步骤：

步骤S2-1：对倾斜模式下无人机采集到的视频数据进行轻量化处理，处理目标数据的方法包括：合并根节点、地理纹理压缩、和模型大文件生成；

步骤S2-2：完成倾斜数据优化，完成倾斜摄影数据的打包。

三维桌面软件进行倾斜数据的优化，首先从倾斜数据的数据结构着手，通过合并根节点的方式提升读取数据的速度；然后从三维切片渲染的角度入手，通过压缩纹理提升倾斜三维切片的渲染速度；最后为了减少切片文件请求总量，直接将多个文件夹下的诸多碎瓦片文件生产一个倾斜摄影模型大文件。对轻量化后的倾斜摄影数据进行打包发布，可以在浏览器中实现三维地理场景较为流畅的加载。

作为优选，所述步骤S2-2具体包括以下步骤：

步骤S2-2-1：通过合并根节点的方式提升数据读取速度；

步骤S2-2-2：通过压缩地理纹理提升倾斜三维切片的渲染速度；

步骤S2-2-3：将多个文件夹下的碎瓦片文件产生一个倾斜摄影模型大文件。

作为优选，所述步骤S3包括以下步骤：

步骤S3-1：通过解析无人机实景融合数据模型得到相关参数；

步骤S3-2：将无人机采集到的位置数据作为虚拟相机的视点数据，无人机相机的视角为固定参数；

步骤S3-3：通过设置准确的视点位置和视场角值，实现视频在三维地理场景中的某一个方向上的投影，利用图像匹配的方法进行方位角调参，实现真实无人机视频画面与三维地理场景画面的最佳匹配。

利用无人机进行站点巡查时，通过解析无人机实景融合数据模型获得相关参数；将位置数据作为虚拟相机的视点数据，无人机相机的视场角为固定属性参数；由于无人机视频拍摄时，其姿态保持将竖直向下，因此将倾斜角位置为-90度；而其方位角需要求解。

通过多方求解，通过无人机倾斜摄像和地理位置融合，快速确定所需补给资源配置和应急处理的当前区域，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

作为优选，通过无人机定点巡查影像对该区域进行实景融合，将无人机倾斜摄影的俯仰方向可控角度设置为-90°~0°，展示监控区域实景融合前后的对比，通过实景前后比对判断各式区域划分，同时基于Gesium框架进行三维地理场景构建，完成无人机实时视频与三维场景的融合。

因此，本发明的有益效果如下所示：

通过无人机定点巡查进行倾斜摄影对指定区域进行实景融合，无人机和三维地图融合的方法对指定区域具有更好的覆盖，使得实景视频数据更清晰，实时进行周围场景的地理要素关联分析，对重大事故处理的应用中对补给资源配置和应急处理做到快速响应；

通过无人机倾斜摄像和地理位置融合，快速确定所需补给资源配置和应急处理的当前区域，实现拍摄视频图像与周围地理元素融合，使得空间信息获取更方便、精确。

附图说明

图1是本发明的方法步骤示意图；

图2是本发明实时视频数据采集和处理步骤示意图；

图3是本发明三维场景和实际场景构建的步骤示意图；

图4是本发明无人机视频数据和三维地理场景数据融合示意图；

图5是本发明监控区域实景融合前后对比示意图。

具体实施方式

下面将结合附图和具体实施方式，对本发明作进一步具体的描述。

如图1所示为一种无人机实时视频与三维场景融合的方法的具体步骤示意图，包括以下步骤：

步骤S1：实时视频数据的采集和处理；

步骤S2：三维地理场景和实际场景的构建；

如图2所示，步骤S1包括以下步骤：

步骤S1-4：判断无人机进入站点和离开站点时的状态。

步骤S1-2中，无人机视频的采集和传输通过客户端和服务端进行，在网络条件下，无人机遥控接收器通过对数据流进行封装后将数据流发送到服务器端，并通过指定服务实时接收客户端发送的数据包，并对数据包进行数据解析获取视频数据流。

客户端采集无人机高清视频图像，经过编码压缩后传输到无人机遥控接收器；在网络条件下，无人机遥控接收器通过对数据流进行封装后将其发送至服务器端，并通过指定服务实时接受客户端发送的数据包，对数据包进行解析获取视频流。

在无人机巡查过程中需要实时进行视频流数据解析，并在三维地理场景中进行投影，在满足传输延迟要求的情况下，准确地截取视频流片段是实现视频投影后相邻点视频画面连通的基础。

步骤S1-4包括以下步骤：

如图3所示，步骤S2包括以下步骤：

步骤S2-2：完成倾斜数据优化，完成倾斜摄影数据的打包。

步骤S2-2具体包括以下步骤：

步骤S2-2-1：通过合并根节点的方式提升数据读取速度；

倾斜摄影技术能够真实反映地物情况，高精度地获取地物纹理信息，生成真实的三维尘世模型，但越精细、越广阔的倾斜模型再加载和浏览时压力越大。视频数据和倾斜三维模型再三维地理场景中集成展示时，为了实现实景融合场景流畅化展示，需要对倾斜模式数据进行轻量化处理，包括合并根节点、纹理压缩和模型大文件生成等。

如图4所示，步骤S3包括以下步骤：

步骤S3-1：通过解析无人机实景融合数据模型得到相关参数；

通过设置准确的视点位置和视场角的值，可实现视频在三维地理场景中的某一个方向上的投影，基于真实模型构建的三维地理场景中必定会存在与视频画面相匹配的场景画面，将倾斜角固定为-90度，利用图像匹配的方法进行方位角调参，实现真实无人机视频画面与三维地理场景画面的最佳匹配，即可获取真实的方位角，构建视频投影参数，从而实现视频再三维地理场景中的投影展示。

通过无人机定点巡查影像对该区域进行实景融合，将无人机倾斜摄影的俯仰方向可控角度设置为-90°~0°，展示监控区域实景融合前后的对比，通过实景前后比对判断各式区域划分，同时基于Gesium框架进行三维地理场景构建，完成无人机实时视频与三维场景的融合。

另外，在巡查过程中进行视频投影的同时，将视频范围内的语义信息在三维地理场景中进行标注，实现当前站点视频数据和语义信息同步在三维地理场景中的展示。

实施例一

本发明采用大疆无人机，似乎一款四旋翼高精度航测无人机，该无人机包含RTK模块，可实现厘米级定位。该无人机相机具有2000万有效像素，支持30帧/s的超高清视频录像，并能以100Mbit/s的高码流实现实时下传至地面终端。该无人机使用三轴稳定云台，俯仰方向可控角度为-90度~0度；带屏遥控器内置GS RTK APP提供航点飞行、航带飞行、仿地飞行、大区分割等多种航线规划模式，支持KML/KMZ文件导入，适用于不同的航测应用场景。

试验区模型数据为莲都区紧电大厦倾斜摄影测量模型。首先选取其中的主干道路，进行无人机路线巡查，然后对区域进行无人机顶点巡查，并分别进行视频数据采集。同时使用3Dmax三维软件进行模式数据的优化处理和服务发布，并基于Gesium框架进行三维地理场景的构建。

无人机线路巡查沿着道路前进，展示了其中3个站点实景融合的表达效果，可明显看出路况和车辆等信息，实现了无人机辅助巡逻，同时再投射过程中进行语义信息的加载。

如图5所示，通过无人机定点巡查影像对该区域进行实景融合，展示了监控区域实景融合前后的对比，可以看出视频对该区域具有较好的覆盖，可以实时展示该区域的动态。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims

1.一种无人机实时视频与三维场景融合的方法，其特征是，包括以下步骤：

步骤S1：实时视频数据的采集和处理；

步骤S2：三维地理场景和实际场景的构建；

2.根据权利要求1所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤S1包括以下步骤：

步骤S1-4：判断无人机进入站点和离开站点时的状态。

3.根据权利要求2所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤S1-2中，无人机视频的采集和传输通过客户端和服务端进行，在网络条件下，无人机遥控接收器通过对数据流进行封装后将数据流发送到服务器端，并通过指定服务实时接收客户端发送的数据包，并对数据包进行数据解析获取视频数据流。

4.根据权利要求2所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤S1-4包括以下步骤：

5.根据权利要求1所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤S2包括以下步骤：

步骤S2-2：完成倾斜数据优化，完成倾斜摄影数据的打包。

6.根据权利要求5所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤S2-2具体包括以下步骤：

步骤S2-2-1：通过合并根节点的方式提升数据读取速度；

7.根据权利要求1所述的一种无人机实时视频与三维场景融合的方法，其特征是，所述步骤S3包括以下步骤：

步骤S3-1：通过解析无人机实景融合数据模型得到相关参数；

8.根据权利要求1或7所述的一种无人机实时视频与三维场景融合的方法，其特征是，通过无人机定点巡查影像对该区域进行实景融合，将无人机倾斜摄影的俯仰方向可控角度设置为-90°~0°，展示监控区域实景融合前后的对比，通过实景前后比对判断各式区域划分，同时基于Gesium框架进行三维地理场景构建，完成无人机实时视频与三维场景的融合。