CN106454209B - 基于时空信息融合技术的无人机应急快反数据链***及方法 - Google Patents
基于时空信息融合技术的无人机应急快反数据链***及方法 Download PDFInfo
- Publication number
- CN106454209B CN106454209B CN201510475243.5A CN201510475243A CN106454209B CN 106454209 B CN106454209 B CN 106454209B CN 201510475243 A CN201510475243 A CN 201510475243A CN 106454209 B CN106454209 B CN 106454209B
- Authority
- CN
- China
- Prior art keywords
- information
- aerial vehicle
- unmanned aerial
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 36
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 33
- 238000005516 engineering process Methods 0.000 claims abstract description 22
- 239000004576 sand Substances 0.000 claims abstract description 20
- 238000012800 visualization Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000004141 dimensional analysis Methods 0.000 claims abstract description 4
- 238000012482 interaction analysis Methods 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims description 36
- 230000001360 synchronised effect Effects 0.000 claims description 22
- 238000007499 fusion processing Methods 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005094 computer simulation Methods 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于时空信息融合技术的无人机应急快反数据链***及方法，包括：吊舱***，搭载有多类型传感器，用于采集多视倾斜影像、采集实时视频和目标追踪；飞控地面站，用于无人机的地面调试、飞行控制和状态监视；图像地面站，用于三维快视图的处理；时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。采用本发明，能够实现实时视频监控信息与空间地理信息的融合应用，并借助互联网与移动互联网技术实现融合监控信息的远程共享。
Description
技术领域
本发明涉及无人机动态监控技术，尤其涉及一种基于时空信息融合技术的无人机应急快反监控***及方法，可应用于无人机应急救灾、森林防火、公共安全、维稳处突、态势监控，电力/管线等例行性巡检等领域。
背景技术
随着无人机等无人飞行技术在民用领域的持续推广应用，无人机应用与应急监控越来越普遍。无人机具有机动灵活、成本低、使用方便的特点，很多传统的非固定区域的监控或巡检工作都在试图用无人机来代替旧的技术手段。
目前市场上的无人机平台***已经基本上解决了视频的采集和短距离传输问题，主要利用微波电台实现从无人机到地面站的实时传输。但在应急情况下，会有多方领导及多方单位参与事件的处理或指导工作，他们都需要了解现场的情况，并需要对现场及周边的空间信息及相关资源进行全方位了解。
因此，在应急情况下，只解决实时监控信息到地面站的视频传输是远远不够的，还需要将事件周边的空间信息及实时监控信息传送给位于不同单位或处所得多个相关人员，以便实时全面了解现场情况。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于时空信息融合技术的无人机应急快反监控***及方法，以实现实时视频监控信息与空间地理信息的融合应用，并借助互联网与移动互联网技术实现融合监控信息的远程共享。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于时空信息融合技术的无人机应急快反监控***，包括无人机平台***和吊舱***；该应急快反监控***还包括：飞控地面站、图像地面站和时空信息融合监控服务平台以及监控终端；其中，
所述吊舱***搭载有传感器***，用于采集多视倾斜影像、采集实时视频和目标追踪；
所述飞控地面站，用于无人机的地面调试、飞行控制和状态监视；
所述图像地面站，用于三维快视图的处理；
所述时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；以及，
所述监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。
其中，所述无人机平台***集成有数传发射模块，用于实现无人机飞控控制数字传输链路。
所述传感器***，进一步包含图传发射模块，用于实现实时视频的传输。
所述图像地面站，进一步包含：
图像信息处理模块，用于完成倾斜影像的三维实景建模处理，受处理能力的限制；
视频信息处理模块，用于完成视频和无人机POS信息的采集和同步处理、同步转发及视频信息与电子沙盘信息的融合处理和可视化显示。
所述POS信息，包括GPS位置、无人机姿态和吊舱姿态信息。
所述无人机平台***的飞控模块通过RS422接口与吊舱***相连实现飞控对吊舱的控制和数据传输，所述吊舱***通过图像跟踪板控制伺服***实现对目标的跟踪功能，并通过图传电台实时传输给图像地面站。
一种基于时空信息融合的无人机应急快反监控方法，包括如下步骤：
A、无人机平台***集成带目标跟踪功能的吊舱***，该吊舱***通过图像跟踪板实现目标跟踪功能；
B、图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，实现对吊舱的姿态控制，并可采集吊舱传回的监控视频和吊舱姿态信息；
C、视频信息与无人机姿态信息和吊舱信息的同步采集及编码，保证视频与平台姿态参数的时间一致性，有利于后期进行时空融合处理；
D、同步编码信息的网络转发和接收，将视频流信息进行重新拆分和编码，然后对视频和POS信息进行同步转发处理；
E、监控区域空间信息及电子沙盘的信息获取及可视化，空间信息的获取有多种渠道；
F、监控区域空间信息与同步编码后的视频监控信息融合处理，为实时视频赋予清晰的地理位置属性。
较佳地，进一步包括步骤G：
通过时空信息融合服务平台***实现时空信息融合后的信息共享的步骤。
所述吊舱***进一步集成有图像跟踪单元，用于自动检测监控区域内的动态目标，并利用图像跟踪单元将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。
其中，图像地面站对图像、无人机POS、吊舱POS进行融合编码的过程，包括：
图像地面站集成图像采集卡对模拟视频进行采集，并进行基于H.264的编码；
图像地面站通过图像地面站专用软件从图像采集卡读取压缩后的视频流，通过串口读取吊舱姿态和无人机姿态信息；
图像地面站对视频码流按照相应格式拆包分解，在每一包的开头或结尾写入吊舱姿态信息和无人机姿态信息；以及，
对新的包信息进行重组打包以后发送给其他模块，并转发出去，发给时空信息融合监控服务平台。
所述监控区域空间信息及电子沙盘的信息获取方式，包括：
利用三维GIS软件直接加载公共服务平台提供的地图服务；
对局部监控区域进行手工建模，将模型导入三维GIS软件；以及，
利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三位GIS软件，构建该区域的电子沙盘。
所述监控区域空间信息与同步编码后的视频监控信息融合处理，包括如下步骤：
F1：利用无人机GPS位置信息、无人机IMU姿态信息及吊舱的姿态信息进行联合解算，获取视频拍摄时的外方位参数；
F2：提前对搭载摄像头信息进行内参数标定，获取摄像头内参数信息，并从吊舱姿态里实时获取变焦的焦距信息；
F3：以GPS位置点为射线起点，依据内外方位参数形成摄像机对地拍摄的射线，此射线与地面空间信息会有交点，分别计算经过图像四个角点发射的射线根地面的交点，形成无人机监控摄频的拍摄视锥体；
F4：在三维GIS软件上实时接收由前端转发过来视频信息，在同一界面上既能够看到实时视频，还能够看到无人机航线和视频拍摄范围；
F5：当拍摄区域内有动态目标时，机上吊舱输出动态目标在视频中的位置，此时三维GIS软件收到此目标的图像位置信息，依据此计算得到目标的空间位置和移动轨迹。
所述时空信息融合后的信息共享，具体为：
时空信息融合监控服务平台为BS架构的基于地理信息服务框架的平台***，通过3G或4G网络实时接收来自前端图像地面站发送过来的视频信息和姿态信息，或通过电台或其他形式的视频传输网络获得实时视频，时空信息融合监控服务平台通过网络服务能力，向其他连入的终端***转发监控区域的视频信息及融合后的空间信息，从而实现信息的多方共享。
本发明基于时空信息融合技术的无人机应急快反监控***及方法与现有技术相比的优点在于：
传统无人机监控仅解决了无人机飞行问题和视频信息的采集问题，而本发明侧重于监控信息在空间地理信息平台上的深度融合应用，为视频监控信息赋予大空间的位置属性，且通过时空信息融合监控服务平台实现无人机监控信息的远程传输和信息共享，这在应急快反中至关重要。此外，通过吊舱***与无人机平台和地理信息***的集成，还可实现目标的检测、跟踪和地理定位，这在公安应急、处理突发事件、安防应用等方面非常重要。
附图说明
图1A为本发明基于时空信息融合的无人机应急快反监控***功能方框图；
图1B为本发明基于时空信息融合的无人机应急快反监控***结构示意图；
图2为无人机平台***与吊舱***集成结构示意图；
图3、图4为图像地面站示意图；
图5为本发明的快反时空信息融合监控服务平台及APP应用***的框架结构示意图；
图6为本发明的快反监控终端视频监控画面示意图；
图7为本发明的快反监控终端图像处理画面示意图。
具体实施方式
下面结合附图及本发明的实例对本发明基于时空信息融合技术的无人机应急快反监控***及方法作进一步详细的说明。
本发明的主要技术原理在于：首先，传感器采集的图像信息结合飞行平台采集的位置信息和姿态信息按照摄影测量的原理，理论上不能确定传感器的拍摄位置，但如再结合已知的地理信息数据，则可通过射线求交的方式确定出传感器拍摄的范围。其次，监控区域空间信息的获取最直接有效的办法是通过无人机搭载倾斜相机***进行多角度数据采集，通过多视图像空中三角测量、密集点云提取、三维重建和纹理映射等处理技术，可获得拍摄区域的三维实景模型。再次，通过倾斜摄影获取的三维实景模型及在其上叠加的实时视频监控信息首先可在无人机地面站上看到，这些信息通过与时空信息融合监控服务平台***对接可实现监控信息的实时远程共享，通过连接服务平台的客户端***可查看无人机平台获取的三维实景及监控信息。
本发明基于已经逐渐成熟的无人机技术、地理信息技术、互联网技术及移动互联网技术，提出了一种基于时空信息融合技术的无人机应急快反监控方法，并提供一种简单的、轻量化的与无人机平台紧密集成的时空信息融合监控服务平台***，该***不但可以利用无人机平台实时监控关注区域，并且可以将实时监控图像与空间地理信息进行深度融合，同时，利用互联网和移动互联网技术，这些深度融合后的时空信息画面还可实时共享给各个相关单位人员，这些人员的手机或平板(如PAD)终端上只需安装一个APP应用。
图1A为本发明基于时空信息融合的无人机应急快反监控***功能方框图。如图1A所示，其主要实现步骤包括：从无人机平台获取无人机平台姿态参数；从无人机载吊舱***获取视频监控图像信息和吊舱的姿态参数；由图像地面站同时获取视频信息、无人机姿态信息、吊舱姿态信息，并对同时刻三维信息进行同步处理；图像地面站利用图像地面站软件***一方面对同步后的监控信息进行与空间信息的融合，并进行可视化显示，另一方面对同步后的信息利用4G网络或其他网络转发给远程的时空信息融合服务平台；时空信息融合服务平台可向所有与平台连接的时空信息监控终端***提供时空信息融合后的无人机监控信息；时空信息监控终端***即可向使用者提供无人机监控视频，又可提供无人机航线位置，以及视频的监控范围和目标位置、轨迹信息。
图1B为本发明基于时空信息融合的无人机应急快反监控***结构示意图。如图1B所示，本发明的基于时空信息融合的无人机应急快反监控方法，主要包括如下步骤：
步骤1：无人机平台***集成带目标跟踪功能的吊舱***，该吊舱***通过图像跟踪板实现目标跟踪功能。
步骤2：图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，即可实现对吊舱的姿态控制，又可采集吊舱传回的监控视频和吊舱姿态信息。通过通信网络(如局域网或WIFI)，图像地面站可从飞控地面站实时获取数传电台下传的无人机姿态和位置信息以及吊舱姿态信息。
步骤3：视频信息与无人机姿态信息和吊舱信息的同步采集及编码，保证视频与平台姿态参数的时间一致性，有利于后期进行时空融合处理。
步骤4：同步编码信息的网络转发和接收，视频采集过来是通用的H.264编码视频流，为了要进行视频与POS的同步转发处理，需要对视频流信息进行重新拆分和编码。
步骤5：监控区域空间信息及电子沙盘的信息获取及可视化，空间信息的获取有多种渠道。譬如，可通过倾斜摄影的方式快速获取三维实景模型，这是目前最有效的手段。
步骤6：监控区域空间信息与同步编码后的视频监控信息融合处理，为实时视频赋予清晰的地理位置属性。
步骤7：通过时空信息融合服务平台***实现时空信息融合后的信息共享。应急状态下往往需要多个部门、多个相关人员需要了解现场情况。
这里，所述吊舱***内部集成有图像跟踪单元，图像跟踪单元一方面可自动检测监控区域内的动态目标，另一方面图像跟踪单元可将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器可将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。
另外，图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，图像地面站作为以监控任务为主导工作的核心单元完成对吊舱的直接控制，而非飞控地面站直接控制吊舱；图像地面站完成图像采集、吊舱姿态采集和无人机姿态采集任务。图像地面站完成三种信息采集有两种方式：
其一，吊舱在机上获取无人机飞控单元采集的无人机GPS信息和IMU姿态信息，再与自身姿态一起打包下发给图像地面站。
其二，吊舱不与机上飞控对接，地面飞控地面站获取无人机GPS信息和IMU姿态信息后转发给图像地面站，图像地面站再通过图像采集设备和吊舱数传电台完成其他信息的采集。
其中，图像地面站对图像、无人机POS、吊舱POS进行融合编码的步骤如下：
(1)图像地面站集成图像采集卡对模拟视频进行采集，并进行基于H.264的编码。
(2)图像地面站通过图像地面站专用软件从图像采集卡读取压缩后的视频流，通过串口读取吊舱姿态和无人机姿态信息。
(3)图像地面站专用软件对视频码流按照相应格式拆包分解，在每一包的开头或结尾写入吊舱姿态信息和无人机姿态信息。
(4)对新的包信息进行重组打包以后发送给其他模块，并转发出去，发给时空信息融合监控服务平台。
监控区域空间信息及电子沙盘的信息获取有多种渠道：
(1)利用三维GIS软件直接加载公共服务平台提供的地图服务，比如百度地图、Google地图、天地图等公共地图服务平台；
(2)对局部监控区域进行手工建模，将模型导入三维GIS软件；
(3)利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三位GIS软件，构建该区域的电子沙盘。
其中，监控区域空间信息与同步编码后的视频监控信息融合处理其主要步骤包括：
(1)利用无人机GPS位置信息、无人机IMU姿态信息及吊舱的姿态信息(俯仰角、航向角)进行联合解算，获取视频拍摄时的外方位参数；
(2)提前对搭载摄像头信息进行内参数标定，获取摄像头内参数信息，并可从吊舱姿态里实时获取变焦的焦距信息；
(3)以GPS位置点为射线起点，依据内外方位参数可形成摄像机对地拍摄的射线，此射线与地面空间信息会有交点，分别计算经过图像四个角点发射的射线根地面的交点，则可形成无人机监控摄频的拍摄视锥体；
(4)同时在三维GIS软件上实时接收由前端转发过来视频信息，可在同一界面上既然可看到实时视频，又可看到无人机航线和视频拍摄范围；
(5)当拍摄区域内有动态目标时，机上吊舱会输出动态目标在视频中的位置，此时三维GIS软件可收到此目标的图像位置信息，可依据此计算得到目标的空间位置和移动轨迹。其中的原理与视椎体的计算方法相同。
时空信息融合后的信息共享的主要方法是，时空信息融合监控服务平台为BS架构的基于地理信息服务框架的平台***，他可通过3G或4G网络实时接收来自前端图像地面站发送过来的视频信息和姿态信息，也可通过电台或其他形式的视频传输网络获得实时视频，时空信息融合监控服务平台可提供强大的网络服务能力，可向其他连入的终端***转发监控区域的视频信息及融合后的空间信息，达到信息的多方共享。
如图1B所示，本发明的基于时空信息融合技术的无人机应急快反的监控***，主要由传感器***、无人机平台***、图像地面站、飞控地面站(UAV地面站)、快反时空信息融合监控服务平台、监控终端(如快反PAD终端、快反手机终端)等几个部分组成。
其中，传感器***是吊舱***搭载的主要工作单元，所述传感器***的传感器可以包含以下几种类型：三轴立体相机和智能光电吊舱。
所述三轴立体相机负责多视倾斜影像的采集；所述智能光电吊舱负责实时视频采集和目标追踪。所述无人机平台***为多旋翼无人机，其关键核心部件为飞控模块(如无人机快反飞控自驾仪)，主要负责无人机平台***的安全飞行，以及与任务载荷的联合控制。
另外，无人机平台***还集成了图传发射模块和数传发射模块，主要实现无人机飞控控制数字传输链路。并通过集成在传感器***中的图传发射模块实现实时视频的传输。
本发明的无人机平台***与吊舱***集成结构示意图，如图2所示，飞控模块与吊舱***通过RS422接口相连实现飞控对吊舱的控制和数据传输，吊舱通过图像跟踪板控制伺服***实现对目标的跟踪功能，以可见光或红外传感器方式通过图传电台实时传输给地面站。
吊舱***与无人机飞行平台监控信息采集的主要工作流程是：吊舱***内部集成了可见光或红外传感器、图像跟踪单元，吊舱***与图传***连接，并通过其向地面传输实时视频；图像跟踪单元与无人机飞行平台的飞控***通过RS422接口相连，一方面可自动检测监控区域内的动态目标，另一方面图像跟踪单元可将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器可将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。
飞控地面站集成了飞控地面站软件及数传接收电台，主要负责无人机的地面调试、飞行控制和状态监视。
本发明的图像地面站示意图，如图3、4所示，其主要集成了图传接收模块、视频采集模块、吊舱控制模块及图像处理软件模块。
这里，所述图像地面站主要用于吊舱控制、实时视频监视、视频处理和图像处理任务。图像地面站还预留了远程通讯接口，内置4G网卡，可通过接入互联网、专网或4G网络实现与快反时空信息融合监控服务平台的连接，图像地面站可将无人机飞行数据、视频监控数据及图像数据发送给服务平台，也可从服务平台获取空间地理信息数据构建电子沙盘。
图像地面站包含两大模块：视频信息处理模块和图像信息处理模块。地面站主要完成三维快视图的处理。其中，图像信息处理模块，主要完成倾斜影像的三维实景建模处理，受处理能力的限制。视频信息处理模块，主要任务是完成视频和无人机POS(GPS位置、无人机姿态、吊舱姿态)信息的采集和同步处理、同步转发及视频信息与电子沙盘信息的融合处理和可视化显示。
这里，视频与电子沙盘融合处理的内容包括：
(1)视频监控覆盖地理范围的计算及可视化；
(2)视频帧的地理矫正及与电子地图的叠加显示；
(3)视频信息中目标的位置、移动速度、移动方位的计算和可视化；
(4)无人机航迹信息可视化。
视频监控覆盖范围的计算和视频帧纠正的基本原理均为摄影测量的共线方程，下列公式(1)、(2)中，矩阵R为相机的外方位元素构建的旋转矩阵，通过机上下传的IMU参数可获得，公式1中，Xs、Ys、Zs为摄站坐标，可通过机上下传的GPS信息近似获得，(x，y)为图像上任一点的像空间坐标系的坐标，f为焦距，唯一要确定的即Z。通常军事应用中，一般通过激光测距仪向目标方向测距来精确判断目标的位置。如我们已知监测区域的高精度DEM数据，以GPS点为原点，通过图像上(x，y)点做射线，求得该射线与DEM的交点，即可确定(x，y)点对应的空间坐标(X，Y，Z)，根据同样的原理，也可计算目标在任意时刻的位置信息，进而可求得运动速度和方向。
外方位角元素 (2)
视频与POS信息的同步处理及转发功能处理过程如下：
(1)通过图像地面站集成的图像采集卡采集和压缩视频流信息；
(2)图像地面站软件从视频采集卡直接读取视频压缩后的码流信息；
(3)对码流解包处理；
(4)飞控地面站通过数传电台接收无人机上下传的POS(包括GPS信息、气压高、飞机IMU姿态和吊舱的姿态信息及跟踪信息等)信息，并向图像地面站转发相同信息；
(5)图像地面站接收飞控地面站转发过来的POS信息；
(6)在视频码流的每包数据的开头或末尾加入POS信息，重新构建视频帧码流数据；
(7)将新的码流数据进行转发；
(8)视频播放及处理模块接收新的码流数据进行解包处理，首先获得POS数据，再对剩下的视频码流进行解码处理。
快反时空信息融合监控服务平台是一个融合了空间地理信息、动态视频监控信息及传感信息的综合***平台，可对外提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化等服务；该服务平台还对外开放web应用开发、桌面端应用开发及移动应用开发接口。
快反PAD终端及手机终端等监控终端，是连接快反时空信息融合监控服务平台的两类App应用，主要实现无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。
图5为快反时空信息融合监控服务平台及APP应用***的框架结构。从下到上可分为：支撑平台层、服务层和应用层。支撑平台层包含Google三维可视化插件、炫界基础三维GIS平台、Smart3D图像处理引擎。服务层包含两大服务子***：图像处理子***、视频处理子***，这两个子***共同调用了炫界基础三维GIS平台里的三维GIS插件。应用层为快反PAD终端app和手机端app。
快反终端应用App均支持按键式触摸屏操作，使用方便，操作简单灵活，图6、图7分别为快反监控终端上视频监控画面示意图和图像处理画面示意图。
要实现基于时空信息融合的无人机应急监控，监控区域空间信息及电子沙盘的信息获取及可视化也是必须要解决的问题。电子沙盘信息的获取有多重方式：
(1)利用三维GIS软件直接加载公共服务平台提供的地图服务，比如百度地图、Google地图、天地图等公共地图服务平台；
(2)对局部监控区域进行手工建模，将模型导入三维GIS软件；
(3)利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三位GIS软件，构建该区域的电子沙盘。本方法倾斜摄影的获取采用三轴立体相机拍摄获取，倾斜影像的实景建模处理利用快反时空信息融合监控服务平台完成大批量数据处理任务，利用图像地面站图像处理软件完成三维快视图的处理。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (13)
1.一种基于时空信息融合技术的无人机应急快反数据链***，包括无人机平台***和吊舱***；其特征在于，该应急快反数据链***还包括：飞控地面站、图像地面站和时空信息融合监控服务平台以及监控终端；其中，
所述吊舱***搭载有传感器***，用于采集多视倾斜影像、采集实时视频和目标追踪，所述传感器***的传感器包含以下几种类型：三轴立体相机和智能光电吊舱；
所述飞控地面站，用于无人机的地面调试、飞行控制和状态监视；
所述图像地面站，用于三维快视图的处理；
所述时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；以及，
所述监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。
2.根据权利要求1所述基于时空信息融合技术的无人机应急快反数据链***，其特征在于，所述无人机平台***集成有数传发射模块，用于实现无人机飞行控制数字传输链路。
3.根据权利要求1所述基于时空信息融合技术的无人机应急快反数据链***，其特征在于，所述传感器***，进一步包含图传发射模块，用于实现实时视频的传输。
4.根据权利要求1所述基于时空信息融合技术的无人机应急快反数据链***，其特征在于，所述图像地面站，进一步包含：
图像信息处理模块，用于完成倾斜影像的三维实景建模处理，受处理能力的限制；
视频信息处理模块，用于完成视频和无人机POS信息的采集和同步处理、同步转发及视频信息与电子沙盘信息的融合处理和可视化显示。
5.根据权利要求4所述基于时空信息融合技术的无人机应急快反数据链***，其特征在于，所述POS信息，包括GPS位置、无人机姿态和吊舱姿态信息。
6.根据权利要求1或3所述基于时空信息融合技术的无人机应急快反数据链***，其特征在于，所述无人机平台***的飞控模块通过RS422接口与吊舱***相连实现对吊舱的控制和数据传输，所述吊舱***通过图像跟踪板控制伺服***实现对目标的跟踪功能，并通过图传电台实时传输给图像地面站。
7.一种基于时空信息融合的无人机应急快反监控方法，其特征在于，包括如下步骤：
A、无人机平台***集成带目标跟踪功能的吊舱***，该吊舱***通过图像跟踪板实现目标跟踪功能；
B、图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，实现对吊舱的姿态控制，并可采集吊舱传回的监控视频和吊舱姿态信息；
C、视频信息与无人机姿态信息和吊舱信息的同步采集及编码，保证视频与平台姿态参数的时间一致性，有利于后期进行时空融合处理；
D、同步编码信息的网络转发和接收，将视频流信息进行重新拆分和编码，然后对视频和POS信息进行同步转发处理；
E、监控区域空间信息及电子沙盘的信息获取及可视化，空间信息的获取有多种渠道；
F、监控区域空间信息与同步编码后的视频监控信息融合处理，为实时视频赋予清晰的地理位置属性。
8.根据权利要求7所述的基于时空信息融合的无人机应急快反监控方法，其特征在于，进一步包括步骤G：
通过时空信息融合监控 服务平台实现时空信息融合后的信息共享的步骤。
9.根据权利要求7所述的基于时空信息融合的无人机应急快反监控方法，其特征在于，所述吊舱***进一步集成有图像跟踪单元，用于自动检测监控区域内的动态目标，并利用图像跟踪单元将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。
10.根据权利要求7所述的基于时空信息融合的无人机应急快反监控方法，其特征在于，图像地面站对图像、无人机POS信息、吊舱POS信息进行融合编码的过程，包括：
图像地面站集成图像采集卡对模拟视频进行采集，并进行基于H.264的编码；
图像地面站通过图像地面站专用软件从图像采集卡读取压缩后的视频流，通过串口读取吊舱姿态和无人机姿态信息；
图像地面站对视频码流按照相应格式拆包分解，在每一包的开头或结尾写入吊舱姿态信息和无人机姿态信息；以及，
对新的包信息进行重组打包以后发送给其他模块，并转发出去，发给时空信息融合监控服务平台。
11.根据权利要求7所述的基于时空信息融合的无人机应急快反监控方法，其特征在于，所述监控区域空间信息及电子沙盘的信息获取方式，包括：
利用三维GIS软件直接加载公共服务平台提供的地图服务；
对局部监控区域进行手工建模，将模型导入三维GIS软件，以及，利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三维GIS软件，构建该区域的电子沙盘。
12.根据权利要求7所述的基于时空信息融合的无人机应急快反监控方法，其特征在于，所述监控区域空间信息与同步编码后的视频监控信息融合处理，包括如下步骤：
F1：利用无人机GPS位置信息、无人机IMU姿态信息及吊舱的姿态信息进行联合解算，获取视频拍摄时的外方位参数；
F2：提前对搭载摄像头信息进行内参数标定，获取摄像头内参数信息，并从吊舱姿态里实时获取变焦的焦距信息；
F3：以GPS位置点为射线起点，依据内外防位参数形成摄像机对地拍摄的射线，此射线与地面空间信息会有交点，分别计算经过图像四个角点发射的射线跟地面的交点，形成无人机监控视频的拍摄视锥体；
F4：在三维GIS软件上实时接收由前端转发过来视频信息，在同一界面上既能够看到实时视频，还能够看到无人机航线和视频拍摄范围；
F5：当拍摄区域内有动态目标时，机上吊舱输出动态目标在视频中的位置，此时三维GIS软件收到此目标的图像位置信息，依据此计算得到目标的空间位置和移动轨迹。
13.根据权利要求8所述的基于时空信息融合的无人机应急快反监控方法，其特征在于，所述时空信息融合后的信息共享，具体为：
时空信息融合监控服务平台为BS建构的基于地理信息服务框架的平台***，通过3G或4G网络实时接收来自前端图像地面站发送过来的视频信息和姿态信息，或通过电台或其他形式的视频传输网络获得实时视频，时空信息融合监控服务平台通过网络服务能力，能向其他连入的终端***转发监控区域的视频信息及融合后的空间信息，从而实现信息的多方共享。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510475243.5A CN106454209B (zh) | 2015-08-06 | 2015-08-06 | 基于时空信息融合技术的无人机应急快反数据链***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510475243.5A CN106454209B (zh) | 2015-08-06 | 2015-08-06 | 基于时空信息融合技术的无人机应急快反数据链***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106454209A CN106454209A (zh) | 2017-02-22 |
| CN106454209B true CN106454209B (zh) | 2019-08-06 |
Family
ID=58092727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510475243.5A Active CN106454209B (zh) | 2015-08-06 | 2015-08-06 | 基于时空信息融合技术的无人机应急快反数据链***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106454209B (zh) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245855A (zh) * | 2015-10-29 | 2016-01-13 | 天津航天中为数据***科技有限公司 | 一种直升机智能巡检的终端及方法 |
| CN107607939B (zh) * | 2017-09-11 | 2019-12-13 | 江苏如是地球空间信息科技有限公司 | 一种基于真实地图及影像的光学目标跟踪定位雷达装置 |
| CN109417594A (zh) * | 2017-11-29 | 2019-03-01 | 深圳市大疆创新科技有限公司 | 图像处理方法、拍摄设备、无人机及地面端设备 |
| CN108229554A (zh) * | 2017-12-29 | 2018-06-29 | 北京中船信息科技有限公司 | 一体化触控指挥桌以及指挥方法 |
| CN108200415A (zh) * | 2018-03-16 | 2018-06-22 | 广州成至智能机器科技有限公司 | 基于增强现实技术的无人机图像画面处理***及其方法 |
| CN110401909B (zh) * | 2018-04-23 | 2023-06-23 | 北京京东尚科信息技术有限公司 | 通信方法和装置 |
| CN108762297A (zh) * | 2018-05-18 | 2018-11-06 | 航天图景（北京）科技有限公司 | 一种无人机三维避障驾驶***及驾驶方法 |
| CN108776491A (zh) * | 2018-05-23 | 2018-11-09 | 广东容祺智能科技有限公司 | 基于动态图像识别的无人机多目标监测***及监测方法 |
| CN110543800B (zh) * | 2018-05-29 | 2023-08-08 | 北京京东尚科信息技术有限公司 | 用于吊舱的目标识别跟踪方法、装置和吊舱 |
| CN108717301B (zh) * | 2018-06-13 | 2022-02-15 | 仲恺农业工程学院 | 一种基于gis的无人机植保***及方法 |
| CN108832998B (zh) * | 2018-08-15 | 2021-04-13 | 中国人民解放军陆军工程大学 | 一种空地融合通信网络中的协同数据分发方法 |
| CN108871285A (zh) * | 2018-08-22 | 2018-11-23 | 上海华测导航技术股份有限公司 | 在规划竣工测量中的无人机倾斜摄影测量*** |
| EP3841744A4 (en) * | 2018-08-22 | 2022-05-18 | I-Conic Vision AB | METHOD AND RELATIVE SYSTEM FOR GENERATION OF VIDEO-BASED MODELS OF A TARGET LIKE A DYNAMIC EVENT |
| CN109194382A (zh) * | 2018-09-12 | 2019-01-11 | 北京航空航天大学东营研究院 | 一种无人机飞行校验数据链数据融合方法及*** |
| CN109618134A (zh) * | 2018-12-10 | 2019-04-12 | 北京智汇云舟科技有限公司 | 一种无人机动态视频三维地理信息实时融合***及方法 |
| CN109669477A (zh) * | 2019-01-29 | 2019-04-23 | 华南理工大学 | 一种面向无人机集群的协同控制***及控制方法 |
| CN110189411A (zh) * | 2019-06-12 | 2019-08-30 | 中国民用航空飞行学院 | 一种航空器失事后应急救援搜寻区域可视化方法 |
| CN110458945B (zh) * | 2019-08-09 | 2022-11-11 | 中科宇图科技股份有限公司 | 通过空中倾斜摄影结合视频数据的自动建模方法及*** |
| CN111147830B (zh) * | 2019-11-29 | 2022-01-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种实时视频与gis融合的实现方法 |
| CN112198903A (zh) * | 2019-12-31 | 2021-01-08 | 北京理工大学 | 一种模块化的多功能机载计算机体系 |
| CN110830815A (zh) * | 2020-01-08 | 2020-02-21 | 杭州易绘科技有限公司 | 一种用于无人机高清ar直播视频显示方法 |
| CN111158036B (zh) * | 2020-01-16 | 2023-02-21 | 吉林大学 | 一种吊舱姿态实时测量、解算与监控装置 |
| CN114088131A (zh) * | 2020-08-24 | 2022-02-25 | 北京市安全生产科学技术研究院 | 监测建模装置及森林应急消防监测*** |
| CN112383754B (zh) * | 2020-11-12 | 2022-02-18 | 珠海大横琴科技发展有限公司 | 一种预警对象的监控方法及装置、电子设备、存储介质 |
| CN112256818B (zh) * | 2020-11-13 | 2021-09-28 | 珠海大横琴科技发展有限公司 | 一种电子沙盘的显示方法及装置、电子设备、存储介质 |
| CN112767292B (zh) * | 2021-01-05 | 2022-09-16 | 同济大学 | 一种用于时空融合的地理加权空间混合分解方法 |
| CN112887372B (zh) * | 2021-01-13 | 2023-05-02 | 京东科技信息技术有限公司 | 兼容数传图传的通信***、方法、装置、设备和存储介质 |
| CN112565920B (zh) * | 2021-02-18 | 2021-06-04 | 北京远度互联科技有限公司 | 数据发送、接收处理方法及装置、无人机 |
| CN113311855B (zh) * | 2021-05-26 | 2022-01-04 | 北京远度互联科技有限公司 | 飞行器监控方法和设备、计算机存储介质及计算机设备 |
| CN113415433B (zh) * | 2021-07-30 | 2022-11-29 | 成都纵横大鹏无人机科技有限公司 | 基于三维场景模型的吊舱姿态修正方法、装置和无人机 |
| CN114326764A (zh) * | 2021-11-29 | 2022-04-12 | 上海岩易科技有限公司 | 基于Rtmp传输的智慧林业无人机定点直播方法及无人机*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101493699A (zh) * | 2009-03-04 | 2009-07-29 | 北京航空航天大学 | 一种空中无人机超视距遥控方法 |
| CN102419171A (zh) * | 2011-08-10 | 2012-04-18 | 王桥生 | 一种基于无人机航拍的灾害监测电子勾绘*** |
| CN103941747A (zh) * | 2014-03-31 | 2014-07-23 | 清华大学 | 无人机群的控制方法及*** |
| CN203745655U (zh) * | 2014-02-11 | 2014-07-30 | 西安文理学院 | 一种多功能环境监测无人机*** |
| CN203773355U (zh) * | 2013-12-05 | 2014-08-13 | 梁谋强 | 三维立体多图层式无人机实时定位监管装置 |
| US8930044B1 (en) * | 2012-12-28 | 2015-01-06 | Google Inc. | Multi-part navigation process by an unmanned aerial vehicle for navigating to a medical situatiion |
| CN104501779A (zh) * | 2015-01-09 | 2015-04-08 | 中国人民解放军63961部队 | 基于多站测量的无人机高精度目标定位方法 |
-
2015
- 2015-08-06 CN CN201510475243.5A patent/CN106454209B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101493699A (zh) * | 2009-03-04 | 2009-07-29 | 北京航空航天大学 | 一种空中无人机超视距遥控方法 |
| CN102419171A (zh) * | 2011-08-10 | 2012-04-18 | 王桥生 | 一种基于无人机航拍的灾害监测电子勾绘*** |
| US8930044B1 (en) * | 2012-12-28 | 2015-01-06 | Google Inc. | Multi-part navigation process by an unmanned aerial vehicle for navigating to a medical situatiion |
| CN203773355U (zh) * | 2013-12-05 | 2014-08-13 | 梁谋强 | 三维立体多图层式无人机实时定位监管装置 |
| CN203745655U (zh) * | 2014-02-11 | 2014-07-30 | 西安文理学院 | 一种多功能环境监测无人机*** |
| CN103941747A (zh) * | 2014-03-31 | 2014-07-23 | 清华大学 | 无人机群的控制方法及*** |
| CN104501779A (zh) * | 2015-01-09 | 2015-04-08 | 中国人民解放军63961部队 | 基于多站测量的无人机高精度目标定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106454209A (zh) | 2017-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106454209B (zh) | 基于时空信息融合技术的无人机应急快反数据链***及方法 | |
| US10191486B2 (en) | Unmanned surveyor | |
| CN104168455B (zh) | 一种空基大场景摄像***及方法 | |
| JP6496323B2 (ja) | 可動物体を検出し、追跡するシステム及び方法 | |
| US11644839B2 (en) | Systems and methods for generating a real-time map using a movable object | |
| CN107209514B (zh) | 传感器数据的选择性处理 | |
| Adams et al. | Unmanned aerial vehicle data acquisition for damage assessment in hurricane events | |
| KR20190051704A (ko) | 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 | |
| CN104457704A (zh) | 基于增强地理信息的无人机地面目标定位***及方法 | |
| US20190356936A9 (en) | System for georeferenced, geo-oriented realtime video streams | |
| CN102937443A (zh) | 一种基于无人机的目标快速定位***及方法 | |
| CN104118561B (zh) | 一种基于无人机技术的大型濒危野生动物监测的方法 | |
| Madawalagama et al. | Low cost aerial mapping with consumer-grade drones | |
| CN116308944B (zh) | 一种面向应急救援的数字战场实战指控平台及架构 | |
| JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
| CN103686084A (zh) | 一种用于多无人机协同实时侦察的全景视频监控方法 | |
| CN106647804A (zh) | 一种自动巡检方法及*** | |
| CN204660021U (zh) | 一种六旋翼无人侦察直升机*** | |
| CN107966136B (zh) | 基于主无人机视觉的从无人机位置显示方法、装置及*** | |
| CN112115607A (zh) | 一种基于多维赛博空间的移动智能体数字孪生*** | |
| RU2011135773A (ru) | Способ мониторинга лесных пожаров и комплексная система раннего обнаружения лесных пожаров, построенная на принципе разносенсорного панорамного обзора местности с функцией высокоточного определения очага возгорания | |
| CN108415034A (zh) | 一种激光雷达实时成像装置 | |
| CN110706273B (zh) | 一种基于无人机的实时塌方区域面积的测量方法 | |
| CN110910502A (zh) | 一种无人机三维建模*** | |
| KR101651152B1 (ko) | 공간 모델과 결합하는 드론의 영상영역 모니터링 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| DD01 | Delivery of document by public notice |
Addressee: Aerospace prospect (Beijing) Technology Co., Ltd. Document name: Notification of Passing Examination on Formalities |
|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Aerospace prospect (Beijing) Technology Co., Ltd. Document name: Notification of Passing Examination on Formalities |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |