CN112381935A - 一种合成视觉生成及多元融合装置 - Google Patents
一种合成视觉生成及多元融合装置 Download PDFInfo
- Publication number
- CN112381935A CN112381935A CN202011055663.5A CN202011055663A CN112381935A CN 112381935 A CN112381935 A CN 112381935A CN 202011055663 A CN202011055663 A CN 202011055663A CN 112381935 A CN112381935 A CN 112381935A
- Authority
- CN
- China
- Prior art keywords
- data
- tar
- scene
- image
- photoelectric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 72
- 230000004927 fusion Effects 0.000 title claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 47
- 230000009466 transformation Effects 0.000 claims description 38
- 239000002131 composite material Substances 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 22
- 230000004888 barrier function Effects 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims description 2
- 238000013079 data visualisation Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000008447 perception Effects 0.000 abstract description 3
- 230000035899 viability Effects 0.000 abstract 1
- 230000004382 visual function Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于光电侦察、态势感知领域，公开一种合成视觉生成及多元融合装置，包括硬件电路和软件体系两部分构成：硬件电路提供合成视觉功能运行的CPU/GPU基础，作为支持***高性能运算的处理平台，提供了海量地形数据的存储***，提供了视频数据的接收接口作为视频融合的基础，提供了与外界交换数据的通信接口；软件体系是该装置的重点，包括操作***、图形引擎、支持图形引擎的地理GDAL,PROJ,GEOS,CURL、计算机视觉库、以及应用程序。本发明性能高功耗低且具有模块化的优势，可应用于机载航电***；可提高直升机在恶劣视觉环境下的感知能力和侦察能力，提升直升机的战场生存能力。
Description
技术领域
本发明属于光电侦察、态势感知领域，涉及一种合成视觉生成及多元融合装置。
背景技术
合成视觉技术的基本功能一般会包括三维重建、海量地形数据的存储与管理、计算机视觉和图像处理、异源多模图像配准融合等，这类功能对硬件平台往往有比较高的性能要求和存储要求，以前类似的功能往往都是服务器级别的计算平台或者工作站承担的。
机载航电***或者单兵战术信息***对合成视觉技术提供的功能需求强烈，合成视觉技术能够提供的功能是航电***信息化、智能化发展的所必需的，在进行战场地形环境三维重建，机载光电传感器图像处理，包括图像拼接，配准，融合等各种处理，以及多源传感器(包含导航，光电，雷达，操控)信息与地理信息空间的融合处理中，都可以纳入到合成视觉技术应用的范畴。
但航电***以及单兵***因其特殊环境，对合成视觉***的装置有严格的体积、重量、功耗的限制，要求合成视觉***在提供上述相关功能的基础上，确保以足够高的性能、极低的功耗、并且可以模块化更换的形式出现。
随着嵌入式处理器的不断发展，以及摩尔定律持续的发挥作用，CPU/GPU异构计算平台仍然不断朝着小型化高性能方向发展，特别是人工智能技术的发展也催生了GPU在保持小型化同时还在不断增加可并行计算的核心数，这为合成视觉技术的在嵌入式平台的实现奠定了两个良好条件：一是增加了超大规模虚拟现实场景的实时绘制渲染的可能，二是为未来合成视觉技术在人工智能方向的扩展与融合提供了神经网络实现基础。
利用最新的嵌入式集成电路提供的高性能嵌入式处理器，为合成视觉技术依赖的大规模三维地形渲染能力提供了基础，将传统的服务器的软件体系可以进行优化并移植到高性能的嵌入式处理器中，同时还具备了低功耗的特点，并且较小的体积为模块化提供了便利。
发明内容
(一)发明目的
本发明的目的是：提供一种合成视觉生成及多元融合装置，实现高性能、低功耗、模块化的合成装置设置。
(二)技术方案
为了解决上述技术问题，本发明提供一种合成视觉生成及多元融合装置，其包括：核心处理平台和设置在核心处理平台上的输入数据接口、地形数据存储***、视频输出接口、数据处理***；核心的处理平台为CPU/GPU计算平台；视频输出接口用于连接外部显示设备，向其传送合成视觉生成的合成视觉场景；地形数据存储***中存储载机所在地理区域的地形数据；输入数据接口包括：障碍数据输入接口，接收障碍数据；光电视频输入接口，接收光电视频数据；位姿数据输入接口，接收载机位姿数据和光电瞄准线姿态数据；操控数据输入接口，接收操控命令；数据处理***包括合成视觉生成模块、障碍数据融合模块、光电视频数据融合模块、目标定位模块和多视点切换模块，合成视觉生成模块接收载机位姿数据、瞄准线姿态数据和载机所在地理区域的地形数据，生成静态场景，驱动生成动态场景；障碍数据融合模块通过障碍输入数据接口，接收障碍数据，并解析障碍的地理位置，并标注在合成视觉生成模块生成的场景中；光电视频数据融合模块通过光电视频输入接口接收光电视频数据，通过位姿数据输入接口接收载机位姿数据和瞄准线姿态数据，与合成视觉生成模块生成的场景进行配准融合，生成综合视觉图像；目标定位模块对综合视觉图像中所选择的目标，计算出其对应的地理空间位置；多视点切换模块从操控数据输入接口接收操控命令，解析到视点切换命令后，根据预设顺序切换视点，对合成视觉生成模块生成的场景以多个不同视点观察。
(三)有益效果
上述技术方案所提供的高性能低功耗模块化的视觉基本功能合成装置，具有以下有益效果：
(1)本发明在设计通过相关技术手段实现在嵌入式平台中的合成视觉基本功能：该装置可应用于机载航电***，在恶劣视觉条件下，即飞行员无法观察得到外部的清晰视觉环境时，通过该装置合成载机周围的三维地形环境，提供给载机的机组人员较为准确的外部环境，作为视觉参考，因而提供了辅助导航所需的外部地形环境的视觉信息。
(2)本装置提供的障碍数据接入功能和融合功能，能够接入载机上防撞雷达(或者类似功能的雷达)探测到的障碍数据，从而提供给机组人员在恶劣视觉条件下障碍提示的能力。该功能是为载机在低空飞行和着陆降落阶段提供避障基础。
(3)本装置提供的光电视频数据接入功能和融合功能，能够接入载机上光电***的视频，根据地理空间信息，将光电视频映射到三维地形环境表面，结合静态宏观的数字地图的态势感知，以及动态实时的光电视频中感兴趣目标跟踪。能够实现提供综合视觉的画面，为其它战术应用提供重要基础。
(4)本装置提供的目标定位功能，能够对光电图像内的任意目标或位置(或者对应的像素点)，提供快速的持续的目标地理定位能力，以及多个跟踪目标或者位置，提供实时的定位能力。
(5)本装置生成的综合视觉环境能够让观察者始终保持以三维空间观察的优势，继承三维空间多视角观察特点，从不同视角观察实时信息。该技术的特点是为直升机在着陆降落阶段事故多发的问题提供技术支撑。
附图说明
图1是本发明***的原理框图。
图2是本发明中对光电探测区域进行地理定位示意图。
图3是配准区域上进行光电视频映射后的综合视觉效果示意图。
图4是分别对综合视觉***中目标进行定位的示意图。
图5a和图5b是根据不同视点进行计算得到的多视点效果图。
图6是包括载机和探测区域的综合态势示意图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明提供了一种高性能低功耗模块化的合成视觉生成及多元融合装置，该装置在嵌入式异构CPU/GPU平台实现合成视觉的基本功能，合成视觉的基本功能包括：具备海量地形数据的存储功能，并具备将地形数据进行三维可视化生成超大规模三维地形场景；具备载机位姿数据以及瞄准线姿态数据接入功能，并具备利用该数据驱动生成载机周围综合三维地形场景的功能；具备障碍数据接入功能，并具备将障碍数据在三维场景中进行叠加融合的功能；具备含时空关系的视频数据的接入功能，并具备将该视频数据与三维场景进行配准融合的功能；具备操控数据的接入功能，并具备根据不同操控命令进行合成视觉场景变换的功能。
如图1所示，本发明实施例装置包括：核心处理平台和设置在核心处理平台上的输入数据接口、地形数据存储***、视频输出接口、数据处理***；核心的处理平台包含了进行三维场景渲染和空间几何关系计算所依赖的高性能CPU/GPU计算平台，优选nvidia公司提供的TX2平台以及XAVIOR平台；视频输出接口用于连接外部显示设备，向其传送合成视觉生成的合成视觉场景，优选HDMI接口；地形数据存储***中存储载机所在地理区域的地形数据；输入数据接口包括：障碍数据输入接口，接收障碍数据，优选以太网接口；光电视频输入接口，接收光电视频数据，优选SDI接口；位姿数据输入接口，接收载机位姿数据和光电瞄准线姿态数据，优选串行422接口；操控数据输入接口，接收操控命令，优选串行422接口；数据处理***包括合成视觉生成模块、障碍数据融合模块、光电视频数据融合模块、目标定位模块和多视点切换模块，合成视觉生成模块接收载机位姿数据、瞄准线姿态数据和载机所在地理区域的地形数据，生成静态场景，驱动生成动态场景；障碍数据融合模块通过障碍输入数据接口，接收障碍数据，并解析障碍的地理位置，并标注在合成视觉生成模块生成的场景中；光电视频数据融合模块通过光电视频输入接口接收光电视频数据，通过位姿数据输入接口接收载机位姿数据和瞄准线姿态数据，与合成视觉生成模块生成的场景进行配准融合，生成综合视觉图像；目标定位模块对综合视觉图像中所选择的目标，计算出其对应的地理空间位置；多视点切换模块从操控数据输入接口接收操控命令，解析到视点切换命令后，根据预设顺序切换视点，对合成视觉生成模块生成的场景以多个不同视点观察。
其中，数据处理***基于linux操作***来运行，其还包括：三维图形引擎和计算机视觉库；三维图形引擎库选用OSG/OSGEARTH、UNREAL、UNITY3D中的一种；计算机视觉库优选opencv。
下面对数据处理***中的合成视觉生成模块、障碍数据融合模块、光电视频数据融合模块、目标定位模块和多视点切换模块的具体功能实施进行详述：
(一)合成视觉生成模块：由生成静态场景，接收位姿数据，驱动生成动态场景等主要步骤构成，具体详述如下。
(1)生成三维地形环境
从位姿数据输入接口中接收外部GPS/惯导设备的位姿数据，载机位姿参数主要包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为alos、plos，该角度以载机坐标系为基准。
(2)获取包括载机位置、姿态，光电瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入。
(3)从地形数据存储***中调出地形数据，进行静态场景生成，输入为载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据。生成基于对应地理区域的高程地形数据和卫星纹理数据生成该区域的三维地理场景，步骤包括：
(3.1)单块规则高程地形数据可视化；
对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块高程数据的网格化三维模型。
(3.2)海量数据组织方法；
海量地形数据由单块规则地形数据组成，以四叉树多分辨率方法对多块地形数据进行组织，生成超大规模的三维地形场景模型。
(3.3)基于纹理的映射方法；
以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景。
(3.4)以载机位姿数据和瞄准线姿态数据作为输入，对上述步骤生成的三维地形场景矩阵变换，即可生成动态连续的合成视觉图像，具体方法包括：
(3.4.1)根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵Mpos和姿态空间变换矩阵Matti；
(3.4.2)根据瞄准线姿态数据构建瞄准线空间变换矩阵Mlos；
(3.4.3)根据上述步骤构建复合空间变换矩阵Mcomposite，即Mcomposite＝Mlos*Matti*Mpos；
(3.4.4)以三维静态场景生成的场景节点树为对象SCENEstategraph，应用上一步中构建的复合空间变换矩阵Mcomposite，即可生成动态连续的合成视觉图像，记为SVSsequce。其中某一帧的图像记为fsvs(x,y,z,t)。
(二)障碍数据融合模块：通过障碍输入数据接口，接收障碍数据，并解析障碍的地理位置，其地理位置数据记为pcoop_groun(x,y,z)。
将障碍的位置pcoop_groun(x,y,z)在生成的合成视觉场景中以位置点的方式进行标注，同时根据需要，可以将障碍进行姿态调整，然后根据地心坐标系将其叠加至三维场景中。
(三)光电视频数据融合模块：通过光电视频输入接口，接收光电视频数据，记为实时光电图像feo(x,y,t)，作为本步骤的输入数据；通过位姿数据输入接口，接收载机位姿数据和瞄准线姿态数据，计算载机空间位置变换矩阵Mpos、和载机空间姿态变换矩阵Matti，和瞄准线姿态数据Mlos，作为本步骤的输入数据；结合合成视觉图像为fsvs(x,y,z,t)输入，进行配准融合，主要包括以下处理流程：
(1)光电探测区域地理定位：根据载机位置和姿态数据以及瞄准线姿态数据，确定光电探测区域的地理位置，光电探测区域计算的效果图见图2所示，定位的地理区域记为Zlocat(x,y,z)。
(2)光电图像畸变校正：根据光电传感器实验室标定参数，对feo(x,y,t)进行切向畸变和径向畸变，得到的校正后的图像记为fcorrected_eo(x,y,t)；
(3)以光电探测区域地理定位结果Zlocat(x,y,z)和合成视觉图像fsvs(x,y,z,t)为输入，计算得到与光电图像对应时空关系的合成视觉二维投影图像，记为feo_locate_svs(x,y,t)，即feo_locate_svs(x,y,t)＝L(fsvs(x,y,z,t),Zlocal(x,y,z))；
(4)以校正后的光电图像fcorrected_eo(x,y,t)为输入，以地理定位的合成视觉投影图像feo_locate_svs(x,y,t)为输入，进行配准融合，得到配准融合后的图像记为fregis_eo_svs(x,y,t)，即fregis_eo_svs(x,y,t)＝K(fcorrected_eo(x,y,t),feo_locate_svs(x,y,t))；
将本步骤配准融合后的图像记为综合视觉图像，该综合视觉图像效果见图3，该步骤输出的综合视觉图像fregis_eo_svs(x,y,t)作为目标地理位置解算步骤的输入。
(四)目标定位模块：以光电视频数据融合模块输出的综合视觉图像fregis_eo_svs(x,y,t)为输入，在该图像内容中，选择目标后得到目标像素位置值，记为Ptar(xtar,ytar)，或者由其它程序计算出任意目标的像素值(比如由目标智能识别算法或者目标智能检索算法)，以该输入像素Ptar(xtar,ytar)，结合合成视觉图像生成的模型视点变换矩阵，透视投影矩阵，视口变换矩阵，以及该区域的地形数据，可快速计算出该目标对应的地理空间位置。具体步骤包括：
(1)获取合成视觉***中虚拟相机的局部到世界转换矩阵，记为Mcamera_l2w，该矩阵为已知固定值；
(2)获取合成视觉***中虚拟相机的观察矩阵，记为Mcamera_view，该矩阵为已知固定值；
(3)获取合成视觉***中虚拟相机的投影变换矩阵，记为Mcamera_projection，该矩阵为已知固定值，并获取投影变换矩阵的远近裁切面，记为(zfar,znear)，zfar为远裁切面的Z值，znear为近裁切面的Z值；
(4)获取合成视觉***中虚拟相机的视口变换矩阵，记为Mcamera_viewport，该矩阵为已知固定值；
(5)将像素位置Ptar(xtar,ytar)转化为虚拟相机***中的归一化位置，得到的位置记为Pnormalize_tar(xtar,ytar)；
(6)设置复合变换矩阵并计算，Mcomposit＝(Mcamera_l2w*Mcamera_view*Mcamera_projection*Mcamera_viewport)-1
(7)根据所选像素位置，设置虚拟相机归一化空间内的起点Pnormalize_tar_start和终点位置Pnormalize_tar_end，并计算对应到地理空间内的起点Pgeocentric_tar_start和终点坐标Pgeocentric_tar_start，
Pgeocentric_tar_start(xtar,ytar,znear)＝Pnormalize_tar_start(xtar,ytar,znear)*Mcomposit
Pgeocentric_tar_end(xtar,ytar,znear)＝Pnormalize_tar_end(xtar,ytar,zfar)*Mcomposit
(8)以Pgeocentric_tar_start和Pgeocentric_tar_start为线段，与地面进行碰撞检测迭代算法，即可得到该线段与地形表面的交点，也就是目标最终的地理位置。
对综合视觉图像中包含的目标进行定位，如图4所示，图中黑色圈分别圈中目标1和目标2，为光电图像中的两个汽车目标，根据上述方法，可以快速求出目标1的地理位置为东经109.038070，北纬34.129032，目标的地理位置为东经109.038216，北纬34.129022。
(五)多视点切换模块：提供对合成视觉综合场景以多个不同视点观察的功能，从操控数据输入接口接收操控命令，解析到视点切换命令后，根据预设顺序切换视点，视点位置计算采取如下步骤：
(1)获取载机实时位置；
(2)获取探测区域中心实时位置；
(3)求取以上两个步骤获取的两个位置的中心点，作为新的视点中心点
(4)视点方向设置方法为：以载机瞄准线的反方向为基准，将此方向旋转方位角-30度，旋转俯仰方向30度；
(5)视点距离设置方法为：从中心点到视点距离设置为4倍的瞄准线长度；
以该步骤中计算得到的视点位置，设置到综合态势生成场景的操纵器中，即可以生成不同视点下的综合视觉场景。
由上述技术方案可以看出，本发明合成视觉生成及多元融合装置分为硬件电路实现部分、必需接口以及软件功能实现部分，硬件电路实现部分在确保高性能低功耗模块化的前提下，提供了整个合成视觉***功能的基础，软件功能实现部分利用硬件平台的运算能力，结合硬件接口接收的数据，对数据进行处理，提供了合成视觉生成、光电图像配准融合、障碍数据融合、图像中目标定位、多视点态势生成等功能；合成视觉生成根据载机位置、姿态，和地形数据，利用图形引擎，生成三维地形环境；光电图像配准融合对光电传感器探测区域进行地理定位，与三维场景中对应区域，进行异源图像的配准融合，最终将二维的光电图像映射到三维的地理空间；障碍数据融合，对三维传感器得到的障碍目标数据，能够融合叠加到三维场景中；图像中目标定位将映射到三维空间的的实时图像，对其中的目标进行三维空间地理定位；多视点态势生成将融合了光电图像和障碍数据的三维综合场景，按照不同的视点位置和视角方向的观察要求，对相关视点进行计算，并应用到场景中生成不同视点位置和方向下的场景。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种合成视觉生成及多元融合装置，其特征在于，包括：核心处理平台和设置在核心处理平台上的输入数据接口、地形数据存储***、视频输出接口、数据处理***；核心的处理平台为CPU/GPU计算平台；视频输出接口用于连接外部显示设备，向其传送合成视觉生成的合成视觉场景；地形数据存储***中存储载机所在地理区域的地形数据；输入数据接口包括：障碍数据输入接口，接收障碍数据；光电视频输入接口，接收光电视频数据；位姿数据输入接口，接收载机位姿数据和光电瞄准线姿态数据；操控数据输入接口，接收操控命令；数据处理***包括合成视觉生成模块、障碍数据融合模块、光电视频数据融合模块、目标定位模块和多视点切换模块，合成视觉生成模块接收载机位姿数据、瞄准线姿态数据和载机所在地理区域的地形数据，生成静态场景，驱动生成动态场景；障碍数据融合模块通过障碍输入数据接口，接收障碍数据，并解析障碍的地理位置，并标注在合成视觉生成模块生成的场景中；光电视频数据融合模块通过光电视频输入接口接收光电视频数据，通过位姿数据输入接口接收载机位姿数据和瞄准线姿态数据，与合成视觉生成模块生成的场景进行配准融合，生成综合视觉图像；目标定位模块对综合视觉图像中所选择的目标，计算出其对应的地理空间位置；多视点切换模块从操控数据输入接口接收操控命令，解析到视点切换命令后，根据预设顺序切换视点，对合成视觉生成模块生成的场景以多个不同视点观察。
2.如权利要求1所述的合成视觉生成及多元融合装置，其特征在于，所述CPU/GPU计算平台选用nvidia公司提供的TX2平台以及XAVIOR平台；视频输出接口选用HDMI接口；输入数据接口选用以太网接口；光电视频输入接口选用SDI接口；位姿数据输入接口选用串行422接口；操控数据输入接口选用串行422接口。
3.如权利要求2所述的合成视觉生成及多元融合装置，其特征在于，所述数据处理***基于linux操作***来运行，其还包括：三维图形引擎和计算机视觉库；三维图形引擎库选用OSG/OSGEARTH、UNREAL、UNITY3D中的一种；计算机视觉库优选opencv。
4.如权利要求1所述的合成视觉生成及多元融合装置，其特征在于，所述合成视觉生成模块生成静态场景以及驱动生成动态场景包括以下步骤：
(1)生成三维地形环境
从位姿数据输入接口中接收外部GPS/惯导设备的位姿数据，载机位姿参数主要包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准；光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为alos、plos，该角度以载机坐标系为基准；
(2)获取包括载机位置、姿态，光电瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入；
(3)从地形数据存储***中调出地形数据，进行静态场景生成，输入为载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据；基于对应地理区域的高程地形数据和卫星纹理数据生成该区域的三维地理场景。
5.如权利要求4所述的合成视觉生成及多元融合装置，其特征在于，所述三维地理场景的生成步骤包括：
3.1单块规则高程地形数据可视化
对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块高程数据的网格化三维模型；
3.2海量数据组织方法
海量地形数据由单块规则地形数据组成，以四叉树多分辨率方法对多块地形数据进行组织，生成超大规模的三维地形场景模型；
3.3基于纹理的映射方法
以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景；
3.4以载机位姿数据和瞄准线姿态数据作为输入，对上述步骤生成的三维地形场景矩阵变换，生成动态连续的合成视觉图像；
合成视觉图像的生成包括以下步骤：
3.4.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵Mpos和姿态空间变换矩阵Matti；
3.4.2根据瞄准线姿态数据构建瞄准线空间变换矩阵Mlos；
3.4.3根据上述步骤构建复合空间变换矩阵Mcomposite，即Mcomposite＝Mlos*Matti*Mpos；
3.4.4以三维静态场景生成的场景节点树为对象SCENEstategraph，应用上一步中构建的复合空间变换矩阵Mcomposite，生成动态连续的合成视觉图像，记为SVSsequce；其中某一帧的图像记为fsvs(x,y,z,t)。
6.如权利要求5所述的合成视觉生成及多元融合装置，其特征在于，所述障碍数据融合模块所解析的障碍的地理位置数据记为pcoop_groun(x,y,z)，将障碍的位置pcoop_groun(x,y,z)在生成的合成视觉场景中以位置点的方式进行标注，同时根据需要，将障碍进行姿态调整，然后根据地心坐标系将其叠加至三维场景中。
7.如权利要求6所述的合成视觉生成及多元融合装置，其特征在于，所述光电视频数据融合模块将接收的光电视频数据记为实时光电图像feo(x,y,t)，作为本步骤的输入数据；通过位姿数据输入接口接收载机位姿数据和瞄准线姿态数据，计算载机空间位置变换矩阵Mpos、载机空间姿态变换矩阵Matti和瞄准线姿态数据Mlos，作为本步骤的输入数据；结合合成视觉图像为fsvs(x,y,z,t)输入，进行配准融合。
8.如权利要求7所述的合成视觉生成及多元融合装置，其特征在于，所述配准融合的过称为：
(1)光电探测区域地理定位：根据载机位置和姿态数据以及瞄准线姿态数据，确定光电探测区域的地理位置，定位的地理区域记为Zlocat(x,y,z)；
(2)光电图像畸变校正：根据光电传感器实验室标定参数，对feo(x,y,t)进行切向畸变和径向畸变，得到的校正后的图像记为fcorrected_eo(x,y,t)；
(3)以光电探测区域地理定位结果Zlocat(x,y,z)和合成视觉图像fsvs(x,y,z,t)为输入，计算得到与光电图像对应时空关系的合成视觉二维投影图像，记为feo_locate_svs(x,y,t)，即feo_locate_svs(x,y,t)＝L(fsvs(x,y,z,t),Zlocal(x,y,z))；
(4)以校正后的光电图像fcorrected_eo(x,y,t)为输入，以地理定位的合成视觉投影图像feo_locate_svs(x,y,t)为输入，进行配准融合，得到配准融合后的图像记为fregis_eo_svs(x,y,t)，即fregis_eo_svs(x,y,t)＝K(fcorrected_eo(x,y,t),feo_locate_svs(x,y,t))；
将本步骤配准融合后的图像记为综合视觉图像，输出的综合视觉图像fregis_eo_svs(x,y,t)作为目标地理位置解算步骤的输入。
9.如权利要求8所述的合成视觉生成及多元融合装置，其特征在于，所述目标定位模块以光电视频数据融合模块输出的综合视觉图像fregis_eo_svs(x,y,t)为输入，在该图像内容中，选择目标后得到目标像素位置值，记为Ptar(xtar,ytar)，以该输入像素Ptar(xtar,ytar)，结合合成视觉图像生成的模型视点变换矩阵，透视投影矩阵，视口变换矩阵，以及该区域的地形数据，计算出该目标对应的地理空间位置；计算步骤包括：
(1)获取合成视觉***中虚拟相机的局部到世界转换矩阵，记为Mcamera_l2w，该矩阵为已知固定值；
(2)获取合成视觉***中虚拟相机的观察矩阵，记为Mcamera_view，该矩阵为已知固定值；
(3)获取合成视觉***中虚拟相机的投影变换矩阵，记为Mcamera_projection，该矩阵为已知固定值，并获取投影变换矩阵的远近裁切面，记为(zfar,znear)，zfar为远裁切面的Z值，znear为近裁切面的Z值；
(4)获取合成视觉***中虚拟相机的视口变换矩阵，记为Mcamera_viewport，该矩阵为已知固定值；
(5)将像素位置Ptar(xtar,ytar)转化为虚拟相机***中的归一化位置，得到的位置记为Pnormalize_tar(xtar,ytar)；
(6)设置复合变换矩阵并计算，Mcomposit＝(Mcamera_l2w*Mcamera_view*Mcamera_projection*Mcamera_viewport)-1
(7)根据所选像素位置，设置虚拟相机归一化空间内的起点Pnormalize_tar_start和终点位置Pnormalize_tar_end，并计算对应到地理空间内的起点Pgeocentric_tar_start和终点坐标Pgeocentric_tar_start，
Pgeocentric_tar_start(xtar,ytar,znear)＝Pnormalize_tar_start(xtar,ytar,znear)*Mcomposit
Pgeocentric_tar_end(xtar,ytar,znear)＝Pnormalize_tar_end(xtar,ytar,zfar)*Mcomposit
(8)以Pgeocentric_tar_start和Pgeocentric_tar_start为线段，与地面进行碰撞检测迭代算法，得到该线段与地形表面的交点，也即目标最终的地理位置。
10.如权利要求9所述的合成视觉生成及多元融合装置，其特征在于，所述多视点切换模块对视点位置计算采取如下步骤：
(1)获取载机实时位置；
(2)获取探测区域中心实时位置；
(3)求取以上两个步骤获取的两个位置的中心点，作为新的视点中心点
(4)视点方向设置方法为：以载机瞄准线的反方向为基准，将此方向旋转方位角-30度，旋转俯仰方向30度；
(5)视点距离设置方法为：从中心点到视点距离设置为4倍的瞄准线长度；以该步骤中计算得到的视点位置，设置到综合态势生成场景的操纵器中，生成不同视点下的综合视觉场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011055663.5A CN112381935A (zh) | 2020-09-29 | 2020-09-29 | 一种合成视觉生成及多元融合装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011055663.5A CN112381935A (zh) | 2020-09-29 | 2020-09-29 | 一种合成视觉生成及多元融合装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381935A true CN112381935A (zh) | 2021-02-19 |
Family
ID=74580928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011055663.5A Pending CN112381935A (zh) | 2020-09-29 | 2020-09-29 | 一种合成视觉生成及多元融合装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381935A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192125A (zh) * | 2021-03-26 | 2021-07-30 | 南京财经大学 | 虚拟视点优选的地理场景中多相机视频浓缩方法及*** |
| CN113253965A (zh) * | 2021-06-25 | 2021-08-13 | 中国空气动力研究与发展中心计算空气动力研究所 | 海量数据多视口可视化交互方法、***、设备及存储介质 |
| CN113436307A (zh) * | 2021-08-27 | 2021-09-24 | 速度时空信息科技股份有限公司 | 基于osgEarth影像数据到UE4场景的映射算法 |
| CN114459461A (zh) * | 2022-01-26 | 2022-05-10 | 西安应用光学研究所 | 一种基于gis与实时光电视频的导航定位方法 |
| WO2024087764A1 (zh) * | 2022-10-27 | 2024-05-02 | 安胜（天津）飞行模拟***有限公司 | eVTOL导航合成视觉方法及*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140341434A1 (en) * | 2013-05-17 | 2014-11-20 | Industrial Technology Research Institute | Dymanic fusion method and device of images |
| CN106056566A (zh) * | 2016-06-02 | 2016-10-26 | 中国民航大学 | 一种机载视觉增强综合光电信息采集及处理*** |
| US10001376B1 (en) * | 2015-02-19 | 2018-06-19 | Rockwell Collins, Inc. | Aircraft position monitoring system and method |
| CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
| CN110610130A (zh) * | 2019-08-06 | 2019-12-24 | 国网智能科技股份有限公司 | 一种多传感器信息融合的输电线路机器人导航方法及*** |
| CN110930508A (zh) * | 2019-11-27 | 2020-03-27 | 西安应用光学研究所 | 二维光电视频与三维场景融合方法 |
| CN110956651A (zh) * | 2019-12-16 | 2020-04-03 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
| CN111145362A (zh) * | 2020-01-02 | 2020-05-12 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载综合视景***虚实融合显示方法及*** |
| CN111210515A (zh) * | 2019-12-30 | 2020-05-29 | 成都赫尔墨斯科技股份有限公司 | 一种基于地形实时渲染的机载合成视觉*** |
-
2020
- 2020-09-29 CN CN202011055663.5A patent/CN112381935A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140341434A1 (en) * | 2013-05-17 | 2014-11-20 | Industrial Technology Research Institute | Dymanic fusion method and device of images |
| US10001376B1 (en) * | 2015-02-19 | 2018-06-19 | Rockwell Collins, Inc. | Aircraft position monitoring system and method |
| CN106056566A (zh) * | 2016-06-02 | 2016-10-26 | 中国民航大学 | 一种机载视觉增强综合光电信息采集及处理*** |
| CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
| CN110610130A (zh) * | 2019-08-06 | 2019-12-24 | 国网智能科技股份有限公司 | 一种多传感器信息融合的输电线路机器人导航方法及*** |
| CN110930508A (zh) * | 2019-11-27 | 2020-03-27 | 西安应用光学研究所 | 二维光电视频与三维场景融合方法 |
| CN110956651A (zh) * | 2019-12-16 | 2020-04-03 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
| CN111210515A (zh) * | 2019-12-30 | 2020-05-29 | 成都赫尔墨斯科技股份有限公司 | 一种基于地形实时渲染的机载合成视觉*** |
| CN111145362A (zh) * | 2020-01-02 | 2020-05-12 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载综合视景***虚实融合显示方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| LEO VOLFSON: "Visible, Night Vision and IR Sensor Fusion", 2006 9TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION * |
| 张晴晴: "盲道区域中障碍物的视觉检测方法", 价值工程 * |
| 陈曦;张晓林;: "基于双目立体视觉的三维拼接和融合方法", 电子设计工程, no. 14 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192125A (zh) * | 2021-03-26 | 2021-07-30 | 南京财经大学 | 虚拟视点优选的地理场景中多相机视频浓缩方法及*** |
| CN113192125B (zh) * | 2021-03-26 | 2024-02-20 | 南京财经大学 | 虚拟视点优选的地理场景中多相机视频浓缩方法及*** |
| CN113253965A (zh) * | 2021-06-25 | 2021-08-13 | 中国空气动力研究与发展中心计算空气动力研究所 | 海量数据多视口可视化交互方法、***、设备及存储介质 |
| CN113253965B (zh) * | 2021-06-25 | 2021-10-29 | 中国空气动力研究与发展中心计算空气动力研究所 | 海量数据多视口可视化交互方法、***、设备及存储介质 |
| CN113436307A (zh) * | 2021-08-27 | 2021-09-24 | 速度时空信息科技股份有限公司 | 基于osgEarth影像数据到UE4场景的映射算法 |
| CN114459461A (zh) * | 2022-01-26 | 2022-05-10 | 西安应用光学研究所 | 一种基于gis与实时光电视频的导航定位方法 |
| CN114459461B (zh) * | 2022-01-26 | 2023-11-28 | 西安应用光学研究所 | 一种基于gis与实时光电视频的导航定位方法 |
| WO2024087764A1 (zh) * | 2022-10-27 | 2024-05-02 | 安胜（天津）飞行模拟***有限公司 | eVTOL导航合成视觉方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11032527B2 (en) | Unmanned aerial vehicle surface projection | |
| CN112381935A (zh) | 一种合成视觉生成及多元融合装置 | |
| US11645757B2 (en) | Method of and apparatus for analyzing images | |
| JP4854819B2 (ja) | 画像情報出力方法 | |
| Yahyanejad et al. | Incremental mosaicking of images from autonomous, small-scale uavs | |
| CN109154499A (zh) | 用于增强立体显示的***和方法 | |
| KR102295809B1 (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
| CN110930508B (zh) | 二维光电视频与三维场景融合方法 | |
| CN117310739A (zh) | 在可移动物体之间共享绘图数据的技术 | |
| Madawalagama et al. | Low cost aerial mapping with consumer-grade drones | |
| CN102506867B (zh) | 基于Harris角点匹配的SINS/SMANS组合导航方法及*** | |
| CN112184786B (zh) | 一种基于合成视觉的目标定位方法 | |
| CN106197377A (zh) | 一种无人机对地目标监视及二维三维联动的显示*** | |
| Xing et al. | Multi-UAV cooperative system for search and rescue based on YOLOv5 | |
| CN114743021A (zh) | 一种输电线路图像与点云数据的融合方法及*** | |
| JP5780561B2 (ja) | 視界映像情報生成装置 | |
| Lacroix et al. | Digital elevation map building from low altitude stereo imagery | |
| CN116883604A (zh) | 一种基于天、空、地影像的三维建模技术方法 | |
| US11460302B2 (en) | Terrestrial observation device having location determination functionality | |
| CN115439528A (zh) | 一种获取目标对象的图像位置信息的方法与设备 | |
| CN114964248A (zh) | 一种运动轨迹出视场的目标位置计算和指示方法 | |
| Kurdi et al. | Navigation of mobile robot with cooperation of quadcopter | |
| Cai et al. | Multi-source information fusion augmented reality benefited decision-making for unmanned aerial vehicles: A effective way for accurate operation | |
| AU2020217371A1 (en) | A method of surveying a target | |
| Wu et al. | Design and experiment OF a high payload fixed wing VTOL UAV system for emergency response |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |