CN111931833B - 一种基于多源数据驱动的天基多维信息融合方法及*** - Google Patents

一种基于多源数据驱动的天基多维信息融合方法及*** Download PDF

Info

Publication number
CN111931833B
CN111931833B CN202010754344.7A CN202010754344A CN111931833B CN 111931833 B CN111931833 B CN 111931833B CN 202010754344 A CN202010754344 A CN 202010754344A CN 111931833 B CN111931833 B CN 111931833B
Authority
CN
China
Prior art keywords
target
information
fusion
decision
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010754344.7A
Other languages
English (en)
Other versions
CN111931833A (zh
Inventor
曹岸杰
陈占胜
成飞
曲耀斌
陈锋
茹海忠
王瀚霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Satellite Engineering
Original Assignee
Shanghai Institute of Satellite Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Satellite Engineering filed Critical Shanghai Institute of Satellite Engineering
Priority to CN202010754344.7A priority Critical patent/CN111931833B/zh
Publication of CN111931833A publication Critical patent/CN111931833A/zh
Application granted granted Critical
Publication of CN111931833B publication Critical patent/CN111931833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种基于多源数据驱动的天基多维信息融合***及方法，包括：模块M1：对同时相多信源信息中的目标信息进行目标信息关联；模块M2：基于关联的目标信息进行多源信息融合；模块M3：对多源信息融合的输出结果进行决策级再融合，得到融合产品，并对融合产品进行封装输出重要目标产品和区域综合信息。本发明自适应能力强，***鲁棒性好，对于满足输入格式要求的信源可弹性化介入，提升产品维度。因此，本发明尤其适用于基于多源数据驱动的弹性化天基多维信息融合。

Description

一种基于多源数据驱动的天基多维信息融合方法及***
技术领域
本发明涉及天基智能化技术领域，具体地，涉及适用于基于多源数据驱动的弹性化天基多维信息融合***。
背景技术
现代遥感技术为对地观测提供了多种类型的观测数据，然而即使天基遥感数据通过在轨实时处理检测，形成信号描述、图像切片和目标特征数据，依然需要二次判读，综合关联，无法满足海上船只航行保障、地震洪水等灾害区域搜救、机场港口高速公路实时拥堵预警等高时间分辨率需求的场景应用。为了解决上述问题，通过在轨对同时相多信源信息中的目标信息进行多源信息融合，基于决策级融合手段和特征级融合手段，可揭示指定区域内的目标特性，提取目标信息，从而实现目标的高置信度识别和多维状态信息综合。可丰富产品维度，算法复杂度低，无需二次判读，为各类高时间分辨率需求的场景提供提供重要目标的文本、图像切片产品，形成区域综合信息描述。
经对现有技术的文献技术经对现有技术的文献检索发现，文章Multtisensorfusion using Hopfield neural network in INS/SMGS integrated system，SignalProeessing，Vol.2，2002：1199一1202提出了使用HoPfiled神经网络进行多传感器信息融合的方法。但是该方法在传感器数据量大的情况下需要收集大量的训练样本并且需要大量的训练时间来调整神经网络的参数以供实际使用。受限于现有星载运算能力，该方法无法应用于天基***。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于多源数据驱动的天基多维信息融合***及方法。
根据本发明提供的一种基于多源数据驱动的天基多维信息融合***，包括：
模块M1：对同时相多信源信息中的目标信息进行目标信息关联；
模块M2：基于关联的目标信息进行多源信息融合；
模块M3：对多源信息融合的输出结果进行决策级再融合，得到融合产品，并对融合产品进行封装输出重要目标产品和区域综合信息。
优选地，所述模块M1包括：根据信源类型的不同，目标信息关联包括：基于平台定位信息的目标信息关联和基于配准信息的目标信息关联；
所述基于平台定位信息的目标信息关联用于目标密集度较低而对空间信息精度要求较低的区域进行目标信息关联；
所述基于配准信息的目标信息关联用于目标密集度较高而对空间信息精度要求较高的区域进行目标信息关联；
所述基于配准信息的目标信息关联包括信源提供的定位精度采用了与地理编码的底图配准后的目标定位误差范围。
优选地，所述基于平台定位信息的目标信息关联提供的目标信息包括目标地理位置、定位精度、方向、长宽比和面积；
所述基于配准信息的目标信息关联提供的目标信息包括通过与底图配准得到的目标位置、定位精度、方向、长宽比和面积。
优选地，所述模块M1包括：
模块M1.1：根据信源提供的目标定位精度范围，对所有信源中每两个信源均开展目标信息关联；
模块M1.2：在每两个信源的定位精度误差范围内，选择精度误差大的作为精度误差范围，当在选择的精度误差范围内，有且仅有一个目标与另一个目标有对应关系，则直接建立目标之间的关联关系；当在选择的精度误差范围内，同时出现多个目标与一个目标有对应关系，为了实现不同信源提供的不同目标间的准确关联，采用Eigenvector图匹配算法，基于目标位置、几何属性、目标分布的拓扑关系建立关联关系，形成不同信源提供的不同目标信息中指向同一个目标的目标序号的对应数据表；
模块M1.3：所有信源中两两关联匹配形成完整匹配链，实现多信源间的目标关联，当匹配链出现冲突，以匹配链中目标检测置信度之和最高的匹配链建立关联关系。
优选地，所述模块M1.2中Eigenvector图匹配算法包括：
模块M1.2.1：建立目标间的距离度量，包括目标位置距离和属性距离；
所述目标位置距离是定位误差约束下的目标绝对坐标之间的欧式距离；
所述属性距离度量是各信源检测到目标的决策属性相容度，公式如下：
D(xi，x’j)＝wdd(xi，x’j)+(1-wd)a(xi，x’j)
其中，D(xi，x′j)表示属性距离度量值，wd是位置距离权重，d(xi，x’j)是位置欧氏距离，a(xi，x’j)是属性距离，xi∈X＝{x1，x2，…xm}，x′j∈X′＝{x′1，x′2，…x′n}，X、X′是两个信源检测到的目标集；
模块M1.2.2：根据属性距离度量值，建立目标相似度关联矩阵H＝[hij]，公式如下：
hij＝exp(-D(xi，x’j)2/2σ2)
其中，hij表示目标间的综合距离，第i行第j列的元素是目标i和目标j之间的距离；σ表示距离权重参数，表征不同目标密度场景下的距离敏感度，σ为一个常数，初始值为预设值，σ根据天基应用表现实时调优；
模块M1.3.3：采用Eigenvector图匹配算法求解关联矩阵；
对关联矩阵H进行奇异值分解，得到G＝TDU，其中，T和U分别是m维和n维正交矩阵，D是非负对角矩阵，G表示奇异值分解后得到的矩阵；当m＜n时，则U只有前m行有意义；将D以单位矩阵I代替，就得到另外一个正交矩阵P＝TIU，当Pij是矩阵P里第i行j列最大元素时，则点对是潜在正确匹配，在确定的潜在匹配关系中，利用位置精度约束去除其中不满足的匹配对。
优选地，模块M2包括：基于关联的目标信息进行包括目标存在层融合决策和目标身份识别层融合决策；
基于关联的目标信息进行目标存在层融合决策，得到目标存在层融合决策结果，将目标存在层融合决策结果再进行目标身份识别层融合决策。
优选地，目标存在层融合决策包括：决策级融合；
读取n个全部参与融合信源，第i个信源的可信度参数为di，第i个信源本次检测目标t的检测置信度cit；
设(1，0，-1)表示决策空间，其中1表示目标，0表示非目标，-1表示不确定；
获得信源i对于目标t的基本概率赋值函数：mit(1)＝citdi、mit(0)＝cit(1-di)、mit(-1)＝1-cit；
设K为冲突系数，获得所有信源对于目标t的混合基本概率赋值函数为：
Figure BDA0002611039080000041
Figure BDA0002611039080000042
Figure BDA0002611039080000043
选择mt(1)、mt(0)和mt(-1)中值最大的判决分支作为目标的判决结果。
优选地，所述目标身份识别层融合决策包括：决策级融合和特征级融合；
所述决策级融合利用各信源对目标身份的判定事件建立决策空间，用各个信源提供的目标属性信息与决策空间中的每个决策事件对应的目标类型和/或型号在星载目标属性知识库中的基准属性数据进行匹配；
特征级融合利用各信源提供的目标特征信息，进行目标综合识别分析；特征级融合的输入为已关联成员星提供的目标特征信息，通过多级级联分类器分类，输出融合识别结果。
优选地，所述决策级再融合利用DSmT理论进行再次融合决策。
根据本发明提供的一种基于多源数据驱动的天基多维信息融合方法，包括：
步骤M1：对同时相多信源信息中的目标信息进行目标信息关联；
步骤M2：基于关联的目标信息进行多源信息融合；
步骤M3：对多源信息融合的输出结果进行决策级再融合，得到融合产品，并对融合产品进行封装输出重要目标产品和区域综合信息。
与现有技术相比，本发明具有如下的有益效果：
1、本发明***小型化程度高，可适用于小卫星星簇；
2、本发明信息交互效率高，***复杂度低，无需二次判读，为各类高时间分辨率需求的场景提供提供重要目标的文本、图像切片产品，形成区域综合信息描述；
3、本发明自适应能力强，***鲁棒性好，对于满足输入格式要求的信源可弹性化介入，提升产品维度。因此，本发明尤其适用于基于多源数据驱动的弹性化天基多维信息融合。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于多源数据驱动的弹性化天基多维信息融合流程；
图2为天基多维信息融合***典型硬件架构；
图3为平台定位信息的目标信息关联子模块处理流程；
图4为基于底图配准信息的目标信息关联子模块处理流程；
图5为昼间远海搜救船只信息融合识别子模块处理流程；
图6为夜间远海搜救船只目标信息融合识别子模块处理流程；
图7为目标存在层决策融合算法流程；
图8级联分类器的训练和分类基本流程
图9基于DSmt理论的再决策算法流程
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
针对现有技术中的缺陷，本发明的目的是提供一种基于多源数据驱动的天基多维信息融合方法及***。对同时相多信源信息中的目标信息进行多源信息融合，通过决策级融合手段和特征级融合手段，将目标信息相互补充、相互验证。
本发明公开了一种基于多源数据驱动的天基多维信息融合方法及***，对同时相多信源信息中的目标信息进行多源信息融合，通过决策级融合手段和特征级融合手段，将目标信息相互补充、相互验证。可揭示指定区域内的目标特性，提取目标信息，从而实现目标的高置信度识别和多维状态信息综合。***采用Eigenvector图匹配算法，形成目标关联，开展目标存在层决策级融合和目标身份识别层决策级特征级融合，并通过DSmT推理进行混合决策级融合识别，本发明可丰富产品维度，算法复杂度低，无需二次判读，尤其适用于海上船只航行保障、地震洪水等灾害区域搜救、机场港口高速公路流量拥堵预警等高时间分辨率需求的场景，提供重要目标的文本、图像切片产品，形成区域综合信息描述。
实施例1
根据本发明提供的一种基于多源数据驱动的天基多维信息融合***，包括：
模块M1：对同时相多信源信息中的目标信息进行目标信息关联；
模块M2：基于关联的目标信息进行多源信息融合；
模块M3：对多源信息融合的输出结果进行决策级再融合，得到融合产品，并对融合产品进行封装输出重要目标产品和区域综合信息，通过网络传输到卫星平台存储器。
所述目标信息关联包括通过信源提供的目标位置、几何属性等信息，建立来自不同信源的同一目标信息之间的关联关系；
具体地，根据融合模式管理调度模块确定的参与融合信源数量与种类，从卫星存储器中获取单次任务目标信息数据包，对该信源数据进行解析，提取目标相关属性或特征信息，并转化为本机自己定义的数据格式。如果数据包解析不通过，则该信源的待融合目标数据置为空。
同时相多信源信息包括电磁信源信息，对收到的电磁辐射源、AIS、ADS-B等电磁信息，通过目标号、位置等去除冗余，进行聚类，剔除重复信息。
具体地，所述模块M1包括：根据信源类型的不同，目标信息关联包括：基于平台定位信息的目标信息关联和基于配准信息的目标信息关联；
所述基于平台定位信息的目标信息关联用于目标密集度较低而对空间信息精度要求较低的区域进行目标信息关联；主要用于海面或目标较少区域的车辆、飞机和船只确认。
所述基于配准信息的目标信息关联用于目标密集度较高而对空间信息精度要求较高的区域进行目标信息关联；主要用于重点道路、受灾区域状态确认等。
所述基于配准信息的目标信息关联包括信源提供的定位精度采用了与地理编码的底图配准后的目标定位误差范围。
具体地，所述基于平台定位信息的目标信息关联提供的目标信息包括目标地理位置、定位精度、方向、长宽比和面积；
所述基于配准信息的目标信息关联提供的目标信息包括通过与底图配准得到的目标位置、定位精度、方向、长宽比和面积。
具体地，所述模块M1包括：
模块M1.1：根据信源提供的目标定位精度范围，对所有信源中每两个信源均开展目标信息关联；
模块M1.2：在每两个信源的定位精度误差范围内，选择精度误差大的作为精度误差范围，当在选择的精度误差范围内，有且仅有一个目标与另一个目标有对应关系，则直接建立目标之间的关联关系；当在选择的精度误差范围内，同时出现多个目标与一个目标有对应关系，为了实现不同信源提供的不同目标间的准确关联，采用Eigenvector图匹配算法，基于目标位置、几何属性、目标分布的拓扑关系建立关联关系，形成不同信源提供的不同目标信息中指向同一个目标的目标序号的对应数据表；
模块M1.3：所有信源中两两关联匹配形成完整匹配链，实现多信源间的目标关联，当匹配链出现冲突，以匹配链中目标检测置信度之和最高的匹配链建立关联关系。
具体地，所述模块M1.2中Eigenvector图匹配算法包括：
模块M1.2.1：建立目标间的距离度量，包括目标位置距离和属性距离；
所述目标位置距离是定位误差约束下的目标绝对坐标之间的欧式距离；
所述属性距离度量是各信源检测到目标的决策属性相容度，公式如下：
D(xi，x’j)＝wdd(xi，x’j)+(1-wd)a(xi，x’j)
其中，D(xi，x′j)表示属性距离度量值，wd是位置距离权重，d(xi，x’j)是位置欧氏距离，a(xi，x’j)是属性距离，xi∈X＝{x1，x2，…xm}，x′j∈X′＝{x′1，x′2，…x′n}，X、X′是两个信源检测到的目标集；
模块M1.2.2：根据属性距离度量值，建立目标相似度关联矩阵H＝[hij]，公式如下：
hij＝exp(-D(xi，x’j)2/2σ2)
其中，hij表示目标间的综合距离，第i行第j列的元素是目标i和目标j之间的距离；σ表示距离权重参数，表征不同目标密度场景下的距离敏感度，σ为一个常数，初始值为预设值，σ根据天基应用表现实时调优；
模块M1.3.3：采用Eigenvector图匹配算法求解关联矩阵；
对关联矩阵H进行奇异值分解，得到G＝TDU，其中，T和U分别是m维和n维正交矩阵，D是非负对角矩阵，G表示奇异值分解后得到的矩阵；当m＜n时，则U只有前m行有意义；将D以单位矩阵I代替，就得到另外一个正交矩阵P＝TIU，当Pij是矩阵P里第i行j列最大元素时，则点对是潜在正确匹配，在确定的潜在匹配关系中，利用位置精度约束去除其中不满足的匹配对。
具体地，模块M2包括：基于关联的目标信息进行包括目标存在层融合决策和目标身份识别层融合决策；
基于关联的目标信息进行目标存在层融合决策，得到目标存在层融合决策结果，将目标存在层融合决策结果再进行目标身份识别层融合决策。
具体地，目标存在层融合决策包括：决策级融合；
读取n个全部参与融合信源，第i个信源的可信度参数为di，第i个信源本次检测目标t的检测置信度cir；
设(1，0，-1)表示决策空间，其中1表示目标，0表示非目标，-1表示不确定；
获得信源i对于目标t的基本概率赋值函数：mit(1)＝citdi、mit(0)＝cit(1-di)、mit(-1)＝1-cit；
设K为冲突系数，获得所有信源对于目标t的混合基本概率赋值函数为：
Figure BDA0002611039080000081
Figure BDA0002611039080000082
Figure BDA0002611039080000083
选择mt(1)、mt(0)和mt(-1)中值最大的判决分支作为目标的判决结果。
具体地，所述目标身份识别层融合决策包括：决策级融合和特征级融合；
所述决策级融合利用各信源对目标身份的判定事件建立决策空间，用各个信源提供的目标属性信息与决策空间中的每个决策事件对应的目标类型和/或型号在星载目标属性知识库中的基准属性数据进行匹配；决策步骤与目标存在层融合决策的决策级融合相同。
特征级融合利用各信源提供的目标特征信息，进行目标综合识别分析；特征级融合的输入为已关联成员星提供的目标特征信息，通过多级级联分类器分类，输出融合识别结果。
具体地，所述决策级再融合利用DSmT理论进行再次融合决策。
根据本发明提供的一种基于多源数据驱动的天基多维信息融合方法，包括：
步骤M1：对同时相多信源信息中的目标信息进行目标信息关联；
步骤M2：基于关联的目标信息进行多源信息融合；
步骤M3：对多源信息融合的输出结果进行决策级再融合，得到融合产品，并对融合产品进行封装输出重要目标产品和区域综合信息，通过网络传输到卫星平台存储器。
所述目标信息关联包括通过信源提供的目标位置、几何属性等信息，建立来自不同信源的同一目标信息之间的关联关系；
具体地，根据融合模式管理调度模块确定的参与融合信源数量与种类，从卫星存储器中获取单次任务目标信息数据包，对该信源数据进行解析，提取目标相关属性或特征信息，并转化为本机自己定义的数据格式。如果数据包解析不通过，则该信源的待融合目标数据置为空。
同时相多信源信息包括电磁信源信息，对收到的电磁辐射源、AIS、ADS-B等电磁信息，通过目标号、位置等去除冗余，进行聚类，剔除重复信息。
具体地，所述步骤M1包括：根据信源类型的不同，目标信息关联包括：基于平台定位信息的目标信息关联和基于配准信息的目标信息关联；
所述基于平台定位信息的目标信息关联用于目标密集度较低而对空间信息精度要求较低的区域进行目标信息关联；主要用于海面或目标较少区域的车辆、飞机和船只确认。
所述基于配准信息的目标信息关联用于目标密集度较高而对空间信息精度要求较高的区域进行目标信息关联；主要用于重点道路、受灾区域状态确认等。
所述基于配准信息的目标信息关联包括信源提供的定位精度采用了与地理编码的底图配准后的目标定位误差范围。
具体地，所述基于平台定位信息的目标信息关联提供的目标信息包括目标地理位置、定位精度、方向、长宽比和面积；
所述基于配准信息的目标信息关联提供的目标信息包括通过与底图配准得到的目标位置、定位精度、方向、长宽比和面积。
具体地，所述步骤M1包括：
步骤M1.1：根据信源提供的目标定位精度范围，对所有信源中每两个信源均开展目标信息关联；
步骤M1.2：在每两个信源的定位精度误差范围内，选择精度误差大的作为精度误差范围，当在选择的精度误差范围内，有且仅有一个目标与另一个目标有对应关系，则直接建立目标之间的关联关系；当在选择的精度误差范围内，同时出现多个目标与一个目标有对应关系，为了实现不同信源提供的不同目标间的准确关联，采用Eigenvector图匹配算法，基于目标位置、几何属性、目标分布的拓扑关系建立关联关系，形成不同信源提供的不同目标信息中指向同一个目标的目标序号的对应数据表；
步骤M1.3：所有信源中两两关联匹配形成完整匹配链，实现多信源间的目标关联，当匹配链出现冲突，以匹配链中目标检测置信度之和最高的匹配链建立关联关系。
具体地，所述步骤M1.2中Eigenvector图匹配算法包括：
步骤M1.2.1：建立目标间的距离度量，包括目标位置距离和属性距离；
所述目标位置距离是定位误差约束下的目标绝对坐标之间的欧式距离；
所述属性距离度量是各信源检测到目标的决策属性相容度，公式如下：
D(xi，x’j)＝wdd(xi，x’j)+(1-wd)a(xi，x’j)
其中，D(xi，x′j)表示属性距离度量值，wd是位置距离权重，d(xi，x’j)是位置欧氏距离，a(xi，x’j)是属性距离，xi∈X＝{x1，x2，…xm}，x′j∈X′＝{x′1，x′2，…x′n}，X、X′是两个信源检测到的目标集；
步骤M1.2.2：根据属性距离度量值，建立目标相似度关联矩阵H＝[hij]，公式如下：
hij＝exp(-D(xi，x’j)2/2σ2)
其中，hij表示目标间的综合距离，第i行第j列的元素是目标i和目标j之间的距离；σ表示距离权重参数，表征不同目标密度场景下的距离敏感度，σ为一个常数，初始值为预设值，σ根据天基应用表现实时调优；
步骤M1.3.3：采用Eigenvector图匹配算法求解关联矩阵；
对关联矩阵H进行奇异值分解，得到G＝TDU，其中，T和U分别是m维和n维正交矩阵，D是非负对角矩阵，G表示奇异值分解后得到的矩阵；当m＜n时，则U只有前m行有意义；将D以单位矩阵I代替，就得到另外一个正交矩阵P＝TIU，当Pij是矩阵P里第i行i列最大元素时，则点对是潜在正确匹配，在确定的潜在匹配关系中，利用位置精度约束去除其中不满足的匹配对。
具体地，步骤M2包括：基于关联的目标信息进行包括目标存在层融合决策和目标身份识别层融合决策；
基于关联的目标信息进行目标存在层融合决策，得到目标存在层融合决策结果，将目标存在层融合决策结果再进行目标身份识别层融合决策。
具体地，目标存在层融合决策包括：决策级融合；
读取n个全部参与融合信源，第i个信源的可信度参数为di，第i个信源本次检测目标t的检测置信度cit；
设(1，0，-1)表示决策空间，其中1表示目标，0表示非目标，-1表示不确定；
获得信源i对于目标t的基本概率赋值函数：mit(1)＝citdi、mit(0)＝cit(1-di)、mit(-1)＝1-cit；
设K为冲突系数，获得所有信源对于目标t的混合基本概率赋值函数为：
Figure BDA0002611039080000111
Figure BDA0002611039080000112
Figure BDA0002611039080000113
选择mt(1)、mt(0)和mt(-1)中值最大的判决分支作为目标的判决结果。
具体地，所述目标身份识别层融合决策包括：决策级融合和特征级融合；
所述决策级融合利用各信源对目标身份的判定事件建立决策空间，用各个信源提供的目标属性信息与决策空间中的每个决策事件对应的目标类型和/或型号在星载目标属性知识库中的基准属性数据进行匹配；决策步骤与目标存在层融合决策的决策级融合相同。
特征级融合利用各信源提供的目标特征信息，进行目标综合识别分析；特征级融合的输入为已关联成员星提供的目标特征信息，通过多级级联分类器分类，输出融合识别结果。
具体地，所述决策级再融合利用DSmT理论进行再次融合决策。
实施例2
实施例2是实施例1的变化例
如图1中所示，本发明实施例提供了一种基于多源数据驱动的弹性化天基多维信息融合流程，对同时相的SAR信源、光学信源、电磁信源信息所揭示的目标特性，采取决策级融合手段、特征级融合手段进行多源信息融合，并对输出结果进行决策级在融合，各信源目标信息相互关联、相互补充、相互验证，从而实现目标的高置信度识别和多维状态信息综合，形成重要目标产品和区域综合信息产品。采用了如图2所示的天基多维信息融合***典型硬件架构。硬件平台由处理板和电源板构成，二者采用的层叠的形式以采用板间连接器连接，处理板包含有：核心处理单元和管理单元。
信息关联实现对来自多个信源的(疑似)目标信息关联计算，建立多个目标信息之间的对应关系，根据信源类型的不同，提供的定位信息有两类：基于卫星平台信息解算得到的目标的空间地理信息，基于公共底图配准获得的(疑似)目标的空间信息，前者适用于海面或目标较少区域，后者适用于目标密集度较高而对空间信息精度要求更高的区域。
针对海面或目标较少区域的车辆、飞机、船只确认，其处理流程如图3所示，由于大范围的视场要求，首先需要利用大幅宽的光学、SAR信源信息和电磁信源信息，实现目标信息的关联，需要利用卫星平台给出的目标的定位信息，以及目标的属性及空间分布特点。一般卫星平台具有500m-600m的定位精度，在满足条件的上述区域，出现多个目标聚集的可能性并不大，即使出现多个目标，还可以通过目标的属性关联、目标的空间分布拓扑等，实现目标关联。
针对目标密集度较高而对空间信息精度要求更高的区域，其处理流程如图4所示，有效利用地面提供的环境先验信息作为支撑，通过底图(经过地理精校正的高分辨遥感图像，如正射影像)配准和ROI映射技术环节，有效把重点目标的搜索范围约束到先验ROI内，不仅缩小了信息搜索的空间，可只在ROI内检测和识别目标，提高了计算速度；更重要的，通过各信源信息与底图的配准，实现了多信源同时相数据的空间配准，从而间接实现了特征信息和目标信息的空间对准，为建立关联关系奠定了基础。
根据各目标精度范围，进行两两信源目标信息关联。如果该位置误差范围内，同时出现了多个目标，为了实现不同信源提供的不同目标间的准确关联，采用Eigenvector图匹配算法，同时兼顾目标位置、几何属性、目标分布的拓扑关系建立关联关系。在此基础上，再由两两关联匹配形成完整匹配链，实现多信源间的目标关联。如果匹配链出现冲突，以匹配链中目标检测置信度之和的最高匹配链建立匹配关系，从而解决关联关系之间的冲突。
在信息关联的基础上，利用决策级融合、特征级融合完成信息融合和决策级再融合，对目标进行融合分类识别，以提高识别精度和置信度。考虑到应用场景不同，会预先指定多种场景融合模式，不同的融合模式下，融合流程相同，只是参与融合的信源信息不同。以图5昼间远海搜救船只信息融合识别子模块处理流程、图6夜间远海搜救船只目标信息融合识别子模块处理流程为例，可以看出不同场景下，优选的信源会产生相应变化。
具体的，采用目标存在层融合决策实现目标的存在性判定，并给出目标存在判定的置信度(也即最后的融合检测的置信度)，通过信息融合进一步去除虚警，提高检测置信度。首先，利用各相关信源提供的目标检测率、虚警率等统计指标以及其对每个已关联目标实时提供的检测置信度，建立该信源针对该目标存在层判别的基本概率函数；然后，利用D-S证据理论的推理准则建立关于每个关联目标的混合概率函数，从而得到所有相关信源对某一目标存在性的判定结果。
存在层融合决策输入的信息包括：参与融合的相关信源的可信度参数(这里以各信源的统计意义上的目标检测率、虚警率等指标进行描述)和各信源实时提供的该次检测该目标的检测置信度；输出为融合后的船只目标存在置信度(即融合检测的置信度)。
具体的，采用目标身份识别层融合决策，流程如图7所示，将所有参与融合相关信源对关联船只目标属性信息描述中高置信度的目标类型、型号等身份信息进行融合。输入信息为经过存在决策判定存在的目标所涉及信源提供的属性信息(包括类型、置信度以及其他相关属性)、目标类型/型号在星载目标属性知识库中的基准属性数据。输出为目标身份判定结果包括目标类型(型号)、判决置信度等。
具体的，目标身份识别层融合决策的过程为：
(1)目标身份识别层决策级融合，利用各信源对目标身份的判定事件(具体的目标类型、型号等)建立决策空间；然后，用各个信源提供的目标属性信息与决策空间中的每个决策事件对应的目标类型/型号在星载目标属性知识库中的基准属性数据进行匹配，并利用匹配度量建立各信源对目标身份判定的基本概率函数；最后，根据D-S证据理论的推理准则建立混合概率函数，从而得到融合各信源信息的对目标身份的决策级融合识别结果。具体算法过程类似目标存在性决策融合。
(2)目标身份识别层特征级融合，利用各信源从原始图像信息中提取的特征信息，进行目标综合识别分析。其输入为已关联信源提供的目标特征信息，输出为融合识别结果。采取的特征级融合流程如图8所示。
该流程包括级联分类器的训练和实时特征级融合目标识别。其中，分类器的构造主要包括建立训练样本集、提取特征作为分类器训练的输入。训练过程使用GentleAdaboost算法和SVM算法来完成，最终训练的目标是形成一个由Adaboost分类器和SVM分类器组成的级联分类器。在轨特征级融合阶段，将关联好的各信源目标特征数据导入级联分类器，分类识别后输出识别结果。
(3)基于DSmt理论的再决策，如图9所示，决策级融合身份识别和特征级融合身份识别都得到了身份识别结果，对于两组来自不同判别方法得到的结果，进一步利用DSmT理论进行再次融合决策，最终获得融合结果输出产品。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于多源数据驱动的天基多维信息融合***，其特征在于，包括：
模块M1：对同时相多信源信息中的目标信息进行目标信息关联；
模块M2：基于关联的目标信息进行多源信息融合；
模块M3：对多源信息融合的输出结果进行决策级再融合，得到融合产品，并对融合产品进行封装输出重要目标产品和区域综合信息；
所述模块M2包括：基于关联的目标信息进行包括目标存在层融合决策和目标身份识别层融合决策；
基于关联的目标信息进行目标存在层融合决策，得到目标存在层融合决策结果，将目标存在层融合决策结果再进行目标身份识别层融合决策；
目标存在层融合决策包括：决策级融合；
读取n个全部参与融合信源，第i个信源的可信度参数为di，第i个信源本次检测目标t的检测置信度cit；
设(1,0，-1)表示决策空间，其中1表示目标，0表示非目标，-1表示不确定；
获得信源i对于目标t的基本概率赋值函数：mit(1)＝citdi、mit(0)＝cit(1-di)、mit(-1)＝1-cit；
设K为冲突系数，获得所有信源对于目标t的混合基本概率赋值函数为：
Figure FDA0003728763360000011
Figure FDA0003728763360000012
Figure FDA0003728763360000013
选择mt(1)、mt(0)和mt(-1)中值最大的判决分支作为目标的判决结果；
所述目标身份识别层融合决策包括：决策级融合和特征级融合；
所述决策级融合利用各信源对目标身份的判定事件建立决策空间，用各个信源提供的目标属性信息与决策空间中的每个决策事件对应的目标类型和/或型号在星载目标属性知识库中的基准属性数据进行匹配；
特征级融合利用各信源提供的目标特征信息，进行目标综合识别分析；特征级融合的输入为已关联成员星提供的目标特征信息，通过多级级联分类器分类，输出融合识别结果。
2.根据权利要求1所述的基于多源数据驱动的天基多维信息融合***，其特征在于，所述模块M1包括：根据信源类型的不同，目标信息关联包括：基于平台定位信息的目标信息关联和基于配准信息的目标信息关联；
所述基于配准信息的目标信息关联包括信源提供的定位精度采用了与地理编码的底图配准后的目标定位误差范围。
3.根据权利要求2所述的基于多源数据驱动的天基多维信息融合***，其特征在于，所述基于平台定位信息的目标信息关联提供的目标信息包括目标地理位置、定位精度、方向、长宽比和面积；
所述基于配准信息的目标信息关联提供的目标信息包括通过与底图配准得到的目标位置、定位精度、方向、长宽比和面积。
4.根据权利要求2所述的基于多源数据驱动的天基多维信息融合***，其特征在于，所述模块M1包括：
模块M1.1：根据信源提供的目标定位精度范围，对所有信源中每两个信源均开展目标信息关联；
模块M1.2：在每两个信源的定位精度误差范围内，选择精度误差大的作为精度误差范围，当在选择的精度误差范围内，有且仅有一个目标与另一个目标有对应关系，则直接建立目标之间的关联关系；当在选择的精度误差范围内，同时出现多个目标与一个目标有对应关系，为了实现不同信源提供的不同目标间的准确关联，采用Eigenvector图匹配算法，基于目标位置、几何属性、目标分布的拓扑关系建立关联关系，形成不同信源提供的不同目标信息中指向同一个目标的目标序号的对应数据表；
模块M1.3：所有信源中两两关联匹配形成完整匹配链，实现多信源间的目标关联，当匹配链出现冲突，以匹配链中目标检测置信度之和最高的匹配链建立关联关系。
5.根据权利要求4所述的基于多源数据驱动的天基多维信息融合***，其特征在于，所述模块M1.2中Eigenvector图匹配算法包括：
模块M1.2.1：建立目标间的距离度量，包括目标位置距离和属性距离；
所述目标位置距离是定位误差约束下的目标绝对坐标之间的欧式距离；
所述属性距离度量是各信源检测到目标的决策属性相容度，公式如下：
D(xi,x’j)＝wdd(xi,x’j)+(1-wd)a(xi,x’j)
其中，D(xi,x′j)表示属性距离度量值，wd是位置距离权重，d(xi,x’j)是位置欧氏距离，a(xi,x’j)是属性距离，xi∈X＝{x1,x2,…xm}，x'j∈X'＝{x'1,x'2,…x'n}，X、X'是两个信源检测到的目标集；
模块M1.2.2：根据属性距离度量值，建立目标相似度关联矩阵H＝[hij]，公式如下：
hij＝exp(-D(xi,x’j)2/2σ2)
其中，hij表示目标间的综合距离，第i行第j列的元素是目标i和目标j之间的距离；σ表示距离权重参数，表征不同目标密度场景下的距离敏感度，σ为一个常数，初始值为预设值，σ根据天基应用表现实时调优；
模块M1.2.3：采用Eigenvector图匹配算法求解关联矩阵；
对关联矩阵H进行奇异值分解，得到G＝TDU，其中，T和U分别是m维和n维正交矩阵，D是非负对角矩阵，G表示奇异值分解后得到的矩阵；当m<n时，则U只有前m行有意义；将D以单位矩阵I代替，就得到另外一个正交矩阵P＝TIU，当Pij是矩阵P里第i行j列最大元素时，则点对是潜在正确匹配，在确定的潜在匹配关系中，利用位置精度约束去除其中不满足的匹配对。
6.根据权利要求1所述的基于多源数据驱动的天基多维信息融合***，其特征在于，所述决策级再融合利用DSmT理论进行再次融合决策。
7.一种基于多源数据驱动的天基多维信息融合方法，其特征在于，包括：
步骤M1：对同时相多信源信息中的目标信息进行目标信息关联；
步骤M2：基于关联的目标信息进行多源信息融合；
步骤M3：对多源信息融合的输出结果进行决策级再融合，得到融合产品，并对融合产品进行封装输出重要目标产品和区域综合信息；
所述步骤M2包括：基于关联的目标信息进行包括目标存在层融合决策和目标身份识别层融合决策；
基于关联的目标信息进行目标存在层融合决策，得到目标存在层融合决策结果，将目标存在层融合决策结果再进行目标身份识别层融合决策；
目标存在层融合决策包括：决策级融合；
读取n个全部参与融合信源，第i个信源的可信度参数为di，第i个信源本次检测目标t的检测置信度cit；
设(1,0，-1)表示决策空间，其中1表示目标，0表示非目标，-1表示不确定；
获得信源i对于目标t的基本概率赋值函数：mit(1)＝citdi、mit(0)＝cit(1-di)、mit(-1)＝1-cit；
设K为冲突系数，获得所有信源对于目标t的混合基本概率赋值函数为：
Figure FDA0003728763360000041
Figure FDA0003728763360000042
Figure FDA0003728763360000043
选择mt(1)、mt(0)和mt(-1)中值最大的判决分支作为目标的判决结果；
所述目标身份识别层融合决策包括：决策级融合和特征级融合；
所述决策级融合利用各信源对目标身份的判定事件建立决策空间，用各个信源提供的目标属性信息与决策空间中的每个决策事件对应的目标类型和/或型号在星载目标属性知识库中的基准属性数据进行匹配；
特征级融合利用各信源提供的目标特征信息，进行目标综合识别分析；特征级融合的输入为已关联成员星提供的目标特征信息，通过多级级联分类器分类，输出融合识别结果。
CN202010754344.7A 2020-07-30 2020-07-30 一种基于多源数据驱动的天基多维信息融合方法及*** Active CN111931833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010754344.7A CN111931833B (zh) 2020-07-30 2020-07-30 一种基于多源数据驱动的天基多维信息融合方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010754344.7A CN111931833B (zh) 2020-07-30 2020-07-30 一种基于多源数据驱动的天基多维信息融合方法及***

Publications (2)

Publication Number Publication Date
CN111931833A CN111931833A (zh) 2020-11-13
CN111931833B true CN111931833B (zh) 2022-08-12

Family

ID=73315721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010754344.7A Active CN111931833B (zh) 2020-07-30 2020-07-30 一种基于多源数据驱动的天基多维信息融合方法及***

Country Status (1)

Country Link
CN (1) CN111931833B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298006B (zh) * 2021-06-04 2024-01-19 西北工业大学 基于脑机融合认知与决策的异常目标检测新方法
CN115600158B (zh) * 2022-12-08 2023-04-18 奥特贝睿(天津)科技有限公司 一种无人车多传感器融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802741A (zh) * 2018-06-22 2018-11-13 西安电子科技大学 基于DSmT理论的移动机器人声纳数据融合方法
CN110186820A (zh) * 2018-12-19 2019-08-30 河北中科遥感信息技术有限公司 多源数据融合与环境污染源及污染物分布分析方法
CN110207671A (zh) * 2018-12-29 2019-09-06 中国科学院软件研究所 一种天基智能成像***
CN110443201A (zh) * 2019-08-06 2019-11-12 哈尔滨工业大学 基于多源影像联合形状分析与多属性融合的目标识别方法
CN111353450A (zh) * 2020-03-06 2020-06-30 北京波尔通信技术股份有限公司 一种基于异构电磁感知信息融合的目标识别***和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802741A (zh) * 2018-06-22 2018-11-13 西安电子科技大学 基于DSmT理论的移动机器人声纳数据融合方法
CN110186820A (zh) * 2018-12-19 2019-08-30 河北中科遥感信息技术有限公司 多源数据融合与环境污染源及污染物分布分析方法
CN110207671A (zh) * 2018-12-29 2019-09-06 中国科学院软件研究所 一种天基智能成像***
CN110443201A (zh) * 2019-08-06 2019-11-12 哈尔滨工业大学 基于多源影像联合形状分析与多属性融合的目标识别方法
CN111353450A (zh) * 2020-03-06 2020-06-30 北京波尔通信技术股份有限公司 一种基于异构电磁感知信息融合的目标识别***和方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Data fusion of multi-source satellite data sets for cost-effective disaster management studies;B. Gokaraju 等;《SoutheastCon 2017》;20170511;全文 *
基于DSmT的城市道路多源交通状态信息融合的应用研究;宋晓鹏 等;《中国水运》;20191031;全文 *
基于D-S证据理论的无线传感器网络决策融合研究;张雅媛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20191015(第10期);第2章 *
天基信息港及其多源信息融合应用;李斌 等;《中国电子科学研究院学报》;20170630;第12卷(第3期);全文 *
电子载荷与成像载荷协同高效应用思考;陈锋 等;《航天电子对抗》;20160830;第32卷(第4期);全文 *

Also Published As

Publication number Publication date
CN111931833A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
Wang et al. Multiscale visual attention networks for object detection in VHR remote sensing images
US5963653A (en) Hierarchical information fusion object recognition system and method
Zhang et al. Data-driven intelligent transportation systems: A survey
US11651302B2 (en) Method and device for generating synthetic training data for an artificial-intelligence machine for assisting with landing an aircraft
CN114270368A (zh) 机器人***的性能测试
Sun et al. Vehicle reidentification using multidetector fusion
CN112233097A (zh) 基于空时域多维融合的道路场景他车检测***和方法
CN111931833B (zh) 一种基于多源数据驱动的天基多维信息融合方法及***
Bendich et al. Topological and statistical behavior classifiers for tracking applications
Abdelraouf et al. Using vision transformers for spatial-context-aware rain and road surface condition detection on freeways
Ji et al. Incremental online object learning in a vehicular radar-vision fusion framework
CN112613668A (zh) 基于人工智能的景区危险区域管控方法
Seeger et al. Towards road type classification with occupancy grids
CN117725448A (zh) 气象导航信号特征的聚类分析方法
Kochenderfer et al. Uncorrelated encounter model of the National Airspace System version 1.0
Luo et al. Traffic signal transition time prediction based on aerial captures during peak hours
Li et al. Real-time monocular joint perception network for autonomous driving
Uzkent et al. Feature matching with an adaptive optical sensor in a ground target tracking system
Zhao Exploring the fundamentals of using infrastructure-based LiDAR sensors to develop connected intersections
Mendez et al. Automatic label creation framework for fmcw radar images using camera data
Ozaki et al. DNN-based self-attitude estimation by learning landscape information
Helgesen Sensor fusion for detection and tracking of maritime vessels
Makarau et al. Alphabet-based multisensory data fusion and classification using factor graphs
Greenberg et al. Neural-network classifiers for automatic real-world aerial image recognition
Bouhsine et al. Atmospheric visibility image-based system for instrument meteorological conditions estimation: A deep learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant