CN116340736A - 一种异质传感器信息融合方法及装置 - Google Patents

一种异质传感器信息融合方法及装置 Download PDF

Info

Publication number
CN116340736A
CN116340736A CN202211676310.6A CN202211676310A CN116340736A CN 116340736 A CN116340736 A CN 116340736A CN 202211676310 A CN202211676310 A CN 202211676310A CN 116340736 A CN116340736 A CN 116340736A
Authority
CN
China
Prior art keywords
sensor
measurement
heterogeneous
fusion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211676310.6A
Other languages
English (en)
Inventor
罗鹏
韩乃军
何鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUNAN NOVASKY ELECTRONIC TECHNOLOGY CO LTD
Original Assignee
HUNAN NOVASKY ELECTRONIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUNAN NOVASKY ELECTRONIC TECHNOLOGY CO LTD filed Critical HUNAN NOVASKY ELECTRONIC TECHNOLOGY CO LTD
Priority to CN202211676310.6A priority Critical patent/CN116340736A/zh
Publication of CN116340736A publication Critical patent/CN116340736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种异质传感器信息融合方法及装置，该方法步骤包括：S01.获取两异质传感器检测的数据进行时间与空间配准，得到配准后数据；S02.根据两异质传感器的量测信息的联合分布状态，从配准后数据中获取同一时刻的两异质传感器的量测信息进行关联配对，得到关联观测对；S03.根据两异质传感器的量测信息与噪声方差之间的联合分布关系，从关联观测对中确定出嫌疑测量对，并将嫌疑测量对的量测信息进行融合，得到融合后嫌疑测量对；S04.根据融合后嫌疑测量对进行决策级融合识别，得到最终的识别结果。本发明能够实现异质传感器表达融合，且具有实现方法简单、融合效率高且复杂场景适应性好、抗干扰性强等优点。

Description

一种异质传感器信息融合方法及装置
技术领域
本发明涉及传感器信息融合技术领域，尤其涉及一种异质传感器信息融合方法及装置。
背景技术
各类型传感器具有不同优势，例如雷达具有可全天候工作、体积小、可测速测距等优点，红外传感器则具备受光照条件影响小、角度测量精确等优势。但单一传感器都会受到传感器本身性能和功能的限制，工作模式与获取的目标信息较为单一，如毫米波雷达的点云数据较稀疏、虚警较多且易受干扰等，可见光相机受天气影响大，受光照条件影响大等，红外传感器监控范围小、受温度影响大等，因而单一传感器难以适应当前日益复杂的使用需求。因此，在单一传感器检测的基础上，对不同传感器的信息进行融合，有助于提升识别效果与对复杂环境的适应能力。
异质传感器由于探测到的信息类型不同，例如毫米波雷达的探测信息通常是角度、距离及速度等，而红外成像传感器得到的信息通常是图像像素中的位置、角度等，两者是不同量纲的传感器检测信息，因而不能直接进行信息融合。也因此，现有技术中多传感器信息融合方法通常都是在数据关联层面进行匹配，如毫米波雷达与红外相机的信息融合的常用方法即是首先将毫米波雷达与红外相机进行空间上的坐标转换，再将雷达点映射到红外图像像素坐标系上，最后将雷达点与红外图像目标进行简单的匹配。但该类方法难以将异质异类的传感器信息进行表达融合，且在复杂环境下通常难以取得较好的效果，例如毫米波雷达存在虚警较多的问题，而红外图像的纹理及细节信息相对简单，因此可能造成与红外目标匹配的是雷达虚警点，或真正的雷达目标点无红外目标进行匹配。
中国专利申请CN114994655A公开一种基于AdaBoost的雷达点迹和红外点迹复合跟踪处理方法，通过使用假设航迹作为机器学习训练样本，训练AdaBoost分类器对假设航迹进行真假分类，并对复合航迹进行滤波更新。但是该方法需要依赖AdaBoost分类器对真假点迹/航迹进行分类以及对样本进行离线标记，因而需要具备大量的先验信息，不仅实现复杂，且仍然会存在对复杂场景的适应性较差的问题。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种能够实现异质传感器表达融合且实现方法简单、融合效率高且复杂场景适应性好、抗干扰性强的异质传感器信息融合方法及装置。
为解决上述技术问题，本发明提出的技术方案为：
一种异质传感器信息融合方法，步骤包括：
步骤S01.获取两异质传感器检测的数据进行时间与空间配准，得到配准后数据；
步骤S02.根据两异质传感器的量测信息的联合分布状态，从所述配准后数据中获取同一时刻的两异质传感器的量测信息进行关联配对，得到关联观测对；
步骤S03.根据两异质传感器的量测信息与噪声方差之间的联合分布关系，从所述关联观测对中确定出嫌疑测量对，并将所述嫌疑测量对的量测信息进行融合，得到融合后嫌疑测量对；
步骤S04.根据所述融合后嫌疑测量对进行决策级识别，得到最终的识别结果。
进一步的，所述量测信息包括方位角和俯仰角，所述步骤S02中，通过使用两异质传感器得到的方位角和俯仰角构建服从自由度为2的卡方分布的第一统计判决量T，当所述第一统计判决量T大于预设门限λ时，判定待判别的两异质传感器的量测值为来自相同位置的关联观测对，否则判定不是来自相同位置的关联观测对，其中所述预设第一门限λ根据自由度为2的卡方分布设置得到。
进一步的，所述第一统计判决量T的计算表达式为：
Figure BDA0004018356410000021
其中，
Figure BDA0004018356410000022
和/>
Figure BDA0004018356410000023
分别为第一传感器、第二传感器得到的方位角量测值，/>
Figure BDA0004018356410000024
和/>
Figure BDA0004018356410000025
分别为第一传感器和第二传感器得到的俯仰角量测值，σRθ,/>
Figure BDA0004018356410000026
分别为第一传感器得到的方位角和俯仰角量测值的方差，σIθ,/>
Figure BDA0004018356410000027
分别为第二传感器得到的方位角和俯仰角量测值的方差，所述第一传感器与第二传感器为异质传感器。
进一步的，所述步骤S03中，根据异质传感器的量测信息与噪声方差之间的联合分布关系，从所述关联观测对中确定出嫌疑测量对包括：使用两异质传感器得到的方位角和俯仰角以及两异质传感器方位角测量噪声方差、两异质传感器俯仰角测量噪声方差构建服从自由度为2的卡方分布
Figure BDA0004018356410000028
的第二统计判决量，α为将两个不同目标观测误判为同一目标观测的概率，当所述第二统计判决量大于预设第二门限/>
Figure BDA0004018356410000029
判定待判别的两异质传感器的量测值为嫌疑测量对，其中所述预设第二门限/>
Figure BDA00040183564100000210
根据自由度为2的卡方分布/>
Figure BDA00040183564100000211
设置得到。
进一步的，所述第二统计判决量的计算表达式为：
Figure BDA0004018356410000031
其中，
Figure BDA0004018356410000032
表示k时刻第i个第一传感器量测信息与第j个第二传感器量测信息之间的第二统计判决量，/>
Figure BDA0004018356410000033
分别为k时刻第一传感器的第i个方位角观测、第二传感器的第j个方位角观测、第一传感器的第i个俯仰角观测以及第二传感器的第j个俯仰角观测，/>
Figure BDA0004018356410000034
分别为第一传感器的方位角测量噪声方差、第一传感器的俯仰角测量噪声方差、第二传感器的方位角测量噪声方差、第二传感器的俯仰角测量噪声方差，所述第一传感器与第二传感器为异质传感器。
进一步的，所述步骤S03中，将嫌疑测量对的方位角使用两异质传感器的方位角测量噪声方差将两异质传感器的方位角进行加权，得到融合后方位角，将嫌疑测量对的俯仰角使用两异质传感器的俯仰角测量噪声方差将两异质传感器的俯仰角进行加权，得到融合后俯仰角。
进一步的，所述融合后方位角、融合后俯仰角分别按下式计算得到：
Figure BDA0004018356410000035
Figure BDA0004018356410000036
其中，
Figure BDA0004018356410000037
分别为k时刻的融合后方差角和融合后俯仰角，
Figure BDA0004018356410000038
分别为k时刻第一传感器的第i个方位角观测、第二传感器的第j个方位角观测、第一传感器的第i个俯仰角观测以及第二传感器的第j个俯仰角观测，
Figure BDA0004018356410000039
分别为第一传感器的方位角测量噪声方差、第一传感器的俯仰角测量噪声方差、第二传感器的方位角测量噪声方差、第二传感器的俯仰角测量噪声方差，所述第一传感器与第二传感器为异质传感器。
进一步的，所述步骤S04中使用证据理论方法进行决策级识别，其中通过将两个传感器获得的识别结果中目标类属置信度作为证据体，计算两异质传感器信息之间的相互支持度和冲突强度，以衡量不同传感器信息对最终融合信息的贡献度，再根据相互支持度和冲突强度对两异质传感器信息进行加权，得到融合结果。
进一步的，所述使用证据理论方法进行决策级识别的步骤包括：
S401.参数初始化：将两异质传感器获得的识别结果中目标类属置信度作为证据体，对任意证据设置基本概率分配函数，计算各证据体间冲突强度值以及相互支持度值；
S402.冲突检测：判断所述相互支持度值是否大于预设门限值，如果是对证据进行融合获得当前融合置信度后转入步骤S404，否则转入步骤S403；
S403.分别计算两异质传感器与前一时刻融合证据之间的整体距离，并选择与前一时刻融合证据距离小的传感器作为当前周期证据；
S404.综合当前周期及前多个历史周期获得的证据计算所有证据体对各证据体的总的支持度；
S405.根据所述所有证据体对各证据体的总的支持度计算权重值以加权修正证据mWAE；
S406.计算对所述加权修正证据mWAE融合多次得到每个类别的融合置信度，并判定最高置信度对应的类别为最终的目标类属。
一种异质传感器信息融合装置，该装置包括：
时空配准模块，用于获取两异质传感器检测的数据进行时间与空间配准，得到配准后数据；
融合检测模块，用于根据两异质传感器的量测信息的联合分布状态，从所述配准后数据中获取同一时刻的两异质传感器的量测信息进行关联配对，得到关联观测对；
融合跟踪模块，用于根据两异质传感器的量测信息与噪声方差之间的分布关系，从所述关联观测对中确定出嫌疑测量对，并将所述嫌疑测量对的量测信息进行融合，得到融合后嫌疑测量对；
融合识别模块，用于根据所述融合后嫌疑测量对进行决策级识别，得到最终的识别结果；
或该装置包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。
与现有技术相比，本发明的优点在于：本发明通过将两异质传感器检测的数据进行时间与空间配准后，在融合检测过程中基于数据关联方法根据两种传感器的目标点的联合分布状态进行关联配对，以将目标产生的量测与杂波产生的量测分开，可以简单、高效的实现异质异类分布式传感器不同量纲的信息在表达层面进行融合；在融合跟踪过程中，再根据两异质传感器的量测信息与噪声方差之间的联合分布关系将关联观测对的量测信息进行融合，能够有效地提升匹配的准确率,从而最终经过决策级识别能够得到精准的识别结果，有效提升识别性能。
附图说明
图1是本实施例雷达传感器与红外成像传感器信息融合方法的整体实现流程示意图。
图2是本实施例雷达传感器与红外成像传感器信息融合方法的实现流程示意图。
图3是本实施例采用自适应方差加权融合方法实现融合跟踪的详细实现流程示意图。
图4是本实施例采用证据理论方法进行决策级融合识别的实现流程示意图。。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
异质传感器也即为使用不同检测机理实现目标检测的不同结构类型的传感器，例如雷达传感器与红外成像传感器。将两异质传感器进行信息融合，能有效利用两种传感器的优势，获取不同维度的目标信息，并根据环境及场景变换工作模式，提升在复杂环境的识别效果。例如将雷达传感器与红外成像传感器进行信息融合，两种传感器获取的信息具备高度互补性，红外成像传感器能获取红外目标精确的方位俯仰角度信息、几何形状等表观信息等，而雷达可获取目标的距离、速度、加速度、雷达散射截面积(RCS)及方位俯仰角度等信息，这些信息共同组成目标的多维特征信息。此外，雷达为主动工作模式，擅长运动目标检测，但受电子干扰及反射信号影响较大，而红外成像传感器为被动工作模式，不受电子干扰的影响，两者互补能有效提升环境适应能力及识别效果。
虽然异质传感器的检测机理不同，但是异质传感器所检测到的信息中杂波在空间上分布是随机的，即两个传感器在同一时刻得到杂波点的分布一般是不同的，而目标点则相对稳定，即异质传感器检测得到的目标点的分布状态与杂波的分布状态是有明显差异的。利用上述分布特性，本发明通过将两异质传感器检测的数据进行时间与空间配准后，在融合检测过程中基于数据关联方法根据两种传感器的目标点的联合分布状态进行关联配对(可疑目标点)，以将目标产生的量测与杂波产生的量测分开，可以简单、高效的实现异质异类分布式传感器不同量纲的信息在表达层面进行融合；在融合跟踪过程中，再根据两异质传感器的量测信息与噪声方差之间的联合分布关系将关联观测对的量测信息进行融合，能够有效地提升匹配的准确率,从而最终经过决策级识别能够得到精准的识别结果，有效提升识别性能。
以下以实现雷达传感器与红外成像传感器信息融合为例，对本发明进行具体说明。
如图1、2所示，本实施例雷达传感器与红外成像传感器信息融合的详细步骤包括：
S01.时空配准：获取雷达传感器(如毫米波雷达)、红外成像传感器检测的数据进行时间与空间配准，得到配准后数据。
雷达和红外成像传感器是两个工作模式不同且特性相差较大的传感器，例如两种传感器的安装位置通常存在偏差及两者的采样频率通常不同，所探测到的目标信息必然产生空间的偏差，因此在进行信息融合时，需对不同传感器的观测模型和测量数据进行空间、时间配准对齐，将两种传感器获得的目标信息校准到相同的空间坐标中。空间配准即是将不同传感器获取的观测数据统一到一个基准坐标系的过程。
考虑到毫米波雷达与红外成像传感器安装位置空间差异较小，两种传感器获得的目标信息在同一基准坐标系下，本实施例中仅通过静态测试得到两种传感器之间的空间差异，再通过转换与平移即可将两种传感器的信息进行空间校准。
毫米波雷达与红外成像传感器由于采样频率不同，且两个传感器开始检测目标的时间通常也不同，因此在将两个传感器信息进行融合前需选定合适的参考时间点对毫米波雷达和红外成像传感器得到的观测数据进行同步处理。本实施例中，时间配准的步骤具体为：将各个传感器在同一时间内采集的目标数据进行插值和外推，估算两次观测时间内每一时刻的数据，实现两种传感器信息在时间上的同步。
当毫米波雷达与红外成像传感器的初始时刻相同时，由于红外成像传感器的采样频率通常高于毫米波雷达，为了避免红外传感器信息丢失，本实施例具体将毫米波雷达数据通过插值和外推与红外数据进行同步；当毫米波雷达与红外成像传感器采样的初始时刻不同时，可假设红外成像传感器的第一个采样数据与之前最近的一个毫米波雷达采样数据在同一时刻采样，此假设带来的细微误差在接受范围内。
以在具体应用实施例中实现时间配准为例，使用线性插值的方式实现内插外推时，假设xR1为雷达传感器t1时刻测量值，xR2为雷达传感器t2时刻的估计值，xR3为雷达传感器t3时刻测量值。由于t1和t3时刻间隔很短，可以近似为线性变化，通过对xR1和xR3进行线性插值，可得雷达传感器在t2时刻的估计值：
Figure BDA0004018356410000061
由此，即可将采样频率较低的雷达传感器数据与红外成像传感器数据进行对齐。
对于其他异质传感器之间的时空配准，则可以采用与上述相同原理实现，也可以根据实际需求采用其他的时空配准方法实现。
S02.融合检测：根据两异质传感器的量测信息的联合分布状态，从配准后数据中获取同一时刻的两异质传感器的量测信息进行关联配对，得到关联观测对。
在进行时空配准后，为充分利用两种异质异类的分布式传感器得到的信息，本实施例使用数据关联方法将两传感器的量测信息进行融合与检测。量测信息具体包括方位角和俯仰角，通过使用雷达传感器与红外成像传感器得到的方位角和俯仰角构建服从自由度为2的卡方分布的第一统计判决量T，当第一统计判决量T大于预设门限λ时，判定待判别的雷达传感器的量测值与红外传感器的量测值为来自相同位置的关联观测对，否则判定不是来自相同位置的关联观测对，其中预设第一门限λ根据自由度为2的卡方分布设置得到。本实施例构建第一统计判决量T的详细过程为：
首先在时刻k获取雷达的量测值，包括雷达检测到的可疑点的方位角、俯仰角及距离，其中量测值为真实值与量测噪声之和。假定该量测噪声相互独立，且服从均值为零的正态分布。在同一时刻，获取红外成像传感器的量测值，包括红外成像传感器检测到的可疑点的方位角和俯仰角，同样，量测值为真实值与量测噪声之和，假定该量测噪声相互独立，且服从均值为零的正态分布。
假设k时刻的可疑点由一个真实目标和若干杂波组成，由于雷达和红外成像传感器的结构和检测机理不同，且杂波在空间上分布是随机的，两个传感器在同一时刻得到杂波点的分布一般是不同的，而目标点则相对稳定。由此，可构建服从标准正态分布的统计量：
Figure BDA0004018356410000071
Figure BDA0004018356410000072
其中，
Figure BDA0004018356410000073
和/>
Figure BDA0004018356410000074
分别为毫米波雷达和红外成像传感器得到的方位角量测值，/>
Figure BDA0004018356410000075
和
Figure BDA0004018356410000076
分别为毫米波雷达和红外成像传感器得到的俯仰角量测值，σRθ,σIθ,/>
Figure BDA0004018356410000077
分别为毫米波雷达/红外成像传感器方位角和俯仰角量测值的方差，N(0,1)为标准正态分布。
如上述，雷达和红外成像传感器的量测信息之间的联合分布均服从标准正态分布，而杂波则不具备上述特性，由此即可区分出真正的目标点与杂波。进而利用式(2)、(3)可以使用雷达传感器与红外成像传感器得到的方位角和俯仰角构建服从自由度为2的卡方分布的统计判决量以判决是否为可疑目标点，该统计判决量即为第一统计判决量T，计算表达式具体为：
Figure BDA0004018356410000078
其中，
Figure BDA0004018356410000079
和/>
Figure BDA00040183564100000710
分别为雷达传感器和红外传感器得到的方位角量测值，/>
Figure BDA00040183564100000711
和/>
Figure BDA00040183564100000712
分别为雷达传感器和红外传感器得到的俯仰角量测值，σRθ,/>
Figure BDA00040183564100000713
分别为雷达传感器得到的方位角和俯仰角量测值的方差，σIθ,/>
Figure BDA00040183564100000714
分别为红外传感器得到的方位角和俯仰角量测值的方差。
根据两种传感器的可疑目标点与杂波服从不同的联合分布的特点，首先将目标产生的量测与杂波产生的量测分开，再对两种传感器产生的可疑点进行融合，能有效地提升匹配的准确率从而提升最终的识别性能。
由于目标产生的量测值服从卡方分布，而杂波产生的量测值不服从该分布，本实施例通过可先设定分位数，再根据卡方分布的特点，在自由度为2时得到第一门限λ。则利用式(4)计算出的第一统计判决量T即可判断雷达传感器的量测值与红外传感器的量测值是否为来自相同位置的可疑目标点，从而实现关联配对，得到关联观测对，即当第一统计判决量T大于第一门限λ时，判定待判别的雷达传感器的量测值与红外传感器的量测值为来自相同位置的关联观测对，否则判定不是来自相同位置的关联观测对。
在具体应用实施例中，实现雷达传感器的量测值与红外传感器的量测值的融合检测的详细步骤为：
步骤S21.设定第一门限λ:先设定分位数，在自由度为2时得到第一门限λ的值；
步骤S22.按照式(4)计算不同可疑目标点的第一统计判决量T。
步骤S23.将第一统计量T与第一门限λ进行比较，若T<λ则判断当前两个量测值来自相同的位置的可疑目标点，若T>λ则判定当前两个量测值来自不同的位置的可疑点。
步骤S24.遍历毫米波雷达和红外传感器当前时刻中所有可疑目标点的组合，重复执行步骤S23，直至遍历完所有的可疑目标点；
步骤S25.如果两个传感器的量测值匹配，即为来自相同的位置的可疑目标点，则记录其位置，并转入执行步骤S3；否则继续进行下一时刻的检测。
本实施例通过根据传感器检测到的目标点和杂波服从不同的联合分布实现融合检测，能够有效将真正的目标点和杂波进行区分开，从而有效提升点迹关联匹配的准确率。
S03.融合跟踪：根据雷达传感器与红外成像传感器的量测信息与噪声方差之间的联合分布关系，从关联观测对中确定出嫌疑测量对，并将嫌疑测量对的量测信息进行融合，得到融合后嫌疑测量对。
雷达不仅能够提供目标高精度的距离值，同时也能提供目标精度相对较差的俯仰和方位两个角度测量值，而红外成像传感器能提供精度较高的俯仰和方位两个角度测量值，本实施例通过融合跟踪将雷达测得高精度距离值和红外成像传感器测得的高精度角度值有机结合起来，以使得在一定条件下能提高对目标状态的估计精度。
根据融合检测的匹配结果，本实施例具体采用方差自适应融合跟踪方法实现融合跟踪，且采用加权“点迹-点迹”的关联逻辑，即根据量测噪声的方差进行加权，加权的对象是将传感器输出的原始目标状态测量值(点迹)加权融合，然后再进行滤波，得到更为精确的目标状态描述，如图3所示。
本实施例中，根据雷达传感器与红外成像传感器的量测信息与噪声方差之间的联合分布关系，从关联观测对中确定出嫌疑测量对具体包括：使用雷达传感器与红外成像传感器得到的方位角和俯仰角以及雷达传感器与红外成像传感器的方位角测量噪声方差、俯仰角测量噪声方差构建服从自由度为2的卡方分布
Figure BDA0004018356410000091
的第二统计判决量，α为将两个不同目标观测误判为同一目标观测的概率，当第二统计判决量大于预设第二门限/>
Figure BDA0004018356410000092
判定待判别的两异质传感器量测值为嫌疑测量对，其中预设第二门限/>
Figure BDA0004018356410000093
根据自由度为2的卡方分布/>
Figure BDA0004018356410000094
设置得到。
上述第二统计判决量的具体构建步骤为：
设
Figure BDA0004018356410000095
分别为k时刻雷达的第i个方位角观测、红外成像传感器的第j个方位角观测、雷达的第i个俯仰角观测以及红外成像传感器的第j个俯仰角观测，而
Figure BDA0004018356410000096
分别为雷达方位角测量噪声方差、雷达俯仰角测量噪声方差、红外传感器方位角测量噪声方差、红外传感器俯仰角测量噪声方差。假定毫米波雷达和红外成像传感器观测噪声均为白噪声，因此有：
Figure BDA0004018356410000097
Figure BDA0004018356410000098
Figure BDA0004018356410000099
Figure BDA00040183564100000910
进而建立假设：
Figure BDA00040183564100000911
H0成立的条件下有：
Figure BDA00040183564100000912
由式(6)可知，雷达传感器与红外传感器的量测信息与噪声方差之间的联合分布服从正态分布，则按照与第一统计判决量T相同的原理可以构建第二统计判决量2()，如式(7)所示，第二统计判决量
Figure BDA00040183564100000917
服从自由度为2的卡方分布。
Figure BDA00040183564100000913
其中，α为将两个不同目标观测误判为同一目标观测的概率，
Figure BDA00040183564100000914
表示k时刻第i个雷达传感器量测信息与第j个红外传感器量测信息之间的第二统计判决量，
Figure BDA00040183564100000915
分别为k时刻雷达传感器的第i个方位角观测、红外传感器的第j个方位角观测、雷达传感器的第i个俯仰角观测以及红传感器的第j个俯仰角观测，
Figure BDA00040183564100000916
分别为雷达传感器的方位角测量噪声方差、雷达传感器的俯仰角测量噪声方差、红外传感器的方位角测量噪声方差、红外传感器的俯仰角测量噪声方差。
因此0成立的条件为：
Figure BDA0004018356410000101
将满足上式(8)的雷达传感器与红外成像传感器观测对作为嫌疑测量对，即可利用传感器的量测信息与噪声方差之间的联合分布关系从融合检测的可疑目标点对中查找出感兴趣的目标进行进一步的加权融合。
本实施例中，具体将上述得到的嫌疑测量对的方位角使用雷达传感器与红外传感器的方位角测量噪声方差将两传感器方位角进行加权，得到融合后方位角，将上述得到的嫌疑测量对的俯仰角使用两异质传感器俯仰角测量噪声方差将两异质传感器俯仰角进行加权，得到融合后俯仰角。
融合后的方位角、融合后的俯仰角具体分别按下式计算得到：
Figure BDA0004018356410000102
Figure BDA0004018356410000103
其中，
Figure BDA0004018356410000104
和/>
Figure BDA0004018356410000105
分别为k时刻的融合后方差角和融合后俯仰角。
本实施例通过按照式(9)、(10)将嫌疑测量对方差加权，可得到嫌疑伪观测
Figure BDA0004018356410000106
由于在融合过程中可靠性越高的传感器信息的方差对融合的贡献度更高，则通过方差进行融合加权后可以完成观测对的自适应融合，如图3所示，在得到融合角度值后，再利用扩展卡尔曼滤波算法进行航迹更新，即可得到对目标状态更为精确的描述，有效提高匹配精度，进一步提高融合效果。
S04.融合识别：根据融合后嫌疑测量对进行决策级识别，得到最终的识别结果。
决策级识别即为融合雷达传感器、红外成像传感器的初步识别结果决策出最终的结果。毫米波雷达和红外成像传感器产生的目标信息属于不同的维度，且两种传感器的量测值属于不同的量纲，本实施例具体使用证据理论方法进行决策级识别，其中通过将两个传感器获得的识别结果中目标类属置信度作为证据体，以将不同传感器检测到的目标信息置信度转换为支持度，计算雷达传感器与红外成像传感器信息之间的相互支持度和冲突强度，以衡量不同传感器信息对最终融合信息的贡献度，再根据相互支持度和冲突强度对两异质传感器信息进行加权得到融合结果，能够剔除传感器信息中的不确定性，将“不知道”和“不确定”区分开来，有效处理冲突信息，从而将异质异类的传感器信息进行有效的融合，获得最优信息融合方案提升识别效果，且对先验知识要求较少，应用条件宽松且灵活，能够进一步增强识别***的环境适应性。
本实施例在目标的融合识别中，经过步骤S01～步骤S03，两传感器分别对目标进行探测，雷达探测目标的位置、距离、速度等信息，红外成像传感器探测目标的方位、在成像中的像素位置、表观轮廓等信息，根据各传感器获得的信息进行匹配识别，可得到初步的识别结果；在此基础上步骤S04使用证据理论方法进一步对识别结果进行决策级融合处理。证据理论方法的实现原理包括：
首先设定辨识框架Θ，设m是一个2Θ→[0,1]的一个基本概率分配(BPA)函数，满足:
Figure BDA0004018356410000111
其中，A表示事件，
Figure BDA0004018356410000112
表示空集。定义m的对应信任函数(Be l)为:
Figure BDA0004018356410000116
信任函数表示对A的总信任程度，定义A的似然函数(Pl)为:
Figure BDA0004018356410000113
表示不否定A的信任度。
设两个证据及和对于辨识框架中同一元素Oi的信任区间分别是[Bel(Oi)1,Pl(Oi)1]和[Bel(Oi)2,Pl(Oi)2]，其距离可以表示为：
Figure BDA0004018356410000114
信任区间的距离既体现了两个证据对的确信度的差异，又反映了它们在不确定性的差异，是对确信度和不确定度的一种加权表示。
基于两个证据对辨识框架上同一元素的信任区间的距离度量，令两个证据和之间的整体距离为：
Figure BDA0004018356410000115
其中，n表示辨识框架中元素个数，C为归一化因子，为常数。
证据间整体距离K体现了两个证据之间的冲突情况，当两证据完全一样时，其冲突为0，证据差异越大，冲突越大。当证据冲突超过一定程度时，采用传感器特征量测信息判断其可靠性，进而对证据置信度进行修正以消除证据冲突问题。
如图4所示，本实施例使用证据理论方法进行决策级融合识别的详细步骤包括：
S401.参数初始化：将两个传感器获得的识别结果中目标类属置信度作为证据体，对任意证据设置基本概率分配函数，计算各证据体间冲突强度值K(mR,mI)以及相互支持度值C(mR,mI)＝1-K(mR,mI)；
S402.冲突检测：将冲突强度值与门限τ进行比较，若K(mR,mI)≤τ，则说明传感器证据相互支持度高，对证据进行融合获得当前融合置信度m(t)，转入步骤S404，若K(mR,mI)>τ，则说明证据存在强冲突，转入执行步骤S403；
S403.分别计算两传感器与前一时刻融合证据之间的整体距离，并选择与前一时刻融合证据距离小的传感器作为当前周期证据，即选择与前一时刻冲突较小的作为当前周期置信度，计算表达式为：
Figure BDA0004018356410000121
S404.综合当前周期及前r-1个历史周期获得的证据计算所有证据体对各证据体的总的支持度；
首先综合当前周期及前r-1个历史周期获得的证据，计算得到相互支持度矩阵：
Figure BDA0004018356410000122
其中，
Figure BDA0004018356410000123
Cij∈[0,1]，i,j∈{1,2,…,r}为证据间相互支持度，且有Cij＝Cji,∑Cij＝1。
在相互支持度矩阵中，某一行的所有元素表示所有证据体对某一证据体的支持度的集合，因此，某一行的所有元素之和表示所有证据体对某一证据体的总的支持度，对于证据体mi，所有证据体对其总的支持度为
Figure BDA0004018356410000124
当证据体的总的支持度越大，说明其被更多的证据体所支持，因此可信度越大，在多证据体参与融合时，其应该获得更大的权重。
S405.根据所有证据体对各证据体的总的支持度计算权重值以加权修正证据mWAE。
具体定义每个证据体的融合权重为：
Figure BDA0004018356410000125
并根据权重计算加权组合修正证据:
Figure BDA0004018356410000126
S406.计算对加权修正证据mWAE融合多次得到每个类别的融合置信度，并判定最高置信度对应的类别为最终的目标类属。
本实施例通过依次执行时空配准、融合检测、融合跟踪与融合识别完成异质传感器的信息融合，首先，由于对不同传感器的观测模型和测量数据进行空间、时间配准对齐，以及同视场内目标信息关联；在进行时空配准后，融合检测综合考虑各个传感器可能的杂波，针对不同传感器的检测结果基于第一统计判决量T进行一定的逻辑判断，实现关联配对；根据融合检测的结果，融合跟踪针对跟踪状态下不同传感器的测量数据依据第二统计判决量2()进行关联，找到感兴趣的目标，同时对目标状态信息进行自适应方差加权融合，以消除测量误差、杂波、虚警和干扰的影响。最后，融合识别对关联的目标特性信息进行提取，通过证据理论方法实现决策级融合识别，从而降低场景中杂波及干扰对目标识别的影响，提高目标识别准确率。
除实现雷达传感器与红外成像传感器之间的信息融合以外，本发明还可以适用于实现其他异质异类型传感器之间的信息融合。
本实施例异质传感器信息融合装置包括：
时空配准模块，用于获取两异质传感器检测的数据进行时间与空间配准，得到配准后数据；
融合检测模块，用于根据两异质传感器的量测信息的分布状态，从所述配准后数据中获取同一时刻的两异质传感器的量测信息进行关联配对，得到关联观测对；
融合跟踪模块，用于根据两异质传感器的量测信息与噪声方差之间的分布关系，从所述关联观测对中确定出嫌疑测量对，并将所述嫌疑测量对的量测信息进行融合，得到融合后嫌疑测量对；
融合识别模块，用于根据所述融合后嫌疑测量对进行决策级融合识别，得到最终的识别结果。
本实施例异质传感器信息融合装置与上述本实施例异质传感器信息融合方法为一一对应，在此不再一一赘述。
在另一实施例中，本发明异质传感器信息融合装置还可以包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行所述计算机程序以执行如上述方法。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种异质传感器信息融合方法，其特征在于，步骤包括：
步骤S01.获取两异质传感器检测的数据进行时间与空间配准，得到配准后数据；
步骤S02.根据两异质传感器的量测信息的联合分布状态，从所述配准后数据中获取同一时刻的两异质传感器的量测信息进行关联配对，得到关联观测对；
步骤S03.根据两异质传感器的量测信息与噪声方差之间的联合分布关系，从所述关联观测对中确定出嫌疑测量对，并将所述嫌疑测量对的量测信息进行融合，得到融合后嫌疑测量对；
步骤S04.根据所述融合后嫌疑测量对进行决策级识别，得到最终的识别结果。
2.根据权利要求1所述的异质传感器信息融合方法，其特征在于，所述量测信息包括方位角和俯仰角，所述步骤S02中，通过使用两异质传感器得到的方位角和俯仰角构建服从自由度为2的卡方分布的第一统计判决量T，当所述第一统计判决量T大于预设门限λ时，判定待判别的两异质传感器的量测值为来自相同位置的关联观测对，否则判定不是来自相同位置的关联观测对，其中所述预设第一门限λ根据自由度为2的卡方分布设置得到。
3.根据权利要求2所述的异质传感器信息融合方法，其特征在于，所述第一统计判决量T的计算表达式为：
Figure FDA0004018356400000011
其中，
Figure FDA0004018356400000012
和/>
Figure FDA0004018356400000013
分别为第一传感器、第二传感器得到的方位角量测值，/>
Figure FDA0004018356400000014
和/>
Figure FDA0004018356400000015
分别为第一传感器和第二传感器得到的俯仰角量测值，σRθ,/>
Figure FDA0004018356400000016
分别为第一传感器得到的方位角和俯仰角量测值的方差，σIθ,/>
Figure FDA0004018356400000017
分别为第二传感器得到的方位角和俯仰角量测值的方差，所述第一传感器与第二传感器为异质传感器。
4.根据权利要求1所述的异质传感器信息融合方法，其特征在于，所述步骤S03中，根据异质传感器的量测信息与噪声方差之间的联合分布关系，从所述关联观测对中确定出嫌疑测量对包括：使用两异质传感器得到的方位角和俯仰角以及两异质传感器方位角测量噪声方差、两异质传感器俯仰角测量噪声方差构建服从自由度为2的卡方分布
Figure FDA0004018356400000018
的第二统计判决量，α为将两个不同目标观测误判为同一目标观测的概率，当所述第二统计判决量大于预设第二门限/>
Figure FDA0004018356400000019
判定待判别的两异质传感器的量测值为嫌疑测量对，其中所述预设第二门限/>
Figure FDA00040183564000000110
根据自由度为2的卡方分布/>
Figure FDA00040183564000000111
设置得到。
5.根据权利要求4所述的异质传感器信息融合方法，其特征在于，所述第二统计判决量的计算表达式为：
Figure FDA0004018356400000021
其中，
Figure FDA0004018356400000022
表示k时刻第i个第一传感器量测信息与第j个第二传感器量测信息之间的第二统计判决量，/>
Figure FDA0004018356400000023
分别为k时刻第一传感器的第i个方位角观测、第二传感器的第j个方位角观测、第一传感器的第i个俯仰角观测以及第二传感器的第j个俯仰角观测，/>
Figure FDA0004018356400000024
分别为第一传感器的方位角测量噪声方差、第一传感器的俯仰角测量噪声方差、第二传感器的方位角测量噪声方差、第二传感器的俯仰角测量噪声方差，所述第一传感器与第二传感器为异质传感器。
6.根据权利要求1～5中任意一项所述的异质传感器信息融合方法，其特征在于，所述步骤S03中，将嫌疑测量对的方位角使用两异质传感器的方位角测量噪声方差将两异质传感器的方位角进行加权，得到融合后方位角，将嫌疑测量对的俯仰角使用两异质传感器的俯仰角测量噪声方差将两异质传感器的俯仰角进行加权，得到融合后俯仰角。
7.根据权利要求6所述的异质传感器信息融合方法，其特征在于，所述融合后方位角、融合后俯仰角分别按下式计算得到：
Figure FDA0004018356400000025
Figure FDA0004018356400000026
其中，
Figure FDA0004018356400000027
和/>
Figure FDA0004018356400000028
分别为k时刻的融合后方差角和融合后俯仰角，
Figure FDA0004018356400000029
分别为k时刻第一传感器的第i个方位角观测、第二传感器的第j个方位角观测、第一传感器的第i个俯仰角观测以及第二传感器的第j个俯仰角观测，
Figure FDA00040183564000000210
分别为第一传感器的方位角测量噪声方差、第一传感器的俯仰角测量噪声方差、第二传感器的方位角测量噪声方差、第二传感器的俯仰角测量噪声方差，所述第一传感器与第二传感器为异质传感器。
8.根据权利要求1～5中任意一项所述的异质传感器信息融合方法，其特征在于，所述步骤S04中使用证据理论方法进行决策级识别，其中通过将两个传感器获得的识别结果中目标类属置信度作为证据体，计算两异质传感器信息之间的相互支持度和冲突强度，以衡量不同传感器信息对最终融合信息的贡献度，再根据相互支持度和冲突强度对两异质传感器信息进行加权，得到融合结果。
9.根据权利要求8所述的异质传感器信息融合方法，其特征在于，所述使用证据理论方法进行决策级融合识别的步骤包括：
S401.参数初始化：将两异质传感器获得的识别结果中目标类属置信度作为证据体，对任意证据设置基本概率分配函数，计算各证据体间冲突强度值以及相互支持度值；
S402.冲突检测：判断所述相互支持度值是否大于预设门限值，如果是对证据进行融合获得当前融合置信度后转入步骤S404，否则转入步骤S403；
S403.分别计算两异质传感器与前一时刻融合证据之间的整体距离，并选择与前一时刻融合证据距离小的传感器作为当前周期证据；
S404.综合当前周期及前多个历史周期获得的证据计算所有证据体对各证据体的总的支持度；
S405.根据所述所有证据体对各证据体的总的支持度计算权重值以加权修正证据mWAE；
S406.计算对所述加权修正证据mWAE融合多次得到每个类别的融合置信度，并判定最高置信度对应的类别为最终的目标类属。
10.一种异质传感器信息融合装置，其特征在于，该装置包括：
时空配准模块，用于获取两异质传感器检测的数据进行时间与空间配准，得到配准后数据；
融合检测模块，用于根据两异质传感器的量测信息的联合分布状态，从所述配准后数据中获取同一时刻的两异质传感器的量测信息进行关联配对，得到关联观测对；
融合跟踪模块，用于根据两异质传感器的量测信息与噪声方差之间的分布关系，从所述关联观测对中确定出嫌疑测量对，并将所述嫌疑测量对的量测信息进行融合，得到融合后嫌疑测量对；
融合识别模块，用于根据所述融合后嫌疑测量对进行决策级识别，得到最终的识别结果；
或该装置包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如权利要求1～9中任意一项所述方法。
CN202211676310.6A 2022-12-26 2022-12-26 一种异质传感器信息融合方法及装置 Pending CN116340736A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211676310.6A CN116340736A (zh) 2022-12-26 2022-12-26 一种异质传感器信息融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211676310.6A CN116340736A (zh) 2022-12-26 2022-12-26 一种异质传感器信息融合方法及装置

Publications (1)

Publication Number Publication Date
CN116340736A true CN116340736A (zh) 2023-06-27

Family

ID=86878068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211676310.6A Pending CN116340736A (zh) 2022-12-26 2022-12-26 一种异质传感器信息融合方法及装置

Country Status (1)

Country Link
CN (1) CN116340736A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117034201A (zh) * 2023-10-08 2023-11-10 东营航空产业技术研究院 一种多源实时数据融合方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117034201A (zh) * 2023-10-08 2023-11-10 东营航空产业技术研究院 一种多源实时数据融合方法

Similar Documents

Publication Publication Date Title
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
CN1940591B (zh) 使用传感器融合进行目标跟踪的***和方法
CN109975798B (zh) 一种基于毫米波雷达与摄像头的目标检测方法
CN111189545B (zh) 高精度广域智能红外体温筛查方法及其***
CN113777600B (zh) 一种多毫米波雷达协同定位跟踪方法
CN112731371B (zh) 一种激光雷达与视觉融合的集成化目标跟踪***及方法
CN109407086B (zh) 一种飞行器轨迹生成方法、***及诱捕***目标引导方法
CN109214432B (zh) 一种多传感器多目标联合检测、跟踪与分类方法
CN110058222A (zh) 一种基于传感器选择的双层粒子滤波检测前跟踪方法
CN116340736A (zh) 一种异质传感器信息融合方法及装置
CN111999735A (zh) 一种基于径向速度和目标跟踪的动静目标分离方法
JP2007010367A (ja) 空港面監視システムおよびこれに用いる航跡統合装置
CN113988228B (zh) 一种基于rfid和视觉融合的室内监控方法及***
CN108896989B (zh) 毫米波雷达成像与模式识别
CN117113284A (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN114485613B (zh) 一种多信息融合水下机器人定位方法
CN114697165B (zh) 基于无人机视觉和无线信号融合的信号源检测方法
CN114488104B (zh) 基于交互一致性的天波超视距雷达目标跟踪方法
CN113673105A (zh) 真值对比策略的设计方法
DK180729B1 (en) System for processing radar data representing intensity values of received power of reflected radar wave signals
CN114705223A (zh) 多移动智能体在目标跟踪中的惯导误差补偿方法及***
CN114119465A (zh) 一种点云数据处理方法及装置
CN113960586B (zh) 基于光学图像辅助的毫米波雷达目标跟踪方法
CN116125465A (zh) 一种主被动雷达目标信息融合方法及装置
KR102666053B1 (ko) 측위 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination