CN113283516A - 一种基于强化学习和d-s证据理论的多传感器数据融合方法 - Google Patents

Abstract

本发明公开了一种基于强化学习和D‑S证据理论的多传感器数据融合方法，包括以下步骤：步骤一、多传感器数据输入；步骤二、马尔科夫决策模型构建；步骤三、Q‑learning算法实现冲突数据消解；步骤四、采用D‑S证据理论实现多传感器数据融合。本发明采用基于强化学习和D‑S证据理论相结合的方法快速高效地实现多传感器数据融合，通过采用强化学习对多传感器中的冲突数据、故障数据进行实时在线处理，得到冲突消解后的有效多传感器数据，解决了数据高冲突的问题；其次采用D‑S证据理论融合方法能很好的融合不确定多源数据，提升融合性能。

Description

一种基于强化学习和D-S证据理论的多传感器数据融合方法

技术领域

本发明涉及多传感器数据融合领域，是一种基于强化学习和D-S证据理论实现多传感器数据融合的方法，实现多传感器数据实时在线有效融合。

背景技术

随着现代科学技术在工业设备上的应用，使得设备复杂化，单一传感器信息已经无法准确体现设备的复杂运行情况。且由于其容易受到环境干扰，会导致获得的数据可能存在故障数据，无法实现对复杂设备的准确决策。而多传感器能将***的不同特征同时反应出来，将多源数据融合有利于提高***性能，使结果可信程度高。

多传感器数据融合技术是充分利用不同时间与空间的多传感器数据，对数据进行分析、排序和融合以提高***性能的重要数据处理技术，在实际生产和应用中起着关键作用。

在多传感器数据融合模型和方法中，D-S证据理论是最为有效的一种可处理不确定信息的方法之一。证据理论还提供了Dempster组合规则，可实现在无先验信息的情况下对证据进行融合。然而，当证据之间存在高度冲突时会产生违反直觉的判断。此外，在实际中，多传感器获得的数据可能存在时间不一致性，导致该方法无法实现对在线数据的实时融合。强化学习通过“试错”的方式进行学习，可实现与外界环境的自主实时交互而无需***先验信息。因此采用强化学习和D-S证据理论相结合的方法实现对多传感器数据的实时在线融合。

发明内容

为了实现多传感器实时在线数据融合，本发明基于强化学习和D-S证据理论，提供一种智能多传感器数据融合方法，解决了冲突证据和在线实时融合的问题。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤一：多传感器数据输入

将获得的多传感器数据表示为：{D₁,D₂,…,D_i}，其中，D_i代表第i个传感器的数据，在该***中共有i个传感器。此外，传感器的数据表达形式为基本概率指派函数(BasicProbability Assignment，BPA)。若在测量过程中有新的传感器数据加入时，将其写入数据中，表示为：{D₁,D₂,…,D_i,D_新}。

步骤二：马尔科夫决策模型构建

采用强化学习对多传感器数据进行自适应冲突消解时，需进行马尔科夫决策(Markov decision process，MDP)模型构建。MDP模型包括***状态、动作、奖励函数，具体为：

(1)动作集合A：由于多源传感器的信息量不同，在不同的传感器信息下***应该做出不同的动作选择，使得当存在高冲突信息时，对高冲突信息进行冲突消解，以保证融合结果的准确性有效性，因此将动作集合定义为：A＝{a₁,a₂}＝{保留，删除}，***可以根据实际情况采取保留或者删除的动作；

(2)状态集合S：当融合***在不同时刻不同传感器信息下采取了某一动作后，***的状态会发生转移，我们定义当前时刻的融合结果作为***的状态，即：

其中m_t和m_t+1表示当前时刻采取不同动作的融合结果，a_t+1表示当前采取的动作。***状态集合表示为：S＝{s₁,s₂,…,s_t,…}。

(3)奖赏函数R：表示***在运行过程中在某一状态s以及某一动作a下，***给予的奖励值或者惩罚值。

在多传感器数据融合算法中，通过奖赏函数值的设定进行不同动作的选取，最终在相同的数据情况下得到更准确有效的融合结果。强化学习中通过最大化累积奖赏值得到最优动作，因此奖赏函数设定至关重要。本发明中通过某一状态下融合结果的质量好坏设定奖励函数，采用邓熵评价融合结果质量，邓熵是证据间的信度度量方式。***不同状态下的邓熵E(m_t)定义为：

其中，Θ表示辨识框架，A是辨识框架中的子集，对应的t时刻下的BPA为m_t(A)，|A|表示A的势。

邓熵的值越大，BPA包含的信息量越大，表明当前状态下的融合结果较好。当E(m_t+1)≥E(m_t)时，说明新的状态s_t+1是有益的，此时应该给予一个积极的奖赏。反之，说明新的状态s_t+1是消极的，此时应该给予一个惩罚值。因此t+1时刻的奖赏函数定义为：

步骤三：Q-learning算法实现冲突数据消解

实现对多传感器数据融合中冲突消解的目的是找到一个最优策略π：π:S→A，即a＝π(s)，使得***在有冲突数据情况下做出最佳策略选择，实现有效冲突消解。策略的选择由环境和智能体经过反复探索试错，最终在某一策略下得到***立即奖励和未来奖励值加和最大的策略为最优策略。具体为：在t时刻，多传感器数据融合***接收到某一状态s_t和即时奖励R_t，根据奖励值确定当前要执行的动作(保留或者去除当前的证据)，然后智能融合***转移至下一状态s_t+1并产生奖励R_t+1。此过程本发明采用Q-learning算法实现。

Q-learning算法通过最大化累积折扣奖励值获得最佳策略，Q值函数为在某一状态s_t和某一动作a_t下的累积奖赏值，表达式为：

其中，γ表示折扣因子。

采用ε-greedy算法进行最优动作(策略)选择，具体表示为：

其中，π^*(a|s)表示最优策略；ε表示探索概率。

并采用下式进行Q值函数的更新：

其中，α∈(0,1]表示学习速率，s_t+1表示下一状态。

多传感器数据融合***通过和环境的反复更新交互，得到每一时刻的最优动作，最终将高冲突BPA予以剔除，实现自适应在线数据处理。

步骤四：采用证据理论实现多传感器数据融合

对传感器数据进行冲突消解处理后，采用证据理论中的Dempster组合规则实现对多源数据有效融合，具体为：

其中，

本发明的有益效果在于本发明采用证据理论与强化学习相结合的方法能高效快速实现对多传感器数据融合；本发明采用强化学习对多传感器中的冲突数据、故障数据进行实时在线处理，得到冲突消解后的有效多传感器数据，解决了数据高冲突的问题；本发明采用的D-S证据理论融合方法能很好的融合不确定多源数据，提升融合性能。

附图说明

图1是本发明实现的总体模型图；

图2是汽车故障数据；

图3是多传感器数据融合结果。

具体实施方式

下面结合附图和实例对本发明进一步说明。此处给出一个汽车***故障诊断的实例，实验数据来自[1]。[1]中显示，在汽车***中共有三种类型的故障(此处用F₁，F₂和F₃表示)，分别为低油压，进气***漏气，电磁阀卡死。此外，其通过五种传感器C₁,C₂,C₃,C₄,C₅获取汽车故障数据。本发明中结合该汽车***故障数据说明所提出的方法的实施步骤。

步骤一：多传感器数据输入

将从汽车***获得的多传感器数据表示为：{D₁,D₂,D₃,D₄,D₅}，表明在该***中共有5个传感器。在该汽车***故障数据中，C₅传感器处于失效状态，其余传感器皆正常工作。具体数据如图2中所示。其中，m(F₁)代表故障类型为F₁的信度值，m(F₂)代表故障类型为F₂的信度值，m(F₃)代表故障类型为F₃的信度值，m(Θ)代表故障类型无法确定的信度值，Θ＝{F₁,F₂,F₃}。本发明的目的是根据多传感器数据判断汽车***发生了哪种类型的故障。

步骤二：马尔科夫决策模型构建

对汽车***数据采用强化学习进行自适应冲突消解，首先进行马尔科夫(Markovdecision process，MDP)模型构建。MDP模型包括***状态、动作、奖励函数，具体为：

(1)动作集合A：由于5个传感器的信息量不同，在不同的传感器信息下***应该做出不同的动作选择，使得当存在高冲突信息时，对高冲突信息进行冲突消解，以保证融合结果的准确性有效性，因此动作集合为：A＝{a₁,a₂}＝{保留，删除}。

(2)状态集合S：当融合***采取了某一动作后，***的状态会发生转移，本发明定义当前时刻的融合结果作为***的状态，即：

其中m_t和m_t+1表示当前时刻采取不同动作的融合结果，a_t+1表示当前采取的动作。***状态集合表示为：S＝{s₁,s₂,…,s_t,…}。

(3)奖赏函数R：表示***在运行过程中在某一状态s以及某一动作a下，***给予的奖励值或者惩罚值。本发明中通过某一状态下融合结果的质量好坏设定奖励函数，采用邓熵评价融合结果质量，邓熵是证据间的信度度量方式。***不同状态下的邓熵E(m_t)定义为：

其中，Θ表示辨识框架，A是辨识框架中的子集，对应的t时刻下的BPA为m_t(A)，|A|表示A的势。

邓熵的值越大，BPA包含的信息量越大，表明当前状态下的融合结果较好。当E(m_t+1)≥E(m_t)时，说明新的状态s_t+1是有益的，此时应该给予一个积极的奖赏。反之，说明新的状态s_t+1是消极的，此时应该给予一个惩罚值。因此t+1时刻的奖赏函数定义为：

步骤三：Q-learning算法实现冲突数据消解

实现对多传感器数据融合中冲突消解的目的是找到一个最优策略π：π:S→A，即a＝π(s)，使得***在有冲突数据情况下做出最佳策略选择，实现有效冲突消解。策略的选择由环境和智能体经过反复探索试错，最终在某一策略下得到***立即奖励和未来奖励值加和最大的策略为最优策略。具体为：在t时刻，多传感器数据融合***接收到某一状态s_t和即时奖励R_t，根据奖励值确定当前要执行的动作(保留或者去除当前的证据)，然后智能融合***转移至下一状态s_t+1并产生奖励R_t+1。此过程本发明采用Q-learning算法实现。

Q-learning算法通过最大化累积折扣奖励值获得最佳策略，Q值函数为在某一状态s_t和某一动作a_t下的累积奖赏值，表达式为：

其中，γ表示折扣因子。

采用ε-greedy算法进行最优动作(策略)选择，具体表示为：

其中，π^*(a|s)表示最优策略；ε表示探索概率。

并采用下式进行Q值函数的更新：

其中，α∈(0,1]表示学习速率，s_t+1表示下一状态。

多传感器数据融合***通过和环境的反复更新交互，得到每一时刻的最优动作，最终将高冲突BPA予以剔除，实现自适应在线数据处理。

步骤四：采用D-S证据理论实现多传感器数据融合

对传感器数据进行冲突消解处理后，采用证据理论中的Dempster组合规则实现对多源数据有效融合，具体为：

其中，

最后采用本发明的基于强化学习和D-S证据理论的多传感器数据融合方法，按照图2中数据进行仿真分析，并和传统的Dempster组合规则、Yager组合规则进行仿真对比，融合结果如图3。由图3可以看出，本发明提出的融合方法具有相对较高的融合精度，能实现在多传感器数据下的高效准确智能融合。主要原因是：强化学习消除了多传感器数据中的冲突数据、故障数据，避免此类数据对融合结果造成负面影响。除此之外，该方法的优点是不需要考虑数据到达时间是否一致，可以有效实现数据的在线融合。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

参考文献

[1]Yan X H,Zhu J H,Kuang M C,et al.Missile aerodynamic design usingreinforcement learning and transfer learning.Sci China Inf Sci,2018,61:119204.

Claims (1)

1.一种基于强化学习和D-S证据理论的多传感器数据融合方法，其特征在于，包括下述步骤：

步骤一：多传感器数据输入

将获得的多传感器数据表示为：{D₁,D₂,…,D_i}，其中，D_i代表第i个传感器的数据，且在该***中共有i个传感器。此外，传感器的数据表达形式为基本概率指派函数(BasicProbability Assignment，BPA)；若在测量过程中有新的传感器数据加入时，将其写入数据中，表示为：{D₁,D₂,…,D_i,D_新}；

步骤二：马尔科夫决策模型构建

采用强化学习对多传感器数据进行自适应冲突消解时，首先进行马尔科夫决策(Markov decision process，MDP)模型构建，MDP模型包括***状态、动作、奖励函数，具体为：

(1)动作集合A：将动作集合定义为：A＝{a₁,a₂}＝{保留，删除}，***可以根据实际情况采取保留或者删除的动作；

(2)状态集合S：本发明定义当前时刻的融合结果作为***的状态，即：

其中m_t和m_t+1表示当前时刻采取不同动作的融合结果，a_t+1表示当前采取的动作，***状态集合表示为：S＝{s₁,s₂,…,s_t,s_t+1,…}；

(3)奖赏函数R：本发明通过某一状态下融合结果的质量好坏设定奖励函数，采用邓熵评价融合结果质量，***不同状态下的邓熵E(m_t)定义为：

其中，Θ表示辨识框架，A是辨识框架中的子集，对应的t时刻下的BPA为m_t(A)，|A|表示A的势；

邓熵的值越大，BPA包含的信息量越大，表明当前状态下的融合结果较好；当E(m_t+1)≥E(m_t)时，说明新的状态s_t+1是有益的，此时应该给予一个积极的奖赏；反之，应该给予一个惩罚值；因此t+1时刻的奖赏函数定义为：

步骤三：Q-learning算法实现冲突数据消解

Q-learning算法通过最大化累积折扣奖励值获得最佳策略，Q值函数为在某一状态s_t和某一动作a_t下的累积奖赏值，表达式为：

其中，γ表示折扣因子；

采用ε-greedy算法进行最优动作(策略)选择，具体表示为：

其中，π^*(a|s)表示最优策略；ε表示探索概率；

并采用下式进行Q值函数的更新：

其中，α∈(0,1]表示学习速率，s_t+1表示下一状态；

多传感器数据融合***通过和环境的反复更新交互，得到每一时刻的最优动作，最终将高冲突BPA予以剔除，实现自适应在线数据处理；

步骤四：采用D-S证据理论实现多传感器数据融合

对传感器数据进行冲突消解处理后，采用证据理论中的Dempster组合规则实现对多源数据有效融合，具体为：

其中，

Images