CN115309041A - 一种无人艇集群运行信息智能同步方法及*** - Google Patents
一种无人艇集群运行信息智能同步方法及*** Download PDFInfo
- Publication number
- CN115309041A CN115309041A CN202210628745.7A CN202210628745A CN115309041A CN 115309041 A CN115309041 A CN 115309041A CN 202210628745 A CN202210628745 A CN 202210628745A CN 115309041 A CN115309041 A CN 115309041A
- Authority
- CN
- China
- Prior art keywords
- agent
- function
- unmanned ship
- intelligent
- agents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009471 action Effects 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims description 65
- 230000000875 corresponding effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- AMGNHZVUZWILSB-UHFFFAOYSA-N 1,2-bis(2-chloroethylsulfanyl)ethane Chemical compound ClCCSCCSCCCl AMGNHZVUZWILSB-UHFFFAOYSA-N 0.000 claims description 2
- 239000011541 reaction mixture Substances 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000003795 chemical substances by application Substances 0.000 description 79
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种无人艇集群运行信息智能同步方法及***，所述方法包括：建立无人艇集群的多智能体MDP离散时间模型；根据所述多智能体MDP离散时间模型，确定最优动作策略；按照所述最优动作策略，对多智能体进行一致性控制。最终构建的无人艇集群运行信息智能同步***以实现集群的协同控制为构建目的，实现对无人艇集群的一致性控制，最终实现无人艇集群中无人艇之间的数据资源共享，有利于最大程度发挥无人艇集群执行群体任务的能力和优势。
Description
技术领域
本发明涉及无人艇技术领域，具体涉及一种无人艇集群运行信息智能同步方法及***。
背景技术
随着无人艇应用场景的不断扩大和执行任务的复杂化，单艘无人艇执行任务已经很难满足任务需求，而往往需要无人艇集群出动，协同完成出航任务。这就需要将无人艇控制***推广到多无人艇集群。
目前，无人艇集群控制大多采用预定程序控制或集中式的地面控制，这种场景中无人艇集群的群体优势就无法完全发挥。而构建无人艇集群则是对其控制***的高阶功能需求，是当前大环境和主流研究趋势下，无人艇应当具备的高级特性，即无人艇控制***不仅可以完成单独行动任务，也应当可以随时与其他无人艇个体交互信息，进而构成无人艇任务集群。因此，就要求无人艇控制***能够对集群构建和多艇协作提供技术支撑和理论支持，使得无人艇集群信息共享和协同执行任务成为可能。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种无人艇集群运行信息智能同步方法及***，本发明能够满足在无人艇集群中无人艇之间的数据资源共享，有利于最大程度发挥无人艇集群执行群体任务的能力和优势，同时也可以为无人艇集群体系提供了群体控制和数据共享的技术基础。
为实现以上目的，本发明采用如下技术方案：一种无人艇集群运行信息智能同步方法，包括：
建立无人艇集群的多智能体MDP离散时间模型；
根据所述多智能体MDP离散时间模型，确定最优动作策略；
按照所述最优动作策略，对多智能体进行一致性控制。
可选的，所述根据所述多智能体MDP离散时间模型，确定最优动作策略，包括：
采用结合势博弈理论的CQL算法，以智能体获取联合回报期望的最大值作为目标，自主学习迭代动作价值函数，以得到收敛的Q表，Q表为最优动作策略。
可选的，所述建立无人艇集群的多智能体MDP离散时间模型，包括：
智能体与环境交互，根据从环境中受到的奖罚来学习规则，以概率转移函数表示交互结果，并通过回报函数表示奖惩；
集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，价值函数为：
式(1)中，
为智能体i在离散时间中未来j步的奖励；β为折扣因子；π为智能体的策略，表示基于状态S所选择的动作a；n为集群中智能体个体总数；
如果一组智能体采用联合策略π1,π2,π3...πn，那么动作价值函数Q函数的迭代公式定义为：
式(2)中，s′为后一时刻状态；a′为后一时刻状态下智能体所选择的动作。
可选的，集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，迭代寻找满足多智能体的Q值收敛的期望均衡点。
可选的，当为多智能体的Q值收敛的期望均衡点时，对应的该组策略是最佳策略，对于智能体i在任意状态s下获得的收敛的Q值表示为：
将满足对于其他智能体的Q值同样收敛的条件
可选的，所述迭代寻找满足多智能体的Q值收敛的期望均衡点，包括：
在CQL算法中应用势博弈理论的方法，将每个智能体不同策略下Q值的改变视为个体效用函数，并将它们映射到一个全局势函数上，使个体效用函数与全局势函数的单调性一致；
当势函数取得最大值时，所有智能体都达到了各自效用的最大值，得到满足多智能体的Q值收敛的期望均衡点。
可选的，所述迭代寻找满足多智能体的Q值收敛的期望均衡点，具体包括：
在拥有n个智能体集合p的一致问题中，每个智能体pi∈p同样拥有状态集Si及对应的动作集Ai，那么其一致性个体效用函数Ui(S,A)通过学习过程中的Q函数定义为：
对应的全局一致性势函数表示为：
若智能体pi在同一状态下选择动作
而不是动作
其目标函数的变化满足了势博弈的单调性要求；
Q值的迭代公式中策略π对应的智能体i的动作，需要满足个体效用函数Ui(S,A)与全局势函数φ(S,A)最大的条件，该条件为：
在每次Q值迭代过程中，智能体i只须获取其他智能体的Q表，根据自己的状态St计算个体效用函数值，并选择对应最大值的动作at作为输出执行，进入下一次迭代，这样最终获得的Q值收敛值能够使所有智能体Q值的和最大。
可选的，每个无人艇视为智能个体节点在本地维护一张存储Q值信息与群体信息的电子信息表，所述电子信息表中记录有本地任务定义的各信息元素项；
每个智能个体节点不需要获取全局信息，并且每个信息元素项强度也随着时间逐渐减弱；
当智能个体节点本地传感器感知到某信息元素项的触发状态时，或者一跳范围内的邻居节点发出某信息元素项信号时，该智能个体节点本地会强化该信息元素项的强度，并且按照该信息元素项调节本地节点行为。
本发明还提供了一种无人艇集群运行信息智能同步***，包括：
模型建立模块，用于建立无人艇集群的多智能体MDP离散时间模型；
确定模块，用于根据所述多智能体MDP离散时间模型，确定最优动作策略；
控制模块，用于按照所述最优动作策略，对多智能体进行一致性控制。
此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前面任一项所述的无人艇集群运行信息智能同步方法。
本发明采用以上技术方案，按照联合行为策略中不同的类型，如无人艇的航速、航向等，划分相应的智能体区块进行分布式控制。最终构建的无人艇集群运行信息智能同步***以实现集群的协同控制为构建目的，实现对无人艇集群的一致性控制。所述一致性的内涵是无人艇控制***中所有的智能体可以通过某些控制规则智能地相互传递以达到信息同步共享，随着时间的推移，智能体的各种状态值可以逐渐变得一致，最终实现无人艇集群中无人艇之间的数据资源共享，该发明有利于最大程度发挥无人艇集群执行群体任务的能力和优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种无人艇集群运行信息智能同步方法一个实施例提供的流程示意图；
图2是无人艇的运动学模型；
图3是多智能体MDP离散时间模型的示意图；
图4是CQL算法的处理流程示意图；
图5是本发明一种无人艇集群运行信息智能同步***一个实施例提供的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
图1是本发明一种无人艇集群运行信息智能同步方法一个实施例提供的流程示意图。
如图1所示，本实施例所述的方法包括：
S11：建立无人艇集群的多智能体MDP离散时间模型；
S12：根据所述多智能体MDP离散时间模型，确定最优动作策略；
S13：按照所述最优动作策略，对多智能体进行一致性控制。
本发明实施例采用强化学习的方法对无人艇的控制器进行设计与优化。建立基于无人艇集群的马尔可夫决策过程(Markov Decision Process，MDP)控制框架，提出一种结合势博弈理论的一致性Q学习(consensus Q-learning，CQL)算法，以智能体获取联合回报期望的最大值作为目标，自主学习迭代其动作价值函数。最终得到收敛的Q表，即最优动作策略，并以Q函数制定控制器中的一致性控制规则。
集群一致性问题的离散时间数学表达为：
式中，n为集群中个体总数；i为个体编号；-i为任何除个体i以外的任意其他个体；Si(t)为个体i在时间t的状态；tx为达成一致性的时间点。
如图2所示，将对象设定为3艘同构无人艇组成的集群。x,y,θ,V分别为无人艇的位置、航向、航速；u,v,ω分别为无人艇在随动坐标系下的速度分量及角速度；ui,vi,ωi()(i＝0,1,2)分别为无人艇在惯性坐标系下的速度分量及角速度；δ为实际容许误差范围，即控制精度，运动学公式为：
基于集群一致性问题的离散时间数学表达式和运动学公式，实际一致控制目标表示为：
式(9)中，δv,δθ,δx,δy分别为航速、航向、x位置、y位置的实际容许误差范围，即控制精度。无人艇在海洋环境中工作，考虑风浪流对无人艇控制器的影响，采用经验方程模拟船舶在航行中的扰动，施加一个正态分布的随机扰动作用在角速度以及航速上，即：
Δω＝4.5H1+3.5H2 式(10)
式(10)中，H1和H2为服从正态分布N[0，1]的两个独立的随机变量。对于上述问题，传统的一致性控制算法并不适用，难以自主适应复杂的环境噪声扰动。当算法设计为自适应时，对控制对象进行建模设计又将面临非线性问题。基于以上原因，设计了适用于无人艇集群的多智能体MDP同步框架来解决无人艇集群一致性同步问题。
多智能体MDP离散时间模型如图3所示，S为智能体感知的状态；A为智能体动作；T(s,a)为概率转移函数，根据当前状态和动作并通过一定概率转移到下一状态；R(s,a)为回报函数。
在图3所示的MDP框架中，智能体与环境交互，根据从环境中受到的奖罚来学习规则，以概率转移函数表示交互结果，并通过回报函数表示奖惩。集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，价值函数为：
式(1)中，
为智能体i在离散时间中未来j步的奖励；β为折扣因子；π为智能体的策略，即基于状态S所选择的动作a。如果一组智能体采用联合策略π1,π2,π3...πn，那么Q函数的迭代公式可定义为：
式(2)中，s′为后一时刻状态；a′为后一时刻状态下智能体所选择的动作。若该组策略是最佳策略，则对于智能体i在任意状态s下获得的收敛的Q值，即
将满足对于其他智能体的Q值同样收敛的条件
这样就达到多智能体的期望均衡点，下面详细说明找到这个均衡的Q值的迭代算法。
在多智能体强化学习过程中，Q值的收敛目标将不是满足单个智能体Q值最大，而是所有智能体Q值的和最大的条件。博弈理论中，可以将这个过程看作为合作博弈，智能体须寻求到在整体目标效能下的均衡点。
在CQL算法中应用势博弈理论的方法，将每个智能体不同策略下Q值的改变视为个体效用函数，并将它们映射到一个全局势函数上，使个体效用函数与全局势函数的单调性一致，那么当势函数取得最大值时，就相当于所有智能体都达到了其效用的最大值，也就是均衡。
在拥有n个智能体集合p的一致问题中，每个智能体pi∈p同样拥有状态集Si及对应的动作集Ai，那么其一致性个体效用函数Ui(S,A)可以通过学习过程中的Q函数定义为：
对应的全局一致性势函数可表示为：
若智能体pi在同一状态下选择动作
而不是
动作其目标函数的变化满足了势博弈的单调性要求。
CQL算法的具体流程如图4所示，图4中，Q值的迭代公式中策略π对应的智能体i的动作，须要满足个体效用函数Ui(S,A)与全局势函数φ(S,A)最大的条件，即：
在每次Q值迭代过程中，智能体i只须从知识池获取其他智能体的Q表，根据自己的状态St计算个体效用函数值，并选择对应最大值的动作at作为输出执行，进入下一次迭代。这样获得的Q值收敛值即可使所有智能体Q值的和最大。
基于以上信息智能同步框架中协同一致性的Q值计算结果，在无人艇智能个体间实现了彼此的感知交互，进一步，利用智能个体间同步信息的交互策略实现无人艇之间的信息传递，通过简单的逻辑处理从而形成协同作战能力。在指控节点少量简洁的控制指令下，完成多样性的复杂任务。
本发明实施例中，每个无人艇视为智能个体节点在本地维护一张存储Q值信息与群体信息的电子信息表，表中记录有本地任务定义的各信息元素项。节点不需要获取全局信息，并且每个信息元素项强度也随着时间逐渐减弱。但当本地传感器感知到某信息元素项的触发状态时，或者一跳范围内的邻居节点发出某信息元素项信号时，本地节点会强化该信息元素项的强度，并且按照该信息元素项调节本地节点行为。
每个节点存储的电子信息的强度变化可用如下公式表达：
S(t+1,p)＝E*S(t,p)+q(t,p) 式(11)
式(11)中，p＝{pi}表示网络中所有节点的集合；s(t,p)表示信息元素强度；r(t,p)表示额外的信息元素强度输入，由新加入节点产生；q(t,p)表示在t时刻传播到节点p的信息元素强度；E∈(0,1)为信息元素减弱参数；F∈[0,1)为信息元素传播参数；式(11)描述了在节点p处信息元素强度的变化，第1项为随时间弱化的强度，第2项为新的输入带来的信息元素加强的强度，第3项为邻居节点发送的信息元素带来的强度。1跳范围内互为邻居的节点，电子信息的传播可用式(12)表示：
式(12)中，N:p→p表示节点间的邻居关系。描述了网络中以节点p为邻居节点的节点，将无人艇个体本地总电子信息强度按照一定比例发送至p，比例取决于发送参数F以及邻居节点数量。
本发明实施例中，网络中的每个节点按照电子信息的强度定义简单行为。如当无人艇集群担负作战任务时，集群活动的路径规划按照路径发现过程中各节点标记位置的电子信息强度运动，躲避敌方雷达区域的同时依据梯度向电子信息强度最高的位置汇聚；抵近打击则按照各节点标记的电子信息强度选择武器，并在强度最高的位置开展攻击。
本发明实施例的工作流程是：借助多智能体***设计其控制架构，按照联合行为策略中不同的类型，如无人艇的航速、航向等，划分相应的智能体区块进行分布式控制。最终构建的无人艇集群信息智能同步架构以实现集群的协同控制为构建目的，主要围绕实现无人艇集群的一致性控制进行架构研究。所述一致性的内涵是无人艇控制***中所有的智能体可以通过某些控制规则智能地相互传递以达到信息同步共享，随着时间的推移，智能体的各种状态值可以逐渐变得一致。
本发明实施例所述的无人艇集群运行信息智能同步方法能够满足以下信息智能同步要求：
(1)无中心
为保证无人艇集群的抗毁顽存能力，集群网络必须无中心，信息处理和决策要进行分布式协同。
(2)自主性
每架无人艇需要在本地进行决策，不依赖某一指挥控制节点发送详细的指令。因为指控指令的收发存在不可忽视的时延，在无人艇执行任务过程中，环境及态势快速变化，任何时延都会降低无人平台的反应能力，从而降低***效能。
(3)高动态
未来战场的无人艇需要对战场空间的环境变化做出快速响应。传统的以预规划的方式进行任务分发和资源管理的方法不能满足战场环境下高动态的需求，需要无人艇能够在仅获取局部信息的情况下对环境变化做出决策。
图5是本发明一种无人艇集群运行信息智能同步***一个实施例提供的结构示意图。
如图5所示，本发明实施例提供的一种无人艇集群运行信息智能同步***，包括：
模型建立模块51，用于建立无人艇集群的多智能体MDP离散时间模型；
确定模块52，用于根据所述多智能体MDP离散时间模型，确定最优动作策略；
控制模块53，用于按照所述最优动作策略，对多智能体进行一致性控制。
本实施例所述的无人艇集群运行信息智能同步***的工作原理与上文所述的无人艇集群运行信息智能同步方法的工作原理相同，在此不再赘述。
本发明实施例最终构建的无人艇集群运行信息智能同步***以实现集群的协同控制为构建目的，实现对无人艇集群的一致性控制，最终实现无人艇集群中无人艇之间的数据资源共享，有利于最大程度发挥无人艇集群执行群体任务的能力和优势。
此外，本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前面任一项所述的无人艇集群运行信息智能同步方法。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种无人艇集群运行信息智能同步方法，其特征在于，包括：
建立无人艇集群的多智能体MDP离散时间模型；
根据所述多智能体MDP离散时间模型，确定最优动作策略；
按照所述最优动作策略，对多智能体进行一致性控制。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多智能体MDP离散时间模型，确定最优动作策略，包括：
采用结合势博弈理论的CQL算法，以智能体获取联合回报期望的最大值作为目标，自主学习迭代动作价值函数，以得到收敛的Q表，Q表为最优动作策略。
3.根据权利要求2所述的方法，其特征在于，所述建立无人艇集群的多智能体MDP离散时间模型，包括：
智能体与环境交互，根据从环境中受到的奖罚来学习规则，以概率转移函数表示交互结果，并通过回报函数表示奖惩；
集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，价值函数为：
式(1)中，
为智能体i在离散时间中未来j步的奖励；β为折扣因子；π为智能体的策略，表示基于状态S所选择的动作a；n为集群中智能体个体总数；
如果一组智能体采用联合策略π1,π2,π3...πn，那么动作价值函数Q函数的迭代公式定义为：
式(2)中，s′为后一时刻状态；a′为后一时刻状态下智能体所选择的动作。
4.根据权利要求3所述的方法，其特征在于，
集群中的智能体组通过尝试各种动作来最大化所有智能体的回报函数的期望值之和，迭代寻找满足多智能体的Q值收敛的期望均衡点。
5.根据权利要求4所述的方法，其特征在于，
当为多智能体的Q值收敛的期望均衡点时，对应的该组策略是最佳策略，对于智能体i在任意状态s下获得的收敛的Q值表示为：
将满足对于其他智能体的Q值同样收敛的条件
6.根据权利要求5所述的方法，其特征在于，所述迭代寻找满足多智能体的Q值收敛的期望均衡点，包括：
在CQL算法中应用势博弈理论的方法，将每个智能体不同策略下Q值的改变视为个体效用函数，并将它们映射到一个全局势函数上，使个体效用函数与全局势函数的单调性一致；
当势函数取得最大值时，所有智能体都达到了各自效用的最大值，得到满足多智能体的Q值收敛的期望均衡点。
7.根据权利要求6所述的方法，其特征在于，所述迭代寻找满足多智能体的Q值收敛的期望均衡点，具体包括：
在拥有n个智能体集合p的一致问题中，每个智能体pi∈p同样拥有状态集Si及对应的动作集Ai，那么其一致性个体效用函数Ui(S,A)通过学习过程中的Q函数定义为：
对应的全局一致性势函数表示为：
若智能体pi在同一状态下选择动作
而不是动作
其目标函数的变化满足了势博弈的单调性要求；
Q值的迭代公式中策略π对应的智能体i的动作，需要满足个体效用函数Ui(S,A)与全局势函数φ(S,A)最大的条件，该条件为：
在每次Q值迭代过程中，智能体i只须获取其他智能体的Q表，根据自己的状态St计算个体效用函数值，并选择对应最大值的动作at作为输出执行，进入下一次迭代，这样最终获得的Q值收敛值能够使所有智能体Q值的和最大。
8.根据权利要求1至7任一项所述的方法，其特征在于，
每个无人艇视为智能个体节点在本地维护一张存储Q值信息与群体信息的电子信息表，所述电子信息表中记录有本地任务定义的各信息元素项；
每个智能个体节点不需要获取全局信息，并且每个信息元素项强度也随着时间逐渐减弱；
当智能个体节点本地传感器感知到某信息元素项的触发状态时，或者一跳范围内的邻居节点发出某信息元素项信号时，该智能个体节点本地会强化该信息元素项的强度，并且按照该信息元素项调节本地节点行为。
9.一种无人艇集群运行信息智能同步***，其特征在于，包括：
模型建立模块，用于建立无人艇集群的多智能体MDP离散时间模型；
确定模块，用于根据所述多智能体MDP离散时间模型，确定最优动作策略；
控制模块，用于按照所述最优动作策略，对多智能体进行一致性控制。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的无人艇集群运行信息智能同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210628745.7A CN115309041A (zh) | 2022-06-06 | 2022-06-06 | 一种无人艇集群运行信息智能同步方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210628745.7A CN115309041A (zh) | 2022-06-06 | 2022-06-06 | 一种无人艇集群运行信息智能同步方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115309041A true CN115309041A (zh) | 2022-11-08 |
Family
ID=83855819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210628745.7A Pending CN115309041A (zh) | 2022-06-06 | 2022-06-06 | 一种无人艇集群运行信息智能同步方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115309041A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020024172A1 (zh) * | 2018-08-01 | 2020-02-06 | 东莞理工学院 | 多状态连续动作空间的合作式方法及*** |
| US20200160168A1 (en) * | 2018-11-16 | 2020-05-21 | Honda Motor Co., Ltd. | Cooperative multi-goal, multi-agent, multi-stage reinforcement learning |
| CN112180730A (zh) * | 2020-10-10 | 2021-01-05 | 中国科学技术大学 | 一种多智能体***分层最优一致性控制方法和装置 |
| CN113900445A (zh) * | 2021-10-13 | 2022-01-07 | 厦门渊亭信息科技有限公司 | 基于多智能体强化学习的无人机协同控制训练方法及*** |
| CN113893539A (zh) * | 2021-12-09 | 2022-01-07 | 中国电子科技集团公司第十五研究所 | 智能体的协同对战方法及装置 |
| CN114460959A (zh) * | 2021-12-15 | 2022-05-10 | 北京机电工程研究所 | 一种基于多体博弈的无人机群协同自主决策方法及装置 |
-
2022
- 2022-06-06 CN CN202210628745.7A patent/CN115309041A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020024172A1 (zh) * | 2018-08-01 | 2020-02-06 | 东莞理工学院 | 多状态连续动作空间的合作式方法及*** |
| US20200160168A1 (en) * | 2018-11-16 | 2020-05-21 | Honda Motor Co., Ltd. | Cooperative multi-goal, multi-agent, multi-stage reinforcement learning |
| CN112180730A (zh) * | 2020-10-10 | 2021-01-05 | 中国科学技术大学 | 一种多智能体***分层最优一致性控制方法和装置 |
| CN113900445A (zh) * | 2021-10-13 | 2022-01-07 | 厦门渊亭信息科技有限公司 | 基于多智能体强化学习的无人机协同控制训练方法及*** |
| CN113893539A (zh) * | 2021-12-09 | 2022-01-07 | 中国电子科技集团公司第十五研究所 | 智能体的协同对战方法及装置 |
| CN114460959A (zh) * | 2021-12-15 | 2022-05-10 | 北京机电工程研究所 | 一种基于多体博弈的无人机群协同自主决策方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| 张捍东;暴伟;王丽华;: "基于博弈强化学习的多智能体协作行为寻优", 自动化与仪表, no. 01, 15 January 2009 (2009-01-15) * |
| 曹诗杰 等: "基于改进强化学习的无人艇集群一致性控制", 华中科技大学学报(自然科学版), vol. 47, no. 9, 31 December 2019 (2019-12-31), pages 42 - 46 * |
| 解易;顾益军;: "基于Stackelberg策略的多Agent强化学习警力巡逻路径规划", 北京理工大学学报, no. 01, 15 January 2017 (2017-01-15) * |
| 迟凯: "舰载小型无人机集群协同作战的智能控制策略研究", 舰船电子对抗, vol. 3, no. 41, 31 December 2018 (2018-12-31), pages 20 - 23 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Distributed energy-efficient multi-UAV navigation for long-term communication coverage by deep reinforcement learning | |
| Li et al. | Trajectory planning for UAV based on improved ACO algorithm | |
| Chen et al. | An efficient multi-objective ant colony optimization for task allocation of heterogeneous unmanned aerial vehicles | |
| CN112947594A (zh) | 一种面向无人机的航迹规划方法 | |
| CN114281104A (zh) | 一种基于改进蚁群算法的多无人机协同调控方法 | |
| CN112947575A (zh) | 基于深度强化学习的无人机集群多目标搜索方法及*** | |
| CN112801539A (zh) | 无人机集群任务的柔变网络架构动态调度模型 | |
| CN114518772B (zh) | 一种拒止环境下无人机蜂群自组织方法 | |
| Xie et al. | Mathematical problems in engineering improved CNP‐Method‐Based local real‐time cooperative task allocation of heterogeneous multi‐UAV in communication‐constrained environment | |
| Jiang et al. | A deep reinforcement learning strategy for UAV autonomous landing on a platform | |
| CN115309041A (zh) | 一种无人艇集群运行信息智能同步方法及*** | |
| Zu et al. | Research on UAV path planning method based on improved HPO algorithm in multi-task environment | |
| Ma et al. | Collaborative task allocation of heterogeneous multi-UAV based on improved CBGA algorithm | |
| CN116820129A (zh) | 一种基于自主协同机制的无人机集群编队方法及*** | |
| Lu et al. | Agent-based self-organized constructive heuristics for travelling salesman problem | |
| Yan et al. | Collaborative path planning based on MAXQ hierarchical reinforcement learning for manned/unmanned aerial vehicles | |
| Huo et al. | Task allocation with minimum requirements for multiple mobile robot systems: A game-theoretical approach | |
| CN116449864A (zh) | 一种无人机集群的最优路径选择方法 | |
| CN110662272A (zh) | 一种基于蜂群无人机的最少数量领航者选取方法 | |
| CN115617039A (zh) | 一种基于事件触发的分布式仿射无人艇编队控制器构建方法和无人艇编队控制方法 | |
| Li et al. | Connectivity-preserving flocking of multiagent systems via selecting critical neighbors | |
| Zhu et al. | Consensus analysis of UAV swarm cooperative situation awareness | |
| Saadaoui et al. | Communication and energy optimization of local PSO-assisted multi-UAVs for moving targets exploration | |
| Xiang et al. | A distributed decision method for missiles autonomous formation based on potential game | |
| Zhong et al. | Research on command and control of MAV/UAV engagement from the cooperative perspective |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |