CN110427006A - 一种用于流程工业的多智能体协同控制***及方法 - Google Patents
一种用于流程工业的多智能体协同控制***及方法 Download PDFInfo
- Publication number
- CN110427006A CN110427006A CN201910779718.8A CN201910779718A CN110427006A CN 110427006 A CN110427006 A CN 110427006A CN 201910779718 A CN201910779718 A CN 201910779718A CN 110427006 A CN110427006 A CN 110427006A
- Authority
- CN
- China
- Prior art keywords
- intelligent body
- current
- observation
- state value
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000008569 process Effects 0.000 title claims abstract description 33
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000004519 manufacturing process Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 108010074506 Transfer Factor Proteins 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims description 2
- 210000004205 output neuron Anatomy 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 description 8
- 210000004218 nerve net Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000009776 industrial production Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004540 process dynamic Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提出了一种用于流程工业的多智能体协同控制***及方法,设置进行特征提取的状态值到观测值的神经网络模型,更好的提取数据的重要特征,从而可以适应海量数据,甚至是高维数据的处理。然后采用极大极小深度确定性策略梯度算法进行学习,极大极小深度确定性策略梯度算法中的actor和critic网络从新的神经网络中学习,而不是从最初的观察中学习。这种利用神经网络进行状态表示学习的方法,使网络本身能够很好地捕捉特征,对数据的适应性更强。
Description
技术领域
本公开涉及智能控制相关技术领域,具体的说,是涉及一种用于流程工业的多智能体协同控制***及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,并不必然构成在先技术。
流程工业涉及包括化学、炼油、冶金和制药等多行业,它在中国的工业生产中发挥着重要作用。作为国家主导产业,它在国民经济发展中起着举足轻重的作用。然而,流程工业的高复杂性,强非线性,强相关性,不确定性等特点使得理论研究和实际应用中的优化问题都难以实现。为了实现全球化生产,管理和营销模式的转变,实现流程行业的高端制造是关键。优化生产过程作为工业企业综合自动化的关键部分,也是公司挖掘潜力和提高效率的核心。
现代工业生产越来越朝着智能化方向发展。现代工业越来越依靠数据,同时工业生产中的数据量也开始进入PB级别,这使得工业数据与以往的生产数据对比发生了质的改变。近年来,对多智能体(Agent)人工智能的研究表明,多智能体(Agent)人工智能中的多智能体***理论为智能制造***的实现提供了可行的技术支持。它也成为制造领域的研究热点之一。智能体(Agent),泛指一类具有一定智能的抽象或者具象的对象或实体,其具备一定程度的感知环境、感知其他智能体、以及和环境或者其他智能体进行交互的能力。
在工业应用场景下往往都是合作交互的环境,甚至是竞争和合作的混合环境,而传统的多Agent强化学习模型无法适应这种复杂环境,从而降低了工业生产效率。智能制造强调全流程动态优化,需要进行多目标多环节多维度的多Agent协同,简单的协同控制很难达到要求。而流程工业的智能制造流程一般都存在多个相互耦合关联的过程,其整体运行的全局最优是一个混合、多目标、多尺度的动态冲突优化命题,但现有的协同方法很难在一个可接受时间范围内得到合理的答案。流程工业需要结合工艺知识在制造全流程进行实时动态优化,传统的多目标优化手段很难满足,而工艺知识严重依赖一些领域专家,远远没有实现全流程整体运行优化。并且,发明人发现,传统的强化学习方法,比如Q-Learning或者policy gradient都不适用于多智能体环境。因为,在训练过程中,每个智能体都在变化,而且每个智能体的角度来看,环境都会变得不稳定。这给训练稳定性带来了挑战,并且阻碍了直接利用先前的经验。
发明内容
本公开为了解决上述问题,提出了一种用于流程工业的多智能体协同控制***及方法,设置进行特征提取的状态值到观测值的神经网络模型,可以更好的提取数据的重要特征,从而可以适应海量数据,甚至是高维数据(如图像)的处理。然后采用极大极小深度确定性策略梯度算法进行学习,极大极小深度确定性策略梯度算法中的actor和critic网络从新的神经网络中学习,而不是从最初的观察中学习。这种利用神经网络进行状态表示学习的方法,使网络本身能够很好地捕捉特征,对数据的适应性更强。
为了实现上述目的,本公开采用如下技术方案:
一个或多个实施例提供了一种用于流程工业的多智能体协同控制***,包括***智能体和各个生产阶段的智能体,每个生产阶段设置多个可相互通信并相互协作的智能体,所述***智能体和各个生产阶段的智能体采用分层设置,***智能体设置在上层用于对各个生产阶段的智能体统一调度和任务分配;各个生产阶段的智能体设置在下层。
一个或多个实施例提供了一种用于流程工业的多智能体协同控制方法,包括以下步骤:
步骤1、根据经验池的真实状态值s和真实观测值o建立状态值到观测值的神经网络模型;基于极大极小深度确定性策略梯度算法,建立输出初始策略的actor网络和评判反馈的critic网络;
步骤2、采集当前智能体i的当前状态值st,将当前状态值st输入至训练好的神经网络模型,获取当前状态值st对应的预测当前智能体的观测值
步骤3、将当前智能体的当前状态值st和预测当前智能体的观测值输入actor网络,经过actor网络的若干中间层得到当前智能体的动作矩阵
步骤4、将动作矩阵当前智能体的当前状态值st和预测当前智能体的观测值输入critic网络,根据所有智能体的状态值和观测值,评估并选择一个最优当前完成动作后得到下一个状态值st+1和奖励r,将状态值st和st+1、奖励值r、动作值储存到经验池D中。
步骤5、更新actor网络和critic网络,将下一智能体设定为当前智能体,执行步骤2。
一种用于流程工业的多智能体协同控制***,包括如下模块:
模型网络建立模块:用于根据经验池的真实状态值s和真实观测值o建立状态值到观测值的神经网络模型;基于极大极小深度确定性策略梯度算法,建立输出初始策略的actor网络和评判反馈的critic网络;
观测值预测模块:用于采集当前智能体i的当前状态值st,将当前状态值st输入至训练好的神经网络模型,获取当前状态值st对应的预测当前智能体的观测值
初始策略输出模块:用于将当前智能体的当前状态值st和预测当前智能体的观测值输入actor网络,经过actor网络的若干中间层得到当前智能体的动作矩阵
评判反馈模块:用于将动作矩阵当前智能体的当前状态值st和预测当前智能体的观测值输入critic网络,根据所有智能体的状态值和观测值,评估并选择一个最优当前完成动作后得到下一个状态值st+1和奖励r,将状态值st和st+1、奖励值r、动作值储存到经验池D中。
一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成上述方法所述的步骤。
一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成上述方法所述的步骤。
与现有技术相比,本公开的有益效果为:
现实工业生产过程中,Agent的观测能力有限,主流的方法是Agent通过摄像头来获取观测值,而这种方法产生了大量的高维数据,高维数据的分析处理会影响工业生产效率。本公开可以通过状态值和观测值的映射获取预测的观测值,减少了高维数据采集处理的步骤,能够实现实时动态优化。并且采用M3DDPG算法是最新的多智能体强化学习算法,他比传统的强化学习算法有明显的优势,可以让Agent抵抗复杂多变的环境,并在最差情况下也可以让Agent表现良好。
本公开采用的状态值到观测值的神经网络模型提取重要特征,并不会影响M3DDPG算法的功能和结构,具有很强的鲁棒性。在仿真实验中,本公开改进后的SRL_M3DDPG算法比M3DDPG算法表现的更好。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的限定。
图1是本公开实施例1的多智能体协同控制***的框图;
图2是本公开实施例1的多智能体协同控制***中的多智能体协同工作示意图;
图3是本公开实施例1的方法流程图;
图4是本公开实施例1的方法数据传输示意图;
图5是采用本公开实施例1方法的效果图。
具体实施方式:
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是,在不冲突的情况下,本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
实施例1
在一个或多个实施方式中公开的技术方案中,如图1所示,一种用于流程工业的多智能体协同控制***,包括***智能体(SystemAgent)和各个生产阶段的智能体,每个生产阶段设置多个可相互通信并相互协作的智能体,所述***智能体和各个生产阶段的智能体采用分层设置,***智能体设置在上层用于对各个生产阶段的智能体统一调度和任务分配;各个生产阶段的智能体设置在下层。
智能体(Agent)如可以为无人生产车间的机器人,本实施例提出的多智能体协同控制***是一种面向全过程的智能协同控制***,如图1和2所示,由***Agent和各个生产阶段的Agent组成。各个生产阶段可以按照生产流程进行分配,例如,对于制造业,某生产过程可能包括焊接、烤漆和装配,可以对应单独的车间设置焊接车间、烤漆车间和装配车间,每个车间可以单独设置相互配合协作的多个Agent,多个Agent之间可相互通信,相互合作完成任务,图2中三个Agent共同协作完成任务。图2中每个圆代表一个智能体,箭头表示智能体的运动方向,交叉符号表示智能体的目标位置。
本实施例还提供一种用于流程工业的多智能体协同控制方法,包括如下步骤:
步骤1、根据经验池的真实状态值s和真实观测值o建立状态值到观测值的神经网络模型;基于极大极小深度确定性策略梯度算法,建立输出初始策略的actor网络和评判反馈的critic网络;
步骤2、采集当前智能体i的当前状态值st,将当前状态值st输入至训练好的神经网络模型,获取当前状态值st对应的预测当前智能体的观测值
步骤3、将当前智能体的当前状态值st和预测当前智能体的观测值输入actor网络,经过actor网络的若干中间层得到当前智能体的动作矩阵
步骤4、将动作矩阵当前智能体的当前状态值st和预测当前智能体的观测值输入critic网络,根据所有智能体的状态值和观测值,评估并选择一个最优当前完成动作后得到下一个状态值st+1和奖励r,将状态值st和st+1、奖励值r、动作值储存到经验池D中。
步骤5、更新actor网络和critic网络,将下一智能体设定为当前智能体,执行步骤2。
本实施例采用极大极小深度确定性策略梯度(Minimax Deep DeterministicPolicy Gradient,简称为M3DDPG)算法,解决强化学习训练的Agent往往对训练环境脆弱而敏感,特别是在多代理场景中的问题。并且M3DDPG是经典MADDPG算法的极大极小扩展,提高了Agent的鲁棒性。能够在训练中,强迫每一个Agent表现良好,即使它的训练对手做出最坏的反应。本实施例首先通过反向传播的预测误差来学习观测到状态的映射建立神经网络,设置进行特征提取的状态值到观测值的神经网络模型,可以更好的提取数据的重要特征,从而可以适应海量数据,甚至是高维数据(如图像)的处理。然后M3DDPG中的actor和critic网络从新的神经网络中学习,而不是从最初的观察中学习。这种利用神经网络进行状态表示学习的方法,使网络本身能够很好地捕捉特征,对数据的适应性更强。
上述步骤所述步骤1中的经验池中存储了各智能体的真实状态值st和st+1、奖励值r、动作值及观测值o。本实施例中的状态值到观测值的神经网络模型、输出初始策略的actor网络和评判反馈的critic网络可以均为深度神经网络(DNNs)。
状态值可以包括智能体自身的速度、位置和维度等,观测值是当前智能体采集的目标或智能体的状态,包括其他目标智能体的速度、位置和维度。本实施例采用神经网络进行观测值的预测大大减小了数据量,例如真实观测值是采集的图像,通过神经网络模型根据智能体本身的状态值如摄像头的方向、距离拍摄物体的位置关系等,可以预测可能拍摄到的图像里的内容,提取少量的特征,作为后续处理步骤的处理数据,可以提高后续步骤的处理速度。
步骤1中的状态值到观测值的神经网络模型为基于先验的SRL模型的深度神经网络(DNNs),输入神经元的数目等于状态矩阵的列数,输出神经元的个数等于观察矩阵的列数,隐层又可以设置多个神经元,本实施例设置了20个神经元。
本实施例将交叉熵作为损失函数,是利用adadelta优化器训练的损失函数,其中学习效率aSRL=0.01,交叉熵的损失函数是:
其中,yk是智能体真实观测值,xk是通过模型预测出来的观测值。
通过根据经验池的真实状态值s和真实观测值o建立状态值到观测值的神经网络模型的方法,具体通过反向传播方法的预测误差来学习观测值到状态值的映射,可以具体包括如下步骤:
(11)采集经验池的真实状态值s和真实观测值o数据建立训练集;
(12)将训练集数据输入到DNNs的输入层,经过隐藏层,最后达到输出层并输出结果,这是DNNs的前向传播过程;
(13)由于DNNs的输出结果与实际结果有误差,则计算估计值与实际值之间的误差,并将误差反向传播,直至传播到输入层;
(14)在反向传播的过程中,根据误差调整各种参数的值;迭代过程中,误差会收敛,迭代设定的次数后停止;迭代次数可以自行设定,如可以设定为30000次。
步骤3中将当前智能体的当前状态值st和预测当前智能体的观测值输入actor网络,经过actor网络的若干中间层得到当前智能体的动作矩阵
所述步骤4在critic网络中根据所有智能体的状态值和观测值,评估并选择一个最优
采用极大极小深度确定性策略梯度算法,为了学习稳健策略,可以考虑最坏情况时更新策略,在假设所有其他智能体i行为都相反的情况下,优化每个智能体i的累积奖励。这就产生了极大学习目标其中:
其中,是计算数学期望,是Q函数,s0是起始状态,是第i个智能体(Agent)的起始动作,i=1……N,μ是当前策略,μ=[μ1,...,μN],是第i个智能体初始观测值,θi是第i个智能体的当前策略参数。
所述步骤5中更新actor网络的方法可以具体为利用采样的策略梯度更新,优化公式为:
其中,xk为在k步下智能体状态信息,求ai的梯度,ai是第i个智能体的非起始动作,求θi的梯度,θi是第i个智能体的当前策略参数,是第i个智能体第k步时的观测值,μi是第i个智能体的当前策略,是当前策略为μi的Q函数,是第N个智能体的非起始动作。
步骤5中更新critic网络可以具体为通过最小化损失来更新,损失函数为:
其中,s是样本数量,xk为在k步智能体的状态信息,yk是智能体真实观测值,是第N个智能体第k步执行的动作;ri k第i个智能体第k步的奖励,γ是学习效率,偏移值,当前策略为μ'时的Q函数,x′k当前策略为μ'时第k步智能体的状态信息,a′N当前策略为μ'时第N个智能体的动作,i表示第i个智能体,j表示第j个智能体。
更新每个智能体i的目标网络参数:
θ'i←τθi+(1-τ)θ'i
其中,θi是第i个智能体的当前策略参数,θ′i是更新后的第i个智能体的策略参数。
如图3所示,在步骤1中,我们得到了真实的状态st和实际观察值ot并且在第一个DNNs之后获得预测值在其余DNNs(critic网络和actor网络)中,actor网络根据获得的两个参数和st和M3DDPG的策略选择一个动作矩阵at,critic网络根据状态信息和其他信息(例如其他Agent的动作信息)来评估矩阵at,并且选择一个最优的动作a* t。当智能体完成动作a* t就会获得奖励rt,并且到达下一状态st+1,如图4所示。
为了说明本实施例方法的效果,比较了采用本实施例设置特征提取的状态值到观测值的神经网络模型的方法简称为SRL_M3DDPG算法和只采用M3DDPG算法训练的智能体在多智能体***中的性能。
最终结果如图5所示,SRL_M3DDPG算法代表本实施例的算法,M3DDPG为改进前的算法,实验结果表明,SRL_M3DDPG算法比M3DDPG算法更有效。其中每100集(episodes)输出对应的平均奖励(mean episode reward)并且记一个记录(record),分别保存到两个文件内。当运行至60000episodes(600records)时,停止运行并且绘制60000episodes(600records)不同算法的图像。在第一个针对SRL的深度神经网络模型中,学习效率aSRL=0.01,并且隐藏层有20个神经元。SRL_M3DDPG算法中的critic网络和actor网络学习率等参数与M3DDPG算法一致。
实施例2
本实施例提供一种用于流程工业的多智能体协同控制***,包括如下模块:
模型网络建立模块:用于根据经验池的真实状态值s和真实观测值o建立状态值到观测值的神经网络模型;基于极大极小深度确定性策略梯度算法,建立输出初始策略的actor网络和评判反馈的critic网络;
观测值预测模块:用于采集当前智能体i的当前状态值st,将当前状态值st输入至训练好的神经网络模型,获取当前状态值st对应的预测当前智能体的观测值
初始策略输出模块:用于将当前智能体的当前状态值st和预测当前智能体的观测值输入actor网络,经过actor网络的若干中间层得到当前智能体的动作矩阵
评判反馈模块:用于将动作矩阵当前智能体的当前状态值st和预测当前智能体的观测值输入critic网络,根据所有智能体的状态值和观测值,评估并选择一个最优当前完成动作后得到下一个状态值st+1和奖励r,将状态值st和st+1、奖励值r、动作值储存到经验池D中。
实施例3
本实施例提供一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成实施例1所述的步骤。
实施例4
本实施例提供一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成实施例1的方法所述的步骤。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种用于流程工业的多智能体协同控制***,其特征是:包括***智能体和各个生产阶段的智能体,每个生产阶段设置多个可相互通信并相互协作的智能体,所述***智能体和各个生产阶段的智能体采用分层设置,***智能体设置在上层用于对各个生产阶段的智能体统一调度和任务分配;各个生产阶段的智能体设置在下层。
2.一种用于流程工业的多智能体协同控制方法,其特征是,包括以下步骤:
步骤1、根据经验池的真实状态值s和真实观测值o建立状态值到观测值的神经网络模型;基于极大极小深度确定性策略梯度算法,建立输出初始策略的actor网络和评判反馈的critic网络;
步骤2、采集当前智能体i的当前状态值st,将当前状态值st输入至训练好的神经网络模型,获取当前状态值st对应的预测当前智能体的观测值
步骤3、将当前智能体的当前状态值st和预测当前智能体的观测值输入actor网络,经过actor网络的若干中间层得到当前智能体的动作矩阵
步骤4、将动作矩阵当前智能体的当前状态值st和预测当前智能体的观测值输入critic网络,根据所有智能体的状态值和观测值,评估并选择一个最优当前完成动作后得到下一个状态值st+1和奖励r,将状态值st和st+1、奖励值r、动作值储存到经验池D中。
步骤5、更新actor网络和critic网络,将下一智能体设定为当前智能体,执行步骤2。
3.如权利要求2所述的一种用于流程工业的多智能体协同控制方法,其特征是,所述步骤5中更新actor网络的方法具体为利用采样的政策梯度更新,优化公式为:
其中,xk为在k步下智能体状态信息,求ai的梯度,ai是第i个智能体的非起始动作,求θi的梯度,θi是第i个智能体的当前策略参数,是第i个智能体第k步时的观测值,μi是第i个智能体的当前策略,是当前策略为μi的Q函数,是第N个智能体的非起始动作。
4.如权利要求2所述的一种用于流程工业的多智能体协同控制方法,其特征是,所述步骤5中更新critic网络具体为通过最小化损失来更新,损失函数为:
其中,s是样本数量,xk为在k步智能体的状态信息,yk是智能体真实观测值,是第N个智能体第k步执行的动作;第i个智能体第k步的奖励,γ是学习效率,偏移值,当前策略为μ'时的Q函数,x′k当前策略为μ'时第k步智能体的状态信息,a′N当前策略为μ'时第N个智能体的动作,i表示第i个智能体,j表示第j个智能体。
5.如权利要求2所述的一种用于流程工业的多智能体协同控制方法,其特征是:所述状态值到观测值的神经网络模型、输出初始策略的actor网络和评判反馈的critic网络均为深度神经网络。
6.如权利要求2所述的一种用于流程工业的多智能体协同控制方法,其特征是:步骤1中,具体通过反向传播方法的预测误差来学习观测值到状态值的映射,具体包括如下步骤:
(11)采集经验池的真实状态值s和真实观测值o数据建立训练集;
(12)将训练集数据输入到深度神经网络的输入层,经过隐藏层,最后达到输出层并输出结果;
(13)由于深度神经网络的输出结果与实际结果有误差,则计算估计值与实际值之间的误差,并将误差反向传播,直至传播到输入层;
(14)在反向传播的过程中,根据误差调整各种参数的值;迭代过程中,误差会收敛,迭代设定的次数后停止。
7.如权利要求6所述的一种用于流程工业的多智能体协同控制方法,其特征是:步骤1中状态值到观测值的神经网络模型为基于先验的SRL模型的深度神经网络,输入神经元的数目等于状态矩阵的列数,输出神经元的个数等于观察矩阵的列数,隐层又可以设置多个神经元。
8.一种用于流程工业的多智能体协同控制***,其特征是,包括如下模块:
模型网络建立模块:用于根据经验池的真实状态值s和真实观测值o建立状态值到观测值的神经网络模型;基于极大极小深度确定性策略梯度算法,建立输出初始策略的actor网络和评判反馈的critic网络;
观测值预测模块:用于采集当前智能体i的当前状态值st,将当前状态值st输入至训练好的神经网络模型,获取当前状态值st对应的预测当前智能体的观测值
初始策略输出模块:用于将当前智能体的当前状态值st和预测当前智能体的观测值输入actor网络,经过actor网络的若干中间层得到当前智能体的动作矩阵
评判反馈模块:用于将动作矩阵当前智能体的当前状态值st和预测当前智能体的观测值输入critic网络,根据所有智能体的状态值和观测值,评估并选择一个最优当前完成动作后得到下一个状态值st+1和奖励r,将状态值st和st+1、奖励值r、动作值储存到经验池D中。
9.一种电子设备,其特征是,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求2-7任一项方法所述的步骤。
10.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求2-7任一项方法所述的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910779718.8A CN110427006A (zh) | 2019-08-22 | 2019-08-22 | 一种用于流程工业的多智能体协同控制***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910779718.8A CN110427006A (zh) | 2019-08-22 | 2019-08-22 | 一种用于流程工业的多智能体协同控制***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110427006A true CN110427006A (zh) | 2019-11-08 |
Family
ID=68415574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910779718.8A Pending CN110427006A (zh) | 2019-08-22 | 2019-08-22 | 一种用于流程工业的多智能体协同控制***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110427006A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111245008A (zh) * | 2020-01-14 | 2020-06-05 | 香港中文大学(深圳) | 一种风场协同控制方法及装置 |
CN111309880A (zh) * | 2020-01-21 | 2020-06-19 | 清华大学 | 多智能体行动策略学习方法、装置、介质和计算设备 |
CN112101773A (zh) * | 2020-09-10 | 2020-12-18 | 齐鲁工业大学 | 一种用于流程工业的多智能体***任务调度方法及*** |
CN112115646A (zh) * | 2020-09-22 | 2020-12-22 | 北京清大华亿科技有限公司 | 一种炼油化工生产过程的模拟方法及*** |
CN112163755A (zh) * | 2020-09-23 | 2021-01-01 | 华南理工大学 | 一种智能生产线云辅助自组织动态重构方法及其应用 |
CN112180724A (zh) * | 2020-09-25 | 2021-01-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种在干扰条件下多智能体协同合作的训练方法及*** |
CN112508398A (zh) * | 2020-12-04 | 2021-03-16 | 北京邮电大学 | 基于深度强化学习的动态生产调度方法、装置及电子设备 |
WO2021103419A1 (zh) * | 2019-11-30 | 2021-06-03 | 浙江大学 | 多代理强化学习合作任务场景下的代理间交换知识的方法 |
CN112987665A (zh) * | 2021-02-09 | 2021-06-18 | 东北大学 | 一种基于强化学习的流水车间调度方法 |
CN113189983A (zh) * | 2021-04-13 | 2021-07-30 | 中国人民解放军国防科技大学 | 一种面向开放场景的多机器人协同多目标采样方法 |
CN113269329A (zh) * | 2021-04-30 | 2021-08-17 | 北京控制工程研究所 | 一种多智能体分布式强化学习方法 |
CN117289668A (zh) * | 2023-11-24 | 2023-12-26 | 深圳市陶氏精密技术有限公司 | 分布式减速机网络协同控制方法、装置、设备及存储介质 |
CN117970893A (zh) * | 2024-03-29 | 2024-05-03 | 中科先进(深圳)集成技术有限公司 | 一种多机器人的协同制造方法、装置、***和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650933A (zh) * | 2017-01-12 | 2017-05-10 | 西安电子科技大学 | 基于协同进化和反向传播的深度神经网络优化方法 |
CN109407644A (zh) * | 2019-01-07 | 2019-03-01 | 齐鲁工业大学 | 一种用于制造企业多Agent协同控制方法及*** |
CN109635917A (zh) * | 2018-10-17 | 2019-04-16 | 北京大学 | 一种多智能体合作决策及训练方法 |
CN109739087A (zh) * | 2018-12-29 | 2019-05-10 | 齐鲁工业大学 | 基于多目标粒子群算法的多智能体制造过程优化方法 |
CN109934332A (zh) * | 2018-12-31 | 2019-06-25 | 中国科学院软件研究所 | 基于评论家和双经验池的深度确定性策略梯度学习方法 |
CN109947567A (zh) * | 2019-03-14 | 2019-06-28 | 深圳先进技术研究院 | 一种多智能体强化学习调度方法、***及电子设备 |
-
2019
- 2019-08-22 CN CN201910779718.8A patent/CN110427006A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650933A (zh) * | 2017-01-12 | 2017-05-10 | 西安电子科技大学 | 基于协同进化和反向传播的深度神经网络优化方法 |
CN109635917A (zh) * | 2018-10-17 | 2019-04-16 | 北京大学 | 一种多智能体合作决策及训练方法 |
CN109739087A (zh) * | 2018-12-29 | 2019-05-10 | 齐鲁工业大学 | 基于多目标粒子群算法的多智能体制造过程优化方法 |
CN109934332A (zh) * | 2018-12-31 | 2019-06-25 | 中国科学院软件研究所 | 基于评论家和双经验池的深度确定性策略梯度学习方法 |
CN109407644A (zh) * | 2019-01-07 | 2019-03-01 | 齐鲁工业大学 | 一种用于制造企业多Agent协同控制方法及*** |
CN109947567A (zh) * | 2019-03-14 | 2019-06-28 | 深圳先进技术研究院 | 一种多智能体强化学习调度方法、***及电子设备 |
Non-Patent Citations (2)
Title |
---|
DAPENG HU 等: "《State Representation Learning for Minimax Deep Deterministic Policy Gradient》", 21 August 2019 * |
SHIHUI LI 等: "Robust Multi-Agent Reinforcement Learning via Minimax Deep Deterministic Policy Gradient", 《THE THIRTY-THIRD AAAI CONFERENCE ON ARTIFIFICIAL INTELLIGENCE (AAAI-19)》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021103419A1 (zh) * | 2019-11-30 | 2021-06-03 | 浙江大学 | 多代理强化学习合作任务场景下的代理间交换知识的方法 |
CN111245008A (zh) * | 2020-01-14 | 2020-06-05 | 香港中文大学(深圳) | 一种风场协同控制方法及装置 |
CN111309880A (zh) * | 2020-01-21 | 2020-06-19 | 清华大学 | 多智能体行动策略学习方法、装置、介质和计算设备 |
CN111309880B (zh) * | 2020-01-21 | 2023-11-10 | 清华大学 | 多智能体行动策略学习方法、装置、介质和计算设备 |
CN112101773A (zh) * | 2020-09-10 | 2020-12-18 | 齐鲁工业大学 | 一种用于流程工业的多智能体***任务调度方法及*** |
CN112101773B (zh) * | 2020-09-10 | 2024-06-07 | 齐鲁工业大学 | 一种用于流程工业的多智能体***任务调度方法及*** |
CN112115646A (zh) * | 2020-09-22 | 2020-12-22 | 北京清大华亿科技有限公司 | 一种炼油化工生产过程的模拟方法及*** |
CN112163755A (zh) * | 2020-09-23 | 2021-01-01 | 华南理工大学 | 一种智能生产线云辅助自组织动态重构方法及其应用 |
CN112180724B (zh) * | 2020-09-25 | 2022-06-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种在干扰条件下多智能体协同合作的训练方法及*** |
CN112180724A (zh) * | 2020-09-25 | 2021-01-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种在干扰条件下多智能体协同合作的训练方法及*** |
CN112508398A (zh) * | 2020-12-04 | 2021-03-16 | 北京邮电大学 | 基于深度强化学习的动态生产调度方法、装置及电子设备 |
CN112987665A (zh) * | 2021-02-09 | 2021-06-18 | 东北大学 | 一种基于强化学习的流水车间调度方法 |
CN113189983A (zh) * | 2021-04-13 | 2021-07-30 | 中国人民解放军国防科技大学 | 一种面向开放场景的多机器人协同多目标采样方法 |
CN113189983B (zh) * | 2021-04-13 | 2022-05-31 | 中国人民解放军国防科技大学 | 一种面向开放场景的多机器人协同多目标采样方法 |
CN113269329A (zh) * | 2021-04-30 | 2021-08-17 | 北京控制工程研究所 | 一种多智能体分布式强化学习方法 |
CN113269329B (zh) * | 2021-04-30 | 2024-03-19 | 北京控制工程研究所 | 一种多智能体分布式强化学习方法 |
CN117289668A (zh) * | 2023-11-24 | 2023-12-26 | 深圳市陶氏精密技术有限公司 | 分布式减速机网络协同控制方法、装置、设备及存储介质 |
CN117289668B (zh) * | 2023-11-24 | 2024-02-02 | 深圳市陶氏精密技术有限公司 | 分布式减速机网络协同控制方法、装置、设备及存储介质 |
CN117970893A (zh) * | 2024-03-29 | 2024-05-03 | 中科先进(深圳)集成技术有限公司 | 一种多机器人的协同制造方法、装置、***和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427006A (zh) | 一种用于流程工业的多智能体协同控制***及方法 | |
CN110794842A (zh) | 基于势场的强化学习路径规划算法 | |
CN111047085B (zh) | 一种基于元学习的混合动力车辆工况预测方法 | |
CN109407644A (zh) | 一种用于制造企业多Agent协同控制方法及*** | |
CN107909206A (zh) | 一种基于深层结构循环神经网络的pm2.5预测方法 | |
CN113298260B (zh) | 一种基于深度强化学习的对抗仿真推演方法 | |
CN109840595B (zh) | 一种基于群体学习行为特征的知识追踪方法 | |
CN114815882B (zh) | 一种基于强化学习的无人飞行器自主编队智能控制方法 | |
CN106570522A (zh) | 物体识别模型的建立方法及物体识别方法 | |
CN116187787B (zh) | 作战资源跨域调配问题的智能规划方法 | |
CN105427241A (zh) | 一种大视场显示设备的畸变校正方法 | |
Jin et al. | Inverse reinforcement learning via deep gaussian process | |
CN111814333A (zh) | 奇异Lur’e网络聚类同步的牵制节点选择方法 | |
CN111008685A (zh) | 基于生产者依概率反向再生机制的改进人工生态***优化算法 | |
CN115185294B (zh) | 基于qmix的航空兵多编队协同自主行为决策建模方法 | |
Zhang et al. | R $^{2} $ fed: resilient reinforcement federated learning for industrial applications | |
CN116841317A (zh) | 一种基于图注意力强化学习的无人机集群协同对抗方法 | |
Li et al. | Curiosity-driven exploration for off-policy reinforcement learning methods | |
Xu et al. | Living with artificial intelligence: A paradigm shift toward future network traffic control | |
CN113110101B (zh) | 一种生产线移动机器人聚集式回收入库仿真方法及*** | |
CN113313209A (zh) | 一种高样本效率的多智能体强化学习训练方法 | |
Hou et al. | Hybrid residual multiexpert reinforcement learning for spatial scheduling of high-density parking lots | |
CN108470212A (zh) | 一种能利用事件持续时间的高效lstm设计方法 | |
CN116167415A (zh) | 一种多智能体协同及对抗中的策略决策方法 | |
CN116685963A (zh) | 用于预测性计算机建模的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |