CN114757512B - 一种基于图神经网络的作业车间调度方法 - Google Patents
一种基于图神经网络的作业车间调度方法 Download PDFInfo
- Publication number
- CN114757512B CN114757512B CN202210346683.0A CN202210346683A CN114757512B CN 114757512 B CN114757512 B CN 114757512B CN 202210346683 A CN202210346683 A CN 202210346683A CN 114757512 B CN114757512 B CN 114757512B
- Authority
- CN
- China
- Prior art keywords
- scheduling
- job shop
- node
- neural network
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 139
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000004519 manufacturing process Methods 0.000 claims abstract description 13
- 239000000126 substance Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 50
- 230000000694 effects Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 4
- 238000009827 uniform distribution Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010924 continuous production Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Probability & Statistics with Applications (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于生产计划技术领域，公开了一种基于图神经网络的作业车间调度方法，基于图神经网络的作业车间调度方法包括：可视化工件内部生产工序的前后顺序以及各工件之间的机器指派情况；设计奖励函数对调度决策进行评估；对析取图节点特征信息进行嵌入提取；进行调度策略网络学习及图神经网络参数调整。本发明提高了制造***作业车间调度方法的泛化能力，可以应用于同一***内不同网络规模的作业车间调度问题。本发明将作业调度问题网络拓扑化，提高调度算法的泛化能力，可以有效处理作业车间调度问题，具有通用性强和自适应性高的特点。
Description
技术领域
本发明属于生产计划技术领域，尤其涉及一种基于图神经网络的作业车间 调度方法。
背景技术
目前，生产计划与调度是智能工厂的管理核心。大规模、不确定、强耦合 的复杂生产制造***给作业车间生产调度带来了较大的挑战。
现有的调度算法主要分为两类：精确求解与近似求解。精确求解如分支定 界法，数学规划法等会因问题规模的扩大而导致维度灾难，使得调度结果不能 很好地应用于规模较大的调度问题。近似求解，主要由启发式算法与监督学习 组成，典型方法有分派规则法，领域搜索法以及神经网络。现有近似求解法的 运行效果主要取决于人为设定的规则以及历史调度数据。当制造***环境改变 时，需要耗费大量精力重新决定调度规则，难以较好地适用于不确定性较强， 动态变化的作业车间调度场景。
通过上述分析，现有技术存在的问题及缺陷为：现有的调度方法可扩展性 不强，适用场景具备一定限制，通用性不强、自适应性不高，无法应用于同一 ***内不同网络规模的作业车间调度。
发明内容
针对现有技术存在的问题，本发明提供了一种基于图神经网络的作业车间 调度方法。
本发明是这样实现的，一种基于图神经网络的作业车间调度方法，所述基 于图神经网络的作业车间调度方法包括：
可视化工件内部生产工序的前后顺序以及各工件之间的机器指派情况；设 置奖励函数对调度决策进行评估；对析取图节点特征信息进行嵌入提取；进行 调度策略网络学习及图神经网络参数调整。
进一步，所述基于图神经网络的作业车间调度方法包括以下步骤：
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
步骤二，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数 组合消息；
步骤三，利用Actor网络进行调度决策，利用Critic网络评价Actor决策效 果，利用图神经网络更新节点状态；
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否 则利用近端策略优化算法训练图神经网络、Actor以及Critic的参数，并返回步 骤二。
进一步，所述构建作业车间调度的析取图模型，并获取作业车间工件加工 数据包括：
(1)构建作业车间调度的析取图模型如下：
g＝((V，C)∪D)；
其中，V表示工序集，所述工序集包含作业车间的工序，所述工序在V中表 示为节点；C表示合取边集；所述合取边集包含合取边，每个合取边表示同一工 件上两个连续工序之间的优先约束；D表示析取边集，所述析取边集包含析取边， 每个析取边表示两个节点之间的机器共享约束，当两个工序可由同一台机器处 理时，相应的工序节点与析取边连接；
(2)获取作业车间工件加工数据，利用作业车间工件加工数据表示作业车 间动态调度实时状态，同时利用作业车间工件加工数据作为节点V的特征信息；
所述节点V的特征信息包括：节点状态、处理时间、后续工序数、工序开 始时间；
所述节点状态包含[1,0,0]、[0,1,0]和[0,0,1]；所述[1,0,0]、[0,1,0]和[0,0,1]分别 表示工序尚未开始、工序正在处理和工序已完成；
所述处理时间为工序的处理时间；所述后续工序数为同一工件工序V的后 续工序数；所述工序开始时间为工序V的开始处理时间。
进一步，所述马尔可夫决策模型如下：
马尔可夫元组(G，A，P，R，γ)；
其中，G表示作业车间调度状态，A表示调度动作，γ表示折扣因子，P表 示状态转移概率，R表示每次动作获得的回报，以最小化完工时间为调度目标； 所以动作回报公式为：R＝1/(makespan(g’)-makespan(g))；其中，makespan表示工 件序列加工时间总和，g表示当前状态，g’表示下一状态。
进一步，所述利用图神经网络提取不同节点之间的特征信息，并通过聚合 函数组合消息包括：
(1)通过节点嵌入，提取不同节点之间的特征信息：
其中，fp(.；θ1)表示前序节点更新函数；fs(.；θ2)表示后序节点更新函数； fd(.；θ3)表示析取节点更新函数，fn(.；θ4)表示目标节点更新函数fn(.；θ4)；ReLU(x) ＝max(0,x)，||表示向量串联，和/>分别表示前序和后序节点集，/>表示析取邻居节点，/>表示第k代节点嵌入；
(2)当相应的工序节点完成或不存在时，将所述节点嵌入设置为零向量， 其维数与H相同，不再参与图状态更新；
(3)通过多层感知机训练图神经网络的输入层、隐藏层、输出层的参数。
进一步，所述利用Actor网络进行调度决策，利用Critic网络评价Actor决 策效果，利用图神经网络更新节点状态包括：
(1)采用softmax函数基于下式生成目标机器选择可操作工序的概率分布：
其中，fl(.；θ5)是一个可微函数，将节点嵌入信息映射到每个节点的logit值，表示在τ时刻可供选择的工序集；
(2)采用随机策略选择执行工序；并利用critic基于下式近似析取图状态 值；
其中，表示图嵌入，fv(.；θ6)为一个可微函数；
(3)随机生成包括加工机器数，加工工件，加工工序及对应加工时间的初 始图；对样本数据进行调度，收集状态转换样本。
进一步，所述利用近端策略优化算法训练图神经网络、Actor以及Critic的 参数包括：
1)采用近端策略优化算法，对图神经网络和Actor-critic中的参数 Θ＝{θ1,θ2,θ3,θ4,θ5,θ6}进行更新，当且仅当图节点嵌入信息以及调度动作可提高调 度效果时更新参数，目标函数公式如下：
其中Θ＝{θ1,θ2,θ3,θ4,θ5,θ6}；/>表示总体优势函数，公式 如下：/>δτ＝rτ+γV(gτ+1；Θ)-V(gτ；Θ)，/>函数中的T表示训练集的最后一步；
2)在目标函数中加入值函数误差和熵加成项：
其中，表示当前τ时刻πΘ策略下的熵，/>表示实现的总回报，α和β表示相应系数；
3)不断朝梯度下降的方向更新Θ，直至收敛。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处理器执行所述基于图神经网络的作业车间调度方法如下步骤：
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
步骤二，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数 组合消息；
步骤三，利用Actor网络进行调度决策，利用Critic网络评价Actor决策效 果，利用图神经网络更新节点状态；
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否 则利用近端策略优化算法训练图神经网络、Actor以及Critic的参数，并返回步 骤二。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行所述基于图神经网络的 作业车间调度方法如下步骤：
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
步骤二，利用图神经网络提取提取不同节点之间的特征信息，并通过聚合 函数组合消息；
步骤三，利用Actor网络进行调度决策，利用Critic网络评价Actor决策效 果，利用图神经网络更新节点状态；
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否 则利用近端策略优化算法训练图神经网络、Actor以及Critic的参数，并返回步 骤二。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终 端用于执行所述基于图神经网络的作业车间调度方法。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要 保护的技术方案所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结 合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地 分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造 性的技术效果。具体描述如下：
本发明采用析取图对作业车间调度问题进行特征描述，将调度问题转换为 序贯决策问题，基于马尔可夫决策过程进行建模，可以适用于不同网络规模的 作业车间调度问题，无需重复训练，泛化性能强。本发明引入了近端策略优化 算法对神经网络进行训练，可以稳定提高参数效果。本发明适用于动态调度场 景，若某道工序出现问题，可直接将该节点及其后续节点设置为0向量节点， 不影响其他工件调度。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技 术方案具备的技术效果和优点，具体描述如下：
本发明提高了制造***作业车间调度问题算法的泛化能力，可以应用于同 一***内不同网络规模的作业车间调度问题。本发明将作业调度问题网络拓扑 化，提高调度算法的泛化能力，可以有效处理作业车间调度问题，具有通用性 强和自适应性高的特点。
附图说明
图1是本发明实施例提供的基于图神经网络的作业车间调度方法原理图；
图2是本发明实施例提供的基于图神经网络的作业车间调度方法流程图；
图3是本发明实施例提供的析取图特征表示示意图；
图4是本发明实施例提供的节点特征信息一阶聚合更新示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实 现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的基于图神经网络的作业车间调度方法包 括：
可视化工件内部生产工序的前后顺序以及各工件之间的机器指派情况；设 计奖励函数对调度决策进行评估；对析取图节点特征信息进行嵌入提取；进行 调度策略网络学习及图神经网络参数调整。
如图2所示，本发明实施例提供的基于图神经网络的作业车间调度方法包 括以下步骤：
S101，构建作业车间调度的析取图模型，并获取作业车间工件加工数据； 基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
S102，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数组 合消息；
S103，利用Actor网络进行调度决策，利用Critic网络评价Actor决策效果， 利用图神经网络更新节点状态；
S104，判断调度结果是否满足预设标准，若满足，则输出调度方案；否则 利用近端策略优化算法训练图神经网络、Actor以及Critic的参数，并返回步骤 S102。
本发明实施例提供的构建作业车间调度的析取图模型，并获取作业车间工 件加工数据包括：
(1)构建作业车间调度的析取图模型如下：
g＝((V，C)∪D)；
其中，V表示工序集，所述工序集包含作业车间的工序，所述工序在V中表 示为节点；C表示合取边集；所述合取边集包含合取边，每个合取边表示同一工 件上两个连续工序之间的优先约束；D表示析取边集，所述析取边集包含析取边， 每个析取边表示两个节点之间的机器共享约束，当两个工序可由同一台机器处 理时，相应的工序节点与析取边连接；
(2)获取作业车间工件加工数据，利用作业车间工件加工数据表示作业车 间动态调度实时状态，同时利用作业车间工件加工数据作为节点V的特征信息。
本发明实施例提供的节点V的特征信息包括：节点状态、处理时间、后续 工序数、工序开始时间；
节点状态包含[1,0,0]、[0,1,0]和[0,0,1]；[1,0,0]、[0,1,0]和[0,0,1]分别表示工序 尚未开始、工序正在处理和工序已完成；
处理时间为工序的处理时间；后续工序数为同一工件工序V的后续工序数； 工序开始时间为工序V的开始处理时间。
本发明实施例提供的马尔可夫决策模型如下：
马尔科夫元组(G，A，P，R，γ)；
其中，G表示作业车间调度状态，A表示调度动作，γ表示折扣因子，P表 示状态转移概率，R表示每次动作获得的回报，以最小化完工时间为调度目标； 所以动作回报公式为：R＝1/(makespan(g’)-makespan(g))；其中，makespan表示 工件序列加工时间总和，g表示当前状态，g’表示下一状态。
本发明实施例提供的利用图神经网络提取不同节点之间的特征信息，并通 过聚合函数组合消息包括：
(1)通过节点嵌入，提取不同节点之间的特征信息：
其中，fp(.；θ1)表示前序节点更新函数；fs(.；θ2)表示后序节点更新函数； fd(.；θ3)表示析取节点更新函数，fn(.；θ4)表示目标节点更新函数fn(.；θ4)；ReLU(x) ＝max(0,x)，||表示向量串联，和/>分别表示前序和后序节点集，/>表示析取邻居节点，/>表示第k代节点嵌入；
(2)当相应的工序节点完成或不存在时，将所述节点嵌入设置为零向量， 其维数与H相同，不再参与图状态更新；
(3)通过多层感知机训练图神经网络的输入层、隐藏层、输出层的参数。
本发明实施例提供的利用Actor网络进行调度决策，利用Critic网络评价 Actor决策效果，利用图神经网络更新节点状态包括：
(1)采用softmax函数基于下式生成目标机器选择可操作工序的概率分布：
其中，fl(.；θ5)是一个可微函数，将节点嵌入信息映射到每个节点的logit值，表示在τ时刻可供选择的工序集；
(2)采用随机策略选择执行工序；并利用critic基于下式近似析取图状态 值；
其中，表示图嵌入，fv(.；θ6)为一个可微函数；
(3)随机生成包括加工机器数，加工工件，加工工序及对应加工时间的初 始图；对样本数据进行调度，收集状态转换样本。
本发明实施例提供的利用近端策略优化算法训练图神经网络、Actor以及 Critic的参数包括：
1)采用近端策略优化算法，对图神经网络和Actor-critic中的参数 Θ＝{θ1,θ2,θ3,θ4,θ5,θ6}进行更新，当且仅当图节点嵌入信息以及调度动作可提高调 度效果时更新参数，目标函数公式如下：
其中Θ＝{θ1,θ2,θ3,θ4,θ5,θ6}；/>表示总体优势函数，公式 如下：/>δτ＝rτ+γV(gτ+1；Θ)-V(gτ；Θ)，/>函数中的T表示训练集的最后一步；
2)在目标函数中加入值函数误差和熵加成项：
其中，表示当前τ时刻πΘ策略下的熵，/>表示实现的总回报，α和β表示相应系数；
3)不断朝梯度下降的方向更新Θ，直至收敛。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1：
结合图1，本发明实施例提供的基于图神经网络的作业车间调度方法包括：
首先根据作业车间调度问题进行析取图建模。析取图g＝((V，C)∪D)， 图神经网络训练过程，可随机生成初始图g0，指定加工机器数服从均匀分布(5， 9)，处理工件数量及对应工序数量服从均匀分布(1，9)，工序加工时间服从 均匀分布(1，99)；
基于作业车间工件加工数据，表示作业车间动态调度实时状况，同时作为 节点V的特征信息，其中包括：
节点状态：[1,0,0]、[0,1,0]和[0,0,1]分别表示工序尚未开始、工序正在处理和工序已完成，结合图2可知，节点1工序已完成，节点2正在处理，节点3尚 未开始；
处理时间：工序的处理时间；
后续工序数：同一工件工序V的后续工序数；
工序开始时间：工序V的开始处理时间。
基于析取图建模信息，建立马尔可夫决策过程，将作业调度问题转换为序 贯决策问题。马尔科夫元组(G，A，P，R，γ)，其中G表示作业车间调度状 态，A表示调度动作，γ表示折扣因子，即当前动作对未来回报的影响程度，P 表示状态转移概率，R表示每次动作获得的回报，以最小化完工时间为调度目标， 所以动作回报公式如下所示：
R＝1/(makespan(g’)-makespan(g))
其中，makespan表示工件序列加工时间总和，g表示当前状态，g’表示下 一状态。
通过节点嵌入，提取不同节点之间的特征信息，通过聚合函数组合消息， 结合图3，聚合邻居结点信息后，再加上本身结点信息进行嵌入更新。嵌入层主 要考虑4个可微函数：前序节点更新函数fp(.；θ1)，后序节点更新函数fs(.；θ2)， 析取节点更新函数fd(.；θ3)以及目标节点更新函数fn(.；θ4),公式如下所示：
其中ReLU(x)＝max(0,x)，||表示向量串联，和/>分别代表前序和后 序节点集，/>代表析取邻居节点，/>表示第k代节点嵌入；
GNN可以计算节点之间的高阶交互，设置嵌入层K＝3；
当相应的工序节点完成或不存在时，将该节点嵌入设置为零向量，其维数 与H相同，不再参与图状态更新；
采用多层感知机训练图神经网络参数，包括输入层，2层隐藏层，输出层；
输入层由前序节点、后序节点、析取节点以及本身节点的6维特征信息串 联而成，共24维；
激活函数采用“ReLU”函数；
输出层生成6维的节点嵌入。
引入actor使用softmax函数生成目标机器选择可操作工序的概率分布，公 式如下：
其中，fl(.；θ5)是一个可微函数，将节点嵌入信息映射到每个节点的logit值，为可供选择的工序集；
采用随机策略选择执行工序；
引入critic近似析取图状态值，公式如下：
其中代表图嵌入，fv(.；θ6)是一个可微函数。
actor和critic网络均通过多层感知机进行更新，actor输入层为6维节点嵌 入信息，输出返回各调度动作的logit值。
从随机生成的作业车间调度实例每20个训练集中，收集状态转换样本；
采用近端策略优化算法，对图神经网络和Actor-critic中的参数 Θ＝{θ1,θ2,θ3,θ4,θ5,}θ进行更新；
参数优化器类型：“Adam”；
学习率(η)：2.5*10-4；
折扣率(γ)：1；
GAE参数(λ)：0.95；
修剪参数(∈)：0.2；
值函数系数(α)：0.5；
熵加成系数(β)：0.01；
每次更新所训练集数(n)：20；
当且仅当图节点嵌入信息以及调度动作可以提高调度效果时更新参数，目 标函数公式如下：
其中Θ＝{θ1,θ2,θ3,θ4,θ5,θ6}；
为总体优势函数，公式如下：
其中，δτ＝rτ+γV(gτ+1；Θ)-V(gτ；Θ)，T为训练集的最后一步；
在目标函数中加入值函数误差和熵加成项，公式如下：
其中代表当前τ时刻πΘ策略下的熵，/>代表实现的总回报，α和β为相应系数；
不断朝梯度下降的方向更新Θ，直至收敛。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部 分是对权利要求技术方案进行具体产品上或相关技术上的应用的应用实施例。
本发明的应用实施例提供了一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处理器执行所述基于图神经网络的作业车间调度方法。
本发明的应用实施例提供了一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行所述基于图神经网络的 作业车间调度方法。
本发明的应用实施例提供了一种信息数据处理终端，所述信息数据处理终 端用于执行基于图神经网络的作业车间调度方法。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了 一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程 的数据、图表等进行描述。
实验设计：
一、基于公共数据集(DMU Benchmark)进行算法性能测试
(1)将本方法与分派规则进行效果比对
选取对比的分派规则有：处理时间最短；交付期最早；随机选择等
(1)将本方法与邻域搜索算法进行效果比对
领域搜索算法包括：遗传算法；粒子群算法等
二、基于作业车间历史调度数据情况进行效果分析
实验预期效果：在大规模作业车间调度问题上，运行良好；遇到机器故障， 订单临时取消等动态变化情况时，本方法鲁棒性较好，可顺利求解。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合 来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中， 由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普 通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在 处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸 如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载 体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路 或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、 可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的 处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的 保护范围之内。
Claims (8)
1.一种基于图神经网络的作业车间调度方法，其特征在于，所述基于图神经网络的作业车间调度方法包括：
可视化工件内部生产工序的前后顺序以及各工件之间的机器指派情况；设计奖励函数对调度决策进行评估；对析取图节点特征信息进行嵌入提取；进行调度策略网络学习及图神经网络参数调整；
所述基于图神经网络的作业车间调度方法包括以下步骤：
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据；基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
步骤二，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数组合消息；
步骤三，利用Actor网络进行调度决策，利用Critic网络评价Actor决策效果，利用图神经网络更新节点状态；
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否则利用近端策略优化算法训练图神经网络、Actor以及Critic的参数，并返回步骤二；
所述构建作业车间调度的析取图模型，并获取作业车间工件加工数据包括：
(1)构建作业车间调度的析取图模型如下：
g＝((V，C)∪D)；
其中，V表示工序集，所述工序集包含作业车间的工序，所述工序在V中表示为节点；C表示合取边集；所述合取边集包含合取边，每个合取边表示同一工件上两个连续工序之间的优先约束；D表示析取边集，所述析取边集包含析取边，每个析取边表示两个节点之间的机器共享约束，当两个工序可由同一台机器处理时，相应的工序节点与析取边连接；
(2)获取作业车间工件加工数据，利用作业车间工件加工数据表示作业车间动态调度实时状态，同时利用作业车间工件加工数据作为节点V的特征信息；
所述节点V的特征信息包括：节点状态、处理时间、后续工序数、工序开始时间；
所述节点状态包含[1,0,0]、[0,1,0]和[0,0,1]；所述[1,0,0]、[0,1,0]和[0,0,1]分别表示工序尚未开始、工序正在处理和工序已完成；
所述处理时间为工序的处理时间；所述后续工序数为同一工件工序V的后续工序数；所述工序开始时间为工序V的开始处理时间。
2.如权利要求1所述基于图神经网络的作业车间调度方法，其特征在于，所述马尔可夫决策模型如下：
马尔科夫元组(G，A，P，R，γ)；
其中，G表示作业车间调度状态，A表示调度动作，γ表示折扣因子，为当前动作对未来回报的影响程度，P表示状态转移概率，R表示每次动作获得的回报，以最小化完工时间为调度目标；所以动作回报公式为：R＝1/(makespan(g’)-makespan(g))；其中，makespan表示工件序列加工时间总和，g表示当前状态，g’表示下一状态。
3.如权利要求1所述基于图神经网络的作业车间调度方法，其特征在于，所述利用图神经网络提取不同节点之间的特征信息，并通过聚合函数组合消息包括：
(1)通过节点嵌入，提取不同节点之间的特征信息：
其中，fp(.；θ1)表示前序节点更新函数；fs(.；θ2)表示后序节点更新函数；fd(.；θ3)表示析取节点更新函数，fn(.；θ4)表示目标节点更新函数fn(.；θ4)；ReLU(x)＝max(0,x)，||表示向量串联，和/>分别表示前序和后序节点集，/>表示析取邻居节点，/>表示第k代节点嵌入；
(2)当相应的工序节点完成或不存在时，将所述节点嵌入设置为零向量，其维数与H相同，不再参与图状态更新；
(3)通过多层感知机训练图神经网络的输入层、隐藏层、输出层的参数。
4.如权利要求1所述基于图神经网络的作业车间调度方法，其特征在于，所述利用Actor网络进行调度决策，利用Critic网络评价Actor决策效果，利用图神经网络更新节点状态包括：
(1)采用softmax函数基于下式生成目标机器选择可操作工序的概率分布：
其中，fl(.；θ5)是一个可微函数，将节点嵌入信息映射到每个节点的logit值，表示在τ时刻可供选择的工序集；
(2)采用随机策略选择执行工序；并利用critic基于下式近似析取图状态值；
其中，表示图嵌入，fv(.；θ6)为一个可微函数；
(3)随机生成包括加工机器数，加工工件，加工工序及对应加工时间的初始图；对样本数据进行调度，收集状态转换样本。
5.如权利要求1所述基于图神经网络的作业车间调度方法，其特征在于，所述利用近端策略优化算法训练图神经网络、Actor以及Critic的参数包括：
1)采用近端策略优化算法，对图神经网络和Actor-critic中的参数Θ＝{θ1,θ2,θ3,θ4,θ5,θ6}进行更新，当且仅当图节点嵌入信息以及调度动作可提高调度效果时更新参数，目标函数公式如下：
其中Θ＝{θ1,θ2,θ3,θ4,θ5,θ6}；/>表示总体优势函数，公式如下：δτ＝rτ+γV(gτ+1；Θ)-V(gτ；Θ)，T表示训练集的最后一步；
2)在目标函数中加入值函数误差和熵加成项：
其中，表示当前τ时刻πΘ策略下的熵，/>表示实现的总回报，α和β表示相应系数；
3)不断朝梯度下降的方向更新Θ，直至收敛。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-5任意一项所述基于图神经网络的作业车间调度方法如下步骤：
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据；基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
步骤二，利用图神经网络提取提取不同节点之间的特征信息，并通过聚合函数组合消息；
步骤三，利用Actor网络进行调度决策，利用Critic网络评价Actor决策效果，利用图神经网络更新节点状态；
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否则利用近端策略优化算法训练图神经网络、Actor以及Critic的参数，并返回步骤二。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-5任意一项所述基于图神经网络的作业车间调度方法如下步骤：
步骤一，构建作业车间调度的析取图模型，并获取作业车间工件加工数据；基于构建的作业车间调度的析取图模型，建立马尔可夫决策模型；
步骤二，利用图神经网络提取不同节点之间的特征信息，并通过聚合函数组合消息；
步骤三，利用Actor网络进行调度决策，利用Critic网络评价Actor决策效果，利用图神经网络更新节点状态；
步骤四，判断调度结果是否满足预设标准，若满足，则输出调度方案；否则利用近端策略优化算法训练图神经网络、Actor以及Critic的参数，并返回步骤二。
8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于执行如权利要求1-5任意一项所述基于图神经网络的作业车间调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210346683.0A CN114757512B (zh) | 2022-04-02 | 2022-04-02 | 一种基于图神经网络的作业车间调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210346683.0A CN114757512B (zh) | 2022-04-02 | 2022-04-02 | 一种基于图神经网络的作业车间调度方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114757512A CN114757512A (zh) | 2022-07-15 |
| CN114757512B true CN114757512B (zh) | 2024-06-18 |
Family
ID=82329624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210346683.0A Active CN114757512B (zh) | 2022-04-02 | 2022-04-02 | 一种基于图神经网络的作业车间调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114757512B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115293623A (zh) * | 2022-08-17 | 2022-11-04 | 海尔数字科技(青岛)有限公司 | 一种生产调度模型的训练方法、装置、电子设备及介质 |
| CN116500901A (zh) * | 2023-05-29 | 2023-07-28 | 同济大学 | 数字孪生驱动的用户意图不明下人机协作任务规划方法 |
| CN117057569A (zh) * | 2023-08-21 | 2023-11-14 | 重庆大学 | 基于神经网络的非置换流水车间调度方法以及装置 |
| CN117555306B (zh) * | 2024-01-11 | 2024-04-05 | 天津斯巴克斯机电有限公司 | 一种基于数字孪生的多生产线任务自适应调度方法及*** |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112486641A (zh) * | 2020-11-18 | 2021-03-12 | 鹏城实验室 | 一种基于图神经网络的任务调度方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469491B (zh) * | 2021-05-14 | 2023-09-01 | 南京大学 | 一种基于强化学习和图神经网络的柔性车间作业调度方法 |
| CN113792924A (zh) * | 2021-09-16 | 2021-12-14 | 郑州轻工业大学 | 一种基于Deep Q-network深度强化学习的单件作业车间调度方法 |
-
2022
- 2022-04-02 CN CN202210346683.0A patent/CN114757512B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112486641A (zh) * | 2020-11-18 | 2021-03-12 | 鹏城实验室 | 一种基于图神经网络的任务调度方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于强化学习的车间调度问题研究简述;王霄汉等;《***仿真学报》;20211218;第33卷(第12期);2782-2791 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114757512A (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114757512B (zh) | 一种基于图神经网络的作业车间调度方法 | |
| CN111241952B (zh) | 一种离散制造场景中的强化学习奖励自学习方法 | |
| Gui et al. | Dynamic scheduling for flexible job shop using a deep reinforcement learning approach | |
| Lechevalier et al. | A neural network meta-model and its application for manufacturing | |
| Shiue et al. | A reinforcement learning approach to dynamic scheduling in a product-mix flexibility environment | |
| CN113962617B (zh) | 一种工厂内部物流调度方法、装置及电子设备、存储介质 | |
| Jong et al. | The multi-layered job-shop automatic scheduling system of mould manufacturing for Industry 3.5 | |
| Shiue et al. | Study of SOM-based intelligent multi-controller for real-time scheduling | |
| Huang et al. | A novel priority dispatch rule generation method based on graph neural network and reinforcement learning for distributed job-shop scheduling | |
| Yuan et al. | A multi-agent double deep-Q-network based on state machine and event stream for flexible job shop scheduling problem | |
| Sugisawa et al. | Machining sequence learning via inverse reinforcement learning | |
| Kamali et al. | An immune-based multi-agent system for flexible job shop scheduling problem in dynamic and multi-objective environments | |
| Shiue et al. | Study on shop floor control system in semiconductor fabrication by self-organizing map-based intelligent multi-controller | |
| Schuh et al. | Databased prediction and planning of order-specific transition times | |
| CN117647960A (zh) | 一种基于深度强化学习的车间调度方法、装置和*** | |
| TW202347062A (zh) | 用於半導體廠房中之等待時間預測之方法 | |
| CN116339145A (zh) | 机台参数调控方法、设备及存储介质 | |
| CN116796964A (zh) | 一种基于生成对抗模仿学习解决作业车间调度问题的方法 | |
| CN116414094A (zh) | 一种焊接装配智能调度方法及*** | |
| Tsai et al. | A Fuzzy Nonlinear Programming Approach for Optimizing the Performance of a Four‐Objective Fluctuation Smoothing Rule in a Wafer Fabrication Factory | |
| Sobaszek et al. | The algorithms for robust scheduling of production jobs under machine failure and variable technological operation times | |
| Turgay et al. | Digital Twin Based Flexible Manufacturing System Modelling with Fuzzy Approach | |
| Yilmazlar et al. | Mixed-model sequencing with stochastic failures: A case study for automobile industry | |
| Frye et al. | Production rescheduling through product quality prediction | |
| Kluska-Nawarecka et al. | Practical aspects of knowledge integration using attribute tables generated from relational databases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |