CN112853560A

CN112853560A - 一种基于环锭纺纱线质量的全局工序共享控制***及方法

Info

Publication number: CN112853560A
Application number: CN202011625883.7A
Authority: CN
Inventors: 殷士勇; 鲍劲松
Original assignee: Donghua University; Yancheng Teachers University
Current assignee: Donghua University; Yancheng Teachers University
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2021-05-28
Anticipated expiration: 2040-12-31
Also published as: CN112853560B

Abstract

本发明公开了一种基于环锭纺纱线质量的全局工序共享控制***及方法，包括云子***和边缘子***，云子***包括获取模块、评估模块、修正模块，边缘子***包括若干模块：Agent模块、状态识别模块、动作调节模块、奖励模块、CPPS单元，Agent模块包括Critic网络模块、Actor网络模块、误差模块；Critic网络模块与状态识别模块、奖励模块、误差模块分别连接，动作调节模块通过CPPS单元与状态识别模块连接，状态识别模块与奖励模块连接。本发明通过对纺纱工序中的质量进行控制，抑制后面单元中的质量波动，通过预测后面单元的质量特征调节前面各单元的质量控制点的值，提高全流程纱线质量。

Description

一种基于环锭纺纱线质量的全局工序共享控制***及方法

技术领域

本发明涉及环锭纺纱领域，特别是涉及一种基于环锭纺纱线质量的全局工序共享控制***及方法。

背景技术

环锭纺技术是目前国内外广泛应用的一种纺纱技术，其机构简单、改变工艺参数方便，根据纺纱工艺要求，可及时更新和调换各种相关部件，以适应不同的纺纱要求；机器设备可以方便地进行各种保养；运转操作方便，有广泛的原料适应性，天然纤维和化学纤维基本上都可以用环锭纺进行纯纺和混纺，对纤维加工的局限性小。

环锭纺纱技术在广泛应用的同时，也对纺纱质量提出了更高的要求，质量控制是环锭纺纱生产的重要环节，如何更好的完成对质量的控制成为现有技术中的当务之急。在纺纱过程中，前道工序单元质量直接影响后道工序单元的质量以及最终成纱的质量，甚至会影响到面料的使用性能。由此可见，纱线质量不但是相邻工序质量控制点之间的耦合，而且是全局纱线质量控制点的强耦合，即通过调控前面工序的质量控制点抑制后面工序的质量波动，同时通过预测后面工序的质量特征，反过来调节前面工序的质量控制点。随着环锭纺纱生产向智能化、优质化和个性化方向发展，纱线质量控制的要求越来越高。环锭纺纱CPPS中，纱线质量的控制不再是在不同的计量部门中进行，而是实时在环锭纺纱生产线的各个工序上进行。在环锭纺纱CPPS纱线质量控制上，虽然积累了大量离线知识数据，包括工艺设计数据、设备数据，产品质量数据等作为基础，但也面临着挑战：如何建立一种基于环锭纺纱线质量的全局工序共享控制***，使得对纺纱过程中的质量控制更加全面化、***化。

发明内容

本发明的目的是提供一种基于环锭纺纱线的全局工序共享控制***及方法，以解决所述现有技术存在的问题，实现纺纱全流程纱线质量控制，使质量控制更加全面化、***化。

为实现所述目的，本发明提供了如下方案：

一种基于环锭纺纱线质量的全局工序共享控制***，包括云子***和边缘子***，所述云子***包括：获取模块、评估模块、修正模块，所述边缘子***包括若干模块，所述模块包括：Agent模块、状态识别模块、动作调节模块、奖励模块、CPPS单元，所述Agent模块包括：Critic网络模块、Actor网络模块、误差模块；

所述CPPS单元与所述状态识别模块和所述动作调节模块分别连接，所述状态识别模块与所述奖励模块、所述Critic网络模块、所述Actor网络模块分别连接，所述Actor网络模块与所述动作调节模块连接，所述奖励模块与所述Critic网络模块连接，所述Critic网络模块通过所述误差模块与Actor网络模块连接，所述Critic网络模块与所述云端中的所述获取模块、所述修正模块分别连接，所述云端中的所述获取模块通过评估模块与修正模块连接；

所述CPPS单元中可获取若干个纺纱质量特征数据；

所述状态识别模块用于获取离线知识和所述CPPS单元中的纱线质量特征数据；

所述Actor网络模块基于所述状态识别模块获取的离线知识和质量特征以及所述误差模块获得的误差生成质量控制点的调控值；

所述动作调节模块用于调控所述Actor网络模块生成的质量控制点的调控值；

所述奖励模块基于所述状态识别模块获取的离线知识和质量特征计算奖励函数获得奖励。

进一步地，所述若干个纺纱质量特征数据包括：与纱线质量相关的人力、机器、物料、生产工艺、生产环境要素的总和。

进一步地，所述奖励函数用于抑制后续各单元的质量波动。

进一步地，所述动作调节模块对质量控制点的值的调节中，通过调节前单元中质量控制点的值抑制后续各单元中的质量波动，通过预测后单元中的质量特征，调节前面各单元中的质量控制点的值。

进一步地，所述Agent模块基于Actor-Critic网络构建。

进一步地，所述Critic网络模块和Actor网络模块皆采用BP神经网络结构，所述Actor网络模块包括Actor策略函数模块，所述Critic网络模块包括Critic值函数模块。

一种基于环锭纺纱线质量的全局工序共享控制方法，其特征在于：具体步骤包括：

S1，在s_t时刻，所述状态识别模块获取离线知识和所述CPPS单元中的若干个纱线质量特征数据后，将所述s_t时刻获取的离线知识和纱线质量特征数据输入到所述奖励模块，计算s_t时刻所获奖励，将所述s_t时刻获取的离线知识和纱线质量特征数据输入到所述Critic网络模块中的Critic值函数模块中，得到s_t时刻值函数；

S2，将S1中所述s_t时刻所获得的离线知识和纱线质量特征数据输入到 Actor网络模块，经过所述Actor网络模块输出质量控制点的调控值，将所述质量控制点的调控值输入所述动作调节模块对相连所述CPPS单元进行质量控制点的调节，经过一定时间的下一时刻，为s_t+1时刻，所述状态识别模块获取调节后的离线知识和所述CPPS单元中的若干个纱线质量特征数据，将所述调节后的离线知识和纱线质量特征数据输入奖励模块获得 s_t+1时刻的奖励，将所述调节后的离线知识和纱线质量特征数据输入到所述Critic网络模块中的Critic值函数模块中，得到s_t+1时刻值函数；

S3，将所述S1中s_t时刻值函数和所述S2中s_t+1时刻值函数同时输入误差模块获得误差值；

S4，根据所述误差值更新所述Critic网络模块中的学习参数，得到边缘子***的Critic网络参数，通过所述云端中的获取模块获取所述边缘子***中的Critic网络模块中的边缘子***的Critic网络参数；

S5，将所述获取模块获取的边缘子***的Critic网络参数通过评估模块进行评估，完成评估后将所述边缘子***的Critic网络参数输入到修正模块，通过所述修正模块更新所述边缘子***的Critic网络参数，得到第云子***的Critic网络参数；

S6，更新Actor网络模块中的Actor网络参数。

进一步地，所述S5中评估包括：计算所述边缘子***中Critic网络模块中Critic网络参数的权重，根据所述CPPS单元生产的复杂程度及工艺要求设定参数的目标权重，用所述目标权重评估所述边缘子***中各Critic网络模块中Critic网络参数的权重是否有偏差，再通过修正模块修正所述偏差，得到云子***中各Critic网络模块中Critic网络参数，并以此同步更新各边缘子***中Critic网络模块的Critic网络参数。

进一步地，所述S6中的更新Actor网络模块中的Actor网络参数的方法为：采用策略梯度下降的方法更新。

本发明公开了以下技术效果：

本发明提出了一种基于环锭纺纱线质量的全局工序共享控制***，通过对全局纱线质量控制点进行强耦合，提高了全局控制点间的强耦合，也提高了本***的质量控制效果。提出了一种基于环锭纺纱质量的全局工序共享控制***的方法，对纺纱工序中的质量进行控制，不仅能通过调节前面单元的质量控制点的值抑制后面单元中的质量波动，也能预测后面单元的质量特征，反过来调节前面单元的质量控制点的值，提高了环锭纺纱的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种基于环锭纺纱质量的全局工序共享控制***示意图。

具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该范围的上限和下限之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本发明中所述的“份”如无特别说明，均按质量份计。

所述CPPS单元中可获取若干个纺纱质量特征数据；

S6，更新Actor网络模块中的Actor网络参数。

所述环锭纺纱CPPS中的若干个CPPS单元为：

S＝{u₁，u₂...，u_i，…，u_n}

式中，S表示环锭纺纱CPPS，u_i表示第i个CPPS单元，i∈[1，n]，n 为CPPS单元的个数。

所述质量控制点为：

表示第i个CPPS单元的第j个质量控制点, 其中i∈[1，n]，j∈[1，ni],n_i表示第i个CPPS单元的质量控制点的个数，由此可知，环锭纺纱CPPS质量控制点的总数m为：

由环锭纺纱生产特点可知，每个质量控制点的控制值是随着质量波动而在一定的范围内调节。设每个质量控制点可调节的最小值为

可调节的最大值为

在环锭纺纱CPPS中，纱线是由多个不同的环锭纺纱 CPPS单元加工而成的，每个单元都有不同的质量特征来表示该单元纱线质量的优劣，纱线质量特征定义如下：

所述纱线的质量特征为：

表示第i个环锭纺纱CPPS单元的第l个质量特征，其中：i∈[1，n]，l∈[1，l_i]，l_i表示第i个环锭纺纱CPPS单元的质量特征的个数。对于某个环锭纺纱CPPS单元而言，其质量控制点会根据质量特征值在一定范围内调节，即：

但在实际生产，如机台的故障、温湿度的变化等使得控制点作用在环锭纺纱CPPS单元后，其在制品质量有不同程度的衰减，如强力减小、毛羽增多、条干不匀变大等，即质量控制点

作用在环锭纺纱CPPS单元上实际只有

产生效果。当

溢出控制点调节的范围或者有明显趋势要溢出时，会影响到后续单元的生产，甚至会导致最后的纱线质量出现问题。因此对多工序递阶的环锭纺纱物理生产***，考虑采用多载荷衰减因子对各质量控制点进行补偿，以抑制后续制造中纱线质量可能出现的较大波动。

所述误差模块中的误差计算：

因Actor-Critic学习在任务控制方面的出色表现，本申请将其思想引入环锭纺纱CPPS的纱线质量控制中。首先，将Agent、状态、环境、动作和奖励等因素映射到基于环锭纺纱质量的全局工序共享控制***中，具体的定义如下：

(1)代理

Agent是环锭纺纱CPPS各单元及***的质量控制器，主要用于与纺纱质量相关要素的交互。Agent根据收到的奖励，制定策略来调节纱线质量控制点的控制值，同时评价纱线质量特征，并提供灵活的控制策略，所述代理即为本申请中的质量控制器。

(2)状态

对于环锭纺纱CPPS质量控制，状态是纱线的质量特征，如纱线的强力、条干不匀、毛羽等。质量特征具有不同的物理意义，会影响学习效率，为此，采用归一化方法处理各物理量，将状态的所有维度都归一到相同的范围。t时刻，第i个环锭纺纱CPPS单元的纱线质量特征，即其状态可以表示为：

其中

表示第i个环锭纺纱CPPS单元纱线的质量特征l，l_i表示第i个环锭纺纱CPPS单元纱线质量特征的个数，所述状态即为本申请中的状态识别模块。

(3)环境

环境是指整个环锭纺纱CPPS各工序单元中与纱线质量相关的人、机、料、法、环等要素的总和。

(4)动作

所述动作即为本申请的动作调节模块，动作是将状态空间映射到行动空间，并确定最佳调节策略。环锭纺纱CPPS的动作是根据当前纱线特征观测值合理调节质量控制点的值。如根据纱线强度波动，选择调节纱线的捻度、张力、或者细纱车的锭速等质量控制点。

t时刻，第i个环锭纺纱CPPS单元对应Agent调节各控制点的值，即一次执行动作表示为：

其中，

表示第i个环锭纺纱CPPS单元的第j个质量控制点，n_i表示第i个环锭纺纱CPPS单元的质量控制点的个数。

动作的策略分布直接影响到算法性能的好坏。本章中的策略分布选用正态分布，其概率密度函数为：

(5)奖励

对当前纱线加工质量和对此质量状况所做的合理调节，Agent能从环境的反馈中获得奖励，所述奖励即为本申请的奖励模块。

t时刻，第i个CPPS单元生产的纱线质量特征为s_t时，Agent执行动作a_t后，环锭纺纱CPPS的第i个工序单元的纱线质量特征为s_t+1，同时接受来自环境的奖励r_t。r_t＝r(s_t，a_t)是关于纱线质量特征和质量控制动作的函数。此时，质量特征s的值函数表示在质量特征s下，调节质量控制动作a后能得到奖励的期望，可以定义为：

其中，γ为折扣因子。

状态-动作值函数Q(s,a)表示在质量特征s下选择调节质量控制动作 a的好坏程度，相比于状态值函数，状态-动作值函数考虑了执行动作a带来的影响，即

可见，无论状态值函数还是状态-动作值函数都是累计奖励的期望。

基于环锭纺纱线质量的全局工序共享控制***：

环锭纺纱生产前序工序不仅仅直接影响本工序的纱线质量，而且影响相邻后序工序纱线质量甚至是最终成纱质量。由此可见，纱线质量不但是相邻工序质量控制点之间的耦合，而且是全局纱线质量控制点的强耦合，即通过调控前面工序的质量控制点抑制后面工序的质量波动，同时通过预测后面工序的质量特征，反过来调节前面工序的质量控制点。

所述基于环锭纺纱线质量的全局工序共享控制***如图1所示。在该***中，边缘子***每个代理的Critic网络通过通信网络映射到云子***。首先，获取每个代理的Critic网络参数；然后，计算Critic网络参数的权重，评估参数实际值与目标值之间的偏差；最后，修正每个Critic网络参数的偏差，补偿并更新Critic网络参数。

(1)奖励函数设计在基于环锭纺纱质量的全局工序共享控制***中，设计下所示奖励函数。

其中，U(|a_t|)和L(|a_t|)分别表示一次动作中所有纱线质量控制点a_t的上限值和下限值，a^*表示最优控制值，s_t和

分别表示当前纱线质量特征和当前的纱线质量最优特征，β_ijz是当前单元质量控制点

对后续单元的衰减因子。

(2)所述误差模块中的误差计算：

每个AC中的Actor网络和Critic网络都采用时序差分(Temporal Difference,TD)误差方法学习策略函数和值函数。t时刻，当前的纱线加工质量特征s_t，采用如下公式计算TD误差δ_t：

δ_t＝r_t+1+γv(s_t+1)-v(s_t)

其中，r_t+1表示当前纱线质量特征s_t下，执行质量控制动作a_t后，到达下一个质量特征s_t+1时所得到的瞬时回报，γ为折扣因子。因此，误差函数可以定义为：

(3)网络设计

在此控制***中，每个CPPS单元对应Agent的AC结构中的Actor网络和Critic网络都采用BP神经网络结构。

Actor网络采用多输入多输出结构，任意相邻两个单元中后序单元的输入为该单元的离线知识和纱线质量观测值

输入端的节点数即为离线知识的维度与在线质量特征数l_i的和。输出为该单元纱线质量控制点的调控值

输出端的节点数即为质量控制点的个数n_i，其中θ_i为Actor网络的学习参数。

Critic网络采用多输入单输出结构，输入在Actor网络的输入加上前序单元纱线质量观测值的值函数v(sp_t；ω_i-1)。输出为该单元的纱线质量观测值的值函数v(s_t；ω_i)，输出端只有一个输出节点，其中ω_i-1和ω_i分别是前续单元和后续单元Critic网络的学习参数。

(4)网络学习与优化

在该控制***中，边缘子***的每个单元利用纱线质量在线检测数据和离线知识相结合的方法确定生产单元的状态。当前单元的AC中策略函数和值函数分别用参数θ_i和ω_i表示，σ_i1和σ_i2分别表示它们的学习步长，每个 Critic网络各自更新参数的方法如下：

所述Critic网络参数ω_i：

云子***中的获取器通过工业互联网技术获取边缘子***各Critic 网络的参数ω_i。

对于评估器，首先由如下公式计算各ω_i的权重

根据环锭纺纱各单元生产的复杂程度及工艺要求，设定每个工艺的目标权重为

其次，用

评估各

的偏差，再由如下公式来调整更新ω`_i。

其中，ε_i(ε_i＞0)表示各单元对应Critic网络中参数允许波动的上限值。

最后，将更新后的各参数值传送到边缘子***的对应Critic网络。

所述Actor网络参数θ_i：

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims

1.一种基于环锭纺纱线质量的全局工序共享控制***，其特征在于：包括云子***和边缘子***，所述云子***包括：获取模块、评估模块、修正模块，所述边缘子***包括若干模块，所述模块包括：Agent模块、状态识别模块、动作调节模块、奖励模块、CPPS单元，所述Agent模块包括：Critic网络模块、Actor网络模块、误差模块；

所述CPPS单元中可获取若干个纺纱质量特征数据；

2.根据权利要求1所述的基于环锭纺纱线质量的全局工序共享控制***，其特征在于：所述若干个纺纱质量特征数据包括：与纱线质量相关的人力、机器、物料、生产工艺、生产环境要素的总和。

3.根据权利要求1所述的基于环锭纺纱线质量的全局工序共享控制***，其特征在于：所述奖励函数用于抑制后续各单元的质量波动。

4.根据权利要求1所述的基于环锭纺纱线质量的全局工序共享控制***，其特征在于：所述动作调节模块对质量控制点的值的调节中，通过调节前单元中质量控制点的值抑制后续各单元中的质量波动，通过预测后单元中的质量特征，调节前面各单元中的质量控制点的值。

5.根据权利要求1所述的基于环锭纺纱线质量的全局工序共享控制***，其特征在于：所述Agent模块基于Actor-Critic网络构建。

6.根据权利要求1所述的所述的基于环锭纺纱线质量的全局工序共享控制***，其特征在于：所述Critic网络模块和Actor网络模块皆采用BP神经网络结构，所述Actor网络模块包括Actor策略函数模块，所述Critic网络模块包括Critic值函数模块。

7.根据权利要求1至6的所述的基于环锭纺纱线质量的全局工序共享控制***的方法，其特征在于：具体步骤包括：

S2，将S1中所述s_t时刻所获得的离线知识和纱线质量特征数据输入到Actor网络模块，经过所述Actor网络模块输出质量控制点的调控值，将所述质量控制点的调控值输入所述动作调节模块对相连所述CPPS单元进行质量控制点的调节，经过一定时间的下一时刻，为s_t+1时刻，所述状态识别模块获取调节后的离线知识和所述CPPS单元中的若干个纱线质量特征数据，将所述调节后的离线知识和纱线质量特征数据输入奖励模块获得s_t+1时刻的奖励，将所述调节后的离线知识和纱线质量特征数据输入到所述Critic网络模块中的Critic值函数模块中，得到s_t+1时刻值函数；

S6，更新Actor网络模块中的Actor网络参数。

8.根据权利要求7所述的一种基于环锭纺纱线质量的全局工序共享控制***的方法，其特征在于：所述S5中评估包括：计算所述边缘子***中Critic网络模块中Critic网络参数的权重，根据所述CPPS单元生产的复杂程度及工艺要求设定参数的目标权重，用所述目标权重评估所述边缘子***中各Critic网络模块中Critic网络参数的权重是否有偏差，再通过修正模块修正所述偏差，得到云子***中各Critic网络模块中Critic网络参数，并以此同步更新各边缘子***中Critic网络模块的Critic网络参数。

9.根据权利要求7所述的一种基于环锭纺纱线质量的全局工序共享控制***的方法，其特征在于：所述S6中的更新Actor网络模块中的Actor网络参数的方法为：采用策略梯度下降的方法更新。