CN115392543B - 一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法 - Google Patents

一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法 Download PDF

Info

Publication number
CN115392543B
CN115392543B CN202210909837.2A CN202210909837A CN115392543B CN 115392543 B CN115392543 B CN 115392543B CN 202210909837 A CN202210909837 A CN 202210909837A CN 115392543 B CN115392543 B CN 115392543B
Authority
CN
China
Prior art keywords
product quality
norm
injection molding
matrix
molding product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210909837.2A
Other languages
English (en)
Other versions
CN115392543A (zh
Inventor
吴宗泽
林江豪
李嘉俊
任志刚
阳爱民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210909837.2A priority Critical patent/CN115392543B/zh
Publication of CN115392543A publication Critical patent/CN115392543A/zh
Application granted granted Critical
Publication of CN115392543B publication Critical patent/CN115392543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Manufacturing & Machinery (AREA)
  • Injection Moulding Of Plastics Or The Like (AREA)

Abstract

本发明公开了一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法、***及计算机可读存储介质，包括以下步骤：S1、利用注塑产品生产过程数据和工艺参数构建注塑产品质量关系数据集；S2、利用相关系数矩阵选择注塑产品质量关系数据集的特征；S3、构建结合L21范数和残差级联宽度学习网络结构的预测模型，所述预测模型记作基于L21‑RCBLS的注塑产品质量预测模型；S4、利用已选择的特征从注塑产品质量关系数据集中划分出训练集，利用训练集训练基于L21‑RCBLS的注塑产品质量预测模型；S5、基于训练好的L21‑RCBLS进行注塑产品质量预测。本发明采用残差结构来提升长序列依赖的问题；通过引入L21范数提升宽度学习模型应对异常数据和小样本数据的能力，提升模型的鲁棒性。

Description

一种结合L21范数和残差级联宽度学习的注塑产品质量预测 方法
技术领域
本发明涉及人工智能技术领域，更具体地，涉及一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法、***及计算机可读存储介质。
背景技术
注塑过程是一个复杂的离散制造生产过程。常见的注塑产品质量缺陷有产品缩水、变形等多种。在现有的注塑产品质量预测研究中，主要选择如宽度、厚度和重量作为模型的预测目标，采用回归预测的方法来解决。传统的基于机器学***均值或中位值作为温度特征，以至于异常温度点的重要信息被平均化或被剔除掉，极其容易漏掉有效的全局信息。因此，如何利用生产的全序列数据进行模型学习，并解决长序列信息的依赖问题，是提升质量检测精度需要解决的重点问题。多种异常特征参数的随机组合可能会产生新的缺陷种类，造成了训练数据难以包含所有情况，训练数据以外的离群点，属于典型的零样本或者小样本的问题，传统机器学习方法难以解决，表现出模型泛化能力不足的缺陷，而对离群点的预测是产品质量检测的核心。基于深度学习的方法虽然保证了准确率，但数据采集困难、特征提取复杂、不能针对生产场景灵活转变，并且大规模的参数学习，学习的时间成本非常高，属于典型的数据饥饿模型，需要大量的标注数据来进行模型训练才能获得稳定而有效的模型，否则容易产生过拟合现象，然而在实际工业应用中获得大规模的缺陷标注数据显然是不现实的。现有基于机器学习方法的注塑产品质量预测方法受限于模型泛化能力不足，难以处理训练数据以外的离群点，并且无法解决时序数据下的模型学习；基于深度学习的注塑产品质量预测方法虽然取得了良好的效果，但大规模的参数学习，需要不断地调整神经网络的层数和每层的节点数，在多次迭代后获得网络层之间的权重参数，学习的时间成本非常高，并且属于典型的数据饥饿模型，需要大量的标注数据来进行模型训练才能获得稳定而有效的模型，然而在实际工业应用中获得大规模的缺陷标注数据显然是不现实的，无法避免过拟合现象。
现有技术公开了一种基于输入变量选择与LSTM神经网络的动态软测量建模方法，包括如下步骤:S1：采集输入、输出数据组成历史训练样本数据库；S2：对采集的样本数据进行预处理，将采集的数据进行缺失值、异常值处理及数据标准化；S3：构建和训练LSTM神经网络软测量模型；S4：MNNG算法设计：基于MIC算法设计自适应约束算子，并将自适应约束算子嵌入NNG算法约束中；S5：将MNNG算法嵌入LSTM神经网络结构，优化LSTM网络输入权重，删除冗余变量，建立更简化的软测量模型。该现有技术的技术方案采用的是LSTM神经网络，且其应用领域为软测量没有针对注塑产品质量预测。
发明内容
本发明提供一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法、***及计算机可读存储介质，提高了注塑产品质量预测的效率和监测的准确性，同时提升了监测模型的鲁棒性。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
本发明第一方面提供了一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，包括以下步骤：
S1、利用注塑产品生产过程数据和工艺参数构建注塑产品质量关系数据集；
S2、利用相关系数矩阵选择注塑产品质量关系数据集的特征；
S3、构建结合L21范数和残差级联宽度学习网络结构的预测模型，所述预测模型记作基于L21-RCBLS的注塑产品质量预测模型；
S4、利用已选择的特征从注塑产品质量关系数据集中划分出训练集，利用训练集训练基于L21-RCBLS的注塑产品质量预测模型；
S5、基于训练好的L21-RCBLS进行注塑产品质量预测。
进一步的，所述生产过程数据和工艺参数包括：传感器高频数据、成型机状态数据、机台工艺设定参数、产品测量尺寸。
进一步的，步骤S2所述利用相关系数矩阵选择注塑产品质量关系数据集的特征具体过程为：
删除高频传感器数据表和spc数据表中存在空值和单一值的维度，计算每个模次中高频传感器所采集数据的极大值、极小值、中位值、平均值作为整个周期的值；
删除data_set中的空值和单一值的维度；
对高频传感器数据表和spc数据表各个特征值与每个目标尺寸进行相关分析得到相关矩阵；
根据相关矩阵计算相关系数，将相关系数与预设阈值比较，筛选出符合预设相关度条件的特征。
进一步的，对于筛选出来的特征，在构建输入数据集时，将高频传感器数据表和spc数据表作为时序数据，每个时点的数据对应相应的注塑机台参数data_set，形成模型的最终输入。
进一步的，构建结合L21范数和残差级联宽度学习网络结构具体过程为：给定训练数据集其中，X表示步骤S2中提取到的特征，Y表示实际的尺寸，N表示样本数，M表示特征维数，在预测任务中C＝1，有/>X经过k组特征转换，输出k组特征节点矩阵/>第1个特征组F1可表述如下：
其中，WF1,βF1为随机生成的矩阵，则第2组特征可定义为：
同理可得到第i组特征节点输出Fi为
则特征层的输出Fk＝[F1,F2,…,Fk]，通过增强层的非线性映射，增强组Ej可表述如下：
Ej＝μ(FkWej+βej)，j＝1，2，...，m (4)
μ(·)为非线性激活函数，Wej和βej是增强层中随机生成的权重矩阵和偏置矩阵，增强层输出为生成后为固定参数，因此，采用传统宽度学习模型的最终估计输出可描述为：
表示模型回归的预测值，定义A＝[Fk，Em]，由于/>和/>是随机产生后的固定参数，目标变成优化W，使得/>和Y更接近，优化问题建模为：
其中λ为正则化参数，是为了降低预测值与实际值的误差，/>是为了避免过拟合；
采用L21范数对式(6)进行求解；
L21范数的定义：矩阵的L21范数用||V||2，1表示，具体是先对矩阵V的每一行向量求L2范数，得到v＝[v1，v2，...，vn]T，再对v求L1范数，v表示中间向量，如式(7)所示；
对||V||2，1求导有
根据式(5)和式(6)，基于L21范数的宽度学习可将误差优化问题重新定义为一个受约束的问题，具体表示为：
对公式(9)转化：
对式(10)进行重写，可转化为：
其中I是单位矩阵，令G＝[A γI]，并代入式(11)有：
对式(12)的问题，其拉格朗日函数如式(13)：
L(U)＝||U||2，1-Tr(ΛT(GU-Y)) (13)
对式(13)求导并令导数等于0有：
利用GU＝Y，将式(14)两边乘以GD-1并化简可得Λ＝2(GD-1GT)-1Y，并代入到式(14)中可得：
U＝D-1GT(GD-1GT)-1Y (15)
根据式(8)可知有/>可知D依赖于U，故D也为一个未知变量，采用迭代算法求解U；用Ut表示第t次迭代后的结果，则第t+1次迭代结果可用式(16)表示：
由于D依赖于U，故D也为一个未知变量，采用迭代算法求取U，当t＝0的时，此时的D可以取单位矩阵，然后依次迭代计算，直到满足算法收敛。
进一步的，所述迭代算法的具体过程为：
首先对特征层每一个特征组随机产生参数矩阵Wzi，βzi，同时计算每一个特征组的输出为计算Zi＝σ(XWzi+βzi)，再对特征层的k个特征组计算后得到特征组的输出为Zk＝[Z1，Z2，…，Zk]；
接着，随机产生增强层特征组的参数矩阵Wej，βej，并计算每个增强层特征组的输出为计算Ej＝τ(ZkWej+βej)，对m个特征组计算后，得到增强层的输出为获得Em＝[E1，E2，…，Em]；
随后，将特征层和增强层的输出拼接为矩阵A＝[Zk，Em]，并令G＝[A γI]；在L21范数优化过程中，先初始化矩阵D0为单位矩阵，计算 利用L21范数的定义计算Dt+1，
获得/>
是Dt+1的逆矩阵，经过h次的迭代后，输出最终的矩阵参数U，L21-RCBLS模型的训练结束。
进一步的，训练基于L21-RCBLS的注塑产品质量预测模型具体过程为：
根据选择出的特征将数据集划分出训练集，将训练集作为模型的网络输入，记为X，X经过k组特征映射，形成k组特征节点矩阵，并拼接为Fk＝[F1，F2，…，Fk]；
在特征节点矩阵的基础上，经过非线性变换形成m组增强节点矩阵Em＝[E1，E2，…，Em]，隐藏层节点矩阵拼接为A＝[Zk，Em]，接着对节点矩阵进行拼接，令G＝[A γI]，其中I是单位矩阵；根据式(8)可知有/>可知D依赖于U，故D也为一个未知变量，采用迭代算法求解U；
用Ut表示第t次迭代后的结果，则第t+1次迭代结果可用式(16)表示，由于D依赖于U，故D也为一个未知变量，采用迭代的算法求取U，当t＝0的时候，此时的D可以取单位矩阵，然后依次迭代计算，直到满足算法收敛。
进一步的，采用均方误差对基于L21-RCBLS的注塑产品质量预测模型进行评估。
本发明第二方面提供了一种结合L21范数和残差级联宽度学习的注塑产品质量预测***，该***包括：存储器、处理器，所述存储器中包括一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序，所述一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序被所述处理器执行时实现如下步骤：
S1、利用注塑产品生产过程数据和工艺参数构建注塑产品质量关系数据集；
S2、利用相关系数矩阵选择注塑产品质量关系数据集的特征；
S3、构建结合L21范数和残差级联宽度学习网络结构的预测模型，所述预测模型记作基于L21-RCBLS的注塑产品质量预测模型；
S4、利用已选择的特征从注塑产品质量关系数据集中划分出训练集，利用训练集训练基于L21-RCBLS的注塑产品质量预测模型；
S5、基于训练好的L21-RCBLS进行注塑产品质量预测。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序，所述结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序被处理器执行时，实现所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法的步骤。
与现有技术相比，本发明技术方案的有益效果是：
本发明基于L21范数和残差级联宽度学习构建注塑产品质量预测模型，模型结构简单，利用矩阵批量计算的优势，能实现快速地预测；通过级联的方式解决模型的时序数据学习能力；采用残差结构来提升长序列依赖的问题；通过引入L21范数提升宽度学习模型应对异常数据和小样本数据的能力，提升模型的鲁棒性。
附图说明
图1为本发明一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法流程图。
图2为本发明一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法***框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，本发明第一方面提供了一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，包括以下步骤：
S1、利用注塑产品生产过程数据和工艺参数构建注塑产品质量关系数据集；
需要说明的是，生产过程数据和工艺参数包括：传感器高频数据、成型机状态数据、机台工艺设定参数、产品测量尺寸。
其中，传感器高频数据来自于，模温机及模具传感器采集的数据，单个模次时长为40-43S，采集频率根据阶段有2020Hz和50Hz两种，含有24个温度、压力等传感器采集的数据，是连续的数据。
成型机状态数据来自成型机机台，均为表征成型过程中的一些状态数据，数据维度为86维。每个模次记录一次数据，数据是离散的。
机台工艺设定参数(data_set)包括注塑成型的81种工艺设定参数，这部分数据是在注塑机参数调整的时候产生，只在参数变化时记录，属于离散数据。
产品测量尺寸(size data)：每个模次产品的3维尺寸，记为size1，size2和size3。size1∈[299.85,300.15],size2∈[199.925,200.075]和size3∈[199.925,200.075]分别是size1，size2和size3的合格范围。数据统计显示，异常数据占比非常低，高于上限的异常尺寸产品数量占比分别为2.73％,11.86％和5.78％；低于下限的异常产品数占比为0％,2.01％和0.44％，属于典型的不平衡小样本数据，符合实际生产环境中数据的采集特点，模型计算结果更接近实际场景。
S2、利用相关系数矩阵选择注塑产品质量关系数据集的特征；
需要说明的是，对于构建的数据集，首先进行数据集特征选择处理，本发明主要是采用基于相关系数矩阵的特征选择方法进行处理。对高频传感器数据、spc数据、注塑机台参数进行预处理，构建各类参数与产品质量数据之间的相关矩阵，选择相关度高的特征参数作为模型输入特征，剔除相关度低的特征，是有效的数据降维。具体过程为：
删除高频传感器数据表和spc数据表中存在空值和单一值的维度，计算每个模次中高频传感器所采集数据的极大值、极小值、中位值、平均值作为整个周期的值；
删除data_set中的空值和单一值的维度；
对高频传感器数据表和spc数据表各个特征值与每个目标尺寸进行相关分析得到相关矩阵；
根据相关矩阵计算相关系数，将相关系数与预设阈值比较，筛选出符合预设相关度条件的特征。
对于筛选出来的特征，构建输入数据集时，将高频传感器数据表和spc数据表作为时序数据，每个时点的数据对应相应的注塑机台参数data_set，形成模型的最终输入。
S3、构建结合L21范数和残差级联宽度学习网络结构的预测模型，所述预测模型记作基于L21-RCBLS的注塑产品质量预测模型；
需要说明的是，注塑成型产品尺寸预测任务属于回归预测任务，对传感器高频数据、spc数据、机台工艺设定参数等数据进行特征提取，得到特征矩阵X，X经过L21-RCBLS的特征层线性映射后，再通过增强层的非线性转换，最后将特征层和增强层的输出共同输入到输出层，得到L21-RCBLS的预测结果。
构建结合L21范数和残差级联宽度学习网络结构具体过程为：给定训练数据集其中，X表示步骤S2中提取到的特征，Y表示实际的尺寸，N表示样本数，M表示特征维数，在预测任务中C＝1，有/>X经过k组特征转换，输出k组特征节点矩阵第1个特征组F1可表述如下：
其中，WF1,βF1为随机生成的矩阵，则第2组特征可定义为：
同理可得到第i组特征节点输出Fi为
则特征层的输出Fk＝[F1,F2,…,Fk]，通过增强层的非线性映射，增强组Ej可表述如下：
Ej＝μ(FkWej+βej),j＝1,2,…,m (4)
μ(·)为非线性激活函数，Wej和βej是增强层中随机生成的权重矩阵和偏置矩阵，增强层输出为生成后为固定参数，因此，采用传统宽度学习模型的最终估计输出可描述为：
表示模型回归的预测值，定义A＝[Fk,Em]，由于/>和/>是随机产生后的固定参数，目标变成优化W，使得/>和Y更接近，优化问题建模为：
其中λ为正则化参数，是为了降低预测值与实际值的误差，/>是为了避免过拟合；
需要说明的是，传统的采用吉洪诺夫正则化求解W＝(ATA+λI)-1ATY。L2范数对较大的异常值比较敏感，L1范数对较小的异常值比较敏感，而L21范数则兼具L1和L2范数的鲁棒性。
本发明通过在目标函数中引入L21范数对式(6)进行求解；
L21范数的定义：矩阵的L21范数用||V||2，1表示，具体是先对矩阵V的每一行向量求L2范数，得到v＝[v1，v2，...，vn]T，再对v求L1范数，v表示中间向量，如式(7)所示；
对||V||2，1求导有
根据式(5)和式(6)，基于L21范数的宽度学习可将误差优化问题重新定义为一个受约束的问题，具体表示为：
对公式(9)转化：
对式(10)进行重写，可转化为：
其中I是单位矩阵，令G＝[A γI]，并代入式(11)有：
对式(12)的问题，其拉格朗日函数如式(13)：
L(U)＝||U||2，1-Tr(ΛT(GU-Y)) (13)
对式(13)求导并令导数等于0有：
利用GU＝Y，将式(14)两边乘以GD-1并化简可得Λ＝2(GD-1GT)-1Y，并代入到式(14)中可得：
U＝D-1GT(GD-1GT)-1Y (15)
根据式(8)可知有/>可知D依赖于U，故D也为一个未知变量，采用迭代算法求解U；用Ut表示第t次迭代后的结果，则第t+1次迭代结果可用式(16)表示：
由于D依赖于U，故D也为一个未知变量，在这里采用一种迭代的算法求取U，当t＝0的时，此时的D可以取单位矩阵，然后依次迭代计算，直到满足算法收敛。
所述迭代算法的具体过程为：
首先对特征层每一个特征组随机产生参数矩阵Wzi，βzi，同时计算每一个特征组的输出为计算Zi＝σ(XWzi+βzi)，再对特征层的k个特征组计算后得到特征组的输出为Zk＝[Z1，Z2，…，Zk]；
接着，随机产生增强层特征组的参数矩阵Wej，βej，并计算每个增强层特征组的输出为计算Ej＝τ(ZkWej+βej)，对m个特征组计算后，得到增强层的输出为获得Em＝[E1，E2，…，Em]；
随后，将特征层和增强层的输出拼接为矩阵A＝[Zk，Em]，并令G＝[A γI]；在L21范数优化过程中，先初始化矩阵D0为单位矩阵，计算 利用L21范数的定义计算Dt+1，
获得/> 是Dt+1的逆矩阵，经过h次的迭代后，输出最终的矩阵参数U，L21-RCBLS模型的训练结束。
S4、利用已选择的特征从注塑产品质量关系数据集中划分出训练集，利用训练集训练基于L21-RCBLS的注塑产品质量预测模型；
训练基于L21-RCBLS的注塑产品质量预测模型具体过程为：
根据选择出的特征将数据集划分出训练集，将训练集作为模型的网络输入，记为X，X经过k组特征映射，形成k组特征节点矩阵，并拼接为Fk＝[F1，F2，…，Fk]；
在特征节点矩阵的基础上，经过非线性变换形成m组增强节点矩阵Em＝[E1，E2，…，Em]，隐藏层节点矩阵拼接为A＝[Zk，Em]，接着对节点矩阵进行拼接，令G＝[A γI]，其中I是单位矩阵；根据式(8)可知有/>可知D依赖于U，故D也为一个未知变量，采用迭代算法求解U；
用Ut表示第t次迭代后的结果，则第t+1次迭代结果可用式(16)表示，由于D依赖于U，故D也为一个未知变量，采用迭代的算法求取U，当t＝0的时候，此时的D可以取单位矩阵，然后依次迭代计算，直到满足算法收敛。
S5、基于训练好的L21-RCBLS进行注塑产品质量预测。
需要说明的是，本发明中采用均方误差对基于L21-RCBLS的注塑产品质量预测模型进行评估。利用数据集中的测试集校验已训练好的模型，最后在实际注塑生产中，利用传感器采集到的新数据，基于训练好的模型进行注塑产品质量预测。
实施例2
如图2所示，本发明第二方面提供了一种结合L21范数和残差级联宽度学习的注塑产品质量预测***，该***包括：存储器、处理器，所述存储器中包括一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序，所述一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序被所述处理器执行时实现如下步骤：
S1、利用注塑产品生产过程数据和工艺参数构建注塑产品质量关系数据集；
S2、利用相关系数矩阵选择注塑产品质量关系数据集的特征；
S3、构建结合L21范数和残差级联宽度学习网络结构的预测模型，所述预测模型记作基于L21-RCBLS的注塑产品质量预测模型；
S4、利用已选择的特征从注塑产品质量关系数据集中划分出训练集，利用训练集训练基于L21-RCBLS的注塑产品质量预测模型；
S5、基于训练好的L21-RCBLS进行注塑产品质量预测。
实施例3
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序，所述结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序被处理器执行时，实现所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法的步骤。
本发明方法能有效学习传感器的时序数据，并保障了时序数据信息的长距离依存；同时模型的结构简单，利用矩阵批量计算的优势，能实现快速地预测，提升模型在缺陷检测过程的实时预测能力；具有较好鲁棒性，能更好应对缺陷离群点数据。通过级联的方式，解决模型的时序数据学习能力；采用残差结构来提升长序列依赖的问题，引入L21范数提升宽度学习模型应对异常数据和小样本数据的能力，提升模型的鲁棒性。在宽度学习方法的基础上，通过级联方式来学习长序列信息，应对传感器的时序数据特点；通过残差来解决传感器长序列数据的信息依赖问题；引入L21范数提升宽度学习模型应对异常数据和小样本数据的能力，提升模型的鲁棒性。L2范数对较大的异常值比较敏感，L1范数对较小的异常值比较敏感，而L21范数则兼具L1和L2范数的鲁棒性。
本发明相比于深度神经网络的训练，宽度学习网络的训练不存在人为先验性强的调参工作，也不存在缓慢的梯度优化直至目标函数收敛的过程，只需要通过迭代式的增量学习方法，通过L21范数对关键参数矩阵W的求解，即可得出网络参数矩阵，完成宽度学习网络结构的设计。目前没有结合L21范数和残差级联宽度学习的方法用于注塑产品质量预测的应用。模型训练时，由于宽度学习网络结构的权重只涉及简单的矩阵运算，不存在计算量大的问题，因此注塑产品质量预测的快速性可以保证。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，其特征在于，包括以下步骤：
S1、利用注塑产品生产过程数据和工艺参数构建注塑产品质量关系数据集；
S2、利用相关系数矩阵选择注塑产品质量关系数据集的特征；
S3、构建结合L21范数和残差级联宽度学习网络结构的预测模型，所述预测模型记作基于L21-RCBLS的注塑产品质量预测模型；
具体过程为：
给定训练数据集其中，X表示步骤S2中提取到的特征，Y表示实际的尺寸，N表示样本数，M表示特征维数，在预测任务中C＝1，有/>X经过k组特征转换，输出k组特征节点矩阵/>第1个特征组F1可表述如下：
其中，WF1,βF1为随机生成的矩阵，则第2组特征可定义为：
同理可得到第i组特征节点输出Fi为
则特征层的输出Fk＝[F1,F2,…,Fk]，通过增强层的非线性映射，增强组Ej可表述如下：
Ej＝μ(FkWej+βej),j＝1,2,…,m (4)
μ(·)为非线性激活函数，Wej和βej是增强层中随机生成的权重矩阵和偏置矩阵，增强层输出为生成后为固定参数，因此，采用传统宽度学习模型的最终估计输出可描述为：
表示模型回归的预测值，定义A＝[Fk,Em]，由于/>和/>是随机产生后的固定参数，目标变成优化W，使得/>和Y更接近，优化问题建模为：
其中λ为正则化参数，是为了降低预测值与实际值的误差，/>是为了避免过拟合；
采用L21范数对式(6)进行求解；
L21范数的定义：矩阵的L21范数用‖V‖2,1表示，具体是先对矩阵v的每一行向量求L2范数，得到v＝[v1,v2,…,vn]T，再对v求L1范数，v表示中间向量，如式(7)所示；
对‖V‖2,1求导有
根据式(5)和式(6)，基于L21范数的宽度学习可将误差优化问题重新定义为一个受约束的问题，具体表示为：
对公式(9)转化：
minW,E‖E‖2,1+‖W‖2,1 s.t.A·W+γE＝Y (10)
对式(10)进行重写，可转化为：
其中I是单位矩阵，令G＝[A γI],并代入式(11)有：
minU‖U‖2,1 s.t.GU＝Y (12)
对式(12)的问题，其拉格朗日函数如式(13)：
L(U)＝‖U‖2,1-Tr(ΛT(GU-Y)) (13)
对式(13)求导并令导数等于0有：
利用GU＝Y，将式(14)两边乘以GD-1并化简可得Λ＝2(GD-1GT)-1Y，并代入到式(14)中可得：
U＝D-1GT(GD-1GT)-1Y (15)
根据式(8)可知有/>可知D依赖于U，故D也为一个未知变量，采用迭代算法求解U；用Ut表示第t次迭代后的结果，则第t+1次迭代结果可用式(16)表示：
由于D依赖于U，故D也为一个未知变量，采用迭代的算法求取U，当t＝0的时，此时的D取单位矩阵，然后依次迭代计算，直到满足算法收敛；
S4、利用已选择的特征从注塑产品质量关系数据集中划分出训练集，利用训练集训练基于L21-RCBLS的注塑产品质量预测模型；
S5、基于训练好的L21-RCBLS进行注塑产品质量预测。
2.根据权利要求1所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，其特征在于，所述生产过程数据和工艺参数包括：传感器高频数据、成型机状态数据、机台工艺设定参数、产品测量尺寸。
3.根据权利要求1所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，其特征在于，步骤S2所述利用相关系数矩阵选择注塑产品质量关系数据集的特征具体过程为：
删除高频传感器数据表和spc数据表中存在空值和单一值的维度，计算每个模次中高频传感器所采集数据的极大值、极小值、中位值、平均值作为整个周期的值；
删除注塑机台参数表data_set中的空值和单一值的维度；
对高频传感器数据表和spc数据表各个特征值与每个目标尺寸进行相关分析得到相关矩阵；
根据相关矩阵计算相关系数，将相关系数与预设阈值比较，筛选出符合预设相关度条件的特征。
4.根据权利要求3所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，其特征在于，对于筛选出来的特征，在构建输入数据集时，将高频传感器数据表和spc数据表作为时序数据，每个时点的数据对应相应的注塑机台参数data_set，形成模型的最终输入。
5.根据权利要求1所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，其特征在于，所述迭代算法的具体过程为：
首先对特征层每一个特征组随机产生参数矩阵Wzi,βzi，同时计算每一个特征组的输出为计算Zi＝σ(XWzi+βzi)，再对特征层的k个特征组计算后得到特征组的输出为Zk＝[Z1,Z2,…,Zk]；
接着，随机产生增强层特征组的参数矩阵Wej,βej，并计算每个增强层特征组的输出为计算Ej＝τ(ZkWej+βej)，对m个特征组计算后，得到增强层的输出为获得Em＝[E1,E2,…,Em]；
随后，将特征层和增强层的输出拼接为矩阵A＝[Zk,Em]，并令G＝[A γI]；在L21范数优化过程中，先初始化矩阵D0为单位矩阵，计算利用L21范数的定义计算Dt+1，
获得/> 是Dt+1的逆矩阵，经过h次的迭代后，输出最终的矩阵参数U，L21-RCBLS模型的训练结束。
6.根据权利要求5所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，其特征在于，训练基于L21-RCBLS的注塑产品质量预测模型具体过程为：
根据选择出的特征将数据集划分出训练集，将训练集作为模型的网络输入，记为X，X经过k组特征映射，形成k组特征节点矩阵，并拼接为Fk＝[F1,F2,…,Fk]；
在特征节点矩阵的基础上，经过非线性变换形成m组增强节点矩阵Em＝[E1,E2,…,Em]，隐藏层节点矩阵拼接为A＝[Zk,em]，接着对节点矩阵进行拼接，令G＝[A γI]，其中I是单位矩阵；根据式(8)可知有/>可知D依赖于U，故D也为一个未知变量，采用迭代算法求解U；
用Ut表示第t次迭代后的结果，则第t+1次迭代结果可用式(16)表示，由于D依赖于U，故D也为一个未知变量，采用迭代的算法求取U，当t＝0的时候，此时的D取单位矩阵，然后依次迭代计算，直到满足算法收敛。
7.根据权利要求1所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法，其特征在于，采用均方误差对基于L21-RCBLS的注塑产品质量预测模型进行评估。
8.一种结合L21范数和残差级联宽度学习的注塑产品质量预测***，其特征在于，该***包括：存储器、处理器，所述存储器中包括一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序，所述一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序被所述处理器执行时实现如下步骤：
S1、利用注塑产品生产过程数据和工艺参数构建注塑产品质量关系数据集；
S2、利用相关系数矩阵选择注塑产品质量关系数据集的特征；
S3、构建结合L21范数和残差级联宽度学习网络结构的预测模型，所述预测模型记作基于L21-RCBLS的注塑产品质量预测模型；
具体过程为：
给定训练数据集其中，X表示步骤S2中提取到的特征，Y表示实际的尺寸，N表示样本数，M表示特征维数，在预测任务中C＝1，有/>X经过k组特征转换，输出k组特征节点矩阵/>第1个特征组F1可表述如下：
其中，WF1,βF1为随机生成的矩阵，则第2组特征可定义为：
同理可得到第i组特征节点输出Fi为
则特征层的输出Fk＝[F1,F2,…,Fk]，通过增强层的非线性映射，增强组Ej可表述如下：
Ej＝μ(FkWej+βej),j＝1,2,…,m (4)
μ(·)为非线性激活函数，Wej和βej是增强层中随机生成的权重矩阵和偏置矩阵，增强层输出为生成后为固定参数，因此，采用传统宽度学习模型的最终估计输出可描述为：
表示模型回归的预测值，定义A＝[Fk,Em]，由于/>和/>是随机产生后的固定参数，目标变成优化W，使得/>和Y更接近，优化问题建模为：
其中λ为正则化参数，是为了降低预测值与实际值的误差，/>是为了避免过拟合；
采用L21范数对式(6)进行求解；
L21范数的定义：矩阵的L21范数用‖V‖2,1表示，具体是先对矩阵v的每一行向量求L2范数，得到v＝[v1,v2,…,vn]T，再对v求L1范数，v表示中间向量，如式(7)所示；
对‖V‖2,1求导有
根据式(5)和式(6)，基于L21范数的宽度学习可将误差优化问题重新定义为一个受约束的问题，具体表示为：
对公式(9)转化：
minW,E‖E‖2,1+‖W‖2,1 s.t.A·W+γE＝Y (10)
对式(10)进行重写，可转化为：
其中I是单位矩阵，令G＝[A γI],并代入式(11)有：
minU‖U‖2,1 s.t.GU＝Y (12)
对式(12)的问题，其拉格朗日函数如式(13)：
L(U)＝‖U‖2,1-Tr(ΛT(GU-Y)) (13)
对式(13)求导并令导数等于0有：
利用GU＝Y，将式(14)两边乘以GD-1并化简可得Λ＝2(GD-1GT)-1Y，并代入到式(14)中可得：
U＝D-1GT(GD-1GT)-1Y (15)
根据式(8)可知有/>可知D依赖于U，故D也为一个未知变量，采用迭代算法求解U；用Ut表示第t次迭代后的结果，则第t+1次迭代结果可用式(16)表示：
由于D依赖于U，故D也为一个未知变量，采用迭代的算法求取U，当t＝0的时，此时的D取单位矩阵，然后依次迭代计算，直到满足算法收敛；
S4、利用已选择的特征从注塑产品质量关系数据集中划分出训练集，利用训练集训练基于L21-RCBLS的注塑产品质量预测模型；
S5、基于训练好的L21-RCBLS进行注塑产品质量预测。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序，所述结合L21范数和残差级联宽度学习的注塑产品质量预测方法程序被处理器执行时，实现如权利要求1至7中任一项所述的一种结合L21范数和残差级联宽度学习的注塑产品质量预测方法的步骤。
CN202210909837.2A 2022-07-29 2022-07-29 一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法 Active CN115392543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210909837.2A CN115392543B (zh) 2022-07-29 2022-07-29 一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210909837.2A CN115392543B (zh) 2022-07-29 2022-07-29 一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法

Publications (2)

Publication Number Publication Date
CN115392543A CN115392543A (zh) 2022-11-25
CN115392543B true CN115392543B (zh) 2023-11-24

Family

ID=84119246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210909837.2A Active CN115392543B (zh) 2022-07-29 2022-07-29 一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法

Country Status (1)

Country Link
CN (1) CN115392543B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635245A (zh) * 2018-09-29 2019-04-16 中国矿业大学 一种鲁棒宽度学习***
CN111680846A (zh) * 2020-06-16 2020-09-18 中国矿业大学 一种基于l1和l2范数的简化宽度学习***
EP3761239A1 (en) * 2019-07-01 2021-01-06 Institut Mines-Telecom Devices and methods for lattice points enumeration
CN112469970A (zh) * 2018-07-27 2021-03-09 大众汽车股份公司 用于估计在车辆的自定位方面的定位质量的方法、用于执行该方法的方法步骤的设备以及计算机程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544572B2 (en) * 2019-02-15 2023-01-03 Capital One Services, Llc Embedding constrained and unconstrained optimization programs as neural network layers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112469970A (zh) * 2018-07-27 2021-03-09 大众汽车股份公司 用于估计在车辆的自定位方面的定位质量的方法、用于执行该方法的方法步骤的设备以及计算机程序
CN109635245A (zh) * 2018-09-29 2019-04-16 中国矿业大学 一种鲁棒宽度学习***
EP3761239A1 (en) * 2019-07-01 2021-01-06 Institut Mines-Telecom Devices and methods for lattice points enumeration
CN111680846A (zh) * 2020-06-16 2020-09-18 中国矿业大学 一种基于l1和l2范数的简化宽度学习***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Frobenius和L2,1范数的多输出宽度学习***;楮菲 等;《控制与决策》;1-7 *
基于宽度学习的注塑产品质量预测方法;林江豪 等;《电子与信息学报》;第44卷(第5期);1581-1590 *

Also Published As

Publication number Publication date
CN115392543A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN110414788B (zh) 一种基于相似日和改进lstm的电能质量预测方法
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN115203865B (zh) 一种基于数字孪生的产品装配过程机械性能在线预测方法
CN111539132B (zh) 一种基于卷积神经网络的动载荷时域识别方法
CN111353631A (zh) 基于多层lstm的火电厂凝汽器真空度预测方法
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
CN116975645A (zh) 一种基于vae-mrcnn的工业过程软测量建模方法
CN116226739A (zh) 一种基于时空融合的图卷积网络工业过程故障诊断方法
CN112001115A (zh) 一种半监督动态软测量网络的软测量建模方法
CN114692507A (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
CN110738363A (zh) 一种光伏发电功率预测模型及其构建方法和应用
CN113313322B (zh) Moea/d挤压工艺参数多目标优化方法及装置
CN115392543B (zh) 一种结合l21范数和残差级联宽度学习的注塑产品质量预测方法
CN116937559A (zh) 基于循环神经网络和张量分解的电力***负荷预测***和方法
CN117877587A (zh) 一种全基因组预测模型的深度学习算法
CN114595890A (zh) 基于bp-svr组合模型的船舶备件需求预测方法及***
CN115222098A (zh) 一种基于分布式在线学习的短期电力负荷预测方法
CN114943328A (zh) 基于bp神经网络非线性组合的sarima-gru时序预测模型
CN114638421A (zh) 一种发电机组备件需求的预测方法
CN114253959A (zh) 一种基于动力学原理与时间差分的数据补全方法
CN113469262A (zh) 一种基于Fisher信息矩阵的增量学习方法
CN111680846A (zh) 一种基于l1和l2范数的简化宽度学习***
CN111861002A (zh) 基于数据驱动高斯学习技术的建筑物冷热负荷预测方法
CN118097435B (zh) 基于超图神经网络的玉米倒伏分类方法及装置
CN113111405B (zh) 一种基于改进的二阶振荡pso算法的nurbs曲线拟合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant