CN111046080A - 一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法 - Google Patents
一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法 Download PDFInfo
- Publication number
- CN111046080A CN111046080A CN201911238154.3A CN201911238154A CN111046080A CN 111046080 A CN111046080 A CN 111046080A CN 201911238154 A CN201911238154 A CN 201911238154A CN 111046080 A CN111046080 A CN 111046080A
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- layer
- carbon fiber
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 64
- 229920000049 Carbon (fiber) Polymers 0.000 title claims abstract description 59
- 239000004917 carbon fiber Substances 0.000 title claims abstract description 59
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000002243 precursor Substances 0.000 title claims abstract description 45
- 238000007781 pre-processing Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012217 deletion Methods 0.000 claims abstract description 22
- 230000037430 deletion Effects 0.000 claims abstract description 22
- 238000004519 manufacturing process Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 35
- 238000011049 filling Methods 0.000 claims description 29
- 238000010606 normalization Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000011068 loading method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 claims 1
- 238000007405 data analysis Methods 0.000 description 6
- 238000007380 fibre production Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009987 spinning Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000002657 fibrous material Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 229920002239 polyacrylonitrile Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010025 steaming Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000011550 stock solution Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Treatment Of Fiber Materials (AREA)
Abstract
本发明公开了一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法,包括以下步骤:1)采集碳纤维原丝生产监测数据,并将数据按照时间顺序和工艺顺序整理成数据集;2)选取数据集中无缺失的样本,作为目标数据集;对目标数据集进行随机缺失操作,获得训练数据集;3)建立卷积去噪自编码器模型,并利用步骤2)中保存的训练数据集和目标数据集对模型进行训练;4)利用步骤3)训练好的卷积去噪自编码器模型对待处理的原丝监测数据进行预处理。本发明通过设计一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法,解决碳纤维监测数据中存在的缺失和离群点问题,能够快速完成碳纤维监测数据的预处理。
Description
技术领域
本发明涉及碳纤维生产技术,尤其涉及一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法。
背景技术
碳纤维是一种含碳量在90%以上的高强度和高模量的新型纤维材料,其质量比铝轻,强度却高于钢铁,具有耐腐蚀、耐疲劳的特性。同时,又兼备纺织纤维的柔软可加工性,在国防军工和民用方面都是重要材料。聚丙烯腈基碳纤维因其工艺简单、成本较低和优良的性能成为了目前市场占有率最高的一种碳纤维。我国碳纤维研究与生产起步较慢,目前国内高性能碳纤维产品由于受到工艺技术的限制,未能实现全面的工业化生产,导致我国80%以上的高性能碳纤维依赖进口。
碳纤维原丝质量是制约碳纤维提高的“瓶颈”。为了提高原丝质量,保证生产的稳定性,对碳纤维原丝生产过程进行实时监测是十分必要的。近年来,碳纤维生产过程的监测问题越来越得到工业界的重视。随着智能制造及大数据的发展,越来越多的监测设备和传感器被部署到碳纤维生产过程中,由此获得得了海量的生产过程监测数据。但是由于网络传输问题、传感器故障及其他人为因素,碳纤维监测数据中往往存在着噪声、缺失等数据质量问题,并且数据体量大,维度高的特点一起给后续的数据分析或建模问题带来了极大的不便。数据缺失是指在时间序列数据中部分时间段的缺失,或者是部分维度的缺失的现象。数据噪声是指数据中存在着错误值,或者是明显偏离期望的离群值。在碳纤维监测数据中,突出的数据质量问题是维度数据的缺失以及不显著离群点。
传统的数据预处理方法,多以统计知识或机器学***滑滤波的方法对数据流进行平滑,去除突变数据。随着深度学习的发展和监测数据体量的不断增大,越来越多的深度学习技术被应用到数据预处理领域中。相对于传统的方法,深度学习在处理高维度、体量大的问题上展示出了显著的优势。
碳纤维原丝的生产环境复杂,工序繁多,一个完整的原丝纺丝过程包括原液制备、纺丝、水洗、牵伸、上油、烘干等环节,同时工艺参数间存在着强烈的耦合关系,造成了碳纤维原丝生产监测数据具有高维度、体量大、价值高、时序性、耦合性和混杂性的特点。一方面,某一时刻监测量的是上一时刻该监测量变化情况的延续;另一方面,该监测量又受到同一时刻其他监测量的影响。这种复杂的相关关系给数据预处理和后续的数据挖掘工作都带来一定的困难。而目前已有的数据预处理方法,特别是针对碳纤维监测缺失和噪声干扰的解决方法,缺少对碳纤维监测数据本身特性的关注,普通统计方法的处理效率较低,效果不好。
为了解决碳纤维生产监测数据中所存在的数据质量中包含的缺失和噪声问题,以及数据体量大,维度高的特点所造成的问题,本发明设计了一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法。该方法通过卷积去噪自编码器模型同时解决碳纤维监测数据中存在的缺失和噪声问题,在高维度、体量大的碳纤维监测数据上有很大的优势。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法。
本发明解决其技术问题所采用的技术方案是:一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法,包括以下步骤:
1)采集碳纤维原丝生产监测数据,并将数据按照时间顺序和工艺顺序整理成数据集;
2)选取数据集中无缺失的样本,作为目标数据集;对目标数据集进行随机缺失操作,获得训练数据集;
3)建立卷积去噪自编码器模型,并利用步骤2)中保存的训练数据集和目标数据集对模型进行训练;
所述卷积去噪自编码器模型如下:
卷积去噪自编码器共10层,包括全连接层、2D卷积层、最大池化层、上采样层和反卷积层,
其中,第1层为全连接层,第2、4层为2D卷积层,第3、5层为最大池化层,第6、8层为上采样层,第7、9层为反卷积层,第10层为输出层,输出层为全连接层;
4)利用步骤3)训练好的卷积去噪自编码器模型对待处理的原丝监测数据进行预处理。
按上述方案,所述步骤1)中将数据按照时间顺序和工艺顺序整理成数据集,具体如下:
1.1)采集碳纤维原丝生产过程的实时监测数据,以时间为采集序列,根据温度、压力、流量的数据类型生成数据集X=Xi,其中,***每一时刻的运行数据值作为该矩阵的一行,其中1≤i≤n,n为数据变量的数目,监测数据包含原丝生产的各个时间段,针对各种数据类型生成数据集表示为:
X=[X1,X2,X3,…,Xi…,Xn]
1.2)对数据集的特征按照如下原则重新排序,所述原则为:
将数据集的特征按照碳纤维原丝生产的工艺顺序排列;
同一工序内的相同类型的监测数据相邻;
1.3)将整理好的数据集上传至云平台。
按上述方案,所述步骤2)中获得训练数据集的具体步骤如下:
2.1)在步骤1)整理好的数据集中选取无缺失的数据子集X;
2.2)对数据集X进行归一化处理,作为目标数据集D_output,归一化的方法如下:
其中,x为选取的无缺失数据集X中的数据,x’是归一化后的数据集X的数据;
2.3)使用随机置零法,对数据集进行随机缺失操作,缺失比例根据碳纤维原丝监测数据的缺失情况按需设置,由此得到损坏数据集D_corruption;
2.4)对损坏数据集D_corruption进行归一化,得到输入数据集D_input。
按上述方案,所述步骤2.3)中对使用随机置零法,对数据集进行随机缺失操作前,还包括对数据集添加高斯噪声的操作:
对X添加加性高斯白噪声;
X′i=Xi+μ*Zi~N(0,1)
其中,μ为噪声因子,用于控制添加噪声的幅度。
按上述方案,所述步骤3)中,对模型进行训练时采用的损失函数选择为重构样本D_train和目标样本D_output的均方误差;
按上述方案,所述步骤4)中,待处理的原丝监测数据进行预处理,具体如下:
4.1)将数据进行以天为单位整理成数据集,并将该数据集重新排列,缺失值以零值代替;
4.2)对上述数据集进行归一化;
4.3)加载步骤3)中的卷积去噪自编码器模型,并将归一化处理后的数据作为输入,利用模型得出重构数据;
4.4)对重构数据进行反归一化,得到预处理后的原丝监测数据。
按上述方案,所述卷积去噪自编码器,具体结构如下:
3.1)第1层为全连接层,神经元个数为256,激活函数为relu函数,然后将第一层输出的特征向量利用Reshape函数构造成特征图,尺寸为16*16*1;
ReLu(x)=max(0,x)
h1=ReLu(w1h0+b1)
其中,h0为输入层,w1为全连接层神经元权重,b1为偏置。
3.2)第2、4层为2D卷积层,卷积层的深度分别为16、8,卷积核的大小为3*3,激活函数均为relu函数,填充方式为SAME填充,填充的目的是为了保持特征图的大小不变;
h2,a=ReLu(h1*w2,a+b2,a)
其中,h2,a,w2,a为卷积层的第a个卷积面和卷积核;
3.3)第3、5层为最大池化层,池大小为2*2,填充为SAME填充;
h3,a=down(h2,a)
其中,h3,a为对应卷积面的下采样结果;
3.4)第6、8层为上采样层,尺寸为2*2;
3.5)第7、9层为反卷积层,反卷积层中卷积核的个数分别为16、1,卷积核的大小为3*3,激活函数均为relu函数,填充为SAME填充;
3.6)第10层为输出层,输出层为全连接层,其神经元个数为195,激活函数为relu函数,在进入全连接层之前,需要对第9层输出的特征图展开,重新构造成一个特征向量。
本发明产生的有益效果是:
1.现有的数据预处理过程中,忽略了碳纤维监测数据中存在的复杂相关关系,导致预处理的效果不佳。针对上述问题,本发明通过在去噪自编码器模型中加入卷积层和池化层,利用数据间的相关关系,对数据进行更好的重构,在预处理效果上表现出了很大的优势。
2.现有的数据预处理过程中,去噪和缺失填补分为独立的两步,且由于监测数据的高维度、体量大的问题,传统的方法呈现出了效率过低,或者精度不高的缺陷。针对上述问题,本发明通过设计一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法,有效融合了去噪和缺失填补,解决碳纤维监测数据中存在的缺失和离群点问题,能够快速完成碳纤维监测数据的预处理。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的方法流程图;
图2是本发明实施例的卷积去噪自编码器的网络结构图;
图3是本发明实施例的去噪自编码器的原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法,包括以下步骤:
步骤1:从碳纤维生产厂的实时数据库中采集碳纤维原丝生产监测数据上传至大数据分析平台,并将数据按照时间顺序和工艺顺序整理成数据集。具体包括以下步骤:
1.1:从碳纤维生产厂的实时数据库中收集碳纤维原丝生产过程的实时监测数据,以时间为采集序列,针对温度、压力、流量等数据类型生成数据集X=Xi,其中***每一时刻的运行数据值作为该矩阵的一行,其中1≤i≤n,n为数据变量的数目,监测数据需尽量包含原丝生产的各个时间段,针对各种数据类型生成数据集可表示为:
X=[X1,X2,X3,…,Xi…,Xn]
1.2:对数据集的特征按照如下原则重新排序。遵照原则为:
①将数据集的特征按照碳纤维原丝生产的工艺顺序排列(工艺顺序为纺丝-水洗-水牵-上油-烘干-蒸牵-卷绕)。
②同一工序内的相同类型的监测数据相邻。
1.3:将整理好的数据集上传至云平台。
步骤2:在大数据平台上选取数据集中无缺失的样本,作为目标数据集;对目标数据集加以随机损坏作为训练数据集,具体步骤如下:
2.1在步骤1整理好的数据集中选取无缺失的数据X;
2.2对数据集X进行归一化处理,作为目标数据集D_output,并将该归一化模型保存到大数据分析平台上。归一化的方法如下:
其中X为选取的无缺失数据集,X’是归一化后的数据
2.3对X添加加性高斯白噪声;
X′i=Xi+μ*Zi~N(0,1)
其中,μ为噪声因子,其控制了添加噪声的幅度。
2.4使用随机置零法,对添加高斯噪声后的数据集进行随机缺失操作,缺失比例根据碳纤维原丝监测数据的缺失情况设置为0.1,由此得到损坏数据集D_corruption;
2.5利用上述保存的归一化模型对损坏数据集D_corruption进行归一化,得到输入数据集D_input。
步骤3:设计卷积去噪自编码器模型,并利用步骤2中保存的训练数据集和目标数据集对模型进行训练,选择效果最佳的模型保存为HDF5文件,作为最终模型,并将该模型部署到大数据分析平台上。
具体包括以下步骤:
3.1设计卷积去噪自编码器,如图2所示,该自编码器共10层,由全连接层、2D卷积层、最大池化层、上采样层和反卷积层组成,具体结构如下:
3.1.1第1层为全连接层,神经元个数为256,激活函数为relu函数。相对于sigmoid函数和tanh函数,relu函数的计算复杂度低,并且解决了梯度消失的问题。然后将第一层输出的特征向量利用Reshape函数构造为特征图,尺寸为16*16*1,这样做的目的是适应后续卷积层的操作。
ReLu(x)=max(0,x)
h1=ReLu(w1h0+b1)
其中,h0为输入层,w1为全连接层神经元权重,b1为偏置。
3.1.2第2、4层为2D卷积层,卷积层的深度分别为16、8,卷积核的大小为3*3,激活函数均为relu函数。填充方式为SAME填充。填充的目的是为了保持特征图的大小不变。
h2,a=ReLu(h1*w2,a+b2,a)
其中,h2,a,w2,a为卷积层的第a个卷积面和卷积核。
3.1.3第3、5层为最大池化层,池大小为2*2,填充为SAME填充。
h3,a=down(h2,a)
其中,h3,a为对应卷积面的下采样结果。
3.1.4第6、8层为上采样层,尺寸为2*2。
3.1.5第7、9层为反卷积层,反卷积层中卷积核的个数分别为16、1,卷积核的大小为3*3,激活函数均为relu函数,填充为SAME填充。
3.1.6第10层为输出层,输出层为全连接层,其神经元个数为195,激活函数为relu函数。在进入全连接层之前,需要对第9层输出的特征图展开,重新构造成一个特征向量。
3.2对卷积自编码器进行训练。
3.2.1输入数据集为D_input,目标数据集为D_output。
3.2.2在训练过程中,随机选取训练集中的20%数据作为验证集,迭代次数为200;当训练集的损失函数趋于稳定,不再随着迭代次数显著下降,而验证集的损失函数开始呈现上升的趋势时,证明训练完成。
3.2.3优化算法选择为Adam算法,Adam是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重,初始学习率为0.01;
3.2.4损失函数选择为重构样本D_train和目标样本D_output的均方误差。
3.3将训练好的模型和权重保存在一个HDF5文件中,该文件包含模型的结构、权重以及训练配置等信息,将所有信息打包保存在云平台上。
步骤4:利用步骤3训练好的预处理模型对后续的原丝监测数据进行预处理,将处理好的数据存入大数据分析平台的数据仓库中,达到预处理的目的,具体包括以下步骤:
4.1将数据进行以天为单位整理成数据集,并将该数据集重新排列,缺失值以零值代替;
4.2利用大数据分析平台保存的归一化模型对上述数据集进行归一化;
4.3加载步骤3中保存的卷积去噪自编码器模型,并将归一化处理后的数据作为输入,利用模型得出重构数据;
4.4利用归一化模型对重构数据进行反归一化,得到预处理好的数据,并保存到数据仓库中。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法,其特征在于,包括以下步骤:
1)采集碳纤维原丝生产监测数据,并将数据按照时间顺序和工艺顺序整理成数据集;
2)选取数据集中无缺失的样本,作为目标数据集;对目标数据集进行随机缺失操作,获得训练数据集;
3)建立卷积去噪自编码器模型,并利用步骤2)中保存的训练数据集和目标数据集对模型进行训练;
所述卷积去噪自编码器模型如下:
卷积去噪自编码器共10层,包括全连接层、2D卷积层、最大池化层、上采样层和反卷积层,
其中,第1层为全连接层,第2、4层为2D卷积层,第3、5层为最大池化层,第6、8层为上采样层,第7、9层为反卷积层,第10层为输出层,输出层为全连接层;
4)利用步骤3)训练好的卷积去噪自编码器模型对待处理的原丝监测数据进行预处理。
2.根据权利要求1所述的碳纤维原丝监测数据预处理方法,其特征在于,所述步骤1)中将数据按照时间顺序和工艺顺序整理成数据集,具体如下:
1.1)采集碳纤维原丝生产过程的实时监测数据,以时间为采集序列,根据温度、压力、流量的数据类型生成数据集X=Xi,其中,***每一时刻的运行数据值作为该矩阵的一行,其中1≤i≤n,n为数据变量的数目,监测数据包含原丝生产的各个时间段,针对各种数据类型生成数据集表示为:
X=[X1,X2,X3,…,Xi…,Xn]
1.2)对数据集的特征按照如下原则重新排序,所述原则为:
将数据集的特征按照碳纤维原丝生产的工艺顺序排列;
同一工序内的相同类型的监测数据相邻;
1.3)将整理好的数据集上传至云平台。
4.根据权利要求3所述的碳纤维原丝监测数据预处理方法,其特征在于,所述步骤2.3)中对使用随机置零法,对数据集进行随机缺失操作前,还包括对数据集添加高斯噪声的操作:
对X添加加性高斯白噪声;
X′i=Xi+μ*Zi~N(0,1)
其中,μ为噪声因子,用于控制添加噪声的幅度。
6.根据权利要求1所述的碳纤维原丝监测数据预处理方法,其特征在于,所述步骤4)中,待处理的原丝监测数据进行预处理,具体如下:
4.1)将数据进行以天为单位整理成数据集,并将该数据集重新排列,缺失值以零值代替;
4.2)对上述数据集进行归一化;
4.3)加载步骤3)中的卷积去噪自编码器模型,并将归一化处理后的数据作为输入,利用模型得出重构数据;
4.4)对重构数据进行反归一化,得到预处理后的原丝监测数据。
7.根据权利要求1所述的碳纤维原丝监测数据预处理方法,其特征在于,所述步骤3)中,卷积去噪自编码器的具体结构如下:
3.1)第1层为全连接层,神经元个数为256,激活函数为relu函数,然后将第一层输出的特征向量利用Reshape函数构造成特征图,尺寸为16*16*1;
ReLu(x)=max(0,x)
h1=ReLu(w1h0+b1)
其中,h0为输入层,w1为全连接层神经元权重,b1为偏置。
3.2)第2、4层为2D卷积层,卷积层的深度分别为16、8,卷积核的大小为3*3,激活函数均为relu函数,填充方式为SAME填充,填充的目的是为了保持特征图的大小不变;
h2,a=ReLu(h1*w2,a+b2,a)
其中,h2,a,w2,a为卷积层的第a个卷积面和卷积核;
3.3)第3、5层为最大池化层,池大小为2*2,填充为SAME填充;
h3,a=down(h2,a)
其中,h3,a为对应卷积面的下采样结果;
3.4)第6、8层为上采样层,尺寸为2*2;
3.5)第7、9层为反卷积层,反卷积层中卷积核的个数分别为16、1,卷积核的大小为3*3,激活函数均为relu函数,填充为SAME填充;
3.6)第10层为输出层,输出层为全连接层,其神经元个数为195,激活函数为relu函数,在进入全连接层之前,需要对第9层输出的特征图展开,重新构造成一个特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911238154.3A CN111046080A (zh) | 2019-12-05 | 2019-12-05 | 一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911238154.3A CN111046080A (zh) | 2019-12-05 | 2019-12-05 | 一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111046080A true CN111046080A (zh) | 2020-04-21 |
Family
ID=70234782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911238154.3A Pending CN111046080A (zh) | 2019-12-05 | 2019-12-05 | 一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046080A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114109456A (zh) * | 2020-08-28 | 2022-03-01 | 神华神东煤炭集团有限责任公司 | 用于煤矿地下水库煤柱坝体结构的监测预警方法与*** |
CN114417923A (zh) * | 2022-01-13 | 2022-04-29 | 哈尔滨工业大学 | 一种基于卷积降噪自编码器的车致应力鲁棒关联映射方法 |
CN116092614A (zh) * | 2023-03-06 | 2023-05-09 | 山东大学 | 一种基于混合神经网络的碳纤维原丝制备仿真方法 |
CN117116476A (zh) * | 2023-07-04 | 2023-11-24 | 中国医学科学院阜外医院 | 下游任务预测方法、装置及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109213753A (zh) * | 2018-08-14 | 2019-01-15 | 西安理工大学 | 一种基于在线pca的工业***监测数据恢复方法 |
CN109815223A (zh) * | 2019-01-21 | 2019-05-28 | 北京科技大学 | 一种针对工业监测数据缺失的补全方法及补全装置 |
CN109829903A (zh) * | 2019-01-28 | 2019-05-31 | 合肥工业大学 | 一种基于卷积去噪自编码器的芯片表面缺陷检测方法 |
CN109887290A (zh) * | 2019-03-30 | 2019-06-14 | 西安电子科技大学 | 基于平衡指数平滑法和栈式自编码器的交通流预测方法 |
CN109978079A (zh) * | 2019-04-10 | 2019-07-05 | 东北电力大学 | 一种改进的堆栈降噪自编码器的数据清洗方法 |
-
2019
- 2019-12-05 CN CN201911238154.3A patent/CN111046080A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109213753A (zh) * | 2018-08-14 | 2019-01-15 | 西安理工大学 | 一种基于在线pca的工业***监测数据恢复方法 |
CN109815223A (zh) * | 2019-01-21 | 2019-05-28 | 北京科技大学 | 一种针对工业监测数据缺失的补全方法及补全装置 |
CN109829903A (zh) * | 2019-01-28 | 2019-05-31 | 合肥工业大学 | 一种基于卷积去噪自编码器的芯片表面缺陷检测方法 |
CN109887290A (zh) * | 2019-03-30 | 2019-06-14 | 西安电子科技大学 | 基于平衡指数平滑法和栈式自编码器的交通流预测方法 |
CN109978079A (zh) * | 2019-04-10 | 2019-07-05 | 东北电力大学 | 一种改进的堆栈降噪自编码器的数据清洗方法 |
Non-Patent Citations (10)
Title |
---|
BO LI等: "DENOISING CONVOLUTIONAL AUTOENCODER BASED B-MODE ULTRASOUND TONGUE IMAGE FEATURE EXTRACTION" * |
JANEBHOP SAWAENGCHOB等: "A Fast Convolutional Denoising Autoencoder Based Extreme Learning Machine" * |
JUNJIE CHEN等: "Sparse Convolutional Denoising Autoencoders for Genotype Imputation" * |
LOVEDEEP GONDARA等: "Medical image denoising using convolutional denoising autoencoders" * |
LOVEDEEP GONDARA等: "Multiple Imputation using Denoising Autoencoders" * |
PASCAL VINCENT等: "Extracting and Composing Robust Features with Denoising Autoencoders" * |
PASCAL VINCENT等: "Pascal Vincent等 Extracting and Composing Robust Features with Denoising Autoencoders" * |
代杰杰等: "基于栈式降噪自编码器的输变电设备状态数据清洗方法" * |
殷敬伟等: "基于降噪自编码器的水声信号增强研究" * |
熊维: "面向视觉特征表达的深度学习算法研究" * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114109456A (zh) * | 2020-08-28 | 2022-03-01 | 神华神东煤炭集团有限责任公司 | 用于煤矿地下水库煤柱坝体结构的监测预警方法与*** |
CN114417923A (zh) * | 2022-01-13 | 2022-04-29 | 哈尔滨工业大学 | 一种基于卷积降噪自编码器的车致应力鲁棒关联映射方法 |
CN116092614A (zh) * | 2023-03-06 | 2023-05-09 | 山东大学 | 一种基于混合神经网络的碳纤维原丝制备仿真方法 |
CN117116476A (zh) * | 2023-07-04 | 2023-11-24 | 中国医学科学院阜外医院 | 下游任务预测方法、装置及计算机可读存储介质 |
CN117116476B (zh) * | 2023-07-04 | 2023-12-19 | 中国医学科学院阜外医院 | 下游任务预测方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046080A (zh) | 一种基于卷积去噪自编码器的碳纤维原丝监测数据预处理方法 | |
CN110349146B (zh) | 基于轻量级卷积神经网络的织物缺陷识别***的搭建方法 | |
CN111723738B (zh) | 一种基于迁移学习的煤岩壳质组显微图像分类方法及*** | |
CN112577747A (zh) | 一种基于空间池化网络的滚动轴承故障诊断方法 | |
CN108932314A (zh) | 一种基于深度哈希学习的菊花图像内容检索方法 | |
CN110991424A (zh) | 基于最小熵解卷积和堆叠稀疏自编码器的故障诊断方法 | |
CN113203566B (zh) | 一种基于一维数据增强和cnn的电机轴承故障诊断方法 | |
CN111161207B (zh) | 一种集成的卷积神经网络织物疵点分类方法 | |
CN113923104B (zh) | 基于小波神经网络的网络故障诊断方法、设备及存储介质 | |
CN107633272B (zh) | 一种基于小样本下压缩感知的dcnn纹理疵点识别方法 | |
CN111666986A (zh) | 基于机器学习的小龙虾分级方法 | |
CN115204035A (zh) | 基于多尺度时序数据融合模型的发电机组运行参数预测方法、装置及存储介质 | |
Yu et al. | CWGAN: Conditional wasserstein generative adversarial nets for fault data generation | |
CN110390358A (zh) | 一种基于特征聚类的深度学习方法 | |
CN115290326A (zh) | 一种滚动轴承故障智能诊断方法 | |
CN115452376A (zh) | 基于改进轻量级深度卷积神经网络的轴承故障诊断方法 | |
CN110598326A (zh) | 一种基于人工智能的试井解释方法 | |
CN114386452A (zh) | 核电循环水泵太阳轮故障检测方法 | |
CN108537581B (zh) | 基于gmdh选择性组合的能源消费量时间序列预测方法及装置 | |
CN115660221B (zh) | 基于混合神经网络的油气藏经济可采储量评估方法及*** | |
CN116303386A (zh) | 一种基于关系图谱的缺失数据智能插补方法和*** | |
CN110739030B (zh) | 一种乙烯生产过程小样本的软测量方法 | |
CN114235409A (zh) | 一种轻量化通信的滚动轴承多用户协同智能故障诊断方法 | |
CN114120010A (zh) | 一种多视角多层次工业机器人迁移故障诊断方法 | |
CN113807005A (zh) | 基于改进fpa-dbn的轴承剩余寿命预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |