CN114842383B - 一种基于dvrl-vst的电熔镁炉工况视频识别方法 - Google Patents
一种基于dvrl-vst的电熔镁炉工况视频识别方法 Download PDFInfo
- Publication number
- CN114842383B CN114842383B CN202210474871.1A CN202210474871A CN114842383B CN 114842383 B CN114842383 B CN 114842383B CN 202210474871 A CN202210474871 A CN 202210474871A CN 114842383 B CN114842383 B CN 114842383B
- Authority
- CN
- China
- Prior art keywords
- video
- electric smelting
- vst
- smelting magnesium
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003723 Smelting Methods 0.000 title claims abstract description 85
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 title claims abstract description 81
- 239000011777 magnesium Substances 0.000 title claims abstract description 81
- 229910052749 magnesium Inorganic materials 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 230000002787 reinforcement Effects 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000003416 augmentation Effects 0.000 abstract 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000013508 migration Methods 0.000 abstract 1
- 230000005012 migration Effects 0.000 abstract 1
- CPLXHLVBOLITMK-UHFFFAOYSA-N Magnesium oxide Chemical compound [Mg]=O CPLXHLVBOLITMK-UHFFFAOYSA-N 0.000 description 10
- 238000007689 inspection Methods 0.000 description 6
- 239000000395 magnesium oxide Substances 0.000 description 5
- 239000002994 raw material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013021 overheating Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000001095 magnesium carbonate Substances 0.000 description 1
- ZLNQQNXFFQJAID-UHFFFAOYSA-L magnesium carbonate Chemical compound [Mg+2].[O-]C([O-])=O ZLNQQNXFFQJAID-UHFFFAOYSA-L 0.000 description 1
- 229910000021 magnesium carbonate Inorganic materials 0.000 description 1
- 235000014380 magnesium carbonate Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 235000010755 mineral Nutrition 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001953 recrystallisation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Vertical, Hearth, Or Arc Furnaces (AREA)
Abstract
本发明公开了一种基于DVRL‑VST的电熔镁炉工况视频识别方法,包括:1通过CycleGAN风格迁移架构进行异常样本增广;2将增强后的数据输入基于强化学习样本价值评估和VST的DVRL‑VST网络进行训练;3利用训练结果对电熔镁炉运行视频进行工况识别。本发明能排除生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰,并使用工况的视频信号,从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征来识别异常工况,从而能提高识别断精度。
Description
技术领域
本发明涉及计算机视觉技术领域,涉及一种基于DVRL-VST的电熔镁炉工况视频识别方法。
背景技术
电熔镁砂熔点高、抗氧化、耐腐蚀性强,是一种优良的耐高温化工材料,应用前景广阔,在现代工业中有着举足轻重的地位。我国电熔镁行业主要以菱镁矿为原料通过三相交流电熔镁炉熔炼再结晶进行生产制备。其中,“欠烧工况”是一种炉壁局部过热烧红的异常工况,其成因是由于原料杂质不均匀,在某段时间部分原料燃烧不充分而没有完全达到熔融状态,在炉内搅拌不均匀形成巨大气泡,气泡内温度远高于熔液温度,进而导致炉体温度局部过高,引起炉壁过热烧红。倘若未能及时处理,将导致炉壁烧穿,造成巨大经济损失,高温矿物熔液泄露还可能危及现场工人的安全。目前,电熔镁炉欠烧工况的预警主要依靠现场工人的不间断巡检,以保证电熔镁炉正常运行。工人通过观察生产过程中炉口火焰的形态、亮度、火星,以及炉壁是否有过热烧红区域等特征,根据经验预先判断可能会发生的欠烧工况。人工巡检的主要问题是:1)工人巡检劳动强度大,且工况判别的准确性与现场工人的经验和状态相关,容易漏检、误检;2)现场生产环境恶劣(强光、高温、灰尘、噪声等),危险性高,不适于工人长时间现场巡检。因此,企业急需一种智能的欠烧工况识别技术,能够稳定、准确地在欠烧工况刚发生的时候预警,以保证安全生产。
发明内容
本发明是为了解决上述现有技术存在的不足之处,提出一种基于DVRL-VST的电熔镁炉工况视频识别方法,以期能从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征,并能够排除生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰,从而提高异常工况的识别精度,并实现无人化监控。
本发明为达到上述发明目的,采用如下技术方案:
本发明一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法的特点在于,包括如下步骤:
步骤1:采集电熔镁炉工况视频并进行正常或异常的标注,从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频;
对异常视频进行数据增广,并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布的训练集/>和符合目标分布/>的验证集/>其中,xi表示所述训练集/>中第i个训练视频样本,yi表示第i个训练视频样本xi的标签,N为训练集/>中的样本数量;/>表示第k个验证视频样本,/>表示第k个验证视频样本/>的标签,L为验证集/>的样本数量;
步骤2:构建基于DVRL-VST网络的电熔镁炉运行工况识别模型,包括:基于DVRL的样本价值评估网络和基于VST的识别网络;
步骤2.1:基于DVRL的样本价值评估网络的训练:
所述基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构,并包括:输入层、隐藏层、输出层;且层与层之间通过全连接相连,且每层均设置有ReLU激活函数;
步骤2.1.1:从所述训练集中选择数量为Bs的一批训练样本数据集/>并输入所述基于DVRL的样本价值评估网络中,所述MLP多层感知器利用样本价值评估器hφ对一批训练样本数据集/>进行处理,输出符合多项式分布的每个训练视频样本的选择概率集合,其中,一批训练样本数据集/>中第bs个训练视频样本/>的选择概率记为/>令/>表示第bs个视频样本/>对应的标签;令第bs个视频样本/>的维度为T×H×W×3;其中,T表示视频样本的帧数,H表示视频样本的高度,W表示视频样本的宽度,3表示RGB三通道;
步骤2.1.2:对所述选择概率集合进行多项式分布采样,得到选择向量集合其中,/>表示第bs个视频样本/>的选择向量,且取值为“0”或“1”;
步骤2.2:基于VST的电熔镁炉工况识别网络fθ的训练:
所述基于VST的电熔镁炉工况识别网络fθ依次包括:3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块;其中,每个VST模块均包括:一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络;在所述MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层;
步骤2.2.1:将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中,所述3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的3D块;
步骤2.2.2:将每个3D块分别输入所述线性嵌入层中进行C维特征空间的特征投影,从而得到T/2×H/4×W/4个C维特征的3D块;
步骤2.2.3:将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中,并采用局部窗口自注意力的方式对3D块进行深度特征提取:
在第一个前端VST模块中,对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分,得到每个划分窗口下的若干个3D块,并经过第一LN标准化层的标准化处理后,输入所述MSA多头自注意力模块中进行特征提取,并输出每个划分窗口下的浅层电熔镁炉运行工况特征;再经过第二LN标准化层的标准化处理后,输入所述FFN前馈网络中进行非线性编码,输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征,并传输给第二个前端VST模块;
在第二个前端VST模块中,采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分,得到每个移动划分窗口下的浅层电熔镁炉运行工况特征,再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取,从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征;
步骤2.2.4:所述块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后,再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C,从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征;
步骤2.2.5:将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块,并按照步骤2.2.3的过程进行特征提取,从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征;
步骤2.3:利用式(1)构建基于VST的电熔镁炉工况识别模型fθ的损失函数并使用梯度下降法对所述电熔镁炉工况识别模型fθ进行优化,得到优化后的电熔镁炉工况识别模型/>
式(1)中,为均方误差MSE损失函数;/>为所述第bs个视频样本/>经过基于VST的电熔镁炉工况识别网络的输出;
步骤2.4:基于所述验证集使用强化学***均值δ进行比较,以确定奖励reward;
步骤2.4.1:定义当前迭代次数为a,并初始化a=0,定义并初始化学***均值δa=0,令基于DVRL的样本价值评估网络在第a次迭代的网络参数φa=0;
步骤2.4.2:利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数la(φ):
式(2)中,xv表示验证集中所有验证视频样本,yv表示验证集中所有验证视频样本的标签,/>表示第a次迭代的优化后的电熔镁炉工况识别模型,πa,φ表示第a次迭代时选择所述选择向量/>的概率,ha,φ表示第a次迭代的样本价值评估器;
步骤2.4.2:利用式(3)计算第a次迭代的梯度
步骤2.4.3:利用式(4)确定第a次迭代的奖励rewarda并更新第a+1次迭代的网络参数φa+1=φa+rewarda:
式(4)中,β为学***均值;
步骤2.4.4:将a+1赋值给a后,返回步骤2.1.1顺序执行,直到所述损失函数la(φ)收敛为止,从而得到训练后的DVRL-VST模型,并用于对待识别的电熔镁炉工况视频进行运行状态的识别。
与现有技术相比,本发明的有益效果在于:
1、本发明通过计算机视觉使用摄像头对电熔镁炉运行工况进行识别,对采集的视频信息建立电熔镁炉欠烧工况的图像识别模型,实现了基于监控视频的电熔镁炉欠烧工况的自动识别技术,减少了电熔镁砂生产过程中,对人工巡检的依赖。
2、本发明通过对采集的电熔镁炉运行工况视频进行识别,从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征,解决了环境光和水雾等干扰对图片识别精度的影响,识别精度相比静态图像识别更高。
3、本发明通过样本价值评估模型,使用强化学习方法对样本价值进行量化。对训练识别网络使用的样本进行筛选,在训练过程中过滤了低价值的和标签错误的样本,只使用高价值样本进行训练,从而提高了模型的训练速度和识别的鲁棒性。
附图说明
图1为本发明基于DVRL-VST的电熔镁炉工况视频识别方法的主要架构图;
图2为本发明基于VST的电熔镁炉工况识别网络的结构图。
具体实施方式
本实施例中,参照图1,一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法,包括如下步骤:
步骤1:采集电熔镁炉工况视频并进行正常或异常的标注,从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频;
对异常视频进行数据增广,将切分出的正常视频以及异常视频作为训练集输入到CycleGAN网络模型进行训练,得到训练后的CycleGAN模型,用来将正常视频迁移为人工异常视频。并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布的训练集/>和符合目标分布/>的验证集/>其中,xi表示训练集/>中第i个训练视频样本,yi表示第i个训练视频样本xi的标签,N为训练集/>中的样本数量;/>表示第k个验证视频样本,/>表示第k个验证视频样本/>的标签,L为验证集/>的样本数量;
步骤2:构建基于DVRL-VST网络的电熔镁炉运行工况识别模型,包括:基于DVRL的样本价值评估网络和基于VST的识别网络;
步骤2.1:基于DVRL的样本价值评估网络的训练:
基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构,并包括:具有3个输入变量的输入层;具有七个神经元的隐藏层;具有3个输出变量的输出层;且层与层之间通过全连接相连,且每层均设置有ReLU激活函数;
步骤2.1.1:从训练集中选择数量为Bs的一批训练样本数据集/>并输入基于DVRL的样本价值评估网络中,MLP多层感知器利用样本价值评估器hφ对一批训练样本数据集/>进行处理,输出符合多项式分布的每个训练视频样本的选择概率集合,其中,一批训练样本数据集/>中第bs个训练视频样本/>的选择概率记为/>令/>表示第bs个视频样本/>对应的标签;令第bs个视频样本/>的维度为T×H×W×3;其中,T表示视频样本的帧数,H表示视频样本的高度,W表示视频样本的宽度,3表示RGB三通道;
步骤2.1.2:对选择概率集合进行多项式分布采样,得到选择向量集合其中,/>表示第bs个视频样本/>的选择向量,且取值为“0”或“1”;
步骤2.2:基于VST的电熔镁炉工况识别网络fθ的训练:
基于VST的电熔镁炉工况识别网络fθ依次包括:3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块,整体结构参照图2;其中,每个VST模块均包括:一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络;在MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层;
步骤2.2.1:将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中,3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的大小为2×4×4的3D块;
步骤2.2.2:将每个3D块分别输入线性嵌入层中进行C维特征空间的特征投影,从而得到T/2×H/4×W/4个C维特征的3D块,其中C=96;
步骤2.2.3:将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中,并采用局部窗口自注意力的方式对3D块进行深度特征提取:
在第一个前端VST模块中,对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分,每个窗口大小为8×7×7。得到每个划分窗口下的若干个3D块,并经过第一LN标准化层的标准化处理后,输入MSA多头自注意力模块中进行特征提取,并输出每个划分窗口下的浅层电熔镁炉运行工况特征;再经过第二LN标准化层的标准化处理后,输入FFN前馈网络中进行非线性编码,输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征,并传输给第二个前端VST模块;
在第二个前端VST模块中,采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分,每个窗口相比第一个前端VST模块中的窗口在时间轴、高度轴和宽度轴上分别移动2个单位。得到每个移动划分窗口下的浅层电熔镁炉运行工况特征,再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取,从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征;
步骤2.2.4:块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后,再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C,从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征;
步骤2.2.5:将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块,并按照步骤2.2.3的过程进行特征提取,从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征;
步骤2.3:利用式(1)构建基于VST的电熔镁炉工况识别模型fθ的损失函数并使用梯度下降法对电熔镁炉工况识别模型fθ进行优化,得到优化后的电熔镁炉工况识别模型/>
式(1)中,为均方误差MSE损失函数;/>为第bs个视频样本/>经过基于VST的电熔镁炉工况识别网络的输出;
步骤2.4:基于验证集使用强化学***均值δ进行比较,以确定奖励reward;
步骤2.4.1:定义当前迭代次数为a,并初始化a=0,定义并初始化学***均值δa=0,令基于DVRL的样本价值评估网络在第a次迭代的网络参数φa=0;
步骤2.4.2:利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数la(φ):
式(2)中,xv表示验证集中所有验证视频样本,yv表示验证集中所有验证视频样本的标签,/>表示第a次迭代的优化后的电熔镁炉工况识别模型,πa,φ表示第a次迭代时选择选择向量/>的概率,ha,φ表示第a次迭代的样本价值评估器。
步骤2.4.2:利用式(3)计算第a次迭代的梯度
步骤2.4.3:利用式(4)确定第a次迭代的奖励rewarda并更新第a+1次迭代的网络参数φa+1=φa+rewarda:
式(4)中,β为学***均值;
步骤2.4.4:将a+1赋值给a后,返回步骤2.1.1顺序执行,直到损失函数la(φ)收敛为止,从而得到训练后的DVRL-VST模型,并用于对待识别的电熔镁炉工况视频进行运行状态的识别。
Claims (1)
1.一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法,其特征在于,包括如下步骤:
步骤1:采集电熔镁炉工况视频并进行正常或异常的标注,从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频;
对异常视频进行数据增广,并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布的训练集/>和符合目标分布/>的验证集/>其中,xi表示所述训练集/>中第i个训练视频样本,yi表示第i个训练视频样本xi的标签,N为训练集/>中的样本数量;/>表示第k个验证视频样本,/>表示第k个验证视频样本/>的标签,L为验证集/>的样本数量;
步骤2:构建基于DVRL-VST网络的电熔镁炉运行工况识别模型,包括:基于DVRL的样本价值评估网络和基于VST的识别网络;
步骤2.1:基于DVRL的样本价值评估网络的训练:
所述基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构,并包括:输入层、隐藏层、输出层;且层与层之间通过全连接相连,且每层均设置有ReLU激活函数;
步骤2.1.1:从所述训练集中选择数量为Bs的一批训练样本数据集/>并输入所述基于DVRL的样本价值评估网络中,所述MLP多层感知器利用样本价值评估器hφ对一批训练样本数据集/>进行处理,输出符合多项式分布的每个训练视频样本的选择概率集合,其中,一批训练样本数据集/>中第bs个训练视频样本/>的选择概率记为/>令/>表示第bs个视频样本/>对应的标签;令第bs个视频样本/>的维度为T×H×W×3;其中,T表示视频样本的帧数,H表示视频样本的高度,W表示视频样本的宽度,3表示RGB三通道;
步骤2.1.2:对所述选择概率集合进行多项式分布采样,得到选择向量集合其中,/>表示第bs个视频样本/>的选择向量,且取值为“0”或“1”;
步骤2.2:基于VST的电熔镁炉工况识别网络fθ的训练:
所述基于VST的电熔镁炉工况识别网络fθ依次包括:3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块;其中,每个VST模块均包括:一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络;在所述MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层;
步骤2.2.1:将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中,所述3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的3D块;
步骤2.2.2:将每个3D块分别输入所述线性嵌入层中进行C维特征空间的特征投影,从而得到T/2×H/4×W/4个C维特征的3D块;
步骤2.2.3:将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中,并采用局部窗口自注意力的方式对3D块进行深度特征提取:
在第一个前端VST模块中,对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分,得到每个划分窗口下的若干个3D块,并经过第一LN标准化层的标准化处理后,输入所述MSA多头自注意力模块中进行特征提取,并输出每个划分窗口下的浅层电熔镁炉运行工况特征;再经过第二LN标准化层的标准化处理后,输入所述FFN前馈网络中进行非线性编码,输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征,并传输给第二个前端VST模块;
在第二个前端VST模块中,采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分,得到每个移动划分窗口下的浅层电熔镁炉运行工况特征,再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取,从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征;
步骤2.2.4:所述块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后,再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C,从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征;
步骤2.2.5:将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块,并按照步骤2.2.3的过程进行特征提取,从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征;
步骤2.3:利用式(1)构建基于VST的电熔镁炉工况识别模型fθ的损失函数并使用梯度下降法对所述电熔镁炉工况识别模型fθ进行优化,得到优化后的电熔镁炉工况识别模型/>
式(1)中,为均方误差MSE损失函数;/>为所述第bs个视频样本/>经过基于VST的电熔镁炉工况识别网络的输出;
步骤2.4:基于所述验证集使用强化学***均值δ进行比较,以确定奖励reward;
步骤2.4.1:定义当前迭代次数为a,并初始化a=0,定义并初始化学***均值δa=0,令基于DVRL的样本价值评估网络在第a次迭代的网络参数φa=0;
步骤2.4.2:利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数la(φ):
式(2)中,xv表示验证集中所有验证视频样本,yv表示验证集中所有验证视频样本的标签,/>表示第a次迭代的优化后的电熔镁炉工况识别模型,πa,φ表示第a次迭代时选择所述选择向量/>的概率,ha,φ表示第a次迭代的样本价值评估器;
步骤2.4.2:利用式(3)计算第a次迭代的梯度▽φla(φ):
步骤2.4.3:利用式(4)确定第a次迭代的奖励rewarda并更新第a+1次迭代的网络参数φa+1=φa+rewarda:
式(4)中,β为学***均值;
步骤2.4.4:将a+1赋值给a后,返回步骤2.1.1顺序执行,直到所述损失函数la(φ)收敛为止,从而得到训练后的DVRL-VST模型,并用于对待识别的电熔镁炉工况视频进行运行状态的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210474871.1A CN114842383B (zh) | 2022-04-29 | 2022-04-29 | 一种基于dvrl-vst的电熔镁炉工况视频识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210474871.1A CN114842383B (zh) | 2022-04-29 | 2022-04-29 | 一种基于dvrl-vst的电熔镁炉工况视频识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114842383A CN114842383A (zh) | 2022-08-02 |
CN114842383B true CN114842383B (zh) | 2024-02-20 |
Family
ID=82568132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210474871.1A Active CN114842383B (zh) | 2022-04-29 | 2022-04-29 | 一种基于dvrl-vst的电熔镁炉工况视频识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114842383B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116206154B (zh) * | 2023-02-17 | 2024-02-13 | 北京科技大学 | 一种非常见工况下的污水处理过程的故障分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844770A (zh) * | 2017-11-03 | 2018-03-27 | 东北大学 | 一种基于视频的电熔镁炉异常工况自动识别*** |
CN107976992A (zh) * | 2017-11-29 | 2018-05-01 | 东北大学 | 基于图半监督支持向量机的工业过程大数据故障监测方法 |
JP6980958B1 (ja) * | 2021-06-23 | 2021-12-15 | 中国科学院西北生態環境資源研究院 | 深層学習に基づく農村地域分けゴミ識別方法 |
-
2022
- 2022-04-29 CN CN202210474871.1A patent/CN114842383B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844770A (zh) * | 2017-11-03 | 2018-03-27 | 东北大学 | 一种基于视频的电熔镁炉异常工况自动识别*** |
CN107976992A (zh) * | 2017-11-29 | 2018-05-01 | 东北大学 | 基于图半监督支持向量机的工业过程大数据故障监测方法 |
JP6980958B1 (ja) * | 2021-06-23 | 2021-12-15 | 中国科学院西北生態環境資源研究院 | 深層学習に基づく農村地域分けゴミ識別方法 |
Non-Patent Citations (1)
Title |
---|
基于图像电熔镁炉欠烧工况的判别***;郭章;王克栋;程盟盟;刘晓丽;卢绍文;;控制工程;20200220(02);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114842383A (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10345046B2 (en) | Fault diagnosis device based on common information and special information of running video information for electric-arc furnace and method thereof | |
KR102021944B1 (ko) | 제철소 철강제품 품질관리를 위한 지능형 결함 제어 방법 및 시스템 | |
CN105956618B (zh) | 基于图像动静态特征的转炉炼钢吹炼状态识别***及方法 | |
CN111176245A (zh) | 基于数字孪生技术的多终端工业设备巡检监控***及方法 | |
CN114842383B (zh) | 一种基于dvrl-vst的电熔镁炉工况视频识别方法 | |
CN107563494A (zh) | 一种基于卷积神经网络和热图的第一视角指尖检测方法 | |
CN113548419A (zh) | 基于机器视觉图像识别的皮带撕裂检测方法、装置及*** | |
CN112614105B (zh) | 一种基于深度网络的3d点云焊点缺陷检测方法 | |
CN112819802A (zh) | 基于风口信息深度学习的监督及预测高炉炉况异常的方法 | |
CN113820326B (zh) | 一种长码拉链的缺陷检测*** | |
CN112257590A (zh) | 一种高炉铁口工作状态的自动检测方法、***及存储介质 | |
CN108364306B (zh) | 一种高速周期运动的视觉实时检测方法 | |
CN113814367B (zh) | 一种基于可见光的连铸坯智能切割定尺方法 | |
CN113077423B (zh) | 基于卷积神经网络的激光选区熔化熔池图像分析*** | |
CN108469313A (zh) | 基于元胞自动机的结晶器铜板温度异常区域检测方法 | |
CN115446276B (zh) | 基于卷积神经网络识别结晶器铜板v型黏结特征的连铸漏钢预警方法 | |
CN105095897A (zh) | 一种基于梯度图像和相似度加权的数字识别方法 | |
CN116310121A (zh) | 一种炼铁高炉渣皮数字孪生***及方法 | |
CN115494074A (zh) | 用于连铸板坯表面缺陷的在线检测方法 | |
CN108827974A (zh) | 一种瓷砖缺陷检测方法及*** | |
CN111438460B (zh) | 基于视觉的厚板t形接头焊接焊缝成形特征在线测量方法 | |
CN117787480B (zh) | 基于Res-LSTM的焊缝成形质量实时预测方法 | |
CN118312869A (zh) | 一种基于贝叶斯神经元网络的铸坯纵裂纹离线判别方法 | |
CN113814369B (zh) | 一种基于特征向量和Adaboost集成模型的结晶器漏钢预报方法 | |
CN115908902A (zh) | 基于自适应空间特征融合的变电站图像缺陷识别算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |