CN113627499B - 基于检查站柴油车尾气图像的烟度等级估算方法及设备 - Google Patents
基于检查站柴油车尾气图像的烟度等级估算方法及设备 Download PDFInfo
- Publication number
- CN113627499B CN113627499B CN202110859026.1A CN202110859026A CN113627499B CN 113627499 B CN113627499 B CN 113627499B CN 202110859026 A CN202110859026 A CN 202110859026A CN 113627499 B CN113627499 B CN 113627499B
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- sub
- convolution
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000000779 smoke Substances 0.000 title claims abstract description 33
- 238000007689 inspection Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012795 verification Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 8
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 claims description 7
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 229910052739 hydrogen Inorganic materials 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- BUCXEFZXWKUCCY-UHFFFAOYSA-N 4-methyl-3-(2-phenylethyl)-1,2,4-oxadiazol-5-one Chemical compound O1C(=O)N(C)C(CCC=2C=CC=CC=2)=N1 BUCXEFZXWKUCCY-UHFFFAOYSA-N 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002229 photoelectron microspectroscopy Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明的一种基于检查站柴油车尾气图像的烟度等级估算方法及设备，包括以下步骤：S1：将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；S2：对RGB图像和残差帧图像进行预处理；S3：构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；S4：利用训练好的网络模型，对待检测图像进行等级预估。本发明首先对柴油车环保年检时排放的尾气图片进行特征提取，有效地将多余信息去除，并通过算法求出与车辆排放的尾气中烟雾浓度直接相关的量，更有针对性，有更高的可施行性。
Description
技术领域
本发明涉及环境检查技术领域，具体涉及一种基于检查站柴油车尾气图像的烟度等级估算方法。
背景技术
随着我国经济发展健康快速发展，我国机动车保有量也随之上升。柴油车作为我国机动车重要组成之一，其尾气排放造成了严重的大气污染。因此，为了更具针对性的对各类型柴油车尾气排放监管与控制，有必要对柴油车排放烟度等级进行有效划分。
目前，我国的机动车尾气监测主要分为布置在车体上的：车载尾气检测设备(PEMS)、车载自动诊断***(OBD)，和布置在固定点的遥感监测仪器；二者所监测的数据往往被细分为各类污染物的具体数值，要实现污染排放等级估计需要整合各部分数据，这往往会带来沉重的工作量。
尾气更好的实现柴油车尾气排放的等级预估，且现有的研究已近表明，使用计算机视觉技术来识别柴油车尾气排放是一种低成本和方便的方法。本发明提出的一种时空交叉网络，构造双金字塔特征结构，促使时域特征和空域特征相互引导帮助整个网络学习，以达到柴油车尾气排放的烟度等级的精准预估，以便相关部门监管与政策制定。
发明内容
本发明提出的一种基于检查站柴油车尾气图像的烟度等级估算方法及设备，可解决上述技术问题。
为实现上述目的，本发明采用了以下技术方案：
一种基于检查站柴油车尾气图像的烟度等级估算方法，包括以下步骤：
S1：将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；
S2：对RGB图像和残差帧图像进行预处理；
S3：构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；
S4：利用训练好的网络模型，对待检测图像进行等级预估。
进一步的，所述S1中将检查站收集视频划分子块，对每个子块进行帧采样，并依据得到的RGB帧划定残差帧的具体操作如下：
S11：将监测视频划分为N个大小的子块，在每一个子块中抽取一个RGB帧，每一帧记为Framei,i<＝N,C,T,H,W是图像通道数、时间长度、宽度和高度；
S12：根据S11抽取的RGB帧，依据以下公式划分残差帧ResFrame：
其中α为常系数，β为防止残差帧大小溢出所设置像素值大小，C,T,H,W，是图像通道数、时间长度、宽度和高度；
S13：将得到的图像按7：2：1的比例随机划分为训练集、验证集和测试集。
进一步的，所述S2中对RGB图像和残差帧图像进行预处理的具体
操作如下：
S21：对RGB图像和残差帧图像，进行简单缩放、随机裁剪、水平翻转、透视变换、区域擦除和颜色抖动。
进一步的，所述S3中构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数的具体操作如下：
S31：整个网络模型时域和空域结构一致，主体都采用SE-ResNeXt-50提取时空特征；其中网络结构包含4个卷积残差块{res1,res2,res3,res4}，他们的输出相对于输入帧的stride为{4,8,16,32}；中括号外为每个残差块的重复次数，在ResNeXt-50的基础上，在时域和空域的残差阶段选择res1、res2、res3的最后一层的输出恒等映射来构建双金字塔特征网络，促使时域和空域两个网络相互引导，res4输出的特征图融合用于最终的分类头预测；特征融合是空域特征和时域特征对应元素相加，具体操作描述为：
其中1≤i≤H,1≤j≤W,1≤c≤C，SF,
S32：整个网络架构具体包含一层7*7的卷积层(conv1)，一层3×3的池化层(pool1)，三个包含三层卷积层的卷积块(res1)，四个包含三层卷积层的卷积块(res2)，6个包含三层卷积层的卷积块(res3)，三个包含三层卷积层的卷积块(res4)，其中每个卷积块所包含的三层卷积层的卷积核大小均为1×1、3×3、和1×1,在模块堆叠后，加入特征融合层、自适应平均池化层和全连接层，其中特征融合层和自适应平均池化层的卷积核大小为1×1；
S33：整个网络模型时域流部分以残差帧作为输入，空域部分以RGB帧作为输入，将训练集和验证集输入网络，选择Relu为激活函数，损失函数为交叉熵损失函数，批量大小设置为3，权重衰减设置为0.0005，动量设置为0.9，学习率为0.001，使用随机梯度下降来优化模型权重，待网络收敛，停止迭代，保存整个网络模型。
进一步的，所述S4中利用训练好的网络模型，对待检测图像进行等级预估的具体操作如下：
S41：将测试集输入到S3中训练好的烟度估计模型，得到相应烟度等级。
另一方面，本发明还公开一种基于检查站柴油车尾气图像的烟度等级估算***，包括以下单元：
子块划分单元，用于将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；
预处理单元，用于对RGB图像和残差帧图像进行预处理；
模型构建单元，用于构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；
等级评估单元，用于利用训练好的网络模型，对待检测图像进行等级预估。
第二方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
第三方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。
由上述技术方案可知，本发明针对车辆检测站环保检测缺乏高效监管手段的问题，提出一种基于检测站柴油车尾气图像的烟度等级估算方法，该方法首先对柴油车环保年检时排放的尾气图片进行特征提取，有效地将多余信息去除，并通过算法求出与车辆排放的尾气中烟雾浓度直接相关的量，更有针对性，有更高的可施行性。
综上所述，本发明是基于监测站柴油车排放黑烟来预估该柴油车烟度分级的，本方法借助时域和空域相互引导可以突出黑烟的细微运动特征，可以有效降低树木、建筑物的干扰。相比于传统的仪器测量的方法，本方法不需要昂贵的设备，能大幅减少成本，且实时性好，可实施性高，利于推广。
附图说明
图1为本发明方法的流程图；
图2为本发明所述的烟度等级估算网络结构图；
图3为本发明所述的双金字塔特征网络结构；
图4即4a、4b、4c为本发明模型对3个柴油车样本的识别结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本发明实施例针对车辆检测站环保检测缺乏高效监管手段的问题，提出一种基于检测站柴油车尾气图像的烟度等级估算方法，该方法首先对柴油车环保年检时排放的尾气图片进行特征提取，有效地将多余信息去除，并通过算法求出与车辆排放的尾气中烟雾浓度直接相关的量，更有针对性，有更高的可施行性。
具体如下：
一种基于检查站柴油车尾气图像的烟度等级估算方法，包括以下步骤：
S1：将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；
S2：对RGB图像和残差帧图像进行预处理；
S3：构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；
S4：利用训练好的网络模型，对待检测图像进行等级预估。
以下分别说明：
其中，所述S1中，将检查站收集视频划分子块，对每个子块进行帧采样，并依据得到的RGB帧划定残差帧的具体操作如下：
S11：将监测视频划分为N个大小的子块(本发明中N＝8)，在每一个子块中抽取一个RGB帧，每一帧记为Framei,i<＝N,C,T,H,W是图像通道数、时间长度、宽度和高度(本发明中C＝3)；
S12：根据S11抽取的RGB帧，依据以下公式划分残差帧ResFrame：
其中α为常系数，β为防止残差帧大小溢出所设置像素值大小，(本发明中β＝255)，C,T,H,W，是图像通道数、时间长度、宽度和高度(本实施例中C＝3)。
S13：将得到的图像按7：2：1的比例随机划分为训练集、验证集和测试集；
所述S2中对RGB图像和残差帧图像进行预处理的具体操作如下：
S21：对RGB图像和残差帧图像，进行简单缩放、随机裁剪、水平翻转、透视变换、区域擦除和颜色抖动。
所述S3中，构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数的具体操作如下：
S31：整个网络模型时域和空域结构一致，主体都采用SE-ResNeXt-50提取时空特征，网络的基本结构如图2所示。网络包含4个卷积残差块{res1,res2,res3,res4}，他们的输出相对于输入帧的stride为{4,8,16,32}。中括号外为每个残差块的重复次数，在ResNeXt-50的基础上，在时域和空域的残差阶段选择res1、res2、res3的最后一层的输出恒等映射来构建双金字塔特征网络，促使时域和空域两个网络相互引导，res4输出的特征图融合用于最终的分类头预测；特征融合是空域特征和时域特征对应元素相加，具体操作可以描述为：
其中1≤i≤H,1≤j≤W,1≤c≤C，SF,
S32：整个网络架构具体包含一层7*7的卷积层(conv1)，一层3×3的池化层(pool1)，三个包含三层卷积层的卷积块(res1)，四个包含三层卷积层的卷积块(res2)，6个包含三层卷积层的卷积块(res3)，三个包含三层卷积层的卷积块(res4)，其中每个卷积块所包含的三层卷积层的卷积核大小均为1×1、3×3、和1×1,在模块堆叠后，加入特征融合层、自适应平均池化层和全连接层，其中特征融合层和自适应平均池化层的卷积核大小为1×1，其整体结构如图3所示。
S33：整个网络模型时域流部分以残差帧作为输入，空域部分以RGB帧作为输入，将训练集和验证集输入网络，选择Relu为激活函数，损失函数为交叉熵损失函数，批量大小设置为3，权重衰减设置为0.0005，动量设置为0.9，学习率为0.001，使用随机梯度下降来优化模型权重，待网络收敛，停止迭代，保存整个网络模型。
所述S4中，利用训练好的网络模型，对待检测图像进行等级预估的具体操作如下：
S41：将测试集输入到S3中训练好的烟度估计模型，得到相应烟度等级，预测效果如图4所示，其预测结果与其标签一致。
S42：为了进一步说明本发明提出的时空交叉融合网络的性能优势，将本方法STCNet与I3D-TSM、I3D-LSTM、I3D-NL、I3D-TC进行比较，即以RGB流为输入，在I3D框架后接入相应模块。其中TSM为时态移位模块，LSTM为长短期记忆网络模块，NL为非局部模块，TC为时间感受层，评价指标为F分数(F-Score)，其在测试集上各模型F分数具体数值如下表：
| Model | F-score |
| I3D-TSM | 81.3％ |
| I3D-LSTM | 81.3％ |
| I3D-NL | 81.7％ |
| I3D-TC | 82.3％ |
| STCNet | 88.5％ |
从表中数据可知，本发明实施例的方法STCNet的F-score值为88.5％，高于其它模型，在性能上有着更好的表现。
综上所述，本发明是基于监测站柴油车排放黑烟来预估该柴油车烟度分级的，本方法借助时域和空域相互引导可以突出黑烟的细微运动特征，可以有效降低树木、建筑物的干扰。相比于传统的仪器测量的方法，本方法不需要昂贵的设备，能大幅减少成本，且实时性好，可实施性高，利于推广。
另一方面，本发明还公开一种基于检查站柴油车尾气图像的烟度等级估算***，包括以下单元：
子块划分单元，用于将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；
预处理单元，用于对RGB图像和残差帧图像进行预处理；
模型构建单元，用于构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；
等级评估单元，用于利用训练好的网络模型，对待检测图像进行等级预估。
第二方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
第三方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。
可理解的是，本发明实施例提供的***与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：
包括以下步骤：
S1：将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；
S2：对RGB图像和残差帧图像进行预处理；
S3：构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；
S4：利用训练好的网络模型，对待检测图像进行等级预估；
所述S1中将检查站收集视频划分子块，对每个子块进行帧采样，并依据得到的RGB帧划定残差帧的具体操作如下：
S11：将监测视频划分为N个大小的子块，在每一个子块中抽取一个RGB帧，每一帧记为 是图像通道数、时间长度、宽度和高度；
S12：根据S11抽取的RGB帧，依据以下公式划分残差帧ResFrame：
其中为常系数，/>为防止残差帧大小溢出所设置像素值大小，/>，，是图像通道数、时间长度、宽度和高度；
S13：将得到的图像按7：2：1的比例随机划分为训练集、验证集和测试集；
所述S3中构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数的具体操作如下：
S31：整个网络模型时域和空域结构一致，主体都采用SE-ResNeXt-50提取时空特征；其中网络结构包含4个卷积残差块{res1, res2, res3, res4}，他们的输出相对于输入帧的stride为 {4, 8, 16, 32}；中括号外为每个残差块的重复次数，在ResNeXt-50的基础上，在时域和空域的残差阶段选择res1、res2、res3的最后一层的输出恒等映射来构建双金字塔特征网络，促使时域和空域两个网络相互引导，res4输出的特征图融合用于最终的分类头预测；特征融合是空域特征和时域特征对应元素相加，具体操作描述为：
其中，/>；
S32：整个网络架构具体包含一层7*7的卷积层conv1，一层3×3的池化层pool1，三个包含三层卷积层的卷积块res1，四个包含三层卷积层的卷积块res2，6个包含三层卷积层的卷积块res3，三个包含三层卷积层的卷积块res4，其中每个卷积块所包含的三层卷积层的卷积核大小均为1×1、3×3、和1×1, 在模块堆叠后，加入特征融合层、自适应平均池化层和全连接层，其中特征融合层和自适应平均池化层的卷积核大小为1×1；
S33：整个网络模型时域流部分以残差帧作为输入，空域部分以RGB帧作为输入，将训练集和验证集输入网络，选择Relu为激活函数，损失函数为交叉熵损失函数，批量大小设置为3，权重衰减设置为0.0005，动量设置为0.9，学习率为0.001，使用随机梯度下降来优化模型权重，待网络收敛，停止迭代，保存整个网络模型。
2.根据权利要求1所述的基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：所述S2中对RGB图像和残差帧图像进行预处理的具体操作如下：
S21：对RGB图像和残差帧图像，进行简单缩放、随机裁剪、水平翻转、透视变换、区域擦除和颜色抖动。
3.根据权利要求2所述的基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：所述S4中利用训练好的网络模型，对待检测图像进行等级预估的具体操作如下：
S41：将测试集输入到S3中训练好的烟度估计模型，得到相应烟度等级。
4.一种基于检查站柴油车尾气图像的烟度等级估算***，用于实现权利要求1-3任意一项所述的基于检查站柴油车尾气图像的烟度等级估算方法，其特征在于：
包括以下单元：
子块划分单元，用于将检查站收集视频划分子块，对每个子块进行采样，并依据得到的RGB帧划定残差帧；
预处理单元，用于对RGB图像和残差帧图像进行预处理；
模型构建单元，用于构建时空交叉网络模型，利用训练数据集和验证数据集对模型进行训练，基于预设损失函数和优化器，微调优化整个网络，直至网络收敛，保存训练好的网络模型参数；
等级评估单元，用于利用训练好的网络模型，对待检测图像进行等级预估。
5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述方法的步骤。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859026.1A CN113627499B (zh) | 2021-07-28 | 2021-07-28 | 基于检查站柴油车尾气图像的烟度等级估算方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110859026.1A CN113627499B (zh) | 2021-07-28 | 2021-07-28 | 基于检查站柴油车尾气图像的烟度等级估算方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113627499A CN113627499A (zh) | 2021-11-09 |
| CN113627499B true CN113627499B (zh) | 2024-04-02 |
Family
ID=78381346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110859026.1A Active CN113627499B (zh) | 2021-07-28 | 2021-07-28 | 基于检查站柴油车尾气图像的烟度等级估算方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113627499B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115798624B (zh) * | 2023-02-01 | 2023-06-09 | 中国汽车技术研究中心有限公司 | 一种柴油车尾气scr反应过程智能建模方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000030074A1 (en) * | 1998-11-13 | 2000-05-25 | Qualcomm Incorporated | Low bit-rate coding of unvoiced segments of speech |
| CN106680281A (zh) * | 2016-12-31 | 2017-05-17 | 中国科学技术大学 | 一种基于深度残差学习网络的柴油车尾气烟度检测方法 |
| WO2018171109A1 (zh) * | 2017-03-23 | 2018-09-27 | 北京大学深圳研究生院 | 基于卷积神经网络的视频动作检测方法 |
| CN110969577A (zh) * | 2019-11-29 | 2020-04-07 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
-
2021
- 2021-07-28 CN CN202110859026.1A patent/CN113627499B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000030074A1 (en) * | 1998-11-13 | 2000-05-25 | Qualcomm Incorporated | Low bit-rate coding of unvoiced segments of speech |
| CN106680281A (zh) * | 2016-12-31 | 2017-05-17 | 中国科学技术大学 | 一种基于深度残差学习网络的柴油车尾气烟度检测方法 |
| WO2018171109A1 (zh) * | 2017-03-23 | 2018-09-27 | 北京大学深圳研究生院 | 基于卷积神经网络的视频动作检测方法 |
| CN110969577A (zh) * | 2019-11-29 | 2020-04-07 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 应用残差生成对抗网络的路况视频帧预测模型;袁帅;秦贵和;晏婕;;西安交通大学学报(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113627499A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110377984B (zh) | 一种工业设备剩余有效寿命预测方法、***及电子设备 | |
| CN111598843B (zh) | 基于深度学习的电力变压器呼吸器目标缺陷检测方法 | |
| CN110826684B (zh) | 卷积神经网络的压缩方法、装置、电子设备和介质 | |
| CN113569756B (zh) | 异常行为检测与定位方法、***、终端设备及可读存储介质 | |
| CN111008608B (zh) | 一种基于深度学习的夜间车辆检测方法 | |
| CN112668630A (zh) | 一种基于模型剪枝的轻量化图像分类方法、***及设备 | |
| CN113627499B (zh) | 基于检查站柴油车尾气图像的烟度等级估算方法及设备 | |
| CN112200096B (zh) | 基于压缩视频实现实时异常行为识别的方法、装置及其存储介质 | |
| CN110414421A (zh) | 一种基于连续帧图像的行为识别方法 | |
| CN112464718A (zh) | 一种基于YOLO-Terse网络的目标检测方法及存储介质 | |
| CN116071668A (zh) | 基于多尺度特征融合的无人机航拍图像目标检测方法 | |
| CN115965827A (zh) | 一种融合多尺度特征的轻量级小目标检测方法及装置 | |
| CN111462090A (zh) | 一种多尺度图像目标检测方法 | |
| CN114882434A (zh) | 基于背景抑制的无监督异常行为检测方法 | |
| CN112307860A (zh) | 图像识别模型训练方法和装置、图像识别方法和装置 | |
| CN113159046A (zh) | 无砟道床异物检测方法及装置 | |
| CN112380919A (zh) | 一种车辆类别统计方法 | |
| CN117132910A (zh) | 一种用于无人机的车辆检测方法、装置及存储介质 | |
| CN112235598A (zh) | 一种视频结构化处理方法、装置及终端设备 | |
| CN115588150A (zh) | 基于改进YOLOv5-L的宠物犬视频目标检测方法及*** | |
| CN116704236A (zh) | 一种基于混合注意力机制的目标检测方法 | |
| CN115984234A (zh) | 一种基于改进Yolov5的桥梁裂缝检测分类方法 | |
| CN115375966A (zh) | 一种基于联合损失函数的图像对抗样本生成方法及*** | |
| CN115331081A (zh) | 图像目标检测方法与装置 | |
| CN112487911B (zh) | 智能监控环境下基于改进yolov3的实时行人检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |