CN117670878A - 一种基于多模态数据融合的VOCs气体检测方法 - Google Patents
一种基于多模态数据融合的VOCs气体检测方法 Download PDFInfo
- Publication number
- CN117670878A CN117670878A CN202410130226.7A CN202410130226A CN117670878A CN 117670878 A CN117670878 A CN 117670878A CN 202410130226 A CN202410130226 A CN 202410130226A CN 117670878 A CN117670878 A CN 117670878A
- Authority
- CN
- China
- Prior art keywords
- detection model
- gas
- gas detection
- target gas
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 204
- 230000004927 fusion Effects 0.000 title claims abstract description 68
- 239000012855 volatile organic compound Substances 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012795 verification Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims 2
- 239000007789 gas Substances 0.000 description 147
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本申请公开了一种基于多模态数据融合的VOCs气体检测方法。该方法可应用于检测技术领域,具体可以包括:响应于用户对目标气体的气体检测模型获取请求,获取总训练集;利用所述总训练集对检测模型进行训练,得到训练好的检测模型;利用多模态融合数据,对所述训练好的检测模型进行验证优化,获取目标气体检测模型。上述方案,能够提高检测准确度和检测速度。
Description
技术领域
本申请涉及检测技术领域,具体涉及一种基于多模态数据融合的VOCs气体检测方法。
背景技术
挥发性有机化合物(Volatile Organic Compounds, VOCs)是一类具有易挥发性的有机分子,广泛分布于自然环境和工业活动中,包括化学工业、印刷业以及汽车尾气排放等。VOCs气体检测技术在环境监测、工业安全和健康领域具有至关重要的作用,广泛应用于工业过程控制、空气质量监测以及生态学研究等多个领域。
VOCs气体通常在3μm - 5μm的红外辐射波段展现出独特的吸收特性,对特定红外光波长高度敏感。这赋予了红外辐射在识别和量化分析VOCs气体方面强大的潜力。基于这一特性,红外图像技术展示出在实时、非侵入式环境监测中用于VOCs气体的可能性。
然而,VOCs气体在红外图像中通常呈现出烟雾状特征,而工业现场的复杂性可能导致VOCs气体以多种方式与周围环境混合,这增加了检测任务的复杂性,使得检测准确度和检测速度降低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高检测准确度和检测速度的基于多模态数据融合的VOCs气体检测方法。
第一方面,本申请提供了一种基于多模态数据融合的VOCs气体检测方法,该方法包括:
响应于用户对目标气体的气体检测模型获取请求,获取总训练集;其中,总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的;目标气体为VOCs气体;
利用总训练集对检测模型进行训练,得到训练好的检测模型;
利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型;其中,多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
在其中一个实施例中,利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型之前,方法还包括:
将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和,得到多模态融合数据。
在其中一个实施例中,方法还包括:
对原始红外图像进行特征提取,得到原始红外图像的深层特征;
将深层特征整合成包含其抽象表示的一维特征向量;
将一维特征向量输入到生成对抗网络中,输出模拟气体图像。
在其中一个实施例中,方法还包括;
对目标气体检测模型进行性能评估,判断目标气体检测模型是否满足气体检测需求;其中,性能评估的内容包括检测准确度和检测速度;
若是,将目标气体检测模型用于进行气体检测;
若否,继续对目标气体检测模型进行训练,直至满足气体检测需求。
在其中一个实施例中,利用总训练集对检测模型进行训练,得到训练好的检测模型,包括:
利用总训练集,基于反向传播算法对检测模型进行训练,得到训练好的检测模型。
第二方面,本申请还提供了一种基于多模态数据融合的VOCs气体检测装置,该装置包括:
获取模块,用于响应于用户对目标气体的气体检测模型获取请求,获取总训练集;其中,总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的;
训练模块,用于利用总训练集对检测模型进行训练,得到训练好的检测模型;
验证优化模块,用于利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型;其中,多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
第三方面,本申请还提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述基于多模态数据融合的VOCs气体检测方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述基于多模态数据融合的VOCs气体检测方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述基于多模态数据融合的VOCs气体检测方法的步骤。
上述基于多模态数据融合的VOCs气体检测方法,通过响应于用户对目标气体的气体检测模型获取请求,获取总训练集,继而利用总训练集对检测模型进行训练,得到训练好的检测模型,最终利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型。本申请的基于多模态数据融合的VOCs气体检测方法,通过多模态数据融合技术,将基于验证集中的各原始红外图像得到的数据的组合作为对模型进行验证优化的验证集,达到了提高检测准确度和检测速度的技术效果。
附图说明
图1为一个实施例中基于多模态数据融合的VOCs气体检测方法的流程示意图;
图2为一个实施例中得到模拟气体图像的流程示意图;
图3为另一个实施例中基于多模态数据融合的VOCs气体检测方法的流程示意图;
图4为一个实施例中基于多模态数据融合的VOCs气体检测装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
挥发性有机化合物是一类具有易挥发性的有机分子,广泛分布于自然环境和工业活动中,包括化学工业、印刷业以及汽车尾气排放等。VOCs气体检测技术在环境监测、工业安全和健康领域具有至关重要的作用,广泛应用于工业过程控制、空气质量监测以及生态学研究等多个领域。VOCs气体通常在3μm - 5μm的红外辐射波段展现出独特的吸收特性,对特定红外光波长高度敏感。这赋予了红外辐射在识别和量化分析VOCs气体方面强大的潜力。基于这一特性,红外图像技术展示出在实时、非侵入式环境监测中用于VOCs气体的可能性。然而,VOCs气体在红外图像中通常呈现出烟雾状特征,而工业现场的复杂性可能导致VOCs气体以多种方式与周围环境混合,这增加了检测任务的复杂性,使得检测准确度和检测速度降低。基于此,本申请实施例提供一种基于多模态数据融合的VOCs气体检测方法,以改善上述技术问题。
在一个实施例中,图1是根据本申请实施例提供的一种基于多模态数据融合的VOCs气体检测方法的流程示意图,且以该方法应用于服务器为例进行说明,该方法包括以下步骤:
S101,响应于用户对目标气体的气体检测模型获取请求,获取总训练集。
可选的,气体检测模型获取请求可以是用户终端发送的要获取气体检测模型的请求。总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的,且目标气体OCs气体。各原始红外图像和各模拟气体图像中均包括含VOCs气体的图像和不含VOCs气体的图像。本申请实施例中通过GAN(Generative AdversarialNetworks, 生成对抗网络)将各原始红外图像转换成各模拟气体图像。GAN包括生成器和判别器,其中,生成器用于生成模拟气体图像,判别器负责评估模拟气体图像的真实性,即评估原始红外图像和模拟气体图像的差异,帮助生成器通过适当调整GAN的损失函数和超参数,不断改进所生成的模拟气体图像。
具体的,在接收到用户终端发送的气体检测模型请求后,对气体检测模型请求进行解析,确定出气体检测模型请求需要的总训练集。
需要说明的是,为了保证气体检测模型获取过程的安全性,在响应于气体检测模型获取请求执行气体检测模型获取操作之前,需要对气体检测模型获取请求对应的目标用户的身份进行验证,并仅对通过身份验证的目标用户发出的气体检测模型获取请求进行响应,以确定出气体检测模型请求需要的总训练集。
S102,利用总训练集对检测模型进行训练,得到训练好的检测模型。
可选的,检测模型可以是待进行训练以获取气体检测模型的模型。训练好的检测模型可以是经训练的达到预设检测准确度和检测速度标准的模型。
可选的,利用总训练集,基于反向传播算法对检测模型进行训练,得到训练好的检测模型。在这个过程中,需要不断调整模型的权重,以优化模型性能,确保模型能够在不同情境下表现良好。
可选的,由于总训练集是在现有训练集的基础上扩充了模拟气体图像,因此,这扩大了模型训练的数据范围,增强了模型的泛化能力,使得该模型能够更好地适应不同环境和下的气体检测任务。
S103,利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型。
可选的,多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
可选的,使用多模态融合数据能够对训练好的检测模型进行顶更新和微调,以获取更优模型。使用多模态融合数据,对训练好的检测模型进行验证优化,有助于在VOCs气体以多种方式与周围环境混合的情况下,提高VOCs气体检测准确性。
可选的,由于多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合,因此多模态融合数据可以有多种形式,本申请实施例中是将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和,得到多模态融合数据,例如多模态融合数据F可以为式(1):
F=WD·D+WI·I;(1)
其中,D为检测结果的特征向量,I为验证集中的各原始红外图像和的特征向量,WD和WI分别为与其对应的权重。
另一种方式,还可以将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果按照预设比例进行整合,得到多模态融合数据。
需要说明的是,选择各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果,舍弃未正确识别到目标气体的检测结果,是为了提高检测模型对目标气体的认知能力。
进一步的,在得到目标气体检测模型之后,利用该目标气体检测模型对验证集中的原始红外图像进行验证,并可获取到原始红外图像中的目标气体的位置信息。
上述基于多模态数据融合的VOCs气体检测方法中,通过响应于用户对目标气体的气体检测模型获取请求,获取总训练集,继而利用总训练集对检测模型进行训练,得到训练好的检测模型,最终利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型。本申请的基于多模态数据融合的VOCs气体检测方法,通过多模态数据融合技术,将基于验证集中的各原始红外图像得到的数据的组合作为对模型进行验证优化的验证集,达到了提高检测准确度和检测速度的技术效果。
在上述实施例的基础上,通过图2对如何得到模拟气体图像的步骤进行了分解细化。可选的,如图2所示,包括如下实现过程:
S201,对原始红外图像进行特征提取,得到原始红外图像的深层特征。
可选的,本申请实施例使用深度学习架构ResNet对原始红外图像进行特征提取。例如,使用具有50层卷积神经网络的深度模型ResNet-50对原始红外图像进行特征提取。得到深层特征。深层特征输出为一个张量特征图,这些特征图在ResNet-50的最后一个卷积块中,由距离最后的全连接层最近的卷积层生成。
优选的,本方案中的原始红外图像的特征提取方法如下:
S2011,图像预处理,包括以下步骤:
1)去噪处理,其公式可以为式(2):
Ifiltered (x, y)=median{I(x+k, y+l)};(2)
其中,Ifiltered是滤波后的图像,I是原始图像,(x, y)是像素位置,I(k, l)是邻域内的像素偏移。
2)对比度增强:使用直方图均衡化等技术增强图像对比度;
S202,将深层特征整合成包含其抽象表示的一维特征向量。
可选的,该一维特征向量中包含原始红外图像中的所有信息。
优选的,本方案中的一维特征向量的构件方法如下:
3)特征整合,从多维到一维:
将CNN提取的多维特征图转换成一维特征向量,通过全连接层实现,全连接层操作可以简化表示为式(3):
v=ReLU(Wf*f+b f );(3)
其中,v是输出的一维特征向量,Wf是全连接层的权重,f是展平的特征图,b f 是偏置项,ReLU是激活函数。
4)向量抽象表示,将特征向量进一步压缩:
基本公式可以表示为式(4):
Y=X*P;(4)
其中,X是原始数据矩阵,P是主成分矩阵,Y是降维后的数据。
S203,将一维特征向量输入到生成对抗网络中,输出模拟气体图像。
可选的,将一维特征向量输入到生成对抗网络中,生成对抗网络的生成器将原始红外图像转换成模拟气体图像,以作为现有训练集的扩充。
优选的,本方案中生成对抗网络方法如下:
5)GAN网络结构设计:
生成器G负责从特征向量生成图像,判别器D评估生成图像的真实性。
生成器的操作简化表示为G(z; θg),其中,z是输入特征向量,θg是生成器参数。
判别器的操作简化表示为D(x; θg),其中,x是生成的或真实的图像,θg是判别器参数。
6)训练和优化:
在GAN的训练中,生成器和判别器相互竞争。生成器尝试生成越来越真实的图像,而判别器则尝试更准确地区分真实图像和生成图像。
训练过程可以通过以下损失函数最小化来描述,即式(5):
minGmaxDV(D, G)=Ex~pdata(x)[logD(x)]+Ez~pz(z)[log(1-D(G(z)))];(5)
其中,pdata(x)是真实图像的分布,pz(z)是生成器的输入噪声分布。
可以理解的是,本实施例中给出了将原始红外图像转换成模拟气体图像的一种可能的方式,方法简单易操作,且为后续获取总训练集并利用该总训练集对检测模型进行训练奠定了基础。
在一个实施例中,在获取到目标气体检测模型之后,可以利用验证集中的原始红外图像对目标气体检测模型的性能进行评估,其中评估内容包括检测准确度和检测速度。其中,检测准确度用于评估获取到的原始红外图像中的目标气体的位置与真实VOCs气***置的匹配程度;检测速度用于评估***检测过程中的平均速度,以确保满足实时应用的需求。可选的,可以利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型,并对目标气体检测模型进行性能评估,判断目标气体检测模型是否满足气体检测需求;若是,将目标气体检测模型用于进行气体检测;若否,继续对目标气体检测模型进行训练,直至满足气体检测需求。
在一个实施例中,通过图3示出了另一个实施例中基于多模态数据融合的VOCs气体检测方法的流程示意图,结合图3所示,各阶段具体包括如下实现过程:
S301,响应于用户对目标气体的气体检测模型获取请求,对原始红外图像进行特征提取,得到原始红外图像的深层特征。
S302,将深层特征整合成包含其抽象表示的一维特征向量。
S303,将一维特征向量输入到生成对抗网络中,输出模拟气体图像。
S304,将各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成总训练集。
S305,利用总训练集,基于反向传播算法对检测模型进行训练,得到训练好的检测模型。
S306,将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和,得到多模态融合数据。
S307,利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型。
S308,对目标气体检测模型进行性能评估,判断目标气体检测模型是否满足气体检测需求;若是,将目标气体检测模型用于进行气体检测,若否,继续对目标气体检测模型进行训练,直至满足气体检测需求。
上述S301-S308的具体过程可以参见上述方法实施例的描述,其实现原理和技术效果类似,在此不再赘述。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于多模态数据融合的VOCs气体检测方法的基于多模态数据融合的VOCs气体检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于多模态数据融合的VOCs气体检测装置实施例中的具体限定可以参见上文中对于基于多模态数据融合的VOCs气体检测方法的限定,在此不再赘述。
在其中一个实施例中,通过图4示出了一个实施例中基于多模态数据融合的VOCs气体检测装置的结构框图。如图4所示,提供了一种基于多模态数据融合的VOCs气体检测装置4,该装置4包括:获取模块40、训练模块41和验证优化模块42,其中:
获取模块40,用于响应于用户对目标气体的气体检测模型获取请求,获取总训练集;其中,总训练集是由训练集中的各原始红外图像和由各原始红外图像经转换得到的各模拟气体图像组成的;目标气体为VOCs气体;
训练模块41,用于利用总训练集对检测模型进行训练,得到训练好的检测模型;
验证优化模块42,用于利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型;其中,多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
上述基于多模态数据融合的VOCs气体检测装置,通过响应于用户对目标气体的气体检测模型获取请求,获取总训练集,继而利用总训练集对检测模型进行训练,得到训练好的检测模型,最终利用多模态融合数据,对训练好的检测模型进行验证优化,获取目标气体检测模型。本申请的基于多模态数据融合的VOCs气体检测装置,通过多模态数据融合技术,将基于验证集中的各原始红外图像得到的数据的组合作为对模型进行验证优化的验证集,达到了提高检测准确度和检测速度的技术效果。
在其中一个实施例中,上述验证优化模块42具体用于:
将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和,得到多模态融合数据。
在其中一个实施例中,上述装置4还包括:
提取模块,用于对原始红外图像进行特征提取,得到原始红外图像的深层特征;
整合模块,用于将深层特征整合成包含其抽象表示的一维特征向量;
输入模块,将一维特征向量输入到生成对抗网络中,输出模拟气体图像。
在其中一个实施例中,上述装置4还包括:
评估模块,用于对目标气体检测模型进行性能评估,判断目标气体检测模型是否满足气体检测需求;其中,性能评估的内容包括检测准确度和检测速度;若是,将目标气体检测模型用于进行气体检测;若否,继续对目标气体检测模型进行训练,直至满足气体检测需求。
在其中一个实施例中,上述训练模块41具体用于:
利用总训练集,基于反向传播算法对检测模型进行训练,得到训练好的检测模型。
上述基于多模态数据融合的VOCs气体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和收发器。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该计算机设备的收发器用于在处理器的控制下执行接收数据或发送数据的操作。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多模态数据融合的VOCs气体检测方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的,计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器实现各实施例中的原理和具体过程可参见前述实施例中基于多模态数据融合的VOCs气体检测方法实施例中的说明,此处不再赘述。
在其中一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现各实施例中的原理和具体过程可参见前述实施例中目标检测方法实施例中的说明,此处不再赘述。
在其中一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现各实施例中的原理和具体过程可参见前述实施例中目标检测方法实施例中的说明,此处不再赘述。
需要说明的是,本申请所涉及的信息(包括但不限于本申请中总训练集中的信息、多模态融合数据等),均为经过各方充分授权的信息或数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于多模态数据融合的VOCs气体检测方法,其特征在于,所述方法包括:
响应于用户对目标气体的气体检测模型获取请求,获取总训练集;其中,所述总训练集是由训练集中的各原始红外图像和由所述各原始红外图像经转换得到的各模拟气体图像组成的;所述目标气体为VOCs气体;
利用所述总训练集对检测模型进行训练,得到训练好的检测模型;
利用多模态融合数据,对所述训练好的检测模型进行验证优化,获取目标气体检测模型;其中,所述多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
2.根据权利要求1所述的方法,其特征在于,所述利用多模态融合数据,对所述训练好的检测模型进行验证优化,获取目标气体检测模型之前,所述方法还包括:
将验证集中的各原始红外图像和对各原始红外图像进行检测所得到的检测结果中正确识别到目标气体的检测结果进行加权求和,得到多模态融合数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对原始红外图像进行特征提取,得到所述原始红外图像的深层特征;
将所述深层特征整合成包含其抽象表示的一维特征向量;
将所述一维特征向量输入到生成对抗网络中,输出模拟气体图像。
4.根据权利要求1中所述的方法,其特征在于,所述方法还包括:
对目标气体检测模型进行性能评估,判断所述目标气体检测模型是否满足气体检测需求;其中,性能评估的内容包括检测准确度和检测速度;
若是,将所述目标气体检测模型用于进行气体检测;
若否,继续对所述目标气体检测模型进行训练,直至满足所述气体检测需求。
5.根据权利要求1所述的方法,其特征在于,所述利用所述总训练集对检测模型进行训练,得到训练好的检测模型,包括:
利用所述总训练集,基于反向传播算法对检测模型进行训练,得到训练好的检测模型。
6.一种基于多模态数据融合的VOCs气体检测装置,其特征在于,所述装置包括:
获取模块,用于响应于用户对目标气体的气体检测模型获取请求,获取总训练集;其中,所述总训练集是由训练集中的各原始红外图像和由所述各原始红外图像经转换得到的各模拟气体图像组成的;所述目标气体为VOCs气体;
训练模块,用于利用所述总训练集对检测模型进行训练,得到训练好的检测模型;
验证优化模块,用于利用多模态融合数据,对所述训练好的检测模型进行验证优化,获取目标气体检测模型;其中,所述多模态融合数据是基于验证集中的各原始红外图像得到的数据的组合。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
9.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410130226.7A CN117670878B (zh) | 2024-01-31 | 2024-01-31 | 一种基于多模态数据融合的VOCs气体检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410130226.7A CN117670878B (zh) | 2024-01-31 | 2024-01-31 | 一种基于多模态数据融合的VOCs气体检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117670878A true CN117670878A (zh) | 2024-03-08 |
CN117670878B CN117670878B (zh) | 2024-04-26 |
Family
ID=90079223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410130226.7A Active CN117670878B (zh) | 2024-01-31 | 2024-01-31 | 一种基于多模态数据融合的VOCs气体检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117670878B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114462717A (zh) * | 2022-02-23 | 2022-05-10 | 同济大学 | 一种基于改进gan与lstm的小样本气体浓度预测方法 |
WO2023279935A1 (zh) * | 2021-07-06 | 2023-01-12 | 京东科技信息技术有限公司 | 目标重识别模型的训练方法、目标重识别方法及装置 |
CN116310551A (zh) * | 2023-03-13 | 2023-06-23 | 宁波力斗智能技术有限公司 | 多模态信息融合网络的电力变压器故障诊断方法及*** |
CN116309473A (zh) * | 2023-03-20 | 2023-06-23 | 中国科学技术大学先进技术研究院 | 气体泄漏检测模型的训练方法和气体泄漏检测方法 |
CN116379359A (zh) * | 2023-04-07 | 2023-07-04 | 长扬科技(北京)股份有限公司 | 天然气泄露检测方法及多模态天然气泄露检测*** |
CN117333776A (zh) * | 2023-11-02 | 2024-01-02 | 云南北方光学科技有限公司 | VOCs气体泄漏检测方法、装置及存储介质 |
-
2024
- 2024-01-31 CN CN202410130226.7A patent/CN117670878B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023279935A1 (zh) * | 2021-07-06 | 2023-01-12 | 京东科技信息技术有限公司 | 目标重识别模型的训练方法、目标重识别方法及装置 |
CN114462717A (zh) * | 2022-02-23 | 2022-05-10 | 同济大学 | 一种基于改进gan与lstm的小样本气体浓度预测方法 |
CN116310551A (zh) * | 2023-03-13 | 2023-06-23 | 宁波力斗智能技术有限公司 | 多模态信息融合网络的电力变压器故障诊断方法及*** |
CN116309473A (zh) * | 2023-03-20 | 2023-06-23 | 中国科学技术大学先进技术研究院 | 气体泄漏检测模型的训练方法和气体泄漏检测方法 |
CN116379359A (zh) * | 2023-04-07 | 2023-07-04 | 长扬科技(北京)股份有限公司 | 天然气泄露检测方法及多模态天然气泄露检测*** |
CN117333776A (zh) * | 2023-11-02 | 2024-01-02 | 云南北方光学科技有限公司 | VOCs气体泄漏检测方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
JIACHEN SUN ET AL.: "Adaptively Optimized Gas Analysis Model with Deep Learning for Near-Infrared Methane Sensors", 《ANALYTICAL CHEMISTRY》, 18 January 2022 (2022-01-18) * |
陆秋琴 等: "区域VOCs聚集态势RF-LSTM智能感知方法", 《安全与环境学报》, 14 June 2021 (2021-06-14) * |
Also Published As
Publication number | Publication date |
---|---|
CN117670878B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ko et al. | POPQORN: Quantifying robustness of recurrent neural networks | |
Chen et al. | Median filtering forensics based on convolutional neural networks | |
Samek et al. | Evaluating the visualization of what a deep neural network has learned | |
CN109754078A (zh) | 用于优化神经网络的方法 | |
Cortiñas-Lorenzo et al. | Adam and the ants: on the influence of the optimization algorithm on the detectability of DNN watermarks | |
Zhang | Generating adversarial examples in one shot with image-to-image translation GAN | |
CN114429151A (zh) | 一种基于深度残差网络的大地电磁信号识别与重建方法及其*** | |
Chen et al. | Image splicing localization using residual image and residual-based fully convolutional network | |
CN115344863A (zh) | 一种基于图神经网络的恶意软件快速检测方法 | |
CN115358952A (zh) | 一种基于元学习的图像增强方法、***、设备和存储介质 | |
CN113139618B (zh) | 一种基于集成防御的鲁棒性增强的分类方法及装置 | |
Singh et al. | StegGAN: hiding image within image using conditional generative adversarial networks | |
Abdukhamidov et al. | Hardening interpretable deep learning systems: Investigating adversarial threats and defenses | |
CN117670878B (zh) | 一种基于多模态数据融合的VOCs气体检测方法 | |
CN111723912A (zh) | 一种神经网络解耦方法 | |
Chen et al. | White-box content camouflage attacks against deep learning | |
Trevino-Sanchez et al. | Hybrid pooling with wavelets for convolutional neural networks | |
Quiros et al. | A hybrid construction method based on weight functions to obtain interval‐valued fuzzy relations | |
CN116311451A (zh) | 一种多模态融合人脸活体检测模型生成方法和装置、电子设备 | |
CN115758337A (zh) | 基于时序图卷积网络的后门实时监测方法、电子设备、介质 | |
Zhang et al. | Se-dcgan: a new method of semantic image restoration | |
Huang et al. | Anti-forensics for double JPEG compression based on generative adversarial network | |
Agarwal et al. | Detecting Images in Two-Operator Series Manipulation: A Novel Approach Using Transposed Convolution and Information Fusion | |
CN114359945A (zh) | 生成快递异常面单的方法、装置、计算机设备和存储介质 | |
CN112463387A (zh) | 基于gpu时空资源消耗识别本地服务器上深度学习模型的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |