CN109931506A - 管道泄露检测方法及装置 - Google Patents
管道泄露检测方法及装置 Download PDFInfo
- Publication number
- CN109931506A CN109931506A CN201910192757.8A CN201910192757A CN109931506A CN 109931506 A CN109931506 A CN 109931506A CN 201910192757 A CN201910192757 A CN 201910192757A CN 109931506 A CN109931506 A CN 109931506A
- Authority
- CN
- China
- Prior art keywords
- time
- leakage
- mixed signal
- frequency
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种管道泄露检测方法及装置,该方法包括:基于短时傅里叶变换对管道混合信号进行时频分析,获取所述混合信号对应的时频谱;将所述时频谱转换成二维的时频图像;将所述时频图像输入至预设的卷积神经网络模型,根据所述卷积神经网络模型的输出结果,获取与所述混合信号对应的泄露类型。通过短时傅里叶变换对管道混合信号进行时频分析,获取混合信号对应的时频谱,而无需从混合信号中提取泄露信号,从而不易受到混合噪声的干扰。另外,将该时频谱转换成二维时频图像,输入至预设的卷积神经网络,预设的神经网络模型根据带有泄露类型的混合信号样本训练后得到,能够输出泄露类型的识别结果,从而检测过程快速而准确。
Description
技术领域
本发明实施例涉及信号处理技术领域,尤其涉及一种管道泄露检测方法及装置。
背景技术
供水管道在长距离的水资源运输中起到极为关键的作用,但由于大部分管道铺设在野外或地下等恶劣自然环境中,容易受到损坏。一旦供水管道受到损坏而发生泄漏,需要及时进行管道的维修,以免带来额外的经济损失。因此,管道泄漏的快速检测具有极大的应用价值,例如能够为管道维修提供方案指导。
目前,针对供水管网中的管道泄漏的信号检测,大多数采用时频分析与信号处理手段从管道获取的混合信号中提取有关泄露信号的信息。然而,由于管道网中信噪比较低,混合信号往往混有杂散的干扰信号及噪声,导致泄漏信号极其微弱,同时泄漏信号可能只存在于某段时间范围内,导致无法从混合信号中完全去除强噪声及干扰信号而获得待检测泄漏信号。另外,当信噪比变化较大时,传统的时频分布在非平稳信号处理中存在巨大的局限性,重构之后的信号依旧无法去除混合噪声的影响与干扰,导致提取出的泄漏信号对应的检测分类结果不可靠。综上,目前的管道泄露检测方法,由于受噪声与干扰影响,难以提取准确的泄漏信号,从而导致检测结果不可靠。
发明内容
为了解决上述问题,本发明实施例提供一种管道泄露检测方法及装置。
第一方面,本发明实施例提供一种管道泄露检测方法,包括:基于短时傅里叶变换(short-time Fourier transform,简称STFT)对管道混合信号进行时频分析,获取所述混合信号对应的时频谱;将所述时频谱转换成二维的时频图像;将所述时频图像输入至预设的卷积神经网络模型(Convolutional Neural Networks,简称CNN),根据所述卷积神经网络模型的输出结果,获取与所述混合信号对应的泄露类型;其中,所述混合信号中包括泄露信号,所述卷积神经网络模型根据带有泄露类型标签的样本混合信号样本训练后得到,所述泄露类型包括无泄露、小口泄漏、中口泄漏和大口泄漏。
第二方面,本发明实施例提供一种管道泄露检测装置,包括:时频分析模块,用于基于短时傅里叶变换对管道混合信号进行时频分析,获取所述混合信号对应的时频谱;图像生成模块,用于将所述时频谱转换成二维的时频图像;类型检测模块,用于将所述时频图像输入至预设的卷积神经网络模型,根据所述卷积神经网络模型的输出结果,获取与所述混合信号对应的泄露类型;其中,所述混合信号中包括泄露信号,所述卷积神经网络模型根据带有泄露类型标签的混合信号样本训练后得到,所述泄露类型包括无泄露、小口泄漏、中口泄漏和大口泄漏。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本发明第一方面管道泄露检测方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明第一方面管道泄露检测方法的步骤。
本发明实施例提供的管道泄露检测方法及装置,由于通过短时傅里叶变换对管道混合信号进行时频分析,获取混合信号对应的时频谱,而无需从混合信号中提取泄露信号,从而不易受到混合噪声的干扰。另外,将该时频谱转换成二维时频图像,输入至预设的卷积神经网络模型,预设的神经网络模型根据带有泄露类型的混合信号样本训练后得到,能够输出泄露类型的识别结果,从而检测过程快速而准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的管道泄露检测方法流程图;
图2为本发明实施例提供的管道泄露检测装置结构图;
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
供水管道泄漏的准确检测具有极大的应用价值,能够为供水管道维修提供方案指导。但是,目前的管道泄露检测方法,由于受噪声与干扰影响,难以提取准确的泄漏信号,从而导致检测结果不可靠。
为解决这一问题,本发明实施例提供一种管道泄露检测方法。该方法可应用于上述供水管道泄露检测的场景,也可以用于其它管道输送的泄露检测场景,如石油、天然气等输送的泄露检测,本发明实施例对此不作具体限定,以下以供水管道的应用场景为例进行说明。另外,该方法可以通过专用设置的泄露检测装置作为执行主体实现,也可以通过现有的检测装置和计算机结合来实现,本发明实施例对此也不作具体限定。为了便于说明,本发明实施例以执行主体为泄露检测装置为例,对本发明实施例提供的管道泄露检测方法进行阐述。
图1为本发明实施例提供的管道泄露检测方法流程图,如图1所示,本发明实施例提供一种管道泄露检测方法,包括:
101、基于短时傅里叶变换对管道混合信号进行时频分析,获取混合信号对应的时频谱。
在101中,在实际泄漏检测中,由于管道环境比较复杂,泄露检测装置实际采集到的信号为包括泄漏信号以及随机干扰噪声信号的混合信号,一般可认为是二者的加性组合,即:
x(t)=s(t)+n(t) (1)
其中,n(t)为随机干扰噪声,s(t)为泄漏信号。混合信号是泄漏信号与噪声信号的组合,属于非平稳随机信号。
供水管道的泄漏信号是声发射信号的一种。由于管道内外存在压力差,当某处发生漏水时,管内高压水会从穿孔或裂缝处向外喷射,喷出管道的水与泄漏口以及周围土壤等介质发生撞击摩擦,会产生不同频率的振动信号。同时结合泄露点到信号采集点(获取泄露信号的位置点)的距离,可建力泄露信号模型。例如,建立的泄露信号模型如下,以下通过此信号模型为例进行说明:
其中,ai和wi分别表示第i个振幅和振荡频率,R表示泄漏点到采集器的距离,V为泄漏信号在管道中的传播速度。
对包含泄漏信号的管道混合信号进行时频分析,即采用短时傅里叶变换,获取短时频谱:
混合信号的STFT定义为:
将上述泄露信号结合干扰噪声信号得到混合信号x(t)=s(t)+n(t)代入上式,采用非逐点步进滑窗方式进行STFT,得到x(t)的STFT为:
混合信号的时频谱即为STFT的模平方,记为Hx(t,f),有:
其中,h()是一个具有最小时宽带宽积的高斯窗函数,为h(t)=exp(-t2/2σ2)。STFT的最终结果是一个关于时间和频率的函数,与传统的FFT相比,STFT不仅有传统FFT的频谱特性,并且通过窗函数h()的移动,可以得到信号x(t)在具体时间点t附近的局部频谱特征,这样可以保留原信号x(t)尽可能多的信息,一定程度上能够提升信噪比。
102、将时频谱转换成二维的时频图像。
在102中,上述101步骤得到的混合信号的时频谱为关于时域和频域的函数,可在二维坐标中以时域坐标和频域坐标展示出,从而与二维图像的横坐标纵坐标相对应,并将时频谱转换成卷积神经网络模型能够识别的二维的时频图像。
103、将时频图像输入至预设的卷积神经网络模型,根据卷积神经网络模型的输出结果,获取与混合信号对应的泄露类型。
在103中,预设的卷积神经网络模型是通过样本混合信号训练后得到的。样本混合信号是预先已经获知其泄露类型的混合信号,并将对应的已知泄露类型作为每一样本混合信号的标签。建立卷积神经网络模型后,通过大量的此类样本混合信号进行训练,从而得到预设的卷积神经网络模型,对于后续接收到待检测的混合信号,将获取的对应时频图像输入至预设的卷积神经网络模型,能够快速准确得到相应的泄露类型的输出结果。相应地,用于训练的混合信号样本的时频图像的获取方法,采用步骤101中的相同方法。通过利用深度学习中的CNN网络模型,实现从低层级特征提取抽象不变的高层属性特征,实现了复杂的非线性函数逼近,刻画了泄漏信号的本质信息,从而保证获得的泄露类型的准确性。
泄露类型标签可根据需求进行定义,例如为有泄漏、无泄漏,或为无泄漏、小型泄露、中型泄露及大型泄露。泄露类型对于后续的维修过程中人力和物力的调配,能够起到关键的指导作用。
本发明实施例提供的管道泄露检测方法,由于通过短时傅里叶变换对管道混合信号进行时频分析,获取混合信号对应的时频谱,而无需从混合信号中提取泄露信号,从而不易受到混合噪声的干扰。另外,将该时频谱转换成二维时频图像,输入至预设的卷积神经网络模型,预设的神经网络模型根据带有泄露类型的混合信号样本训练后得到,能够输出泄露类型的识别结果,从而检测过程快速而准确。
基于上述实施例的内容,作为一种可选实施例,本发明实施例不对将时频谱转换成二维的时频图像的方法作具体限定,包括但不限于:根据混合信号时频谱对应的时频分布,将每一时间-频率点的能量强度与不同灰度值相对应,得到具有不同灰度值的二维时频图像。
混合信号的时频谱,可以对应时间-频率的二维坐标,每个点具有对应的能量强度。可以根据每一对时间-频率点的能量强度相对应地生成一个灰度值(RGB)。以8bit的图片为例,最大的能量值所对应的灰度值为255,最小能量值对应的灰度值为0,其它能量值按大小进行阶梯段的划分,分别对应0-255。混合信号在时频坐标平面上的时频点对应着时频灰度图像中的像素点,从而能够将混合信号的时频图像作为灰度图像进行处理,并得到具有不同灰度值的二维时频图像,记二维时频灰度图像为Γ。输入神经网络前,可对图像做作归一化处理,将所有像素点的灰度值除以255,用小数来表示归一化后的数据作为初始的二维特征向量。
具体地,为了快速计算短时窗内数据片段的STFT,窗函数长度通常选定为2的幂次,假设高斯窗长度为2P,滑窗步进为Q,x(t)的采样点数为Nx,Px为对应点的能量强度,Γ的行数、列数分别为M、N,接收混合信号的接收机的采样率为fs,时频图像的行、列分辨率,即时频域分辨率为Δt、Δf,则可通过如下步骤得到二维时频图像:
Γ=fix((Nx-(2P-Q))/Q); (6)
N=2P-1+1; (7)
Δt=Q/fs,Δf=fs/2P (8)
Γ(m,n)=Px((m-1)Δt,(n-1)Δf),m=1,2,…,M;n=1,2,…,N。 (9)
本发明实施例提供的管道泄露检测方法,将每一时间-频率点的能量强度与不同灰度值相对应,得到具有不同灰度值的二维时频图像,使二维时频图像能够准确反应混合信号时频谱的信息,并能够减小神经网络模型的计算量。
基于上述实施例的内容,将时频图像输入至预设的卷积神经网络模型,根据卷积神经网络模型的输出结果,获取与混合信号对应的泄露类型,包括:将时频图像输入至卷积神经网络模型的卷积层和池化层,利用卷积层和池化层对时频图像进行特征提取,输出时频图像对应的二维特征向量;将二维特性向量输入至卷积神经网络模型的全连接层,将二维特征向量转化为一维特征向量并输出;将一维特征向量输入至卷积神经网络模型的逻辑回归层,输出泄露类型对应的预测概率,根据预测概率获取混合信号对应的泄露类型。
具体地,将待检测的混合信号的时频图像输入CNN神经网络模型的处理流程可通过如下方法实现:
首先,将时频图像从网络的输入层输输入,通过两次特征提取层(每一特征提取包括一层卷积层与一层池化层)对混合信号的时频图像进行特征提取,输出与时频图像对应的多个二维特征向量。其次,将得到的多个二维特征向量输入卷积神经网络模型的全连接层,通过全连接层进行特征自学习,将特征提取层得到的二维特征综合起来,并输出包含多个特征的一维特征向量。然后,将一维特征向量输入至卷积神经网络模型的逻辑回归层,输出与泄露类型对应的预测概率。逻辑回归层可采用softmax分类器实现,将提取到的一维特征向量输入softmax分类器,即可得到泄露类型对应的预测概率。以泄露类型为无泄漏、小型泄露、中型泄露及大型泄露为例,softmax分类器的输出网元为4个,4个输出网元分别对应上述四种泄露类型,根据网元输出的泄露类型对应的概率从中选取出混合信号对应的泄露类型。可选的,每一卷积层和池化层之间,采用ReLU(The Rectified Linear Unit,修正线性单元)作为激活函数,其特点是收敛快,求梯度简单。
本发明实施例提供的管道泄露检测方法,通过预设的卷积神经网络提取特征,并通过逻辑回归层输出泄露类型对应的预测概率,能够对泄露类型进行准确分类,保证了检测结果的高效和准确。
基于上述实施例的内容,将时频图像输入至预设的卷积神经网络模型之前,还包括:获取多个混合信号样本和每个混合信号样本对应的泄露类型标签;基于短时傅里叶变换对每一个混合信号样本进行时频分析,获取每个混合信号对应的时频谱,并将每个时频谱转换成二维的时频图像;将每个混合信号样本对应的二维时频图像和泄露类型标签的组合作为一个训练样本,从而得到多个训练样本,利用多个训练样本对卷积神经网络模型进行训练。
将时频图像输入至预设的卷积神经网络模型之前,还需对该神经网络进行训练,从而得到能够进行泄露类型检测的预设神经网络模型,具体步骤如下:
首先,获取多个混合信号样本,并获取该多个混合信号样本中每个混合信号样本对应的泄露类型,将每个混合信号已经确定的泄露类型作为该混合信号的标签。例如,可通过历史泄露数据中获得确定泄露类型的混合信号样本。对于每一混合信号样本,均基于短时傅里叶变换对每一个混合信号样本进行时频分析,以获取每个混合信号对应的时频谱,并将每个混合信号样本对应的时频谱转换成二维的时频图像。对混合信号样本的短时傅里叶变换处理,以及时频图像的转换过程可参见上述相应的实施例。
其次,将每个混合信号样本对应的二维时频图像和泄露类型标签的组合作为一个样本,从而得到多个训练样本。将每一样本中混合信号对应的时频图像输入至构建的卷积神经网络模型,并根据输出结果调整卷积神经网络模型的相关参数,实现对卷积神经网络模型的训练过程,从而得到上述预设的卷积数据网络模型。
本发明实施例提供的管道泄露检测方法,通过获取多个混合信号样本和每个混合信号样本对应的泄露类型标签从而得到多个训练样本,利用多个训练样本对卷积神经网络模型进行训练,从而对于输入该卷积神经网络模型进行检测的混合信号,能够得到准确的对应泄露类型。
基于上述实施例的内容,利用多个训练样本对卷积神经网络模型进行训练,包括:将任意一个样本混合信号的时频图像输入至卷积神经网络模型,输出样本混合信号对应的泄露类型预测概率;利用预设损失函数根据样本混合信号对应的预测概率和样本混合信号的泄漏程度标签计算损失值;若损失值小于预设阈值,则卷积神经网络模型训练完成。
首先,从混合信号样本中选取任一混合信号(即样本混合信号),将该混合信号的时频图像输入至预设的卷积神经网络模型,经特征提取层提取二维特征向量、全连接层得到一维向量以及逻辑回归层输出每一泄露类型的预测概率。根据该预测概率和样本混合信号泄露类型的标签,计算损失函数对应的损失值。例如,选用损失函数选用交叉熵损失函数。利用反向传播法更新卷积神经网络的相关参数。其次,判断该损失值是否小于预设的阈值,若小于则结束训练过程,若不小于则选取新的样本混合信号进行训练。
具体地,预设的卷积神经网络模型的设计实现可采用如下方案:
卷积层的参数包括输入的图像个数、特征图像的数目以及二者像素点的数目。本实施例中将各个层的图像大小设为相同,都是(Mx,My);其中卷积核大小为(Kx,Ky),大小为Kx,Ky的卷积核在原始图像有用的块中做卷积操作。每一个卷积层针对它上一层的Mn-1幅图像采用尺寸是Kx×Ky的卷积核做卷积,为提取一幅图像中特征的大致流程。Mn个输出的图像是通过Mn-1个图像的卷积操作再加上不是线性的激励函数得出的。
上式中,n表示层数,图像大小为(Mx,My),Wij表示大小是的CNN滤波器对输入的图像的第i个图片以及输出的图像的第j个图片进行操作的一个权值参数,*表示卷积运算。对于像素大小是的输入图像Yn-1,经过核是的滤波器W处理之后获得的输出图像是Yn,其大小为为Mn-1幅输入图像的卷积响应,为Mn-1幅输入图像的偏置。
池化层使用最大化池化采样的方法,其输出是大小为(Kx,Ky)的非重叠矩阵的最大值。该方法体现了对于局部来说具有移位不会发生变的特点,通过因子(Kx,Ky)将各个不同方向的输入图像做降采样的处理。
按上述步骤进行训练的过程中,更新参数的过程包括:
首先,在第一个样本混合信号输入之前,进行参数初始化。通过随机初始化网络的权重。其次,对于每个样本混合信号输入至预设神经网络模型得到预测概率的过程和计算损失值的过程中,通过如下操作更新参数:
前向传播:卷积神经网络的前向传播具体为卷积层和池化层的操作。假设第l层为卷积层,l-1层为池化层或输入层,则可以计算出由l-1层到l层的神经元前向输出为表示的是第l层的第i个特征图,其中L为神经网络结构总层数,Nl为第l层中所有的特征图总数,即神经元个数。
反向传播:反向传播时要计算误差函数对神经元的权重和偏置的偏导。这两者结果都与输入的敏感误差有关,通常表示为计算输出层的误差并反向传播至第一个隐含层,从而计算出各层的残差
本发明实施例中所采用的损失函数为交叉熵函数,E即为损失函数。计算网络权重和偏置的梯度,采用随机梯度下降算法在每次学习中不断更新权值w和偏置b,直至误差值小于预设阈值。可选的,假设ε是学习率,则具体更新迭代定义如下:
即计算出权值和偏置后,结合误差函数和学习率生成最终用于更新的权值和偏置,从而达到加快收敛的效果。
基于上述实施例的内容,作为一种可选实施例,将时频图像输入至预设的卷积神经网络模型之前,还包括:对样本混合信号的时频图像进行增强预处理,获得增强预处理后的时频图像;相应地,将时频图像输入至预设的卷积神经网络模型,具体为将增强预处理后的时频图像输入至预设的卷积神经网络模型;其中,增强预处理包括中值滤波处理。
当信噪比较低时,时频图像背景噪声较高,背景噪声和泄露信号的对比度变差;将时频谱直接转换成时频图像时,由于时频谱本身强度较差,很难观察到泄漏信号,因此需要对混合信号的二维时频图像进行增强预处理。相应地,将混合信号输入至预设的卷积神经网络模型,为将增强预处理后的混合信号输入至预设的卷积神经网络模型。另外,用于训练的样本混合信号也采用相同的预处理方法,将其对应的时频图像进行增强预处理后输入神经网络模型进行训练。本发明实施例提供的管道泄露检测方法,通过对时频图像进行增强预处理,在信噪比较低时能够得到准确的检测结果。
作为一种可选实施例,增强预处理包括中值滤波处理。中值滤波是一种非线性平滑技术,其基本原理是将数字序列中的某一点的值用该点的邻域中各点值的中值来代替,使周围的像素值接近真实值,从而消除了孤立的噪声点。二维的中值滤波输出为:
g(x,y)=mid{f(x_k,y_1),(k,1∈W)} (13)
其中f(x,y),g(x,y)分别为原始图像和处理后的图像,W是二维模板,优选时为3×3、5×5区域,可以是不同的形状,如线状、圆形、十字形、圆环形等。
基于上述实施例的内容,作为一种可选实施例,将时频图像输入至预设的卷积神经网络模型之前,还包括:对样本混合信号的时频图像进行降维处理,获得降维处理后的时频图像;相应地,将时频图像输入至预设的卷积神经网络模型,具体为:将降维处理后的时频图像输入至预设的卷积神经网络模型。
从信号处理的角度,降维处理能够在保持混合泄漏信号时频特征的前提下,将时频图像进行维度,使得轻量级卷积神经网络和小样本训练成为可能。例如,通过求平均值的方法将128×16000像素的时频图像,降低到28×140像素。相应地,将时频图像输入至预设的卷积神经网络模型,为将降维处理后的时频图像输入至预设的卷积神经网络模型。通过对混合信号的时频图像进行降维处理,从而减小卷积神经网络的计算复杂度。
基于上述各方法实施例,采用短时傅里叶变换、中值滤波、信号级降维与轻量级卷积神经网络相结合的方法实现泄露类型检测。以泄露类型为无泄漏、小型泄露、中型泄露及大型泄露为例,每种泄漏情况采用600组样本进行CNN神经网络训练。之后,采用120组样本进行测试。表1为水管泄漏类型检测分类结果,针对无泄漏、小口泄漏、中口泄漏、大口泄漏四种情况下,检测识别出的四种泄漏信号。由表1可知,由于采用了短时傅里叶变换、中值滤波、信号级降维与轻量级卷积神经网络设计相结合的优化方法,本发明获得了较好的泄漏信号检测分类结果。
表1水管泄漏类型检测分类结果
图2为本发明实施例提供的管道泄露检测装置结构图,如图2所示,该管道泄露检测装置包括:时频分析模块201,图像生成模块202和类型检测模块203。其中,时频分析模块201用于基于短时傅里叶变换对管道混合信号进行时频分析,获取混合信号对应的时频谱;图像生成模块202用于将时频谱转换成二维的时频图像;类型检测模块203用于将时频图像输入至预设的卷积神经网络模型,根据卷积神经网络模型的输出结果,获取与混合信号对应的泄露类型;其中,混合信号中包括泄露信号,卷积神经网络模型根据带有泄露类型标签的混合信号样本训练后得到,泄露类型包括无泄露、小口泄漏、中口泄漏和大口泄漏。
泄露检测装置实际采集到的信号包括泄漏信号以及随机干扰噪声信号的混合信号,一般可认为是二者的加性组合,即:
x(t)=s(t)+n(t) (14)
其中,n(t)为随机干扰噪声,s(t)为泄漏信号。混合信号是泄漏信号与噪声信号的组合,属于非平稳随机信号。
时频分析模块201对包含泄漏信号的管道混合信号进行时频分析,采用短时傅里叶变换,获取短时频谱。得到的混合信号的时频谱为关于时域和频域的函数,图像生成模块202可在二维坐标中以时域坐标和频域坐标展示出,从而与二维图像的横坐标纵坐标相对应,并将时频谱转换成卷积神经网络模型能够识别的二维的时频图像。
类型检测模块203通过预设的卷积神经网络模型对图像生成模块202得到的时频图像进行处理。样本混合信号是预先已经获知其泄露类型的混合信号,并将对应的已知泄露类型作为每一样本混合信号的标签。建立卷积神经网络模型后,通过大量的此类样本混合信号进行训练,从而得到预设的卷积神经网络模型,对于后续接收到混合信号,将获取的对应时频图像输入至类型检测模块203的预设卷积神经网络模型中进行处理后,能够快速准确得到相应的泄露类型的输出结果。
泄露类型标签可根据需求进行定义,例如为有泄漏、无泄漏,或为无泄漏、小型泄露、中型泄露及大型泄露。泄露类型对于后续的维修过程中人力和物力的调配,能够起到关键的指导作用。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的,具体流程和详细内容请参照上述方法实施例,此处不再赘述。
本发明实施例提供的管道泄露检测装置,由于通过短时傅里叶变换对管道混合信号进行时频分析,获取混合信号对应的时频谱,而无需从混合信号中提取泄露信号,从而不易受到混合噪声的干扰。另外,将该时频谱转换成二维时频图像,输入至预设的卷积神经网络模型,预设的神经网络模型根据带有泄露类型的混合信号样本训练后得到,能够输出泄露类型的识别结果,从而检测过程快速而准确。
图3为本发明实施例提供的一种电子设备的实体结构示意图,如图3所示,该服务器可以包括:处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和总线304,其中,处理器301,通信接口302,存储器303通过总线304完成相互间的通信。通信接口302可以用于电子设备的信息传输。处理器301可以调用存储器303中的逻辑指令,以执行包括如下的方法:基于短时傅里叶变换对管道混合信号进行时频分析,获取混合信号对应的时频谱;将时频谱转换成二维的时频图像;将时频图像输入至预设的卷积神经网络模型,根据卷积神经网络模型的输出结果,获取与混合信号对应的泄露类型;其中,混合信号中包括泄露信号,卷积神经网络模型根据带有泄露类型标签的样本混合信号样本训练后得到,泄露类型包括无泄露、小口泄漏、中口泄漏和大口泄漏。
此外,上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种管道泄露检测方法,其特征在于,包括:
基于短时傅里叶变换对管道混合信号进行时频分析,获取所述混合信号对应的时频谱;
将所述时频谱转换成二维的时频图像;
将所述时频图像输入至预设的卷积神经网络模型,根据所述卷积神经网络模型的输出结果,获取与所述混合信号对应的泄露类型;
其中,所述混合信号中包括泄露信号,所述卷积神经网络模型根据带有泄露类型标签的混合信号样本训练后得到,所述泄露类型包括无泄露、小口泄漏、中口泄漏和大口泄漏。
2.根据权利要求1所述的方法,其特征在于,所述将所述时频谱转换成二维的时频图像,包括:
根据混合信号时频谱对应的时频分布,将每一时间-频率点的能量强度与不同灰度值相对应,得到具有不同灰度值的二维时频图像。
3.根据权利要求1所述的方法,其特征在于,所述将所述时频图像输入至预设的卷积神经网络模型,根据所述卷积神经网络模型的输出结果,获取与所述混合信号对应的泄露类型,包括:
将所述时频图像输入至所述卷积神经网络模型的卷积层和池化层,利用所述卷积层和所述池化层对所述时频图像进行特征提取,输出所述时频图像对应的二维特征向量;
将所述二维特性向量输入至所述卷积神经网络模型的全连接层,将所述二维特征向量转化为一维特征向量并输出;
将所述一维特征向量输入至所述卷积神经网络模型的逻辑回归层,输出所述泄露类型对应的预测概率,根据所述预测概率获取所述混合信号对应的泄露类型。
4.根据权利要求1所述的方法,其特征在于,所述将所述时频图像输入至预设的卷积神经网络模型之前,还包括:
获取多个混合信号样本和每个混合信号样本对应的泄露类型标签;
基于短时傅里叶变换对每个混合信号样本进行时频分析,获取每个混合信号对应的时频谱,并将每个时频谱转换成二维的时频图像;
将每个混合信号样本对应的二维时频图像和泄露类型标签的组合作为一个训练样本,从而得到多个训练样本,利用所述多个训练样本对所述卷积神经网络模型进行训练。
5.根据权利要求4所述的方法,其特征在于,所述利用所述多个训练样本对所述卷积神经网络模型进行训练,包括:
将任意一个样本混合信号的时频图像输入至所述卷积神经网络模型,输出所述样本混合信号对应的泄露类型预测概率;
利用预设损失函数根据所述样本混合信号对应的预测概率和所述样本混合信号的泄漏程度标签计算损失值;
若所述损失值小于预设阈值,则所述卷积神经网络模型训练完成。
6.根据权利要求1所述的方法,其特征在于,所述将所述时频图像输入至预设的卷积神经网络模型之前,还包括:
对所述混合信号的时频图像进行增强预处理,获得增强预处理后的时频图像;
相应地,将所述时频图像输入至预设的卷积神经网络模型,具体为:
将增强预处理后的时频图像输入至预设的卷积神经网络模型;
其中,所述增强预处理包括中值滤波处理。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述将所述时频图像输入至预设的卷积神经网络模型之前,还包括:
对所述混合信号的时频图像进行降维处理,获得降维处理后的时频图像;
相应地,将所述时频图像输入至预设的卷积神经网络模型,具体为:
将降维处理后的时频图像输入至预设的卷积神经网络模型。
8.一种管道泄露检测装置,其特征在于,包括:
时频分析模块,用于基于短时傅里叶变换对管道混合信号进行时频分析,获取所述混合信号对应的时频谱;
图像生成模块,用于将所述时频谱转换成二维的时频图像;
类型检测模块,用于将所述时频图像输入至预设的卷积神经网络模型,根据所述卷积神经网络模型的输出结果,获取与所述混合信号对应的泄露类型;
其中,所述混合信号中包括泄露信号,所述卷积神经网络模型根据带有泄露类型标签的混合信号样本训练后得到,所述泄露类型包括无泄露、小口泄漏、中口泄漏和大口泄漏。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述管道泄露检测方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述管道泄露检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910192757.8A CN109931506A (zh) | 2019-03-14 | 2019-03-14 | 管道泄露检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910192757.8A CN109931506A (zh) | 2019-03-14 | 2019-03-14 | 管道泄露检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109931506A true CN109931506A (zh) | 2019-06-25 |
Family
ID=66987312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910192757.8A Pending CN109931506A (zh) | 2019-03-14 | 2019-03-14 | 管道泄露检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109931506A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110195823A (zh) * | 2019-07-16 | 2019-09-03 | 重庆科技学院 | 一种基于深度神经网络的管道微泄露检测方法 |
CN110440148A (zh) * | 2019-07-15 | 2019-11-12 | 清华大学 | 一种漏损声信号分类识别方法、装置及*** |
CN110553151A (zh) * | 2019-07-17 | 2019-12-10 | 石化盈科信息技术有限责任公司 | 一种管道泄漏监测方法和*** |
CN110969123A (zh) * | 2019-12-02 | 2020-04-07 | 集美大学 | 基于频域的电磁信息泄漏检测方法、终端设备及存储介质 |
WO2020102846A1 (en) * | 2018-11-23 | 2020-05-28 | The University Of Adelaide | Method and system to analyse pipeline condition |
CN111975638A (zh) * | 2020-08-18 | 2020-11-24 | 青岛海纳水下信息技术有限公司 | 一种水研磨切割*** |
WO2021022315A1 (en) * | 2019-08-02 | 2021-02-11 | The University Of Adelaide | Method and system to monitor pipeline condition |
CN112560806A (zh) * | 2021-01-26 | 2021-03-26 | 华东交通大学 | 一种天然气管道泄漏信号人工智能识别方法 |
CN112613431A (zh) * | 2020-12-28 | 2021-04-06 | 中北大学 | 一种泄漏气体自动识别方法、***及装置 |
CN112762362A (zh) * | 2021-01-15 | 2021-05-07 | 中国海洋石油集团有限公司 | 基于卷积神经网络的水下管道泄漏声发射检测方法 |
CN112949817A (zh) * | 2020-12-24 | 2021-06-11 | 长江勘测规划设计研究有限责任公司 | 基于时间卷积神经网络的给水管泄漏边缘设备检测方法 |
CN113392705A (zh) * | 2021-05-13 | 2021-09-14 | 电子科技大学 | 一种基于卷积神经网络的沙漠地区管道泄漏目标识别方法 |
CN113606502A (zh) * | 2021-07-16 | 2021-11-05 | 青岛新奥燃气设施开发有限公司 | 一种基于机器视觉判断操作人员执行管道漏气检测的方法 |
CN113719764A (zh) * | 2021-08-04 | 2021-11-30 | 中国人民解放军陆军勤务学院 | 一种管道泄漏检测方法 |
CN113781513A (zh) * | 2021-08-19 | 2021-12-10 | 广东能源集团科学技术研究院有限公司 | 一种电厂供水管道泄漏检测方法及*** |
CN113792585A (zh) * | 2021-08-03 | 2021-12-14 | 重庆兆光科技股份有限公司 | 一种管道振动信号监测方法、***、电子设备及介质 |
CN114001880A (zh) * | 2021-10-29 | 2022-02-01 | 清华大学合肥公共安全研究院 | 一种基于管内泄漏声波分析的供水管道泄漏量评估方法 |
CN114429504A (zh) * | 2022-04-06 | 2022-05-03 | 北京理工大学 | 一种燃料电池汽车氢***微量泄漏诊断方法 |
CN115655594A (zh) * | 2022-12-12 | 2023-01-31 | 杭州兆华电子股份有限公司 | 一种基于声云图管道节流和泄漏的区分识别方法及装置 |
CN117668623A (zh) * | 2024-02-02 | 2024-03-08 | 中国海洋大学 | 船舶管道阀门泄漏多传感器跨域故障诊断方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000221020A (ja) * | 1999-02-01 | 2000-08-11 | Mitsubishi Electric Corp | 異常箇所検出装置 |
CN106446782A (zh) * | 2016-08-29 | 2017-02-22 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
CN106909784A (zh) * | 2017-02-24 | 2017-06-30 | 天津大学 | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 |
CN107977456A (zh) * | 2017-12-15 | 2018-05-01 | 清华大学 | 一种基于多任务深度网络的多源大数据分析方法 |
CN108304770A (zh) * | 2017-12-18 | 2018-07-20 | 中国计量大学 | 一种基于时频分析算法结合深度学习理论的气液两相流流型的方法 |
CN108564005A (zh) * | 2018-03-26 | 2018-09-21 | 电子科技大学 | 一种基于卷积神经网络的人体跌倒辨识方法 |
CN108731886A (zh) * | 2018-05-30 | 2018-11-02 | 北京工业大学 | 一种基于迭代递推的供水管道多泄漏点声定位方法 |
CN108896296A (zh) * | 2018-04-18 | 2018-11-27 | 北京信息科技大学 | 一种基于卷积神经网络的风电齿轮箱故障诊断方法 |
CN109001557A (zh) * | 2018-06-11 | 2018-12-14 | 西北工业大学 | 一种基于随机卷积神经网络的飞机机电***故障识别方法 |
CN109271643A (zh) * | 2018-08-08 | 2019-01-25 | 北京捷通华声科技股份有限公司 | 一种翻译模型的训练方法、翻译方法和装置 |
CN109274621A (zh) * | 2018-09-30 | 2019-01-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度残差网络的通信协议信号识别方法 |
CN109340586A (zh) * | 2018-11-06 | 2019-02-15 | 三川智慧科技股份有限公司 | 一种供水管道泄露的检测方法及*** |
-
2019
- 2019-03-14 CN CN201910192757.8A patent/CN109931506A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000221020A (ja) * | 1999-02-01 | 2000-08-11 | Mitsubishi Electric Corp | 異常箇所検出装置 |
CN106446782A (zh) * | 2016-08-29 | 2017-02-22 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
CN106909784A (zh) * | 2017-02-24 | 2017-06-30 | 天津大学 | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 |
CN107977456A (zh) * | 2017-12-15 | 2018-05-01 | 清华大学 | 一种基于多任务深度网络的多源大数据分析方法 |
CN108304770A (zh) * | 2017-12-18 | 2018-07-20 | 中国计量大学 | 一种基于时频分析算法结合深度学习理论的气液两相流流型的方法 |
CN108564005A (zh) * | 2018-03-26 | 2018-09-21 | 电子科技大学 | 一种基于卷积神经网络的人体跌倒辨识方法 |
CN108896296A (zh) * | 2018-04-18 | 2018-11-27 | 北京信息科技大学 | 一种基于卷积神经网络的风电齿轮箱故障诊断方法 |
CN108731886A (zh) * | 2018-05-30 | 2018-11-02 | 北京工业大学 | 一种基于迭代递推的供水管道多泄漏点声定位方法 |
CN109001557A (zh) * | 2018-06-11 | 2018-12-14 | 西北工业大学 | 一种基于随机卷积神经网络的飞机机电***故障识别方法 |
CN109271643A (zh) * | 2018-08-08 | 2019-01-25 | 北京捷通华声科技股份有限公司 | 一种翻译模型的训练方法、翻译方法和装置 |
CN109274621A (zh) * | 2018-09-30 | 2019-01-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度残差网络的通信协议信号识别方法 |
CN109340586A (zh) * | 2018-11-06 | 2019-02-15 | 三川智慧科技股份有限公司 | 一种供水管道泄露的检测方法及*** |
Non-Patent Citations (3)
Title |
---|
徐明远: "《MATLAB仿真在电子测量中的应用》", 31 July 2013, 西安电子科技大学 * |
王新颖等: "城市燃气管道泄漏诊断方法", 《消防科学与技术》 * |
陈雯柏: "《人工神经网络原理与实践》", 31 January 2016, 西安电子科技大学出版社 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020102846A1 (en) * | 2018-11-23 | 2020-05-28 | The University Of Adelaide | Method and system to analyse pipeline condition |
CN110440148A (zh) * | 2019-07-15 | 2019-11-12 | 清华大学 | 一种漏损声信号分类识别方法、装置及*** |
CN110195823A (zh) * | 2019-07-16 | 2019-09-03 | 重庆科技学院 | 一种基于深度神经网络的管道微泄露检测方法 |
CN110553151A (zh) * | 2019-07-17 | 2019-12-10 | 石化盈科信息技术有限责任公司 | 一种管道泄漏监测方法和*** |
CN110553151B (zh) * | 2019-07-17 | 2021-05-07 | 石化盈科信息技术有限责任公司 | 一种管道泄漏监测方法和*** |
WO2021022315A1 (en) * | 2019-08-02 | 2021-02-11 | The University Of Adelaide | Method and system to monitor pipeline condition |
CN110969123A (zh) * | 2019-12-02 | 2020-04-07 | 集美大学 | 基于频域的电磁信息泄漏检测方法、终端设备及存储介质 |
CN111975638A (zh) * | 2020-08-18 | 2020-11-24 | 青岛海纳水下信息技术有限公司 | 一种水研磨切割*** |
CN111975638B (zh) * | 2020-08-18 | 2022-03-29 | 青岛海纳水下信息技术有限公司 | 一种水研磨切割*** |
CN112949817A (zh) * | 2020-12-24 | 2021-06-11 | 长江勘测规划设计研究有限责任公司 | 基于时间卷积神经网络的给水管泄漏边缘设备检测方法 |
CN112613431A (zh) * | 2020-12-28 | 2021-04-06 | 中北大学 | 一种泄漏气体自动识别方法、***及装置 |
CN112762362A (zh) * | 2021-01-15 | 2021-05-07 | 中国海洋石油集团有限公司 | 基于卷积神经网络的水下管道泄漏声发射检测方法 |
CN112560806A (zh) * | 2021-01-26 | 2021-03-26 | 华东交通大学 | 一种天然气管道泄漏信号人工智能识别方法 |
CN112560806B (zh) * | 2021-01-26 | 2022-06-21 | 华东交通大学 | 一种天然气管道泄漏信号人工智能识别方法 |
CN113392705A (zh) * | 2021-05-13 | 2021-09-14 | 电子科技大学 | 一种基于卷积神经网络的沙漠地区管道泄漏目标识别方法 |
CN113606502A (zh) * | 2021-07-16 | 2021-11-05 | 青岛新奥燃气设施开发有限公司 | 一种基于机器视觉判断操作人员执行管道漏气检测的方法 |
CN113792585B (zh) * | 2021-08-03 | 2023-06-27 | 重庆兆光科技股份有限公司 | 一种管道振动信号监测方法、***、电子设备及介质 |
CN113792585A (zh) * | 2021-08-03 | 2021-12-14 | 重庆兆光科技股份有限公司 | 一种管道振动信号监测方法、***、电子设备及介质 |
CN113719764A (zh) * | 2021-08-04 | 2021-11-30 | 中国人民解放军陆军勤务学院 | 一种管道泄漏检测方法 |
CN113781513A (zh) * | 2021-08-19 | 2021-12-10 | 广东能源集团科学技术研究院有限公司 | 一种电厂供水管道泄漏检测方法及*** |
CN113781513B (zh) * | 2021-08-19 | 2023-11-28 | 广东能源集团科学技术研究院有限公司 | 一种电厂供水管道泄漏检测方法及*** |
CN114001880A (zh) * | 2021-10-29 | 2022-02-01 | 清华大学合肥公共安全研究院 | 一种基于管内泄漏声波分析的供水管道泄漏量评估方法 |
CN114001880B (zh) * | 2021-10-29 | 2024-05-10 | 清华大学合肥公共安全研究院 | 一种基于管内泄漏声波分析的供水管道泄漏量评估方法 |
CN114429504A (zh) * | 2022-04-06 | 2022-05-03 | 北京理工大学 | 一种燃料电池汽车氢***微量泄漏诊断方法 |
CN115655594A (zh) * | 2022-12-12 | 2023-01-31 | 杭州兆华电子股份有限公司 | 一种基于声云图管道节流和泄漏的区分识别方法及装置 |
CN115655594B (zh) * | 2022-12-12 | 2023-03-10 | 杭州兆华电子股份有限公司 | 一种基于声云图管道节流和泄漏的区分识别方法及装置 |
CN117668623A (zh) * | 2024-02-02 | 2024-03-08 | 中国海洋大学 | 船舶管道阀门泄漏多传感器跨域故障诊断方法 |
CN117668623B (zh) * | 2024-02-02 | 2024-05-14 | 中国海洋大学 | 船舶管道阀门泄漏多传感器跨域故障诊断方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109931506A (zh) | 管道泄露检测方法及装置 | |
Bao et al. | Threat of adversarial attacks on DL-based IoT device identification | |
CN111178260B (zh) | 一种基于生成对抗网络的调制信号时频图分类***及其运行方法 | |
CN111126134B (zh) | 基于非指纹信号消除器的雷达辐射源深度学习识别方法 | |
CN110147812A (zh) | 基于扩张残差网络的雷达辐射源识别方法及装置 | |
CN112884059B (zh) | 一种融合先验知识的小样本雷达工作模式分类方法 | |
Li et al. | IncepTCN: A new deep temporal convolutional network combined with dictionary learning for strong cultural noise elimination of controlled-source electromagnetic data | |
Zhang et al. | A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data | |
CN109932708A (zh) | 一种基于干涉条纹和深度学习的水面水下分类目标的方法 | |
CN111931820B (zh) | 一种基于卷积残差网络的水中目标辐射噪声lofar谱图线谱提取方法 | |
AU2021101336A4 (en) | A Classification System Of Modulation Signal Time-Frequency Image Based On Generative Adversarial Network And Its Operation Method | |
CN113673312B (zh) | 基于深度学习的雷达信号脉内调制识别方法 | |
CN112990082B (zh) | 一种水声脉冲信号的检测识别方法 | |
CN114595732A (zh) | 基于深度聚类的雷达辐射源分选方法 | |
CN113780242A (zh) | 一种基于模型迁移学习的跨场景水声目标分类方法 | |
CN115114949A (zh) | 一种基于水声信号的舰船目标智能识别方法及*** | |
Ye et al. | Recognition algorithm of emitter signals based on PCA+ CNN | |
CN114117912A (zh) | 一种数据模型双驱动下的海杂波建模与抑制方法 | |
Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
CN112766381B (zh) | 有限样本下属性引导的sar图像生成方法 | |
CN116482618A (zh) | 基于多损失特征自校准网络的雷达有源干扰识别方法 | |
CN109945075A (zh) | 一种供水管道泄漏程度检测方法及装置 | |
CN113343924B (zh) | 一种基于循环谱特征和生成对抗网络的调制信号识别方法 | |
US20230111937A1 (en) | Image artifact reduction using filter data based on deep image prior operations | |
CN113359091B (zh) | 基于深度学习的多核函数混叠雷达辐射源识别方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |
|
RJ01 | Rejection of invention patent application after publication |