CN104794486A - 基于多特征融合的视频烟雾检测方法 - Google Patents

基于多特征融合的视频烟雾检测方法 Download PDF

Info

Publication number
CN104794486A
CN104794486A CN201510170159.2A CN201510170159A CN104794486A CN 104794486 A CN104794486 A CN 104794486A CN 201510170159 A CN201510170159 A CN 201510170159A CN 104794486 A CN104794486 A CN 104794486A
Authority
CN
China
Prior art keywords
pixel
feature
video
smog
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510170159.2A
Other languages
English (en)
Other versions
CN104794486B (zh
Inventor
周雪
邹见效
徐红兵
邓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510170159.2A priority Critical patent/CN104794486B/zh
Publication of CN104794486A publication Critical patent/CN104794486A/zh
Application granted granted Critical
Publication of CN104794486B publication Critical patent/CN104794486B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多特征融合的视频烟雾检测方法,首先对训练视频序列提取运动目标,根据颜色特征判断是否为疑似烟雾区域,对疑似烟雾区域提取形状不规则特征、面积增长特征和K个背景模糊特征,组合成特征向量,然后对特征向量进行正负样本划分,得到训练样本;将训练样本的特征向量作为输出、样本类型作为输出,对分类器进行训练;对于待检测图像,采用相同方法提取得到特征向量,输入分类器进行判定是否为烟雾。本发明对疑似烟雾区域提取多个特征,对烟雾进行综合判定,提高烟雾的检测率。

Description

基于多特征融合的视频烟雾检测方法
技术领域
本发明属于计算机视觉技术领域,更为具体地讲,涉及一种基于多特征融合的视频烟雾检测方法。
背景技术
火灾是一种非常常见的灾害。随着社会的不断发展,社会财富的不断增加,火灾的发生不仅造成巨大的经济损失、破坏和谐的生态环境,而且严重威胁到人们的财产和生命安全,对社会的稳定繁荣发展造成影响。越早地准确发现火灾就越可能将各方面的损失降低到最小。烟雾作为火灾前期的一种重要产物,准确的检测出烟雾即可对火灾进行预警。
传统的烟雾检测器绝大多数还是采用感烟、感温、感光、感可燃气体以及集合其中几种的复合型检测器。这些检测器是依靠检测燃烧过程中的副产物(烟雾粒子、物质燃烧放热、可燃气体等)来检测烟雾的,因此只能在离火焰和烟雾源比较近的地方才能快速有效的发挥探测作用,对于大的空间或者户外场所,其检测的可靠性较低。
基于视频图像的烟雾检测属于计算机视觉中目标检测的范畴。其中对于烟雾特征的提取是主要研究的重点,目前已有多个研究团队在烟雾的特征提取上进行了研究。Toreyin等人和帅师等人引入了小波变换来分析烟雾的纹理特征,主要分析随时间变化时烟雾图像中小波能量的变化趋势,以此来区分烟雾和非烟雾区域。Gubbi等人采用了比较热门的支持向量机(SVM)分类器,另外还利用多层小波分析了烟雾的纹理特征。Chen等人主要分析了烟雾图像的颜色信息,给出了烟雾颜色在RGB三通道中的统计分布规则,利用此规则加上烟雾其他的动态特征完成对烟雾的检测。袁等人认为烟雾的运动在燃烧的热能的驱动下呈现向上的趋势,所以利用了主运动方向特征来统计烟雾运动方向,同时为了加快速度,引入了积分图的方法来计算烟雾块之间的距离。吴等人提出了利用卡尔曼滤波来检测运动目标区域,并结合基于高斯混合模型的烟雾颜色建模,由前二者来提取疑似烟雾区域,再对烟雾的动态特征(小波能量变化趋势和颜色融合特性)分析,实现烟雾的智能检测。
总的来说,目前对视频烟雾检测进行研究的人员越来越多,也取得了一些不错结果。但是在对于综合环境复杂的现实情况下,现有的算法还是有些不足,主要是误检较高。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于多特征融合的视频烟雾检测方法,对疑似烟雾区域提取多个特征,对烟雾进行综合判定,提高烟雾的检测率。
为实现上述发明目的,本发明基于多特征融合的视频烟雾检测方法,包括以下步骤:
S1:选取若干个含有火灾烟雾与其他运动目标的视频序列,提取得到各个运动目标的特征向量作为训练样本,训练样本的获取方法包括以下步骤:
S1.1:对每个训练视频序列进行运动目标检测;
S1.2:对步骤S1.1得到的运动目标区域,遍历区域内的每个像素,根据预设的颜色特征判别公式判断该像素是否为烟雾像素,将不是烟雾像素的像素点去除,得到疑似烟雾区域;
S1.3:对疑似烟雾区域进行动态特征提取,包括形状不规则特征、面积增长特征和在主运动方向上的背景模糊特征,每种特征的提取方法为:
(1)形状不规则特征S的计算公式如下:
S=P/Q
其中,P表示疑似烟雾区域边缘轮廓长度,Q表示疑似烟雾区域的面积;
(2)面积增长特征ΔA的计算公式如下:
ΔA = A t - A t - k k
其中,At表示当前第t帧视频图像中疑似烟雾区域的面积,At-k表示在第t-k帧视频图像中对应的疑似烟雾区域的面积,k的取值范围为k≥1;
(3)在主运动方向上的背景模糊特征:
对疑似烟雾区域的运动目标进行主运动方向分析,得到疑似烟雾区域的主运动方向,并得到疑似烟雾区域在主运动方向上的外接矩形;然后对当前第t帧图像F(t)和对应的背景图像B(t)分别进行高通滤波,得到高通滤波后的当前帧图像和背景图像,计算外接矩形区域内每个像素点的相对衰减系数C(m,n,t),计算公式为:
其中,Bh(m,n,t)表示滤波后背景图像Bh(t)中像素点(m,n)的灰度值,Fh(m,n,t)表示滤波后当前帧图像Fh(t)中像素点(m,n)的灰度值;
将外接矩形沿主运动方向平均分为K段,K的取值范围为K≥2,分别计算各段区域内的平均衰减系数,将K个平均衰减系数作为K个背景模糊特征;
S1.4:将步骤S1.3中得到的形状不规则特征、面积增长特征和K个背景模糊特征,组合成为特征向量;
S1.5:判断疑似烟雾区域是否确实为火灾烟雾区域,如果是,则将该疑似烟雾区域的特征向量作为正样本,否则该疑似烟雾区域的特征向量作为负样本;
S2:将步骤S1得到的各个训练样本的特征向量输入至预设的分类器,以对应的样本类型作为输出,对分类器进行训练;
S3:对待检测视频,首先进行运动目标检测,然后根据颜色特征判断运动目标是否为疑似烟雾区域,如果不是,不作任何处理,如果是,对疑似烟雾区域提取得到形状不规则特征、面积增长特征和K个背景模糊特征,组合成特征向量,最后将特征向量输入至步骤S2训练得到的分类器,得到是否为烟雾的判定结果。
本发明基于多特征融合的视频烟雾检测方法,首先对训练视频序列提取运动目标,根据颜色特征判断是否为疑似烟雾区域,对疑似烟雾区域提取形状不规则特征、面积增长特征和K个背景模糊特征,组合成特征向量,然后对特征向量进行正负样本划分,得到训练样本;将训练样本的特征向量作为输出、样本类型作为输出,对分类器进行训练;对于待检测图像,采用相同方法提取得到特征向量,输入分类器进行判定是否为烟雾。
本发明具有以下有益效果:
(1)采用颜色特征对运动目标进行判断得到疑似烟雾区域,对运动目标进行了初步筛选,从而提高检测效率;
(2)采用三种动态特征:形状不规则特征、面积增长特征和背景模糊特征进行融合,综合判断烟雾,从而提高烟雾检测的准确率。
附图说明
图1是本发明基于多特征融合的视频烟雾检测方法的具体实施方式流程图;
图2是获取训练样本的流程图;
图3是本实施例的视频图像示例图;
图4是图3所示示例的速度大小统计柱状图;
图5是图3所示示例的疑似烟雾区域的外接矩形及分段矩形示意图;
图6是待检测图像的特征向量提取流程图;
图7是采用本发明对6个场景视频序列进行检测的结果示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明基于多特征融合的视频烟雾检测方法的具体实施方式流程图。如图1所示,本发明基于多特征融合的视频烟雾检测方法包括以下步骤:
S101:获取训练样本:
图2是获取训练样本的流程图。如图2所示,获取训练样本的具体步骤包括:
S201:对训练视频序列进行运动目标检测:
选取若干个含有火灾烟雾或其他运动目标的训练视频序列,对各个训练视频序列分别进行运动目标检测。运动目标检测的具体方法可以根据实际情况来选择,本实施例中采用的是基于混合高斯背景建模的运动目标检测方法。混合高斯模型的优点是其在多种混乱复杂场景(如场景中有重复或慢速运动的对象、光线随时间变化等)中的运动目标追踪方面有很好的鲁棒性。混合高斯模型是将每一个像素点按照多个高斯分布混合建模,以便同时处理多种背景的变化。模型的参数可以随着时间进行自适应的更新,并且它也不需要缓存器来存放视频。然后对利用当前视频图像帧与背景模型的差分来提取运动目标。基于混合高斯背景建模的运动目标检测方法是目前较为常用的一种运动目标检测方法,在此不再赘述。
S202:根据颜色特征确定疑似烟雾区域:
对步骤S201得到的每个运动目标区域,遍历区域内的每个像素,根据预设的颜色特征判别公式判断该像素是否为烟雾像素。
一般情况下,在烟雾产生的早期阶段,烟雾因为燃烧的温度偏低而多数表现出灰白色,其像素值在RGB空间里面的3个颜色分量R、G、B值非常的接近,并且在HSI色彩空间中的亮度值I也分布在一定的范围内。因此,可以用以下两个判据来判别是否为烟雾。第一,烟雾像素的3个R、G、B分量中最大值与最小值在一个较小的阈值范围内,第二,烟雾像素在HSI色彩空间中的亮度值I介于某两个阈值之间。具体的烟雾颜色特征判别公式如下:
Pmax-Pmin<T1     (1)
T2<I<T3     (2)
其中,Pmax、Pmin分别表示某个像素R、G、B值中的最大值和最小值,T1则为预设最大值与最小值的差值阈值,T2、T3分别表示预设的烟雾像素色彩亮度I的最小阈值和最大阈值。如果式(1)和式(2)同时满足,说明该像素为烟雾像素,否则不是。本实施例中,T1的取值范围根据实际情况设置为15到25之间的常数,T2=80,T3=220。实践证明,以上取值能有效的区分烟雾与其他物体。
对运动目标进行颜色特征判别基本可以确定疑似烟雾区域。为了消除疑似烟雾区域内噪声点的影响,可以对疑似烟雾区域进行形态学去噪预处理。本实施例采用的形态学去噪处理主要包括膨胀和腐蚀。结构元素B对集合A进行腐蚀、膨胀的定义分别用式(3)和式(4)描述:
A ⊕ B = { z | [ ( B ^ ) z ∩ A ] ⊆ A } - - - ( 4 )
膨胀最简单的应用之一是将图像中的裂缝接起来,能够修复一些简单的间断,而腐蚀就是根据尺寸消除二值图像中不相关的细节。腐蚀使图像变小而膨胀使图像扩大,
S203:对疑似烟雾区域进行动态特征提取:
本发明中,火灾烟雾区域的动态特征包括三个类型:形状不规则特征、面积增长特征和在主运动方向上的背景模糊特征。下面分别对每个特征的提取方式进行说明:
1)形状不规则特征:
通常情况下,在边缘轮廓长度相等的时候,形状越是不规则的物体的面积值总会比形状规则的物体的面积值小。在实际的环境中,烟雾产生后不仅会有整体的流动方向,同时也会慢慢的向四周扩散,从而会显示出各种形状不规则的图像,当然,要通过检测烟雾的实际形状来判断是否是烟雾几乎是不可能实现的。所以本发明通过计算烟雾疑似区域的边缘轮廓长度(边缘像素数量)与其面积(区域内像素总量)的比值来衡量烟雾扩散时的轮廓不规则性。形状不规则特征的计算公式如下:
S=P/Q     (5)
其中,S表示烟雾的形状不规则特征,在面积一定的情况下,S越大表示形状越不规则,P表示疑似烟雾区域边缘轮廓长度,Q表示疑似烟雾区域的面积。
2)面积增长特征:
在烟雾产生的早期阶段,烟雾的面积一般会表现出持续不断的增长特性。并且会随着物质的燃烧,温度持续上升,加速烟雾分子的运动,使得烟雾的面积进一步的增长。因此,可以采用相邻视频帧或者几帧之间的疑似烟雾区域的面积,计算疑似烟雾区域的面积增长率来表示烟雾面积的增长特征。根据烟雾面积的增长特征进行判断,还可以有效的防止由静止对象或者形状不变的物体所引起的误报警,进一步地提高烟雾的识别率。
面积增长特征的计算算法如下:记当前第t帧视频图像中疑似烟雾区域的面积为At,在第t-k帧视频图像中对应的疑似烟雾区域的面积为At-k,k的取值范围为k≥1,面积增长特征ΔA可以表示为:
ΔA = A t - A t - k k - - - ( 6 )
疑似烟雾区域的面积用该区域的像素点总数表示。
由于要计算面积增长特征,需要知道视频序列中疑似烟雾区域的对应关系。本实施例中通过判断区域中心点的距离来得到对应关系。如果第t-k帧视频图像中疑似烟雾区域有多个,就分别计算当前第t帧视频图像中疑似烟雾区域的中心点与第t-k帧视频图像中各个疑似烟雾区域的中心点的距离,距离最小的那个疑似烟雾区域即为对应的疑似烟雾区域。
3)在主运动方向上的背景模糊特征:
随着燃烧时间的增长,烟雾不断的向四周扩散,并部分地遮挡视频图像中的其他物体。在空间域中,这种现象表现为背景变得模糊,而在频率域中表现为图像高频信号衰减。烟雾在温度或者其他外力的驱使下,大部分总是朝着某一个方向运动,即烟雾的主运动方向。在烟雾的主运动方向上烟雾的浓度总是呈现出由高到低的特性,在频域上表现为高频信号衰减量逐渐减少。根据这一特性,本发明提取烟雾在主运动方向上的背景模糊特征这一动态特征用于烟雾的检测。具体的算法是对疑似烟雾区域内的运动目标进行主运动方向统计,然后在运动目标的主运动方向上将疑似烟雾区域的外接矩形进行平均分段,计算每一段的背景模糊特征。
本实施例中,采用光流法对疑似烟雾区域的运动目标进行主运动方向统计。光流是指视频图像中灰度模式运动的表观速度分布。采用光流法可以得到视频图像中每个像素点的运动矢量(u,v),即两个方向的运动分量u、v。然后根据疑似烟雾区域中像素点的运动方向和速度大小结合的方式来共同确定运动方向。为了尽可能准确地统计出疑似烟雾区域中运动前景的运动方向,将360度平面分为γ个区间,遍历疑似烟雾区域内的像素点,判断该像素点的运动矢量的方向位于哪个区间,将其速度大小(即运动矢量的模)累加至该区间的速度大小。将各区间的速度大小进行归一化,然后将归一化后速度大小最大的区间作为运动目标的主运动方向区间,以该方向区间的中间值作为主运动方向。
图3是本实施例的视频图像示例图。如图3所示,本实施例中视频图像示例图为垃圾箱旁的视频监控图像,其中图3(a)是当前帧图像,图3(b)是背景图像,图3(c)是得到的疑似烟雾区域的二值图像。采用光流法得到疑似烟雾区域内各像素点的运动矢量,将360度平面划分为18个区间,每个区间20度,统计各个区间内的累计速度大小。图4是图3所示示例的速度大小统计柱状图。如图4所示,将各个区间的累计速度大小进行归一化后,速度大小最大的区间为[180,200),因此主运动方向为190度。
在获取到疑似烟雾区域内运动目标的主运动方向上后,本发明采用高通滤波技术来提取烟雾的背景模糊特征,具体方法如下:记当前第t帧图像为F(t),此时背景图像为B(t),背景图像一般由背景模型实时得到。分别对两幅图像进行高通滤波,可得到:
Fh(t)=H*F(t)     (7)
Bh(t)=H*B(t)     (8)
其中,H为高通滤波核;*为卷积运算;Fh(t)和Bh(t)分别为经过高通滤波后的当前帧图像和背景图像。然后根据滤波后的这两幅图像,比较相对应点像素值的大小。一般情况下,视频中烟雾表现为部分遮挡背景,而其他的不透明前景是完全覆盖背景。因此在频域中,背景图像中的高频能量逐渐衰减但是不为零。为此本发明设定一个相对衰减系数C(m,n,t)来表示这一背景模糊特性。
式中,Bh(m,n,t)表示滤波后背景图像Bh(t)中像素点(m,n)的灰度值,Fh(m,n,t)表示滤波后当前帧图像Fh(t)中像素点(m,n)的灰度值,只有当相同位置上滤波后的背景图像的灰度值大于前景图像的灰度值且都大于0时,才计算相对衰减系数,其他情况下都认为相对衰减系数为0。这样能很好的体现出烟雾使背景模糊特性,显然,烟雾的衰减系数在[0,1)范围内。
将疑似烟雾区域在主运动方向上的外接矩形(即外接矩形的其中两条相对边与主运动方向平行,另外两条相对边与主运动方向垂直)沿主运动方向平均分为K段,K的取值范围为K≥2,分别计算各段区域内的平均衰减系数。记每段矩形区域为Rw,h,面积大小为w×h,则该段矩形区域内的平均衰减系数为:
C ‾ ( m , n , t ) = 1 w × h Σ ( m , n ) ∈ R w , h C ( m , n , t ) - - - ( 10 )
按照式(10)可以计算得到每段矩形区域的平均衰减系数,共计K个,将这K个平均衰减系数作为K个背景模糊特征。
图5是图3所示示例的疑似烟雾区域的外接矩形及分段矩形示意图。将该外接矩形沿主运动方向平均划分为3段,共计得到3个背景模糊特征。
S204:得到特征向量:
将步骤S203得到的形状不规则特征、面积增长特征和K个背景模糊特征,共计K+2个特征,组合成为特征向量。
S205:判断疑似烟雾区域的样本类型:
判断疑似烟雾区域是否确实为火灾烟雾区域,如果是,则将该疑似烟雾区域的特征向量作为正样本,否则该疑似烟雾区域的特征向量作为负样本。
S102:采用训练样本训练分类器:
将各个正负样本的特征向量输入至预设的分类器,以对应的样本类型作为输出,对分类器进行训练。
分类器可以根据实际需要进行设置,本实施例中采用的是BP神经网络作为分类器。BP(Back Propagation)网络是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP神经网络能学***方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐含层(hide layer)和输出层(output layer)。
本实施例中BP神经网络的几个重要参数设定:
a.BP神经网络算法层数的确定:三层神经网络可以以任何精度的从x维到y维的非线性映射,对于本发明而言,三层BP神经网络就可以满足要求了,因此本实施例采用的是包含一个隐含层的三层BP神经网络。
b.传递函数:BP神经网络有多种传递函数。其中log-sigmoid型传递函数logsig的输入值可以是任意值,输出值则介于0和1之间。由于本发明针对的是烟雾的检测,只有一个输出值,输出在较小范围可以方便的判别,所以本实施例采用logsig传递函数,使得整个的网络输出在0和1之间。
c.神经网络各层节点的确定:由于本发明的特征向量包括K+2个特征,因此输入层为K+2个节点,对于隐含层,根据隐含层节点的求取公式可知隐含层的节点数量为2(K+2)+1。由于判断是否是烟雾,所以本实施例采用的BP神经网络将只有一个输出值,即一个输出节点。
BP神经网络的训练基本思想是采用最速下降法,使神经网络的实际输出值与期望输出值之间的误差的平方和达到最小。学习过程中分前向传播和后向传播,前向传播指的是输入的数据将逐层经输入层、隐含层并最终在输出层得到一个输出值,但是如果网络的输出值不是所期望的,则启用后向传播,将所得误差沿各层反向传播,在传播的同时修正连接层的权值,促使下一轮前向传播的误差更小,最后达到最小误差。用于训练BP神经网络的训练样本需要人为设定输出结果,对于训练样本中的正样本,即烟雾对应的特征向量,其输出结果设置为1,对于负样本,即运动目标不是烟雾的特征向量,则输出结果设置为0。
S103:提取待检测视频图像的特征向量:
待检测视频图像的特征向量提取与训练视频序列的特征向量提取的方法是一致的。图6是待检测图像的特征向量提取流程图。如图6所示,待检测图像的特征向量提取包括以下步骤:
S601:运动目标检测:
对待检测视频图像进行运动目标检测。
S602:根据颜色特征判断步骤S601得到的目标是否为疑似烟雾区域,如果是,进入步骤S603,否则不作任何处理。判断是否为疑似烟雾区域的判别公式为步骤S203中的两个判别公式,即公式(1)和(2)。
S603:对疑似烟雾区域进行动态特征提取:
同样地,采用步骤S204中所述的方法对待检测图像的疑似烟雾区域进行动态特征提取,得到由形状不规则特征、面积增长特征和K个背景模糊特征;
S604:得到特征向量:
根据步骤S603得到的形状不规则特征、面积增长特征和K个背景模糊特征组合成特征向量。
S104:采用分类器进行判定:
采用步骤S102训练得到的分类器对步骤S103得到的待检测图像的特征向量进行分类判定。分类器输出结果的判定方法根据选择的分类器来进行设置。以本实施例中的BP神经网络为例,其输出结果在0到1之间,设置判定阈值为0.7,当待检测图像的特征向量的输出值在[0.7,1]范围内,则说明疑似烟雾区域是烟雾区域,输出值在[0,0.7]范围内为非烟雾区域。
为了说明本发明的技术效果,采用实际视频序列对本发明进行实验验证。首先选取在烟雾数据库下载的多个视频以及在各种环境下拍摄的若干早期火灾烟雾视频序列来作为神经网络的学习的正负样本,其中含烟雾的视频6个、公路车流视频2个、行人视频2个,每个视频提取若干个特征向量,总共得到正样本500组,负样本300组,然后对该BP神经网络进行了训练。设定BP神经网络的全局误差为0.005,步长为0.01,训练的次数20000次。用此训练好的神经网络对待检测视频进行检测。
图7是采用本发明对6个场景视频序列进行检测的结果示意图。如图7所示,对2个室内场景、2个行人视频和2个室外场景分别采用训练得到的进行烟雾检测。对于经过本发明烟雾检测算法检测到视频序列中存在烟雾的情况,在视频图像中白色曲线标注出烟雾区域,不存在烟雾的视频不加标注。可见,本发明可以对不同环境的视频烟雾进行有效的检测。
为了说明本发明的检测效果,对6个场景视频序列的检测结果进行统计。
表1是采用本发明对6个场景视频序列的检测结果统计表。
检测率 误检率
室内场景1 96% 2%
室内场景2 94% 2%
行人视频1 95% 2%
行人视频2 95% 2%
室外场景1 90% 5%
室外场景2 85% 8%
表1
由于前面的4个视频场景在室内,场景变化相对较小,各种干扰较少,相对简单,检测效果很好。对于室外烟雾场景,烟雾比较稀薄,光线变化明显,干扰项较多,相对复杂,检测效果稍微有下降,但还是保持了较好的检测效果。可见,本发明可以达到良好的烟雾检测效果。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于多特征融合的视频烟雾检测方法,其特征在于,包括以下步骤:
S1:选取若干个含有火灾烟雾与其他运动目标的视频序列,提取得到各个运动目标的特征向量作为训练样本,训练样本的获取方法包括以下步骤:
S1.1:对每个训练视频序列进行运动目标检测;
S1.2:对步骤S1.1得到的运动目标区域,遍历区域内的每个像素,根据预设的颜色特征判别方法判断该像素是否为烟雾像素,将不是烟雾像素的像素点去除,得到疑似烟雾区域;
S1.3:对疑似烟雾区域进行动态特征提取,包括形状不规则特征、面积增长特征和在主运动方向上的背景模糊特征,每种特征的提取方法为:
(1)形状不规则特征S的计算公式如下:
S=P/Q
其中,P表示疑似烟雾区域边缘轮廓长度,Q表示疑似烟雾区域的面积;
(2)面积增长特征ΔA的计算公式如下:
ΔA = A t - A t - k k
其中,At表示当前第t帧视频图像中疑似烟雾区域的面积,At-k表示在第t-k帧视频图像中对应的疑似烟雾区域的面积,k的取值范围为k≥1;
(3)在主运动方向上的背景模糊特征:
对疑似烟雾区域的运动目标进行主运动方向分析,得到疑似烟雾区域的主运动方向,并得到疑似烟雾区域在主运动方向上的外接矩形;然后对当前第t帧图像F(t)和对应的背景图像B(t)分别进行高通滤波,得到高通滤波后的当前帧图像和背景图像,计算外接矩形区域内每个像素点的相对衰减系数C(m,n,t),计算公式为:
其中,Bh(m,n,t)表示滤波后背景图像Bh(t)中像素点(m,n)的灰度值,Fh(m,n,t)表示滤波后当前帧图像Fh(t)中像素点(m,n)的灰度值;
将外接矩形沿主运动方向平均分为K段,K的取值范围为K≥2,分别计算各段区域内的平均衰减系数,将K个平均衰减系数作为K个背景模糊特征;
S1.4:将步骤S1.3中得到的形状不规则特征、面积增长特征和K个背景模糊特征,组合成为特征向量;
S1.5:判断疑似烟雾区域是否确实为火灾烟雾区域,如果是,则将该疑似烟雾区域的特征向量作为正样本,否则该疑似烟雾区域的特征向量作为负样本;
S2:将步骤S1得到的各个训练样本的特征向量输入至预设的分类器,以对应的样本类型作为输出,对分类器进行训练;
S3:对待检测视频,首先进行运动目标检测,然后根据颜色特征判断运动目标是否为疑似烟雾区域,如果不是,不作任何处理,如果是,对疑似烟雾区域提取得到形状不规则特征、面积增长特征和K个背景模糊特征,组合成特征向量,最后将特征向量输入至步骤S2训练得到的分类器,得到是否为烟雾的判定结果。
2.根据权利要求1所述的视频烟雾检测方法,其特征在于,所述的颜色特征判别的方法为:
对每个像素采用以下烟雾颜色特征判别公式进行判别:
Pmax-Pmin<T1
T2<I<T3
其中,Pmax、Pmin分别表示某个像素R、G、B值中的最大值和最小值,T1则为预设最大值与最小值的差值阈值,T2、T3分别表示预设的烟雾像素色彩亮度I的最小阈值和最大阈值;
当以上两个判据公式均满足时,像素为烟雾像素,否则为非烟雾像素。
3.根据权利要求1所述的视频烟雾检测方法,其特征在于,所述疑似烟雾区域在提取动态特征之前,先采用形态学去噪方法进行预处理。
4.根据权利要求1所述的视频检测方法,其特征在于,所述主运动方向分析的具体方法为:
采用光流法得到当前帧视频图像中每个像素点的运动矢量,将360度平面分为γ个区间,遍历疑似烟雾区域内的像素点,判断像素点的运动矢量的方向位于哪个区间,将其速度大小累加至该区间的速度大小;将各区间的速度大小进行归一化,然后将归一化后速度大小最大的区间作为运动目标的主运动方向区间,以该方向区间的中间值作为主运动方向。
5.根据权利要求1所述的视频烟雾检测方法,其特征在于,所述分类器采用BP神经网络。
CN201510170159.2A 2015-04-10 2015-04-10 基于多特征融合的视频烟雾检测方法 Expired - Fee Related CN104794486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510170159.2A CN104794486B (zh) 2015-04-10 2015-04-10 基于多特征融合的视频烟雾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510170159.2A CN104794486B (zh) 2015-04-10 2015-04-10 基于多特征融合的视频烟雾检测方法

Publications (2)

Publication Number Publication Date
CN104794486A true CN104794486A (zh) 2015-07-22
CN104794486B CN104794486B (zh) 2018-10-16

Family

ID=53559273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510170159.2A Expired - Fee Related CN104794486B (zh) 2015-04-10 2015-04-10 基于多特征融合的视频烟雾检测方法

Country Status (1)

Country Link
CN (1) CN104794486B (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528581A (zh) * 2015-12-10 2016-04-27 华南理工大学 基于仿生颜色感应模型的视频烟雾事件智能检测方法
CN105741480A (zh) * 2016-03-17 2016-07-06 福州大学 基于图像识别的火灾和烟雾检测方法
CN106250859A (zh) * 2016-08-04 2016-12-21 杭州电子科技大学 基于特征矢量运动杂乱度的视频火焰检测方法
CN106254827A (zh) * 2016-08-05 2016-12-21 安徽金赛弗信息技术有限公司 一种团雾智能识别预警方法及其装置
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端
CN106339664A (zh) * 2016-08-10 2017-01-18 杭州电子科技大学 一种基于颜色混合模型和多特征组合的视频烟雾检测方法
CN106682635A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于随机森林特征选择的烟雾检测方法
CN107067007A (zh) * 2016-12-22 2017-08-18 河海大学 一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法
CN107085714A (zh) * 2017-05-09 2017-08-22 北京理工大学 一种基于视频的森林火灾检测方法
CN107590418A (zh) * 2016-07-08 2018-01-16 尹航 一种基于动态特征的视频烟雾识别方法
CN107632001A (zh) * 2017-08-08 2018-01-26 西安电子科技大学 基于非均匀脉冲调制的海面溢油监测方法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN108363992A (zh) * 2018-03-15 2018-08-03 南京邮电大学 一种基于机器学习监测视频图像烟雾的火情预警方法
CN108564579A (zh) * 2018-04-20 2018-09-21 石家庄铁道大学 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN108765454A (zh) * 2018-04-25 2018-11-06 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测方法、装置及设备终端
CN108805013A (zh) * 2018-04-25 2018-11-13 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测***
CN108921039A (zh) * 2018-06-07 2018-11-30 南京启德电子科技有限公司 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法
CN109086647A (zh) * 2018-05-24 2018-12-25 北京飞搜科技有限公司 烟雾检测方法及设备
CN109165577A (zh) * 2018-08-07 2019-01-08 东北大学 一种基于视频图像的早期森林火灾检测方法
CN109255326A (zh) * 2018-09-07 2019-01-22 华南理工大学 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警***及其方法
CN109961042A (zh) * 2019-03-22 2019-07-02 中国人民解放军国防科技大学 结合深度卷积神经网络和视觉变化图的烟雾检测方法
CN110096942A (zh) * 2018-12-20 2019-08-06 北京以萨技术股份有限公司 一种基于视频分析的烟雾检测算法
CN110658118A (zh) * 2018-06-29 2020-01-07 九阳股份有限公司 一种烹饪烟雾的检测方法以及烟机
CN110660222A (zh) * 2019-11-01 2020-01-07 河北工业大学 一种智能环保道路黑烟车辆电子抓拍***
CN110703215A (zh) * 2019-10-16 2020-01-17 电子科技大学 一种基于支持向量机的机载sar成像质量评估方法
CN110838117A (zh) * 2019-11-14 2020-02-25 中国科学院武汉岩土力学研究所 一种基于孔壁图像的岩石面孔隙度识别方法
CN110853181A (zh) * 2019-11-05 2020-02-28 杭州晶一智能科技有限公司 一种具有自动除雾功能的汽车多功能后视行车记录仪
CN111046827A (zh) * 2019-12-20 2020-04-21 哈尔滨理工大学 一种基于卷积神经网络的视频烟雾检测方法
CN111091586A (zh) * 2019-12-17 2020-05-01 上海工程技术大学 一种快速的烟雾动态遮挡区域检测和定位方法及其应用
CN111401246A (zh) * 2020-03-17 2020-07-10 广东智媒云图科技股份有限公司 一种烟雾浓度检测方法、装置、设备及存储介质
CN111488772A (zh) * 2019-01-29 2020-08-04 杭州海康威视数字技术股份有限公司 烟雾检测的方法和装置
WO2020214084A1 (en) * 2019-04-17 2020-10-22 Hendricks Corp Pte Ltd Method and system for detecting fire and smoke
CN111862519A (zh) * 2020-08-17 2020-10-30 浙江中辰安全设备有限公司 一种火灾预警雾计算服务网关
CN111951250A (zh) * 2020-08-14 2020-11-17 西安科技大学 一种基于图像的火灾检测方法
CN112686105A (zh) * 2020-12-18 2021-04-20 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法
CN112784642A (zh) * 2019-11-08 2021-05-11 杭州海康威视数字技术股份有限公司 车辆检测方法及装置
CN113780195A (zh) * 2021-09-15 2021-12-10 北京林业大学 一种基于块提取的森林火灾烟雾根节点检测方法
CN114648852A (zh) * 2022-05-24 2022-06-21 四川九通智路科技有限公司 一种隧道火灾监测方法及***
CN115795067A (zh) * 2023-02-08 2023-03-14 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) 一种用于温度测量数据的存储方法
CN117789394A (zh) * 2023-12-14 2024-03-29 营口世纪电子仪器股份有限公司 一种基于运动历史图像的早期火灾烟雾检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441771A (zh) * 2008-12-19 2009-05-27 中国科学技术大学 基于色彩饱和度与运动模式的视频火灾烟雾检测方法
CN101794450A (zh) * 2009-11-13 2010-08-04 北京智安邦科技有限公司 视频图像序列中烟雾的检测方法及装置
CN101996328A (zh) * 2010-10-14 2011-03-30 浙江农林大学 一种木材识别方法
CN102013008A (zh) * 2010-09-16 2011-04-13 北京智安邦科技有限公司 一种基于支持向量机的烟雾检测方法及装置
CN103020628A (zh) * 2012-11-30 2013-04-03 北京理工大学 一种基于rgb对比图像与目标形状的烟雾检测方法
CN104036243A (zh) * 2014-06-06 2014-09-10 电子科技大学 一种基于光流信息的行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441771A (zh) * 2008-12-19 2009-05-27 中国科学技术大学 基于色彩饱和度与运动模式的视频火灾烟雾检测方法
CN101794450A (zh) * 2009-11-13 2010-08-04 北京智安邦科技有限公司 视频图像序列中烟雾的检测方法及装置
CN102013008A (zh) * 2010-09-16 2011-04-13 北京智安邦科技有限公司 一种基于支持向量机的烟雾检测方法及装置
CN101996328A (zh) * 2010-10-14 2011-03-30 浙江农林大学 一种木材识别方法
CN103020628A (zh) * 2012-11-30 2013-04-03 北京理工大学 一种基于rgb对比图像与目标形状的烟雾检测方法
CN104036243A (zh) * 2014-06-06 2014-09-10 电子科技大学 一种基于光流信息的行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王娜娜: "基于视频的火灾烟雾检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
虞燕凤: "基于视频图像的火灾烟雾检测研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528581A (zh) * 2015-12-10 2016-04-27 华南理工大学 基于仿生颜色感应模型的视频烟雾事件智能检测方法
CN105528581B (zh) * 2015-12-10 2018-12-11 华南理工大学 基于仿生颜色感应模型的视频烟雾事件智能检测方法
CN105741480A (zh) * 2016-03-17 2016-07-06 福州大学 基于图像识别的火灾和烟雾检测方法
CN107590418A (zh) * 2016-07-08 2018-01-16 尹航 一种基于动态特征的视频烟雾识别方法
CN106250859A (zh) * 2016-08-04 2016-12-21 杭州电子科技大学 基于特征矢量运动杂乱度的视频火焰检测方法
CN106250859B (zh) * 2016-08-04 2019-09-17 杭州电子科技大学 基于特征矢量运动杂乱度的视频火焰检测方法
CN106254827A (zh) * 2016-08-05 2016-12-21 安徽金赛弗信息技术有限公司 一种团雾智能识别预警方法及其装置
CN106254827B (zh) * 2016-08-05 2020-01-10 安徽金赛弗信息技术有限公司 一种团雾智能识别预警方法及其装置
CN106339664A (zh) * 2016-08-10 2017-01-18 杭州电子科技大学 一种基于颜色混合模型和多特征组合的视频烟雾检测方法
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端
CN106331492B (zh) * 2016-08-29 2019-04-16 Oppo广东移动通信有限公司 一种图像处理方法及终端
CN107067007A (zh) * 2016-12-22 2017-08-18 河海大学 一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法
CN106682635A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于随机森林特征选择的烟雾检测方法
CN106682635B (zh) * 2016-12-31 2019-01-04 中国科学技术大学 一种基于随机森林特征选择的烟雾检测方法
CN107085714B (zh) * 2017-05-09 2019-12-24 北京理工大学 一种基于视频的森林火灾检测方法
CN107085714A (zh) * 2017-05-09 2017-08-22 北京理工大学 一种基于视频的森林火灾检测方法
CN107632001A (zh) * 2017-08-08 2018-01-26 西安电子科技大学 基于非均匀脉冲调制的海面溢油监测方法
CN107749067A (zh) * 2017-09-13 2018-03-02 华侨大学 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN108363992B (zh) * 2018-03-15 2021-12-14 南京钜力智能制造技术研究院有限公司 一种基于机器学习监测视频图像烟雾的火情预警方法
CN108363992A (zh) * 2018-03-15 2018-08-03 南京邮电大学 一种基于机器学习监测视频图像烟雾的火情预警方法
CN108564579A (zh) * 2018-04-20 2018-09-21 石家庄铁道大学 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN108564579B (zh) * 2018-04-20 2020-03-27 石家庄铁道大学 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN108805013A (zh) * 2018-04-25 2018-11-13 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测***
CN108765454A (zh) * 2018-04-25 2018-11-06 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测方法、装置及设备终端
CN109086647A (zh) * 2018-05-24 2018-12-25 北京飞搜科技有限公司 烟雾检测方法及设备
CN109086647B (zh) * 2018-05-24 2022-01-07 苏州飞搜科技有限公司 烟雾检测方法及设备
CN108921039A (zh) * 2018-06-07 2018-11-30 南京启德电子科技有限公司 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法
CN110658118A (zh) * 2018-06-29 2020-01-07 九阳股份有限公司 一种烹饪烟雾的检测方法以及烟机
CN110658118B (zh) * 2018-06-29 2023-05-02 九阳股份有限公司 一种烹饪烟雾的检测方法以及烟机
CN109165577A (zh) * 2018-08-07 2019-01-08 东北大学 一种基于视频图像的早期森林火灾检测方法
CN109165577B (zh) * 2018-08-07 2022-03-25 东北大学 一种基于视频图像的早期森林火灾检测方法
CN109255326A (zh) * 2018-09-07 2019-01-22 华南理工大学 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警***及其方法
CN110096942A (zh) * 2018-12-20 2019-08-06 北京以萨技术股份有限公司 一种基于视频分析的烟雾检测算法
CN111488772B (zh) * 2019-01-29 2023-09-22 杭州海康威视数字技术股份有限公司 烟雾检测的方法和装置
CN111488772A (zh) * 2019-01-29 2020-08-04 杭州海康威视数字技术股份有限公司 烟雾检测的方法和装置
CN109961042A (zh) * 2019-03-22 2019-07-02 中国人民解放军国防科技大学 结合深度卷积神经网络和视觉变化图的烟雾检测方法
CN109961042B (zh) * 2019-03-22 2021-07-27 中国人民解放军国防科技大学 结合深度卷积神经网络和视觉变化图的烟雾检测方法
WO2020214084A1 (en) * 2019-04-17 2020-10-22 Hendricks Corp Pte Ltd Method and system for detecting fire and smoke
CN110703215A (zh) * 2019-10-16 2020-01-17 电子科技大学 一种基于支持向量机的机载sar成像质量评估方法
CN110703215B (zh) * 2019-10-16 2022-09-06 电子科技大学 一种基于支持向量机的机载sar成像质量评估方法
CN110660222B (zh) * 2019-11-01 2024-05-10 河北工业大学 一种智能环保道路黑烟车辆电子抓拍***
CN110660222A (zh) * 2019-11-01 2020-01-07 河北工业大学 一种智能环保道路黑烟车辆电子抓拍***
CN110853181A (zh) * 2019-11-05 2020-02-28 杭州晶一智能科技有限公司 一种具有自动除雾功能的汽车多功能后视行车记录仪
CN112784642A (zh) * 2019-11-08 2021-05-11 杭州海康威视数字技术股份有限公司 车辆检测方法及装置
CN110838117B (zh) * 2019-11-14 2022-05-13 中国科学院武汉岩土力学研究所 一种基于孔壁图像的岩石面孔隙度识别方法
CN110838117A (zh) * 2019-11-14 2020-02-25 中国科学院武汉岩土力学研究所 一种基于孔壁图像的岩石面孔隙度识别方法
CN111091586A (zh) * 2019-12-17 2020-05-01 上海工程技术大学 一种快速的烟雾动态遮挡区域检测和定位方法及其应用
CN111046827A (zh) * 2019-12-20 2020-04-21 哈尔滨理工大学 一种基于卷积神经网络的视频烟雾检测方法
CN111401246B (zh) * 2020-03-17 2024-06-04 广东智媒云图科技股份有限公司 一种烟雾浓度检测方法、装置、设备及存储介质
CN111401246A (zh) * 2020-03-17 2020-07-10 广东智媒云图科技股份有限公司 一种烟雾浓度检测方法、装置、设备及存储介质
CN111951250A (zh) * 2020-08-14 2020-11-17 西安科技大学 一种基于图像的火灾检测方法
CN111951250B (zh) * 2020-08-14 2024-02-06 西安科技大学 一种基于图像的火灾检测方法
CN111862519A (zh) * 2020-08-17 2020-10-30 浙江中辰安全设备有限公司 一种火灾预警雾计算服务网关
CN112686105B (zh) * 2020-12-18 2021-11-02 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法
CN112686105A (zh) * 2020-12-18 2021-04-20 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法
CN113780195A (zh) * 2021-09-15 2021-12-10 北京林业大学 一种基于块提取的森林火灾烟雾根节点检测方法
CN114648852A (zh) * 2022-05-24 2022-06-21 四川九通智路科技有限公司 一种隧道火灾监测方法及***
CN115795067A (zh) * 2023-02-08 2023-03-14 济宁市质量计量检验检测研究院(济宁半导体及显示产品质量监督检验中心、济宁市纤维质量监测中心) 一种用于温度测量数据的存储方法
CN117789394A (zh) * 2023-12-14 2024-03-29 营口世纪电子仪器股份有限公司 一种基于运动历史图像的早期火灾烟雾检测方法

Also Published As

Publication number Publication date
CN104794486B (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN104794486A (zh) 基于多特征融合的视频烟雾检测方法
CN110348445B (zh) 一种融合空洞卷积和边缘信息的实例分割方法
CN108921083B (zh) 基于深度学习目标检测的非法流动摊贩识别方法
CN107609470B (zh) 野外火灾早期烟雾视频检测的方法
CN103198493B (zh) 一种基于多特征自适应融合和在线学习的目标跟踪方法
CN108647649B (zh) 一种视频中异常行为的检测方法
Aoyagi et al. A study on traffic sign recognition in scene image using genetic algorithms and neural networks
CN103400111B (zh) 基于视频检测技术的高速公路隧道火灾事件检测方法
CN102567722B (zh) 一种基于码本模型和多特征的早期烟雾检测方法
CN102982313B (zh) 烟雾检测的方法
CN103530893B (zh) 相机抖动场景下基于背景差和运动信息的前景检测方法
CN107944386B (zh) 基于卷积神经网络的视觉场景识别方法
CN107424171A (zh) 一种基于分块的抗遮挡目标跟踪方法
CN104463869B (zh) 一种视频火焰图像复合识别方法
KR101414670B1 (ko) 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
CN106446150A (zh) 一种车辆精确检索的方法及装置
CN110298297A (zh) 火焰识别方法和装置
KR101908481B1 (ko) 보행자 검출 장치 및 방법
CN106529415A (zh) 结合特征和模型的道路检测方法
CN109389185A (zh) 使用三维卷积神经网络的视频烟雾识别方法
CN106127812A (zh) 一种基于视频监控的客运站非出入口区域的客流统计方法
CN109903311A (zh) 一种改进tld的矿井下视频目标跟踪方法
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与***
CN104463253A (zh) 基于自适应背景学习的消防通道安全检测方法
CN110309765A (zh) 一种视频运动目标高效检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181016

Termination date: 20210410

CF01 Termination of patent right due to non-payment of annual fee