CN114119754B - 基于连通粒的像素级火灾烟雾根节点检测方法 - Google Patents
基于连通粒的像素级火灾烟雾根节点检测方法 Download PDFInfo
- Publication number
- CN114119754B CN114119754B CN202111492484.2A CN202111492484A CN114119754B CN 114119754 B CN114119754 B CN 114119754B CN 202111492484 A CN202111492484 A CN 202111492484A CN 114119754 B CN114119754 B CN 114119754B
- Authority
- CN
- China
- Prior art keywords
- smoke
- image
- pixel
- area
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 239000002245 particle Substances 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000003068 static effect Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000010845 search algorithm Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明涉及一种基于连通粒的像素级火灾烟雾根节点检测方法。本发明首先对输入的图像进行直方图均衡化,对均衡化后的图像分别执行动态特征提取算法和静态特征提取算法,然后将动态图像和静态图像使用广度优先搜索算法进行融合,得出完整的动态区域轮廓图;接下来用角点检测算法检测出单帧图像各个动态区域角点个数,设定阈值筛选出烟雾区域;最后,用水平线扫描法计算出各区域烟雾根节点代表坐标,并用圆形模板筛选出确定烟雾根节点。
Description
技术领域
本发明属于森林防火和视频目标检测领域,尤其涉及一种基于连通粒的像素级火灾烟雾根节点检测方法。
背景技术
早期的森林火灾,依靠人力巡逻以及瞭望塔定时观测,得到的实际监测效果不理想。随着计算机技术的迅猛发展越来越多人将计算机视觉技术应用于火灾检测。在森林复杂的环境下,林火发生初期不易被发现,到发现时火势已经不可控制,而烟雾是火灾前期最主要的特征,所以易被发现,但在多数场景下,由于烟雾运动缓慢,且颜色是半透明的,很容易造成漏检,因此提出一种移动缓慢的场景下准确检测烟雾的方法有着至关重要的意义。
发明内容
本发明提供了一种基于连通粒的像素级火灾烟雾根节点检测方法,目的在于实现移动缓慢的场景下烟雾轮廓的提取,从而精确定位烟根节点的位置。通过对固定林火监控摄像图像的处理,并采用连通粒图像融合方法,实现对候选烟雾根节点的定位。
根据本发明计算过程,所述根节点检测方法包括:
第一步,图像增强:通过采集固定摄像头的连续帧烟雾图像,进行帧图像提取,然后通过直方图均衡化将原始图像直方图变换为均匀分布的形式,从而增强图像整体对比度;
第二步,动态区域提取:通过高斯混合背景建模提取动态候选烟雾区域;
第三步,静态区域提取:利用烟雾区域RGB值的特征,提取静态候选烟雾区域;
第四步,区域融合:将动态候选烟雾区域与静态候选烟雾区域进行融合,融合后获得完整候选烟雾区域轮廓;
第五步,角点检测:将第四步得到的完候选烟雾区域轮廓进行形态学处理,然后用SUSAN角点检测获取各个动态区域角点个数,设定阈值,根据角点个数筛选出正确的烟雾区域;
第六步,计算代表烟雾根坐标:用水平线扫描法计算出各区域烟雾根节点代表坐标;
第七步,锁定烟雾根节点位置:将视频帧序列分组,针对每一组图像,首先,计算出该组每帧图像的烟雾根节点代表坐标位置;然后,求出该组图像各区域烟雾根节点均值坐标,以该均值坐标为中心,R为半径创建圆形模板;最后,若每帧图像的烟雾根节点代表坐标均在圆形模板内,则判定该均值坐标为烟雾根节点;
根据如上所述的七个步骤,一种基于连通粒的像素级火灾烟雾根节点检测方法,其特征在于所述第四中的区域融合,其计算方法为:
步骤1:将动态候选烟雾区域图像和静态候选烟雾区域图像同时进行二值化处理,并进行区域分割,两张图像各自分成10×10的网格区域;
步骤2:对两张图像的所有区域进行融合操作,将两张图像融合为一张完整的候选烟雾图像,首先,统计每一个网格区域内是否有动态区域的像素点和静态区域像素点,若存在,则从当前点开始融合,融合过的像素点标记为1,否则为0;
其中,为第i帧图像坐标点(x,y)的像素点标记值;
步骤3:融合过程使用广度优先搜索算法,具体实现为:第一步,以当前标记点坐标为根节点,放入队列中;第二步,队首节点元素出队,并将该节点像素坐标标记为1,然后依次遍历该点八邻域像素点,若静态候选烟雾图像中,该点像素值为255,则压入队列;第三步,当该节点的八个邻域遍历完成后,队列中的所有元素即为出队节点的叶子节点;第四步,重复第二步和第三步,直到队列为空,或者超出该点所在的10×10的网格区域。
步骤4:创建一张与原图像相同大小的空白图像,顺序遍历标记图像坐标点,若该点坐标为1,则将空白图像对应点设置为255,遍历完成时,即可获得完整候选烟雾区域轮廓二值图像;
3.根据如上所述的七个步骤,一种基于连通粒的像素级火灾烟雾根节点检测方法,其特征在于所述第五步角点检测,计算方法为:
步骤1:在图像上放置一个37个像素的圆形模板,模板在图像上滑动,依次比较模板内各个像素点的灰度值与模板核的灰度值,判断是否属于USAN区域,判断方法如下:
其中,C(r,r0)为圆形模板中和核心点有相同灰度的标记值,H(r)是以r为半径的圆形模板中像素点灰度值,H(r0)是中心点r0的像素值;
步骤2:统计圆形模板中和核心点有相似亮度值的像素个数n(r0);
步骤3:若某个像素点的USAN值小于某一特定阈值,则该点被认为是初始角点:
步骤4:对初始角点进行非极值抑制来求得最后的角点,并根据角点个数筛选出烟雾区域;
本发明的有益效果在于:通过对复杂多变的场景进行实时检测,并对疑似火灾烟雾区域进行特征融合判定,准确快速地识别烟雾,并找出候选烟雾根节点。
参照后文的说明和附图,详细公开了本发明的实施方式,指明了本发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的条款范围内,本发明的实施方式包括许多改变、修改和等同。
附图说明
图1为本发明计算过程中的计算流程图。
具体实施方式
参照附图,通过下面文本说明书,本发明的前述以及其他的特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用文本发明的原则部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变形以及等同物。参照附图,通过下面文本说明书,本发明的前述以及其他的特征变得明显。
在说明书和附图中,具体公开了本发明的特定实施方式,其发明了其中可以采用文本发明的原则,则部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变形以及等同物。
本发明实施例提供一种烟雾检测方法。图1是本发明实施例的烟雾检根测方法的流程示意图,如图1所示,所述烟雾根节点检测方法包括:
步骤101:对基本参数进行初始化后,提取当前帧图像,将原图像的三个通道分离;
步骤102:统计当前帧每个通道图像的灰度级,计算直方图分布概率;
其中,rk是像素的灰度级,nk是具有灰度rk的像素的个数,M是图像的行数, N是图像的列数;
步骤102:计算直方图概率累计分布:
其中,sk是像素级为k的累计概率;
步骤103:对输入图像的灰度级进行映射,并将三个通道合并为一个通道,得到输出图像,映射函数为:
fk=255×Sk
其中,fk是像素级为k的映射值;
步骤201:将当前图像直方图均衡化的图像后,对图像进行基于GMM算法下的动态区域提取,获取动态候选烟雾图像;
步骤301:将均衡化后的图像在RGB空间上进行分解,求得R、G、B三个分量中的最小值,获得灰度图像:
gray_image=min{FB,FG,FR}
其中,FB为当前帧图像蓝色通道的值,FG为当前帧图像蓝色通道的值,FR为当前帧图像红色通道的值;
步骤302:对灰度图像取局部最小值,获得暗通道图像;
darkchannel_image(x,y)=min{Ω(f(x,y))}
其中,Ω(f(x,y))以(x,y)为中心5×5区域内的像素值;
步骤303:将暗通道图像二值化,获取动态候选烟雾图像;
步骤401:将动态候选烟雾区域图像和静态候选烟雾区域图像同时进行二值化处理,并进行区域分割,两张图像各自分成10×10的网格区域;
步骤402:对两张图像的所有区域进行融合操作,将两张图像融合为一张完整的候选烟雾图像,首先,统计每一个网格区域内是否有动态区域的像素点和静态区域像素点,若存在,则从当前点开始融合,融合过的像素点标记为1,否则为0;
其中,为第i帧图像坐标点(x,y)的像素点标记值;
步骤403:融合过程使用广度优先搜索算法,具体实现为:第一步,以当前标记点坐标为根节点,放入队列中;第二步,队首节点元素出队,并将该节点像素坐标标记为1,然后依次遍历该点八邻域像素点,若静态候选烟雾图像中,该点像素值为255,则压入队列;第三步,当该节点的八个邻域遍历完成后,队列中的所有元素即为出队节点的叶子节点;第四步,重复第二步和第三步,直到队列为空,或者超出该点所在的10×10的网格区域。
步骤404:创建一张与原图像相同大小的空白图像,顺序遍历标记图像坐标点,若该点坐标为1,则将空白图像对应点设置为255,遍历完成时,即可获得完整候选烟雾区域轮廓二值图像;
步骤501:在图像上放置一个37个像素的圆形模板,模板在图像上滑动,依次比较模板内各个像素点的灰度值与模板核的灰度值,判断是否属于USAN区域,判断方法如下:
其中,C(r,r0)为圆形模板中和核心点有相同灰度的标记值,H(r)是以r为半径的圆形模板中像素点灰度值,H(r0)是中心点r0的像素值;
步骤502:统计圆形模板中和核心点有相似亮度值的像素个数n(r0);
步骤503:若某个像素点的USAN值小于某一特定阈值,则该点被认为是初始角点:
步骤504:对初始角点进行非极值抑制来求得最后的角点;
步骤505:设定阈值,筛选出角点个数较多的区域为确定烟雾区域;
步骤601:用一根水平线自下而上分别扫描各个确定烟雾轮廓区域,直到与当前区域有交点为止;若水平线与当前烟雾区域有且只有一个交点,则该点为该烟雾轮廓区域根节点代表坐标;否则,取该水平线上所有交点的中点为该区域烟雾根节点代表坐标;
步骤701:烟雾视频序列中每连续30帧为一循环,这30帧中每隔5帧分为一组,如1,6,11,16,21为一组,2,7,12,17,22为一组,等等;对于每一组,若该组的每一帧烟雾根节点坐标都在以该组的均值坐标为中心、以R为半径的圆形模板内,则将所述均值坐标位置确定为烟雾根节点,以及所述均值坐标位置所在的轮廓区域判定为烟雾区域。
Claims (3)
1.一种基于连通粒的像素级火灾烟雾根节点检测方法,其特征在于,包含以下步骤:
第一步,图像增强:通过采集固定摄像头的连续帧烟雾图像,进行帧图像提取,然后通过直方图均衡化将原始图像直方图变换为均匀分布的形式,从而增强图像整体对比度;
第二步,动态区域提取:通过高斯混合背景建模提取动态候选烟雾区域;
第三步,静态区域提取:利用烟雾区域RGB值的特征,提取静态候选烟雾区域;
第四步,区域融合:将动态候选烟雾区域与静态候选烟雾区域进行融合,融合后获得完整候选烟雾区域轮廓;
第五步,角点检测:将第四步得到的完候选烟雾区域轮廓进行形态学处理,然后用SUSAN角点检测获取各个动态区域角点个数,设定阈值,根据角点个数筛选出正确的烟雾区域;
第六步,计算代表烟雾根坐标:用水平线扫描法计算出各区域烟雾根节点代表坐标;
第七步,锁定烟雾根节点位置:将视频帧序列分组,针对每一组图像,首先,计算出该组每帧图像的烟雾根节点代表坐标位置;然后,求出该组图像各区域烟雾根节点均值坐标,以该均值坐标为中心,R为半径创建圆形模板;最后,若每帧图像的烟雾根节点代表坐标均在圆形模板内,则判定该均值坐标为烟雾根节点。
2.根据权利要求1所述的一种基于连通粒的像素级火灾烟雾根节点检测方法,其特征在于所述第四步中的区域融合,其计算方法为:
步骤1:将动态候选烟雾区域图像和静态候选烟雾区域图像同时进行二值化处理,并进行区域分割,两张图像各自分成10×10的网格区域;
步骤2:对两张图像的所有区域进行融合操作,将两张图像融合为一张完整的候选烟雾图像,首先,统计每一个网格区域内是否有动态区域的像素点和静态区域像素点,若存在,则从当前点开始融合,融合过的像素点标记为1,否则为0;
其中,为第i帧图像坐标点(x,y)的像素点标记值;
步骤3:融合过程使用广度优先搜索算法,具体实现为:第一步,以当前标记点坐标为根节点,放入队列中;第二步,队首节点元素出队,并将该节点像素坐标标记为1,然后依次遍历该点八邻域像素点,若静态候选烟雾图像中,该点像素值为255,则压入队列;第三步,当该节点的八个邻域遍历完成后,队列中的所有元素即为出队节点的叶子节点;第四步,重复第二步和第三步,直到队列为空,或者超出该点所在的10×10的网格区域;
步骤4:创建一张与原图像相同大小的空白图像,顺序遍历标记图像坐标点,若该点坐标为1,则将空白图像对应点设置为255,遍历完成时,即可获得完整候选烟雾区域轮廓二值图像。
3.根据权利要求1所述的一种基于连通粒的像素级火灾烟雾根节点检测方法,其特征在于所述第五步角点检测,计算方法为:
步骤1:在图像上放置一个37个像素的圆形模板,模板在图像上滑动,依次比较模板内各个像素点的灰度值与模板核的灰度值,判断是否属于USAN区域,判断方法如下:
其中,C(r,r0)为圆形模板中和核心点有相同灰度的标记值,H(r)是以r为半径的圆形模板中像素点灰度值,H(r0)是中心点r0的像素值;
步骤2:统计圆形模板中和核心点有相似亮度值的像素个数n(r0);
步骤3:若某个像素点的USAN值小于某一特定阈值,则该点被认为是初始角点:
步骤4:对初始角点进行非极值抑制来求得最后的角点,并根据角点个数筛选出烟雾区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111492484.2A CN114119754B (zh) | 2021-12-08 | 2021-12-08 | 基于连通粒的像素级火灾烟雾根节点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111492484.2A CN114119754B (zh) | 2021-12-08 | 2021-12-08 | 基于连通粒的像素级火灾烟雾根节点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114119754A CN114119754A (zh) | 2022-03-01 |
CN114119754B true CN114119754B (zh) | 2024-04-05 |
Family
ID=80363368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111492484.2A Active CN114119754B (zh) | 2021-12-08 | 2021-12-08 | 基于连通粒的像素级火灾烟雾根节点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114119754B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103996045A (zh) * | 2014-06-04 | 2014-08-20 | 南京大学 | 一种基于视频的多种特征融合的烟雾识别方法 |
CN111967394A (zh) * | 2020-08-18 | 2020-11-20 | 北京林业大学 | 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法 |
CN111985314A (zh) * | 2020-07-09 | 2020-11-24 | 东南大学 | 一种基于ViBe与改进LBP的烟雾检测方法 |
CN112115875A (zh) * | 2020-09-21 | 2020-12-22 | 北京林业大学 | 一种基于动静态结合区域层叠策略森林火灾烟雾根检测方法 |
CN113657264A (zh) * | 2021-08-16 | 2021-11-16 | 北京林业大学 | 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法 |
-
2021
- 2021-12-08 CN CN202111492484.2A patent/CN114119754B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103996045A (zh) * | 2014-06-04 | 2014-08-20 | 南京大学 | 一种基于视频的多种特征融合的烟雾识别方法 |
CN111985314A (zh) * | 2020-07-09 | 2020-11-24 | 东南大学 | 一种基于ViBe与改进LBP的烟雾检测方法 |
CN111967394A (zh) * | 2020-08-18 | 2020-11-20 | 北京林业大学 | 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法 |
CN112115875A (zh) * | 2020-09-21 | 2020-12-22 | 北京林业大学 | 一种基于动静态结合区域层叠策略森林火灾烟雾根检测方法 |
CN113657264A (zh) * | 2021-08-16 | 2021-11-16 | 北京林业大学 | 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法 |
Non-Patent Citations (2)
Title |
---|
基于高斯混合模型林火"烟雾根"的识别;郑鑫;高宇;陈锋;程朋乐;;林业和草原机械;20200229(第01期);全文 * |
林火报警图像中火源点确定方法研究;王永泽;李毅;杨广群;韩宁;;安全与环境学报;20140225(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114119754A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658132B (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
CN107066933B (zh) | 一种道路标牌识别方法及*** | |
CN112052797A (zh) | 基于MaskRCNN的视频火灾识别方法及*** | |
CN105404847B (zh) | 一种遗留物实时检测方法 | |
CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
CN110688987A (zh) | 一种行人位置检测与跟踪方法及*** | |
CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
CN103093198B (zh) | 一种人群密度监测方法及装置 | |
CN110210428B (zh) | 一种基于mser的远距离复杂环境下的烟雾根节点检测方法 | |
CN111680690B (zh) | 一种文字识别方法及装置 | |
CN110738160A (zh) | 一种结合人脸检测的人脸质量评估方法 | |
CN111695373B (zh) | 斑马线的定位方法、***、介质及设备 | |
CN113435407B (zh) | 一种输电***的小目标识别方法及装置 | |
CN110008833B (zh) | 基于光学遥感图像的目标船只检测方法 | |
CN103177456A (zh) | 视频图像的运动目标检测方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN113221763B (zh) | 一种基于视频图像亮度的火焰识别方法 | |
CN107563985A (zh) | 一种红外图像空中运动目标的检测方法 | |
CN115311623A (zh) | 一种基于红外热成像的设备漏油检测方法及*** | |
CN113657264A (zh) | 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法 | |
CN104299234B (zh) | 视频数据中雨场去除的方法和*** | |
CN114119754B (zh) | 基于连通粒的像素级火灾烟雾根节点检测方法 | |
CN116229084A (zh) | 一种对空目标的检测方法 | |
CN113505784A (zh) | 甲片自动标注解析方法及装置、电子设备及存储介质 | |
CN112598692A (zh) | 基于标记像素矩阵的遥感影像分割后处理算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |