CN104732190A - 一种基于正交纹理相关分析的合成孔径声纳目标检测方法 - Google Patents
一种基于正交纹理相关分析的合成孔径声纳目标检测方法 Download PDFInfo
- Publication number
- CN104732190A CN104732190A CN201310713392.1A CN201310713392A CN104732190A CN 104732190 A CN104732190 A CN 104732190A CN 201310713392 A CN201310713392 A CN 201310713392A CN 104732190 A CN104732190 A CN 104732190A
- Authority
- CN
- China
- Prior art keywords
- image
- gray level
- occurrence matrixes
- sigma
- synthetic aperture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于正交纹理相关分析的合成孔径声纳目标检测方法,包括:按正交航迹获得两幅原始合成孔径声纳图像;计算两幅原始合成孔径声纳图像各自的灰度共生矩阵;按水平、垂直、左对角、右对角四个方向计算灰度共生矩阵的相关性特征;由相关性特征生成水平向和垂直向的相关性特征对,以及左对角和右对角方向的相关性特征对;利用相关性特征对进行目标检测。
Description
技术领域
本发明涉及合成孔径声纳领域,特别涉及一种基于正交纹理相关分析的合成孔径声纳目标检测方法。
背景技术
合成孔径声纳(SAS,Synthetic Aperture Sonar)是一种高分辨水下成像声纳,可以获得高质量的水下图像数据。合成孔径是一种不需要长接收阵就可以显著提高方位分辨率的技术,合成孔径声纳通过该技术和复杂的成像算法得到方位向分辨率和距离向分辨率都很高的图像,因而在水下研究领域具有很高的价值。与普通声纳相比,合成孔径声纳通过基阵的线性运动来提高阵列孔径,从原理上来说,合成孔径声纳图像的分辨率与工作频率和作用距离均无关,因此可以用较小的声纳基阵和较低的工作频率同时满足近距离和远距离的探测需要。
随着声纳成像技术的发展,声纳图像的检测和识别逐渐成为数字图像处理领域的一个重要研究课题。虽然声纳图像和普通光学图像一样,本质上都是能量的平面或者空间分布图,但是合成孔径声纳采用合成孔径技术以提高分辨率,合成孔径声纳图像的噪声不是加性噪声,而是乘性噪声,所以不能像普通光学图像一样通过高斯噪声模型来分析。因此相对于普通光学图像,对合成孔径声纳图像的处理更加复杂和困难。早期对于水声图像的解释和判别主要依靠人工进行,但是随着数字图像等现代信号处理技术的发展,水声图像处理的研究也进入了新的阶段。尤其是随着计算机技术的发展,对机器自动检测和识别图像中的目标提出了更高的要求。
近年来,图像纹理特征受到广泛的关注和研究。一般把图像中具有重复性、形状简单、强度一直的区域看作纹理元素,通过对这些局部模式以及它们之间排列规则的描述来进行纹理分析。纹理就是纹理元素有规律的排列组合,而研究发现,合成孔径声纳图像分辨率高,目标一般可实现清晰成像,不同的底质和目标呈现在声纳图像中的纹理图像各不相同,故可以利用其进行目标检测。纹理分析可以按照水平、垂直、左对角、右对角四个方向进行。
在成像效果较差的情况下,具有亮区的背景区域经常会造成误识别。而且目前的识别通常是基于一次扫测所获取的信号进行的,由于目标姿态未知,所以这种分类识别具有不精确、不完整、不确定的特点。
发明内容
本发明的目的在于克服现有技术中的合成孔径目标检测方法容易误识别具有亮区的背景区域,分类识别结果不精确、不完整、不确定等缺陷,从而提供一种能够减少误识别的识别方法。
为了实现上述目的,本发明提供了一种基于正交纹理相关分析的合成孔径声纳目标检测方法,包括:
步骤1)、按正交航迹获得两幅原始合成孔径声纳图像;
步骤2)、计算步骤1)得到的两幅原始合成孔径声纳图像各自的灰度共生矩阵;
步骤3)、按水平、垂直、左对角、右对角四个方向计算步骤2)得到的灰度共生矩阵的相关性特征;
步骤4)、由步骤3)得到的相关性特征生成水平向和垂直向的相关性特征对,以及左对角和右对角方向的相关性特征对;
步骤5)、利用步骤4)所得到的相关性特征对进行目标检测。
上述技术方案中,在所述的步骤2)中,所述灰度共生矩阵的生成方法包括:
取图像(N×N)中任意一点(x,y)及偏离它的另一点(x+a,y+b),设该点对的灰度值为(g1,g2);令(x,y)在整幅图像中移动,得到各种(g1,g2)值,设灰度的级数为k,则(g1,g2)的组合方式共有k2种;对于整幅图像而言,统计出每一种(g1,g2)值出现的次数,然后排列成一个方阵,再用(g1,g2)出现的总次数将它们归一化为出现的概率P(g1,g2),从而得到图像的灰度共生矩阵;其中,
当a=1,b=0时,得到图像距离向的纹理特征;当a=0,b=1时,得到图像方位向的纹理特征;当a=1,b=1时,得到图像右对角方向的纹理特征;当a=1,b=-1时,得到图像左对角方向的纹理特征。
上述技术方案中,在所述的步骤3)中,灰度共生矩阵的相关性特征的计算公式如下:
其中,P(i,j)为图像的灰度共生矩阵的值,
按水平向计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=1,b=0;
按垂直向计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=0,b=1;
按左对角计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=1,b=-1;
按右对角计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=1,b=1。
上述技术方案中,在步骤4)中,利用灰度共生矩阵中的相关性的方向性特点,构造如下特征向量:
p={h1-v1,h2-v2,l1-r1,l2-r2}
其中,h1为第一幅图像的水平向特征,v1为第一幅图像的垂直向特征;h2为第二幅图像的水平向特征,v2为第二幅图像的垂直向特征;l1为第一幅图像的左对角向特征,r1为第一幅图像的右对角向特征;l2为第二幅图像的左对角向特征,r2为第二幅图像的右对角向特征。
上述技术方案中,在所述的步骤5)中,利用目标区域和背景区域在特征向量p中的差别进行目标分类检测,所述目标分类检测的分类器采用SVM分类器或神经网络分类器实现。
本发明的优点在于:
本发明提出一种基于多角度图像的识别方法,通过多个方向的扫测实现对目标的多角度描述,从而实现减少误识别的目的。由于纹理分析具备的方向性,特别适合于多角度图像的分析。
附图说明
图1是本发明方法的流程图;
图2(a)和图2(b)为正交航迹下获得的两幅原始SAS图像;
图3为图2(a)灰度共生矩阵的特征量随水平向和垂直向偏移而变化的情况示意图;
图4为图2(b)灰度共生矩阵的特征量随水平向和垂直向偏移而变化的情况示意图;
图5为图2(a)灰度共生矩阵的特征量随左对角向和右对角向偏移而变化的情况示意图;
图6为图2(b)灰度共生矩阵的特征量随左对角向和右对角向偏移而变化的情况示意图;
图7为背景灰度共生矩阵的水平-垂直特征对的示意图;
图8为背景灰度共生矩阵的左对角-右对角特征对的示意图。
具体实施方式
现结合附图对本发明作进一步的描述。
在对本发明的方法做详细描述之前,首先对本发明中所涉及的相关概念以及原理予以说明。
灰度共生矩阵:灰度直方图是对图像中单个像素具有某个灰度进行统计的结果,而灰度共生矩阵则是对图像中保持某距离的两个像素分别具有某灰度的状况进行统计得到的。
纹理特征的表示和分析通常有统计法、结构法和模型法,而基于灰度共生矩阵(GLCM)提取纹理特征的方法是一种典型的统计分析方法,本申请中采用灰度共生矩阵进行合成孔径声纳图像的表示和分析。GLCM纹理提取方法具有较强的适应能力和稳健性,近年来已越来越多地用于图像的检测和分类研究。
Haralick于1973年首次提出灰度共生矩阵,是一种广泛应用的纹理统计方法和纹理测量技术。1992年P.P.Ohanian给出对几种纹理测量技术的比较结果,并且根据实验证明:在四种用于实现纹理分类的特征中,基于灰度共生矩阵的统计特征要优于分形维、马尔科夫模型和Gabor滤波器模型。
灰度共生矩阵反映的是图像灰度关于方向、相邻间隔、变化幅度的综合信息。通过灰度共生矩阵可以分析图像的局部模式和排列规则等,为了能够更加直观地用灰度共生矩阵描述纹理信息,一般不直接使用灰度共生矩阵,而是在其基础上计算二次统计量。Haralick等人定义了14个用于纹理分析的灰度共生矩阵特征参数,Ulaby等人研究发现,在基于GLCM的14个纹理特征中,仅有4个特征量是不相关的,即角二阶矩/能量、对比度、相关性和熵;这四个特征量既便于计算,又能给出较高的分类精度,一般采用这四个特征参量来提取图像的纹理特征。在本申请中,只有相关性特征对于正交航迹图像敏感,所以只提取相关性特征。
SAS图像含有丰富的纹理特征,而灰度共生矩阵具有丰富的特征参数,可以从不同的角度对纹理进行细致刻画。图2(a)和图2(b)为正交航迹下获得的两幅原始SAS图像,在这两幅图像的中部可以清晰地看到一个目标,两幅图像中的目标大致呈90度。下面利用灰度共生矩阵的特征量,分别对目标区域和背景区域的纹理特性进行比较分析。
SAS图像在距离向采用脉冲压缩原理成像,而在方位向则采用合成孔径原理成像。本申请截取的背景区域和目标区域的大小均为128×128像素,灰度共生矩阵的偏移取值范围是[164]。
首先,分析水平-垂直向特征对,图3为图2(a)灰度共生矩阵的特征量随水平向和垂直向偏移而变化的情况,可见水平向特征高于垂直向特征,令其水平向特征为h1,垂直向特征为v1;而图4为图2(b)灰度共生矩阵的特征量随水平向和垂直向偏移而变化的情况,水平向特征也高于垂直向特征,令其水平向特征为h2,垂直向特征为v2。
其次,作为和水平-垂直向特征对的比较,分析左对角-右对角特征对,图5为图2(a)灰度共生矩阵的特征量随左对角向和右对角向偏移而变化的情况。可见右对角向特征高于左对角向特征,令其左对角向特征为l1,右对角向特征为r1;图6为图2(b)灰度共生矩阵的特征量随左对角向和右对角向偏移而变化的情况,可见左对角向特征高于右对角向特征,令其左对角向特征为l2,右对角向特征为r2。
随着偏移的增加,图像中背景区域由于随机性大,所以其相关性趋于一致,图7与图8显示,背景区域左对角-右对角特征对以及水平-垂直向特征对均差别较小。
以上分析可见,背景区域和目标区域的相关性都呈现下降的趋势,但是目标区域其相关性具有与方向相关的特点。本发明正是基于这一特点,实现对背景区域和目标区域的识别。
下面对本发明方法的具体实现步骤加以说明。
参考图1,本发明的方法包括:
步骤1)、按正交航迹获得两幅原始合成孔径声纳图像;
步骤2)、计算步骤1)得到的两幅原始合成孔径声纳图像各自的灰度共生矩阵;
步骤3)、按水平、垂直、左对角、右对角四个方向计算步骤2)得到的灰度共生矩阵的相关性特征;
步骤4)、组成水平向和垂直向的相关性特征对,以及左对角和右对角方向的相关性特征对;
步骤5)、利用步骤4)所得到的相关性特征对进行目标检测。
下面对上述步骤做进一步描述。
在步骤2)中,灰度共生矩阵的生成方法如下:
取图像(N×N)中任意一点(x,y)及偏离它的另一点(x+a,y+b),设该点对的灰度值为(g1,g2);令(x,y)在整幅图像中移动,可以得到各种(g1,g2)值,设灰度的级数为k,则(g1,g2)的组合方式共有k2种。对于整幅图像而言,统计出每一种(g1,g2)值出现的次数,然后排列成一个方阵,再用(g1,g2)出现的总次数将它们归一化为出现的概率P(g1,g2),这样就得到图像的灰度共生矩阵。
距离差分值(a,b)取不同的数值组合,可以得到不同情况的灰度共生矩阵。例如,当a=1,b=0时,像素对是水平的,即对应SAS图像距离向的纹理特征;当a=0,b=1时,像素对是垂直的,即对应SAS图像方位向的纹理特征;当a=1,b=1时,像素对是沿右对角的,即对应SAS图像右对角方向的纹理特征;当a=1,b=-1时,像素对是左对角的,即对应SAS图像左对角方向的纹理特征。
在步骤3)中,计算灰度共生矩阵的相关性特征。
相关性特征的计算公式如下:
其中,P(i,j)为图像的灰度共生矩阵的值,
按水平、垂直、左对角、右对角四个方向计算灰度共生矩阵的相关性特征时,都可采用上述计算公式,只是在计算P(i,j)的过程中距离差分值会有所不同。
相关性度量的是灰度相关矩阵元素在行或者列方向上的相似程度,其大小可以反映图像的局部相关性。当灰度共生矩阵元素值均匀相等时,COR值较大;相反,当灰度共生矩阵像素值相差较大时,COR值较小。如果图像具有某个方向的纹理,则该方向上的灰度共生矩阵的COR值较大。
在步骤4)中,利用灰度共生矩阵中的相关性的方向性特点,构造如下特征向量:
p={h1-v1,h2-v2,l1-r1,l2-r2}
其中,h1为第一幅图像的水平向特征,v1为第一幅图像的垂直向特征;h2为第二幅图像的水平向特征,v2为第二幅图像的垂直向特征;l1为第一幅图像的左对角向特征,r1为第一幅图像的右对角向特征;l2为第二幅图像的左对角向特征,r2为第二幅图像的右对角向特征。
在步骤5)中,利用目标区域和背景区域在特征向量p中的差别可以进行目标分类检测。
目标分类检测的分类器可采用SVM分类器或神经网络分类器,可实现对目标的准确检测。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于正交纹理相关分析的合成孔径声纳目标检测方法,包括:
步骤1)、按正交航迹获得两幅原始合成孔径声纳图像;
步骤2)、计算步骤1)得到的两幅原始合成孔径声纳图像各自的灰度共生矩阵;
步骤3)、按水平、垂直、左对角、右对角四个方向计算步骤2)得到的灰度共生矩阵的相关性特征;
步骤4)、由步骤3)得到的相关性特征生成水平向和垂直向的相关性特征对,以及左对角和右对角方向的相关性特征对;
步骤5)、利用步骤4)所得到的相关性特征对进行目标检测。
2.根据权利要求1所述的基于正交纹理相关分析的合成孔径声纳目标检测方法,其特征在于,在所述的步骤2)中,所述灰度共生矩阵的生成方法包括:
取图像(N×N)中任意一点(x,y)及偏离它的另一点(x+a,y+b),设该点对的灰度值为(g1,g2);令(x,y)在整幅图像中移动,得到各种(g1,g2)值,设灰度的级数为k,则(g1,g2)的组合方式共有k2种;对于整幅图像而言,统计出每一种(g1,g2)值出现的次数,然后排列成一个方阵,再用(g1,g2)出现的总次数将它们归一化为出现的概率P(g1,g2),从而得到图像的灰度共生矩阵;其中,
当a=1,b=0时,得到图像距离向的纹理特征;当a=0,b=1时,得到图像方位向的纹理特征;当a=1,b=1时,得到图像右对角方向的纹理特征;当a=1,b=-1时,得到图像左对角方向的纹理特征。
3.根据权利要求2所述的基于正交纹理相关分析的合成孔径声纳目标检测方法,其特征在于,在所述的步骤3)中,灰度共生矩阵的相关性特征的计算公式如下:
其中,P(i,j)为图像的灰度共生矩阵的值,
按水平向计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=1,b=0;
按垂直向计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=0,b=1;
按左对角计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=1,b=-1;
按右对角计算灰度共生矩阵的相关性特征时,所述图像的灰度共生矩阵的值P(i,j)在求取时的距离差分值a=1,b=1。
4.根据权利要求3所述的基于正交纹理相关分析的合成孔径声纳目标检测方法,其特征在于,在步骤4)中,利用灰度共生矩阵中的相关性的方向性特点,构造如下特征向量:
p={h1-v1,h2-v2,l1-r1,l2-r2}
其中,h1为第一幅图像的水平向特征,v1为第一幅图像的垂直向特征;h2为第二幅图像的水平向特征,v2为第二幅图像的垂直向特征;l1为第一幅图像的左对角向特征,r1为第一幅图像的右对角向特征;l2为第二幅图像的左对角向特征,r2为第二幅图像的右对角向特征。
5.根据权利要求4所述的基于正交纹理相关分析的合成孔径声纳目标检测方法,其特征在于,在所述的步骤5)中,利用目标区域和背景区域在特征向量p中的差别进行目标分类检测,所述目标分类检测的分类器采用SVM分类器或神经网络分类器实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310713392.1A CN104732190B (zh) | 2013-12-20 | 2013-12-20 | 一种基于正交纹理相关分析的合成孔径声纳目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310713392.1A CN104732190B (zh) | 2013-12-20 | 2013-12-20 | 一种基于正交纹理相关分析的合成孔径声纳目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104732190A true CN104732190A (zh) | 2015-06-24 |
CN104732190B CN104732190B (zh) | 2017-12-12 |
Family
ID=53456068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310713392.1A Active CN104732190B (zh) | 2013-12-20 | 2013-12-20 | 一种基于正交纹理相关分析的合成孔径声纳目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104732190B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105403890A (zh) * | 2015-10-30 | 2016-03-16 | 哈尔滨工程大学 | 一种基于行列特征向量相关的目标探测方法 |
CN105678263A (zh) * | 2016-01-07 | 2016-06-15 | 中国科学院声学研究所 | 一种目标识别的方法和*** |
CN116091500A (zh) * | 2023-04-07 | 2023-05-09 | 成都数之联科技股份有限公司 | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425992A (zh) * | 2012-05-16 | 2013-12-04 | 中国科学院声学研究所 | 一种基于合成孔径声纳图像的海底底质分类方法及*** |
CN103425990A (zh) * | 2012-05-15 | 2013-12-04 | 中国科学院声学研究所 | 一种基于纹理特征的合成孔径声纳目标检测方法 |
CN103426156A (zh) * | 2012-05-15 | 2013-12-04 | 中国科学院声学研究所 | 一种基于svm分类器的sas图像分割方法及*** |
-
2013
- 2013-12-20 CN CN201310713392.1A patent/CN104732190B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425990A (zh) * | 2012-05-15 | 2013-12-04 | 中国科学院声学研究所 | 一种基于纹理特征的合成孔径声纳目标检测方法 |
CN103426156A (zh) * | 2012-05-15 | 2013-12-04 | 中国科学院声学研究所 | 一种基于svm分类器的sas图像分割方法及*** |
CN103425992A (zh) * | 2012-05-16 | 2013-12-04 | 中国科学院声学研究所 | 一种基于合成孔径声纳图像的海底底质分类方法及*** |
Non-Patent Citations (2)
Title |
---|
姚宏宇等: ""基于广义图像灰度共生矩阵的图像检索方法"", 《计算机工程与应用》 * |
陈强等: ""基于纹理特征的合成孔径声纳图像目标检测研究"", 《声学技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105403890A (zh) * | 2015-10-30 | 2016-03-16 | 哈尔滨工程大学 | 一种基于行列特征向量相关的目标探测方法 |
CN105678263A (zh) * | 2016-01-07 | 2016-06-15 | 中国科学院声学研究所 | 一种目标识别的方法和*** |
CN116091500A (zh) * | 2023-04-07 | 2023-05-09 | 成都数之联科技股份有限公司 | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 |
CN116091500B (zh) * | 2023-04-07 | 2023-07-04 | 成都数之联科技股份有限公司 | 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104732190B (zh) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107301661B (zh) | 基于边缘点特征的高分辨率遥感图像配准方法 | |
CN107229918B (zh) | 一种基于全卷积神经网络的sar图像目标检测方法 | |
Xiang et al. | Superpixel generating algorithm based on pixel intensity and location similarity for SAR image classification | |
Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
CN108596213A (zh) | 一种基于卷积神经网络的高光谱遥感图像分类方法及*** | |
CN102819740B (zh) | 一种单帧红外图像弱小目标检测和定位方法 | |
CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
CN101826157B (zh) | 一种地面静止目标实时识别跟踪方法 | |
CN108229551B (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
CN109977968B (zh) | 一种深度学习分类后比较的sar变化检测方法 | |
CN103020649A (zh) | 一种基于纹理信息的森林类型识别方法 | |
CN103955701A (zh) | 多层次结合的多视合成孔径雷达图像目标识别方法 | |
CN103425990B (zh) | 一种基于纹理特征的合成孔径声纳目标检测方法 | |
CN103871039A (zh) | 一种sar图像变化检测差异图生成方法 | |
CN106295498A (zh) | 光学遥感图像目标区域检测装置与方法 | |
CN108010065A (zh) | 低空目标快速检测方法及装置、存储介质及电子终端 | |
CN108388901B (zh) | 基于空间-语义通道的协同显著目标检测方法 | |
CN104680536A (zh) | 利用改进的非局部均值算法对sar图像变化的检测方法 | |
CN103065320A (zh) | 基于恒虚警阈值的sar图像变化检测方法 | |
CN103425992A (zh) | 一种基于合成孔径声纳图像的海底底质分类方法及*** | |
CN104732190A (zh) | 一种基于正交纹理相关分析的合成孔径声纳目标检测方法 | |
Liu et al. | A multi-scale feature pyramid SAR ship detection network with robust background interference | |
CN114373135A (zh) | 基于局部显著性特征度量的舰船目标检测方法 | |
CN112329677B (zh) | 基于特征融合的遥感图像河道目标检测方法和装置 | |
CN106022217A (zh) | 无监督多级分类的民用机场跑道区域检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |