CN104392453B - 基于极线***图像的ransac特征匹配优化方法 - Google Patents
基于极线***图像的ransac特征匹配优化方法 Download PDFInfo
- Publication number
- CN104392453B CN104392453B CN201410720152.9A CN201410720152A CN104392453B CN 104392453 B CN104392453 B CN 104392453B CN 201410720152 A CN201410720152 A CN 201410720152A CN 104392453 B CN104392453 B CN 104392453B
- Authority
- CN
- China
- Prior art keywords
- image
- polar curve
- matching
- ransac
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 2
- 238000012216 screening Methods 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 abstract 1
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于极线***图像的ransac特征匹配优化方法,该方法能够提高匹配质量,增加特征点优质匹配数量,解决了ransac算法图像特征点优质匹配少、准确度不高的问题。该方法首先对待匹配的图像进行特征点检测、描述及匹配,通过比率和对称性测试对匹配集合进行初步筛选,剔除掉错误匹配;其次使用ransac算法获得原始优质匹配集合以及它支持的基础矩阵;再利用基础矩阵计算特征匹配点的极线,并对获得的极线进行挑选,以保证极线尽可能地在图像上均匀分布;然后对挑选的极线进行厚度及极线数量的处理,再***图像中;最后对处理后的图像重新基于ransac算法进行优质匹配的获取过程。本方法效果良好,适用于各种图像。
Description
技术领域
本发明涉及计算机图像处理技术领域,特别涉及一种基于极线***图像的ransac特征点匹配优化方法。
背景技术
在计算机视觉中,图像匹配的概念被大量应用于物体识别,视觉跟踪,三维重建等问题。它依赖于这样的想法,即先利用特征检测器(本发明使用surf特征检测器)检测图像上某些特殊的点,再对它们进行描述,最后利用描述的内容对特征点进行匹配,从而实现图像与图像之间的匹配。
图像匹配可以大致分为基于像素灰度的匹配和基于图像特征的匹配,其中图像特征又分为区域特征、边缘特征和点特征。基于特征点的图像匹配技术能够达到有效、快速和鲁棒性高的图像匹配的基本要求,因此被广泛应用。目前,基于特征点(ORB,BRISK,FAST,SURF,SIFT等)的图像匹配技术应用在不同的图像之间,由于这些图像存在尺度、旋转角度、亮度、遮挡以及镜面反射等变化,因此经过初步匹配后,存在大量的劣质匹配。匹配结果的不准确将导致诸如目标跟踪丢失、图像拼接畸形、三维重建效果差等问题。在上述技术中引入随机采样一致算法(即:ransac),可以更加可靠地匹配图像特征,提高匹配质量。它的基本思想是随机地选取一些匹配对,根据双视角的极性约束计算他们的对应关系。之后,匹配集合中剩下的匹配子集都用来支持这样的关系,最终获得最大支持这种关系的匹配集合。ransac算法具有支持集合越大越准确、获得正确结果的可能性越大的特性。但是,该方法得到的匹配数量偏少,不能满足应用需求。而本发明能够很好地解决上面的问题。
发明内容
本发明目的在于解决了ransac算法图像特征点优质匹配少、准确度不高的问题。针对ransac算法需要匹配支持集合中含有更多元素这一要求,根据ransac算法的原理,提出了一种特征点匹配优化方法。该方法增加了基于surf特征点的优质匹配对的数量,适用于各种图像数据,诸如:对大场景、局部对象、含噪声图像等,通过该方法得到的结果可应用于三维重建,目标跟踪,人脸识别等技术领域中。
本发明解决其技术问题所采取的技术方案是:一种基于极线***图像的ransac特征匹配优化方法。该方法首先利用ransac算法得到基础矩阵,在此基础上基于特征匹配点,通过极性几何关系得到准确极线集合。然后从极线集合中挑选合适的极线。极线挑选的标准是挑选出的极线能够尽可能地在待匹配的两幅图上均匀分布。将选择的极线***图像中,设置图像上极线区域的像素与其它部分不同。最后对待匹配图像重新进行surf特征点检测,描述,最近邻匹配,比率测试,对称测试,经过ransac算法来获得更多的优质匹配集合。
在上述过程中,surf特征匹配的原理是根据surf特征描述子之间的欧式距离进行表达;ransac算法的原理是多次地随机挑选8个匹配(即:计算得到基础矩阵的数量),计算它们的基础矩阵,集合中剩余的匹配集用来支持这个基础矩阵,最后保留具有最大匹配支持集合的基础矩阵,并返回它的匹配支持集合;双视角的极性几何原理是当前图像中的特征点经过空间投影在对应图像中形成直线,这条直线就是当前特征点的极线。
方法流程:
步骤1:读取待匹配的两张图像(图像1和图像2),获得待匹配两幅图像的初始匹配集合;
步骤1-1:用surf特征检测器分别检测两幅图像的特征点;
步骤1-2:用surf描述器分别计算两幅图像上特征点的描述子;
步骤1-3:利用匹配器对描述子进行双向匹配,找到图像1的每个特征点到图像2的两个最佳匹配,找到图像2中每个特征点在图像1中的两个最佳匹配;
步骤1-4:比率测试,分别处理两个匹配集合(即:图像1到图像2的匹配集合,以及图像2到图像1的匹配集合),计算最优匹配与次优匹配的距离比值,移除比率大于给定阈值的匹配;
步骤1-5:对称性测试,两个匹配集合中的索引值相互对称时,提取这个匹配集合,移除不对称的匹配集合,返回对称匹配集合;
步骤2:使用ransac随机采样一致算法,计算最大支持匹配集合的基础矩阵,返回满足此基础矩阵的优质匹配集合和支持这个特征匹配集的基础矩阵;
步骤3:利用原算法得到的基础矩阵,计算匹配点在对应图像上的极线;
步骤4:在极线集合中获取能够在图像上均匀分布的极线;
步骤4-1:计算极点,判断极点在图像内还是图像外;
步骤4-2:极点在图像外时,根据极线与图像边缘的交点关系,分别选取1、2、3或4条极线做研究;
步骤4-3:极点在图像内时,根据极线之间的夹角关系,分别选取1、2、3或4条极线做研究;
步骤5:利用选择的极线对图像进行处理;
步骤5-1:将1、2、3或4条极线***待匹配的图像1和图像2上;
步骤5-2:将极线处的图像像素设置成0,并且将极线的厚度分别设置为1、5、10或15个像素的不同厚度;
步骤6:对处理后的图像重新进行优质匹配集的计算;
步骤6-1:进行上述步骤1操作过程,获得初始匹配集合;
步骤6-2:进行上述步骤2操作过程,获得优质匹配集合。
有益效果:
1、本发明能获得数量更多、质量更优、准确度更高的匹配集合。
2、本发明能够适用于任何图像。
3、本发明对极线集合进行挑选时,使用简单的步骤挑选出能够在图像上近乎均匀分布的极线;无论极点是在图像内还是图像外,极线是否存在,极线是否均匀分布,都能对其进行良好的筛选;不同于原ransac算法,本发明针对不同数量的极线,在极线处对不同厚度区域,都能够分析得到优质匹配集合。
附图说明
图1为本发明的方法流程图。
其中,虚线箭头表示包含部分的原算法流程;实线箭头表示新算法新增加的流程。
图2为本发明所涉及的算法细节流程图。
图3为本发明提出的流程图有关极线处理的细节流程图。
具体实施方式
为了更好的理解本发明实现的优化方法,下面结合附图,对本发明的具体实施方式作进一步描述。实施的例子在描述中使用的语言不造成对本发明权利要求的限制。
实施例一
如图1所示,应用本发明进行图像特征优化匹配的具体流程如下:
步骤1:求基础矩阵,获得原算法的优质匹配集,细节流程如图2所示;
步骤1-1:输入待匹配的两幅图像image1,image2;
步骤1-2:分别用surf检测器检测两幅图像的关键点keypoints,使用surf描述器计算keypoints的64维描述子;
步骤1-3:利用匹配器对描述子进行双向匹配。即:找到image1的每个特征点到image2的两个最佳匹配,然后找到image2中每个特征点在image1中的两个最佳匹配。
步骤1-4:进行比率检测。即:分别处理两个匹配集合,对每个匹配集合中存在的两个匹配值,计算两个值的距离比值,当比值大于比率阈值ratioTH(0.5f)时,删除此匹配,小于ratioTH的匹配保留;
步骤1-5:进行对称性检测。即两个集合要满足:(1)每个匹配集合的当前匹配值有两个;(2)一个匹配集合的参考索引值与另一个匹配集合中对应的训练索引值相等,同时一个匹配集合的训练索引值与另一个匹配集合中对应的参考索引值相等。条件都满足的匹配得到保留,作为良好匹配集;
步骤1-6:使用随机采样一致算法ransac计算。在匹配集合中多次随机挑选8个匹配计算基础矩阵,一旦计算出基础矩阵,集合中剩下的所有匹配都将与矩阵对应的极性约束进行测试,基础矩阵得到的一个最大支持集合即作为最终的优质匹配集,并返回此基础矩阵;
步骤2:极线选择的细节处理流程如图3所示,分别计算图像特征点对应极线,选择不同数量的极线,这些极线要求能够尽可能在图像上均匀分布;
步骤2-1:计算极线。根据步骤1求得的基础矩阵以及特征点匹配集合,用公式(1)计算image1上的匹配点在图像image2上的极线polars0,image2上的匹配点在图像image1上的极线polars1;
极线的表示方程如下式:
polars[n][0]·x+polars[n][1]·y+polars[n][2]=0 (1)
其中y=image.rows,x=image.cols,n为极线数量。
步骤2-2:计算极线极点,极线与边缘的交点;
用公式(2)计算极线极点(x0,y0),其中lines[j]=polars0[0],lines[k]=polars0][1]。
用公式(3)求极线与图像边缘x=0的交点。
用公式(4)计算与边缘y=0的交点。
步骤2-3:如果极点x0>0并且y0>0,则极点在图像内,否则极点在极线外;
步骤2-4:极点在图像外时,判断极线数量i(1,2,3,4),分别对两幅图像的极线做如下选择:i=1时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/2边缘处;i=2时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/3边缘处的极线,s_line[1]为接近s_line[0]的2倍远处;i=3时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/4边缘处,s_line[1]为接近s_line[0]的2倍远处,s_line[2]为接近s_line[1]的3/2倍远处;i=4时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/5边缘处,s_line[1]为接近s_line[0]的2倍远处,s_line[2]为接近s_line[1]的3/2倍远处,s_line[3]为接近s_line[1]的4/3倍远处;
步骤2-5:极点在图像内时,判断极线数量i(1,2,3,4),根据公式(5)的极线夹角计算公式分别对两幅图像的极线做如下选择:i=1时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/2边缘处;i=2时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/2边缘处的极线,s_line[1]为与s_line[0]的夹角近90°;i=3时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/2边缘处的极线,s_line[1]为与s_line[0]的夹角近60°,s_line[2]为与s_line[0]的夹角近120°;i=4时,输出线s_line[0]为所有极线中与边缘的交点yl(或xc)在最靠近1/2边缘处的极线,s_line[1]为与s_line[0]的夹角近45°,s_line[2]为与s_line[0]的夹角近90°,s_line[3]为与s_line[2]的夹角近135°;
步骤3:用选取的极线对图像进行如下处理:
步骤3-1:将极线***图像,对于图像上处于极线处的像素设置为0,对不同厚度的极线进行操作。极线厚度为1个像素时,极线上的像素值为0;极线厚度为5个像素时,包括极线的上下5个像素值设置为0;极线厚度为10个像素时,包括极线的上下10个像素值设置为0;
步骤4:对处理后的图像重新进行步骤1的操作,得到最终的优质匹配集合;
至此,本发明完成了基于极线分割的图像匹配优化方法,获得了更多的优质匹配集合。
为了更清楚的理解本发明的优越性,结合实施例的具体步骤,以下列出本发明和现有原方法使用一组图像对数据在图像特征点匹配方面的比较结果。
实施例二
固定极线数量为2条时,本发明与原方法的比较包括:
表1所示的结果表示在图像中***2条极线后,当极线厚度为1、5、10、15或20个像素时,检测到的特征点数量以及最终的优质匹配数量(厚度为0表示没有引入极线的原始算法)。
由表1可知,在没有引入极线的原始算法情况下,图1和图2的特征点数分别为1478和1452,匹配数为15。当***极线时,随着厚度的增加,特征点及匹配数都呈现先增大再减小的趋势。当厚度为10时,优质匹配可以达到22,比原始算法提高了47%。
表1:***极线厚度不同时优质匹配结果比较
注:数据固定***极线的数量为2;thickness是***的极线厚度;thicknes s=0表示原方法的匹配结果,即不***极线,直接对整幅图像操作。
实施例三
固定极线厚度为5个像素时,本发明与原方法的比较包括:
表2为固定极线厚度为5个像素时不同情况下匹配结果的比较。可以看出,原方法(number=0)得到的优质匹配为15个,而本发明的极线数为1到4条之间,当***极线个数为4条时,效果最好,得到的优质匹配可以达到23,提高了53%。
表2:***极线的数量不同时优质匹配结果比较
注:数据固定***极线的厚度为5个像素;number是***的极线数量;nu mber=0表示原方法的匹配结果,即不***极线,直接对整幅图像操作。
由上述表1和表2可见:通过本发明极线的引入,当选取适当极线数量,及适当极线厚度时,可以得到比原始算法显著提高的结果。
Claims (4)
1.一种基于极线***图像的ransac特征匹配优化方法,其特征在于,所述方法应用于三维重建,目标跟踪,人脸识别,包括如下所述步骤:
步骤1:读取待匹配的两张图像,即:图像1和图像2,获得待匹配两幅图像的初始匹配集合;
步骤2:使用ransac随机采样一致算法,计算最大支持匹配集合的基础矩阵,返回满足此基础矩阵的优质匹配集合和支持匹配集合的基础矩阵;
步骤3:利用ransac随机采样一致算法得到的基础矩阵,计算匹配点在对应图像上的极线,是利用基础矩阵计算匹配点在对应图像上的极线集合的获取过程;
步骤4:在极线集合中获取能够在图像上均匀分布的极线,在极线集合中挑选合适的极线使其能够均匀分布在图像上,其过程包括如下步骤:
步骤4-1:计算极点,判断极点在图像内还是图像外;
步骤4-2:极点在图像外时,根据极线与图像边缘的交点关系,分别选取1、2、3或4条极线;
步骤5:利用选择的极线对图像进行处理,对挑选的极线***图像中,其极线的处理过程如下步骤:
步骤5-1:将1、2、3或4条极线***待匹配的图像上;
步骤5-2:将极线处的图像像素设置成0,并且将极线的厚度分别设置为1、5、10或15个像素的不同厚度;
步骤6:对处理后的图像重新进行优质匹配集合的计算,对处理过的图像重新获得优质匹配集合的过程,其处理过程的步骤如下:
步骤6-1:进行上述步骤1操作过程,获得初始匹配集合;
步骤6-2:进行上述步骤2操作过程,获得优质匹配集合。
2.根据权利要求1所述的一种基于极线***图像的ransac特征匹配优化方法,其特征在于,所述步骤1是对图像获取初始匹配的过程,包括如下步骤:
步骤1-1:用surf特征检测器分别检测两幅图像的特征点;
步骤1-2:用surf描述器分别计算两幅图像上特征点的描述子;
步骤1-3:利用匹配器对描述子进行双向匹配,找到图像1的每个特征点到图像2的两个最佳匹配,找到图像2中每个特征点在图像1中的两个最佳匹配;
步骤1-4:比率测试,分别处理两个匹配集合,即:图像1到图像2的匹配集合,以及图像2到图像1的匹配集合,计算最优匹配与次优匹配的距离比值,移除比率大于给定阈值的匹配;
步骤1-5:对称性测试,两个匹配集合中的索引值相互对称时,提取这个匹配集合,移除不对称的匹配集合,返回对称匹配集合。
3.根据权利要求1所述的一种基于极线***图像的ransac特征匹配优化方法,其特征在于,所述步骤2是获得ransac随机采样一致算法的图像特征点优质匹配集合和基础矩阵的过程。
4.根据权利要求1所述的一种基于极线***图像的ransac特征匹配优化方法,其特征在于,所述方法首先利用ransac随机采样一致算法得到基础矩阵,在此基础上基于特征点匹配,通过极性几何关系得到准确极线集合;然后从极线集合中挑选合适的极线,极线挑选的标准是挑选出的极线能够尽可能地在待匹配的两幅图上均匀分布;将选择的极线***图像中,设置图像上极线区域的像素与其它部分不同;最后对待匹配图像重新进行surf特征点检测,描述,最近邻匹配,比率测试,对称测试,经过ransac随机采样一致算法来获得更多的优质匹配集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410720152.9A CN104392453B (zh) | 2014-12-01 | 2014-12-01 | 基于极线***图像的ransac特征匹配优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410720152.9A CN104392453B (zh) | 2014-12-01 | 2014-12-01 | 基于极线***图像的ransac特征匹配优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104392453A CN104392453A (zh) | 2015-03-04 |
CN104392453B true CN104392453B (zh) | 2017-09-29 |
Family
ID=52610351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410720152.9A Expired - Fee Related CN104392453B (zh) | 2014-12-01 | 2014-12-01 | 基于极线***图像的ransac特征匹配优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104392453B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106815824B (zh) * | 2016-12-08 | 2019-07-05 | 华中科技大学 | 一种提高大规模三维重建效率的图像近邻优化方法 |
CN113139986A (zh) * | 2021-04-30 | 2021-07-20 | 东风越野车有限公司 | 一种集成式环境感知与多目标跟踪*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401281B1 (en) * | 2003-10-20 | 2013-03-19 | Open Invention Network, Llc | Method and system for three dimensional feature attribution through synergy of rational polynomial coefficients and projective geometry |
CN104021542A (zh) * | 2014-04-08 | 2014-09-03 | 苏州科技学院 | 基于极限约束的sift特征匹配点优化方法 |
-
2014
- 2014-12-01 CN CN201410720152.9A patent/CN104392453B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401281B1 (en) * | 2003-10-20 | 2013-03-19 | Open Invention Network, Llc | Method and system for three dimensional feature attribution through synergy of rational polynomial coefficients and projective geometry |
CN104021542A (zh) * | 2014-04-08 | 2014-09-03 | 苏州科技学院 | 基于极限约束的sift特征匹配点优化方法 |
Non-Patent Citations (2)
Title |
---|
"基于RANSAC算法的极线约束立体视觉匹配方法研究";张培耘等;《组合机床与自动化加工技术》;20131130(第11期);论文第20-22页及图5 * |
"基于双目视觉的图像匹配算法研究";李志;《中国优秀硕士学位论文全文数据库 信息科技辑》;20100615(第6期);论文第6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104392453A (zh) | 2015-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140044361A1 (en) | Device and method for analyzing the correlation between an image and another image or between an image and a video | |
JP5954712B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP5711387B2 (ja) | 映像を比較する方法および装置 | |
CN104504101B (zh) | 一种相似视频的确定方法及装置 | |
TWI469623B (zh) | 用於區別3維影像與2維影像以及藉由特徵對應決定來識別3維影像格式之存在的方法 | |
US10699156B2 (en) | Method and a device for image matching | |
US8983199B2 (en) | Apparatus and method for generating image feature data | |
TW201214335A (en) | Method and arrangement for multi-camera calibration | |
CN104537376B (zh) | 一种识别台标的方法及相关设备、*** | |
Lange et al. | Dld: A deep learning based line descriptor for line feature matching | |
TW201710989A (zh) | 疑似侵權產品圖片的檢測方法及裝置 | |
Resch et al. | Scalable structure from motion for densely sampled videos | |
TW201143359A (en) | Method and apparatus for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by image difference determination | |
CN109766818A (zh) | 瞳孔中心定位方法及***、计算机设备及可读存储介质 | |
CN105678778A (zh) | 一种图像匹配方法和装置 | |
CN104392453B (zh) | 基于极线***图像的ransac特征匹配优化方法 | |
CN110084269A (zh) | 基于云计算的图像特征优化方法 | |
CN108898597B (zh) | 一种基于智能手机的书画鉴证的方法 | |
Cai et al. | An adaptive symmetry detection algorithm based on local features | |
CN113095385A (zh) | 一种基于全局和局部特征描述的多模图像匹配方法 | |
CN104850600B (zh) | 一种用于搜索包含人脸的图片的方法和装置 | |
CN104866818B (zh) | 一种用于搜索包含人脸的图片的方法和装置 | |
Liu et al. | Depth-aware layered edge for object proposal | |
Jorissen et al. | Multi-view wide baseline depth estimation robust to sparse input sampling | |
CN110599456B (zh) | 一种医学图像的特定区域的提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170929 |
|
CF01 | Termination of patent right due to non-payment of annual fee |