CN102346851A - 基于njw谱聚类标记的图像分割方法 - Google Patents

基于njw谱聚类标记的图像分割方法 Download PDF

Info

Publication number
CN102346851A
CN102346851A CN2011103463463A CN201110346346A CN102346851A CN 102346851 A CN102346851 A CN 102346851A CN 2011103463463 A CN2011103463463 A CN 2011103463463A CN 201110346346 A CN201110346346 A CN 201110346346A CN 102346851 A CN102346851 A CN 102346851A
Authority
CN
China
Prior art keywords
spectral clustering
njw
sampling
characteristic
sampling subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103463463A
Other languages
English (en)
Other versions
CN102346851B (zh
Inventor
缑水平
焦李成
杨静瑜
李阳阳
张佳
徐聪
杨淑媛
庄雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN 201110346346 priority Critical patent/CN102346851B/zh
Publication of CN102346851A publication Critical patent/CN102346851A/zh
Application granted granted Critical
Publication of CN102346851B publication Critical patent/CN102346851B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于NJW谱聚类标记的图像分割方法,主要解决谱聚类方法稳定性差的问题。其实现过程是:(1)对待分割图像提取灰度共生特征,并进行归一化处理以去除数据间量级影响;(2)用k-means算法将特征数据聚为m类,并以与聚类中心最近邻的特征数据作为采样点,得采样子集S;(3)利用NJW谱聚类算法,对采样子集S进行聚类,得到采样子集S的标签;(4)对采样子集S进行学习,训练一个支撑矢量机SVM分类器;(5)用所得的SVM分类器对所有特征数据进行测试,得到最终的图像分割结果。本发明与现有的技术相比图像分割结果稳定、准确度高,可用于目标检测和目标识别。

Description

基于NJW谱聚类标记的图像分割方法
技术领域
本发明属于图像处理技术领域,涉及图像分割,可用于对纹理图像和SAR图像进行目标检测和目标识别。
背景技术
聚类是指把一个没有类别标记的样本集按某种准则划分成若干个子集或类别,使相似的样本尽可能归为一类,而不相似的样本尽量划分到不同的类中。聚类分析是多元统计分析的一种,也是非监督模式识别的一个重要分支。作为一种无监督分类方法,聚类分析已经被广泛地应用于模式识别、数据挖掘、计算机视觉和模糊控制等许多领域。传统的聚类算法,如k-means算法,EM算法等都是建立在凸球形的样本空间上,但当样本空间不为凸时,算法会陷入局部最优。
谱聚类方法能在任意形状的样本空间上聚类,且收敛于全局最优解。该算法具有实现简单,与维数无关,以及全局寻优的良好特性,因此得到了越来越广泛的应用。谱聚类方法仅仅考虑所有样本的权值矩阵,也叫相似性矩阵,它将聚类问题转化为无向图划分问题。但是,谱聚类方法需要计算一个n×n权值矩阵的主要特征向量,n是样本个数。这对于大规模数据而言,计算量是相当大的,这也成为了谱聚类方法的瓶颈问题。
Fowlkes等人提出了基于NJW逼近的谱聚类方法。该方法首先从所有样本中随机选取一个样本子集作为代表求解特征问题,然后再将其特征向量扩展为整个样本集合权值矩阵的特征向量。然而选取结果对聚类影响很大,聚类结果表现出不稳定性。后来有人提出基于k均值NJW谱聚类算法,在进行NJW逼近前用经典k-means聚类替代了随机采样,由于采样的点更具代表性,使聚类效果优于NJW的随机采样。k均值NJW谱聚类算法虽然实现简单,应用于图像可以大大减小计算复杂度,但k均值算法本身就对初始中心敏感,不同的初始值可能得到不同的聚类结果,使图像分割结果很不稳定,随机波动大。
发明内容
本发明的目的在于克服上述已有问题的缺点,提出了一种基于NJW谱聚类标记的图像分割方法,充分有效的利用了NJW谱聚类算法所得的具有代表性样本的较准确标签,并利用其对剩余样本进行指导学习,以得到稳定的图像分割结果。为实现上述目的,本发明的具体实现步骤包括如下:
(1)使用灰度共生矩阵对待分割的图像进行特征提取,并将提取的特征数据归一化到[0,1]之间,以去除数据间量级的影响;
(2)用k-means算法将归一化后的特征数据聚为m类,并将与聚类中心最近邻的特征数据作为采样点得到采样子集S={s1,...,si,...,sm},i=1,...,m,m取100;
(3)利用NJW谱聚类算法,对采样子集S进行聚类,得到采样子集S的标签;
(4)对采样子集S和对应的标签进行学习,训练一个支撑矢量机SVM分类器;
(5)用所得的SVM分类器对所有特征数据进行测试,得到最终的图像分割结果。
本发明由于用k-means算法替代了随机采样,使采样的子集更具代表性,并充分有效的利用了NJW谱聚类算法得到采样子集的较准确标签;同时由于本发明利用采样子集对剩余数据进行指导学习,使图像分割结果有明显提高。
附图说明
图1是本发明基于NJW谱聚类标记的图像分割方法流程图;
图2是用本发明与现有两种谱聚类方法对图2(a)所示纹理图像仿真分割结果;
图3是用本发明与现有两种谱聚类方法对图3(a)所示纹理图像仿真分割结果;
图4是用本发明与现有两种谱聚类方法对图4(a)所示纹理图像仿真分割结果;
图5是用本发明与现有两种谱聚类方法对图5(a)所示SAR图像仿真分割结果;
图6是用本发明与现有两种谱聚类方法对图6(a)所示SAR图像仿真分割结果;
图7是用本发明与现有两种谱聚类方法对图7(a)所示SAR图像仿真分割结果。
具体实施方式
参照图1,本发明的具体实施过程如下:
步骤1.使用待分割图像的灰度共生矩阵对图像进行特征提取,并将提取的特征数据归一化,以去除数据间量级的影响。
(1a)对待分割的图像生成灰度共生矩阵P,窗口大小取16;
(1b)在0°,45°,90°和135°这4个方向上,从图像的灰度共生矩阵P中抽取以下三种二次统计量:
角二阶矩: f 1 = Σ i = 0 n - 1 Σ j = 0 n - 1 p 2 ( i , j )
同质区: f 2 = Σ i = 0 n - 1 Σ j = 0 n - 1 p ( i , j ) / [ 1 + ( i - j ) 2 ] 2
对比度: f 3 = Σ i = 0 n - 1 Σ j = 0 n - 1 | i - j | p ( i , j )
其中,n是样本总数,p(i,j)是灰度共生矩阵P第i行第j列的元素;
对每种统计量取4个方向后有4个特征值,最后得到特征数据X′={x′1,x′2,…,x′12},X′∈Rn×12
(1c)将特征数据X′={x′1,x′2,…,x′12}归一化到[0,1]之间,以去除数据间量级的影响;
步骤2.对归一化后的特征数据X′,用k-means算法聚m类,并将聚类中心作为采样点得到采样子集S。
(2a)随机选取m个特征数据作为k-means算法的初始聚类中心,m取100;
(2b)利用k-means算法,根据初始聚类中心,将特征数据X聚为m类,得到新的聚类中心;
(2e)计算新的聚类中心与特征数据的欧式距离,将距离最小的特征数据作为采样点,得到采样子集S。
步骤3.利用NJW谱聚类算法,对采样子集S进行聚类,得到采样子集S的标签。
(3a)计算采样子集S={s1,...,si,...,sm}(i=1,...,m)的权值矩阵W=G(S,S),其中G()为高斯核函数;
(3b)计算权值矩阵W的拉普拉斯矩阵L=D-1/2WD-1/2,其中D为权值矩阵W的度矩阵,D={d1,...,di,...,dm},且
Figure BDA0000105753440000034
wit为权值矩阵W第i行第t列元素;
(3c)对拉普拉斯矩阵L进行特征分解,求出由大到小排前k个特征值λ={λ1,...,λi,...,λk}所对应的特征向量
Figure BDA0000105753440000041
其中λi是λ的第i个元素,
Figure BDA0000105753440000042
是φ的第i个列向量,i=1,2,...,k;
(3d)对进行k-means聚类,得到采样子集S的标签Y={y1,...,yi,...,ym},i=1,...,m。
步骤4.对采样子集S进行学习,训练一个支撑矢量机SVM分类器。
(4a)将采样子集S单位化为
Figure BDA0000105753440000043
Figure BDA0000105753440000044
表示
Figure BDA0000105753440000045
的第i个列向量;
(4b)在条件0≤ai≤1下求解 max [ Q ( a ) = Σ i = 1 m a i - 1 2 Σ i = 1 m Σ j = 1 m a i a j y i y j W ^ ] 得到最优解a*,其中yi是采样子集S中第i个采样点的标签,yj是采样子集S中第j个采样点的标签,a∈Rm×1,ai表示a的第i个元素,aj表示a的第j个元素;
(4c)计算SVM分类器的超分界面
Figure BDA0000105753440000048
并记b*的第一个分量为
Figure BDA0000105753440000049
作为SVM分类器参数。
步骤5.用所得的SVM分类器对所有特征数据进行测试,得到最终图像分割结果。
(5a)计算目标函数值 f ( x j ) = sign [ Σ i = 1 m ( y i a i * G ( s ‾ i , x j ) + b 1 * ) ] , j = 1 , . . . , n ;
(5b)根据目标函数值f(xj)决定特征数据xj属于哪一类,当f(xj)=1,xj属于第1类,而当f(xj)=-1,xj属于第2类,其中sign()为符号函数。
本发明效果可以通过以下实验进一步证实:
1.实验条件
实验仿真环境为:MATLAB 7.0.4,Intel(R)Pentium(R)4 CPU 32GHz,Window XPProfessional。
2.实验内容与结果
实验内容包括:分别应用随机NJW谱聚类方法,k均值NJW谱聚类方法和本发明三种方法对256×256的纹理图像和SAR图像进行仿真分割实验。
实验1:
1)将随机NJW谱聚类方法、k均值NJW谱聚类方法和本发明三种方法对图2(a)所示纹理图像进行仿真分割,结果如图2所示,其中图2(b)是理想结果图,图2(c)是随机NJW谱聚类方法的分割结果图,图2(d)是k均值NJW谱聚类方法的分割结果图,图2(e)是本发明的分割结果图。
2)将随机NJW谱聚类方法、k均值NJW谱聚类方法和本发明三种方法对图3(a)所示纹理图像进行仿真分割,结果如图3所示,其中图3(b)是理想分割结果图,图3(c)是随机NJW谱聚类方法的分割结果图,图3(d)是k均值NJW谱聚类方法的分割结果图,图3(e)是本发明的分割结果图。
3)将随机NJW谱聚类方法、k均值NJW谱聚类方法和本发明三种方法对图4(a)所示纹理图像进行仿真分割,结果如图4所示,其中图4(b)是理想分割结果图,图4(c)是随机NJW谱聚类方法的分割结果图,图4(d)是k均值NJW谱聚类方法的分割结果图,图4(e)是本发明的分割结果图。
在实验1中,三种方法分割纹理图像的时间和结果准确率统计见表1,其中运行时间和准确率分别用T和R表示。
表1 三种方法对纹理图像分割的时间和准确率统计
Figure BDA0000105753440000051
从图2、图3、图4和表1可以看到,本发明无论在视觉效果上还是准确率上都要优于随机NJW谱聚类和k均值NJW谱聚类两种算法。本发明在区域一致性,边缘保持性和准确率上都表现出较好的性能。这验证了本发明能够有效利用NJW谱聚类标记,对剩余样本进行指导,得到更优的图像分割结果。
实验2:
1)将随机NJW谱聚类方法、k均值NJW谱聚类方法和本发明三种方法对图5(a)所示SAR图像进行仿真分割,结果如图5所示,其中图5(b)是随机NJW谱聚类方法的分割结果图,图5(c)是k均值NJW谱聚类方法的分割结果图,图5(d)是本发明的分割结果图;
2)将随机NJW谱聚类方法、k均值NJW谱聚类方法和本发明三种方法对图6(a)所示SAR图像进行仿真分割,结果如图6所示,其中图6(b)是随机NJW谱聚类方法的分割结果图,图6(c)是k均值NJW谱聚类方法的分割结果图,图6(d)是本发明的分割结果图;
3)将随机NJW谱聚类方法、k均值NJW谱聚类方法和本发明三种方法对图7(a)所示SAR图像进行仿真分割,结果如图7所示,其中图7(b)是随机NJW谱聚类方法的分割结果图,图7(c)是k均值NJW谱聚类方法的分割结果图,图7(d)是本发明的分割结果图;
在实验2中,三种方法分割SAR图像的时间统计见表2。
表2 三种方法对SAR图像分割的时间统计
Figure BDA0000105753440000061
从图5、图6、图7和表2可以看到,本发明明显优于另外两种算法。在图5(d)中,本发明区域一致性更优好,错分点较少,比较理想的分出了两种地貌。这是由于本发明利用NJW谱聚类标记,有效对剩余样本进行了指导,因此可以得到更优的聚类结果。
以上实验表明,本发明较随机NJW谱聚类方法,k均值NJW谱聚类方法,可以得到更优的图像分割结果。需要指出的是,本发明采用支撑矢量机SVM分类器,只是作为一种应用,在实际操作中,可以根据实际问题选择合适的分类器,具有广泛性和普适性。

Claims (5)

1.一种基于NJW谱聚类标记的图像分割方法,包括如下步骤:
(1)使用灰度共生矩阵对待分割的图像进行特征提取,并将提取的特征数据归一化到[0,1]之间,以去除数据间量级的影响;
(2)用k-means算法将归一化后的特征数据聚为m类,并将与聚类中心最近邻的特征数据作为采样点得到采样子集S,m取100;
(3)利用NJW谱聚类算法,对采样子集S进行聚类,得到采样子集S的标签;
(4)对采样子集S和对应的标签进行学习,训练一个支撑矢量机SVM分类器;
(5)用所得的SVM分类器对所有特征数据进行测试,得到最终的图像分割结果。
2.根据权利要求1所述的基于NJW谱聚类标记的图像分割方法,其中步骤(2)所述的用k-means算法将归一化后的特征数据聚为m类,按照如下步骤进行:
(2a)随机选取m个特征数据作为k-means算法的初始聚类中心;
(2b)在每次迭代中,求每个特征数据到聚类中心的距离,并将特征数据归到距离最小的聚类中心所在的类别中;
(2c)对每一类别里的数据分别求均值,并将均值作为该类的中心;
(2d)如果利用(2b)和(2c)进行迭代更新后,m个聚类中心保持不变,则迭代结束,否则继续迭代。
3.根据权利要求1所述的基于NJW谱聚类标记的图像分割方法,其中步骤(4)所述的利用NJW谱聚类算法,对采样子集S进行聚类,得到采样子集S的标签,按照如下步骤进行:
(3a)计算采样子集S={s1,...,si,...,sm}(i=1,...,m)的权值矩阵W=G(S,S),其中G()为高斯核函数;
(3b)计算权值矩阵W的拉普拉斯矩阵L=D-1/2WD-1/2,其中D为权值矩阵W的度矩阵,D={d1,...,di,...,dm},且wit为权值矩阵W第i行第t列元素;
(3c)对拉普拉斯矩阵L进行特征分解,求出由大到小排前k个特征值λ={λ1,...,λi,...,λk}所对应的特征向量
Figure FDA0000105753430000021
其中λi是λ的第i个元素,
Figure FDA0000105753430000022
是φ的第i个列向量,i=1,2,...,k;
(3d)对进行k-means聚类,得到采样子集S的标签Y={y1,...,yi,...,ym},i=1,...,m。
4.根据权利要求1所述的基于NJW谱聚类标记的图像分割方法,其中步骤(4)所述的对采样子集S进行学习,训练一个支撑矢量机SVM分类器,按照如下步骤进行:
(4a)将采样子集S单位化为
Figure FDA0000105753430000023
Figure FDA0000105753430000024
表示
Figure FDA0000105753430000025
的第i个列向量;
(4b)在条件
Figure FDA0000105753430000026
0≤ai≤1下求解 max [ Q ( a ) = Σ i = 1 m a i - 1 2 Σ i = 1 m Σ j = 1 m a i a j y i y j W ^ ] 得到最优解a*,其中yi是采样子集S中第i个采样点的标签,yj是采样子集S中第j个采样点的标签,a∈Rm×1,ai表示a的第i个元素,aj表示a的第j个元素;
(4c)计算SVM分类器的超分界面
Figure FDA0000105753430000028
并记b*的第一个分量为
Figure FDA0000105753430000029
作为SVM分类器参数。
5.根据权利要求1所述的基于NJW谱聚类标记的图像分割方法,其中步骤(5)所述的用所得的SVM分类器对所有特征数据进行测试,是根据计算 f ( x j ) = sign [ Σ i = 1 m ( y i a i * G ( s ‾ i , x j ) + b 1 * ) ] , j = 1 , . . . , n , 得到的目标函数值f(xj)决定特征数据xj属于哪一类,当f(xj)=1,xj属于第1类,而当f(xj)=-1,xj属于第2类,其中sign()为符号函数。
CN 201110346346 2011-11-04 2011-11-04 基于njw谱聚类标记的图像分割方法 Expired - Fee Related CN102346851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110346346 CN102346851B (zh) 2011-11-04 2011-11-04 基于njw谱聚类标记的图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110346346 CN102346851B (zh) 2011-11-04 2011-11-04 基于njw谱聚类标记的图像分割方法

Publications (2)

Publication Number Publication Date
CN102346851A true CN102346851A (zh) 2012-02-08
CN102346851B CN102346851B (zh) 2013-01-23

Family

ID=45545513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110346346 Expired - Fee Related CN102346851B (zh) 2011-11-04 2011-11-04 基于njw谱聚类标记的图像分割方法

Country Status (1)

Country Link
CN (1) CN102346851B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629318A (zh) * 2012-03-22 2012-08-08 中国电子科技集团公司第五十八研究所 一种基于支持向量机的指纹图像分割方法
CN103413146A (zh) * 2013-08-23 2013-11-27 西安电子科技大学 基于Freeman熵和自学习的极化SAR图像精细分类方法
CN103426156A (zh) * 2012-05-15 2013-12-04 中国科学院声学研究所 一种基于svm分类器的sas图像分割方法及***
CN108447050A (zh) * 2018-03-07 2018-08-24 湘潭大学 一种基于超像素的工件表面缺陷分割方法
CN108664976A (zh) * 2018-04-25 2018-10-16 安徽大学 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN109003279A (zh) * 2018-07-06 2018-12-14 东北大学 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及***
CN111340824A (zh) * 2020-02-26 2020-06-26 青海民族大学 一种基于数据挖掘的图像特征分割方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427956B (zh) * 2019-04-18 2021-01-15 中国林业科学研究院资源信息研究所 一种基于谱聚类算法的LiDAR点云数据单木提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174889A1 (en) * 2002-01-08 2003-09-18 Dorin Comaniciu Image segmentation using statistical clustering with saddle point detection
CN101271572A (zh) * 2008-03-28 2008-09-24 西安电子科技大学 基于免疫克隆选择聚类的图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174889A1 (en) * 2002-01-08 2003-09-18 Dorin Comaniciu Image segmentation using statistical clustering with saddle point detection
CN101271572A (zh) * 2008-03-28 2008-09-24 西安电子科技大学 基于免疫克隆选择聚类的图像分割方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629318A (zh) * 2012-03-22 2012-08-08 中国电子科技集团公司第五十八研究所 一种基于支持向量机的指纹图像分割方法
CN102629318B (zh) * 2012-03-22 2013-07-17 中国电子科技集团公司第五十八研究所 一种基于支持向量机的指纹图像分割方法
CN103426156A (zh) * 2012-05-15 2013-12-04 中国科学院声学研究所 一种基于svm分类器的sas图像分割方法及***
CN103413146A (zh) * 2013-08-23 2013-11-27 西安电子科技大学 基于Freeman熵和自学习的极化SAR图像精细分类方法
CN103413146B (zh) * 2013-08-23 2017-03-29 西安电子科技大学 基于Freeman熵和自学习的极化SAR图像精细分类方法
CN108447050A (zh) * 2018-03-07 2018-08-24 湘潭大学 一种基于超像素的工件表面缺陷分割方法
CN108664976A (zh) * 2018-04-25 2018-10-16 安徽大学 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN108664976B (zh) * 2018-04-25 2022-06-03 安徽大学 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN109003279A (zh) * 2018-07-06 2018-12-14 东北大学 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及***
CN109003279B (zh) * 2018-07-06 2022-05-13 东北大学 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及***
CN111340824A (zh) * 2020-02-26 2020-06-26 青海民族大学 一种基于数据挖掘的图像特征分割方法

Also Published As

Publication number Publication date
CN102346851B (zh) 2013-01-23

Similar Documents

Publication Publication Date Title
CN102346851B (zh) 基于njw谱聚类标记的图像分割方法
CN101763514B (zh) 基于特征重要度排序谱聚类的图像分割方法
CN102332086B (zh) 一种基于双阈值局部二进制模式的人脸识别方法
CN104866524A (zh) 一种商品图像精细分类方法
CN104063719A (zh) 基于深度卷积网络的行人检测方法及装置
CN103984959A (zh) 一种基于数据与任务驱动的图像分类方法
CN102436645B (zh) 基于mod字典学习采样的谱聚类图像分割方法
CN105488809A (zh) 基于rgbd描述符的室内场景语义分割方法
CN102663401B (zh) 一种图像特征提取和描述方法
CN103020971A (zh) 从图像中自动分割目标对象的方法
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法
Yao et al. Sensing urban land-use patterns by integrating Google Tensorflow and scene-classification models
CN109255339B (zh) 基于自适应深度森林人体步态能量图的分类方法
Dong et al. Feature extraction through contourlet subband clustering for texture classification
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和***
CN103218617A (zh) 一种多线性大间距的特征提取方法
CN103714340A (zh) 基于图像分块的自适应特征提取方法
CN105469117A (zh) 一种基于鲁棒特征提取的图像识别方法与装置
CN101251896A (zh) 一种基于多分类器的物体检测***及方法
CN102930291B (zh) 用于图形图像的k近邻局部搜索遗传自动聚类方法
CN115527269A (zh) 一种人体姿态图像智能识别方法及***
CN104268587B (zh) 一种基于指波变换和svm的假指纹检测方法
CN106203482A (zh) 基于mRMR和KPCA的遥感图像特征降维方法
CN105023239B (zh) 基于超像素和最大边界分布的高光谱数据降维方法
Du et al. Recognition of leaf image set based on manifold–manifold distance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130123

Termination date: 20181104