CN103324954B - 一种基于树结构的图像分类方法及其*** - Google Patents
一种基于树结构的图像分类方法及其*** Download PDFInfo
- Publication number
- CN103324954B CN103324954B CN201310214553.2A CN201310214553A CN103324954B CN 103324954 B CN103324954 B CN 103324954B CN 201310214553 A CN201310214553 A CN 201310214553A CN 103324954 B CN103324954 B CN 103324954B
- Authority
- CN
- China
- Prior art keywords
- code book
- image
- node
- model
- tree construction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于树结构的图像分类方法及其***,其中该方法包括:步骤一,提供具有标签信息的样本集合,以及根据标签信息的语义相关性构建的语义树结构;步骤二,根据该样本集合与该语义树结构,通过模型训练得到一组有监督的码本和分类器模型;步骤三,对于测试图像,利用训练得到的有监督的码本组生成多个中间层特征表示,根据该中间层特征表示并利用分类器模型预测该测试图像的类别标签。本发明克服了现***本(特征)学习不能有效应对海量类别的分类问题。
Description
技术领域
本发明涉及计算机视觉领域的图像分类识别技术,特别是涉及一种基于树结构的图像分类方法及其***。
背景技术
图像分类是计算机视觉和机器学习领域的重要研究课题。对于分类任务,特征起着至关重要的作用。基于局部特征的视觉词袋特征(中层特征Mid-level feature)是处理图像分类问题较常用的特征。现有工作利用基于码本的无监督稀疏编码生成中间层特征来进行分类任务,取得了更好的效果。然而,传统的图像分类算法往往针对较少类别,利用无监督稀疏编码生成中间层特征方式结合简单的二分型分类器模型就可以取得较好的效果。然而现实世界的类别极多,当类别太多时,二分模型的分类器模型数量快速增长,分类界面容易混叠,无监督的码本学习生成中间层特征的方法不能挖掘对识别有关键作用的视觉特征,简单的分类器模型已经不足以应对海量类别的分类任务。
对于海量类别,类别之间具有语义关联,利用这种关联性对类别进行组织作为先验结构来指导分类器模型的建立。在层次结构中,类别也具有层次化的视觉特性,有监督的码本更能挖掘有利于分类的视觉属性,而先前的工作并没有考虑这些问题。
发明内容
本发明所要解决的技术问题在于提供一种基于树结构的图像分类方法及其***,用于克服现***本(特征)学习不能有效应对海量类别的分类问题。
为了实现上述目的,本发明提供了一种基于树结构的图像分类方法,其特征在于,包括:
步骤一,提供具有标签信息的样本集合,以及根据标签信息的语义相关性构建的语义树结构;
步骤二,根据该样本集合与该语义树结构,通过模型训练得到一组有监督的码本和分类器模型;
步骤三,对于测试图像,利用训练得到的有监督的码本组生成多个中间层特征表示,根据该中间层特征表示并利用分类器模型预测该测试图像的类别标签。
所述的图像分类方法,其中,所述步骤二中,包括:
对该语义树结构中的每个中间节点,学习对应的一组分类器模型和码本,该中间节点继承祖先节点学习的码本,该中间节点的码本包括上层继承的码本和在该中间节点通过对应的分类器模型更新得到的码本。
所述的图像分类方法,其中,所述步骤二中,包括:根据该样本集合与该语义树结构,采用多项式逻辑斯蒂回归数学模型来训练模型,得到一组分类器模型和码本。
所述的图像分类方法,其中,所述步骤二中,包括:
进行码本与分类模型更新迭代,利用当前码本对样本图像中的局部特征进行编码,利用空间融合策略将属于该样本图像的点的编码融合生成该样本图像的中间层特征表示,利用该中间层特征表示训练更新分类器模型和码本。
所述的图像分类方法,其中,所述步骤三中,包括:
对该测试图像,在该语义树结构的根节点通过对应的码本进行编码并利用空间融合策略生成对应的中层特征表示,根据根节点对应的图像特征与判别孩子节点的分类器模型得到响应值,选择响应值最大的节点,并在该节点通过对应的码本获取对应的图像特征,以此类推,直到到达叶子节点,得到最后的类别标签。
为了实现上述目的,本发明提供了一种基于树结构的图像分类***,其特征在于,包括:
信息提供模块,用于提供具有标签信息的样本集合,以及根据标签的语义相关性构建的语义树结构;
模型训练模块,用于根据样本集合与语义树结构,通过模型训练得到一组有监督的码本和分类器模型;
类别预测模块,用于对测试图像,利用训练得到的有监督的码本组生成多个中间层特征表示,根据该中间层特征表示并利用分类器模型预测该测试图像的类别标签。
所述的图像分类***,其中,所述模型训练模块还用于:
对该语义树结构中的每个中间节点,学习对应的一组分类器模型和码本,该中间节点继承祖先节点学习的码本,该中间节点的码本包括上层继承的码本和在该中间节点通过对应的分类器模型更新得到的码本。
所述的图像分类***,其中,所述模型训练模块还用于:
根据该样本集合与该语义树结构,采用多项式逻辑斯蒂回归数学模型来训练模型,得到一组分类器模型和码本。
所述的图像分类***,其中,所述模型训练模块还用于:
进行码本与分类模型更新迭代,利用当前码本对样本图像中的局部特征进行编码,利用空间融合策略将属于该样本图像的点的编码融合生成该样本图像的中间层特征表示,利用该中间层特征表示训练更新分类器模型和码本。
所述的图像分类***,其中,所述类别预测模块还用于:
对该测试图像,在该树结构的根节点通过对应的码本进行编码并利用空间融合策略生成对应的图像特征,根据根节点对应的图像特征与判别孩子节点的分类器模型得到响应值,选择响应值最大的节点,并在该节点通过对应的码本获取对应的图像特征,以此类推,直到到达叶子节点,得到最后的类别标签。
与现有技术相比,本发明具有以下有益技术效果:
本发明涉及到海量类别的分类技术以及多层有监督码本学习技术,提出了一种基于树结构的多层有监督码本学习方法,该方法适用于处理海量类别图像分类问题,该方法利用有监督的码本学习处理极多类别的分类问题,针对海量类别的分类任务挖掘最具有判别力的视觉特征;针对海量类别分类,利用层次化结构进行码本以及分类器模型联合学习,挖掘利用类别的层次化视觉特性。
相较于无监督码本学习的稀疏编码算法,该发明利用有监督多层码本学习处理海量类别的分类问题,能更好挖掘针对不同层类别分类的视觉特征。利用层次结构进行码本学习,将原始的极多类问题分解为多个较易处理的多层分类子问题来逐一求解,也大大降低运算复杂度,使得有监督的码本学习能适用于海量类别的分类任务,在可承受的时间消耗下得到较好的分类性能。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为本发明的基于树结构的图像分类方法流程图;
图2为本发明的基于树结构的图像分类***结构图;
图3为层次先验结构;
图4为本发明的层次分类过程;
图5a、5b为本发明的多层码本学习示例图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步更详细的描述。
如图1所示,为本发明的基于树结构的图像分类方法流程图。该方法包括如下步骤:
步骤101,提供具有标签信息的样本集合,以及根据标签信息的语义相关性构建的语义树结构;
步骤102,根据样本集合与语义树结构,通过模型训练得到一组有监督的码本和分类器模型;
步骤103,对于测试图像,利用训练得到的有监督的码本组生成中间层特征表示,根据该中间层特征表示并利用分类器模型预测该测试图像的类别标签。
如图2所示,为本发明的基于树结构的图像分类***结构图。该***200包括:
信息提供模块21,用于提供具有标签信息的样本集合,以及根据标签的语义相关性构建的语义树结构;
模型训练模块22,用于根据样本集合与语义树结构,通过模型训练得到一组有监督的码本和分类器模型;
类别预测模块23,用于对测试图像,利用训练得到的有监督的码本组生成中间层特征表示,根据该中间层特征表示并利用分类器模型预测该测试图像的类别标签。
如图3所示为层次先验结构,图4为本发明的层次分类过程。结合图1、2,对图3中所述的层次先验结构、图4中所述的层次分类过程进行描述。
对于海量类别,信息提供模块21首先基于类别间的关联性(语义相关性)构建树结构作为先验,中间节点表示一个相关类别的组。在越上层节点越宏观,越下层节点越具体,如图3所示,例如鹩雀和鹌鹑都属于鸟类,西鲱和鲷都属于鱼类,而鱼和鸟类更宏观讲都属于动物类。类别预测模块23利用剪枝算法逐层确定图像所属的类别,即测试图像输入树结构,根据根节点的孩子节点的分类器模型选择响应值最大的节点作为图像在当前层的标签,并以该节点为根的子树结构继续判别图像的标签,直到达到叶子节点。如图4所示。
本发明提出了局部编码及有监督的码本学***均得到该区域的特征,将所有区域的特征拼接生成该图像的特征)形成中间层特征表示。对于训练样本集合X=[x1,...,xn],表示样本xi的第p个局部描述特征。对于码本Db,根据以下公式进行编码:
码本Db包含Kb列(元素),dj代表第j个元素,αi,p表示得到的编码向量,μ表示一个权重常数。利用空间融合策略将属于同一张图像的点的编码融合生成该幅图像的中间层特征,该中间层特征用字符zi表示。样本集合X=[x1,...,xn]生成的中间层特征表示为
如上内容是先根据码本进行编码,再利用空间融合策略进行空间融合,编码、空间融合是生成中间层特征表示的两个步骤,编码步骤在前,空间融合步骤在后。
有监督的码本学习是利用分类器模型来更新码本,使得码本能挖掘更具有判别信息的元素。对于样本集合X,其对应的类别标签为Y∈Rn分属于U个类别,即y∈{1,2,...U}。采用多项式逻辑斯蒂回归(multinomial logistic regression)数学模型来训练模型。训练模型的具体过程描述如下:
对于样本xi,它属于类别u的概率可以写为:
wu代表对应于类别u的分类器(向量),Τ表示转置,zi表示xi对应的特征,exp表示数学里以自然对数e为底的指数函数。公式2是一种求概率的公式,是根据一系列数学公式推导得到的通用的计算概率的方法。整体的损失可以形式化为:
I(*)是示性函数,log表示对数函数。
码本和分类器模型的联合优化转化为求解下面式子:
最小化负log似然函数(即最大化log似然函数)作为模型损失的定义,如公式3。loss是关于W,D,X,Y四个变量的方程,在该方法中,X,Y是已知变量,W,D是待求解的变量。||*||F是表示矩阵的F-范数。
如图5a、5b所示,为本发明的多层码本学习示例图。结合图1-4对该多层码本学习的过程进行描述。
本发明所提出的基于树结构的多层码本学习,在训练阶段,模型训练模块22基于树结构进行有监督的码本学习和分类器模型训练。对于层次结构中的每个中间节点,学习对应的一组分类器模型和一个码本。此外,下层节点需要继承祖先节点学习的码本,即下层码本由两部分组成,一是上层继承的码本和在该节点所特有的通过分类器模型更新得到的码本,如图5中(a)所示。这种继承方式使兄弟节点共享视觉特性,并通过分类器模型合理利用这些特性。
例如,对于中间节点V1,1,其对应于码本D1,1。该码本D1,1由D0和D′1,1两部分组成。D0代表从上层继承的码本,D′1,1代表在节点V1,1学习得到的特殊码本。对于样本xi,包含了从多种不同大小的图像块提取的局部特征。对于该样本,在节点V1,1生成的特征向量为其中,表示第0层(根节点)所对应的图像块大小的局部特征,表示第1层(V1,1所在层)所对应的图像块大小的局部特征,这两种块大小是不同的,在***中可根据实际需要设定大小。该样本在孩子节点V2,1的响应方程可以写为:
(xi,D1,1)为在V1,1的孩子节点V2,1的响应值。
通过扩展公式3,基于树结构的损失函数定义为:
代表树中所有的中间节点(非叶子节点),C(t)代表属于节点t的孩子节点集合(例如V2,1和V2,2是V1,1的孩子节点)。代表样本xi在树结构里的标签集合,即标签yi及其祖先节点的标签。响应方程f(*)定义如公式5。
基于树结构的码本和分类器模型训练可以通过求解下面式子得到:
损失函数loss定义如公式6。D+,W分别代表需求解的码本集合和分类器模型,X表示训练样本集合,Y表示样本对应的类别标签集合。
本发明提出的模型分为训练和预测两个阶段。模型训练模块22在训练阶段,将具有标签信息的样本集合以及根据标签的语义关联性建成的语义树结构作为输入,通过模型训练得到一组有监督的码本和分类器模型。类别预测模块23在预测阶段,对于测试样本图像,利用训练得到的码本组生成中间层特征表示,并利用分类器模型预测该测试样本图像的类别标签。
在训练阶段,每个中间节点(V0,V1,1,V1,2,V1,3)对应于一个码本和一组分类器模型,例如对于V1,1,对应于D1,1以及用于判别孩子节点的分类器模型{w2,1,w2,2}。整个学习过程就是求解公式6和7,最后得到一组码本集合以及分类器模型,如图5的(a)所示。
在预测阶段,如图5的(b)所示,待分类图像从根节点输入,通过选择最大响应值的节点(公式5)直到到达叶子节点。例如,输入一幅图像,在根节点(第0层)通过码本D0生成图像特征(公式1),输入到其用来判别孩子节点(例如动物、植物、工具)的分类器模型得到响应值(公式5),选择响应值最大的节点(例如动物)。在“动物”节点(V1,3),通过对应的码本D1,3生成另一图像特征(公式1),输入到其用来判别孩子节点(鸟、鱼)的分类器模型得到响应值(公式5),选择响应值最大的节点(例如鸟)。以此类推,直到到达叶子节点(最底层),得到最后的标签(“鹌鹑”)。
本发明提供了一种基于树结构的图像分类方法及其***,相较于无监督码本学习的稀疏编码算法,该发明利用有监督多层码本学习处理海量类别的分类问题,能更好挖掘针对不同层类别分类的视觉特征。利用层次结构进行码本学习,将原始的极多类问题分解为多个较易处理的多层分类子问题来逐一求解,也大大降低运算复杂度,使得有监督的码本学习能适用于海量类别的分类任务,在可承受的时间消耗下得到较好的分类性能。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (6)
1.一种基于树结构的图像分类方法,其特征在于,包括:
步骤一,提供具有标签信息的样本集合,以及根据标签信息的语义相关性构建的语义树结构;
步骤二,根据该样本集合与该语义树结构,通过模型训练得到一组有监督的码本和分类器模型;
步骤三,对于测试图像,利用训练得到的有监督的码本组生成多个中间层特征表示,根据该中间层特征表示并利用分类器模型预测该测试图像的类别标签;
所述步骤二中,包括:
进行码本与分类器模型更新迭代,利用当前码本对样本图像中的局部特征进行编码,利用空间融合策略将属于该样本图像的点的编码融合生成该样本图像的中间层特征表示,利用该中间层特征表示训练更新分类器模型和码本;
所述步骤三中,包括:
对该测试图像,在该语义树结构的根节点通过对应的码本进行编码并利用空间融合策略生成对应的图像特征,根据根节点对应的图像特征与判别孩子节点的分类器模型得到响应值,选择响应值最大的节点,并在该节点通过对应的码本获取对应的图像特征,以此类推,直到到达叶子节点,得到最后的类别标签。
2.根据权利要求1所述的图像分类方法,其特征在于,所述步骤二中,包括:
对该语义树结构中的每个中间节点,学习对应的一组分类器模型和码本,该中间节点继承祖先节点学习的码本,该中间节点的码本包括上层继承的码本和在该中间节点通过对应的分类器模型更新得到的码本。
3.根据权利要求2所述的图像分类方法,其特征在于,所述步骤二中,包括:根据该样本集合与该语义树结构,采用多项式逻辑斯蒂回归数学模型来训练模型,得到分类器模型和码本。
4.一种基于树结构的图像分类***,其特征在于,包括:
信息提供模块,用于提供具有标签信息的样本集合,以及根据标签的语义相关性构建的语义树结构;
模型训练模块,用于根据样本集合与语义树结构,通过模型训练得到一组有监督的码本和分类器模型;
类别预测模块,用于对测试图像,利用训练得到的有监督的码本组生成多个中间层特征表示,根据该中间层特征表示并利用分类器模型预测该测试图像的类别标签;
所述模型训练模块还用于:
进行码本与分类器模型更新迭代,利用当前码本对样本图像中的局部特征进行编码,利用空间融合策略将属于该样本图像的点的编码融合生成该样本图像的中间层特征表示,利用该中间层特征表示训练更新分类器模型和码本;
所述类别预测模块还用于:
对该测试图像,在该语义树结构的根节点通过对应的码本进行编码并利用空间融合策略生成对应的图像特征,根据根节点对应的图像特征与判别孩子节点的分类器模型得到响应值,选择响应值最大的节点,并在该节点通过对应的码本获取对应的图像特征,以此类推,直到到达叶子节点,得到最后的类别标签。
5.根据权利要求4所述的图像分类***,其特征在于,所述模型训练模块还用于:
对该语义树结构中的每个中间节点,学习对应的一组分类器模型和码本,该中间节点继承祖先节点学习的码本,该中间节点的码本包括上层继承的码本和在该中间节点通过对应的分类器模型更新得到的码本。
6.根据权利要求4所述的图像分类***,其特征在于,所述模型训练模块还用于:
根据该样本集合与该语义树结构,采用多项式逻辑斯蒂回归数学模型来训练模型,得到分类器模型和码本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310214553.2A CN103324954B (zh) | 2013-05-31 | 2013-05-31 | 一种基于树结构的图像分类方法及其*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310214553.2A CN103324954B (zh) | 2013-05-31 | 2013-05-31 | 一种基于树结构的图像分类方法及其*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103324954A CN103324954A (zh) | 2013-09-25 |
CN103324954B true CN103324954B (zh) | 2017-02-08 |
Family
ID=49193682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310214553.2A Active CN103324954B (zh) | 2013-05-31 | 2013-05-31 | 一种基于树结构的图像分类方法及其*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103324954B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679206B (zh) * | 2013-12-24 | 2017-10-27 | Tcl集团股份有限公司 | 图像分类的方法和装置 |
WO2017124221A1 (en) * | 2016-01-18 | 2017-07-27 | Xiaogang Wang | System and method for object detection |
CN108664512B (zh) * | 2017-03-31 | 2021-02-09 | 华为技术有限公司 | 文本对象分类方法及装置 |
CN108805181B (zh) * | 2018-05-25 | 2021-11-23 | 深圳大学 | 一种基于多分类模型的图像分类装置及分类方法 |
CN110119763B (zh) * | 2019-04-16 | 2021-06-29 | 福建天晴数码有限公司 | 基于默克尔树思想的逻辑回归数据优化方法、存储介质 |
CN111754476A (zh) * | 2019-06-19 | 2020-10-09 | 北京昆仑医云科技有限公司 | 用于解剖树结构的疾病量化建模的方法及*** |
CN110543891B (zh) * | 2019-07-23 | 2022-07-26 | 百度(中国)有限公司 | 数据标注方法、装置、***及存储介质 |
CN110647907B (zh) * | 2019-08-05 | 2023-04-07 | 广东工业大学 | 利用多层分类和字典学习的多标签图像分类算法 |
CN110598869B (zh) * | 2019-08-27 | 2024-01-19 | 创新先进技术有限公司 | 基于序列模型的分类方法、装置、电子设备 |
CN111783809B (zh) * | 2019-09-06 | 2024-03-05 | 北京沃东天骏信息技术有限公司 | 图像描述的生成方法、装置和计算机可读存储介质 |
CN111046425B (zh) * | 2019-12-12 | 2021-07-13 | 支付宝(杭州)信息技术有限公司 | 多方联合进行风险识别的方法和装置 |
CN112101192B (zh) * | 2020-09-11 | 2021-08-13 | 中国平安人寿保险股份有限公司 | 基于人工智能的伪装检测方法、装置、设备及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156871B (zh) * | 2010-02-12 | 2012-12-12 | 中国科学院自动化研究所 | 基于类别相关的码本和分类器投票策略的图像分类方法 |
CN102156885B (zh) * | 2010-02-12 | 2014-03-26 | 中国科学院自动化研究所 | 基于级联式码本生成的图像分类方法 |
US8463045B2 (en) * | 2010-11-10 | 2013-06-11 | Microsoft Corporation | Hierarchical sparse representation for image retrieval |
-
2013
- 2013-05-31 CN CN201310214553.2A patent/CN103324954B/zh active Active
Non-Patent Citations (3)
Title |
---|
a unified supervised codebook learning framework for classification;congyan lang,et al;《neurocomputing》;20110924;第281、283、285页 * |
Learning to Share Visual Appearance for Multiclass Object Detection;jinjun wang,et al;《2011 IEEE conference on computer vision and pattern recognition》;20110620;第1482-1486页 * |
locality-constrained linear coding for image classification;jinjun wang,et al;《2010 IEEE conference on computer vision and pattern recognition》;20100613;第3361、3363-3364页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103324954A (zh) | 2013-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103324954B (zh) | 一种基于树结构的图像分类方法及其*** | |
Wu et al. | Evolving RBF neural networks for rainfall prediction using hybrid particle swarm optimization and genetic algorithm | |
CN103345656B (zh) | 一种基于多任务深度神经网络的数据识别方法及装置 | |
CN110083700A (zh) | 一种基于卷积神经网络的企业舆情情感分类方法及*** | |
CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
CN106503654A (zh) | 一种基于深度稀疏自编码网络的人脸情感识别方法 | |
CN110427875A (zh) | 基于深度迁移学习和极限学习机的红外图像目标检测方法 | |
CN107229904A (zh) | 一种基于深度学习的目标检测与识别方法 | |
CN102622515B (zh) | 一种天气预测方法 | |
CN108629367A (zh) | 一种基于深度网络增强服装属性识别精度的方法 | |
CN106529503A (zh) | 一种集成卷积神经网络人脸情感识别方法 | |
CN110321862B (zh) | 一种基于紧致三元损失的行人再识别方法 | |
CN112308115B (zh) | 一种多标签图像深度学习分类方法及设备 | |
CN103838836A (zh) | 基于判别式多模态深度置信网多模态数据融合方法和*** | |
CN109784288B (zh) | 一种基于判别感知融合的行人再识别方法 | |
Geetha et al. | Artificial Neural Networks’ application in weather forecasting–using RapidMiner | |
CN111104975B (zh) | 一种基于广度学习的信用评估方法 | |
CN105260746B (zh) | 一种可扩展的多层集成多标记学习*** | |
CN114842208A (zh) | 一种基于深度学习的电网危害鸟种目标检测方法 | |
Solgi et al. | Pre-processing data using wavelet transform and PCA based on support vector regression and gene expression programming for river flow simulation | |
CN116127084A (zh) | 基于知识图谱的微电网调度策略智能检索***及方法 | |
CN107480194A (zh) | 多模态知识表示自动学习模型的构建方法及*** | |
CN107807919A (zh) | 一种利用循环随机游走网络进行微博情感分类预测的方法 | |
CN111598252A (zh) | 基于深度学习的大学计算机基础知识解题方法 | |
Henriques et al. | Spatial clustering using hierarchical SOM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |