CN105243137B - 一种基于草图的三维模型检索视点选择方法 - Google Patents
一种基于草图的三维模型检索视点选择方法 Download PDFInfo
- Publication number
- CN105243137B CN105243137B CN201510645547.1A CN201510645547A CN105243137B CN 105243137 B CN105243137 B CN 105243137B CN 201510645547 A CN201510645547 A CN 201510645547A CN 105243137 B CN105243137 B CN 105243137B
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- model
- point
- vertex
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于草图的三维模型检索视点选择方法,包括以下步骤:步骤1、人工对数据库中的模型进行分类;步骤2、通过对正二十面体进行三角细分来确定视点的全集;步骤3、计算每个模型在每个视点的熵值;步骤4、由步骤3的计算结果来确定每一类模型的视点数量;步骤5、由步骤4的计算结果对视点全集进行聚类操作,确定所选择视点;步骤6、根据步骤5生成的视点来生成二维投影视图。本发明具有匹配结果良好,有效提高了***的运行效率等优点。
Description
技术领域
本发明涉及一种算机图像处理领域中的基于草图的三维模型检索技术,特别涉及一种基于草图的三维模型检索视点选择方法,主要应用于基于草图的三维模型检索中的视点选择。
背景技术
目前,在基于草图的三维模型检索视点选择领域,视点选择的策略主要有两个方法。一个是以预设定的固定视点作为所有模型的通用视点。Shao等人在《通过健壮的模型匹配进行有区别的基于草图的三维模型检索》中提出:基于7个固定视点来对三维模型进行匹配的方法。这种方法的优点明显,无论这是一个球模型,还是一个人模型,都会用预定义好的视点来进行匹配,在匹配的过程中,可以减少在视点选择方面的的计算量,有助于提高***的运行效率。但其缺点也很明显,忽略了不同模型对视点数量和视点位置的不同需求,不是每一个视点都能很好地反映模型特征,固定视点会在一定程度上影响匹配结果。
而另一个视点选择策略则是,通过视点聚类生成的视点来进行草图的匹配。目前基于该策略的研究工作很少。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种基于草图的三维模型检索视点选择方法,该三维模型检索视点选择方法解决了预设定固定视点对匹配结果造成影响的问题,使用聚类视点的方法来进行视点的选择。
本发明的目的通过下述技术方案实现:一种基于草图的三维模型检索视点选择方法,包括以下步骤:
步骤1、人工对数据库中的模型进行分类;
步骤2、通过对正二十面体进行三角细分来确定视点的全集;
步骤3、计算每个模型在每个视点的熵值;
步骤4、由步骤3的计算结果来确定每一类模型的视点数量;
步骤5、由步骤4的计算结果对视点全集进行聚类操作,确定所选择视点;
步骤6、根据步骤5生成的视点来生成二维投影视图。
本发明相对于现有技术具有如下的优点及效果:
1、本发明通过将模型数据库中的模型进行分类,然后通过计算每一类模型中每一个模型的复杂度来确定视点数量,最后通过聚类的方法来确定最终选择的视点。本发明根据不同模型对视点数量和视点位置的不同需求,使每一个视点都能很好地反映模型特征,从而固定了视点,匹配结果良好,有效提高了***的运行效率。
2、在现有的三维模型检索领域视点选择部分,基本上没有对基于聚类视点的视点选择的研究,本发明采用基于聚类视点的视点选择方法,填补了这方面技术空白。
附图说明
图1是本发明的流程图。
图2是本发明的Loop细分算法分析图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,一种基于草图的三维模型检索视点选择方法,包括以下步骤:
步骤1、人工对数据库中的模型进行分类;
步骤2、通过对正二十面体进行三角细分来确定视点的全集。
步骤2具体包括以下步骤:
步骤2-1、以三维直角坐标系的原点为正二十面体的外接球的球心,半径为2绘制一个正二十面体;
步骤2-2、通过将1个三角形面***成4个小的三角形面来实现面的细分。
根据点生成的不同方式,可以将细分后生成的点划分为两类:
(1)第一类点:由原来的三角形的边计算得到的点,如图2中的Vq、Vp和Vr点;
(2)第二类点:由原来的三角形的顶点计算得到的点,如图2中的V1’、V2’和V3’点;
对于以上的第一类点和第二类点这两类点,根据其所属边是否为边界,分为两种情况计算新生成点的坐标:
对于第一类点:
(1)如果原三角形的边是边界边,则新生成的点的坐标的计算公式为:
其中,V1、V2分别为边界边的两个顶点。由式(1),可知,
(2)如果原三角形的边非边界边,则新生成的点的坐标的计算公式为:
其中,V2、V3是该非边界边的两个顶点,V1、V4是与这两个顶点都相交的在该非边界边两侧且里该边最近的两个顶点。由式(2),可知:
对于第二类点:
(1)如果原三角形的边是边界边,则新生成的点的坐标的计算公式为:
其中,V1是原来三角形上对应的顶点,V2、V3分别是原来三角形上V1相邻的两个顶点。由式(3),可知:
如果原三角形的边非边界边,则新生成的点的坐标的计算公式为:
其中,
当n=3时,当n>3时,Vi代表有一条边与V相连的原多边形中的顶点。由式(4)和(5)可知:
步骤3、计算每个模型在每个视点的熵值。步骤3具体包括以下步骤:
步骤3-1:模型x在视点pj处的熵值的计算公式如下:
其中,E表示该模型在该视点处的熵值,m表示该模型的面的数量,Ai表示第i个面在该视点下的可视面积,S表示该模型渲染区域的总面积(由于已经将该模型缩放至单位球内,故可以用单位圆的面积来同等表示S);A0表示背景部分的面积,即渲染区域总面积S减去该模型投影在该面上的总面积,即为A0。E的值越大,表示该模型的复杂度也越大,一般来说,需要的视点个数也会越多。
步骤3-2:A(x-x0)+B(y-y0)+C(z-z0)=0, (9)
其中,A、B、C分别等于xn、yn、zn,即该平面的法向量的三维坐标,x0,y0,z0表示在该平面上的某个已知点的坐标,该平面方程即可用于表示投影面的平面方程。
对于模型的每一个顶点vi(xi,yi,zi),可以计算过该点且法向量与视点法向量相同的直线方程。由于是正视投影,故顶点与其在投影面映射点的直线的法向量可以视为:视点pi(xp,yp,zp)与投影面的中心pi’(x0,y0,z0)构成的法相量,故其空间直线方程可以表示为:
其中,xi、yi、zi为每一个顶点vi的坐标,m、n、r为直线的法向量,通过求公式(9)与公式(10)形成的方程组的解,可以得到该顶点在投影面上的映射点vi’(xi’,yi’,zi’),重新生成顶点、面在投影面上的映射f’(v1’,v2’,v3’)。
步骤3-3:只要找到p’所在平面上的一组过p’且相互垂直的基向量e1、e2(以这两组基向量)即可。对于投影面上的一点q(xq,yq,zq),计算其在投影面的二维坐标q’(xq’,yq’)可以用下面的公式计算:
PQ=PO+OQ, (12)
其中,PQ、PO、OQ分别为p到q,p到o,o到q的向量。
即:
xq'*e1+yq*e2=PO+OQ, (13)
其中,e1为q在该平面上x轴方向的基向量,e2为q在该平面上y轴方向的基向量。
在式(12)中,公式右边都是已知的,e1、e2也可以计算出来。此时该公式可以看成是关于xq’、yq’的二元一次方程。可以将等式两边分别点乘e1、e2,即:
xq'*e1·e1+yq*e2·e1=(PO+OQ)·e1,
xq'*e1·e2+yq*e2·e2=(PO+OQ)·e2,
其中,e1为q在该平面上x轴方向的基向量,e2为q在该平面上y轴方向的基向量。PQ、OQ分别为p到q,o到q的向量;
由于e1、e2互相垂直,故e2·e1=0,由此可以分别计算得到xq’、yq’,即Q在投影面上以P’为原点的坐标;
步骤3-4:在Matlab中内置了计算两个多边形并集的函数——polybool。其定义如下:
[x,y]=function(operation,x1,y1,x2,y2);
其中,x、y为函数的返回值,x为两个多边形(x1,y1)、(x2、y2)求并集后的多边形顶点的顺时针序列的x轴方向坐标,y为其在y轴方向上坐标。operation表示对两个多边形执行的操作,当输入的operation为’union’时,即求两个多边形的并集。
步骤4、由步骤3的计算结果来确定每一类模型的视点数量,步骤4具体包括以下步骤:
步骤4-1:首先计算每一个模型所有视点的平均熵值Em,然后再计算每一个模型每一个视点相对于平均熵值Em的标准差Sd。
步骤4-2:欧几里得距离C=sqrt(Sd^2+Em^2)。其中,Sd、Em分别表示通过每一类模型中对应值的最大值进行归一化处理后的值。
步骤4-3:Nc=a*C*N0 (14)
其中,N0是特征视点提取的全集,在这里,N0为42个视点的一半,即21。a是一个常量,由于仅仅考虑视点区域的一半,故令a等于0.5。C由步骤4-2求出,表示模型复杂度。NC即为最终的视点数量。
步骤5、由步骤4的计算结果对视点全集进行聚类操作,确定所选择视点。步骤5具体包括以下步骤:
(1)输入:k(集群个数)以及p=m*n矩阵,随机选择k个初始聚类中心,如:令q=k*n,q(i,:)=p(i,:);
(2)对于p中的每个对象,p(i,:),分别将其与q(i,:)的距离进行比较,如果其将其加入另一个r=k*n的矩阵中,其下标为r(i,j);
(3)对于矩阵r中的每一行,重新计算以r中同一行中的元素为下标的p中元素的质心,然后将q(i,:)的值与该值交换;
(4)重复(2)(3),直到所有q(i,:)值的变化小于给定阈值;
步骤6、由步骤5生成的视点生成在这些视点下模型的二维投影视图。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (3)
1.一种基于草图的三维模型检索视点选择方法,其特征在于,包括以下步骤:
步骤1、人工对数据库中的模型进行分类;
步骤2、通过对正二十面体进行三角细分来确定视点的全集;
步骤3、计算每个模型在每个视点的熵值;
步骤4、由步骤3的计算结果来确定每一类模型的视点数量;
步骤5、由步骤4的计算结果对视点全集进行聚类操作,确定所选择视点;
步骤6、根据步骤5生成的视点来生成二维投影视图;
所述步骤2包括以下步骤:
步骤2-1、以三维直角坐标系的原点为正二十面体的外接球的球心,半径为2绘制一个正二十面体;
步骤2-2、通过将1个三角形面***成4个小的三角形面来实现面的细分;
根据点生成的不同方式,将细分后生成的点划分为两类:
(3)第一类点:由原来的三角形的边计算得到的点;
(4)第二类点:由原来的三角形的顶点计算得到的点;
对于所述第一类点和第二类点,根据其所属边是否为边界,分为两种情况计算新生成点的坐标:
对于第一类点:
(1)如果原三角形的边是边界边,则新生成的点的坐标的计算公式为:
其中,V1、V2分别为边界边的两个顶点,由式(1)可知,
(2)如果原三角形的边非边界边,则新生成的点的坐标的计算公式为:
其中,V2、V3是该非边界边的两个顶点,V1、V4是与这两个顶点都相交的在该非边界边两侧且距离该边最近的两个顶点,由式(2)可知:
对于第二类点:
如果原三角形的边是边界边,则新生成的点的坐标的计算公式为:
其中,V1是原来三角形上对应的顶点,V1、V3分别是原来三角形上V1相邻的两个顶点,由式(3),可知:
如果原三角形的边非边界边,则新生成的点的坐标的计算公式为:
其中,
当n=3时,当n>3时,Vi代表有一条边与V相连的原多边形中的顶点,由式(4)和式(5)可知:
其中,Vi=V2、V3或V5;
所述步骤3包括以下步骤:
步骤3-1、模型x在视点pj处的熵值的计算公式如下:
其中,E表示该模型在该视点处的熵值,m表示该模型的面的数量,Ai表示第i个面在该视点下的可视面积,S表示该模型渲染区域的总面积,由于已经将该模型缩放至单位球内,故用单位圆的面积来同等表示S;A0表示背景部分的面积,即渲染区域总面积S减去该模型投影在该面上的总面积,即为A0;E的值越大,表示该模型的复杂度也越大,需要的视点个数也会越多;
步骤3-2、A(x-X0)+B(y-y0)+C(z-z0)=0, (9)
其中,A、B、C分别等于xn、yn、zn,即该平面的法向量的三维坐标,(x0,y0,z0)表示在该平面上的某个已知点的坐标,该平面方程即可用于表示投影面的平面方程;
对于模型的每一个顶点vi(xi,yi,zi),可以计算过该点且法向量与视点法向量相同的直线方程;由于是正视投影,故顶点与其在投影面映射点的直线的法向量可以视为:视点pi(xp,yp,zp)与投影面的中心pi’(x0,y0,z0)构成的法相量,故其空间直线方程可以表示为:
其中,xi、yi、zi为每一个顶点vi的坐标,m、n、r为直线的法向量,通过求公式(9)与公式(10)形成的方程组的解,可以得到该顶点在投影面上的映射点vi’(xi’,yi’,zi’),重新生成顶点、面在投影面上的映射f’(v1’,v2’,v3’);
步骤3-3:只要找到p’所在平面上的一组过p’且相互垂直的基向量e1、e2即可;对于投影面上的一点q(xq,yq,zq),计算其在投影面的二维坐标q’(xq’,yq’)可以用下面的公式计算:
PQ=PO+OQ, (12)
PQ、PO、OQ分别为p到q,p到o,o到q的向量;
即:
xq’*e1+yq*e2=PO+OQ, (13)
其中,e1为q在该平面上x轴方向的基向量,e2为q在该平面上y轴方向的基向量;
在式(12)中,公式右边都是已知的,e1、e2也可以计算出来;此时该公式可以看成是关于xq’、yq’的二元一次方程;可以将等式两边分别点乘e1、e2,即:
xq’*e1·e1+yq*e2·e1=(PO+OQ)·e1,
xq’*e1·e2+yq*e2·e2=(PO+OQ)·e2,
其中,e1为q在该平面上x轴方向的基向量,e2为q在该平面上y轴方向的基向量;PQ、OQ分别为p到q,o到q的向量;
由于e1、e2互相垂直,故e2·e1=0,由此可以分别计算得到xq’、yq’,即Q在投影面上以P’为原点的坐标;
步骤3-4:在Matlab中内置了计算两个多边形并集的函数polybool,所述polybool的定义如下:
[x,y]=function(operation,x1,y1,x2,y2);
其中,x、y为函数的返回值,x为两个多边形(x1,y1)、(x2、y2)求并集后的多边形顶点的顺时针序列的x轴方向坐标,y为其在y轴方向上坐标;operantion表示对两个多边形执行的操作,当输入的operation为’union’时,即求两个多边形的并集。
2.如权利要求1所述的基于草图的三维模型检索视点选择方法,其特征在于,所述步骤4包括以下步骤:
步骤4-1:首先计算每一个模型所有视点的平均熵值Em,然后再计算每一个模型每一个视点相对于平均熵值Em的标准差Sd;
步骤4-2:欧几里得距离C=sqrt(Sd^2+Em^2);其中,Sd、Em分别表示通过每一类模型中对应值的最大值进行归一化处理后的值;
步骤4-3:Nc=a*C*N0, (14)
其中,N0是特征视点提取的全集,令N0为42个视点的一半,即:N0=21;a是一个常量,由于仅仅考虑视点区域的一半,故令a等于0.5;C由步骤4-2求出,表示模型复杂度,NC即为最终的视点数量。
3.如权利要求1所述的基于草图的三维模型检索视点选择方法,其特征在于,所述步骤5包括以下步骤:
(1)输入:集群个数k以及p=m*n矩阵,随机选择k个初始聚类中心,令q=k*n,q(i,:)=p(i,:);
(2)对于p中的每个对象,p(i,:),分别将其与q(i,:)的距离进行比较,如果其将其加入另一个r=k*n的矩阵中,其下标为r(i,j);
(3)对于矩阵r中的每一行,重新计算以r中同一行中的元素为下标的p中元素的质心,然后将q(i,:)的值与该值交换;
(4)重复(2)(3),直到所有q(i,:)值的变化小于给定阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510645547.1A CN105243137B (zh) | 2015-09-30 | 2015-09-30 | 一种基于草图的三维模型检索视点选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510645547.1A CN105243137B (zh) | 2015-09-30 | 2015-09-30 | 一种基于草图的三维模型检索视点选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105243137A CN105243137A (zh) | 2016-01-13 |
CN105243137B true CN105243137B (zh) | 2018-12-11 |
Family
ID=55040785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510645547.1A Expired - Fee Related CN105243137B (zh) | 2015-09-30 | 2015-09-30 | 一种基于草图的三维模型检索视点选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105243137B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110115026B (zh) * | 2016-12-19 | 2021-07-13 | 三星电子株式会社 | 在电子装置中在矩形投影上产生360度内容的方法和*** |
CN108171794B (zh) * | 2018-01-19 | 2022-04-05 | 东莞市燕秀信息技术有限公司 | 基于三维模型的平面视图投影方法、装置、设备及介质 |
CN108537887A (zh) * | 2018-04-18 | 2018-09-14 | 北京航空航天大学 | 基于3d打印的草图与模型库三维视图匹配方法 |
CN109213884B (zh) * | 2018-11-26 | 2021-10-19 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
CN113032613B (zh) * | 2021-03-12 | 2022-11-08 | 哈尔滨理工大学 | 一种基于交互注意力卷积神经网络的三维模型检索方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
CN101281545A (zh) * | 2008-05-30 | 2008-10-08 | 清华大学 | 一种基于多特征相关反馈的三维模型检索方法 |
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索***及方法 |
-
2015
- 2015-09-30 CN CN201510645547.1A patent/CN105243137B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101004748A (zh) * | 2006-10-27 | 2007-07-25 | 北京航空航天大学 | 基于二维草图的三维模型检索方法 |
CN101281545A (zh) * | 2008-05-30 | 2008-10-08 | 清华大学 | 一种基于多特征相关反馈的三维模型检索方法 |
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索***及方法 |
Non-Patent Citations (2)
Title |
---|
"A comparison of methods for sketch-based 3D shape retrieval";Bo Li etc,;《Computer Vision and Image Understanding》;20141231;第57-80页 * |
"Sketch-Based 3D Model Retrieval by Viewpoint Entropy-Based Adaptive View Clustering";Bo Li etc,;《Eurographics Workshop on 3d Object Retrieval. Eurographics Association》;20130511;第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105243137A (zh) | 2016-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105243137B (zh) | 一种基于草图的三维模型检索视点选择方法 | |
CN102792302B (zh) | 用于形成表面处理数据的方法和装置 | |
CN110226806B (zh) | 一种鞋底涂胶轨迹生成方法及装置 | |
CN107610061B (zh) | 一种基于二维投影的保边点云孔洞修补方法 | |
CN110220493A (zh) | 一种双目测距方法及其装置 | |
CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
KR20100125106A (ko) | 격자구조를 이용한 3차원 모델링 장치 및 방법 | |
CN106652015B (zh) | 一种虚拟人物头像生成方法及装置 | |
CN101339669A (zh) | 基于正侧面影像的三维人脸建模方法 | |
CN101877146B (zh) | 一种扩充三维人脸数据库的方法 | |
US20160117859A1 (en) | Method and systems for generating a three dimensional model of a subject | |
CN111671518B (zh) | 髋关节股骨头球心的处理生成方法、装置和计算机设备 | |
CN105931298A (zh) | 一种基于视觉显著性的浅浮雕位置自动选择方法 | |
CN104143209B (zh) | 基于线画图案的三维模型雕刻方法 | |
CN107680168A (zh) | 三维重建中基于平面拟合的网格简化方法 | |
JP6863596B6 (ja) | データ処理装置及びデータ処理方法 | |
CN103810750A (zh) | 一种基于人体截面环的参数化变形方法 | |
CN104361625A (zh) | 一种基于射线原理的带边界保留的云数据精简算法 | |
CN114169022A (zh) | 在胚料上雕刻出雕刻标的3d表面的方法及*** | |
CN110837326A (zh) | 一种基于物体属性递进式表达的三维目标选择方法 | |
CN104809318B (zh) | 一种船舶舱室内装工程的材料质量与重心算法 | |
CN106408654B (zh) | 一种三维地图的创建方法及*** | |
CN102682473A (zh) | 一种虚拟服装的实时物理建模方法 | |
CN103489220A (zh) | 对三维目标建立统计形状模型的方法 | |
CN110222583A (zh) | 一种基于面部识别的面部生成技术 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181211 Termination date: 20210930 |
|
CF01 | Termination of patent right due to non-payment of annual fee |