CN110349228B - 一种数据驱动最小二乘预测的三角网格压缩方法 - Google Patents
一种数据驱动最小二乘预测的三角网格压缩方法 Download PDFInfo
- Publication number
- CN110349228B CN110349228B CN201910607549.XA CN201910607549A CN110349228B CN 110349228 B CN110349228 B CN 110349228B CN 201910607549 A CN201910607549 A CN 201910607549A CN 110349228 B CN110349228 B CN 110349228B
- Authority
- CN
- China
- Prior art keywords
- vertex
- prediction
- coordinates
- coordinate system
- local coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 44
- 230000006835 compression Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种数据驱动最小二乘预测的三角网格压缩方法,主要是针对三角网格压缩,提高网格压缩的编码压缩率,并充分利用网络局部邻域信息特征。其包括以下步骤:从网格模型中所有可能构建的五顶点模板中提取特征数据作为训练集;在局部坐标系下构建预测器;通过最小二乘法求解预测器的权重;在编码时,对当前顶点的量化坐标预测可以使用受限多模板策略进一步提高预测精度,即根据多个可用的模板选择最优集合进行线性组合;对残差进行熵编码。本发明可以深入利用网络模型上临近三角形之间的相关性,有效降低了坐标预测的误差,从而得到了更高且稳定的压缩率,尤其是在光滑模型上的压缩效果更为显著。
Description
技术领域
本发明涉及三角网格压缩方法,特别是一种数据驱动的最小二乘预测方法,实现三角网格的更高且稳定的压缩率。
背景技术
三角网格压缩是计算机图形学与数字几何处理领域的一个经典问题,并且在大规模三维模型存储、基于网络的三维图形绘制等应用中具有重要的作用。三角网格模型需要存储两类主要信息:拓扑信息和几何信息。相应的分为拓扑压缩和几何压缩,其中拓扑压缩的压缩率接近于极限值,而几何压缩则大多在某种拓扑压缩策略基础之上进行,旨在有效提高几何数据压缩的效率。其中关键的挑战在于:在压缩的过程中,如何更加精准地根据已编码的顶点位置对将要编码的顶点位置进行预测,预测越精准、需要的矫正量越小,那么进行熵编码能够得到的压缩率更高。
目前大多数的研究工作试图构造出广泛适用的函数来预测编码顶点坐标,其一般具有如下特点:一)预测模板选取为待编码顶点的小邻域;二)预测函数与模型数据本身无关,往往限定为显式构造函数。虽然它们的计算效率较高,但也较大程度上限制了其压缩率。
发明内容
本发明的目的在于针对现有技术的不足,提供一种数据驱动最小二乘预测的三角网格压缩方法。
本发明的目的是通过以下技术方案来实现的:一种数据驱动最小二乘预测的三角网格压缩方法,包括预测模型生成和三角网格编码两部分。
预测模型生成部分包括:
101,对三角网格进行拓扑压缩,并确定几何压缩时的顶点遍历顺序。
201,按照遍历顺序,对每个顶点x,选取它的5个已遍历的邻域点作为五顶点预测模板,这5个点分别为x顶点的一条相对边的两个顶点b和c;与边bc相对的顶点a;与边ab相对的顶点p以及与边ac相对的顶点q。
202,为每个五顶点预测模板建立局部坐标系,并计算{a,b,c,p,q}在局部坐标系下的坐标{a′,b′,c′,p′,q′};设置局部坐标系的原点为(a+b+c)/3,坐标轴为[U,V,W],其中U方向沿着b-c方向,W沿着Δabc的法向方向,V方向则由其他两个方向叉乘得到。
203,去除局部坐标中线性相关部分,得到坐标向量f,f包括平移标量t和9个坐标b′U,c′U,c′V,p′U,p′V,p′W,q′U,q′V,q′W。
204,构造预测方程并用最小二乘法求解预测器的权重预测方程按照下式:
其中x′i为局部坐标系下第i个顶点坐标的实际值,为局部坐标系下第i个顶点坐标的预测值,其每个坐标分量/>为:
其中为/>的第j个分量,fj i为第i个顶点的10维向量fi的第j个分量。
三角网格编码部分包括:
301,对三角网格进行拓扑压缩,并确定几何压缩时的顶点遍历顺序。
401,对三角网格的几何数据进行量化。
501,使用预测训练中得到的权重来预测当前顶点的局部坐标系坐标并记录局部坐标系下的差值/>
601,对遍历所有顶点记录的几何坐标值以及差值序列构成的数据流进行熵编码得到压缩码流。
进一步地,所述步骤101中,拓扑压缩采用EdgeBreaker方法压缩拓扑信息,建立顶点的生成树,确定顶点遍历顺序。
进一步地,所述步骤203具体为:
局部坐标系表示的五个顶点坐标的部分分量存在线性相关性,有如下关系:
即a′在U,V,W方向的分量a′U,a′V,a′W,b′在V,W方向的分量b′V,b′W,以及c,在W方向的分量c′W实际上是冗余的,因此直接将它们从线性***中消掉,只保留其余的变量:b′U,c′U,c′V,p′U,p′V,p′W,q′U,q′V,q′W;
于是,上述9个坐标以及平移标量t组织成一个10维向量将每组邻域顶点表示的向量组合成一个矩阵,矩阵的行数即为邻域顶点与预测顶点对数,矩阵的列数即为10。
进一步地,所述步骤401中,量化方法采用可变长量化或者定长量化,量化位数取值8-14位。
进一步地,所述步骤501具体如下:
按照步骤301确定的遍历顺序,对每个顶点x,选取它的5个已遍历的邻域点{a,b,c,p,q}作为五顶点预测模板,如果已遍历的顶点不足以构成符合条件的模板,优选使用平行四边形预测模板记录预测坐标与实际坐标之间的差值,如果己遍历顶点无法构成平行四边形预测模板,则直接记录x的坐标值。
对于五顶点预测模板,计算预测坐标的步骤如下:
以步骤202中描述的局部坐标系计算x的五顶点预测模板中每个顶点的局部坐标系坐标{a′,b′,c′,p′,q′)和x的局部坐标值x′。
以步骤203方法得到该顶点的线性无关坐标向量f,并使用步骤204中计算的权重依照公式(2)计算局部坐标系下顶点x的预测坐标/>并记录局部坐标系下的差值
进一步地,为了进一步提高预测精度,所述步骤501中,
选用多个可用的预测模板,包括五顶点预测模板和平行四边形预测模板,利用其预测结果的线性组合获得最优预测值如果记录预测顶点周围某个模板的预测值为/>那么最终的预测结果为/>wi为第i个预测模版的权重。
进一步地,每个预测顶点最多采用4个相邻的模板,从而保证每个预测顶点的权重值序列不超过4个比特。
进一步地,所述步骤601中,采用霍夫曼编码、算术编码等无损熵编码。
本发明的有益效果是:本发明提供的数据驱动受限多模板最小二乘预测的三角网格压缩方法,深入利用了三角网格模型上邻近三角形之间的相关性,充分利用网格局部邻域信息特征,有效降低了坐标预测的误差,从而提高了网格压缩的编码压缩率,能够获得更高且稳定的压缩率,尤其是在光滑模型上压缩效果更为显著。
附图说明
图1是本发明一个实施例中的方法流程示意图;
图2是本发明设计的五顶点预测模板示意图;
图3是本发明采用的受限多模板的策略示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明,以使本发明的优点和特征能更容易被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1。图1是本发明面向三角网格压缩一较佳实施例的流程示意图。
本发明提供了一种数据驱动的基于最小二乘预测的三角网格压缩方法,包括预测模型生成和三角网格编码两部分。
预测模型生成的步骤包括:
101,对三角网格进行拓扑压缩,并确定几何压缩时的顶点遍历顺序。优选地,拓扑压缩采用EdgeBreaker方法压缩拓扑信息,建立顶点的生成树,确定顶点遍历顺序。可采用深度优先方法对生成树进行遍历。
201,按照步骤101确定的遍历顺序,对每个顶点x,选取它的5个已遍历的邻域点作为预测模板。选取的五顶点预测模板如附图2所示,这5个点分别为x顶点的一条相对边的两个顶点b和c;与边bc相对的顶点a;与边ab相对的顶点p以及与边ac相对的顶点q。
202,为保证刚体变换不变性,为每个五顶点预测模板建立局部坐标系,并计算{a,b,c,p,q}在局部坐标系下的坐标{a′,b′,c′,p′,q′}。设置局部坐标系的原点为(a+b+c)/3,坐标轴为[U,V,W],其中U方向沿着b-c方向,W沿着Δabc的法向方向,V方向则由其他两个方向叉乘得到(此处注意构造局部坐标系要求Δabc必须是未退化的三角形)。
203,去除局部坐标中线性相关部分,得到坐标向量f;局部坐标系表示的五个顶点坐标的部分分量存在线性相关性,有如下关系:
即a′在U,V,W方向的分量a′U,a′V,a′W,b在V,W方向的分量b′V,b′W,以及c′在W方向的分量c′W实际上是冗余的,因此可以直接将它们从线性***中消掉,而只保留其余的变量:b′U,c′U,c′V,p′U,p′V,p′W,q′U,q′V,q′W;
于是,上述9个坐标以及平移标量t组织成一个10维向量将每组邻域顶点表示的向量组合成一个矩阵,矩阵的行数即为邻域顶点与预测顶点对数,矩阵的列数即为10。
204,构造预测方程并用最小二乘法(least-square predictor,LSP)求解预测器的权重。预测方程按照下式:
其中x′i为局部坐标系下第i个顶点坐标的实际值,为局部坐标系下第i个顶点坐标的预测值,其每个坐标分量/>为:
其中为/>的第j个分量,fj i为第i个顶点的10维向量fi的第j个分量。根据公式(1)构造预测方程并用最小二乘法求解权重/>公式(1)中,待定系数/>对于整个预测器而言,共有三个维度的坐标,从而需要求解的待定系数个数为30。
三角网格编码的步骤包括:
301,对三角网格进行拓扑压缩,并确定几何压缩时的顶点遍历顺序。优选地,拓扑压缩采用和训练过程的步骤101方法相同。
401,对三角网格的几何数据(顶点位置坐标)进行量化。优选地,量化方法可以为可变长量化或者定长量化,量化位数取值8-14位。
501-502步骤使用多模板策略预测顶点的坐标值,并且逐顶点记录几何坐标数据流。
501,使用预测训练中得到的权重来预测当前顶点的局部坐标系坐标,具体如下:
按照步骤301确定的遍历顺序,对每个顶点x,和步骤201类似,选取它的5个已遍历的邻域点{a,b,c,p,q}作为五顶点预测模板,如果已遍历的顶点不足以构成符合条件的模板,优选使用平行四边形预测模板记录预测坐标与实际坐标之间的差值,如果已遍历顶点无法构成平行四边形预测模板,则直接记录x的坐标值。
对于五顶点预测模板,计算预测坐标的步骤如下:
以步骤202中描述的局部坐标系计算x的五顶点预测模板中每个顶点的局部坐标系坐标{a′,b′,c′,p′,q′}以及x的局部坐标x′。
以步骤203方法得到该顶点的线性无关坐标向量f,并使用步骤204中计算的权重依照公式(2)计算局部坐标系下顶点x的预测坐标/>并记录局部坐标系下的差值
为了保证编码和解码过程的可逆性,在编码时用于预测的{a,b,c,p,q}的值应该是解码后的坐标值,而不是原始模型的顶点坐标值。
502,利用受限多模板策略,进一步提高预测精度。选用多个可用的预测模板(可以是五顶点预测模板或者平行四边形预测模板),利用其预测结果的线性组合获得最优预测值
一个可能的多模板策略如附图3。如果记录预测顶点周围某个模板的预测值为那么最终的预测结果为/>wi为第i个预测模版的权重。优选地,每个预测顶点最多可用4个相邻的模板,从而保证每个预测顶点的权重值序列不超过4个比特。
601,对遍历所有顶点记录的几何坐标值以及差值序列构成的数据流进行熵编码得到压缩码流,可采用如霍夫曼编码、算术编码等无损熵编码方法。
本发明提出一种五顶点预测模板,在局部坐标下进行构建,通过最小二乘法求解预测器的权重,取得了较好的效果。本领域一般技术人员根据本发明公开的内容,可以采用其它多种具体实施方案实施本发明。因此,凡是采用本发明的设计结构和思路,做一些简单的变化或更改的设计,都落入本发明保护范围。
Claims (8)
1.一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,包括预测模型生成和三角网格编码两部分;
预测模型生成部分包括:
101,对计算机图形学与数字几何处理领域中用于三维模型存储或三维图形绘制的光滑模型三角网格进行拓扑压缩,并确定几何压缩时的顶点遍历顺序;
201,按照遍历顺序,对每个用于三维模型存储或三维图形绘制的光滑模型三角网格在确定几何压缩时的顶点x,选取它的5个已遍历的邻域点作为五顶点预测模板,这5个点分别为x顶点的一条相对边的两个顶点b和c;与边bc相对的顶点a;与边ab相对的顶点p以及与边ac相对的顶点q;
202,为每个五顶点预测模板建立局部坐标系,并计算{a,b,c,p,q}在局部坐标系下的坐标{a',b',c',p',q'};设置局部坐标系的原点为(a+b+c)/3,坐标轴为[U,V,W],其中U方向沿着b-c方向,W沿着△abc的法向方向,V方向则由其他两个方向叉乘得到;
203,去除局部坐标中线性相关部分,得到坐标向量f,f包括平移标量t和9个坐标b′U,c′U,c′V,p′U,p′V,p′W,q′U,q′V,q′W;
204,构造预测方程并用最小二乘法求解预测器的权重预测方程按照下式:
其中xi′为局部坐标系下第i个顶点坐标的实际值,为局部坐标系下第i个顶点坐标的预测值,其每个坐标分量/>为:
其中为/>的第j个分量,fj i为第i个顶点的10维向量fi的第j个分量;
三角网格编码部分包括:
301,对计算机图形学与数字几何处理领域中用于三维模型存储或三维图形绘制的光滑模型三角网格进行拓扑压缩,并确定几何压缩时的顶点遍历顺序;
401,对三角用于三维模型存储或三维图形绘制的网格的几何数据进行量化;
501,使用预测训练中得到的权重来预测当前顶点的局部坐标系坐标并记录局部坐标系下的差值/>
601,对遍历所有顶点记录的几何坐标值以及差值序列构成的数据流进行熵编码得到压缩码流。
2.根据权利要求1所述的一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,所述步骤101中,拓扑压缩采用EdgeBreaker方法压缩拓扑信息,建立顶点的生成树,确定顶点遍历顺序。
3.根据权利要求1所述的一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,所述步骤203具体为:
局部坐标系表示的五个顶点坐标的部分分量存在线性相关性,有如下关系:
即a'在U,V,W方向的分量a′U,a′V,a′W,b'在V,W方向的分量b′V,b′W,以及c'在W方向的分量c′W实际上是冗余的,因此直接将它们从线性***中消掉,只保留其余的变量:b′U,c′U,c′V,p′U,p′V,p′W,q′U,q′V,q′W;
于是,上述9个坐标以及平移标量t组织成一个10维向量将每组邻域顶点表示的向量组合成一个矩阵,矩阵的行数即为邻域顶点与预测顶点对数,矩阵的列数即为10。
4.根据权利要求1所述的一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,所述步骤401中,量化方法采用可变长量化或者定长量化,量化位数取值8-14位。
5.根据权利要求1所述的一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,所述步骤501具体如下:
按照步骤301确定的遍历顺序,对每个顶点x,选取它的5个已遍历的邻域点{a,b,c,p,q}作为五顶点预测模板,如果已遍历的顶点不足以构成符合条件的模板,优选使用平行四边形预测模板记录预测坐标与实际坐标之间的差值,如果已遍历顶点无法构成平行四边形预测模板,则直接记录x的坐标值;
对于五顶点预测模板,计算预测坐标的步骤如下:
以步骤202中描述的局部坐标系计算x的五顶点预测模板中每个顶点的局部坐标系坐标{a',b',c',p',q'}和x的局部坐标值x′;
以步骤203方法得到该顶点的线性无关坐标向量f,并使用步骤204中计算的权重依照公式(2)计算局部坐标系下顶点x的预测坐标/>并记录局部坐标系下的差值/>
6.根据权利要求1所述的一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,所述步骤501中,选用多个可用的预测模板,包括五顶点预测模板和平行四边形预测模板,利用其预测结果的线性组合获得最优预测值如果记录预测顶点周围某个模板的预测值为/>那么最终的预测结果为/>wi∈{0,1},wi为第i个预测模版的权重。
7.根据权利要求6所述的一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,每个预测顶点最多采用4个相邻的模板,从而保证每个预测顶点的权重值序列不超过4个比特。
8.根据权利要求1所述的一种数据驱动最小二乘预测的三角网格压缩方法,其特征在于,所述步骤601中,采用霍夫曼编码和算术编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910607549.XA CN110349228B (zh) | 2019-07-05 | 2019-07-05 | 一种数据驱动最小二乘预测的三角网格压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910607549.XA CN110349228B (zh) | 2019-07-05 | 2019-07-05 | 一种数据驱动最小二乘预测的三角网格压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110349228A CN110349228A (zh) | 2019-10-18 |
CN110349228B true CN110349228B (zh) | 2024-01-16 |
Family
ID=68177885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910607549.XA Active CN110349228B (zh) | 2019-07-05 | 2019-07-05 | 一种数据驱动最小二乘预测的三角网格压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110349228B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802161B (zh) * | 2021-01-27 | 2022-11-15 | 青岛联合创智科技有限公司 | 一种三维虚拟角色智能蒙皮方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859443A (zh) * | 2010-06-22 | 2010-10-13 | 清华大学 | 自适应的三角形多分辨率网格顶点位置预测方法和装置 |
CN102460513A (zh) * | 2009-06-10 | 2012-05-16 | 汤姆森特许公司 | 编码/解码包括一个或多个组件的3d网格模型的方法 |
WO2016173062A1 (zh) * | 2015-04-30 | 2016-11-03 | 北京敏速自动控制设备有限公司 | 面向三维打印的三维模型处理方法及装置 |
CN107093197A (zh) * | 2017-04-17 | 2017-08-25 | 浙江理工大学 | 一种基于局部圆柱坐标的动画压缩方法 |
-
2019
- 2019-07-05 CN CN201910607549.XA patent/CN110349228B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102460513A (zh) * | 2009-06-10 | 2012-05-16 | 汤姆森特许公司 | 编码/解码包括一个或多个组件的3d网格模型的方法 |
CN101859443A (zh) * | 2010-06-22 | 2010-10-13 | 清华大学 | 自适应的三角形多分辨率网格顶点位置预测方法和装置 |
WO2016173062A1 (zh) * | 2015-04-30 | 2016-11-03 | 北京敏速自动控制设备有限公司 | 面向三维打印的三维模型处理方法及装置 |
CN107093197A (zh) * | 2017-04-17 | 2017-08-25 | 浙江理工大学 | 一种基于局部圆柱坐标的动画压缩方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110349228A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10552989B2 (en) | Point cloud attribute compression method based on KD tree and optimized graph transformation | |
Huang et al. | Octree-Based Progressive Geometry Coding of Point Clouds. | |
US20200151915A1 (en) | Hierarchical division-based point cloud attribute compression method | |
JP5615354B2 (ja) | 繰り返しパターンを用いた3dメッシュの圧縮方法 | |
WO2019213986A1 (zh) | 一种基于多角度自适应帧内预测的点云属性压缩方法 | |
KR101700310B1 (ko) | 하나 이상의 구성 요소들을 포함하는 3d 메시 모델을 인코딩/디코딩하는 방법 | |
CN103918009A (zh) | 预测位置编码 | |
CN109166160B (zh) | 一种采用图形预测的三维点云压缩方法 | |
CN110069644A (zh) | 一种基于深度学习的压缩域大规模图像检索方法 | |
Gu et al. | Compression of human motion capture data using motion pattern indexing | |
CN112702600B (zh) | 一种图像编解码神经网络分层定点化方法 | |
WO2021062772A1 (zh) | 预测方法、编码器、解码器及计算机存储介质 | |
US20230237705A1 (en) | Methods for level partition of point cloud, and decoder | |
CN110349228B (zh) | 一种数据驱动最小二乘预测的三角网格压缩方法 | |
Liang et al. | Toward feature-preserving vector field compression | |
CN111612859A (zh) | 一种基于数据降维的三维点云模型压缩方法及其实现*** | |
CN111263163A (zh) | 一种基于手机平台的深度视频压缩框架的实现方法 | |
WO2022120594A1 (zh) | 点云编解码方法、编码器、解码器及计算机存储介质 | |
Lu et al. | Image Compression Based on Mean Value Predictive Vector Quantization. | |
Kolesnikov et al. | Distortion-constrained compression of vector maps | |
CN115802048A (zh) | 一种基于块间预测和图傅里叶变换的点云属性压缩方法 | |
Lv et al. | A survey on motion capture data compression algorithm | |
WO2022067782A1 (zh) | 一种点云数据的层次划分方法、编码器及存储介质 | |
CN114025146B (zh) | 基于场景流网络与时间熵模型的动态点云几何压缩方法 | |
US20240257404A1 (en) | Methods for level partition of point cloud, and decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |