CN109887076A - 根据视角变化的人脸三维模型建立方法及装置 - Google Patents
根据视角变化的人脸三维模型建立方法及装置 Download PDFInfo
- Publication number
- CN109887076A CN109887076A CN201910137697.XA CN201910137697A CN109887076A CN 109887076 A CN109887076 A CN 109887076A CN 201910137697 A CN201910137697 A CN 201910137697A CN 109887076 A CN109887076 A CN 109887076A
- Authority
- CN
- China
- Prior art keywords
- face
- visual angle
- mixing shape
- shape
- faceform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种根据视角变化的人脸三维模型建立方法及装置,其中,该方法包括以下步骤:输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据;利用混合形状的系数将对应角色脸部的数据进行表达,并构造势能函数对混合形状进行求解,以获得混合形状组成的矩阵完成人脸模型建立;根据输入的视角得到人脸模型中各个混合形状的系数,并对人脸模型进行变形得到人脸网络模型;利用渲染引擎对人脸网络模型进行渲染,以得到对应视角的人脸图像。该方法能够根据视角来改变三维人脸几何,使用网格与混合形状的表达方法,兼容现有渲染引擎,同时其计算量小,易达到实时。
Description
技术领域
本发明涉及计算机视觉和图形学技术领域,特别涉及一种根据视角变化的人脸三维模型建立方法及装置。
背景技术
在游戏、动画、电影等众多领域,人脸三维模型起着至关重要的作用。现在已经有许多能够对人脸进行建模的方法,比如混合形状、多线性模型等,这些模型对于现实中的人脸可以得到较好的效果。
然而对于一些特定风格的2D手绘人脸,因为画师艺术风格的不同,可能并没有一个唯一的三维人脸模型能够与之对应,比如正面视角和侧面视角对应的人脸模型会略有不同。例如画师对某个角色多个视角的脸部进行了2D作画,但可能并不存在一个单一的人脸三维模型,使得该模型投影到各个视角后与各个视角的2D作画相一致。如果使用近似的单一人脸三维模型进行建模,则难以保留画师原本的艺术风格。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种根据视角变化的人脸三维模型建立方法,该方法能够根据视角来改变几何的三维人脸模型,使得其能够表达不同视角下的画师手绘人脸。
本发明的另一个目的在于提出一种根据视角变化的人脸三维模型建立装置。
为达到上述目的,本发明一方面提出了根据视角变化的人脸三维模型建立方法,包括以下步骤:输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据;利用混合形状的系数将所述对应角色脸部的数据进行表达,并构造势能函数对所述混合形状进行求解,以获得所述混合形状组成的矩阵完成人脸模型建立;根据输入的视角得到所述人脸模型中各个混合形状的系数,并对所述人脸模型进行变形得到人脸网络模型;利用渲染引擎对所述人脸网络模型进行渲染,以得到对应视角的人脸图像。
本发明实施例的根据视角变化的人脸三维模型建立方法,能够根据某一角色脸部多个视角的2D作画对其进行建模,建模后能够在视角变化时对模型进行一定的变形,同时,使用网格与混合形状的表达方法,兼容现有渲染引擎,使得在画师作画的视角下与相应的2D作画接近,在其他视角下也能生成艺术风格一致的角色脸部图像。
另外,根据本发明上述实施例的根据视角变化的人脸三维模型建立方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。
进一步地,在本发明的一个实施例中,所述人脸网格模板为一个中性的人脸网格,其中,所有顶点坐标组成3N维的顶点坐标向量。
进一步地,在本发明的一个实施例中,所述混合形状为一种形变,所述形变为N个网格顶点的三维偏移量,即每一个所述混合形状为一个3N维的顶点坐标向量。
进一步地,在本发明的一个实施例中,所述人脸模型在预设视角下的顶点坐标为:
其中,T0为所有顶点坐标组成3N维的顶点坐标向量,wi为各个混合形状的系数,Bi为一个3N维的顶点坐标向量。
为达到上述目的,本发明另一方面提出了一种根据视角变化的人脸三维模型建立装置,包括:获取模块用于输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据;建模模块用于利用混合形状的系数将所述对应角色脸部的数据进行表达,并构造势能函数对所述混合形状进行求解,以获得所述混合形状组成的矩阵完成人脸模型建立;变形模块用于根据输入的视角得到所述人脸模型中各个混合形状的系数,并对所述人脸模型进行变形得到人脸网络模型;渲染模块用于利用渲染引擎对所述人脸网络模型进行渲染,以得到对应视角的人脸图像。
本发明实施例的根据视角变化的人脸三维模型建立装置,能够根据某一角色脸部多个视角的2D作画对其进行建模,建模后能够在视角变化时对模型进行一定的变形,同时,使用网格与混合形状的表达方法,兼容现有渲染引擎,使得在画师作画的视角下与相应的2D作画接近,在其他视角下也能生成艺术风格一致的角色脸部图像。
另外,根据本发明上述实施例的根据视角变化的人脸三维模型建立装置还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。
进一步地,在本发明的一个实施例中,所述人脸网格模板为一个中性的人脸网格,其中,所有顶点坐标组成3N维的顶点坐标向量。
进一步地,在本发明的一个实施例中,所述混合形状为一种形变,所述形变为N个网格顶点的三维偏移量,即每一个所述混合形状为一个3N维的顶点坐标向量。
进一步地,在本发明的一个实施例中,所述混合形状的系数由视角唯一决定,所述人脸模型在预设视角下的顶点坐标为:
其中,T0为所有顶点坐标组成3N维的顶点坐标向量,wi为各个混合形状的系数,Bi为一个3N维的顶点坐标向量。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的根据视角变化的人脸三维模型建立方法流程图;
图2为根据本发明实施例的根据视角变化的人脸三维模型建立装置结构示意图。
具体实施方式
下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的根据视角变化的人脸三维模型建立方法及装置,首先将参照附图描述根据本发明实施例提出的根据视角变化的人脸三维模型建立方法。
图1是本发明一个实施例的根据视角变化的人脸三维模型建立方法流程图。
如图1所示,该根据视角变化的人脸三维模型建立方法包括以下步骤:
在步骤S101中,输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据。
也即,建模过程输入为画师手绘的某一角色脸部的多个视角的2D作画,以及人脸网格模板T0。其中,在预处理过程中,需要通过已有的方法且可以配合人工标注,来得到每一张作画对应的角色脸部的landmark点、脸部轮廓以及视角方向。视角方向可以表达为球坐标的形式,即方位角与仰角θ。
需要说明的是,人脸网格模板为一个中性的人脸网格,其中,所有顶点坐标组成3N维的顶点坐标向量。
在步骤S102中,利用混合形状的系数将对应角色脸部的数据进行表达,并构造势能函数对混合形状进行求解,以获得混合形状组成的矩阵完成人脸模型建立。
其中,人脸模型包含一个人脸网格模板以及m个视角的混合形状。
需要说明的是,混合形状为一种形变,形变为N个网格顶点的三维偏移量,即每一个混合形状为一个3N维的顶点坐标向量。
换句话说,每一个混合形状表达一种形变,形变即为所有网格顶点的三维偏移量,因此每一个混合形状也可以表达为一个3N维的顶点坐标向量Bi(i=1,…,m)。
各个混合形状的系数wi(i=1,…,m)由视角唯一决定。该人脸模型最终在某一视角下的顶点坐标为:
其中,T0为所有顶点坐标组成3N维的顶点坐标向量,wi为各个混合形状的系数,Bi为一个3N维的顶点坐标向量。
根据上式,在已知人脸网格模板拓扑后即可由视角求得变形后的顶点坐标,进而得到变形后的人脸网格模型。
该变形得到的是无表情的人脸,变形只由视角的改变造成。之后可以在此基础上再加入表情引起的人脸几何变化。
在步骤S103中,根据输入的视角得到人脸模型中各个混合形状的系数,并对人脸模型进行变形得到人脸网络模型。
具体来讲,混合形状的系数wi(i=1,…,m)由视角唯一决定,对于不同的艺术风格可以采用不同的表达形式。比如可以取m=4,将混合形状的系数表达为:
之后构造势能函数对混合形状Bi(i=1,…,m)进行求解,势能函数包含两个数据项和两个正则项:
E(B)=ωlmkElmk(B)+ωolEol(B)+ωsmEsm(B)+ωrEr(B) (2)
其中,B为所有混合形状组成的矩阵,ωlmk、ωol、ωsm、ωr分别为对应四项的权重系数。数据项Elmk与Eol要求模型在各个输入视角下的渲染图像与输入的2D作画相接近,其中Elmk要求二者的landmark点相接近,Eol要求二者脸部的轮廓线相接近。正则项Esm要求混合形状尽量平滑,即相邻顶点的偏移值尽量相似。正则项Er要求混合形状的值尽量小,避免过拟合。
之后通过最小化势能函数的方法得到模型的各个混合形状Bi(i=1,…,m),完成对模型的建立。
在步骤S104中,利用渲染引擎对人脸网络模型进行渲染,以得到对应视角的人脸图像。
也就是说,在模型建立完成后,便可以进行任意视角的人脸模型渲染。
具体地,渲染时首先根据输入的视角得到所建立的模型中各个混合形状的系数,再根据公式(1)得到变形后的网格模型,之后可以使用现有的渲染引擎对网格模型进行渲染,得到对应视角的人脸图像。
根据本发明实施例提出的根据视角变化的人脸三维模型建立方法,能够根据某一角色脸部多个视角的2D作画对其进行建模,建模后能够在视角变化时对模型进行一定的变形,同时,使用网格与混合形状的表达方法,兼容现有渲染引擎,使得在画师作画的视角下与相应的2D作画接近,在其他视角下也能生成艺术风格一致的角色脸部图像。
其次参照附图描述根据本发明实施例提出的根据视角变化的人脸三维模型建立装置。
图2是本发明一个实施例的根据视角变化的人脸三维模型建立装置结构示意图。
如图2所示,该根据视角变化的人脸三维模型建立装置10包括:获取模块100、建模模块200、变形模块300和渲染模块400。
其中,获取模块100用于输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据。建模模块200用于利用混合形状的系数将对应角色脸部的数据进行表达,并构造势能函数对混合形状进行求解,以获得混合形状组成的矩阵完成人脸模型建立。变形模块300用于根据输入的视角得到人脸模型中各个混合形状的系数,并对人脸模型进行变形得到人脸网络模型。渲染模块400用于利用渲染引擎对人脸网络模型进行渲染,以得到对应视角的人脸图像。本发明实施例根据视角变化的人脸三维模型建立装置能够根据视角来改变三维人脸几何,使用网格与混合形状的表达方法,兼容现有渲染引擎,且具有计算量小,易达到实时的特点。
进一步地,在本发明的一个实施例中,人脸模型包含一个人脸网格模板以及m个视角的混合形状。
进一步地,在本发明的一个实施例中,人脸网格模板为一个中性的人脸网格,其中,所有顶点坐标组成3N维的顶点坐标向量。
可选地,在本发明的一个实施例中,混合形状为一种形变,形变为N个网格顶点的三维偏移量,即每一个混合形状为一个3N维的顶点坐标向量。
进一步地,在本发明的一个实施例中,混合形状的系数由视角唯一决定,人脸模型在预设视角下的顶点坐标为:
其中,T0为所有顶点坐标组成3N维的顶点坐标向量,wi为各个混合形状的系数,Bi为一个3N维的顶点坐标向量。
需要说明的是,前述对根据视角变化的人脸三维模型建立方法实施例的解释说明也适用于该装置,此处不再赘述。
根据本发明实施例提出的根据视角变化的人脸三维模型建立装置,能够根据某一角色脸部多个视角的2D作画对其进行建模,建模后能够在视角变化时对模型进行一定的变形,同时,使用网格与混合形状的表达方法,兼容现有渲染引擎,使得在画师作画的视角下与相应的2D作画接近,在其他视角下也能生成艺术风格一致的角色脸部图像。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种根据视角变化的人脸三维模型建立方法,其特征在于,包括以下步骤:
输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据;
利用混合形状的系数将所述对应角色脸部的数据进行表达,并构造势能函数对所述混合形状进行求解,以获得所述混合形状组成的矩阵完成人脸模型建立;
根据输入的视角得到所述人脸模型中各个混合形状的系数,并对所述人脸模型进行变形得到人脸网络模型;以及
利用渲染引擎对所述人脸网络模型进行渲染,以得到对应视角的人脸图像。
2.根据权利要求1所述的根据视角变化的人脸三维模型建立方法,其特征在于,所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。
3.根据权利要求1所述的根据视角变化的人脸三维模型建立方法,其特征在于,所述人脸网格模板为一个中性的人脸网格,其中,所有顶点坐标组成3N维的顶点坐标向量。
4.根据权利要求2和3所述的根据视角变化的人脸三维模型建立方法,其特征在于,所述混合形状为一种形变,所述形变为N个网格顶点的三维偏移量,即每一个所述混合形状为一个3N维的顶点坐标向量。
5.根据权利要求1所述的根据视角变化的人脸三维模型建立方法,其特征在于,所述混合形状的系数由视角唯一决定,所述人脸模型在预设视角下的顶点坐标为:
其中,T0为所有顶点坐标组成3N维的顶点坐标向量,wi为各个混合形状的系数,Bi为一个3N维的顶点坐标向量。
6.一种根据视角变化的人脸三维模型建立装置,其特征在于,包括:
获取模块,用于输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据;
建模模块,用于利用混合形状的系数将所述对应角色脸部的数据进行表达,并构造势能函数对所述混合形状进行求解,以获得所述混合形状组成的矩阵完成人脸模型建立;
变形模块,用于根据输入的视角得到所述人脸模型中各个混合形状的系数,并对所述人脸模型进行变形得到人脸网络模型;以及
渲染模块,用于利用渲染引擎对所述人脸网络模型进行渲染,以得到对应视角的人脸图像。
7.根据权利要求6所述的根据视角变化的人脸三维模型建立装置,其特征在于,所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。
8.根据权利要求6所述的根据视角变化的人脸三维模型建立装置,其特征在于,所述人脸网格模板为一个中性的人脸网格,其中,所有顶点坐标组成3N维的顶点坐标向量。
9.根据权利要求7和8所述的根据视角变化的人脸三维模型建立装置,其特征在于,所述混合形状为一种形变,所述形变为N个网格顶点的三维偏移量,即每一个所述混合形状为一个3N维的顶点坐标向量。
10.根据权利要求6所述的根据视角变化的人脸三维模型建立装置,其特征在于,所述混合形状的系数由视角唯一决定,所述人脸模型在预设视角下的顶点坐标为:
其中,T0为所有顶点坐标组成3N维的顶点坐标向量,wi为各个混合形状的系数,Bi为一个3N维的顶点坐标向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910137697.XA CN109887076B (zh) | 2019-02-25 | 2019-02-25 | 根据视角变化的人脸三维模型建立方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910137697.XA CN109887076B (zh) | 2019-02-25 | 2019-02-25 | 根据视角变化的人脸三维模型建立方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109887076A true CN109887076A (zh) | 2019-06-14 |
CN109887076B CN109887076B (zh) | 2021-02-12 |
Family
ID=66929349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910137697.XA Active CN109887076B (zh) | 2019-02-25 | 2019-02-25 | 根据视角变化的人脸三维模型建立方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109887076B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058329A (zh) * | 2023-10-11 | 2023-11-14 | 湖南马栏山视频先进技术研究院有限公司 | 一种人脸快速三维建模方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574432A (zh) * | 2015-02-15 | 2015-04-29 | 四川川大智胜软件股份有限公司 | 一种自动多视角人脸自拍图像的三维人脸重建方法及*** |
CN104599284A (zh) * | 2015-02-15 | 2015-05-06 | 四川川大智胜软件股份有限公司 | 基于多视角手机自拍图像的三维人脸重建方法 |
WO2016026135A1 (en) * | 2014-08-22 | 2016-02-25 | Microsoft Technology Licensing, Llc | Face alignment with shape regression |
CN108154550A (zh) * | 2017-11-29 | 2018-06-12 | 深圳奥比中光科技有限公司 | 基于rgbd相机的人脸实时三维重建方法 |
-
2019
- 2019-02-25 CN CN201910137697.XA patent/CN109887076B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016026135A1 (en) * | 2014-08-22 | 2016-02-25 | Microsoft Technology Licensing, Llc | Face alignment with shape regression |
CN104574432A (zh) * | 2015-02-15 | 2015-04-29 | 四川川大智胜软件股份有限公司 | 一种自动多视角人脸自拍图像的三维人脸重建方法及*** |
CN104599284A (zh) * | 2015-02-15 | 2015-05-06 | 四川川大智胜软件股份有限公司 | 基于多视角手机自拍图像的三维人脸重建方法 |
CN108154550A (zh) * | 2017-11-29 | 2018-06-12 | 深圳奥比中光科技有限公司 | 基于rgbd相机的人脸实时三维重建方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058329A (zh) * | 2023-10-11 | 2023-11-14 | 湖南马栏山视频先进技术研究院有限公司 | 一种人脸快速三维建模方法及*** |
CN117058329B (zh) * | 2023-10-11 | 2023-12-26 | 湖南马栏山视频先进技术研究院有限公司 | 一种人脸快速三维建模方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109887076B (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105513112B (zh) | 图像处理方法和装置 | |
CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
CN107274493A (zh) | 一种基于移动平台的三维虚拟试发型人脸重建方法 | |
CN109427088A (zh) | 一种模拟光照的渲染方法及终端 | |
CN105719326A (zh) | 一种基于单张照片的真实感人脸生成方法 | |
US20140125654A1 (en) | Modeling and Editing Image Panoramas | |
CN106600709A (zh) | 基于装修信息模型的vr虚拟装修方法 | |
CN109325990A (zh) | 图像处理方法及图像处理装置、存储介质 | |
CN104103090A (zh) | 图像处理方法、个性化人体显示方法及其图像处理*** | |
CN103077552B (zh) | 一种基于多视点视频的三维展示方法 | |
CN105184843B (zh) | 一种基于OpenSceneGraph的三维动画制作方法 | |
CN101968892A (zh) | 根据一张人脸照片自动调整三维人脸模型的方法 | |
CA2772530C (en) | Hair meshes | |
CN104103091B (zh) | 3d智能建模方法和***及3d模型柔性制造*** | |
CN112530005B (zh) | 一种三维模型直线结构识别与自动修复方法 | |
CN108986221A (zh) | 一种基于模板人脸逼近的不规范三维人脸网格纹理方法 | |
CN101968891A (zh) | 用于游戏的照片自动生成三维图形*** | |
US8599196B2 (en) | System and method for generating computer rendered cloth | |
CN109741438A (zh) | 三维人脸建模方法、装置、设备及介质 | |
CN108230431A (zh) | 一种二维虚拟形象的人体动作动画生成方法及*** | |
CN102117491A (zh) | 一种三维建模中纹理数据的绘制方法及装置 | |
CN109887076A (zh) | 根据视角变化的人脸三维模型建立方法及装置 | |
Orvalho et al. | Transferring the rig and animations from a character to different face models | |
CN107464278B (zh) | 全视向的球体光场渲染方法 | |
CN116681854A (zh) | 一种基于目标检测及建筑重构的虚拟城市生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |