CN109410133B - 一种基于3dmm的人脸纹理修复方法 - Google Patents

一种基于3dmm的人脸纹理修复方法 Download PDF

Info

Publication number
CN109410133B
CN109410133B CN201811154414.4A CN201811154414A CN109410133B CN 109410133 B CN109410133 B CN 109410133B CN 201811154414 A CN201811154414 A CN 201811154414A CN 109410133 B CN109410133 B CN 109410133B
Authority
CN
China
Prior art keywords
face
texture
dimensional
model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811154414.4A
Other languages
English (en)
Other versions
CN109410133A (zh
Inventor
齐越
程利刚
孙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Original Assignee
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics filed Critical Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201811154414.4A priority Critical patent/CN109410133B/zh
Publication of CN109410133A publication Critical patent/CN109410133A/zh
Application granted granted Critical
Publication of CN109410133B publication Critical patent/CN109410133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于3DMM的人脸纹理修复方法,属于计算机图形学、图像/信号处理等领域。在基于单张正脸照片对人脸进行三维重建的时候,由于人脸结构的复杂性,会不可避免的存在由于自遮挡造成的纹理信息缺失。基于3DMM人脸重建技术,本发明提出了一种对于存在由于自遮挡造成人脸纹理缺失的纹理修复方法,相较于广泛使用的插值修复等纹理修复方法,本方法在考虑到人脸的对称结构下,可以尽可能多的保留纹理图像的细节,使得纹理图像更加逼真,达到尽可能多的恢复人脸信息的效果。

Description

一种基于3DMM的人脸纹理修复方法
技术领域
本发明属于计算机图形学、图像与信号处理领域,特别是图像处理领域,具体涉及图像修复。
背景技术
随着科学技术的发展,基于单张正面的人脸进行人脸建模的方法已经变得越来越普遍,与普通建模的方法相比,基于照片建模所需要的成本相对较小,因此在游戏制作,影视制作、场景重现中占有的地位越来越重。目前已有很多较为成熟的基于照片的人脸建模方法,如基于形变模型的3DMM等。在基于照片的人脸建模过程中,包含人脸特征的高频信息常常由纹理进行体现,但是由于人脸结构的特殊性,建模所使用的照片即使处于完全正面的情况下,也会由于人脸自遮挡导致部分纹理信息的缺失,如何对这些信息进行填补、修复自然成为了三维人脸建模中较为重要的一步。
在图像修复技术中,现有的方法主要是利用待修补部分的区域边缘信息,对被待修补部分进行图像信息的推断。具体包括以下两种方法:
一种是利用待修补区域的边缘信息,这种方法先从待修补的区域边界开始向待修补区域推进,先填充区域边界的像素,要选取待修补区域周围的一个小邻域,使用这个区域的归一化加权来更新待修补区域的图像信息。在修复的时候,需要给靠近存在边界的像素点以及轮廓上的像素点给予更高的权重,在一个像素被修复了之后,继续进行下一个像素的修复,直到待修补的区域完全被修复。
另一种方法是基于块的纹理合成技术,首先从待修补区域的边界上选取一个像素点,同时以该点为中心,根据图像的纹理特征,在图像中选择大小合适的纹理块来替代该纹理块,一直迭代直到待修补区域完全被修复。
以上是在不考虑待修补图像内容时的修复图像手段,而当被修复的图像内容局限在人脸的时候,还有一种方法考虑到人脸的对称结构,根据待修补区域的位置找到关于人脸对称另一半的图像信息,然后将对应的图像信息复制到待修补的图像区域。
然而,在第一种图像修复方法中,过度依赖了待修复图像的边缘信息,这样导致修复的结果没有考虑全局的图像信息。在一些对图像质量要求比较高的场景中,比如人脸图像的修复中,会导致修复的图像信息过于平滑,人脸特征等高频信息缺失等缺点。
而在第二种考虑到人脸特殊结构的方法中,由于拍照的时候,脸的两侧并不一定有着相同的光照条件,导致两侧面部有着明显的色差,在直接依据人脸对称性进行修补的时候会导致非常差的效果。并且在下巴、脖子等部位,人脸两侧结构均没有信息的情况下,难以使用这种方法进行处理。
发明内容
本发明要解决的技术问题为:为保证对纹理信息进行有效的修复以及尽可能多的恢复人脸纹理信息,在利用3DMM方法进行人脸建模的基础之上,提出一种解决存在自遮挡造成纹理缺失的纹理修复方法,通过结合人脸的对称性,对现有的纹理修复方法进行改进,实验表明,本方法可以有效的对存在自遮挡的人脸纹理进行修复。
本发明解决上述的技术问题采用的技术方案为:一种基于3DMM的人脸纹理修复方法,实现步骤如下:
步骤A、根据输入的人脸照片,进行人脸特征点的提取,得到人脸中的68个特征点的二维坐标,并且与三维平均脸部模型中的68个特征点一一对应;
步骤B、通过对步骤A中获得的68个对应点之间的关系,对三维平均脸部模型进行调整,使模型的形状、姿态与照片中脸部相同,并保存此时所用到的转换矩阵;
步骤C、根据步骤B中得到配准好的人脸模型,判断该人脸模型中的每个顶点在屏幕坐标系下是否可见,得到在屏幕坐标系下不可见的三维顶点集合V;
步骤D、根据步骤B中得到的转换矩阵,以及步骤C中得到的不可见三维顶点集合V,提取出人脸纹理图像;
步骤E、由步骤C中得到模型在屏幕坐标系下不可见的顶点集合V,以及步骤D中得到的人脸纹理信息,对V中的顶点进行迭代纹理修复;
所述步骤E中,进行迭代纹理修复过程如下:
根据公式(1),求得利用邻域信息的插值算法得到的颜色值,
Figure GDA0003144677240000031
其中C1(x,y)表示根据插值算法得到像素点(x,y)的颜色值,
Figure GDA0003144677240000034
表示临近像素点的颜色信息,n表示最接近当前像素的像素点个数;
根据公式(2),求得像素点关于脸部对称的另一个像素点位置,
Figure GDA0003144677240000032
其中,(xorigin,yorigin)表示原像素点位置,Xmid表示isomap纹理图像的中轴线;
根据公式(1)、(2),得到初始化公式(3),利用公式(3)对待修补区域进行初始化修复,
Cinitial(x,y)=C1(x,y),(x,y)∈V (3)
根据公式(4),对待修补区域进行迭代修复,
Figure GDA0003144677240000033
其中,i表示当前迭代轮次,n表示总迭代次数,Clast表示该像素点上次迭代得到的颜色信息,β为一个权重系数。
进一步地,所述步骤B中包括:根据步骤A中得到的仿射矩阵,对已有三维平均脸部模型中的顶点进行转换、映射,调整平均脸部模型对应的系数,对其进行姿态变换,使其与照片中的姿态进行配准。
进一步地,所述β取值在0-0.3之间。
本发明与现有技术相比的优点在于:
(1)相比于其他的图像修复技术,本方法在人脸这一特定的背景条件下,可以将纹理边缘的局部信息以及与人脸结构相关的全局信息能够进行充分的利用,既可以避免由于局部插值造成的过度平滑导致的信息丢失,也可以对简单的利用人脸对称性进行复制图像信息造成生成的纹理图像存在明显的裂痕,在很大程度上保留并尽可能多的恢复了人脸信息。
(2)本发明与同类方法相比,在将所要进行修复纹理内容局限为人脸的时候,权衡了不同种类的纹理修复方法,尽可能多的综合了其他纹理修复方法优点,最后达到了尽可能多的保留纹理图像的细节,使得纹理图像更加逼真等的效果。
附图说明
图1为本发明的方法流程示意图;
图2为得到特征点的输入人脸照片;
图3为使用isomap算法提取出未进行纹理修补的原图像;
图4为使用本发明进行纹理修补后的图像。
具体实施方式
传统的纹理图像修复方法属于插值算法,并没有考虑到图像的本身的内容,因此在进行修复的时候,依赖于纹理缺失的边缘信息较多,这样导致了纹理信息的部分缺失,而在考虑到人脸的对称性之后,可以利用这一点对人脸信息进行补充,最大化恢复人脸纹理信息。
下面结合附图和具体实施方式对本发明做进一步详细地说明。
图一给出了对于人脸纹理进行修复的处理流程,下面结合具体的实施方式进一步说明本发明。
本发明提供一种基于3DMM的人脸纹理修复方法,主要步骤介绍如下:
1.进行特征点检测以及模型配准
(1.)参考图1根据输入的人脸照片,使用dlib库进行人脸特征点的检测以及提取(也可以使用基于OpenCV库或其他方法进行人脸特征点的提取),得到照片中的中的68人脸特征点的坐标信息(如图2所示),将特征点坐标集合记为X。
(2.)在三维人脸形变模型中已有标注好的68个对应人脸特征点,将这些三维特征点坐标集合记为X_3d,根据黄金标准算法(Gold Standard algorithm),计算求出一个大小为3x4的仿射矩阵P,使得
X=P·X3d (1)
即,用仿射矩阵P左乘以三维特征点坐标X_3d,可以得到对应的二维特征点信息X。
(3.)根据步骤(2)中求得的仿射矩阵P,可以对P进行分解,得到缩放系数s,旋转矩阵R,位移矩阵t,具体分解方法如下:
t=Pc,3 (2)
Figure GDA0003144677240000051
Figure GDA0003144677240000052
其中,Pr,3表示P矩阵的第三行,Pc,3表示P矩阵的第三列,
(4.)基于3DMM进行人脸建模的过程中,一个新的人脸模型可以由以下步骤得到:
Figure GDA0003144677240000053
其中
Figure GDA0003144677240000054
表示平均脸部模型,si表示脸部形状对应的主成分部分,αi表示相应的形状系数,即可以通过调整形状系数αi,得到不同形状的人脸模型。
根据三维人脸形变模型中已有标注好的68个对应人脸特征点集合X_3d,以及步骤(3.)中得到的缩放系数s,旋转矩阵R,位移矩阵t,可以通过下式(6)得到三维模型顶点投影到二维平面的坐标。
Figure GDA0003144677240000061
上式中,Xprojection是三维模型投影到二维平面的点,P=[[1,0,0],[0,1,0]]为正交投影矩阵,s为缩放系数,R(3,3)为旋转矩阵,t2d为位移矩阵(这三个变量由(3.)步骤得到)。
在求解的过程中,不需要将三维模型中所有顶点进行投影,只需要将前面步骤中获取的68个特征点进行投影到平面即可,最后通过调整模型的形状系数αi,使得投影到平面上的68个特征点X_Projection与步骤(1)中提取到的68个真实的特征点几何距离相差最小即可。
具体即通过求解以下的能量方程来确定形状系数αi,
Figure GDA0003144677240000062
可以通过使用最小二乘法对上式进行求解,这里不再赘述。
2.人脸纹理提取
(1)对于步骤1中配准好的人脸模型S,通过使用z-buffer方法来判断模型中的顶点在屏幕坐标系下是否可见。根据屏幕分辨率初始化深度信息数组depth[h,w],其中记录像素位置最小的z值信息。
对所有的顶点信息进行遍历,并同时更新depth数组,仅当当前顶点的z值小于depth数组中对应值的时候,更新depth数组,并将被替换的顶点添加到不可见顶点集合V中。
(2)对于三维模型中的每个顶点,均有一个二维纹理坐标与之对应。在计算纹理坐标的时候,使用平均脸部模型进行计算,这样可以适用于所有的人脸模型。使用isomap方法计算得到当前平均脸部模型投影到二维平面上的坐标,得到关于平面对称的纹理坐标。
(3)对于三维模型中的每个顶点,根据步骤1中计算得到的仿射矩阵P,求得其在二维平面上的坐标,取出对应的颜色信息,将其赋值到(2)中的得到的纹理坐标上,同时注意,如果该顶点属于(1)中的不可见顶点集合V,则跳过该顶点。
Figure GDA0003144677240000071
上式中,Imageoriginal表示原始图像,(P·v)x表示仿射矩阵与三维顶点相乘,投影顶点的x坐标。
在遍历的时候,由于这里只对顶点的颜色进行了操作,因此在得到纹理的图像的时候,需要以每个三角形为单位进行邻近插值处理(也可使用双线性插值),得到最终的纹理图像。
3.进行纹理修复
传统的纹理修复方法得不到适合想要的结果,本步骤使用的方法具体为:
根据公式(9),求得利用邻域信息的插值算法得到的颜色值,
Figure GDA0003144677240000072
其中C1(x,y)表示根据插值算法得到像素点(x,y)的颜色值,
Figure GDA0003144677240000074
表示临近像素点的颜色信息,n表示最接近当前像素的像素点个数。
根据公式(10),求得像素点关于脸部对称的另一个像素点位置。
Figure GDA0003144677240000073
其中,(xorigin,yorigin)表示原像素点位置,xmid表示isomap纹理图像的中轴线。
根据公式(9)、(10),得到初始化公式(11),利用公式(11)对待修补区域修复。
Cinitial(x,y)=C1(x,y),(x,y)∈V (11)即,先使用插值算法将待修补区域进行填充修复。
根据公式(12),对待修补区域进行迭代修复。
Figure GDA0003144677240000081
其中,i表示当前迭代轮次,n表示总迭代次数,Clast表示该像素点上次迭代得到的颜色信息,β为一个权重系数,其值在暂取为0-0.3之间,保证在迭代到后期的时候算法不退化成根据人脸对称的修复算法。
在迭代的过程中,随着迭代次数的增加,对于修补的信息来说,C2的部分占的比重会增高,这样保证了修复信息能在线性插值的基础上使得纹理图像更具有脸部特征信息。同时增加一项Clast,即上次迭代得到的像素信息,避免当迭代次数过的时候出现退化成根据人脸对称的修复算法。
本实施例的主体是一种纹理修复方法,本质上是对存在图像信息空洞信息进行修复,可以看出图3中人脸部分(鼻子、下巴、侧脸等部位)存在空洞缺失,经过使用纹理修复方法之后,便可以将这些信息进行填补得到图4。
在实验的过程中,实验使用的设备为:NVIDIA GeForce GTX1080、Intel(R)Core(TM)i7-6700CPU(3.40GHz,4cores)和32GB RAM,运行在Windows1064位***上。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于3DMM的人脸纹理修复方法,其特征在于,包括以下步骤:
步骤A、根据输入的人脸照片,进行人脸特征点的提取,得到人脸中的68个特征点的二维坐标,并且与三维平均脸部模型中的68个特征点一一对应;
步骤B、通过对步骤A中获得的68个对应点之间的关系,对三维平均脸部模型进行调整,使模型的形状、姿态与照片中脸部相同,并保存此时所用到的转换矩阵;
步骤C、根据步骤B中得到配准好的人脸模型,判断该人脸模型中的每个顶点在屏幕坐标系下是否可见,得到在屏幕坐标系下不可见的三维顶点集合V;
步骤D、根据步骤B中得到的转换矩阵,以及步骤C中得到的不可见三维顶点集合V,提取出人脸纹理图像;
步骤E、由步骤C中得到脸部模型在屏幕坐标系下不可见的三维顶点集合V,以及步骤D中得到的人脸纹理图像,对纹理图像中不可见的区域进行迭代纹理修复;
所述步骤E中,进行迭代纹理修复过程如下:
根据公式(1),求得利用邻域信息的插值算法得到的颜色值,
Figure FDA0003144677230000011
其中C1(x,y)表示根据插值算法得到像素点(x,y)的颜色值,
Figure FDA0003144677230000013
表示相邻像素点的颜色信息,n表示最接近当前像素的像素点个数;
根据公式(2),求得像素点关于脸部对称的另一个像素点位置,
Figure FDA0003144677230000012
其中,(xorigin,yorigin)表示原像素点位置,Xmid表示isomap纹理图像的中轴线坐标;
根据公式(1)、(2),得到初始化公式(3),利用公式(3)对待修补区域进行初始化修复,
Cinitial(x,y)=C1(x,y),(x,y)∈V (3)
根据公式(4),对待修补区域进行迭代修复,
Figure FDA0003144677230000021
其中,i表示当前迭代轮次,n表示总迭代次数,Clast表示该像素点上次迭代得到的颜色信息,β为一个权重系数,其值大小可以由实验得到。
2.根据权利要求1所述的基于3DMM的人脸纹理修复方法,其特征在于:所述步骤B包括:根据步骤A中68个二维点和三维点之间的对应关系,求得一个转换矩阵,对已有三维脸部形变模型中的顶点进行转换、映射,并调整平均脸部模型对应的形状系数,对其进行姿态、形状变换,使其与照片中脸部的姿态进行配准。
3.根据权利要求1所述的基于3DMM的人脸纹理修复方法,其特征在于:所述β取值在0-0.3之间。
CN201811154414.4A 2018-09-30 2018-09-30 一种基于3dmm的人脸纹理修复方法 Active CN109410133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811154414.4A CN109410133B (zh) 2018-09-30 2018-09-30 一种基于3dmm的人脸纹理修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811154414.4A CN109410133B (zh) 2018-09-30 2018-09-30 一种基于3dmm的人脸纹理修复方法

Publications (2)

Publication Number Publication Date
CN109410133A CN109410133A (zh) 2019-03-01
CN109410133B true CN109410133B (zh) 2021-08-24

Family

ID=65465860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811154414.4A Active CN109410133B (zh) 2018-09-30 2018-09-30 一种基于3dmm的人脸纹理修复方法

Country Status (1)

Country Link
CN (1) CN109410133B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536095A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 通话方法、装置、终端及存储介质
CN111192223B (zh) * 2020-01-07 2022-09-30 腾讯科技(深圳)有限公司 人脸纹理图像的处理方法、装置、设备及存储介质
CN113284223A (zh) 2020-02-20 2021-08-20 华硕电脑股份有限公司 建立三维人脸模型的方法及其设备
CN111938655B (zh) * 2020-07-09 2021-09-03 上海交通大学 基于关键点信息的眼眶软组织形态评价方法、***及设备
CN111882643A (zh) * 2020-08-10 2020-11-03 网易(杭州)网络有限公司 三维人脸构建方法、装置和电子设备
CN113628327B (zh) * 2021-08-12 2023-07-25 聚好看科技股份有限公司 一种头部三维重建方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731449A (zh) * 2005-07-14 2006-02-08 北京航空航天大学 一种图像修复方法
CN103839223A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 图像处理方法及装置
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100329568A1 (en) * 2008-07-02 2010-12-30 C-True Ltd. Networked Face Recognition System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731449A (zh) * 2005-07-14 2006-02-08 北京航空航天大学 一种图像修复方法
CN103839223A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 图像处理方法及装置
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Efficient 3D morphable face model fitting;Guo shengHu等;《Pattern Recognition》;20170731;第67卷;第366-379页 *
基于自遮挡的三维人脸重建优化;蒋玉 等;《万方数据库期刊数据库》;20161011;摘要、正文第2节 *

Also Published As

Publication number Publication date
CN109410133A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109410133B (zh) 一种基于3dmm的人脸纹理修复方法
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、***、芯片、设备和介质
CN107833270A (zh) 基于深度相机的实时物体三维重建方法
US11222466B1 (en) Three-dimensional geometry-based models for changing facial identities in video frames and images
CN113298936B (zh) 一种基于深度学习的多rgb-d全脸材质恢复方法
CN109147025B (zh) 一种面向rgbd三维重建的纹理生成方法
US11074752B2 (en) Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
CN104103089A (zh) 一种基于图像屏幕空间的实时软阴影实现方法
CN113269863B (zh) 一种基于视频图像的前景物体阴影实时生成方法
Wu et al. Neuralhdhair: Automatic high-fidelity hair modeling from a single image using implicit neural representations
CN112734890A (zh) 基于三维重建的人脸替换方法及装置
CN115951784A (zh) 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
Han et al. PIINET: A 360-degree panoramic image inpainting network using a cube map
CN116805356A (zh) 建筑模型的构建方法、设备及计算机可读存储介质
CN116363290A (zh) 一种用于大规模场景三维重建的纹理贴图生成方法
CN113989434A (zh) 一种人体三维重建方法及设备
CN118076977A (zh) 使用分层神经表示的可编辑自由视点视频
CN116385577A (zh) 虚拟视点图像生成方法及装置
CN112233018B (zh) 基于三维形变模型的参考图引导的人脸超分辨率方法
CN111611997B (zh) 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN115082640A (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
CN116071485A (zh) 一种人体三维重建方法及设备
CN117541755B (zh) 一种基于rgb-d三维重建的刚性物体虚实遮挡方法
Lai et al. Surface-based background completion in 3D scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant