CN113673477A - 掌静脉非接触式三维建模方法、装置及认证方法 - Google Patents
掌静脉非接触式三维建模方法、装置及认证方法 Download PDFInfo
- Publication number
- CN113673477A CN113673477A CN202111028734.7A CN202111028734A CN113673477A CN 113673477 A CN113673477 A CN 113673477A CN 202111028734 A CN202111028734 A CN 202111028734A CN 113673477 A CN113673477 A CN 113673477A
- Authority
- CN
- China
- Prior art keywords
- palm
- image
- feature
- images
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 210000003462 vein Anatomy 0.000 title claims abstract description 66
- 238000012216 screening Methods 0.000 claims abstract description 76
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000013228 contact guidance Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本公开提供一种掌静脉非接触式三维建模方法,其特征在于,包括:拍摄M个不同的位置处的手掌图像,并且每个不同位置处所拍摄的手掌图像为1张以上,不同位置为手掌相对于摄像装置的位置,其中M>1;从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像,其中每个位置的筛选手掌图像为1张以上,每个位置的筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量;从筛选手掌图像中提取掌静脉特征数据;将从各个筛选手掌图像中提取的掌静脉特征数据进行特征融合以形成一个第一特征模板;以及基于一个第一特征模板来形成用户特征模板。本公开还提供一种认证方法、装置及电子设备。
Description
技术领域
本公开涉及一种掌静脉非接触式三维建模方法、认证方法、及装置、电子设备。
背景技术
利用指纹、脸部、虹膜、静脉等人类生物特性的识别***开发了很多装置和方法,广泛使用。最近,随着新冠病毒的传播,个人卫生的加强,通过对公共设备的接触,他人的飞沫(唾液)传播的接触式生物认证方式逐渐成为回避对象。代表性的接触式认证方式是指纹及静脉相关设备。他们为了确保认证性能,需要在特定距离拍摄高质量的图像,因此存在这样的局限性。
现有的指静脉/掌静脉识别装置建议为了获得正确的图像,进行接触式引导,并对产品明示。另外,通过专利将多种形态的引导形态或放置方式描述为主要要素,受到保护。
为了通过生物识别的最大化识别性能,高质量的均衡图像是最重要的要素。之前的生物识别方式之一的指纹识别存在获取的图像分辨率(DPI)和即便、均匀度等图像质量相关的FBI/GA等国际标准。在人脸识别方面,有通过ISO/IEC 19794-5Amendment 1(FaceImage Data on Conditions for Taking Pictures)获得标准化图像的方案。
用于生物识别的图像采集的这种标准化具有设备之间的兼容性问题之类的原因,但是最大的原因还是识别/认证性能。指静脉/掌静脉设备虽然没有指纹/人脸等图像标准,但是每个设备制造商都试图通过将手指/手掌放在固定位置一定距离处,根据自己的标准来获得尽可能高的分辨率和照明均匀度的图像。这是因为用于特征点提取和认证的图像处理/模式识别算法针对相应的分辨率进行了优化,并且只有在手指或手掌处于相应位置时才能实现最佳性能。
近来,掌静脉设备已经被推广为非接触式,但是当前的非接触式方法不是针对非接触式的新开发技术,而是一种仅使用现有技术中开发的算法,只去除了引导支架的形式而已。换句话说,尽管这是一种非接触式方法,但意味着仅当手靠近其在引导支架的位置时,才能显示出正确的识别性能,而在其他情况下,该性能会急剧下降。
发明内容
为了解决上述技术问题中的至少一个,本公开提供了一种掌静脉非接触式三维建模方法、认证方法、装置、电子设备及可读存储介质。
根据本公开的一个方面,一种掌静脉非接触式三维建模方法,包括:拍摄M个不同位置处的手掌图像,并且每个不同位置处所拍摄的手掌图像为1张以上,所述不同位置为手掌相对于摄像装置的不同位置,其中M>1;从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像,其中每个位置的所述筛选手掌图像为1张以上,且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量;从所述筛选手掌图像中提取掌静脉特征数据;将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板;及基于所述一个第一特征模板来形成用户特征模板。
根据本公开的至少一个实施方式,还包括获得每个位置的所述筛选手掌图像的最优向量数据,其中,从每个位置的所述筛选手掌图像中获得最优筛选手掌图像,并且基于所述最优筛选手掌图像来获得每个位置的所述最优向量数据;或者从每个位置的所述筛选手掌图像的所述掌静脉特征数据获得最优掌静脉特征数据,并且基于所述最优掌静脉特征数据来获得每个位置的所述最优向量数据,以及
在基于所述一个第一特征模板来形成用户特征模板,将所述一个第一特征模板与每个位置的所述最优向量数据进行融合,以形成所述用户特征模板。
根据本公开的至少一个实施方式,筛选满足预设条件的所述筛选手掌图像包括:提取拍摄的手掌图像的感兴趣区域;得到所述感兴趣区域的图像向量数据;以及将各手掌图像的图像向量数据进行比对,以筛选满足预设条件的所述筛选手掌图像。
根据本公开的至少一个实施方式,在对拍摄的手掌图像的图像向量数据进行比对的过程中,将各手掌图像进行两两比对以筛选出不同位置的高相似度的手掌图像,其中如果两张手掌图像的比对阈值大于预设阈值,则认为两张手掌图像的相似度高。
根据本公开的至少一个实施方式,获取所述感兴趣区域的所述图像向量数据包括:将所述感兴趣区域的图像划分为m个局部区域,并且计算像素的梯度信息的梯度幅值d和梯度角度θ,来得到图像向量数据,梯度幅值d和梯度角度θ的计算公式如下:
dx=I(x+1,y)-I(x-1,y)
dy=I(x,y+1)-I(x,y-1)
θ=arctan(dy/dx)
I(x+1,y)、I(x-1,y)I(x-1,y)分别表示水平方向相邻位置(x+1,y)和(x-1,y)的像素点的灰度值;I(x,y+1)、I(x,y-1)分别表示竖直方向相邻位置(x,y+1)和(x,y-1)的像素点的灰度值;其中,图像向量的表达式为vector=[w1,w2,…,wm];其中特征向量w的计算公式为dk,j、θk,j为第k区域的第j像素的梯度幅值d和梯度角度θ,为梯度直方图统计函数,1≤k≤m,n为第k区域的像素数量。
根据本公开的至少一个实施方式,从所述筛选手掌图像中提取所述掌静脉特征数据包括:获取所述筛选手掌图像的关键特征点,其中所述关键特征点不随手掌尺度、手掌旋转和偏移、手掌图像亮度变化而变化,其中使用设计的模糊核函数,计算搜索筛选手掌图像在不同高斯尺度空间中的响应图,相减得到高斯差分图像,然后在位置空间和尺度空间中定位稳定的极值点;以及对于所述关键特征点,建立描述子,其中,所述关键特征点为稳定特征点,所述描述子为稳定特征数据,在极点所在的高斯尺度空间中,以极值点为原点,使用直方图统计邻域内像素的梯度和方向,形成收缩描述子。
根据本公开的至少一个实施方式,在形成第一特征模板时,对所述稳定特征点进行立体匹配,获取匹配成功的关键点,所述立体匹配包括:将匹配图像的稳定特征点的描述子进行匹配,对匹配成功的稳定特征点进行透视变换,转换到同一坐标系中,在该坐标系下进行稳定特征点匹配,保证匹配的整体一致性的同时,剔除不稳定的特征点;以及融合匹配成功的关键点,形成最优融合特征点,所述最优融合特征点构成第一特征模板,其中在使用所述最优融合特征点进行比对时,不会受手掌大小、位置、角度、倾斜度及掌型的影响。
根据本公开的至少一个实施上任一项所述的三维建模方法建立的用户特征模板进行认证的认证方法,包括:获取待认证用户的手掌图像的用户图像向量数据和用户掌静脉特征数据;将所述用户图像向量数据与用户特征模板的数据进行比对,以筛选出相似度高的用户特征模板;以及将所述用户掌静脉特征数据与所筛选的相似度高的用户特征模板的数据进行比对,以确定待认证用户。
根据本公开的再一方面,一种掌静脉非接触式三维建模装置,包括:图像拍摄装置,拍摄M个不同位置处的手掌图像,并且每个不同位置处所拍摄的手掌图像为1张以上,所述不同位置为手掌相对于摄像装置的不同位置,其中M>1;筛选装置,从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像,其中每个位置的所述筛选手掌图像为1张以上,且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量;特征提取装置,从所述筛选手掌图像中提取掌静脉特征数据;第一特征模板生成装置,将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板;以及用户特征模板生成装置,基于所述一个第一特征模板来形成用户特征模板。
根据本公开的又一方面,一种电子设备,包括:存储器,所述存储器存储执行指令;以及处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行如上任一项所述的方法。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1是根据本公开的一个实施方式的掌静脉非接触式三维建模方法流程图。
图2是根据本公开的一个实施方式的图像拍摄示意图。
图3是根据本公开的一个实施方式的图像拍摄示意图。
图4是根据本公开的一个实施方式的拍摄图像示意图。
图5是根据本公开的一个实施方式的掌静脉非接触式三维建模方法流程图。
图6是根据本公开的又一个实施方式的认证方法流程图。
图7是根据本公开的一个实施方式的非接触式掌静脉三维建模装置结构示意图。
图8是根据本公开的一个实施方式的非接触式掌静脉认证装置结构示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
根据本公开的一个实施方式,提供了一种掌静脉非接触式三维建模方法。
图1示出了根据本公开的一个实施例的静脉非接触式三维建模方法100。
在步骤S102中,拍摄M个不同位置处的手掌图像,并且每个不同位置处所拍摄的手掌图像为1张以上,所述不同位置为手掌相对于摄像装置的不同位置,其中M>1。
在该步骤中,拍摄用户的手掌在两个以上不同位置的图像,其中对于每个位置所拍摄的图像可以为一张也可以为更多张,优选地,在本公开中对于每个位置拍摄两张以上的图像。在本公开中,需要获取至少两个不同位置的手掌图像。
在对手掌的图像进行拍摄的过程中,可以引导用户将手掌放置至合适的位置。引导方式可以为视觉引导方式,也可以为声音引导方式。
例如在图2中示出了通过用户界面(UI)方式来对用户进行引导,以便拍摄相应的手掌图像。例如用户可以移动手掌使得手掌处于手型提示区域中。例如图2所示,可以通过圆点来作为手掌的位置的表征特征。
此外,在拍摄的图像识别为不是手掌图像时,可以对所拍摄的图像不进行处理,另外也可以给出相应的提示信息。
当检测到手掌图像时,手掌显示区域可以出现相关引导信息,例如如图3所示的圆圈。也可以在显示屏的平面方向(XY方向)来移动手掌,使得手掌的表征特征位于圆圈中或者手掌图像位于手型提示区域中,并且根据图3左侧的提示条来对手掌进行Z方向(垂直于XY方向)移动的引导,从而将手掌定位到合适的录入区域中。
对于位置正确的手掌图像进行拍摄,并且记录当前手掌图像的位置信息和时间信息。在本公开中,位置信息优选地为距离信息(手掌与拍摄装置之间的距离),当然其也可以为角度位置信息等。
在图4中示出了在三个不同位置进行手掌图像拍摄的示意图。
在步骤S104中,从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像,其中每个位置的筛选手掌图像为1张以上,且每个位置的筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量。
根据本公开的一个实施例,筛选满足预设条件的筛选手掌图像时可以通过得到手掌图像的整体图像来通过整体图像的特征进行筛选手掌图像的筛选。另外在本公开的一个优选实施例中,也可以提取拍摄的手掌图像的感兴趣区域(ROI),来通过感兴趣区域的特征来进行筛选手掌图像的筛选。
下面将以感兴趣区域的方式来进行详细的说明,但是需要注意的是,通过手掌图像的整体图像或其他区域图像来进行筛选也可以采用相应的方式,因此下面提及的术语“感兴趣区域图像”可以替换为术语“手掌图像”。
例如,以感兴趣区域为例进行说明,在该方式的情况下,筛选满足预设条件的筛选手掌图像包括:提取拍摄的手掌图像的感兴趣区域(在通过手掌图像进行筛选时,此步骤可以省略);得到感兴趣区域的图像向量数据;以及将各手掌图像的图像向量数据进行比对,以筛选满足预设条件的筛选手掌图像。
在对拍摄的手掌图像的图像向量数据进行比对的过程中,将各手掌图像进行两两比对以筛选出不同位置的高相似度的手掌图像,其中如果两张手掌图像的比对阈值大于预设阈值,则认为两张手掌图像的相似度高。
在对正确的手掌图像进行感兴趣区域提取之后,获取感兴趣区域的图像向量数据。
在图像向量数据的过程中,将感兴趣区域图像划分为m个局部区域,并且计算像素的梯度信息的梯度幅值d和梯度角度θ,来得到图像向量数据。
梯度幅值d和梯度角度θ的计算公式如下:
dx=I(x+1,y)-I(x-1,y)
dy=I(x,y+1)-I(x,y-1)
θ=arctan(dy/dx)
I(x+1,y)、I(x-1,y)分别表示水平方向相邻位置(x+1,y)和(x-1,y)的像素点的灰度值;I(x,y+1)、I(x,y-1)分别表示竖直方向相邻位置(x,y+1)和(x,y-1)的像素点的灰度值;其中,图像向量的表达式为vector=[w1,w2,…,wm];其中特征向量w的计算公式为dk,j、θk,j为第k区域的第j像素的梯度幅值d和梯度角度θ,为梯度直方图统计函数,1≤k≤m,n为第k区域的像素数量。
另外,还可以根据得到的手掌图像的位置信息,确保得到M个不同位置的手掌图像。并且根据得到的手掌图像的时间信息,来确保每个位置获得的手掌图像为N张,其中N≥1,优选地可以为两张以上。当距离条件不满足M时和/或每个位置所采集的手掌图像的数量不满足N时,则需要不断采集或者重新采集。
将各手掌图像的图像向量数据进行比对,以筛选满足预设条件的筛选手掌图像。具体地,将每个感兴趣区域图像的向量进行两两对比,获取高相似度的感兴趣区域图像,高相似度的感兴趣区域图像是指感兴趣区域图像的向量相似度计算值大于阈值U1。最终获取一个以上的高相似度的手掌图像,优选地,高相似度的手掌图像的数量为K,其中1≤K≤N。
作为一个示例,例如可以将一个位置的一个手掌图像与该位置的手掌图像分别进行对比并且分别得到该一个手掌图像的相似度值,和/或与其他位置的手掌图像也进行对比,也得到该一个手掌图像的相似度值,然后将该一个手掌图像的相似度值进行相加,得到该一个手掌图像的总相似度值,并且对于其他手掌图像也进行相同处理。最终将会得到每个手掌图像的总相似度值,并且比较每个手掌图像的总相似度值,选择每个距离的总相似度值最高或者大于阈值U1的手掌图像来作为每个距离的筛选手掌图像。
另外,根据本公开的方法还可以包括确保获取M个不同位置的手掌图像,并且每个位置的筛选手掌图像的数量为K,如果不满足M时和/或每个位置的数量不满足K时,则需要重新采集,并且重复上面的步骤。
通过筛选手掌图像的筛选过程,可以保留相似度高的手掌图像,并且剔除相似度低的手掌图像。另外,对于每个不同位置,保留的相似度高的手掌图像的数量可以大于等于1。
在步骤S106中,从得到的筛选手掌图像中提取掌静脉特征数据。从筛选手掌图像中提取掌静脉特征数据包括:获取筛选手掌图像的关键特征点,其中关键特征点不随手掌尺度、手掌旋转和偏移、手掌图像亮度变化而变化,其中使用设计的模糊核函数,计算搜索筛选手掌图像在不同高斯尺度空间中的响应图,相减得到高斯差分图像,然后在位置空间和尺度空间中定位稳定的极值点;以及对于关键特征点,建立描述子,其中,关键特征点为稳定特征点,描述子为稳定特征数据,在极点所在的高斯尺度空间中,以极值点为原点,使用直方图统计邻域内像素的梯度和方向,形成描述子。
其中,对于关键特征点,建立描述子,包括:以极值点为原点,使用直方图统计邻域内像素的梯度和方向,形成描述子。
在步骤S108中,将从各个筛选手掌图像中提取的掌静脉特征数据进行特征融合以形成一个第一特征模板。其中需要注意的是,该第一特征模板为通过不同位置的特征所一个三维特征模板。
在形成第一特征模板时,对稳定特征点进行立体匹配,获取匹配成功的关键点,立体匹配包括:将匹配图像的稳定特征点的描述子进行匹配,对匹配成功的稳定特征点进行透视变换,转换到同一坐标系中,在该坐标系下进行稳定特征点匹配,保证匹配的整体一致性的同时,剔除不稳定的特征点;以及融合匹配成功的关键点,形成最优融合特征点,最优融合特征点构成第一特征模板,其中在使用最优融合特征点进行比对时,不会受手掌大小、位置、角度、倾斜度及掌型的影响。稳定特征点的稳定性表达式为:若f(pk)>T:则点pk为稳定特征点,其中:图像深度等级为N,γi为不同深度图像的比例系数。参数说明:pos=[x,y],w=[w1,...,wn],pk∈{P1,...,Pm},T为0.6,T的范围为0-1。
在步骤S110中,基于一个第一特征模板来形成用户特征模板。
作为一个示例,在步骤S110中,可以基于一个第一特征模板与不同距离的最优筛选手掌图像的最优向量数据进行融合来形成用户特征模板。
在一个实施例中,该最优筛选手掌图像可以选自筛选手掌图像中,其中具体选择方式可以采用与上面描述的相似度的计算方式相同的方式,在此不再赘述。得到每个位置处的相似度最高的筛选手掌图像作为最优筛选手掌图像,并且将每个位置处的最优筛选手掌图像的向量数据作为该位置出的最优向量数据。
在另一个实施例中,可以从每个位置的筛选手掌图像的掌静脉特征数据获得最优掌静脉特征数据,并且基于最优掌静脉特征数据来获得每个位置的最优向量数据。
图5示出了根据本公开的一个实施例的掌静脉非接触式三维建模方法200的具体实施方式。其中该实施方式的具体内容可以参照上面的描述。
在三维建模方法200中可以包括以下内容。
在步骤S202中,粗略引导用户将手掌放置在相应位置。在手掌放置到相应位置之后,在步骤S204中可以对手掌进行检测,以判断是否为手掌图像,如果不是手掌图像,则可以提示用户等。
在步骤S206中,可以精确引导用户进行手掌放置,例如可以参见关于图2和图3的相关描述。在步骤S208中,可以对手掌图像进行拍摄。在步骤S210中,可以提取所拍摄的手掌图像中的感兴趣区域(如果不是基于感兴趣区域来进行操作,则可以省略该步骤)。
在步骤S212中,可以从感兴趣区域得到图像的向量数据,其中具体方式可以参照之上的描述。在步骤S214中,可以判断是否至少采集了M个不同位置的图像并且每个位置的图像的数量是否大于N,如果符合则进入步骤S216,如果不符合则返回步骤S208。
在步骤S216中,可以获取最优向量数据,并且具体获取方式可以参照上面的描述。在步骤S218中,可以判断是否至少采集了M个不同位置的图像并且每个位置的筛选手掌图像的数量是否大于K,如果符合则进入步骤S220,如果不符合则返回步骤S208。
在步骤S220中,可以从筛选手掌图像中提取掌静脉特征数据。并且在步骤S222中,可以形成一个第一特征模板。并且在步骤S224中,对形成的第一特征模板进行核验,如果不成功,则重新采集。在步骤S226中,基于一个第一特征模板来形成用户特征模板。并且步骤S228中,对用户特征模板进行核验,核验成功则表示建模成功,如果不成功则重新创建。
根据本公开的另一实施方式,还提供了一种使用三维建模方法建立的用户特征模板进行认证的认证方法。其中该方法可以包括获取待认证用户的手掌图像的用户图像向量数据和用户掌静脉特征数据;将所述用户图像向量数据与用户特征模板的数据进行比对,以筛选出相似度高的用户特征模板;以及将所述用户掌静脉特征数据与所筛选的相似度高的用户特征模板的数据进行比对,以确定待认证用户。
图6示出了根据本公开的一个实施方式的认证方法300。在认证方法300中,在步骤S302中,可以首先检测和拍摄手掌图像。例外在检测的过程中,可以判断是否为手掌图像。在引导的过程中,可以引导用户将手掌放置至合适的位置。引导方式可以为视觉引导方式,也可以为声音引导方式。例如在图2中示出了通过用户界面(UI)方式来对用户进行引导,以便拍摄相应的手掌图像。例如用户可以移动手掌使得手掌处于手型提示区域中。例如图2所示,可以通过圆点来作为手掌的位置的表征特征。此外,在拍摄的图像识别为不是手掌图像时,可以对所拍摄的图像不进行处理,另外也可以给出相应的提示信息。当检测到手掌图像时,手掌显示区域可以出现相关引导信息,例如如图3所示的圆圈。也可以在显示屏的平面方向(XY方向)来移动手掌,使得手掌的表征特征位于圆圈中或者手掌图像位于手型提示区域中,并且根据图3左侧的提示条来对手掌进行Z方向(垂直于XY方向)移动的引导,从而将手掌定位到合适的录入区域中。
另外在本公开的一个优选实施例中,也可以提取拍摄的手掌图像的感兴趣区域(ROI),来通过感兴趣区域的特征来进行筛选手掌图像的筛选。下面将以感兴趣区域的方式来进行详细的说明,但是需要注意的是,通过手掌图像的整体图像或其他区域图像来进行筛选也可以采用相应的方式,因此下面提及的术语“感兴趣区域图像”可以替换为术语“手掌图像”。
例如,以感兴趣区域为例进行说明,在该方式的情况下,筛选满足预设条件的筛选手掌图像包括:提取拍摄的手掌图像的感兴趣区域(在通过手掌图像进行筛选时,此步骤可以省略)。
在步骤S304中,得到感兴趣区域的图像向量数据。在步骤S306中,将感兴趣区域的图像向量数据与用户特征模板进行比对,通过比对,可以从用户特征模板中选择出相似度较高的用户数据。其中图像向量数据的具体获得方式和比对和计算方式可以参照上面的描述。
例如可以将步骤S304获得的图像向量数据与用户特征模板的向量数据进行比对,当比对结果大于阈值U2时,则认为相似度较高,这样通过比对可以选择一个或多个用户特征模板。
由于图像向量数据的比对速度很快,因此,首先通过向量比对可以很快地从用户特征模板中筛选出相似度较高的用户数据。
在步骤S306中,可以提取拍摄的手掌图像的掌静脉特征数据。其中提取方式可以参照创建方法的相关描述。在步骤S310中,可以通过掌静脉特征数据与选择的一个或多个用户特征模板的比对来对用户进行认证。如果比对结构大于阈值U3则认为比对成功。
因此根据本公开的认证方法,可以首先通过向量数据比对来筛选出相应的用户特征模板,然后在通过掌静脉特征数据进行用户认证,这样将会极大地增加认证速度。
需要注意的是,在认证方法中,拍摄及引导手掌的方式与建模方法相同,提取向量数据的方式与建模方法相同,提取掌静脉特征数据的方式与建模方法相同等等,对于这些内容,在此将不再赘述。
图7至8示出了采用处理***的硬件实现方式的装置示例图。
该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此,可以由相应模块执行上述流程图中的每个步骤或几个步骤,并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器,这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如***设备、电压调节器、功率管理电路、外部天线等的各种其它电路1400连接。
总线1100可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,Peripheral Component)总线或扩展工业标准体系结构(EISA,Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条连接线表示,但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如,本公开中的方法实施方式可以被实现为软件程序,其被有形地包含于机器可读介质,例如存储器。在一些实施方式中,软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,可以具体实现在任何可读存储介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。
就本说明书而言,“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在存储器中。
应当理解,本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种可读存储介质中,该程序在执行时,包括方法实施方式的步骤之一或其组合。
此外,在本公开各个实施方式中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个可读存储介质中。存储介质可以是只读存储器,磁盘或光盘等。
在图7中,示出了一种掌静脉非接触式三维建模装置1000。其中该三维建模装置1000可以包括图像拍摄装置1002、筛选装置1004、特征提取装置1006、第一特征模板生成装置1008和用户特征模板生成装置1010。
图像拍摄装置1002拍摄M个不同位置处的手掌图像,并且每个不同位置处所拍摄的手掌图像为1张以上,所述不同位置为手掌相对于摄像装置的不同位置,其中M>1。
筛选装置1004从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像,其中每个位置的所述筛选手掌图像为1张以上,且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量。
特征提取装置1006,从所述筛选手掌图像中提取掌静脉特征数据。
第一特征模板生成装置1008,将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板。
用户特征模板生成装置1010,基于所述一个第一特征模板来形成用户特征模板。
其中各个装置具体的实现方式可以参照上述三维建模方法中的相关描述。
图8示出了根据本公开的一个实施方式的认证装置2000。其中该认证装置2000可以包括图像拍摄装置2002、向量数据提取装置2004、比对装置2006、掌静脉特征提取装置2008和认证装置2010。其中认证装置2000中与三维建模装置1000中相同的装置可以采用同一个模块。
图像拍摄装置2002可以首先检测和拍摄手掌图像。向量数据提取装置2004得到感兴趣区域的图像向量数据。比对装置2006将感兴趣区域的图像向量数据与用户特征模板进行比对,通过比对,可以从用户特征模板中选择出相似度较高的用户数据。掌静脉特征提取装置2008可以提取拍摄的手掌图像的掌静脉特征数据。认证装置2010可以通过掌静脉特征数据与用户特征模板的比对来对用户进行认证。此外,对于认证装置2000的具体内容可以参照上述的认证方法中的具体内容。
本公开还提供了一种电子设备,包括:存储器,存储器存储执行指令;以及处理器或其他硬件模块,处理器或其他硬件模块执行存储器存储的执行指令,使得处理器或其他硬件模块执行上述的方法。
本公开还提供了一种可读存储介质,可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现上述的方法。
本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本公开的范围内。
Claims (10)
1.一种掌静脉非接触式三维建模方法,其特征在于,包括:
拍摄M个不同位置处的手掌图像,并且每个不同位置处所拍摄的手掌图像为1张以上,所述不同位置为手掌相对于摄像装置的不同位置,其中M>1;
从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像,其中每个位置的所述筛选手掌图像为1张以上,且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量;
从所述筛选手掌图像中提取掌静脉特征数据;
将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板;以及
基于所述一个第一特征模板来形成用户特征模板。
2.如权利要求1所述的三维建模方法,其特征在于,还包括获得每个位置的所述筛选手掌图像的最优向量数据,其中,从每个位置的所述筛选手掌图像中获得最优筛选手掌图像,并且基于所述最优筛选手掌图像来获得每个位置的所述最优向量数据;或者从每个位置的所述筛选手掌图像的所述掌静脉特征数据获得最优掌静脉特征数据,并且基于所述最优掌静脉特征数据来获得每个位置的所述最优向量数据,以及
在基于所述一个第一特征模板来形成用户特征模板,将所述一个第一特征模板与每个位置的所述最优向量数据进行融合,以形成所述用户特征模板。
3.如权利要求1所述的三维建模方法,其特征在于,筛选满足预设条件的所述筛选手掌图像包括:
提取拍摄的手掌图像的感兴趣区域;
得到所述感兴趣区域的图像向量数据;以及
将各手掌图像的图像向量数据进行比对,以筛选满足预设条件的所述筛选手掌图像。
4.如权利要求3所述的三维建模方法,其特征在于,在对拍摄的手掌图像的图像向量数据进行比对的过程中,将各手掌图像进行两两比对以筛选出不同位置的高相似度的手掌图像,其中如果两张手掌图像的比对阈值大于预设阈值,则认为两张手掌图像的相似度高。
5.如权利要求3所述的三维建模方法,其特征在于,获取所述感兴趣区域的所述图像向量数据包括:将所述感兴趣区域的图像划分为m个局部区域,并且计算像素的梯度信息的梯度幅值d和梯度角度θ,来得到图像向量数据,
梯度幅值d和梯度角度θ的计算公式如下:
dx=I(x+1,y)-I(x-1,y)
dy=I(x,y+1)-I(x,y-1)
θ=arctan(dy/dx)
6.如权利要求1所述的三维建模方法,其特征在于,从所述筛选手掌图像中提取所述掌静脉特征数据包括:
获取所述筛选手掌图像的关键特征点,其中所述关键特征点不随手掌尺度、手掌旋转和偏移、手掌图像亮度变化而变化,其中使用设计的模糊核函数,计算搜索筛选手掌图像在不同高斯尺度空间中的响应图,相减得到高斯差分图像,然后在位置空间和尺度空间中定位稳定的极值点;以及
对于所述关键特征点,建立描述子,其中,所述关键特征点为稳定特征点,所述描述子为稳定特征数据,在极点所在的高斯尺度空间中,以极值点为原点,使用直方图统计邻域内像素的梯度和方向,形成描述子。
7.如权利要求6所述的三维建模方法,其特征在于,在形成第一特征模板时,对所述稳定特征点进行立体匹配,获取匹配成功的关键点,所述立体匹配包括:将匹配图像的稳定特征点的描述子进行匹配,对匹配成功的稳定特征点进行透视变换,转换到同一坐标系中,在该坐标系下进行稳定特征点匹配,保证匹配的整体一致性的同时,剔除不稳定的特征点;以及融合匹配成功的关键点,形成最优融合特征点,所述最优融合特征点构成第一特征模板,其中在使用所述最优融合特征点进行比对时,不会受手掌大小、位置、角度、倾斜度及掌型的影响。
8.一种使用如权利要求1至7中任一项所述的三维建模方法建立的用户特征模板进行认证的认证方法,其特征在于,包括:
获取待认证用户的手掌图像的用户图像向量数据和用户掌静脉特征数据;
将所述用户图像向量数据与用户特征模板的数据进行比对,以筛选出相似度高的用户特征模板;以及
将所述用户掌静脉特征数据与所筛选的相似度高的用户特征模板的数据进行比对,以确定待认证用户。
9.一种掌静脉非接触式三维建模装置,其特征在于,包括:
图像拍摄装置,拍摄M个不同位置处的手掌图像,并且每个不同位置处所拍摄的手掌图像为1张以上,所述不同位置为手掌相对于摄像装置的不同位置,其中M>1;
筛选装置,从拍摄的手掌图像中筛选满足预设条件的筛选手掌图像,其中每个位置的所述筛选手掌图像为1张以上,且每个位置的所述筛选手掌图像的数量少于或等于对应位置的拍摄的手掌图像的数量;
特征提取装置,从所述筛选手掌图像中提取掌静脉特征数据;
第一特征模板生成装置,将从各个筛选手掌图像中提取的所述掌静脉特征数据进行特征融合以形成一个第一特征模板;以及
用户特征模板生成装置,基于所述一个第一特征模板来形成用户特征模板。
10.一种电子设备,其特征在于,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111028734.7A CN113673477B (zh) | 2021-09-02 | 2021-09-02 | 掌静脉非接触式三维建模方法、装置及认证方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111028734.7A CN113673477B (zh) | 2021-09-02 | 2021-09-02 | 掌静脉非接触式三维建模方法、装置及认证方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113673477A true CN113673477A (zh) | 2021-11-19 |
CN113673477B CN113673477B (zh) | 2024-07-16 |
Family
ID=78548119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111028734.7A Active CN113673477B (zh) | 2021-09-02 | 2021-09-02 | 掌静脉非接触式三维建模方法、装置及认证方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113673477B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1894524A1 (en) * | 2005-06-13 | 2008-03-05 | Hitachi, Ltd. | Vein authentication device |
US20100230435A1 (en) * | 2009-03-13 | 2010-09-16 | Wegelin Jackson W | Touch-Free Biometric-Enabled Dispenser |
CN102222216A (zh) * | 2011-06-02 | 2011-10-19 | 天津理工大学 | 基于手指纹络生物特征的身份识别*** |
CN104123537A (zh) * | 2014-07-04 | 2014-10-29 | 西安理工大学 | 一种基于手形和掌纹识别的快速身份验证方法 |
US20150248575A1 (en) * | 2011-05-06 | 2015-09-03 | Fujitsu Limited | Biometric authentication device and biometric information processing device |
CN107341473A (zh) * | 2017-07-04 | 2017-11-10 | 深圳市利众信息科技有限公司 | 手掌特征识别方法、手掌特征识别设备、及存储介质 |
US20180330144A1 (en) * | 2017-05-12 | 2018-11-15 | Dura Operating, Llc | Biometric control member |
CN109543535A (zh) * | 2018-10-23 | 2019-03-29 | 华南理工大学 | 三维指静脉特征提取方法及其匹配方法 |
CN109598235A (zh) * | 2018-12-04 | 2019-04-09 | 云天瀚科技发展有限公司 | 一种指静脉图像认证方法及装置 |
CN109697347A (zh) * | 2018-12-04 | 2019-04-30 | 云天瀚科技发展有限公司 | 基于指静脉和指形特征的用户特征认证方法及其装置 |
CN110097006A (zh) * | 2019-04-30 | 2019-08-06 | 河海大学常州校区 | 一种基于手部掌纹掌脉特征融合的非接触式生物识别方法 |
CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
CN111226212A (zh) * | 2016-08-31 | 2020-06-02 | 红石生物特征科技有限公司 | 增强现实虚拟现实非接触掌纹识别 |
CN112183504A (zh) * | 2020-11-27 | 2021-01-05 | 北京圣点云信息技术有限公司 | 一种基于非接触式手掌静脉图像的视频注册方法及装置 |
-
2021
- 2021-09-02 CN CN202111028734.7A patent/CN113673477B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1894524A1 (en) * | 2005-06-13 | 2008-03-05 | Hitachi, Ltd. | Vein authentication device |
US20100230435A1 (en) * | 2009-03-13 | 2010-09-16 | Wegelin Jackson W | Touch-Free Biometric-Enabled Dispenser |
US20150248575A1 (en) * | 2011-05-06 | 2015-09-03 | Fujitsu Limited | Biometric authentication device and biometric information processing device |
CN102222216A (zh) * | 2011-06-02 | 2011-10-19 | 天津理工大学 | 基于手指纹络生物特征的身份识别*** |
CN104123537A (zh) * | 2014-07-04 | 2014-10-29 | 西安理工大学 | 一种基于手形和掌纹识别的快速身份验证方法 |
CN111226212A (zh) * | 2016-08-31 | 2020-06-02 | 红石生物特征科技有限公司 | 增强现实虚拟现实非接触掌纹识别 |
US20180330144A1 (en) * | 2017-05-12 | 2018-11-15 | Dura Operating, Llc | Biometric control member |
CN107341473A (zh) * | 2017-07-04 | 2017-11-10 | 深圳市利众信息科技有限公司 | 手掌特征识别方法、手掌特征识别设备、及存储介质 |
CN109543535A (zh) * | 2018-10-23 | 2019-03-29 | 华南理工大学 | 三维指静脉特征提取方法及其匹配方法 |
CN109598235A (zh) * | 2018-12-04 | 2019-04-09 | 云天瀚科技发展有限公司 | 一种指静脉图像认证方法及装置 |
CN109697347A (zh) * | 2018-12-04 | 2019-04-30 | 云天瀚科技发展有限公司 | 基于指静脉和指形特征的用户特征认证方法及其装置 |
CN110097006A (zh) * | 2019-04-30 | 2019-08-06 | 河海大学常州校区 | 一种基于手部掌纹掌脉特征融合的非接触式生物识别方法 |
CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
CN112183504A (zh) * | 2020-11-27 | 2021-01-05 | 北京圣点云信息技术有限公司 | 一种基于非接触式手掌静脉图像的视频注册方法及装置 |
Non-Patent Citations (4)
Title |
---|
MA XIN;JING XIAOJUN;: "Palm vein recognition method based on fusion of local Gabor histograms", THE JOURNAL OF CHINA UNIVERSITIES OF POSTS AND TELECOMMUNICATIONS, no. 06, 15 December 2017 (2017-12-15) * |
张德馨;安鹏;张浩向;: "Application of robust face recognition in video surveillance systems", OPTOELECTRONICS LETTERS, no. 02, 1 March 2018 (2018-03-01) * |
桑海峰;赵云;苑玮琦;陈静;: "基于人手自然张开的多生物特征识别", 仪器仪表学报, no. 11, 15 November 2011 (2011-11-15) * |
赵珊;王彪;唐超颖;: "基于链码表示的手臂静脉特征提取与匹配", 光学学报, no. 05, 10 May 2016 (2016-05-10) * |
Also Published As
Publication number | Publication date |
---|---|
CN113673477B (zh) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Spreeuwers | Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers | |
EP2866170B1 (en) | Image processing device and image processing method | |
US9202104B2 (en) | Biometric information correction apparatus, biometric information correction method and computer-readable recording medium for biometric information correction | |
JP5196010B2 (ja) | 生体情報登録装置、生体情報登録方法及び生体情報登録用コンピュータプログラムならびに生体認証装置、生体認証方法及び生体認証用コンピュータプログラム | |
US20060023921A1 (en) | Authentication apparatus, verification method and verification apparatus | |
US8908934B2 (en) | Fingerprint recognition for low computing power applications | |
KR101818984B1 (ko) | 깊이정보를 이용한 안면인식시스템 | |
KR101632912B1 (ko) | 지문 인식을 이용한 사용자 인증 방법 | |
US7079670B2 (en) | Apparatus and method for authenticating a user by employing feature points of a fingerprint image of the user | |
EP2148303A1 (en) | Vein pattern management system, vein pattern registration device, vein pattern authentication device, vein pattern registration method, vein pattern authentication method, program, and vein data structure | |
US9449217B1 (en) | Image authentication | |
US20080101662A1 (en) | Print matching method and apparatus using pseudo-ridges | |
KR101821144B1 (ko) | 깊이정보 기반의 안면인식 출입통제시스템 | |
US9292752B2 (en) | Image processing device and image processing method | |
US20240257552A1 (en) | Non-contact three-dimensional palm vein modeling method and apparatus, and authentication method | |
US20120020535A1 (en) | Unique, repeatable, and compact biometric identifier | |
CN112560683A (zh) | 一种翻拍图像识别方法、装置、计算机设备及存储介质 | |
CN108647640A (zh) | 人脸识别的方法及电子设备 | |
US10528805B2 (en) | Biometric authentication apparatus, biometric authentication method, and computer-readable storage medium | |
JP2006277146A (ja) | 照合方法および照合装置 | |
CN113673477B (zh) | 掌静脉非接触式三维建模方法、装置及认证方法 | |
CN108764033A (zh) | 身份验证方法和装置、电子设备、计算机程序和存储介质 | |
JP2018169943A (ja) | 顔認証処理装置、顔認証処理方法及び顔認証処理システム | |
KR100564762B1 (ko) | 지문 정보를 이용한 사용자 인증방법 및 그 장치 | |
JP2006209364A (ja) | 画像取得方法および装置、ならびに照合方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |