CN108429619A - 身份认证方法和*** - Google Patents

身份认证方法和*** Download PDF

Info

Publication number
CN108429619A
CN108429619A CN201810049723.9A CN201810049723A CN108429619A CN 108429619 A CN108429619 A CN 108429619A CN 201810049723 A CN201810049723 A CN 201810049723A CN 108429619 A CN108429619 A CN 108429619A
Authority
CN
China
Prior art keywords
user
voice signal
matrix
data
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810049723.9A
Other languages
English (en)
Inventor
李健
郑晓明
王富田
张连毅
武卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Beijing Sinovoice Technology Co Ltd
Original Assignee
BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP filed Critical BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Priority to CN201810049723.9A priority Critical patent/CN108429619A/zh
Publication of CN108429619A publication Critical patent/CN108429619A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231Biological data, e.g. fingerprint, voice or retina
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种身份认证方法和***,该方法包括:采集用户的语音信号、指纹图像数据和人脸图像数据;对语音信号提取频谱特征,得到声纹特征信息;将声纹特征信息、指纹图像数据和人脸图像数据分别转换为预设维度的声纹矩阵、指纹图像矩阵和人脸图像矩阵;将上述三个矩阵进行拼接得到身份矩阵数据;将身份矩阵数据输入至预设神经网络模型,得到用户的第一生物特征数据;计算第一生物特征数据和预先注册的用户的第二生物特征数据之间的相似度;确定最大相似度对应的目标用户;若最大相似度大于预设相似度阈值,则返回表示目标用户通过身份认证的验证结果;若最大相似度小于或等于预设相似度阈值,则返回表示目标用户未通过身份认证的验证结果。

Description

身份认证方法和***
技术领域
本发明涉及计算机安全信息技术领域,特别是涉及一种身份认证方法和身份认证***。
背景技术
目前,电脑和智能手机等智能终端已经成为人们工作生活的重要助手。通过用户设备端进行购物、理财、建档、数据存储等为用户提供了非常便捷的服务,但是随之而来的是用户数据和用户财产等的安全问题。所以用户设备端需要解决用户的身份认证问题。
传统的静态密码存在很大的安全隐患,动态密码虽然能进一步保障用户的信息安全,但也无法解决用户设备被入侵或丢失等情况。随着各种人体生物特征识别技术的发展,人们利用声纹、指纹、人脸等能标识个体身份的生物特征,构建了基于各种生物特征识别技术的身份确认***。但是,人工智能技术的发展使得单一生物特征身份验证已经不再能够满足人们对更高机密信息的保护需求,包括其他生物特征识别技术引导的单一身份认证***。例如,银行账户、电子档案等涉及个人或企业财产和信息安全的需保护对象。
由此可见,现有技术中的身份认证方案普遍存在着身份认证安全度低的问题。
发明内容
本发明提供了一种身份认证方法和***,以解决现有技术中的身份认证方案所存在的身份认证安全度低的问题。
为了解决上述问题,根据本发明的一个方面,本发明公开了一种身份认证方法,包括:
若接收到用户的身份认证请求,则采集所述用户的语音信号、指纹图像数据和人脸图像数据;
对所述语音信号提取频谱特征,得到声纹特征信息;
将所述声纹特征信息转换为预设维度的声纹矩阵;
将所述指纹图像数据转换为所述预设维度的指纹图像矩阵;
将所述人脸图像数据转换为所述预设维度的人脸图像矩阵;
将所述声纹矩阵、所述指纹图像矩阵和所述人脸图像矩阵进行矩阵拼接,得到所述用户的身份矩阵数据;
将所述用户的所述身份矩阵数据输入至预先经过训练的预设神经网络模型进行生物特征识别,得到所述用户的第一生物特征数据;
计算所述第一生物特征数据和预先注册的至少一个用户的至少一个第二生物特征数据之间的相似度;
确定所述最大相似度对应的目标用户;
若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果;
若所述最大相似度小于或等于所述预设相似度阈值,则返回表示所述目标用户未通过身份认证的验证结果。
根据本发明的另一方面,本发明还公开了一种身份认证***,包括:
采集模块,用于若接收到用户的身份认证请求,则采集所述用户的语音信号、指纹图像数据和人脸图像数据;
特征提取模块,用于对所述语音信号提取频谱特征,得到声纹特征信息;
第一转换模块,用于将所述声纹特征信息转换为预设维度的声纹矩阵;
第二转换模块,用于将所述指纹图像数据转换为所述预设维度的指纹图像矩阵;
第三转换模块,用于将所述人脸图像数据转换为所述预设维度的人脸图像矩阵;
拼接模块,用于将所述声纹矩阵、所述指纹图像矩阵和所述人脸图像矩阵进行矩阵拼接,得到所述用户的身份矩阵数据;
输入模块,用于将所述用户的所述身份矩阵数据输入至预先经过训练的预设神经网络模型进行生物特征识别,得到所述用户的第一生物特征数据;
计算模块,用于计算所述第一生物特征数据和预先注册的至少一个用户的至少一个第二生物特征数据之间的相似度;
确定模块,用于确定所述最大相似度对应的目标用户;
第一返回模块,用于若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果;
第二返回模块,用于若所述最大相似度小于或等于所述预设相似度阈值,则返回表示所述目标用户未通过身份认证的验证结果。
与现有技术相比,本发明包括以下优点:
本发明通过获取请求身份认证的用户的声纹矩阵、指纹图像矩阵和人脸图像矩阵,并将这三个矩阵拼接成一个身份矩阵数据,从而实现声纹、指纹、人脸三个特征的融合;并利用一个预先经过训练的预设神经网络模型来对融合的矩阵数据进行生物特征的识别,从而利用识别到的生物特征数据和预先注册的用户的生物特征数据来判断该用户的身份是否通过认证,提升了身份认证的安全强度,保证信息处理的安全。
附图说明
图1是本发明一个实施例的身份认证***的工作流程图;
图2是本发明一个实施例的身份认证方法的流程图;
图3是本发明一个实施例的身份认证***的结构框图。
具体实施方式
为使本发明的上述目的、
特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明实施例的一种身份认证***的工作流程图。
该身份认证***包括声纹信息处理模块、指纹信息处理模块、人脸信息处理模块和综合生物特征身份认证模块。
对于该身份认证***的大致工作流程来说:
当用户想要使用图1所示的业务***时,需要进行身份认证,用户可以通过操作来发送使用业务***的身份认证请求至本发明实施例的身份认证***,然后,本发明实施例的身份认证***可以对该身份认证请求进行生物特征识别,从而根据预先注册而保存的一个或多个用户的生物特征而判断该用户是否为预先注册过的用户,并将身份认证结果发送至业务***,这样业务***就可以根据身份认证结果来判断是否使该用户进行部分功能的使用,保证业务***的信息安全。
参照图2,本发明实施例还提供了一种身份认证方法,可以应用于该身份认证***,该方法的具体工作流程如下:
S1,身份认证***可以接收到例如用户A的身份认证请求,然后,本发明实施例的身份认证***就会提示用户录入用于验证身份的:语音数据、指纹图像和人脸图像,从而采集用户A的语音信号、指纹图像数据和人脸图像数据。
在实际应用中,该身份认证***/身份认证方法所应用的移动终端可以具备录音功能、照相功能和指纹采集功能,从而分别采集用户A的语音信号、指纹图像数据和人脸图像数据。
其中,在采集语音信号时,可以利用以下任意一种方式来实现:
方式1,可以由用户录入任何的随机语音,然后从该随机语音中获取随机语音信号;
其中,所述随机语音信号对应的随机语音支持以下三类字符的至少之一:***数字、英文字母以及简体汉字。
方式2,本发明实施例的方法在提示用户录入语音信号时,可以提供文本数据,用户通过朗读该文本数据来录入自己的语音数据,从而可以从该语音数据中获取语音信号。
其中,采集到的用户A的语音信号可以保存在图1所示的声纹信息处理模块中;
而在采集指纹图像数据时,则可以利用移动终端的指纹采集功能来采集该用户A的指纹数据,并将该指纹数据生成为指纹图像数据;
其中,采集到的用户A的指纹图像数据可以保存在图1所示的指纹信息处理模块中;
而在采集人脸图像数据时,则可以利用移动终端的照相功能来采集该用户A的人脸图像,即进行图像拍摄,从而得到用户A的人脸图像数据;
其中,采集到的用户A的人脸图像数据可以保存在图1所示的人脸信息处理模块中;
其中,本发明对于上述语音信号、指纹图像数据和人脸图像数据的采集顺序并不限定。
可选地,在一个实施例中,为了保证对生物特征识别的准确度,在对上述采集到的三类数据进行特征处理之前,本发明实施例的方法可以执行S2,对上述语音信号、指纹图像数据和人脸图像数据中的一个或多个数据分别进行预处理操作。
其中,在对语音信号进行预处理操作时,可以包括如下步骤:
去除所述语音信号中的噪音信息;
对去除噪音信息后的所述语音信号进行采样量化处理;
其中,采样量化:语音信号通常以8kHz或更高的采样速率数字化,每个采样至少用户8bit表示。
对采样量化处理后的所述语音信号进行预加重处理;
其中,声音经过8kHz或更高采样速率的采样后转换成数字语音信号,接着通过一个一阶高通滤波器来作预加重处理以凸显高频部分。
对预加重处理后的所述语音信号进行取音框处理;
其中,可以取256点为一个音框(20ms),音框与音框之间重叠128点(10ms),即每次位移128点后再取256点作为下一个音框,这样可以避免音框之间的特性变化过于剧烈。
对取音框处理后的所述语音信号进行加窗处理;
其中,针对每个音框乘上汉明窗以消除音框两端的不连续性,避免分析时受到前后音框的影响。
这样,经过上述预处理操作后的语音信号可以利于后续的音频频谱特征提取,提升声纹特征的识别准确度。
而在对指纹图像数据进行预处理操作时,该预处理操作是指对含噪声及伪特征的指纹图像采用一定的算法加以处理,使其纹线结构清晰,特征信息突出。其目的是改善指纹图像的质量,提高特征提取的准确性。通常,在对指纹图像进行预处理时,主要过程包括归一化、图像分割、增强、二值化和细化,但根据不同的应用场景和实际需求,可以对上述预处理操作进行灵活选择。
而在对人脸图像数据进行预处理操作时,则可以对该人脸图像数据进行灰度标准化等操作,从而便于对人脸图像数据进行人脸特征的提取识别。
其中,本发明对于语音信号、指纹图像数据和人脸图像数据的预处理操作的先后顺序并不限定,而在具体执行时,则可以分别由图1中的声纹信息处理模块、指纹信息处理模块和人脸信息处理模块来进行上述相应的预处理操作。
这样,经过上述各个预处理操作后的语音信号、指纹图像数据和人脸图像数据的声纹特征、指纹特征和人脸特征更加显著,从而提升了对各个特征的提取和识别准确度。
S2,对预处理操作后(即,加窗处理后)的所述语音信号提取频谱特征,得到声纹特征信息;并将所述声纹特征信息转换为预设维度的声纹矩阵;
其中,可以由图1中的声纹信息处理模块来从预处理后的语音信号中提取较为准确的声纹特征信息,并将该声纹特征信息转化为256*256固定大小的矩阵。其中,此处只是提取了音频(语音信号)的谱特征,其中包含着用户的声纹特征。
S3,将所述指纹图像数据转换为所述预设维度的指纹图像矩阵;
其中,可以由图1中的指纹信息处理模块来将预处理后的指纹图像数据转化为256*256固定大小的指纹图像矩阵,表现为256*256像素的指纹灰度图。
S4,将所述人脸图像数据转换为所述预设维度的人脸图像矩阵;
其中,可以由图1中的人脸信息处理模块来将预处理后的人脸图像数据转化为256*256固定大小的人脸图像矩阵,表现为256*256像素的人脸灰度图。
需要注意的是,在其他实施例中,该预设维度并非限制为256*256,还可以是其他维度的方阵,或者行数和列数不同的矩阵,在本实施例中,由于预先经过训练的预设神经网络模型在数据输入时采用的是768*256,即,针对3个256*256的矩阵,因此,这里的预设维度为256*256;但是,在其他实施例中,该预先经过训练的预设神经网络模型如果接收到的数据输入为其他维度的矩阵,则此处的预设维度也可以调整为其他维度,并且,声纹矩阵、指纹图像矩阵和人脸图像矩阵的维数可以相同或不同。
此外,需要注意的是,本发明对于S2~S4的执行顺序并不限定。
S5,将所述声纹矩阵、所述指纹图像矩阵和所述人脸图像矩阵进行矩阵拼接,得到所述用户的身份矩阵数据;将所述用户的所述身份矩阵数据输入至预先经过训练的预设神经网络模型进行生物特征识别,得到所述用户的第一生物特征数据;
其中,如图1所示的声纹信息处理模块、指纹信息处理模块和人脸信息处理模块分别将各自处理得到的256*256声纹矩阵、256*256指纹图像矩阵和256*256人脸图像矩阵输出至综合生物特征身份认证模块,然后,综合生物特征身份认证模块将256*256声纹矩阵、256*256指纹图像矩阵和256*256人脸图像矩阵进行矩阵拼接,从而得到一个768*256的身份矩阵数据,其中,由于在训练预设神经网络模型时,此处使用的身份矩阵数据的维度为768*256,因此,这里矩阵拼接时需要使得拼接后的矩阵的维度与训练时的数据维度一致。但是在其他实施例中,如果在训练预设神经网络模型时,此处使用的身份矩阵数据的维度为256*768,则此处在对三个矩阵进行拼接时,则需要得到256*768的身份矩阵数据。其中,该综合生物特征身份认证模块可以包括预先经过训练的预设神经网络模型,因此,综合生物特征身份认证模块可以将经过矩阵拼接的768*256的身份矩阵数据输入至该预设神经网络模型(例如CNN,卷积神经网络模型)进行生物特征识别,得到用户A的第一生物特征数据;
其中,在具体实现时,可以将矩阵拼接得到的768*256的身份矩阵数据作为经过训练的CNN的输入数据,依次经过该CNN的卷积层C1(7*7卷积,共128个)、池化层P1(2*2最值采样)、卷积层C2(5*5卷积,共128个)、池化层P2(2*2最值采样)、卷积层C3*(5*5卷积,共128个)、池化层P3(2*2最值采样)、卷积层C4(3*3卷积,共128个)、池化层P4(2*2最值采样)、卷积层C5(3*3,共128个)、池化层P5(2*2最值采样)、全连接层和激活函数tanh层,得到128维向量,即用户A的第一生物特征数据。
此外,需要注意的是,本例中,该三个特征矩阵的连接操作并非由该CNN实现的,而在其他实施例中,也可以由CNN实现。
此外,需要注意的是,本发明实施例的预先经过训练的预设神经网络模型并不限于CNN,还可以是RNN(循环神经网络)、DNN(深度神经网络)等神经网络模型。
其中,生物特征识别,识别的是综合特征(包括声纹、指纹和人脸特征),而非单独识别声纹、指纹和人脸特征,再将它们结合起来,而是直接识别到一个代表声纹特征、指纹特征和人脸特征的综合特征,用于唯一性的标识用户的身份。
S6,计算所述第一生物特征数据和预先注册的至少一个用户的至少一个第二生物特征数据之间的相似度;确定所述最大相似度对应的目标用户;若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果;若所述最大相似度小于或等于所述预设相似度阈值,则返回表示所述目标用户未通过身份认证的验证结果。
其中,进行身份认证的用户首先需要进行身份信息的注册,用户的身份信息注册流程与上述的身份认证流程的区别在于接收到的是用户的身份注册请求,从而将CNN识别到的该注册用户的生物特征数据(这里以第二生物特征数据来区分于验证用户的生物特征数据),并将该第二生物特征数据作为该注册用户的唯一性身份认证标识来存储在本发明实施例的身份认证***中,至于如何得到该第二生物特征数据,可以参照上述身份认证流程S1~S5,这里不再赘述。
其中,当该身份认证***应用于某个个人使用的移动终端时,例如手机时,则该身份认证***一般只保存有机主注册的自己的第二生物特征数据,即保存有一个用户的第二生物特征数据,从而使得其他用户无法对机主的移动终端进行业务处理;
而当该身份认证***应用于多个人使用的终端设备时,例如公共电脑或者服务器时,则该身份认证***可以保存有多个用户的第二生物特征数据,每个用户具有唯一的第二生物特征数据,用于验证个人的身份,从而有权限的来对该终端设备上的业务***进行有限制的业务处理,保证数据安全。
因此,步骤S6中在进行相似度的计算时,如果身份认证***预先注册时只注册有一个用户的第二生物特征数据,即适用于个人使用移动终端的情况,则在执行S6时,只需要计算请求身份认证的用户A的第一生物特征数据与身份认证***中保存的预先注册的机主的第二生物特征数据之间的相似度,该相似度即为最大相似度,对应的用户就是机主;如果该相似度大于例如98%,则说明当前进行请求身份认证的用户A就是机主,返回表示用户A通过身份认证的验证结果给业务***;相反,则说明当前进行请求身份认证的用户A不是机主,返回表示用户A未通过身份认证的验证结果给业务***,从而使得该用户A无法对业务***进行部分涉及部分信息安全的操作。
在另一个实施例中,S6中在进行相似度的计算时,如果身份认证***预先注册时,注册有多个用户的第二生物特征数据,即适用于多个人使用的终端设备的情况,则在执行S6时,则需要分别计算请求身份认证的用户A的第一生物特征数据与身份认证***中保存的每个预先注册的用户的每个第二生物特征数据之间的相似度,则得到多个相似度,然后,确定计算得到的最大相似度对应的注册用户,即表示该用户A可能是该注册用户;如果该最大相似度大于例如98%,则说明当前进行请求身份认证的用户A就是找到的该注册用户,返回表示用户A通过身份认证的验证结果给业务***(从而使得用户A能够对该业务***进行其具有的权限的操作);相反,则说明当前进行请求身份认证的用户A不是注册用户,返回表示用户A未通过身份认证的验证结果给业务***,从而使得该用户A无法对业务***进行部分涉及部分信息安全的操作。
借助于本发明实施例的上述技术方案,本发明通过获取请求身份认证的用户的声纹矩阵、指纹图像矩阵和人脸图像矩阵,并矩阵拼接成一个身份矩阵数据,从而实现声纹、指纹、人脸三个特征的融合;并利用一个预先经过训练的预设神经网络模型来对融合的矩阵数据进行生物特征的识别,从而利用识别到的生物特征数据和预先注册的用户的生物特征数据来判断该用户的身份是否通过认证,提升了身份认证的安全强度,保证信息处理的安全。
可选地,在一个实施例中,在执行上述身份认证流程之前,根据本发明实施例的方法还可以包括对该预设神经网络模型的生物特征识别训练的步骤。
具体而言,可以利用多个用户(例如10万个用户)的训练样本来对所述预设神经网络模型(例如CNN)进行生物特征识别训练,在该CNN收敛后,就可以得到经过训练的所述预设神经网络模型;
其中,每个用户的所述训练样本均包括正样本和负样本,其中,正样本包括同一个用户的语音信号、指纹图像数据和人脸图像数据,负样本包括不同用户的语音信号、指纹图像数据和人脸图像数据。
举例来说,以上述10万个用户的训练样本中的某个用户M的训练样本为例来进行说明,可以采集用户M对同一段文本内容在三个不同时间段(例如上午、中午和晚上)的三段录音数据,即用户M具有针对同一个文本的三段录音;还可以对该用户M的同一个手指录入10次指纹,得到针对同一个手指(例如右手食指)的10个指纹图像;还可以采集该用户M在不同拍摄条件(例如不同光线、不同背景、不同发型、不同妆容等不同拍摄条件)下所拍摄的10张人脸图像。这样,在对用户M生成正样本时,就可以从三段录音数据中选取任意一个录音数据、从10个指纹图像中任意选取一个指纹图像,再从10张人脸图像中选取任意一个人脸图像,作为该用户M的一个正样本。而这三类信息可以任意组合,从而可以得到300个组合,使得该用户M的正样本有300个,然后再将300个正样本中的任意一个类型的数据替换为其他用户的对应类型的数据,例如将用户M的一组正样本中的录音数据替换为用户C的录音数据,则可以得到该用户M的一组负样本,以此类推,又可以得到用户M的多组负样本。
然后,利用该用户M的多个正样本和多个负样本中的每个样本来对该CNN模型分别进行多次的生物特征识别训练,直到该CNN模型输出的生物特征数据与正在训练该CNN的该用户M的训练样本的声纹、指纹和人脸特征融合的生物特征数据之间的误差小于预设误差阈值,例如0.002%,就可以说明该CNN模型在一定程度上收敛;同理再利用其他用户的正样本和负样本对CNN模型进行进一步的训练,使得该CNN模型对所有训练样本的识别结果都收敛,就可以得到上述预先经过训练的神经网络模型。
可选地,在一个实施例中,所述若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果之后,根据本发明实施例的方法还可以包括:
采用所述第一生物特征数据对预先注册的所述目标用户的所述第二生物特征数据进行更新以及采用所述最大相似度对所述预设相似度阈值进行更新。
即,可以采用通过身份认证的用户A的生物特征数据来对预先注册并保存至该身份认证***的用户A的生物特征数据进行更新,从而保证身份人***中本地保存的用户A的生物特征数据(即第二生物特征数据)为与用户A的实际生物特征匹配度最高的。此外,例如,该最大相似度为98%,而预设相似度阈值为97%,那么在该用户A的身份认证通过后,为了提升***对生物特征(声纹、指纹和人脸特征的融合)认证的准确度,还可以以该相似度98%来对预设相似度阈值(97%)进行更新。当然,这里的相似度阈值更新只涉及正向更新,不涉及负向更新(即从较高的值更新至较低的值)。
综上,本发明综合多项人体生物特征,包括声纹、指纹和人脸特征,实现了一套基于人体生物特征识别的综合身份认证***解决方案;本发明中将用户的声纹信息、指纹信息、人脸特征信息融合在一起,实现三者结合的综合生物特征识别,规避了单一生物特征识别中潜在的识别和作弊带来的风险。该多生物特征综合身份认证***解决方案中三个生物特征统一对待,通过CNN算法实现,整体建模,构成整体的身份认证方案,可以满足用户越来越高的安全性需求。此外该身份认证方案的数据采集设备要求较低,目前的绝大部分智能手机、pad等终端均可完成所需人体生物特征数据的采集,便于在智能终端领域的商业应用。
此外,本发明的基于声纹、指纹和人脸的综合生物特征的身份认证***,综合生物特征身份认证模块可以核对人体的三种生物特征,通过统一的模型层,返回最终的身份认证结果,可以用在银行开户、证券开户等安保级别要求极高、数据信息真实完备的业务中,用于保密及其他需要身份认证的安全工作中,显然结合三种人体生物特征的身份认证***,鲁棒性更强、安全性更高、更值得用户信赖。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
与上述本发明实施例所提供的方法相对应,参照图3,示出了本发明一种身份认证***实施例的结构框图,具体可以包括如下模块:
采集模块31,用于若接收到用户的身份认证请求,则采集所述用户的语音信号、指纹图像数据和人脸图像数据;
特征提取模块32,用于对所述语音信号提取频谱特征,得到声纹特征信息;
第一转换模块33,用于将所述声纹特征信息转换为预设维度的声纹矩阵;
第二转换模块34,用于将所述指纹图像数据转换为所述预设维度的指纹图像矩阵;
第三转换模块35,用于将所述人脸图像数据转换为所述预设维度的人脸图像矩阵;
拼接模块36,用于将所述声纹矩阵、所述指纹图像矩阵和所述人脸图像矩阵进行矩阵拼接,得到所述用户的身份矩阵数据;
输入模块37,用于将所述用户的所述身份矩阵数据输入至预先经过训练的预设神经网络模型进行生物特征识别,得到所述用户的第一生物特征数据;
计算模块38,用于计算所述第一生物特征数据和预先注册的至少一个用户的至少一个第二生物特征数据之间的相似度;
确定模块39,用于确定所述最大相似度对应的目标用户;
第一返回模块40,用于若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果;
第二返回模块41,用于若所述最大相似度小于或等于所述预设相似度阈值,则返回表示所述目标用户未通过身份认证的验证结果。
可选地,所述***还包括:
去除模块,用于去除所述语音信号中的噪音信息;
第一处理模块,用于对去除噪音信息后的所述语音信号进行采样量化处理;
第二处理模块,用于对采样量化处理后的所述语音信号进行预加重处理;
第三处理模块,用于对预加重处理后的所述语音信号进行取音框处理;
第四处理模块,用于对取音框处理后的所述语音信号进行加窗处理;
所述特征提取模块32包括:
特征提取子模块,用于对加窗处理后的所述语音信号提取频谱特征,得到声纹特征信息。
可选地,所述***还包括:
训练模块,用于利用多个用户的训练样本对所述预设神经网络模型进行生物特征识别训练,得到经过训练的所述预设神经网络模型;
所述训练样本包括正样本和负样本,其中,正样本包括同一个用户的语音信号、指纹图像数据和人脸图像数据;负样本包括不同用户的语音信号、指纹图像数据和人脸图像数据。
可选地,所述***还包括:
更新模块,用于采用所述第一生物特征数据对预先注册的所述目标用户的所述第二生物特征数据进行更新,以及采用所述最大相似度对所述预设相似度阈值进行更新。
对于***实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种身份认证方法和一种身份认证***,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种身份认证方法,其特征在于,包括:
若接收到用户的身份认证请求,则采集所述用户的语音信号、指纹图像数据和人脸图像数据;
对所述语音信号提取频谱特征,得到声纹特征信息;
将所述声纹特征信息转换为预设维度的声纹矩阵;
将所述指纹图像数据转换为所述预设维度的指纹图像矩阵;
将所述人脸图像数据转换为所述预设维度的人脸图像矩阵;
将所述声纹矩阵、所述指纹图像矩阵和所述人脸图像矩阵进行矩阵拼接,得到所述用户的身份矩阵数据;
将所述用户的所述身份矩阵数据输入至预先经过训练的预设神经网络模型进行生物特征识别,得到所述用户的第一生物特征数据;
计算所述第一生物特征数据和预先注册的至少一个用户的至少一个第二生物特征数据之间的相似度;
确定所述最大相似度对应的目标用户;
若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果;
若所述最大相似度小于或等于所述预设相似度阈值,则返回表示所述目标用户未通过身份认证的验证结果。
2.根据权利要求1所述的方法,其特征在于,
所述对所述语音信号提取频谱特征,得到声纹特征信息之前,所述方法还包括:
去除所述语音信号中的噪音信息;
对去除噪音信息后的所述语音信号进行采样量化处理;
对采样量化处理后的所述语音信号进行预加重处理;
对预加重处理后的所述语音信号进行取音框处理;
对取音框处理后的所述语音信号进行加窗处理;
所述对所述语音信号提取频谱特征,得到声纹特征信息,包括:
对加窗处理后的所述语音信号提取频谱特征,得到声纹特征信息。
3.根据权利要求1所述的方法,其特征在于,在接收所述用户的身份认证请求之前,所述方法还包括:
利用多个用户的训练样本对所述预设神经网络模型进行生物特征识别训练,得到经过训练的所述预设神经网络模型;
所述训练样本包括正样本和负样本,其中,正样本包括同一个用户的语音信号、指纹图像数据和人脸图像数据;负样本包括不同用户的语音信号、指纹图像数据和人脸图像数据。
4.根据权利要求1所述的方法,其特征在于,所述若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果之后,所述方法还包括:
采用所述第一生物特征数据对预先注册的所述目标用户的所述第二生物特征数据进行更新,以及采用所述最大相似度对所述预设相似度阈值进行更新。
5.一种身份认证***,其特征在于,包括:
采集模块,用于若接收到用户的身份认证请求,则采集所述用户的语音信号、指纹图像数据和人脸图像数据;
特征提取模块,用于对所述语音信号提取频谱特征,得到声纹特征信息;
第一转换模块,用于将所述声纹特征信息转换为预设维度的声纹矩阵;
第二转换模块,用于将所述指纹图像数据转换为所述预设维度的指纹图像矩阵;
第三转换模块,用于将所述人脸图像数据转换为所述预设维度的人脸图像矩阵;
拼接模块,用于将所述声纹矩阵、所述指纹图像矩阵和所述人脸图像矩阵进行矩阵拼接,得到所述用户的身份矩阵数据;
输入模块,用于将所述用户的所述身份矩阵数据输入至预先经过训练的预设神经网络模型进行生物特征识别,得到所述用户的第一生物特征数据;
计算模块,用于计算所述第一生物特征数据和预先注册的至少一个用户的至少一个第二生物特征数据之间的相似度;
确定模块,用于确定所述最大相似度对应的目标用户;
第一返回模块,用于若最大相似度大于预设相似度阈值,则返回表示所述目标用户通过身份认证的验证结果;
第二返回模块,用于若所述最大相似度小于或等于所述预设相似度阈值,则返回表示所述目标用户未通过身份认证的验证结果。
6.根据权利要求5所述的***,其特征在于,所述***还包括:
去除模块,用于去除所述语音信号中的噪音信息;
第一处理模块,用于对去除噪音信息后的所述语音信号进行采样量化处理;
第二处理模块,用于对采样量化处理后的所述语音信号进行预加重处理;
第三处理模块,用于对预加重处理后的所述语音信号进行取音框处理;
第四处理模块,用于对取音框处理后的所述语音信号进行加窗处理;
所述特征提取模块包括:
特征提取子模块,用于对加窗处理后的所述语音信号提取频谱特征,得到声纹特征信息。
7.根据权利要求5所述的***,其特征在于,所述***还包括:
训练模块,用于利用多个用户的训练样本对所述预设神经网络模型进行生物特征识别训练,得到经过训练的所述预设神经网络模型;
所述训练样本包括正样本和负样本,其中,正样本包括同一个用户的语音信号、指纹图像数据和人脸图像数据;负样本包括不同用户的语音信号、指纹图像数据和人脸图像数据。
8.根据权利要求5所述的***,其特征在于,所述***还包括:
更新模块,用于采用所述第一生物特征数据对预先注册的所述目标用户的所述第二生物特征数据进行更新,以及采用所述最大相似度对所述预设相似度阈值进行更新。
CN201810049723.9A 2018-01-18 2018-01-18 身份认证方法和*** Pending CN108429619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810049723.9A CN108429619A (zh) 2018-01-18 2018-01-18 身份认证方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810049723.9A CN108429619A (zh) 2018-01-18 2018-01-18 身份认证方法和***

Publications (1)

Publication Number Publication Date
CN108429619A true CN108429619A (zh) 2018-08-21

Family

ID=63156031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810049723.9A Pending CN108429619A (zh) 2018-01-18 2018-01-18 身份认证方法和***

Country Status (1)

Country Link
CN (1) CN108429619A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299594A (zh) * 2018-09-04 2019-02-01 阿里巴巴集团控股有限公司 身份验证方法及装置
CN109583387A (zh) * 2018-11-30 2019-04-05 龙马智芯(珠海横琴)科技有限公司 身份认证方法及装置
CN109584886A (zh) * 2018-12-04 2019-04-05 科大讯飞股份有限公司 基于声纹识别的身份认证方法、装置、设备及存储介质
CN109614844A (zh) * 2018-10-16 2019-04-12 阿里巴巴集团控股有限公司 一种链路验证方法、装置及设备
CN109858366A (zh) * 2018-12-28 2019-06-07 龙马智芯(珠海横琴)科技有限公司 身份认证方法及装置
CN109977639A (zh) * 2018-10-26 2019-07-05 招商银行股份有限公司 身份认证方法、装置及计算机可读存储介质
CN110516435A (zh) * 2019-09-02 2019-11-29 国网电子商务有限公司 一种基于生物特征的私钥管理方法及装置
CN110827453A (zh) * 2019-11-18 2020-02-21 成都启英泰伦科技有限公司 一种指纹声纹双重认证方法及认证***
CN110866234A (zh) * 2019-09-29 2020-03-06 南京大学 一种基于多生物特征的身份验证***
CN110875037A (zh) * 2019-11-19 2020-03-10 腾讯科技(深圳)有限公司 语音数据处理方法、装置及电子设备
CN111104658A (zh) * 2018-10-25 2020-05-05 北京嘀嘀无限科技发展有限公司 注册方法及装置、认证方法及装置
CN111464541A (zh) * 2020-04-01 2020-07-28 重庆德信建信息技术有限公司 基于生物识别的电子政务多功能智能硬件终端和工作方法
CN112232255A (zh) * 2020-10-26 2021-01-15 上海鹰瞳医疗科技有限公司 基于多模态数据的身份认证方法及设备
CN112637209A (zh) * 2020-12-23 2021-04-09 四川虹微技术有限公司 安全认证方法及装置、安全注册方法及装置、存储介质
CN112669966A (zh) * 2020-12-14 2021-04-16 北京易华录信息技术股份有限公司 一种基于监控数据的行为分析***
CN112669511A (zh) * 2020-12-18 2021-04-16 中用科技有限公司 基于人脸声纹的用户注册与认证方法、***及设备
CN112990943A (zh) * 2021-03-16 2021-06-18 上海万向区块链股份公司 基于生物资产的图像信息识别实现区块链预言机的方法及***
CN113505824A (zh) * 2019-01-23 2021-10-15 北京影谱科技股份有限公司 一种判断更新方法、装置和人脸打卡***
CN113538771A (zh) * 2021-07-16 2021-10-22 中国银行股份有限公司 一种身份认证方法及装置
CN115022030A (zh) * 2022-05-31 2022-09-06 中国银行股份有限公司 基于区块链的银行业务办理请求处理方法及装置
CN116110159A (zh) * 2023-04-13 2023-05-12 新兴际华集团财务有限公司 基于cfca认证标准的用户认证方法、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及***、人脸识别模型训练方法及***
CN101483652A (zh) * 2009-01-10 2009-07-15 五邑大学 生物特征识别***
CN103679158A (zh) * 2013-12-31 2014-03-26 北京天诚盛业科技有限公司 人脸认证方法和装置
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN105184238A (zh) * 2015-08-26 2015-12-23 广西小草信息产业有限责任公司 一种人脸识别方法及***
CN106228045A (zh) * 2016-07-06 2016-12-14 吴本刚 一种身份识别***
CN106339702A (zh) * 2016-11-03 2017-01-18 北京星宇联合投资管理有限公司 一种基于多特征融合的人脸识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及***、人脸识别模型训练方法及***
CN101483652A (zh) * 2009-01-10 2009-07-15 五邑大学 生物特征识别***
CN103679158A (zh) * 2013-12-31 2014-03-26 北京天诚盛业科技有限公司 人脸认证方法和装置
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN105184238A (zh) * 2015-08-26 2015-12-23 广西小草信息产业有限责任公司 一种人脸识别方法及***
CN106228045A (zh) * 2016-07-06 2016-12-14 吴本刚 一种身份识别***
CN106339702A (zh) * 2016-11-03 2017-01-18 北京星宇联合投资管理有限公司 一种基于多特征融合的人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAO-YUAN JING等: "Face and palmprint pixel level fusion and Kernel DCV-RBF classifier forsmall sample biometric recognition", 《PATTERN RECOGNITION》 *
胡航: "《语音信号处理》", 31 July 2009, 哈尔滨工业出版社 *
陈敏: "《认知计算导论》", 31 May 2017, 华中科技大学出版社 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299594A (zh) * 2018-09-04 2019-02-01 阿里巴巴集团控股有限公司 身份验证方法及装置
CN109614844A (zh) * 2018-10-16 2019-04-12 阿里巴巴集团控股有限公司 一种链路验证方法、装置及设备
CN109614844B (zh) * 2018-10-16 2023-01-24 创新先进技术有限公司 一种链路验证方法、装置及设备
CN111104658A (zh) * 2018-10-25 2020-05-05 北京嘀嘀无限科技发展有限公司 注册方法及装置、认证方法及装置
CN109977639A (zh) * 2018-10-26 2019-07-05 招商银行股份有限公司 身份认证方法、装置及计算机可读存储介质
CN109583387A (zh) * 2018-11-30 2019-04-05 龙马智芯(珠海横琴)科技有限公司 身份认证方法及装置
CN109584886A (zh) * 2018-12-04 2019-04-05 科大讯飞股份有限公司 基于声纹识别的身份认证方法、装置、设备及存储介质
CN109858366A (zh) * 2018-12-28 2019-06-07 龙马智芯(珠海横琴)科技有限公司 身份认证方法及装置
CN113505824B (zh) * 2019-01-23 2024-01-09 北京影谱科技股份有限公司 一种判断更新方法、装置和人脸打卡***
CN113505824A (zh) * 2019-01-23 2021-10-15 北京影谱科技股份有限公司 一种判断更新方法、装置和人脸打卡***
CN110516435A (zh) * 2019-09-02 2019-11-29 国网电子商务有限公司 一种基于生物特征的私钥管理方法及装置
CN110866234A (zh) * 2019-09-29 2020-03-06 南京大学 一种基于多生物特征的身份验证***
CN110866234B (zh) * 2019-09-29 2022-06-07 南京大学 一种基于多生物特征的身份验证***
CN110827453A (zh) * 2019-11-18 2020-02-21 成都启英泰伦科技有限公司 一种指纹声纹双重认证方法及认证***
CN110875037A (zh) * 2019-11-19 2020-03-10 腾讯科技(深圳)有限公司 语音数据处理方法、装置及电子设备
CN111464541A (zh) * 2020-04-01 2020-07-28 重庆德信建信息技术有限公司 基于生物识别的电子政务多功能智能硬件终端和工作方法
CN112232255A (zh) * 2020-10-26 2021-01-15 上海鹰瞳医疗科技有限公司 基于多模态数据的身份认证方法及设备
CN112669966A (zh) * 2020-12-14 2021-04-16 北京易华录信息技术股份有限公司 一种基于监控数据的行为分析***
CN112669511A (zh) * 2020-12-18 2021-04-16 中用科技有限公司 基于人脸声纹的用户注册与认证方法、***及设备
CN112637209A (zh) * 2020-12-23 2021-04-09 四川虹微技术有限公司 安全认证方法及装置、安全注册方法及装置、存储介质
CN112990943A (zh) * 2021-03-16 2021-06-18 上海万向区块链股份公司 基于生物资产的图像信息识别实现区块链预言机的方法及***
CN112990943B (zh) * 2021-03-16 2023-04-07 上海万向区块链股份公司 基于生物资产的图像信息识别实现区块链预言机的方法及***
CN113538771A (zh) * 2021-07-16 2021-10-22 中国银行股份有限公司 一种身份认证方法及装置
CN115022030A (zh) * 2022-05-31 2022-09-06 中国银行股份有限公司 基于区块链的银行业务办理请求处理方法及装置
CN115022030B (zh) * 2022-05-31 2024-04-19 中国银行股份有限公司 基于区块链的银行业务办理请求处理方法及装置
CN116110159A (zh) * 2023-04-13 2023-05-12 新兴际华集团财务有限公司 基于cfca认证标准的用户认证方法、设备和介质

Similar Documents

Publication Publication Date Title
CN108429619A (zh) 身份认证方法和***
Ali et al. Edge-centric multimodal authentication system using encrypted biometric templates
JP2022532677A (ja) 身元検証及び管理システム
CN112651841B (zh) 线上业务办理方法、装置、服务器及计算机可读存储介质
CN109346086A (zh) 声纹识别方法、装置、计算机设备和计算机可读存储介质
CN109120605A (zh) 身份验证及账户信息变更方法和装置
CN105991593B (zh) 一种识别用户风险的方法及装置
CN110555330A (zh) 图像面签方法、装置、计算机设备及存储介质
CN106878344A (zh) 一种生物特征认证、注册方法及装置
CN108510290A (zh) 通话中客户信息修改方法、装置、计算机设备及存储介质
CN110136726A (zh) 一种语音性别的估计方法、装置、***及存储介质
CN112382300A (zh) 声纹鉴定方法、模型训练方法、装置、设备及存储介质
CN110298240A (zh) 一种汽车用户识别方法、装置、***及存储介质
CN111160928A (zh) 一种验证身份的方法及装置
CN113886792A (zh) 一种声纹识别和人脸识别相结合的印控仪应用方法和***
CN113362852A (zh) 一种用户属性识别方法和装置
EP3767872A1 (fr) Procede de generation de cle privee a partir de caracteristiques biometriques
CN111914769A (zh) 用户合法性判定方法、装置、计算机可读存储介质及设备
KR20210018586A (ko) 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치
CN115906028A (zh) 用户身份验证方法、装置和自助服务终端
CN114469139A (zh) 脑电信号识别模型训练、脑电信号识别方法、装置及介质
CN114049126A (zh) 安全认证方法及装置
JP5279007B2 (ja) 照合システム、照合方法、プログラム及び記録媒体
CN110457877B (zh) 用户认证方法和装置、电子设备、计算机可读存储介质
US20200162456A1 (en) Input entry based on user identity validation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821

RJ01 Rejection of invention patent application after publication