CN110113319A - 身份认证方法、装置、计算机设备和存储介质 - Google Patents

身份认证方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110113319A
CN110113319A CN201910304302.0A CN201910304302A CN110113319A CN 110113319 A CN110113319 A CN 110113319A CN 201910304302 A CN201910304302 A CN 201910304302A CN 110113319 A CN110113319 A CN 110113319A
Authority
CN
China
Prior art keywords
lip
recognition
user
network model
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910304302.0A
Other languages
English (en)
Inventor
郑子奇
徐国强
邱寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910304302.0A priority Critical patent/CN110113319A/zh
Publication of CN110113319A publication Critical patent/CN110113319A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请涉及人工智能技术领域，应用于金融行业，特别是涉及一种身份认证方法、装置、计算机设备和存储介质。一个实施例中的方法包括：获取待认证用户的认证请求，认证请求携带待认证用户的用户标识以及待认证用户的认证视频，对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列，对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息，根据用户标识查找预设用户注册信息，得到与用户标识对应的唇语特征注册信息，当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。这样可以实现通过用户标识+唇语识别进行身份认证，可以有效提高身份认证的安全性。

Description

身份认证方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种身份认证方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的发展，人们的生活发生了翻天覆地的变化，移动互联网设备成为日常生活的必需品，个人身份信息在互联网技术中占据重要地位。
传统身份认证方法，比如通过口令、密码、证件来确认身份，存在验证信息容易被盗取，被人冒名的问题，即传统的身份认证方法存在安全性低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高认证安全性的身份认证方法、装置、计算机设备和存储介质。
一种身份认证方法，所述方法包括：
获取待认证用户的认证请求，所述认证请求携带待认证用户的用户标识以及待认证用户的认证视频；
对所述认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；
对所述嘴唇图像序列进行特征提取，得到所述嘴唇图像序列的特征向量，以所述特征向量为唇语特征认证信息；
根据所述用户标识查找预设用户注册信息，得到与所述用户标识对应的唇语特征注册信息；
当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
在一个实施例中，所述对所述嘴唇图像序列进行特征提取，得到所述嘴唇图像序列的特征向量，包括：
将所述嘴唇图像序列对应的视频块划分为多个子视频块；
将各个子视频块分别通过第一独立子空间分析进行特征向量提取，得到第一特征向量集合；
对所述第一特征向量集合中的特征向量进行降维处理，将降维处理后的特征向量输入第二独立子空间分析，得到第二特征向量集合；
根据所述第一特征向量集合和所述第二特征向量集合，得到所述嘴唇图像序列的特征向量。
在一个实施例中，所述对所述嘴唇图像序列进行特征提取之前，还包括：
获取视频样本以及循环神经网络模型，所述视频样本包括唇语图像以及与所述唇语图像对应的唇语识别结果；
将所述唇语图像作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型；
所述对所述嘴唇图像序列进行特征提取，包括：
通过所述已训练的循环神经网络模型对所述嘴唇图像序列进行特征提取。
在一个实施例中，所述将所述唇语图像作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型之前，还包括：
对所述视频样本进行图像处理，得到音节粘连数据；
所述将所述唇语图像作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型，包括：
将所述唇语图像以及所述音节粘连数据作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型。
在一个实施例中，所述对所述视频样本进行图像处理，得到音节粘连数据，包括：
将所述视频样本转化为口型序列图片；
对所述口型序列图片进行口型识别，得到口型序列；
将所述口型序列转化为音节序列，基于预设语义库以及所述音节序列，得到音节粘连数据。
在一个实施例中，所述当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果，包括：
获取所述唇语特征认证信息与所述唇语特征注册信息之间的相似度；
当所述唇语特征认证信息与所述唇语特征注册信息之间的相似度大于预设阈值时，得到待认证用户通过认证的认证结果。
一种身份认证装置，所述装置包括：
认证请求获取模块，用于获取待认证用户的认证请求，所述认证请求携带待认证用户的用户标识以及待认证用户的认证视频；
图像序列提取模块，用于对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；
特征向量获取模块，用于对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息；注册信息获取模块，用于根据所述用户标识查找预设用户注册信息，得到与所述用户标识对应的唇语特征注册信息；
认证模块，用于当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待认证用户的认证请求，所述认证请求携带待认证用户的用户标识以及待认证用户的认证视频；
对所述认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；
对所述嘴唇图像序列进行特征提取，得到所述嘴唇图像序列的特征向量，以所述特征向量为唇语特征认证信息；
根据所述用户标识查找预设用户注册信息，得到与所述用户标识对应的唇语特征注册信息；
当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待认证用户的认证请求，所述认证请求携带待认证用户的用户标识以及待认证用户的认证视频；
对所述认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；
对所述嘴唇图像序列进行特征提取，得到所述嘴唇图像序列的特征向量，以所述特征向量为唇语特征认证信息；
根据所述用户标识查找预设用户注册信息，得到与所述用户标识对应的唇语特征注册信息；
当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
上述身份认证方法、装置、计算机设备和存储介质，通过获取待认证用户的认证请求，认证请求携带待认证用户的用户标识以及待认证用户的认证视频，对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列，对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息，根据用户标识查找预设用户注册信息，得到与用户标识对应的唇语特征注册信息，当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果，这样可以实现通过用户标识+唇语识别进行身份认证，可以有效提高身份认证的安全性；且通过对认证视频得到嘴唇图像序列，再从嘴唇图像序列中提取特征向量，得到唇语特征认证信息，可以提高获取到的唇语特征的精准性，从而进一步提高身份认证的安全性。
附图说明
图1为一个实施例中身份认证方法的流程示意图；
图2为一个实施例中嘴唇图像序列的特征向量生成步骤的流程示意图；
图3为另一个实施例中身份认证方法的流程示意图；
图4为一个实施例音节粘连数据生成步骤的流程示意图；
图5为一个实施例中用户认证步骤的流程示意图；
图6为一个实施例中身份认证装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种身份认证方法，包括以下步骤：
步骤102，获取待认证用户的认证请求，认证请求携带待认证用户的用户标识以及待认证用户的认证视频。
认证请求是指由待认证用户提出，向认证机构进行身份验证的请求。用户标识是指用于区分不同用户的标识，每个待认证用户对应的标识唯一，比如可以通过编号A、B、C等区分不同的待认证用户。认证视频是指待认证用户进行认证时，现场实时采集到的语音和图像信息，比如待认证用户朗读一段口令的视频。
步骤104，对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列。
人脸检测是指对于给定图像，对图像进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态。人脸检测可以通过基于特征的方法、基于模板的方法以及基于统计理论的方法实现。具体地，基于特征的方法通过利用人脸的先验知识导出的规则进行人脸检测，包括边缘和形状特征、纹理特征、颜色特征等；基于模板的方法通过计算人脸模板和待检测图像之间的相关性进行人脸检测，比如，分别计算待检测图像眼睛、鼻子、嘴等特征与人脸模板之间的相关性，通过相关性的大小来判断是否存在人脸；基于统计理论的方法是指利用统计分析与机器学习分别寻找人脸和非人脸样本特征，通过找到的特征构建分类器，从而实现人脸检测。可以采用通过级联回归的方法对检测到的人脸图像中面部特征点进行检测，根据特征点的位置进行嘴唇区域提取。基于级联回归的方法通过使用一系列弱回归器拟合复杂的非线性关系，学习回归函数直接映射到检测结果。
通过人脸检测技术和面部特征点检测技术，从视频图像中提取出嘴唇区域，实现对人脸嘴唇的定位。比如，可以采用嘴角的两个关键点计算，得到相对于标准嘴的平移和旋转因子。使用眼间距作为基准，将不同人的嘴唇通过尺度参数变换到相同的尺度。根据平移和旋转因子以及尺度参数，得到对齐的嘴唇图像序列。嘴唇对齐可以消除不同帧图像中嘴唇的位置、角度和尺度的不一致，通过对齐的嘴唇图像序列进行唇语识别，不仅可以实现说话人嘴的相对变化信息，还可以对不同说话人不同嘴进行归一化，减少因嘴唇的位置、角度和尺度的不一致导致对唇语识别的影响。
步骤106，对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息。
嘴唇图像序列是指说话人在讲话时连续的口型变化特征。唇语识别是可以直接从有人讲话的图像中识别讲话内容的技术，通过唇语识别从认证视频中连续识别出人脸，判断其中正在说话的人，提取此人连续的口型变化特征，将连续变化的特征输入至唇语识别模型中，识别出讲话人口型对应的发音，再根据识别出的发音，得到唇语识别结果。唇语特征认证信息是指在对待认证用户在进行身份认证时，解析认证视频，得到的唇语识别结果。
步骤108，根据用户标识查找预设用户注册信息，得到与用户标识对应的唇语特征注册信息。
用户在进行注册时，采集用户标识以及注册视频，将用户标识与注册视频对应存储。注册视频是指用户朗读自定义或者设定口令的视频，对注册视频进行解析，得到对应的唇语特征注册信息，将用户标识与对应的唇语特征注册信息关联存储，得到用户注册信息。唇语特征注册信息是指在对用户在进行注册时，解析注册视频，得到的唇语识别结果。
步骤110，当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
比如，用户甲在注册时，录入了注册视频，采集到的注册视频经解析，得到的唇语识别结果为201810，即唇语特征注册信息为201810。在对用户甲进行身份认证时，采集认证视频，解析采集到的认证视频，得到的唇语识别结果为201810，即唇语特征认证信息为201810。甲的唇语特征认证信息与唇语特征注册信息匹配，由此得到待认证用户甲通过认证的认证结果。
上述身份认证方法，通过获取待认证用户的认证请求，认证请求携带待认证用户的用户标识以及待认证用户的认证视频，对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列，对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息，根据用户标识查找预设用户注册信息，得到与用户标识对应的唇语特征注册信息，当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果，这样可以实现通过用户标识+唇语识别进行身份认证，可以有效提高身份认证的安全性；且通过对认证视频得到嘴唇图像序列，再从嘴唇图像序列中提取特征向量，得到唇语特征认证信息，可以提高唇语识别的精准性，从而进一步提高身份认证的安全性。
在一个实施例中，如图2所示，对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，包括：步骤202，将嘴唇图像序列对应的视频块划分为多个子视频块；步骤204，将各个子视频块分别通过第一独立子空间分析进行特征向量提取，得到第一特征向量集合；步骤206，对第一特征向量集合中的特征向量进行降维处理，将降维处理后的特征向量输入第二独立子空间分析，得到第二特征向量集合；步骤208，根据第一特征向量集合和第二特征向量集合，得到嘴唇图像序列的特征向量。根据嘴唇区域图像序列，得到图像的特征向量，作为唇语特征信息。由于唇语视频包括图像和运动信息，因此一个特征向量从多帧连续图像形成的子图像序列中提取。独立子空间分析是一种无监督特征学习方法，可从图像中学习得出具有相位不变的特征。第一独立子空间分析提取的是视频序列中移动边的特征，将第一独立子空间分析提取得到的数据通过主成分分析进行降维，可以加快计算速度，第二独立子空间分析处理的是较低维度的输入数据，提取得到的是更抽象的特征。具体可以通过堆叠卷积独立子空间分析网络来实现特征提取，堆叠卷积独立子空间分析网络由独立子空间分析和主成分分析逐层堆叠构成。在计算视频特征时首先将较小的视频块内的像素拉成一个向量后输入到第一层独立子空间分析网络，然后更大区域内相邻的视频块的独立子空间分析输出被联合起来，经过主成分分析降维预处理后，输入到第二层独立子空间分析网络，并以此类推，最后每层独立子空间分析网络的输出被串联成一个向量作为该视频块的特征向量。为了得到特征向量，由多张连续唇语图像构成的视频块被划分为多个小视频块，每个小视频块被输入到堆叠卷积独立子空间分析网络中提取特征向量，最后各个小视频块的特征向量以及经过主成分分析处理后的多个特征向量被串联联成最终的特征向量。
在一个实施例中，如图3所示，对嘴唇图像序列进行特征提取之前，还包括：步骤302，获取视频样本以及循环神经网络模型，视频样本包括唇语图像以及与唇语图像对应的唇语识别结果；步骤304，将唇语图像作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型；对嘴唇图像序列进行特征提取，包括：步骤306，通过已训练的循环神经网络模型对嘴唇图像序列进行特征提取。认证视频由连续的多帧图像组成，即认证视频为序列数据，而序列数据前后之间具有关联性，前面出现的图像帧对后面的图像帧有重大影响，甚至后面的图像帧对前面的数据帧也是有重要影响的。循环神经网络在处理当前信息时，需要考虑前面出现的信息，循环神经网络可以包含当前信息前面的所有已知信息，循环是指之前处理的信息会一直被利用去帮助后面的信息。对于唇语的识别，通过已训练的循环神经网络模型来实现，利用此模型来获取唇形随时间的变化特征，从而来预测字母，比如，采集说话人朗读***数字0的图像，以此作为唇语图像，对应的唇语识别结果为***数字0。将说话人朗读***数字0的图像作为循环神经玩过模型的输入，将唇语识别结果为***数字0作为循环神经网络的标准输出，对循环神经网络模型进行训练，根据循环神经网络模型的实际输出以及标准输出，调整循环神经网络模型的训练权值，直至循环神经网络模型的实际输出与标准输出相比符合预设条件，得到已训练的循环神经网络模型。
在一个实施例中，将唇语图像作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型之前，还包括：对视频样本进行图像处理，得到音节粘连数据；将唇语图像作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型，包括：将唇语图像以及音节粘连数据作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型。在进行循环神经网络模型训练时加入了对快语速时音节粘连的训练，使唇语识别更准确。比如可以增加快语速的视频训练数据，以使循环神经网络模型能学习快语速情况下的唇形变化；也可以加强视频帧率，降低循环神经网络模型训练的难度。
在一个实施例中，如图4所示，对视频样本进行图像处理，得到音节粘连数据，包括：步骤402，将视频样本转化为口型序列图片；步骤404，对口型序列图片进行口型识别，得到口型序列；步骤406，将口型序列转化为音节序列，基于预设语义库以及音节序列，得到音节粘连数据。通过图像处理将视频样本转化为口型序列图片，将口型序列图片进行灰度化和滤波处理，再进行二值化处理，以便特征向量的提取。口型模板是根据日常生活对口型的经验确定，对口型序列图片进行特征向量提取，并与口型模板进行匹配，得到口型序列。语义库可以是以汉语拼音字母作为基本单位来建立的口型模板库，语义库中包括所有拼音字母发音的口型图片和多维向量参数。通过音节序列的有效组合将音节序列转换为词语，语义库的语义约束是指以自然语言为基础的语法和句法关系，以及汉字在由音节拼读过程中音节间的依赖关系。通过学习前后音节的关联影响，减少误识别成单一音节的情况。
在一个实施例中，如图5所示，当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果，包括：步骤502，获取唇语特征认证信息与唇语特征注册信息之间的相似度；步骤504，当唇语特征认证信息与唇语特征注册信息之间的相似度大于预设阈值时，得到待认证用户通过认证的认证结果。将唇语特征认证信息与唇语特征注册信息分别转换为特征向量的形式，可以通过欧氏距离或者余弦相似度来计算两者的相似度，其中，欧氏距离是指在m维空间中两个点之间的真实距离，或者向量的自然长度，在二维和三维空间中的欧氏距离就是两点之间的实际距离；余弦相似度是指通过计算两个向量的夹角余弦值来评估两者的相似度。
应该理解的是，虽然图1-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种身份认证装置，包括：认证请求获取模块602、图像序列提取模块604、特征向量获取模块606、注册信息获取模块608和认证模块610。认证请求获取模块，用于获取待认证用户的认证请求，认证请求携带待认证用户的用户标识以及待认证用户的认证视频；图像序列提取模块，用于对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；特征向量获取模块，用于对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息；注册信息获取模块，用于根据用户标识查找预设用户注册信息，得到与用户标识对应的唇语特征注册信息；认证模块，用于当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
在一个实施例中，特征向量获取模块包括视频块划分单元，用于将嘴唇图像序列对应的视频块划分为多个子视频块；向量提取单元，用于将各个子视频块分别通过第一独立子空间分析进行特征向量提取，得到第一特征向量集合；降维单元，用于对第一特征向量集合中的特征向量进行降维处理，将降维处理后的特征向量输入第二独立子空间分析，得到第二特征向量集合；输出单元，用于根据第一特征向量集合和第二特征向量集合，得到嘴唇图像序列的特征向量。
在一个实施例中，特征向量获取模块之前还包括模型获取模块，用于获取视频样本以及循环神经网络模型，视频样本包括唇语图像以及与唇语图像对应的唇语识别结果；模型训练模块，用于将唇语图像作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型；特征向量获取模块还用于通过已训练的循环神经网络模型对嘴唇图像序列进行特征提取。
在一个实施例中，模型训练模块之前还包括音节粘连获取模块，用于对视频样本进行图像处理，得到音节粘连数据；模型训练模块用于将唇语图像以及音节粘连数据作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型。
在一个实施例中，音节粘连获取模块包括第一转化单元，用于将视频样本转化为口型序列图片；口型识别单元，用于对口型序列图片进行口型识别，得到口型序列；第二转化单元，用于将口型序列转化为音节序列，基于预设语义库以及音节序列，得到音节粘连数据。
在一个实施例中，认证模块包括相似度获取单元，用于获取唇语特征认证信息与唇语特征注册信息之间的相似度；相似度比较单元，用于当唇语特征认证信息与唇语特征注册信息之间的相似度大于预设阈值时，得到待认证用户通过认证的认证结果。
关于身份认证装置的具体限定可以参见上文中对于身份认证方法的限定，在此不再赘述。上述身份认证装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种身份认证方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待认证用户的认证请求，认证请求携带待认证用户的用户标识以及待认证用户的认证视频；对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息；根据用户标识查找预设用户注册信息，得到与用户标识对应的唇语特征注册信息；当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将嘴唇图像序列对应的视频块划分为多个子视频块；将各个子视频块分别通过第一独立子空间分析进行特征向量提取，得到第一特征向量集合；对第一特征向量集合中的特征向量进行降维处理，将降维处理后的特征向量输入第二独立子空间分析，得到第二特征向量集合；根据第一特征向量集合和第二特征向量集合，得到嘴唇图像序列的特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取视频样本以及循环神经网络模型，视频样本包括唇语图像以及与唇语图像对应的唇语识别结果；将唇语图像作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型；通过已训练的循环神经网络模型对嘴唇图像序列进行特征提取。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对视频样本进行图像处理，得到音节粘连数据；将唇语图像以及音节粘连数据作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将视频样本转化为口型序列图片；对口型序列图片进行口型识别，得到口型序列；将口型序列转化为音节序列，基于预设语义库以及音节序列，得到音节粘连数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取唇语特征认证信息与唇语特征注册信息之间的相似度；当唇语特征认证信息与唇语特征注册信息之间的相似度大于预设阈值时，得到待认证用户通过认证的认证结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待认证用户的认证请求，认证请求携带待认证用户的用户标识以及待认证用户的认证视频；对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息；根据用户标识查找预设用户注册信息，得到与用户标识对应的唇语特征注册信息；当唇语特征认证信息与唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将嘴唇图像序列对应的视频块划分为多个子视频块；将各个子视频块分别通过第一独立子空间分析进行特征向量提取，得到第一特征向量集合；对第一特征向量集合中的特征向量进行降维处理，将降维处理后的特征向量输入第二独立子空间分析，得到第二特征向量集合；根据第一特征向量集合和第二特征向量集合，得到嘴唇图像序列的特征向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取视频样本以及循环神经网络模型，视频样本包括唇语图像以及与唇语图像对应的唇语识别结果；将唇语图像作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型；通过已训练的循环神经网络模型对嘴唇图像序列进行特征提取。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对视频样本进行图像处理，得到音节粘连数据；将唇语图像以及音节粘连数据作为循环神经网络模型的输入，将唇语识别结果作为循环神经网络模型的输出，对循环神经网络模型进行训练，得到已训练的循环神经网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将视频样本转化为口型序列图片；对口型序列图片进行口型识别，得到口型序列；将口型序列转化为音节序列，基于预设语义库以及音节序列，得到音节粘连数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取唇语特征认证信息与唇语特征注册信息之间的相似度；当唇语特征认证信息与唇语特征注册信息之间的相似度大于预设阈值时，得到待认证用户通过认证的认证结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种身份认证方法，所述方法包括：
获取待认证用户的认证请求，所述认证请求携带待认证用户的用户标识以及待认证用户的认证视频；
对所述认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；
对所述嘴唇图像序列进行特征提取，得到所述嘴唇图像序列的特征向量，以所述特征向量为唇语特征认证信息；
根据所述用户标识查找预设用户注册信息，得到与所述用户标识对应的唇语特征注册信息；
当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述嘴唇图像序列进行特征提取，得到所述嘴唇图像序列的特征向量，包括：
将所述嘴唇图像序列对应的视频块划分为多个子视频块；将各个子视频块分别通过第一独立子空间分析进行特征向量提取，得到第一特征向量集合；
对所述第一特征向量集合中的特征向量进行降维处理，将降维处理后的特征向量输入第二独立子空间分析，得到第二特征向量集合；
根据所述第一特征向量集合和所述第二特征向量集合，得到所述嘴唇图像序列的特征向量。
3.根据权利要求1所述的方法，其特征在于，所述对所述嘴唇图像序列进行特征提取之前，还包括：
获取视频样本以及循环神经网络模型，所述视频样本包括唇语图像以及与所述唇语图像对应的唇语识别结果；
将所述唇语图像作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型；
所述对所述嘴唇图像序列进行特征提取，包括：
通过所述已训练的循环神经网络模型对所述嘴唇图像序列进行特征提取。
4.根据权利要求3所述的方法，其特征在于，所述将所述唇语图像作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型之前，还包括：
对所述视频样本进行图像处理，得到音节粘连数据；
所述将所述唇语图像作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型，包括：
将所述唇语图像以及所述音节粘连数据作为所述循环神经网络模型的输入，将所述唇语识别结果作为所述循环神经网络模型的输出，对所述循环神经网络模型进行训练，得到已训练的循环神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述对所述视频样本进行图像处理，得到音节粘连数据，包括：
将所述视频样本转化为口型序列图片；
对所述口型序列图片进行口型识别，得到口型序列；
将所述口型序列转化为音节序列，基于预设语义库以及所述音节序列，得到音节粘连数据。
6.根据权利要求1所述的方法，其特征在于，所述当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果，包括：
获取所述唇语特征认证信息与所述唇语特征注册信息之间的相似度；
当所述唇语特征认证信息与所述唇语特征注册信息之间的相似度大于预设阈值时，得到待认证用户通过认证的认证结果。
7.一种身份认证装置，其特征在于，所述装置包括：
认证请求获取模块，用于获取待认证用户的认证请求，所述认证请求携带待认证用户的用户标识以及待认证用户的认证视频；
图像序列提取模块，用于对认证视频进行人脸检测以及面部特征点检测，得到嘴唇图像序列；
特征向量获取模块，用于对嘴唇图像序列进行特征提取，得到嘴唇图像序列的特征向量，以特征向量为唇语特征认证信息；
注册信息获取模块，用于根据所述用户标识查找预设用户注册信息，得到与所述用户标识对应的唇语特征注册信息；
认证模块，用于当所述唇语特征认证信息与所述唇语特征注册信息匹配时，得到待认证用户通过认证的认证结果。
8.根据权利要求7所述的装置，其特征在于，所述特征向量获取模块包括：
视频块划分单元，用于将嘴唇图像序列对应的视频块划分为多个子视频块；
向量提取单元，用于将各个子视频块分别通过第一独立子空间分析进行特征向量提取，得到第一特征向量集合；
降维单元，用于对第一特征向量集合中的特征向量进行降维处理，将降维处理后的特征向量输入第二独立子空间分析，得到第二特征向量集合；
输出单元，用于根据第一特征向量集合和第二特征向量集合，得到嘴唇图像序列的特征向量。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910304302.0A 2019-04-16 2019-04-16 身份认证方法、装置、计算机设备和存储介质 Pending CN110113319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910304302.0A CN110113319A (zh) 2019-04-16 2019-04-16 身份认证方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910304302.0A CN110113319A (zh) 2019-04-16 2019-04-16 身份认证方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110113319A true CN110113319A (zh) 2019-08-09

Family

ID=67485500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910304302.0A Pending CN110113319A (zh) 2019-04-16 2019-04-16 身份认证方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110113319A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955874A (zh) * 2019-10-12 2020-04-03 深圳壹账通智能科技有限公司 身份验证方法、装置、计算机设备和存储介质
CN111242029A (zh) * 2020-01-13 2020-06-05 湖南世优电气股份有限公司 设备控制方法、装置、计算机设备和存储介质
CN111507165A (zh) * 2020-01-21 2020-08-07 北京明略软件***有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN111523405A (zh) * 2020-04-08 2020-08-11 绍兴埃瓦科技有限公司 人脸识别方法、***及电子设备
CN111666820A (zh) * 2020-05-11 2020-09-15 北京中广上洋科技股份有限公司 一种讲话状态识别方法、装置、存储介质及终端
CN112055013A (zh) * 2020-09-01 2020-12-08 好活（昆山）网络科技有限公司 一种自动化认证方法、装置、设备和存储介质
CN112132095A (zh) * 2020-09-30 2020-12-25 Oppo广东移动通信有限公司 危险状态的识别方法、装置、电子设备及存储介质
CN112417497A (zh) * 2020-11-11 2021-02-26 北京邮电大学 隐私保护方法、装置、电子设备及存储介质
CN113314125A (zh) * 2021-05-28 2021-08-27 深圳市展拓电子技术有限公司 监室对讲机声纹识别方法、***及存储器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201679A1 (zh) * 2015-06-18 2016-12-22 华为技术有限公司 特征提取方法、唇语分类方法、装置及设备
CN106778496A (zh) * 2016-11-22 2017-05-31 重庆中科云丛科技有限公司 活体检测方法及装置
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
CN108491808A (zh) * 2018-03-28 2018-09-04 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109409195A (zh) * 2018-08-30 2019-03-01 华侨大学 一种基于神经网络的唇语识别方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201679A1 (zh) * 2015-06-18 2016-12-22 华为技术有限公司 特征提取方法、唇语分类方法、装置及设备
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
CN106778496A (zh) * 2016-11-22 2017-05-31 重庆中科云丛科技有限公司 活体检测方法及装置
CN108491808A (zh) * 2018-03-28 2018-09-04 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109409195A (zh) * 2018-08-30 2019-03-01 华侨大学 一种基于神经网络的唇语识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨龙生等: "用于可靠身份认证的唇语识别", 《电视技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955874A (zh) * 2019-10-12 2020-04-03 深圳壹账通智能科技有限公司 身份验证方法、装置、计算机设备和存储介质
CN111242029A (zh) * 2020-01-13 2020-06-05 湖南世优电气股份有限公司 设备控制方法、装置、计算机设备和存储介质
CN111507165A (zh) * 2020-01-21 2020-08-07 北京明略软件***有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN111523405A (zh) * 2020-04-08 2020-08-11 绍兴埃瓦科技有限公司 人脸识别方法、***及电子设备
CN111666820A (zh) * 2020-05-11 2020-09-15 北京中广上洋科技股份有限公司 一种讲话状态识别方法、装置、存储介质及终端
CN111666820B (zh) * 2020-05-11 2023-06-20 北京中广上洋科技股份有限公司 一种讲话状态识别方法、装置、存储介质及终端
CN112055013A (zh) * 2020-09-01 2020-12-08 好活（昆山）网络科技有限公司 一种自动化认证方法、装置、设备和存储介质
CN112132095A (zh) * 2020-09-30 2020-12-25 Oppo广东移动通信有限公司 危险状态的识别方法、装置、电子设备及存储介质
CN112132095B (zh) * 2020-09-30 2024-02-09 Oppo广东移动通信有限公司 危险状态的识别方法、装置、电子设备及存储介质
CN112417497A (zh) * 2020-11-11 2021-02-26 北京邮电大学 隐私保护方法、装置、电子设备及存储介质
CN112417497B (zh) * 2020-11-11 2023-04-25 北京邮电大学 隐私保护方法、装置、电子设备及存储介质
CN113314125A (zh) * 2021-05-28 2021-08-27 深圳市展拓电子技术有限公司 监室对讲机声纹识别方法、***及存储器

Similar Documents

Publication Publication Date Title
CN110113319A (zh) 身份认证方法、装置、计算机设备和存储介质
Gao et al. Discriminative multiple canonical correlation analysis for information fusion
Yang et al. Preventing deepfake attacks on speaker authentication by dynamic lip movement analysis
CN104361276B (zh) 一种多模态生物特征身份认证方法及***
US6219639B1 (en) Method and apparatus for recognizing identity of individuals employing synchronized biometrics
US20210327431A1 (en) 'liveness' detection system
Revett Behavioral biometrics: a remote access approach
WO2016172872A1 (zh) 用于验证活体人脸的方法、设备和计算机程序产品
CN106778450B (zh) 一种面部识别方法和装置
CN111079791A (zh) 人脸识别方法、设备及计算机可读存储介质
Mandalapu et al. Audio-visual biometric recognition and presentation attack detection: A comprehensive survey
Saeed New directions in behavioral biometrics
Cheng et al. Visual speaker authentication with random prompt texts by a dual-task CNN framework
CN112507311A (zh) 一种基于多模态特征融合的高安全性身份验证方法
CN115511704B (zh) 一种虚拟客服生成方法、装置、电子设备及存储介质
JP7412496B2 (ja) 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
CN110364163A (zh) 一种语音和唇语相融合的身份认证方法
Fernández New methodology for the integration of biometric features in speaker recognition systems applied to security environments
CN116883900A (zh) 一种基于多维生物特征的视频真伪鉴别方法和***
Uzan et al. I know that voice: Identifying the voice actor behind the voice
Baró et al. Biometric tools for learner identity in e-assessment
Chen et al. An Identity Authentication Method Based on Multi-modal Feature Fusion
Koch et al. One-shot lip-based biometric authentication: Extending behavioral features with authentication phrase information
Czyz et al. Scalability analysis of audio-visual person identity verification
Wang et al. Listen, Decipher and Sign: Toward Unsupervised Speech-to-Sign Language Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190809