CN103440686A

CN103440686A - 基于声纹识别、头像识别及位置服务的移动身份验证***和方法

Info

Publication number: CN103440686A
Application number: CN2013103212869A
Authority: CN
Inventors: 范雨晨; 李征; 杨荔雅; 符天凡; 俞凯; 王艳龙
Original assignee: Shanghai Jiaotong University; Suzhou Speech Information Technology Co Ltd
Current assignee: Shanghai Jiaotong University; Suzhou Speech Information Technology Co Ltd
Priority date: 2013-07-29
Filing date: 2013-07-29
Publication date: 2013-12-11

Abstract

本发明提供了一种语音、图像等多模态高精度联合身份验证***与基于位置信息的签到***融合的移动身份验证***和方法。使用了声纹识别、人脸识别和位置信息联合动态验证，验证结果更全面可靠。使用手持设备支持大规模群体同时验证，大幅提高了验证速度。整个验证过程都由服务器自动完成，操作十分方便。

Description

基于声纹识别、头像识别及位置服务的移动身份验证***和方法

技术领域

本发明涉及网络通信领域，尤其涉及一种使用移动终端设备(如手机、平板电脑等)进行身份验证的方法及***，进一步涉及一种联合声纹识别、头像识别、定位技术多模态信息的进行身份验证的方法及***。

背景技术

身份验证***在许多领域都有非常广泛的应用，例如：企业考勤，课堂签到等。传统的打卡机不仅效率不高而且身份验证的可靠性也无法保证，新近的***机采用了更可靠的安全机制却仍旧无法解决效率的问题。面对效率问题，传统的方法只能通过购买更多的设备来解决，而传统的设备只能固定在某个专门的位置而且只能为特定一类事件提供服务，采用这样的解决方法显然会大幅增加成本。

我们发现利用现有的移动终端是一种非常简单经济的解决方案，利用这些设备将直接使人事成本降到最低。当前移动设备中已有许多基于位置的签到服务(如“街旁”等)，但是这些应用并没有包含身份验证的功能，也就意味着这些应用只能局限于娱乐，无法进行严肃的商业应用。

传统的考勤设备有着诸多的缺点，例如：设备部署成本高、验证方式单一和便携性较差等诸多缺点。正是由于这些问题，导致了传统设备应用场景的局限性。

发明内容

为改变这一现状，我们将语音、图像等多模态高精度联合身份验证***与基于位置信息的签到***融合，设计出新一代的移动身份验证***。此***具有高效、精确、经济等多方面优势，所以其应用场景将不仅限于企业学校签到，例如：服务行业中会员用户的身份验证，定向越野比赛中宣誓定点签到，犯人在保外就医或监视居住期间定时定点的身份验证等。

本发明提供了一种语音、图像等多模态高精度联合身份验证***与基于位置信息的签到***融合的移动身份验证***，包括：

语音声纹训练单元，用于提取语音信号的声学特征，训练生成用户的语音声纹模型，该声纹模型将用于用户的语音识别验证；

语音声纹验证单元，用于比较用户的输入语音与用户的语音声纹模型的相似度，通过该单元的对比验证用户的身份；

脸部探测识别单元，通过检测用户脸部五官的特征，判断脸部位置，返回脸部信息；

脸部相似度比较单元，通过对比两张脸部图像的特征，判断五官的相似度，并输出综合判定的综合相似度；

综合验证单元，用于对脸部相似度比较单元、语音声纹验证单元以及地理位置信息的综合评估，输出最终的评估结果。

本发明还提供了一种语音、图像、基于位置信息等的多模态高精度联合身份验证方法，其特征在于在采用传统语音、身份、面部的身份识别方法的基础上，实现了多模态高精度联合身份认证，该方法避免了单一身份认证不准确性，并且能够高效、快速地进行身份验证。该联合身份认证方法具体包括如下步骤：

第一步：在当前用户初次登录状态上，通过终端采样用户的脸部图像，用脸部探测识别单元检测该脸部的特征值，并存入该用户的数据库之中。再通过终端采样用户的声音，用语音声纹训练模块对输入的声音进行训练生成该用户的语音声纹引擎；

第二步：在当前用户初次登录状态上，且未注册签到地点的情况下，向***提交未来将签到的地址，***将该用户信息放入***数据库中；

第三步：在当前用户已经产生了语音声纹引擎后，用户向***提交自己当前的语音采样，***创建并初始化语音识别引擎，并把语音样本输入语音识别引擎，引擎将输出语音相似度，并记录在该次验证的结果数据库中；

第四步：在当前用户已经注册了面部后，用户向***提交自己当前的脸部采样，***创建并初始化脸部检测引擎，并把脸部样本输入脸部检测引擎，引擎将脸部图像输出。然后，***创建生成脸部识别引擎，并把数据库中注册的脸部与当前用户上传的脸部输入到脸部识别引擎之中，引擎将输出脸部相似程度，并记录在该次验证的结果数据库中；

第五步：在用户进行验证的过程中，终端将采集当前地理位置信息，成功采集之后，后台***将会把地理位置信息记录在该次验证的结果数据库中；

第六步：在用户提交了所有验证信息之后，***将对语音、图像、位置等信息进行联合认证，采用加权评估方法，对每一项的识别精度进行加权，并对所有项的加权值进行乘积运算，若达到认可阈值，且单项识别度不得低于其设定最低阈值，则可以认为联合认证通过。

上述移动身份验证***中，用于实现联合认证的方式并不限于权值加总，任何其他可以对多项识别结果进行联合判定的方式都可以用于实现联合认证。

附图说明

图1是语音、图像、基于位置信息等的多模态高精度联合身份验证***总体结构。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1给出了语音、图像、基于位置信息等的多模态高精度联合身份验证***总体结构，该***主要由脸部探测识别单元、语音声纹训练单元、语音声纹验证单元、脸部相似度比较单元、地理信息采样单元、综合验证单元组成。

脸部探测识别单元：通过检测用户脸部五官的特征，判断脸部位置，提取脸部信息。

脸部相似度比较单元：通过对比两张脸部图像的特征，判断五官的相似度，并输出综合判定的综合相似度；

语音声纹训练单元：用于提取语音信号的声学特征，训练生成用户的语音声纹模型，该声纹模型将用于用户的语音识别验证；

语音声纹验证单元：用于比较用户的输入声纹与用户的语音声纹模型的差值，通过该单元的对比验证用户的身份；

地理信息采样单元：用于采样当前终端的地理信息位置，通过球面坐标运算得到与签到地点的距离，进行地理位置的验证；

综合验证单元：用于对脸部相似度比较单元、语音声纹验证单元以及地理位置信息的综合评估，输出最终的评估结果；

所述的联合认证算法包括但不限于以下几种方式：

(1)采用加权评估方法：对每一项的识别精度进行加权，并对所有项的加权值进行乘积运算，若达到认可阈值，且单项识别度不得低于其设定最低阈值，则可以认为联合认证通过。

其中，c_i为第i项的识别权值，d_i为第i项的识别度，v_i为第i项的加权识别度，δ_i为第i项的最低要求识别度，θ为联合识别度。

(2)0，1判定法：对于每个验证单元只能输出1和0时，我们采用0，1判定，必须所有想的识别度为1时，最终的验证结果才能为1。

θ = Π_{1}^{n} v_{i}

其中，v_i为第i项的加权识别度，θ为联合识别度。

(3)三阈值判定法：对于验证单元能输出1和0且能设定验证的阈值的时，我们采用三次阈值来判定得到较精确的识别度。第一次用初始设定阈值进行验证，若验证通过，则提高阈值再次验证；若验证未通过则降低阈值再次验证。重复三次验证，每次验证的结果为1或0，三次结果组成一个3位的二进制数作为该项目验证的识别度。由于初始的阈值对结果影响最大，所以把前面的结果作为二进制数高位，最后的验证结果为低位，得到的识别度为d_i。这样得到了单项识别度之后，则可以得到联合识别度：

θ = Π_{1}^{n} d_{i}

其中，d_i为第i项的识别度，θ为联合识别度。

下面进一步以移动注册签到为例进行说明。传统的签到采用的打卡或者签名的方式进行签到注册，若签到人数很多，不仅会带来拥挤，对于组织签到方也需要承担很多的人力成本和设备成本。采用本***可以利用签到者的手机终端进行准确快捷的签到，从而提高了签到效率，降低了签到成本。

初次使用本***的时候，用户需要进行注册个人信息、地理信息并提取自己的脸部样本和训练自己的声纹模型。在进行签到时，用户需要向***提交当前的脸部图像和语音样本，***会根据数据库中保留的脸部模型和声音模型进行识别，再根据用户终端的地理信息，进行联合认证用户身份。人脸识别和语音识别较高程度的保证了签到人的真是身份，地理信息的验证保证了地理位置的准确性，从而达到了高准确度的联合身份认证。

本发明所述的语音、图像等多模态高精度联合身份验证***与基于位置信息的签到***融合的移动身份验证***具有如下的优点：整个***的设备，包括身份验证服务器、移动身份验证终端及***，只需在服务器和移动设备上部署软件即可使用，节省了设备成本。使用了声纹识别、人脸识别和位置信息联合动态验证，验证结果更全面可靠。使用手持设备支持大规模群体同时验证，大幅提高了验证速度。整个验证过程都由服务器自动完成，操作十分方便。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等，均就包含在本发明的保护范围之内。又如：结合地理信息和面部识别的联合认证，结合地理信息和语音识别的联合认证以及其他联合认证结合方式。

Claims

1.一种移动身份验证***，将多模态高精度联合身份验证***与基于位置信息的签到***融合，包括：

语音声纹验证单元，用于比较用户的输入声纹与用户的语音声纹模型的相似度，通过该单元的对比验证用户的身份；

综合验证单元，用于对脸部相似度比较单元、语音声纹验证单元以及地理位置信息三种信息进行联合验证或两两联合验证，并综合评估，输出最终的评估结果。

2.如权利要求1所述的移动身份验证***，其特征在于，所述的联合验证基于如下算法中的一种或几种的结合：

其中，v_i为第i项的加权识别度，θ为联合识别度。

其中，d_i为第i项的识别度，θ为联合识别度。

3.一种移动身份验证方法，将多模态高精度联合身份验证***与基于位置信息的签到***融合，包括：

第一步：在当前用户初次登录状态上，通过终端采样用户的脸部图像，用脸部探测识别单元检测该脸部的特征值，并存入该用户的数据库之中，再通过终端多次采样用户的声音，用语音声纹训练模块对输入的声音进行训练生成该用户的语音声纹引擎；

第四步：在当前用户已经注册了面部后，用户向***提交自己当前的脸部采样，***创建并初始化脸部检测引擎，并把脸部样本输入脸部检测引擎，引擎将脸部图像输出，然后，***创建生成脸部识别引擎，并把数据库中注册的脸部与当前用户上传的脸部输入到脸部识别引擎之中，引擎将输出脸部相似程度，并记录在该次验证的结果数据库中；

4.如权利要求3所述的移动身份验证方法，其特征在于，所述的联合验证基于如下算法中的一种或几种的结合：

(1)采用加权评估方法：对每一项的识别精度进行加权，并对所有项的加权值进行乘积运算，若达到认可阈值，且单项识别度不得低于其设定最低阈值，则可以认为联合认证通过：

其中，c_i为第i项的识别权值，d_i为第i项的识别度，v_i为第i项的加权识别度，δ_i为第i项的最低要求识别度，θ为联合识别度；

(2)0，1判定法：对于每个验证单元只能输出1和0时，采用0，1判定，必须所有项的识别度为1时，最终的验证结果才能为1：

其中，v_i为第i项的加权识别度，θ为联合识别度；

(3)三阈值判定法：对于验证单元能输出1和0且能设定验证的阈值的时，采用三次阈值来判定得到较精确的识别度，第一次用初始设定阈值进行验证，若验证通过，则提高阈值再次验证；若验证未通过则降低阈值再次验证，重复三次验证，每次验证的结果为1或0，三次结果组成一个3位的二进制数作为该项目验证的识别度，由于初始的阈值对结果影响最大，所以把前面的结果作为二进制数高位，最后的验证结果为低位，得到的识别度为d_i，这样得到了单项识别度之后，则可以得到联合识别度：

其中，d_i为第i项的识别度，θ为联合识别度。