CN201955775U - 基于声纹识别的usb身份认证*** - Google Patents

Abstract

本实用新型涉及一种基于声纹识别的USB身份认证***，属于计算机信息安全技术领域。包括用户终端和基于USB的嵌入式声纹识别硬件***，用户终端与基于USB的嵌入式声纹识别硬件***通过USB总线相连，该基于USB的嵌入式声纹识别硬件***包括用于完成认证的声纹识别运算的中央处理器，该中央处理器分别与语音采集单元、数据存储单元、电源管理模块、状态指示模块和用于连接用户终端的USB接口连接。优点在于，具有较高的安全性。本实用新型还可以提供第三方应用和服务声纹认证接口，可扩展到网络银行、电子商务、电子政务等领域。

Description

基于声纹识别的USB身份认证***

技术领域

本实用新型涉及计算机信息安全技术领域，尤其是涉及基于声纹识别的USB身份认证方法及其***。通过声纹识别的方式对用户的身份进行认证，提高计算机的安全性。

背景技术

通过查阅相关资料和有关专利，主要引证下列专利：

国名        公开号            公开日期

1.中国      CN 101340285A     2009.1.7

2.中国      CN 101819614A     2010.9.01

专利1(CN 101340285A)申请公开了利用指纹USBkey进行身份认证的方法及***。预先将用户的指纹信息录入指纹USBkey保存，生成数字证书，每个数字证书与对应的私钥加密存储在指纹USBkey上，用户与处理平台通信时，用户端的指纹USBkey先认证指纹，再用对应的私钥对需要发送的数据进行数字签名后，传送至处理平台进行身份认证。专利2(CN101819614A)公开了一种利用语音核验USBKey增强网络交易安全性的***和方法。CA和网上交易处理***通过语音核验USBKey中的数字证书确认用户身份，用户进行网上交易时输入的交易数据被通过用户终端发送给语音核验USBKey进行数据签名，语音核验USBkey对接收到的操作指令及操作结果进行语音播报，提高用户使用语音核验USBKey的操作体验，协助用户判定交易数据是否与发送到语音核验USBKey进行数据签名的交易数据一致，提高网上交易的安全性。同时语音核验USBkey也增加了指纹识别模块，利用用户的指纹信息进行身份认证。

目前基于个人计算机和网络的身份认证手段，包括PKI(Public Key Infrastructure，公钥基础设施)/CA(Certificate Authority，认证中心)、智能卡和USB证书令牌等，最终摆脱不了对“物”的依赖，都普遍存在“认物、不认人、不能识别主观意识”的致命缺陷。生物识别技术利用人的生物特征认证用户身份，将用户物理身份和数字身份相对应，成为最可靠的身份认证手段。尽管上述专利将指纹识别技术与USBkey结合在一起，提高网络交易的安全性，但对于解决本申请的技术要求方面主要存在下面问题：上述专利主要应用于提高网络交易的安全性问题，需要与CA中心与网络交易平台相连。

发明内容

本实用新型提供一种基于声纹识别的USB身份认证方法及其***。目的在于使用用户的声纹信息对用户进行身份认证，避免因密码遗忘或泄露引发的安全问题。本实用新型采取的技术方案是：

包括用户终端和基于USB的嵌入式声纹识别硬件***，用户终端与基于USB的嵌入式声纹识别硬件***通过USB总线相连，该基于USB的嵌入式声纹识别硬件***包括用于完成认证的声纹识别运算的中央处理器，该中央处理器分别与语音采集单元、数据存储单元、电源管理模块、状态指示模块和用于连接用户终端的USB接口连接。

本实用新型一种实施方式是，基于USB的嵌入式声纹识别硬件***的数据存储单元中包括，程序和声纹数据库存储空间模块、安全存储空间模块、公开存储空间模块；其中程序和声纹数据库存储空间模块存储程序代码、用户的声纹信息模板和语音答案，安全数据存储模块和公开存储空间模块采用大容量FLASH存储器实现，其中公开存储空间模块用户可以对其中的数据进行自由操作，而安全数据存储模块的操作则需要认证用户的声纹。

本专利是针对用户个人计算机信息安全管理的便携式产品，只需要用户终端和基于USB的嵌入式声纹识别硬件***。与指纹识别技术相比，声纹识别技术使用方便，更易于接受。蕴含声纹特征的语音获取方便和自然，声纹提取可在不知不觉中完成，使用者的接受程度高。声纹的获取不需要很复杂的硬件，一个麦克风即可，在使用通信设备时更无需额外录音设备。声纹识别技术适合远程身份确认。只需要一个麦克风、电话或手机就可以通过网络(通信网络或互联网络)实现远程登录。除此之外，声纹识别算法的复杂度低，可以配合其他措施，如通过语音识别进行内容鉴别等，二者自然结合可以实现双重安全认证，进一步增强安全强度。

本实用新型的优点在于，使用用户的声纹信息对用户进行身份认证，避免因密码遗忘或泄露引发的安全问题。基于声纹识别的USB身份认证***可以关联各项身份认证，结合语音识别的声纹识别算法，每次发音由随机提示问题控制，防止录音、模仿，声纹认证方法在基于USB的嵌入式声纹识别硬件***中实现，识别准确、声纹对比速度快，完全能满足***实时性的要求，且用户的声纹信息存储在基于USB的嵌入式声纹识别硬件***中，更加安全、可靠。采用闪存介质，具有强大的防摔抗震性质。能作为声纹加密U盘使用，即使基于USB的嵌入式声纹识别硬件***丢失，存储在其安全数据空间数据也不能被打开，具有较高的安全性。本实用新型还可以提供第三方应用和服务声纹认证接口，可扩展到网络银行、电子商务、电子政务等领域。

附图说明

图1是本实用新型的原理示意图。

图2是本实用新型的中央处理器DSP与AIC23的接口框图。

图3是用户终端为个人电脑时***的电源管理模块电路图。

图4是本实用新型基于声纹识别的USB身份认证方法的流程图。

图5是本实用新型的用户的声纹信息录入的流程图。

图6是本实用新型的声纹认证过程的流程图。

图7是本实用新型取消用户终端数据声纹加密的流程图。

图8是TMS320VC5509作为USB设备时数据传输的过程。

图9是AIC23电路原理图。

具体实施方式

本实用新型公开了一种基于声纹识别的USB身份认证方法及其***。基于声纹识别的USB身份认证***包括用户终端101和基于USB的嵌入式声纹识别硬件***103，如图1所示。用户终端101与基于USB的嵌入式声纹识别硬件***103通过USB总线102相连。用户终端101可以是个人计算机、手机、掌上电脑PDA(Personal Digital Assistant)等具有处理能力且设置由USB主接口的其他设备；基于USB的嵌入式声纹识别硬件***103包括中央处理器201、语音信号采集模块202、***数据存储模块203、电源管理模块204、状态指示模块205、USB接口206。USB接口206用于连接用户终端。上述***以中央处理器201为核心，控制语音信号采集模块202、***数据存储模块203、电源管理模块204、状态指示模块205、USB接口206。其中，中央处理器201采用TI公司的带有USB接口模块的TMS320VC5509DSP数字信号处理器，用于认证的声纹识别算法，控制***芯片的接口操作。

语音信号采集模块202由麦克和可编程增益、采样率调节A/D转换器组成，由中央处理器201控制完成语音信号的增益控制和数字化处理。图2给出了TMS320VC5509DSP与AIC23的接口框图。

***数据存储模块203包括程序和声纹数据库存储空间模块、安全存储空间模块、公开存储空间模块。其中程序和声纹数据库存储空间模块存储程序代码、用户的声纹信息模板和语音答案。安全数据存储模块和公开存储空间模块采用大容量FLASH存储器实现，其中公开存储空间模块用户可以对其中的数据进行自由操作，而安全数据存储模块的操作则需要认证用户的声纹。

***的电源管理模块204通常由电源转换芯片电路实现，以提供中央处理器、FLASH存储器等器件的工作电压。***无需外接电源，可以通过USB接口从用户终端的USB总线上获得电压。对于不同的用户终端，其USB总线所提供的电压也不同，可以使用可编程线性电压调节器，如美国MAXIM公司生产的MAX667，对USB总线电压进行电压转换，使电压满足电源转换芯片的电压要求。图3给出了用户终端为个人电脑时***的电源管理模块电路图。当用户终端为个人电脑时，此时USB总线上的输出电压为5V，可以直接采用TI公司生产的专门为数字信号处理器供电的电源转换芯片TPS767D301实现电压的转换。该芯片其标准输入为5V，与USB总线输出电压相同，标准输出为+3.3V和+1.6V。其+3.3V输出不仅为中央处理器供电，还为***中所有+3.3V器件提供电源。1.6V为TMS320VC5509DSP提供工作电压。

***状态指示模块205由三个指示灯和一个蜂鸣器组成，指示***当前的状态并在用户声纹信息录入的过程中，提示用户进行相应的操作。

DSP芯片TMS320VC5509集成了一个USB控制模块，可以完成和USB主机***之间的读写操作，具有无需外加逻辑电路、使用方便等优点。这里USB接口206使用TMS320VC5509的片上USB模块实现，能够完成DSP与用户终端之间的数据通信。图8给出了TMS320VC5509作为USB设备时数据传输的过程。IN事务中，SIE(串行接口引擎)从UBM(缓冲管理器)接收数据，转换成串行数据流后送给用户终端(主机)。OUT事务中，SIE将主机的串行数据转换成UBM的并行格式。UBM在SIE和缓冲器RAM之间传输数据。在UBM将数据传输到SIE之前，CPU或USB的DMA控制器必须将数据存放在缓冲器RAM中。当CPU或DMA控制器已经准备好将数据移入DSP的存储器时，必须等待UBM把数据从SIE移到缓冲器RAM。

本实用新型基于声纹识别的USB身份认证方法的流程图如图4所示。对于初次使用基于声纹识别的USB身份认证***的用户，首先要将基于USB的嵌入式声纹识别硬件******用户终端，用户终端设置有控制程序，按照用户终端的提示录入用户的声纹信息，并对其进行存储。然后在用户终端上，选定需要声纹身份认证的声纹加密数据，实现声纹加密设置。用户在用户终端上访问数据时，用户终端***首先会判断该数据是否被声纹加密，如果没有被声纹加密，则用户可以直接访问，并进行相应操作，如拷贝、删除等。如果数据被声纹加密，用户终端***会提示用户***声纹录入时使用的USB的嵌入式声纹识别硬件***，并输入认证语音进行声纹认证。如果用户的声纹信息认证成功，则用户可以对声纹加密的数据进行访问和操作，否则，无法访问和操作。

基于声纹识别的USB身份认证方法主要包括数据的声纹加密和声纹认证两个过程。在数据的声纹加密过程中，用户的声纹信息录入的流程图如图5所示。用户在录入信息时，

(a)用户终端提示用户声纹录入时需要语音回答的问题，通常有4个或5个问题，这些问题通常是和用户有关的一些基本信息，如自己或父母的生日、电话等，且语音答案的形式通常为连续的数字串形式。

(b)用户在基于USB的嵌入式声纹识别硬件***上输入语音答案。

(c)基于USB的嵌入式声纹识别硬件***采集用户的语音，并对这些语音答案进行特征参数提取，形成语音答案模板和说话人声纹信息模板，将形成的模板存储在基于USB的嵌入式声纹识别硬件***的声纹数据库存储空间模块中。

(d)基于USB的嵌入式声纹识别硬件***通过USB接口将用户声纹信息录入成功的信号传输到用户终端，由用户终端提示声纹信息录入成功。

用户在录入声纹信息时，其步骤(c)需要形成用户的语音答案模板和说话人的声纹信息模板，其具体实现算法如下：

(i)语音答案模板的形成

步骤1：基于USB的嵌入式声纹识别硬件***采集用户的语音答案，并对采集的语音答案进行预处理，预处理包括信号的分帧、加窗、连续数字串的分割、预加重。

步骤2：用户语音答案数字串被分割为D个数字O＝{O¹，O²，...O^D}，对每个数字分别提取基于核PCA的Gammachip特征参数。提取过程如下：

设Xt(p)，p＝0...，N-1，t＝1，...T为经过预处理后的信号，N为每帧的点数，T为信号分帧的帧数。

首先对每帧语音信号X_t(p)进行离散FFT变换，取模的平方得到离散功率谱S_t(n)，n＝0，…，N/2。

Y_t(n)＝FFT(X_t(p))，S_t(n)＝|Y_t(n)|²                            (1)

然后计算S_t(n)通过各H_m(n)后得到的功率值，即计算S_t(n)和H_m(n)在各离散频率点上乘积之和，得到每帧信号的M个参数P_t(m)，m＝0，…，M-1，t＝1，…，T。

$P_t\left(m\right)=\underset{n=0}{\overset{N/2}{\mathrm{\Σ}}}{H}_m\left(n\right)S_t\left(n\right)---\left(2\right)$

其中H_m(n)是在语音的频谱范围内设置的若干个Gammachip滤波器组H_m(n)，m＝0，…，M-1；n＝0，…，N/2，M为滤波器个数，N为一帧语音信号的点数。H_m(n)可以由Gammachip滤波器组的冲激响应g_c(t)的功率谱得到。

g_c(t)＝at^n-1exp(-2πbERB(f_r)t)·exp(j2π·f_rt+jclnt+φ)

上式中时间t＞0，a为振幅，n与b为改变gamma函数分布情况的参数，ERB(f_r)是中心频率为f_r的听觉滤波器之ERB的值ERB(f_r)＝24.7+0.108f_r。

在得到所有帧信号的Gammachip特征参数P_t(m)，m＝0，…，M-1，t＝1，…，T以后，采用核PCA的多元统计分析，对P_m进行降维处理。过程如下：

1.对P_t(m)，m＝0，…，M-1，t＝1，…，T向量序列中心化。计算均值向量

得到中心化后的向量序列P′_t(m)＝P_t(m)-μ，t＝1，...，T。

2.计算P_t(m)的核矩阵

其中J为M*1的单位矢量，K为两个参数P_t(m)和P_i(m)之间的核矩阵为

i＝1，...T，m＝1，...T。其中σ为高斯核函数的核宽度。

3.计算矩阵K的前k个最大特征值λ_i，i＝1...k和对应的特征向量v_i，i＝1...k。

4.计算变换后的特征参数

其中 ${\mathrm{\α}}^j=\frac{1}{\sqrt{{\mathrm{\λ}}_j}}{v}_j,j=1,...k$

经过核PCA变换后，新特征向量的维数为k维。

步骤3：将每个数字所对应的特征参数分别与基于USB的嵌入式声纹识别硬件***中存储的事先训练好的0-9数字的语音模型进行得分匹配，找到每个数字得分最大的模型所对应的数字，作为语音答案的模板存储在基于USB的嵌入式声纹识别硬件***中。

设第d个数字O^d所对应的特征参数为分别计算

与基于USB的嵌入式声纹识别硬件***中存储的事先训练好的0-9数字的语音模型Λ_i，i＝0，...，9的匹配，其中Λ_i，i＝0，...，9采用基于连续隐马尔科夫的模型训练方法。如果第d个数字O^d所对应的特征参数

与第q个模型的得分最大，即

则该数字被识别为数字q，令s_b(j)＝q。此时，用户终端提示用户需要语音回答的第b个问题所对应的语音答案模板为{s_b(j)}，b＝1，...，Q，j＝1，...W_b，其中Q为用户终端提示用户声纹录入时需要语音回答的问题总数，W_b为第b个问题用户语音***含数字的个数。

(2)用户声纹模板的形成

步骤1：***对基于USB的嵌入式声纹识别硬件***采集的用户语音答案，进行预处理，包括信号的分帧、加窗、端点检测、预加重。

步骤2：对预处理后的数据，提取基于核PCA的Gammachip特征参数

(提取过程同语音模板生成的步骤2)。

步骤3：利用基于核PCA的Gammachip特征参数

生成GMM-UBM模型Λ_s＝{w_l，μ_l，∑_l}，l＝1，...，R，将每个混合度的均值向量μ_l连接在一起形成GMM-UBM超向量X＝[μ₁μ₂...μ_R]^T。

步骤4：将X＝[μ₁μ₂...μ_R]^T作为输入，训练基于GMM-UBM超向量的支持向量机说话人模型。构造分类函数使对样本X进行分类时的错误概率尽可能小。

这里求解对偶方程(1)和(2)，并根据Karush-Kuhn-Tucker(KKT)条件，得到α_i ^*和参数b^*。

$\max H\left(a\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i-\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{y}_j{a}_i{a}_{j}K(x_i,x_j)---\left(1\right)$

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{a}_i=0,a_i\≥0,i=\mathrm{1,2},...n---\left(2\right)$

其中K(x_i，x_j)为样本X中两个特征矢量的核函数。y_i是样本x_i所对应的类别标号，a_i≥0为Lagrange系数。

将α_i ^*≠0所对应的样本向量x_j、类别标号y_j及参数b^*作为说话人的声纹模型进行存储。

基于声纹识别的USB身份认证方法中声纹认证过程的流程图如图6所示。用户在进行身份认证时，

(a)用户终端随机抽取一个声纹录入时用户语音回答的问题，提示用户输入声纹认证语音；

(b)用户在基于USB的嵌入式声纹识别硬件***上输入语音答案；

(c)基于USB的嵌入式声纹识别硬件***采集用户的认证语音，提取用户认证语音的特征参数，然后将特征参数分别与语音答案模板和说话人声纹信息模板进行比对，计算两个匹配值；

(d)如果用户的语音答案正确，且用户的声纹信息比对成功，则用户的声纹认证通过，否则，用户的声纹认证失败，如果用户声纹认证的重试次数没有达到规定次数，则用户终端会重新从声纹录入时用户已经用语音回答的问题中随机抽取一个，等待用户进行语音回答，在规定的次数内对用户的声纹重新进行认证；否则，如果用户在规定的重试次数内仍然认证失败，则基于USB的嵌入式声纹识别硬件***会被锁死。

用户在进行声纹认证时，其步骤(c)包括语音答案模板比对和说话人声纹信息模板比对。

(i)语音答案模板比对

设用户终端随机抽取第b个声纹录入时用户语音回答的问题，用户认证语音经预处理、特征提取后，用户认证语音数字串被分割为D_r个数字，设第d个数字的基于核PCA的Gammachip特征参数为

D_r为用户认证语音分割数字的个数，T_d为第d个被分割的数字特征参数的个数。如果用户认证语音包含的数字的个数D_r不等于第b个问题用户语音***含数字的个数W_b，则认为用户的语音答案不正确。否则，根据语音答案模板{s_b(d)}，d＝1，...W_b找到第b个问题所对应的所有语音答案的模型，依次计算每个分割数字的特征参数与模型Λ(s_b(d))的匹配得分。如果每个分割数字的匹配得分都小于设定的阈值，则认为用户的语音答案正确，否则，用户的语音答案不正确。

(ii)说话人声纹信息模板比对

设

为认证语音经预处理、特征提取后得到的基于核PCA的Gammachip特征参数，根据用户声纹信息录入时产生的模型参数α_i ^*、x_i、y_i及参数b^*，计算判别函数

的值。

为两个向量之间的核函数。如果

则认为是用户的认证语音是用户所说，用户的声纹信息比对成功。否则

用户的声纹信息比对失败。

图7是取消用户终端数据声纹加密的流程图。如果要取消用户端***数据的声纹加密，用户需要***声纹录入时使用的USB的嵌入式声纹识别硬件***，并将进行声纹认证。如果声纹认证通过，则在用户终端的控制程序中选择需要取消声纹加密的数据，然后重启用户终端，此时，该部分数据的声纹加密就取消了，用户可以不用声纹认证直接对数据进行访问。否则，用户可以重试，只要在规定的重试次数内声纹认证成功，用户可以取消数据的声纹加密，否则，基于USB的嵌入式声纹识别硬件***将被锁死。

Claims (2)

1.一种基于声纹识别的USB身份认证***，其特征在于，包括用户终端和基于USB的嵌入式声纹识别硬件***，用户终端与基于USB的嵌入式声纹识别硬件***通过USB总线相连，该基于USB的嵌入式声纹识别硬件***包括用于完成认证的声纹识别运算的中央处理器，该中央处理器分别与语音采集单元、数据存储单元、电源管理模块、状态指示模块和用于连接用户终端的USB接口连接。

2.根据权利要求1所述的基于声纹识别的USB身份认证***，其特征在于，基于USB的嵌入式声纹识别硬件***的数据存储单元中包括，用于存储程序代码、用户的声纹信息模板和语音答案的程序和声纹数据库存储空间模块、安全存储空间模块、公开存储空间模块，安全存储空间模块和公开存储空间模块采用大容量FLASH存储器实现。 

Images