CN112883207B - 一种基于特征融合的高安全生物哈希密文语音检索方法 - Google Patents

一种基于特征融合的高安全生物哈希密文语音检索方法 Download PDF

Info

Publication number
CN112883207B
CN112883207B CN202110136135.0A CN202110136135A CN112883207B CN 112883207 B CN112883207 B CN 112883207B CN 202110136135 A CN202110136135 A CN 202110136135A CN 112883207 B CN112883207 B CN 112883207B
Authority
CN
China
Prior art keywords
voice
chaotic
hash
sequence
ciphertext
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110136135.0A
Other languages
English (en)
Other versions
CN112883207A (zh
Inventor
黄羿博
陈德怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Normal University
Original Assignee
Northwest Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Normal University filed Critical Northwest Normal University
Priority to CN202110136135.0A priority Critical patent/CN112883207B/zh
Publication of CN112883207A publication Critical patent/CN112883207A/zh
Application granted granted Critical
Publication of CN112883207B publication Critical patent/CN112883207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于特征融合的高安全生物哈希密文语音检索方法，对输入的语音片段进行预加重、分帧和加窗函数平滑处理；融合信号在离散傅里叶变换下和离散傅里叶反变换下的语音特征；特征数据库分类，比较距离，测试样本分到权重最大类中；据改进的Marotto混沌测量矩阵选择不同密钥，构造单一映射混沌测量矩阵；用混沌测量矩阵与对应类中的特征数据迭代，二值化生成生物哈希序列；构建密文语音库，构造哈希索引，上传；构造移动端哈希索引并上传；精确匹配查询；匹配成功的序列对应于相应的生物哈希序列，再对应密文语音库中相应的密文语音片段，解密。该检索方法有效防止了语音数据在云端环境下的泄露，具有较好的区分性和鲁棒性。

Description

一种基于特征融合的高安全生物哈希密文语音检索方法
技术领域
本发明属于语音检索技术领域，涉及一种基于特征融合的高安全生物哈希密文语音检索方法。
背景技术
随着多媒体设备和互联网技术的飞速发展，非结构化语音数据呈指数型增长，且内容包含了大量的敏感信息。如何在服务端对语音进行安全、高效地加密，如何从云端环境下安全、准确、快速地检索出需要的语音片段，这些都是语音检索领域中具有挑战性的课题。由于云服务提供商并不是完全可信的第三方，密文语音检索技术引起了网络安全领域的广泛关注，其中，生物哈希是一种常用算法。由于密钥难以伪造和猜测，而生物哈希具有带陷门的单向性以及对生物模板具有较好的保护作用，被广泛应用于密文语音检索方面。
目前，语音检索主要分为基于文本或关键词的语音检索和基于内容的密文语音检索。基于文本或关键词的语音检索方法，需要对文本信息或关键词进行精确匹配，如果云端的语音数据非常庞大，文本信息或关键字的获取将非常困难和耗时，并且安全性差。基于语音内容的检索***具有节省时间、操作灵活方便和处理过程完善的特点。所以，语音检索方案大多是基于内容的加密语音检索，主要包括语音特征提取、语音加密和语音检索三个模块。语音特征提取是重要环节，其中主要包括：感知哈希、音频指纹和生物哈希。
生物哈希是一种特殊的感知哈希函数，对该方法的研究也取得了显著的成果。但是在语音特征提取方面，现有算法由于鲁棒性、区分性及算法效率三者相互约束，不能够很好地权衡好三者，而且用于检索的感知哈希序列都是从原始域（明文）语音中提取的，并利用数字水印技术将其嵌入到了加密后的语音中，在检索时需要提取密文语音库中加密语音文件的语音水印进行匹配后再返回结果，这在一定程度上影响了检索效率，并增加了数据拥有者在客户端的工作，使***变得复杂。
发明内容
本发明的目的是提供一种基于特征融合的高安全生物哈希密文语音检索方法，提高检索精度和效率，减少客户端的工作，简化***。
为实现上述目的，本发明所采用的技术方案是：一种基于特征融合的高安全生物哈希密文语音检索方法，具体按以下步骤进行：
对于服务端：
1）对输入的语音片段x(t)进行预加重，将预加重后的信号进行分帧和加窗函数平滑处理，得到预处理后语音信号；
2）将预处理后语音信号在离散傅里叶变换下的语音特征和离散傅里叶反变换下的语音特征通过拼接方法融合，得到特征数据库Data；
3）根据K-means-KNN算法，将特征数据库Data分为K类，比较类之间的距离，将测试样本分到权重最大的类中；
4）根据改进的Marotto混沌测量矩阵选择不同的密钥，为不同类的特征数据构造单一映射的混沌测量矩阵；然后，使用该混沌测量矩阵与对应类中的特征数据进行迭代，进一步二值化生成生物哈希序列；
5）构建密文语音库
a. 根据SPM混沌映射选择不同的密钥，为不同类的语音片段构造单一映射的且等长的混沌序列s k ；
SPM混沌映射由Sine映射和分段线性混沌映射(Piece Wise Linear ChaoticMap，PWLCM)复合而成，如下式所示：
Figure 100002_DEST_PATH_IMAGE002
式中，
Figure 100002_DEST_PATH_IMAGE003
为混沌***的扰动参数，当参数γ∈(0,1)、η∈(0,1)时，***处于混沌状态。PWLCM如下式所示：
Figure 100002_DEST_PATH_IMAGE005
式中，当参数
Figure 100002_DEST_PATH_IMAGE006
时，***处于混沌状态；但当
Figure 100002_DEST_PATH_IMAGE007
时，***会失去混沌特性；
b.将构造的混沌序列s k 按照数值大小进行降序排列，得到新的序列s ′ k ；
c.不同类的语音片段根据与新的序列s ′ k 一一映射关系，得到密文语音片段S k ；
6）将一组关键字映像到一个有限的连续的地址集上，并以关键字在地址集中的”象”作为记录在表中的存储位置，这一映像过程为构造哈希索引表；将哈希索引与加密语音S k 同时上传至云端；
对于移动端
a. 对查询语音按照服务端相同的方法构造哈希索引并将其上传到云端；
b. 根据下式进行精确匹配查询：
Figure 100002_DEST_PATH_IMAGE008
其中，
Figure 100002_DEST_PATH_IMAGE009
为归一化汉明距离，又被称为比特误码率(BER)，h 1(i)和h 2(i)分别为移动端某一语音片段生成的哈希索引和云端的哈希索引；
采用BER的假设检验来对哈希匹配进行描述：
W1：如果两个语音片段和感知到的内容相同，那么：D＜τ
W2：如果两个语音片段和感知到的内容不同，那么：D≥τ
其中，τ为阈值；当两个序列之间的BER小于设定的τ时，认证通过；否则，认证失败；
c. 将匹配成功的序列对应于相应的生物哈希序列，再对应密文语音库中相应的密文语音片段，最后进行解密。
本发明检索方法中引入了K-means-KNN融合算法，对特征数据和语音片段进行分类。以K-means聚类的结果作为KNN分类样本的标签，有效地提高了检索精度和效率。其次，通过Marotto超混沌***，对每类中的特征数据使用单一映射的秘钥构造改进的混沌测量矩阵，进一步构造出生物哈希序列，显著地提高了生物模板的多样性和安全性。除此之外，通过SPM函数对每类中的语音片段使用单一映射的秘钥进行加密，较好地保护了云语音数据和检索摘要的安全隐私。该检索方法不仅生物模板具备了模板的多样性和安全性，而且还提高了检索精度和效率。有效的防止了语音数据在云端环境下的泄露，还提高了安全性和隐私性。并且具有较好的区分性和鲁棒性。
附图说明
图1是本发明检索方法的流程示意图。
图2是本发明检索方法中使用语音的多特征融合框架的示意图。
图3是本发明检索方法中使用的生物哈希构造框架的示意图。
图4是本发明检索方法中使用的密文语音库框架的示意图。
图5是本发明检索方法中使用的***哈希索引表框架的示意图。
图6是本发明检索方法中使用的语音检索框架的示意图。
图7 是BER正态分布图。
图8是 N=798时的FAR。
图9是不同内容保持操作的平均BER。
图10是语音加解密对比图。
图11 是加密前后散点图。
图12是斯皮尔曼相关系数。
图13 门限值与查全率关系。
图14 是哈希索引表中查询摘要的匹配结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供了一种能提高检索精度和检索效率，减少客户端工作，简化***的基于特征融合的高安全生物哈希密文语音检索方法，其流程图，如图1所示，该检索方法具体按以下步骤进行：
对于服务端：
1）对输入的语音片段x(t)进行预加重，以增强该语言片段的高频部分，然后，将预加重后的语音信号进行分帧和加窗函数平滑处理，得到预处理后语音信号，该预处理后语音信号中第帧的第个采样值用x i (n)表示；
窗函数采用海明窗。
例如，预加重后的信号的总帧数N=798、帧长L=200、帧移T=80。
2）将预处理后语音信号在离散傅里叶变换下的语音特征和离散傅里叶反变换下的语音特征通过图2所示的融合方法拼接融合，得到特征数据库Data；
融合方法如下：
①将预处理后语音信号分别进行离散傅里叶变换和离散傅里叶反变换；
②将离散傅里叶变换后的语音特征取绝对值；
分别求取离散傅里叶反变换后语音特征的MAMDF函数与自相关函数；
MAMDF函数为改进的短时平均幅度差函数，它通过线性变换把寻找极值改为寻找峰值，如下式所示：
Figure 100002_DEST_PATH_IMAGE011
（1）式中，
Figure 100002_DEST_PATH_IMAGE012
为第i帧的短时平均幅度差函数，
Figure 100002_DEST_PATH_IMAGE013
为线性变换后的短时平均幅度差函数，
Figure 100002_DEST_PATH_IMAGE014
为峰值，
Figure 100002_DEST_PATH_IMAGE015
为峰值对应的位置。
求出所得峰值的自相关函数，如下式所示：
Figure 100002_DEST_PATH_IMAGE016
（2）式中，
Figure 100002_DEST_PATH_IMAGE017
为自相关函数，ru0为主峰值，ru1为第一个（或最大）幅峰值。
③将取绝对值后的语音特征、MAMDF函数和自相关函数通过拼接的方法进行融合，得到特征数据Data；
3）根据K-means-KNN算法，将前一步中所得的特征数据库Data分为K类，该特征数据库中训练集X和测试集Y的比例为7︰3。
K-means-KNN算法如下：
K-means聚类阶段：根据下式将训练样本X划分成多个簇类，
Figure 100002_DEST_PATH_IMAGE019
（3）式中，M为初始聚类中心点的个数，
Figure 100002_DEST_PATH_IMAGE020
分别为某个训练样本中的剩余对象和初始聚类中心点，
Figure DEST_PATH_IMAGE021
为求和公式，
Figure DEST_PATH_IMAGE022
为新的聚类中心点，m=1,2,…，M。
K-means聚类结果的“簇内相似度”高且“簇间相似度”低。
KNN分类阶段：根据聚类结果与下式得到测试样本Y的分类结果。
Figure DEST_PATH_IMAGE024
（4）式中，
Figure DEST_PATH_IMAGE025
分别为某个训练样本和测试样本的特征向量；
Figure DEST_PATH_IMAGE026
为类别为K的样本集合；
Figure DEST_PATH_IMAGE027
为样本间相似度；
Figure DEST_PATH_IMAGE028
类别属性；
比较类之间的距离λ，将测试样本分到权重最大的类中。
当样本不平衡时，KNN算法对不同类别预测准确率低，且特征数非常多的时候其算法效率也比较差，而K-means聚类算法可将相似度高的样本点聚集在一个中心点附近，使得KNN算法更加高效。因此将K-means和KNN结合，以K-means聚类的结果作为KNN分类样本的标签，可以有效提高检索效率和精度。
4）根据改进的Marotto混沌测量矩阵选择不同的密钥，为不同类的特征数据Data k 构造单一映射的混沌测量矩阵；然后，使用该混沌测量矩阵与对应类中的特征数据进行迭代，进一步二值化生成生物哈希序列，即哈希索引。
其步骤如下式所示：
Figure DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
为矩阵转置，
Figure DEST_PATH_IMAGE032
为迭代，H k 为特征向量，h k 为生物哈希序列，k是分类类型， k=1,2,…，K。
二值化处理：设生物哈希序列初始值h(1)为0。如果特征向量H(i)的第i个采样值大于第i-1个采样值，那么生物哈希序列第i个值为1，否则为0；
Figure DEST_PATH_IMAGE034
其中，i=2,3,…,798。
构造生物哈希序列的流程框图，如图3所示。
在每个类中，特征数据、特征向量以及生物哈希序列为一一映射关系。
改进的Marotto混沌测量矩阵生成如下：
高维离散超混沌***可以得到随机性和安全性更好的伪随机序列，并依此构造出混沌特性更高的测量矩阵。
四维离散超混沌***如下式所示：
Figure DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
为状态变量。参数α=4，β=4，χ=3.5，ε=2，δ=4，***初值[X 0,Y 0,Z 0,W 0]=[0.7,0.8,1.5,0.8]，***为超混沌状态。特别的，其余***参数保持不变时，当0≤β≤0.88、1.75≤β≤2.19和2.47≤β≤5，或者，当1.19≤ε≤1.38和1.53≤ε≤5，***也处于超混沌状态。
改进的Marotto混沌测量矩阵如下式所示：
Figure DEST_PATH_IMAGE039
其中，
Figure DEST_PATH_IMAGE040
为四维离散超混沌***产生的伪随机序列；
Figure DEST_PATH_IMAGE041
为改进的序列；且H＞＞h，d为采样间隔且d=15，Φ为改进的Marotto混沌测量矩阵；Φ′为施密特正交化后的矩阵且
Figure DEST_PATH_IMAGE042
为施密特正交化后的值。
5）构建密文语音库
a. 根据SPM混沌映射选择不同的密钥，为不同类的语音片段构造单一映射的且等长的混沌序列s k ；
b.将构造的混沌序列s k 按照数值大小进行降序排列，得到新的序列s ′ k ；
c.不同类的语音片段根据与新的序列s ′ k 的一一映射关系，得到密文语音片段S k ；如图4所示；
在每个类中，原始语音片段和密文语音片段为一一映射关系。
SPM混沌映射算法如下：
SPM混沌映射由Sine映射和分段线性混沌映射(Piece Wise Linear ChaoticMap，PWLCM)复合而成，如下式所示：
Figure DEST_PATH_IMAGE044
其中，
Figure 509457DEST_PATH_IMAGE003
为混沌***的扰动参数，当参数γ∈(0,1)、η∈(0,1)时，***处于混沌状态。PWLCM如下式所示：
Figure DEST_PATH_IMAGE045
其中，当参数
Figure 692176DEST_PATH_IMAGE006
时，***处于混沌状态。但当
Figure 144018DEST_PATH_IMAGE007
时，***会失去混沌特性；
6）构建***哈希索引表
哈希表是根据关键码值而直接进行访问的数据结构。其构建方法是将一组关键字映像到一个有限的连续的地址集上，并以关键字在地址集中的”象”作为记录在表中的存储位置，这一映像过程，称为构造哈希索引表。构建的***哈希索引表如图5所示：
其中，行程长度压缩方法如表1所示。在每个类中，密文语音片段与生物哈希序列为一一映射关系。
表1行程长度压缩方法
Figure DEST_PATH_IMAGE046
然而，在构建***哈希索引表的过程中，可能存在生物哈希序列的冲突现象。本发明检索方法中采用哈希桶，而且，哈希桶的个数为不同序列的个数。将冲突的序列对应的密文语音用单向链表进行存储。检索时，根据序列先找到对应的桶，然后从链表顺序开始查找，直到找到对应的密文语音。
将哈希索引与加密语音S k 同时上传至云端；
对于移动端
a. 对查询语音按照服务端相同的方法构造哈希索引并将其上传到云端；
b. 根据下式进行精确匹配查询：
Figure DEST_PATH_IMAGE047
其中，
Figure 476910DEST_PATH_IMAGE009
为归一化汉明距离，又被称为比特误码率(BER)，h 1(i)和h 2(i)分别为移动端某一语音片段生成的哈希索引和云端的哈希索引;
采用BER的假设检验来对哈希匹配进行描述:
W1：如果两个语音片段和感知到的内容相同，那么：D＜τ
W2：如果两个语音片段和感知到的内容不同，那么：D≥τ
其中，τ为阈值。当两个序列之间的BER小于设定的τ时，认证通过；否则，认证失败。
c. 将匹配成功的序列对应于相应的生物哈希序列，再对应密文语音库中相应的密文语音片段，最后进行解密处理。解密为加密的逆过程，该解密语音片段即为查询语音。如图6所示。
本发明性能的优越性可通过以下仿真实验进一步说明：
1）实验条件与实验说明
实验数据来自TIMIT (texas instruments and massachusetts institute oftechnology) 语音数据库和TTS (text to speech) 语音数据库。在原始语音数据库中有1200个不同的语音片段，其中，每个语音片段的格式为WAV，长度为4s。
运行实验硬件平台为Intel(R) Core(TM) i5-7500 CPU，3.40 GHz，计算机内存为4G。操作软件环境为Windows 10***的MATLAB R2018b。本实验主要参数设置如下：总帧数N=798，帧长L=200，帧移T=80，分类数K=18。
2）区分性分析
在本实验中，通过计算两个生物哈希序列之间的BER来判断它们是否表示相同的语音片段。1200条语音片段总共可以得到719400个BER，它们基本服从正态分布，如图7所示。
根据德莫夫-拉普拉斯中心极限定理，哈希序列的归一化汉明距离近似服从
Figure DEST_PATH_IMAGE048
的正态分布，其中，μ为均值，σ为标准差，p表示生物哈希序列中出现“0”或“1”的概率；N代表总帧数，其中N=798。
表2 正态分布参数
Figure DEST_PATH_IMAGE050
从表2可以看出，与其他总帧数比较下，在总帧数为798时经过实验得到的正态分布参数与理论值更为接近。
为了测量本发明检索方法在不同阈值下的区分性，引入误识率(Fales AcceptRate，FAR)。FAR在本发明检索方法中指把不同语音片段判定为相同语音片段的错误比例，如下式所示：
Figure DEST_PATH_IMAGE052
其中，R FAR 是误识率，
Figure DEST_PATH_IMAGE053
是BER的标准差。FAR随着的减小而减小，而FAR的值越大，判别效果越好。
由表2和图8可以看出，不仅实验获得的正态分布参数值与理论值十分接近，而且实验获得的FAR曲线与理论曲线几乎重合，因此，本发明检索方法具有较好的随机性和抗碰撞性。
表3 不同总帧数的误识率对比
Figure DEST_PATH_IMAGE055
由表3可以看出，在同一个算法中，FAR容易受生物哈希序列长度的影响。所以，在实验中，仅用FAR来衡量算法的区分性是不够的。因此，引入熵率(Entropy Rate，ER)进行计算。熵率作为衡量随机事件不确定程度的一种度量手段，其定义为：
Figure DEST_PATH_IMAGE057
其中，R ER 是熵率。ER越大，区分性越好。
表4 不同总帧数的ER对比
Figure DEST_PATH_IMAGE059
由表3和表4可以看出，随着生物哈希序列长度的增加，本发明检索方法的区分性也相应变强。当生物哈希序列长度为798 bits时，FAR最小且ER最大，即区分性达到最佳。
）鲁棒性分析
为了测试本发明检索方法的鲁棒性，对原始语音库进行如表5所示的11种内容保持操作，然后，分别计算其经过内容保持操作后的平均BER，如图9所示。
表5 内容保持操作
Figure DEST_PATH_IMAGE061
从图9可以看出，本实验经过常见的11种内容保持操作后的BER均值整体较低，这说明实验具有较好的鲁棒性。对于低通滤波操作，由于高频信号的通过性减弱，语音信号的强度降低，因此这种操作会干扰提取的特征。但该算法的平均值仍小于0.1，说明该算法具有良好的抗干扰能力，进一步说明了本文提出的特征提取方法的有效性。对于窄带噪声1操作，在低信噪比时，时域的影响很小，声纹增加，频域颜色变暗。因此，此操作后的鲁棒性较差。
为了更好的测试本发明检索方法的鲁棒性，引入误拒率(Fales Rejection Rate，FRR)，FRR在本发明检索方法中指把相同语音片段判定为不同语音片段的错误比例，如下式所示：
Figure DEST_PATH_IMAGE062
其中，R FRR 是误拒率，FRR随着的增大而减小；而FRR的值越小，鲁棒性越好。
综上所述，实验具有良好的鲁棒性和区分性，能够满足***对哈希索引表序列检索要求。
）安全性分析
为了保证明文数据在云端环境下的存储安全性和内容完整性，本发明检索方法采用SPM混沌映射对语音片段进行加密。
为了验证本发明检索方法的安全性，从原始语音库中随机选取一条语音片段，对该语音片段进行加解密的波形如图10所示。图10中的（a）图是该语音片段的原始波形图；图10中的（b）图是对图10中的（a）图所示语音片段用本发明方法进行加密后的波形图；图10中的（c）图是对图10中的（b）图所示加密语音信号用错误密钥解密后得到的波形图；图10中的（d）图是对图10中的（b）图所示加密语音信号用正确密钥解密后得到的波形图。
为了验证加解密前后语音的相关性，从原始语音库中随机选择一条语音片段，然后随机选取其连续的32000个样本点作为采样点，以x(i)为横坐标，x(i+1)为纵坐标，该语音片段加密前的散点图，如图11中的（a）图，对图11中的（a）图所示语音片段解密后的散点图，如图11中的（b）图所示。
由图10和图11可以看出，本发明检索方法具有较好的加密性能。该方法彻底打乱了原始语音片段的相关性，使语音片段的波形杂乱无序，并且在实际中很难被破解。
通过斯皮尔曼相关系数(Spearman's correlation coefficient ρ)来更好的测试本发明检索方法的安全性，如下式所示。
Figure DEST_PATH_IMAGE063
其中，x (i)为加密前语音片段的第个采样值，S k(i)为加密后语音片段的第i个采样值，
Figure DEST_PATH_IMAGE064
分别为加密前后语音片段的均值。
由图12可以清晰地看出，加密后的ρ（（b）图）十分混乱，说明本发明检索方法具有良好的安全性。语音片段在加密前的ρ（（a）图）与常数1很接近，分布在区间(0.98，1)之间；正确解密后的ρ（（c）图）数据相关，恒为常数1，说明本发明检索方法可以保证数据的完整性；错误解密后的ρ（（d）图）数据相关性极大降低，无规则的分布在区间(-0.003，0.003)之间。
综上所述，在云端环境下，本发明检索方法能够有效保护明文数据的安全。
）检索性能分析
在语音检索中，查全率(Recall，)和查准率(Precision，)用来衡量算法的检索性能，公式如下式所示：
Figure DEST_PATH_IMAGE065
Figure DEST_PATH_IMAGE066
其中，TP表示检索结果中正确语音且被检测到的数量，FN表示正确语音且未被检索的数量，FP表示错误语音且被检测到的数量。当TP不变时，FN随阈值的增加而增加，而FP随阈值的增加而降低。较小的FN和FP分别意味着较高的R和P。
表6 同一阈值下不同总帧数的检索精度
Figure DEST_PATH_IMAGE068
由表6可以看出，在阈值相同的条件下，当生物哈希序列长度为798 bits时，检索精度为100%。随着生物哈希序列长度的减短，BER最小值随之减小，即区分性变差，检索精度降低。当生物哈希序列长度为532 bits和401 bits时，行程长度压缩过程中分别去掉序列中的最后一个元素和两个元素。
由图13可以看出，在阈值不同的条件下，当生物哈希序列长度为798时，查全率较好。结合表6和区分性分析，本实施例最终将生物哈希序列的长度定为798。
为了保证本发明检索方法具有较好的查全率和查准率，采用0.30作为阈值。
为了验证本发明检索方法的检索性能，从原始语音库中随机选择一条语音片段，使其与哈希索引表中所有哈希索引进行匹配，检索结果如图14所示。从图14可以清晰地看出，与哈希索引表中所有哈希索引匹配时，可以精确检索出对应的语音片段。
综上所述，本发明检索方法具有较好的整体检索性能。

Claims (4)

1.一种基于特征融合的高安全生物哈希密文语音检索方法，其特征在于，该检索方法具体按以下步骤进行：
对于服务端：
1）对输入的语音片段x(t)进行预加重，将预加重后的信号进行分帧和加窗函数平滑处理，得到预处理后语音信号；
2）将预处理后语音信号在离散傅里叶变换下的语音特征和离散傅里叶反变换下的语音特征通过拼接方法融合，得到特征数据库Data；
3）根据K-means-KNN算法，将特征数据库Data分为K类，比较类之间的距离，将测试样本分到权重最大的类中；
4）根据改进的Marotto混沌测量矩阵选择不同的密钥，为不同类的特征数据构造单一映射的混沌测量矩阵；然后，使用该混沌测量矩阵与对应类中的特征数据进行迭代，进一步二值化生成生物哈希序列；
5）构建密文语音库
a. 根据SPM混沌映射选择不同的密钥，为不同类的语音片段构造单一映射的且等长的混沌序列s k ；
SPM混沌映射由Sine映射和分段线性混沌映射复合而成，如下式所示：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
为混沌***的扰动参数，当参数γ∈(0,1)、η∈(0,1)时，***处于混沌状态；PWLCM如下式所示：
Figure DEST_PATH_IMAGE003
其中，当参数
Figure DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
时，***处于混沌状态；但当时，***会失去混沌特性；
b.将构造的混沌序列s k 按照数值大小进行降序排列，得到新的序列s ′ k ；
c.不同类的语音片段根据与新的序列s ′ k 一一映射关系，得到密文语音片段S k ；
6）将一组关键字映像到一个有限的连续的地址集上，并以关键字在地址集中的”象”作为记录在表中的存储位置，这一映像过程为构造哈希索引表；将哈希索引与加密语音S k 同时上传至云端；
对于移动端
a. 对查询语音按照服务端相同的方法构造哈希索引并将其上传到云端；
b. 根据下式进行精确匹配查询：
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
为归一化汉明距离，又被称为比特误码率(BER)，
Figure DEST_PATH_IMAGE008
分别为移动端某一语音片段生成的哈希索引和云端的哈希索引；
采用BER的假设检验来对哈希匹配进行描述：
W1：如果两个语音片段和感知到的内容相同，那么：D＜τ
W2：如果两个语音片段和感知到的内容不同，那么：D≥τ
其中，τ为阈值；当两个序列之间的BER小于设定的τ时，认证通过；否则，认证失败；
c. 将匹配成功的序列对应于相应的生物哈希序列，再对应密文语音库中相应的密文语音片段，最后进行解密。
2.如权利要求1所述的基于特征融合的高安全生物哈希密文语音检索方法，其特征在于，所述步骤2）中，离散傅里叶变换下的语音特征和离散傅里叶反变换下的语音特征的融合方法：
①将预处理后语音信号分别进行离散傅里叶变换与离散傅里叶反变换；
②将离散傅里叶变换后的语音特征取绝对值；
分别求取离散傅里叶反变换后语音特征的MAMDF函数与自相关函数；
MAMDF函数为改进的短时平均幅度差函数，它通过线性变换把寻找极值改为寻找峰值，如下式所示：
Figure DEST_PATH_IMAGE009
（1）式中，
Figure DEST_PATH_IMAGE010
为第i帧的短时平均幅度差函数，
Figure DEST_PATH_IMAGE011
为线性变换后的短时平均幅度差函数，
Figure DEST_PATH_IMAGE012
为峰值，
Figure DEST_PATH_IMAGE013
为峰值对应的位置；
求出所得峰值的自相关函数，如下式所示：
Figure DEST_PATH_IMAGE014
（2）式中，
Figure DEST_PATH_IMAGE015
为自相关函数，ru0为主峰值，ru1为第一个或最大幅峰值；
③将取绝对值后的语音特征、MAMDF函数和自相关函数通过拼接的方法进行融合，得到特征数据Data。
3.如权利要求1所述的基于特征融合的高安全生物哈希密文语音检索方法，其特征在于，所述步骤3）中，特征数据库中训练集X和测试集Y的比例为7︰3。
4.如权利要求1所述的基于特征融合的高安全生物哈希密文语音检索方法，其特征在于，所述步骤4）中，改进的Marotto混沌测量矩阵生成如下：
高维离散超混沌***可以得到随机性和安全性更好的伪随机序列，并依此构造出混沌特性更高的测量矩阵；
四维离散超混沌***如下式所示：
Figure DEST_PATH_IMAGE016
其中，为状态变量；参数α=4，β=4，χ=3.5，ε=2，δ=4，***初值[X 0,Y 0,Z 0,W 0]=[0.7,0.8,1.5,0.8]，***为超混沌状态；特别的，其余***参数保持不变时，当0≤β≤0.88、1.75≤β≤2.19和2.47≤β≤5，或者，当1.19≤ε≤1.38和1.53≤ε≤5，***也处于超混沌状态；
改进的Marotto混沌测量矩阵如下式所示：
Figure DEST_PATH_IMAGE017
其中，
Figure DEST_PATH_IMAGE018
为四维离散超混沌***产生的伪随机序列；
Figure DEST_PATH_IMAGE019
为改进的序列；且H＞＞h，d为采样间隔且d=15，Φ为改进的Marotto混沌测量矩阵；Φ′为施密特正交化后的矩阵且
Figure DEST_PATH_IMAGE020
为施密特正交化后的值。
CN202110136135.0A 2021-02-01 2021-02-01 一种基于特征融合的高安全生物哈希密文语音检索方法 Active CN112883207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110136135.0A CN112883207B (zh) 2021-02-01 2021-02-01 一种基于特征融合的高安全生物哈希密文语音检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110136135.0A CN112883207B (zh) 2021-02-01 2021-02-01 一种基于特征融合的高安全生物哈希密文语音检索方法

Publications (2)

Publication Number Publication Date
CN112883207A CN112883207A (zh) 2021-06-01
CN112883207B true CN112883207B (zh) 2022-08-02

Family

ID=76052178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110136135.0A Active CN112883207B (zh) 2021-02-01 2021-02-01 一种基于特征融合的高安全生物哈希密文语音检索方法

Country Status (1)

Country Link
CN (1) CN112883207B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915451A (zh) * 2012-10-18 2013-02-06 上海交通大学 基于混沌不变量的动态纹理识别方法
CN104835499A (zh) * 2015-05-13 2015-08-12 西南交通大学 基于时-频域趋势变化的密文语音感知哈希及检索方案
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控***
CN108959478A (zh) * 2018-06-21 2018-12-07 中南林业科技大学 一种云环境下的密文图像检索方法及***
CN110059218A (zh) * 2019-04-26 2019-07-26 兰州理工大学 一种基于快速傅里叶逆变换的语音检索方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020051704A1 (en) * 2018-09-12 2020-03-19 Avigilon Corporation System and method for improving speed of similarity based searches
CN111858672A (zh) * 2020-07-16 2020-10-30 昆明理工大学 一种改进的knn案例推理检索算法
CN111897909B (zh) * 2020-08-03 2022-08-05 兰州理工大学 一种基于深度感知哈希的密文语音检索方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915451A (zh) * 2012-10-18 2013-02-06 上海交通大学 基于混沌不变量的动态纹理识别方法
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控***
CN104835499A (zh) * 2015-05-13 2015-08-12 西南交通大学 基于时-频域趋势变化的密文语音感知哈希及检索方案
CN108959478A (zh) * 2018-06-21 2018-12-07 中南林业科技大学 一种云环境下的密文图像检索方法及***
CN110059218A (zh) * 2019-04-26 2019-07-26 兰州理工大学 一种基于快速傅里叶逆变换的语音检索方法及***

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Clustering speech utterances by speaker using Eigenvoice-motivated vector space models;Wei-Ho Tsai等;《Proceedings. (ICASSP "05). IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005.》;20050509;1-4 *
kaggle | 基于k-means和KNN的语音性别识别;Chen_Tianyang;《https://blog.csdn.net/ctyqy2015301200079/article/details/83661443》;20181102;1-2 *
Multi-format speech BioHashing based on energy to zero ratio and improved LP-MMSE parameter fusion;Yong Wang等;《Multimedia Tools and Applications 》;20201116;10013-10036 *
Multi-format speech perception hashing based on time-frequency parameter fusion of energy zero ratio and frequency band variance;Yibo Huang等;《2019 3rd International Conference on Electronic Information Technology and Computer Engineering (EITCE)》;20200518;243-251 *
基于混沌测量矩阵的生物哈希密文语音检索;黄羿博等;《华中科技大学学报（自然科学版）》;20201231;第48卷;32-37 *
基于自适应流抽样测量的网络异常检测技术研究;郭通;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20140115(第1期);I139-14 *
语音情感识别训练***设计与实现;龚若愚;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115(第1期);I138-534 *

Also Published As

Publication number Publication date
CN112883207A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112883206B (zh) 一种基于特征融合的长序列生物哈希密文语音检索方法
Zhang et al. A retrieval algorithm of encrypted speech based on short-term cross-correlation and perceptual hashing
Zhao et al. Iris template protection based on local ranking
CN109117622B (zh) 一种基于音频指纹的身份认证方法
Zhang et al. A high-performance speech perceptual hashing authentication algorithm based on discrete wavelet transform and measurement matrix
EP2779520B1 (en) A process for obtaining candidate data from a remote storage server for comparison to a data to be identified
US20220004621A1 (en) Data recovery through reversal of hash values using probabilistic data structures
Dong et al. Open-set face identification with index-of-max hashing by learning
Zhao et al. A retrieval algorithm for encrypted speech based on perceptual hashing
CN111897909A (zh) 一种基于深度感知哈希的密文语音检索方法及***
Breitinger et al. Evaluating detection error trade-offs for bytewise approximate matching algorithms
CN114595689A (zh) 数据处理方法、装置、存储介质和计算机设备
Zhang et al. An efficient retrieval approach for encrypted speech based on biological hashing and spectral subtraction
Zhang et al. An encrypted speech authentication and tampering recovery method based on perceptual hashing
Huang et al. Encrypted speech retrieval based on long sequence Biohashing
Huang et al. A high security BioHashing encrypted speech retrieval algorithm based on feature fusion
Zhang et al. An Efficient Retrieval Method of Encrypted Speech Based on Frequency Band Variance.
Zhang et al. An efficient retrieval algorithm of encrypted speech based on inverse fast Fourier transform and measurement matrix
CN112883207B (zh) 一种基于特征融合的高安全生物哈希密文语音检索方法
Sharma et al. Image-audio encoding for information camouflage and improving malware pattern analysis
Huang et al. Encrypted speech perceptual hashing authentication algorithm based on improved 2D-Henon encryption and harmonic product spectrum
US11711216B1 (en) Systems and methods for privacy-secured biometric identification and verification
Li et al. One factor cancellable fingerprint scheme based on novel minimum hash signature and secure extended feature vector
Zhang et al. Verifiable speech retrieval algorithm based on diversity security template and biohashing
Jeong et al. High-speed searching target data traces based on statistical sampling for digital forensics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant