CN104156578A - 录音时间识别方法 - Google Patents

Abstract

本发明提供一种录音时间识别方法，包含以下几个部分：语音信号预处理、电网频率的提取、归一化处理、相关器的设计、并行匹配算法设计、匹配信号中值滤波、匹配结果输出。该方法首先将提取到的待匹配的音频中的电网频率信号分割成三段与电力线中电网频率各帧进行并行匹配，得到两者的相关程度，并与阈值进行比较，判断出相关性最大的帧数，进而得出音频信号的录音时间。该方法采用并行机制，提高了匹配效率，同时也使得录音时间的识别更加精确，对音频取证具有着重要的意义。

Description

录音时间识别方法

技术领域

本发明涉及录音证据的鉴定领域，具体涉及一种录音时间识别方法。

背景技术

2002年4月《最高人民法院关于民事诉讼证据的若干规定》规定，以合法手段取得的录音可以作为证据提交法庭。然而往往由于法庭缺乏音频取证技术，导致获得的录音证明力不足。所谓音频取证，就是是针对给出的录音信号能够确定是何人在何时何地讲的什么话，采用的何种设备录制，而且该录音信号是否被篡改过，篡改的地方在哪里。

2009年R.c.Mahe讨论了语音取证技术的研究进展，同年，J.ECampbell等人对取证说话人识别进行了分析和讨论。Grigora和E.B.Brixen认为可以通过从待测音频中提取电网频率曲线并与地区电网频率数据库进行匹配搜索以确定录音日期和时间。

目前，国际上对语音取证方面的研究也仅仅局限于判断语音信号中电网频率参数的基频幅度、相位是否与地区数据库曲线变化一致从而对录音时间、地点作出判断。而我国电网频率的波动范围大，容易受到噪声和其他等干扰因素影响加上我国并没有像国外建有庞大的电网频率数据库使得语音取证的研究较为困难。

发明内容

本发明的目的在于克服上述缺陷，提供一种录音时间识别方法，将提取到的待匹配的音频中的电网频率信号分割成三段与电力线中电网频率信号各帧进行并行匹配，得到两者的相关程度，并与阈值进行比较，判断出相关性最大的帧数，进而得出音频信号的录音时间。相比于使用将语音中电网频率信号和电网频率求方差而得到两者相似程度的方法，该方法能够在短时间内进行高效的并行计算，迅速地计算出录音时间，并且更加可靠，准确率更高。

为了解决上述问题，本发明装置所采用的技术方案为：一种录音时间的识别方法，其特征在于，包括如下步骤：

S1、分别提取电网ENF(电网频率)及语音ENF(电网频率)，并对提取到的电网ENF(电网频率)及语音ENF(电网频率)分别进行测频算法得到电网ENF频率值组成的序列及语音ENF频率值组成的序列。

S2、对经过测频算法得到的电网ENF序列及语音ENF序列进行归一化处理。

S3、将语音ENF分割成三段等长序列A、B、C；

S4、将电网ENF进行75％重叠分帧，共N帧，帧长L，长度与分割后的一段语音ENF序列等长；

S5、将语音ENF序列A、B、C和电网ENF序列第K帧、第K+1帧、第K+2帧同时进行并行相关运算，取运算结果中的最大值分别为S₁(K),S₂(K+1),S₃(K+2)；当K＝1时，将运算得到的三个相关数值S₁(K),S₂(K+1),S₃(K+2)中的最小值的3/4设为初始阈值Δ，其中为电网ENF中某一帧，取值范围为0,1,2,3…N；

S6、将电网ENF后移1/4帧，此时：K＝K+1/4，重复S5的相关运算，此时若式min(S₁(K)S₂(K+1)S₃(K+2))＞Δ成立，则执行式Δ＝min(S₁,S₂,S₃)，更新阈值，并将K值赋给Q，再执行S7；若min(S₁(K)S₂(K+1)S₃(K+2))＞Δ不成立，则直接执行S7；

S7、继续进行S6的操作，直至第N帧匹配结束；

S8、匹配结束后，若最终阈值大于0.9，则匹配成功，输出Q值，根据采样频率及测频算法得到每秒的电网频率点的个数，再根据分帧规则(即每秒多少帧)及Q值即可获得录音录制时间；否则匹配失败。

前述的一种录音时间的识别方法，电网频率信号的分帧采用可移动的有限长度的窗口进加权的方法实现，加窗函数为矩形窗：

前述的录音时间的识别方法，所述步骤S1中，提取语音信号中的电网频率信号时，首先经过300Hz低通滤波器，再经过带通滤波器，得到50Hz左右的电网频率信号，再经过傅里叶测频算法得到语音ENF序列。

前述的录音时间的识别方法，所述步骤S1中，提取电网中的电网频率信号是将测试模块接到220V电力线上获得电网ENF，测试模块包括精密电压互感器、信号调理电路、模数转换模块、抗混叠滤波模块和窄带滤波模块；220V电力线上的电压信号经过精密电压互感器降压后得到一个等比例的缩小的工频交流电，信号调理电路完成直流偏置的添加，使得调理后的输出电压在模数转换模块的输入电压范围内，抗混叠滤波模块滤除高频成分，使得满足奈奎斯特采样定律；得其电压后经过窄带滤波后再经过傅里叶测频算法得到电网ENF序列。

前述的录音时间的识别方法，所述步骤S2中，对电网ENF序列和语音ENF序列进行归一化处理，归一化处理公式如下：

$x_{i_2}=(p_{\max }-p_{\min })\frac{x_i-x_{\min }}{x_{\max }-x_{\min }}+p_{\min }$

$y_{j_2}=(p_{\max }-p_{\min })\frac{y_j-y_{\min }}{y_{\max }-y_{\min }}+p_{\min }$

式中：p_max＝1,p_min＝-1，x_max为电网ENF序列中频率最大值，x_min为电网ENF序列中频率最小值，y_max为语音ENF序列中频率最大值，y_min为语音ENF序列中频率最小值，x_i2为经过归一化处理的电网ENF频率值，为经过归一化处理的语音ENF频率值，x_i为未经过处理的电网ENF频率值，y_j为未经过处理的语音ENF频率值，针对x_i和x_i2，i为1，2，3......M，M为无穷大；针对y_j和j为1，2，3......P，P为无穷大。

前述的一种录音时间的识别方法，所述步骤S5中的相关运算的具体过程为：对语音ENF序列与电网ENF序列的对应位做乘法运算，然后利用求和网络得到两者的相关值；设提取的电网ENF序列为：X(n)＝f₁(i+n)，式中：i为某一时刻，n的值为：1,2,3,4…；设提取的语音ENF序列为：Y(n)＝f₂(j+n)式中：j为某一时刻，n的值为：1,2,3,4…，将一段序列的语音ENF和电网ENF进行互相关：其中τ为两信号相差的时刻两信号的相关系数为：

$R_{\mathrm{xy}}=\frac{\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}(x_{i_2}-{\stackrel{\‾}{x}}_1)(y_{j_2}-{\stackrel{\‾}{y}}_1)}{\sqrt{\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{(x_{i_2}-{\stackrel{\‾}{x}}_1)}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_{j_2}-{\stackrel{\‾}{y}}_1)}^2}}$

R值介于-1和1之间，找出相关系数最大值所对应的时刻，即确定录音的时间。

前述的录音时间的识别方法，将语音ENF序列A、B、C和电网ENF序列第K帧、第K+1帧、第K+2帧同时进行并行相关运算后，采用中值滤波，消除毛刺。

前述的录音时间的识别方法，所述的傅里叶测频算法如下：

1、接收到窄带滤波后Z点的电压值x(z)，Z为1,2,3...，Z指的是指1到无穷个离散的点；

2、对x(z)求其自相关函数即对x(z)求微分；

x'(z)＝x(z)-x(z-1)          (1)

3、分别对x(z)和x'(z)加汉明窗得x₁(z)和x₁'(z)以减小频谱泄露；

x₁(z)＝x(z)*hanming(z)

            (2)

x₁'(z)＝x'(z)*hanming(z)

4、分别对x(z)和x'(z)求256点DFT得X(K)和X'(K)；

X(K)＝DFT(x₁(z))

                      (3)

X'(K)＝DFT(x₁'(z))

5、求X(K)和X'(K)最大模值|X(K_max)|和|X'(K_max)|；

|X(K_max)|＞|X(K_other)|

|X'(K_max)|＞|X'(K_other)|       (4)

6、根据K_max求得采样因子f_a；

$f_a=\frac{\mathrm{PI}*K_{\max }}{N*\sin \left(\frac{\mathrm{PI}*K_{\max }}{N}\right)}---\left(5\right)$

7、得测得频率f_r

$f_r=\frac{f_m*f_a\left|X^{\′}\left(K_{\max }\right)\right|}{2*\mathrm{PI}\left|X\left(K_{\max }\right)\right|}---\left(6\right)$

其中，PI：3.1415926，f_m：采样频率。

相比于现有技术，本发明的优点在于：

一、本发明采用并行匹配机制，能够完成高性能的并行计算，提高了匹配效率和匹配准确率；

二、采用相关器的设计，利用求和网络得到两者的相关值，使得识别结果更加准确；

三、采用匹配信号中值滤波，使得波形平滑，有效地保护了边缘信息，平滑噪声，使得输出结果更加清晰明了。

附图说明

图1是并行匹配机制流程图；

图2是语音信号处理流程图；

图3是电网ENF提取方法示意图；

图4是语音ENF归一化频域图；

图5是电网ENF归一化频域图；

图6是相关器原理框图；

图7是并行相关输出波形图。

具体实施方式

为使本发明实现的技术方案、技术特征、达成目的与功效易于明白了解，下面结合具体实施例和附图，进一步阐述本发明。

本发明公开了一种录音时间识别方法，该方法提出了一种新的识别录音时间的识别方法，首先将提取到的待匹配的音频中的电网频率信号分割成三段与电力线中电网频率各帧进行并行匹配，得到两者的相关程度，并与阈值进行比较，判断出相关性最大的帧数，进而得出音频信号的录音时间。

该种录音时间识别方法包含以下几个部分：语音信号预处理、电网频率的提取、归一化处理、相关器的设计、并行匹配算法设计、匹配信号中值滤波、匹配结果输出。根据输出结果，进而得出音频信号的录音时间。该方法采用的并行匹配机制如图1所示。

信号预处理

语音信号预处理是将语音信号首先进300Hz低通滤波器，再进带通滤波器，得到50Hz左右的电网频率信号，再经过高精度傅里叶测频算法得到语音ENF。如图2所示。

提取电力线上的电网频率信号首先将测试模块直接接到220V电力线上，经过精密电压互感器降压后得到一个等比例的缩小的工频交流电；信号调理完成了直流偏置的添加，使得调理完后的输出电压在ADC输入范围内，抗混叠滤波则滤除了不必要研究的高频成分，使得满足奈奎斯特采样定律；得其电压后经过窄带滤波后再经过高精度傅里叶测频算法得到，如图3所示。

提取语音ENF和电网ENF序列时，所用到的高精度傅里叶测频算法如下：

1、接收到窄带滤波后Z点的电压值x(z)，Z为1,2,3...，Z指的是指1到无穷个离散的点；

2、对x(z)求其自相关函数即对x(z)求微分；

x'(z)＝x(z)-x(z-1)       (1)

3、分别对x(z)和x'(z)加汉明窗得x₁(z)和x₁'(z)以减小频谱泄露；

x₁(z)＝x(z)*hanming(z)

                      (2)

x₁'(z)＝x'(z)*hanming(z)

4、分别对x(z)和x'(z)求256点DFT得X(K)和X'(K)；

X(K)＝DFT(x₁(z))

                      (3)

X'(K)＝DFT(x₁'(z))

5、求X(K)和X'(K)最大模值|X(K_max)|和|X'(K_max)|；

|X(K_max)|＞|X(K_other)|

|X'(K_max)|＞|X'(K_other)|      (4)

6、根据K_max求得采样因子f_a；

$f_a=\frac{\mathrm{PI}*K_{\max }}{N*\sin \left(\frac{\mathrm{PI}*K_{\max }}{N}\right)}---\left(5\right)$

7、得测得频率f_r

$f_r=\frac{f_m*f_a\left|X^{\′}\left(K_{\max }\right)\right|}{2*\mathrm{PI}\left|X\left(K_{\max }\right)\right|}---\left(6\right)$

其中，PI：3.1415926，f_m：采样频率。

信号归一化处理

实验中发现，提取到的电网ENF序列、和语音ENF序列均在50HZ左右，精度为小数点后7位，考虑到数据之间的波动较小，波动规律不明显，不便于分析，首先对两序列进行归一化处理：

$x_{i_2}=(p_{\max }-p_{\min })\frac{x_i-x_{\min }}{x_{\max }-x_{\min }}+p_{\min }$

$y_{j_2}=(p_{\max }-p_{\min })\frac{y_j-y_{\min }}{y_{\max }-y_{\min }}+p_{\min }$

式中：p_max＝1,p_min＝-1，x_max为电网ENF信号序列样本中频率最大值，x_min为电网ENF信号序列样本中频率最小值，y_max为语音ENF信号序列中频率最大值，y_min为语音ENF信号序列中频率最小值，x_i2为经过归一化处理的电网ENF频率值，y_i2为经过归一化处理的语音ENF频率值，x_i为未经过处理的电网ENF频率值，y_i为未经过处理的语音ENF频率值，针对x_i和x_i2，i为1，2，3......M，M为无穷大；针对y_i和y_i2，i为1，2，3......P，P为无穷大。

经过归一化的的波形如图4,5所示。信号的归一化处理为优选方案。

相关器设计

实验中发现，由于语音信号的电网频率变化总是与录音所在地区的输电网同步，所以语音ENF序列与电网ENF序列的对应位(即若干语音ENF序列采样点和若干电网ENF序列采样点的一一对应)做乘法运算，然后利用求和网络得到两者的相关值。相关器的设计如图6所示。

设提取的电网ENF序列为：

X(n)＝f₁(i+n)，

式中：i为某一时刻，n的值为：1,2,3,4…；

设提取的语音ENF序列为：

Y(n)＝f₂(j+n)

式中：j为某一时刻，n的值为：1,2,3,4...；

将一段序列的语音ENF和电网ENF进行互相关：其中τ为两信号相差的时刻。

经过归一化处理后两信号的相关系数为：

$R_{\mathrm{xy}}=\frac{\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}(x_{i_2}-{\stackrel{\‾}{x}}_1)(y_{j_2}-{\stackrel{\‾}{y}}_1)}{\sqrt{\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{(x_{i_2}-{\stackrel{\‾}{x}}_1)}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_{j_2}-{\stackrel{\‾}{y}}_1)}^2}}$

x_i2为经过归一化处理的电网ENF频率值，y_j2为经过归一化处理的语音ENF频率值，x_i为未经过处理的电网ENF频率值，y_j为未经过处理的语音ENF频率值，为经过归一化处理的 为未经过归一化处理的电网ENF频率的平均值，为经过归一化处理的 为未经过归一化处理的语音ENF频率的平均值；针对x_i和x_i2，i为1，2，3......M，M为无穷大；针对y_j和y_j2，i为1，2，3......P，P为无穷大。

R值介于-1和1之间，R越大，说明两信号相似程度越高，只要找出互相关系数最大值所对应的时刻，即可确定录音的时间。

并行匹配算法设计

如图1所示：

S1、分别提取电网ENF及语音ENF，并对提取到的电网ENF及语音ENF分别进行测频算法得到电网ENF频率值组成的序列及语音ENF频率值组成的序列；

S2、对经过测频算法得到的电网ENF序列及语音ENF序列进行归一化处理；

S3、将语音ENF分割成三段等长序列A、B、C；

S4、将电网ENF进行75％重叠分帧，共N帧，帧长L，长度与分割后的一段语音ENF序列等长；

S5、将语音ENF序列A、B、C和电网ENF序列第K帧、第K+1帧、第K+2帧同时进行并行相关运算，取运算结果中的最大值分别为S₁(K),S₂(K+1),S₃(K+2)；当K＝1时，将运算得到的三个相关数值S₁(K),S₂(K+1),S₃(K+2)中的最小值的3/4设为初始阈值Δ，其中为电网ENF中某一帧，取值范围为0,1,2,3…N；

S6、将电网ENF后移1/4帧，此时：K＝K+1/4，重复S5的相关运算，此时若式min(S₁(K)S₂(K+1)S₃(K+2))＞Δ成立，则执行式Δ＝min(S₁,S₂,S₃)，更新阈值，并将K值赋给Q，再执行S7；若min(S₁(K)S₂(K+1)S₃(K+2))＞Δ不成立，则直接执行S7；

S7、继续进行S6的操作，直至第N帧匹配结束；

S8、匹配结束后，若最终阈值大于0.9，则匹配成功，输出Q值，根据采样频率及测频算法得到每秒的电网频率点的个数，再根据分帧规则及Q值即可获得录音录制时间；否则匹配失败。

匹配信号中值滤波

经过并行匹配算法后输出信号波形由于噪声等其他因素的干扰，输出信号波形有毛刺，所以采用中值滤波，消除毛刺，使得波形平滑，有效地保护了边缘信息，平滑噪声。经过中值滤波的输出信号如图7所示，图中S₁,S₂,S₃为语音ENF和电网ENF第K帧匹配时的三段并行相关输出。

实验结果

表1同一区内不同地点识别率

表1中A、B、C、D四点为南京江宁区四所高校。

表2不同区间地点识别率

表2中E、F、G、H分别为南京白下区、栖霞区、江宁区、玄武区。

由表1,2可知，语音ENF录制的区内识别率较高，不同区之间识别率较低。由于不同区处于不同的变压器下，电网ENF变化规律相差较大所以识别率较低。

由于此并行匹配算法最终输出的K值，可以判断相关值最大的帧的位置，确定大概的时间点并不能精确到具体的某个时刻，本实验存在的***误差为：

$t=\frac{L_1}{4m}$

式中：t为***误差，L₁为每秒的帧长，m为电网ENF每秒的采样点数。

由于存在***误差，所以本实验的误差允许范围是t秒，在这个范围内的结果都认为识别准确，否则识别错误。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种录音时间的识别方法，其特征在于，包括如下步骤： 

S1、分别提取电网ENF及语音ENF，并对提取到的电网ENF及语音ENF分别进行测频算法得到电网ENF频率值组成的序列及语音ENF频率值组成的序列； 

S2、对经过测频算法得到的电网ENF序列及语音ENF序列进行归一化处理； 

S3、将语音ENF分割成三段等长序列A、B、C； 

S4、将电网ENF进行75％重叠分帧，共N帧，帧长L，长度与分割后的一段语音ENF序列等长； 

S5、将语音ENF序列A、B、C和电网ENF序列第K帧、第K+1帧、第K+2帧同时进行并行相关运算，取运算结果中的最大值分别为S₁(K),S₂(K+1),S₃(K+2)；当K＝1时，将运算得到的三个相关数值S₁(K),S₂(K+1),S₃(K+2)中的最小值的3/4设为初始阈值Δ，其中为电网ENF中某一帧，取值范围为0,1,2,3…N； 

S6、将电网ENF后移1/4帧，此时：K＝K+1/4，重复S5的相关运算，此时若式min(S₁(K)S₂(K+1)S₃(K+2))＞Δ成立，则执行式Δ＝min(S₁,S₂,S₃)，更新阈值，并将K值赋给Q，再执行S7；若min(S₁(K)S₂(K+1)S₃(K+2))＞Δ不成立，则直接执行S7； 

S7、继续进行S6的操作，直至第N帧匹配结束； 

S8、匹配结束后，若最终阈值大于0.9，则匹配成功，输出Q值，根据采样频率及测频算法得到每秒的电网频率点的个数，再根据分帧规则及Q值即可获得录音录制时间；否则匹配失败。 

2.根据权利要求1所述的一种录音时间的识别方法，其特征在于： 

电网频率信号的分帧采用可移动的有限长度的窗口进加权的方法实现，加窗函数为矩形窗： 

。

3.根据权利要求1所述的录音时间的识别方法，其特征在于，所述步骤S1中，提取语音信号中的电网频率信号时，首先经过300Hz低通滤波器，再经过带通滤波器，得到50Hz左右的电网频率信号，再经过傅里叶测频算法得到语音ENF序列。 

4.根据权利要求1所述的录音时间的识别方法，其特征在于：所述步骤S1中，提取电网中的电网频率信号是将测试模块接到220V电力线上获得电网ENF，测试模块包括精密电压互感器、信号调理电路、模数转换模块、抗混叠滤波模块和窄带滤波模块；220V电力线上的电压信号经过精密电压互感器降压后得到一个等比例的缩小的工频交流电，信号调理电路完成直流偏置的添加，使得调理后的输出电压在模数转换模块的输入电压范围内，抗混叠滤波模块滤除高频成分，使得满足奈奎斯特采样定律；得其电压后经过窄带滤波后再经过傅里叶测频算法得到电网ENF序列。 

5.根据权利要求1所述的录音时间的识别方法，其特征在于：所述步骤S2中，对电网ENF序列和语音ENF序列进行归一化处理，归一化处理公式如下： 

式中：p_max＝1,p_min＝-1，x_max为电网ENF序列中频率最大值，x_min为电网ENF序列中频率最小值，y_max为语音ENF序列中频率最大值，y_min为语音ENF序列中频率最小值，x_i2为经过归一化处理的电网ENF频率值，为经过归一化处理的语音ENF频率值，x_i为未经过处理的电网ENF频率值，y_j为未经过处理的语音ENF频率值，针对x_i和x_i2，i为1，2，3......M；针对y_j和j为1，2，3......P。 

6.根据权利要求1中所述的录音时间的识别方法，其特征在于，所述步骤S5中的相关运算的具体过程为：对语音ENF序列与电网ENF序列的对应位做乘法运算，然后利用求和网络得到两者的相关值；设提取的电网ENF序列为： X(n)＝f₁(i+n)，式中：i为某一时刻，n的值为：1,2,3,4…；设提取的语音ENF序列为：Y(n)＝f₂(j+n)式中：j为某一时刻，n的值为：1,2,3,4…，将一段序列的语音ENF和电网ENF进行互相关： 

其中τ为两信号相差的时刻； 

两信号的相关系数为： 

R值介于-1和1之间，找出相关系数最大值所对应的时刻，即确定录音的时间。 

7.根据权利要求6所述的录音时间的识别方法，其特征在于：将语音ENF序列A、B、C和电网ENF序列第K帧、第K+1帧、第K+2帧同时进行并行相关运算后，采用中值滤波，消除毛刺。