CN105788603A - 一种基于经验模态分解的音频识别方法及*** - Google Patents
一种基于经验模态分解的音频识别方法及*** Download PDFInfo
- Publication number
- CN105788603A CN105788603A CN201610103443.2A CN201610103443A CN105788603A CN 105788603 A CN105788603 A CN 105788603A CN 201610103443 A CN201610103443 A CN 201610103443A CN 105788603 A CN105788603 A CN 105788603A
- Authority
- CN
- China
- Prior art keywords
- time migration
- mode decomposition
- empirical mode
- eigenvalue
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 51
- 230000005236 sound signal Effects 0.000 claims abstract description 72
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000001228 spectrum Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000005012 migration Effects 0.000 claims description 76
- 238000013508 migration Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 9
- 230000000737 periodic effect Effects 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000004568 cement Substances 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明公开一种基于经验模态分解的音频识别方法及***。其中,方法包括步骤:A、输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;B、获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间‑频率曲线;C、将所述生成的时间‑频率曲线进行经验模态分解,获得多个本征模函数;D、通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出。本发明将音频特征的变化趋势信息充分融合到特征值的生成,使生成的特征值更完整的表征音频信号。
Description
技术领域
本发明涉及音频识别领域,尤其涉及一种基于经验模态分解的音频识别方法及***。
背景技术
音频识别是指通过对音频信号进行频谱分析,获得音频信号的频谱,提取音频信号的特征值,构建模型或星座图,进行目标匹配、识别。主要技术包括短时傅氏变换、声谱图特征提取、特征模板生成等。
对一段原始音频或语音的具体处理大多经过如下步骤:预加重(Pre-emphasis)去噪、分帧、加窗处理、快速傅里叶转换(FFT)、滤波组处理(Mel-Filter
Bank)、离散余弦转换DCT(计算倒谱参数)、对数能量、差量倒谱参数(向量形式、逆傅氏变换IFFT)、MFCC(梅尔频率倒谱系数---一帧音频的特征值)等,最终获得一段音频信号的一系列特征值,此系列特征值可充分、完全表征此段音频信号。
目前,主流音频信号的匹配识别算法主要是对声谱图(描述了特定频率的强度随着时间的变化)进行处理,包括比较时间、频率变化和不同或者寻找波峰。其中的一个主要技术实现方案为将频率转换为音符进行处理,每个音符对应一个音域,形成一个N维的特征向量,再经过过滤和标准化处理,获得特征声谱图,通过滑动子图的方法获得音频声纹,并针对声纹计算位错误率完成识别匹配。另一个主要技术方案为获取一段声谱图的一系列极大值点,获得此极大值点的所处的时间点和频率,基于多个极大值点构建星座图,依据星座图内两点的时间偏移和各自的频率强度生成此时间点上的哈希值,最终通过统计相同时间偏移的哈希值的个数完成目标的识别。
特征模型和星座图的构建相对复杂,不能有效的、完整的表征音频信号特征的变化,无法将特征的变化过程和趋势融入到特征值的生成,即形成的特征模板不能完整、充分表征音频信号。
因此,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种基于经验模态分解的音频识别方法及***,旨在解决现有的识别方法无法完整、充分表征音频信号的问题。
本发明的技术方案如下:
一种基于经验模态分解的音频识别方法,其中,包括步骤:
A、输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
B、获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
C、将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
D、通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出。
优选的,所述步骤D具体包括:
D1、对每一个本征模函数等间隔取样,获得一组相应的取样序列;
D2、在所述取样序列后追加所处的频率段序号;
D3、对追加后的取样序列进行处理获得一个哈希值;
D4、通过N组本征模函数获得N个哈希值,共同组成一组特征值。
优选的,所述步骤D之后还包括:
E、根据所述特征值获取时间偏移差的分布和数量,以表征原始音频信号。
优选的,所述步骤E具体包括:
E1、通过所述特征值在一数据库中进行搜索,获得与所述特征值相匹配的若干其他特征值所处的时间偏移构成的时间偏移组;
E2、将所述时间偏移组中各时间偏移与所述特征值所处的时间偏移分别求得时间偏移差,再通过这些时间偏移差的分布和数量,确定需识别的目标音频。
优选的,所述步骤D3中,对追加后的取样序列通过sha1哈希算法或Murmur哈希算法处理获得一个哈希值。
一种基于经验模态分解的音频识别***,其中,包括:
声谱图获取模块,用于输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
时间-频率曲线生成模块,用于获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
经验模态分解模块,用于将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
特征值输出模块,用于通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出。
优选的,所述特征值输出模块具体包括:
取样单元,用于对每一个本征模函数等间隔取样,获得一组相应的取样序列;
追加单元,用于在所述取样序列后追加所处的频率段序号;
哈希处理单元,用于对追加后的取样序列进行处理获得一个哈希值;
向量组成单元,用于通过N组本征模函数获得N个哈希值,共同组成一组特征值。
优选的,所述音频识别***还包括:
分布数量获取模块,用于根据所述特征值获取时间偏移差的分布和数量,以表征原始音频信号。
优选的,所述分布数量获取模块具体包括:
时间偏移组获取单元,用于通过所述特征值在数据库中进行搜索,获得与所述特征值相匹配的若干其他特征值所处的时间偏移构成的时间偏移组;
时间偏移差计算单元,用于将所述时间偏移组中各时间偏移与所述特征值所处的时间偏移分别求得时间偏移差,再通过这些时间偏移差的分布和数量,确定需识别的目标音频。
优选的,所述哈希处理单元中,对追加后的取样序列通过sha1哈希算法或Murmur哈希算法处理获得一个哈希值。
有益效果:本发明将EMD经验模态分解的方法引入到音频信号特征值的生成,从而将音频特征的变化趋势信息充分融合到特征值的生成,使生成的特征值更完整的表征音频信号。本发明可取代构建复杂的特征模型和星座图,并能够有效融合特征的变化过程信息,使得特征值对音频信号的表征更加充分、精确、有效。
附图说明
图1为本发明一种基于经验模态分解的音频识别方法第一实施例的流程图;
图2为本发明中经过短时傅里叶变换生成的声谱图;
图3为图1所示方法中步骤S104的具体流程图;
图4为本发明中经EMD分解后生成的5项IMF数据曲线;
图5为本发明一种基于经验模态分解的音频识别方法第二实施例的流程图;
图6为图5所示方法中步骤S105的具体流程图;
图7为本发明一种基于经验模态分解的音频识别***第一实施例的结构框图;
图8为图7所示***中特征值输出模块的具体结构框图;
图9为本发明一种基于经验模态分解的音频识别***第二实施例的结构框图;
图10为图9所示***中分布数量获取模块的具体结构框图。
具体实施方式
本发明提供一种基于经验模态分解的音频识别方法及***,为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,图1为本发明一种基于经验模态分解的音频识别方法第一实施例的流程图,如图所示,其包括步骤:
S101、输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
S102、获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
S103、将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
S104、通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出。
本发明的方法将经验模态分解(EMD,Empirical Mode
Decomposition)的方法引入到音频信号特征值的生成,由于EMD生成的本征模函数(IMF,Intrinsic Mode
Function)项具有能够充分保留原始队列信号的特征、易于处理非平稳序列等优点,将经验模态分解的方法引入到特征值的生成,通过将声谱图生成的能量最大值所在点(tn,
fn)构成为EMD分解的原始信号队列,对此原始信号队列进行EMD分解获得N个IMF项。本发明的方法可充分保留信号特征在频域随时间变化的趋势信息,使得特征值对音频信号的表征更加充分、精确、有效。
具体来说,在步骤S101中,原始音频信号(即模拟音频信号)通过麦克风输入后,通过A/D模数转换、采样(例如按照44100Hz的采样率采样),获得数字音频信号。
然后通过谱减法去噪,其主要利用音频信号的短时平稳特性,从带噪音频信号的短时谱值中减去噪声的短时谱,即消除信号内掺杂的随机环境噪声,从而得到纯净音频信号的频谱(即音频数据,将其缓存),达到语音增强的目的。在谱减法去噪之前,可对数字音频信号进行预加重处理。预加重处理其是利用信号特性和噪声特性的差别有效地对信号进行处理,在噪声引入之前采用预加重网络,减小噪声的高频分量,提高输出信噪比。
再对缓存内的音频数据进行分帧处理,每帧时长N毫秒,分帧后的每段音频数据都可以看成一段稳态信号。
再生成汉明窗,重叠加在音频数据上,重叠率为1/2,帧移为N/2毫秒;由于直接对信号截断会产生频率泄露,为了改善频率泄露的情况,加非矩形窗,例如加汉明窗,因为汉明窗的幅频特性是旁瓣衰减较大,主瓣峰值与第一个旁瓣峰值衰减可达40db。
再对每帧音频数据进行傅氏变换处理(即FFT快速傅里叶变换),获得频谱数据;关于傅氏变换处理的具体技术细节可参考现有技术的内容,在此不再详述。
依次连接每帧的频谱数据,以时间为横轴,以所处频率为纵轴,以颜色表征频谱振幅(能量)强度,绘制得到如图2所示的声谱图。
在步骤S102中,计算声谱图中每帧频谱数据上的各个频率段各个频率点的能量值,取得各频率段能量最大值;依次获得每个频率段能量最大值所在点所处的时间帧和频率段,将此时间帧和频率段作为新的点,依次连接各能量最大值所在点生成目标曲线,即时间-频率曲线。
例如,在声谱图中划分n段连续的频率段,各频率段的序号依次为id1,id2,...,idn,
在某个频率范围内(例如频率段idn,如图2中6kHz至9kHz)连接声谱图各能量最大值所在点,而未达到指定强度阈值的点归为此频率范围的下限值处理,形成一条以时间为横轴,以频率为纵轴的连续的动态变化曲线,即时间-频率曲线。
在所述步骤S103中,将生成的时间-频率曲线进行经验模态分解,获得能充分表征此曲线变化的多个本征模函数项,如获得N组(本曲线生成截止到12组)IMF本征模函数项(每项为时域的变化曲线)。
如图3所示,所述步骤S104具体包括:
S201、对每一个本征模函数等间隔取样,获得一组相应的取样序列;
S202、在所述取样序列后追加所处的频率段序号;
S203、对追加后的取样序列进行处理获得一个哈希值;
S204、通过N组本征模函数获得N个哈希值,共同组成一组特征值。
具体来说,通过对每一个IMF项进行等间隔取样(所有对IMF项的抽样处理间隔保持一致,并且间隔不可过大以保留曲线动态变化信息),如图4中的IMF C1,IMF C2, IMF C3,IMF C4和IMF C5曲线,获得一组相应的取样序列x1、x2...xn,将此取样序列后追加相应IMF项所处的频率段序号idn,对此追加后的取样序列通过sha1哈希算法或Murmur哈希算法获得一个32位或64位的哈希值,这样通过N组(即N个)IMF项获得N个哈希值组成一组特征值(也可称为一组特征向量)。同时保存此组特征值所处的时间偏移tm(即音频信号的起始帧所在时间轴上的位置)。
本发明的方法可将音频特征的变化趋势信息充分融合到特征值的生成,使生成的特征值更完整的表征音频信号。本发明将每帧生成特征值和局部时间段生成特征值结合,丰富了音频特征信息,即对每帧音频和对若干帧音频提取特征值分别进行EMD经验模态分解。本发明可取代构建复杂的特征模型和星座图,并能够有效融合特征的变化过程信息,使得特征值对音频信号的表征更加充分、精确、有效。
请参阅图5,图5为本发明本发明一种基于经验模态分解的音频识别方法第二实施例的流程图,其具体包括:
S101、输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
S102、获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
S103、将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
S104、通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出;
S105、根据所述特征值获取时间偏移差的分布和数量,以表征原始音频信号。
其与方法第一实施例不同的是,在步骤S104之后增加了步骤S105。步骤S105,其主要是利用前面生成的特征值,来获取时间偏移差的分布和数量,从而根据直观的表征音频信号。
具体来说,如图6所示,所述步骤S105具体包括:
S301、通过所述特征值在一数据库中进行搜索,获得与所述特征值相匹配的若干其他特征值所处的时间偏移构成的时间偏移组;
S302、将所述时间偏移组中各时间偏移与所述特征值所处的时间偏移分别求得时间偏移差,再通过这些时间偏移差的分布和数量,确定需识别的目标音频。
通过生成的若干特征值在数据库中进行搜索,每个特征值(即目标特征值)可获得与此特征值匹配的若干其他特征值向量所处的时间偏移t1、t2...tn,将这组时间偏移与此特征值(即目标特征值)所处的时间偏移tm分别求得时间偏移差td1、td2...tdn,依次,每平移一次(步长n帧)即可获得N组时间偏移差。
依次,直至处理完整个原始音频信号,最后再通过统计所有时间偏移差的分布和数目,确定目标,其中时间偏移差分布最集中的音频即为识别的目标音频。
为了适当增加所生成特征值的丰富性,通过若干帧(例如50帧)分块,求得每块的能量最大值,再进行如上S103~S105步骤,可获得更多的特征值和时间偏移差。这样,就可以充分捕捉较大范围特征变化信息,以加强整个音频信号的表征。
基于上述方法,本发明还提供一种基于经验模态分解的音频识别***第一实施例,如图7所示,其包括:
声谱图获取模块100,用于输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
时间-频率曲线生成模块200,用于获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
经验模态分解模块300,用于将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
特征值输出模块400,用于通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出。
本发明的***将经验模态分解引入到音频信号特征值的生成,由于EMD生成的本征模函数项具有能够充分保留原始队列信号的特征、易于处理非平稳序列等优点,将经验模态分解引入到特征值的生成,通过将声谱图生成的能量最大值所在点(tn,
fn)构成为EMD分解的原始信号队列,对此原始信号队列进行EMD分解获得N个IMF项。本发明的***可充分保留信号特征在频域随时间变化的趋势信息,使得特征值对音频信号的表征更加充分、精确、有效。
具体来说,在声谱图获取模块100中,原始音频信号(即模拟音频信号)通过麦克风输入后,通过A/D模数转换、采样(例如按照44100Hz的采样率采样),获得数字音频信号。
然后通过谱减法去噪,其主要利用音频信号的短时平稳特性,从带噪音频信号的短时谱值中减去噪声的短时谱,即消除信号内掺杂的随机环境噪声,从而得到纯净音频信号的频谱(即音频数据,将其缓存),达到语音增强的目的。在谱减法去噪之前,可对数字音频信号进行预加重处理。预加重处理其是利用信号特性和噪声特性的差别有效地对信号进行处理,在噪声引入之前采用预加重网络,减小噪声的高频分量,提高输出信噪比。
再对缓存内的音频数据进行分帧处理,每帧时长N毫秒,分帧后的每段音频数据都可以看成一段稳态信号。
再生成汉明窗,重叠加在音频数据上,重叠率为1/2,帧移为N/2毫秒;由于直接对信号截断会产生频率泄露,为了改善频率泄露的情况,加非矩形窗,例如加汉明窗,因为汉明窗的幅频特性是旁瓣衰减较大,主瓣峰值与第一个旁瓣峰值衰减可达40db。
再对每帧音频数据进行傅氏变换处理(即FFT快速傅里叶变换),获得频谱数据;关于傅氏变换处理的具体技术细节可参考现有技术的内容,在此不再详述。
依次连接每帧的频谱数据,以时间为横轴,以所处频率为纵轴,以颜色表征频谱振幅(能量)强度,绘制得到如图2所示的声谱图。
在所述时间-频率曲线生成模块200中,计算声谱图中每帧频谱数据上的各个频率段各个频率点的能量值,取得各频率段能量最大值;依次获得每个频率段能量最大值所在点所处的时间帧和频率段,将此时间帧和频率段作为新的点,依次连接各能量最大值所在点生成目标曲线,即时间-频率曲线。
例如,在声谱图中划分n段连续的频率段,各频率段的序号依次为id1,id2,...,idn,
在某个频率范围内(例如频率段idn,如图2中6kHz至9kHz)连接声谱图各能量最大值所在点,而未达到指定强度阈值的点归为此频率范围的下限值处理,形成一条以时间为横轴,以频率为纵轴的连续的动态变化曲线,即时间-频率曲线。
在所述经验模态分解模块300中,将生成的时间-频率曲线进行经验模态分解,获得能充分表征此曲线变化的多个本征模函数项,如获得N组(本曲线生成截止到12组)IMF本征模函数项(每项为时域的变化曲线)。
进一步,如图8所示,所述特征值输出模块400具体包括:
取样单元410,用于对每一个本征模函数等间隔取样,获得一组相应的取样序列;
追加单元420,用于在所述取样序列后追加所处的频率段序号;
哈希处理单元430,用于对追加后的取样序列进行处理获得一个哈希值;
向量组成单元440,用于通过N组本征模函数获得N个哈希值,共同组成一组特征值。
具体来说,通过对每一个IMF项进行等间隔取样(所有对IMF项的抽样处理间隔保持一致,并且间隔不可过大以保留曲线动态变化信息),如图4中的IMF C1,IMF C2, IMF C3,IMF C4和IMF C5曲线,获得一组相应的取样序列x1、x2...xn,将此取样序列后追加相应IMF项所处的频率段序号idn,对此追加后的取样序列通过sha1哈希算法或Murmur哈希算法获得一个32位或64位的哈希值,这样通过N组(即N个)IMF项获得N个哈希值组成一组特征值(也可称为一组特征向量)。同时保存此组特征值所处的时间偏移tm(即音频信号的起始帧所在时间轴上的位置)。
本发明的***可将音频特征的变化趋势信息充分融合到特征值的生成,使生成的特征值更完整的表征音频信号。本发明将每帧生成特征值和局部时间段生成特征值结合,丰富了音频特征信息,即对每帧音频和对若干帧音频提取特征值分别进行EMD经验模态分解。本发明可取代构建复杂的特征模型和星座图,并能够有效融合特征的变化过程信息,使得特征值对音频信号的表征更加充分、精确、有效。
本发明还提供一种基于经验模态分解的音频识别***第二实施例,如图9所示,其包括:
声谱图获取模块100,用于输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
时间-频率曲线生成模块200,用于获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
经验模态分解模块300,用于将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
特征值输出模块400,用于通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出;
分布数量获取模块500,用于根据所述特征值获取时间偏移差的分布和数量,以表征原始音频信号。
其与***第一实施例不同的是,增加了分布数量获取模块500。所述分布数量获取模块500其主要是利用前面生成的特征值,来获取时间偏移差的分布和数量,从而根据直观的表征音频信号。
进一步,如图10所示,所述分布数量获取模块500具体包括:
时间偏移组获取单元510,用于通过所述特征值在数据库中进行搜索,获得与所述特征值相匹配的若干其他特征值所处的时间偏移构成的时间偏移组;
时间偏移差计算单元520,用于将所述时间偏移组中各时间偏移与所述特征值所处的时间偏移分别求得时间偏移差,再通过这些时间偏移差的分布和数量,确定需识别的目标音频。
通过生成的若干特征值在数据库中进行搜索,每个特征值(即目标特征值)可获得与此特征值匹配的若干其他特征值向量所处的时间偏移t1、t2...tn,将这组时间偏移与此特征值(即目标特征值)所处的时间偏移tm分别求得时间偏移差td1、td2...tdn,依次,每平移一次(步长n帧)即可获得N组时间偏移差。
依次,直至处理完整个原始音频信号,最后再通过统计所有时间偏移差的分布和数目,确定目标,其中时间偏移差分布最集中的音频即为识别的目标音频。
为了适当增加所生成特征值的丰富性,通过若干帧(例如50帧)分块,求得每块的能量最大值,再执行经验模态分解模块300、特征值输出模块400、分布数量获取模块500,可获得更多的特征值和时间偏移差。这样,就可以充分捕捉较大范围特征变化信息,以加强整个音频信号的表征。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于经验模态分解的音频识别方法,其特征在于,包括步骤:
A、输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
B、获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
C、将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
D、通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出。
2.根据权利要求1所述的基于经验模态分解的音频识别方法,其特征在于,所述步骤D具体包括:
D1、对每一个本征模函数等间隔取样,获得一组相应的取样序列;
D2、在所述取样序列后追加所处的频率段序号;
D3、对追加后的取样序列进行处理获得一个哈希值;
D4、通过N组本征模函数获得N个哈希值,共同组成一组特征值。
3.根据权利要求2所述的基于经验模态分解的音频识别方法,其特征在于,所述步骤D之后还包括:
E、根据所述特征值获取时间偏移差的分布和数量,以表征原始音频信号。
4.根据权利要求3所述的基于经验模态分解的音频识别方法,其特征在于,所述步骤E具体包括:
E1、通过所述特征值在一数据库中进行搜索,获得与所述特征值相匹配的若干其他特征值所处的时间偏移构成的时间偏移组;
E2、将所述时间偏移组中各时间偏移与所述特征值所处的时间偏移分别求得时间偏移差,再通过这些时间偏移差的分布和数量,确定需识别的目标音频。
5.根据权利要求2所述的基于经验模态分解的音频识别方法,其特征在于,所述步骤D3中,对追加后的取样序列通过sha1哈希算法或Murmur哈希算法处理获得一个哈希值。
6.一种基于经验模态分解的音频识别***,其特征在于,包括:
声谱图获取模块,用于输入原始音频信号,对所述原始音频信号进行采样,然后依次进行去噪预处理、加汉明窗以及傅氏变换处理得到频谱数据,再依次连接每帧的频谱数据,获得声谱图;
时间-频率曲线生成模块,用于获得所述声谱图各频率段的能量最大值所在点,并依次连接各频率段的能量最大值所在点生成时间-频率曲线;
经验模态分解模块,用于将所述生成的时间-频率曲线进行经验模态分解,获得多个本征模函数;
特征值输出模块,用于通过获得的多个本征模函数结合相应的频率段以及时间帧,生成用于表征原始音频信号的多个特征值,并输出。
7.根据权利要求6所述的基于经验模态分解的音频识别***,其特征在于,所述特征值输出模块具体包括:
取样单元,用于对每一个本征模函数等间隔取样,获得一组相应的取样序列;
追加单元,用于在所述取样序列后追加所处的频率段序号;
哈希处理单元,用于对追加后的取样序列进行处理获得一个哈希值;
向量组成单元,用于通过N组本征模函数获得N个哈希值,共同组成一组特征值。
8.根据权利要求7所述的基于经验模态分解的音频识别***,其特征在于,还包括:
分布数量获取模块,用于根据所述特征值获取时间偏移差的分布和数量,以表征原始音频信号。
9.根据权利要求8所述的基于经验模态分解的音频识别***,其特征在于,所述分布数量获取模块具体包括:
时间偏移组获取单元,用于通过所述特征值在数据库中进行搜索,获得与所述特征值相匹配的若干其他特征值所处的时间偏移构成的时间偏移组;
时间偏移差计算单元,用于将所述时间偏移组中各时间偏移与所述特征值所处的时间偏移分别求得时间偏移差,再通过这些时间偏移差的分布和数量,确定需识别的目标音频。
10.根据权利要求7所述的基于经验模态分解的音频识别***,其特征在于,所述哈希处理单元中,对追加后的取样序列通过sha1哈希算法或Murmur哈希算法处理获得一个哈希值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610103443.2A CN105788603B (zh) | 2016-02-25 | 2016-02-25 | 一种基于经验模态分解的音频识别方法及*** |
PCT/CN2017/074706 WO2017144007A1 (zh) | 2016-02-25 | 2017-02-24 | 一种基于经验模态分解的音频识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610103443.2A CN105788603B (zh) | 2016-02-25 | 2016-02-25 | 一种基于经验模态分解的音频识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105788603A true CN105788603A (zh) | 2016-07-20 |
CN105788603B CN105788603B (zh) | 2019-04-16 |
Family
ID=56403668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610103443.2A Active CN105788603B (zh) | 2016-02-25 | 2016-02-25 | 一种基于经验模态分解的音频识别方法及*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105788603B (zh) |
WO (1) | WO2017144007A1 (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106601265A (zh) * | 2016-12-15 | 2017-04-26 | 中国人民解放军第四军医大学 | 一种消除毫米波生物雷达语音中噪声的方法 |
CN106656882A (zh) * | 2016-11-29 | 2017-05-10 | 中国科学院声学研究所 | 一种信号合成方法及*** |
WO2017144007A1 (zh) * | 2016-02-25 | 2017-08-31 | 深圳创维数字技术有限公司 | 一种基于经验模态分解的音频识别方法及*** |
CN107895571A (zh) * | 2016-09-29 | 2018-04-10 | 亿览在线网络技术(北京)有限公司 | 无损音频文件识别方法及装置 |
CN108986840A (zh) * | 2018-04-03 | 2018-12-11 | 五邑大学 | 一种在检测验电笔过程中对蜂鸣器音频的识别方法 |
CN109102811A (zh) * | 2018-07-27 | 2018-12-28 | 广州酷狗计算机科技有限公司 | 音频指纹的生成方法、装置及存储介质 |
CN109616143A (zh) * | 2018-12-13 | 2019-04-12 | 山东省计算中心(国家超级计算济南中心) | 基于变分模态分解和感知哈希的语音端点检测方法 |
CN110070874A (zh) * | 2018-01-23 | 2019-07-30 | 中国科学院声学研究所 | 一种针对声纹识别的语音降噪方法及装置 |
CN111344781A (zh) * | 2017-11-14 | 2020-06-26 | 思睿逻辑国际半导体有限公司 | 音频处理 |
CN111402926A (zh) * | 2020-03-19 | 2020-07-10 | 中国电影科学技术研究所 | 影院放映内容的检测方法、装置、设备及智能网络传感器 |
CN112214635A (zh) * | 2020-10-23 | 2021-01-12 | 昆明理工大学 | 一种基于倒频谱分析的快速音频检索方法 |
CN111935044B (zh) * | 2020-08-20 | 2021-03-09 | 金陵科技学院 | 基于emd分解的psk及qam类信号调制识别方法 |
CN113628641A (zh) * | 2021-06-08 | 2021-11-09 | 广东工业大学 | 一种基于深度学习的用于检查口鼻呼吸的方法 |
CN114023313A (zh) * | 2022-01-04 | 2022-02-08 | 北京世纪好未来教育科技有限公司 | 语音处理模型的训练、语音处理方法、装置、设备及介质 |
CN117118536A (zh) * | 2023-10-25 | 2023-11-24 | 南京派格测控科技有限公司 | 调频稳定性的确定方法、装置、设备及存储介质 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108682429A (zh) * | 2018-05-29 | 2018-10-19 | 平安科技(深圳)有限公司 | 语音增强方法、装置、计算机设备及存储介质 |
CN109410977B (zh) * | 2018-12-19 | 2022-09-23 | 东南大学 | 一种基于EMD-Wavelet的MFCC相似度的语音段检测方法 |
CN109948286B (zh) * | 2019-03-29 | 2023-10-03 | 华北理工大学 | 基于改进经验小波分解的信号分解方法 |
CN110556125B (zh) * | 2019-10-15 | 2022-06-10 | 出门问问信息科技有限公司 | 基于语音信号的特征提取方法、设备及计算机存储介质 |
CN111046323A (zh) * | 2019-12-24 | 2020-04-21 | 国网河北省电力有限公司信息通信分公司 | 一种基于emd的网络流量数据预处理方法 |
CN111276154B (zh) * | 2020-02-26 | 2022-12-09 | 中国电子科技集团公司第三研究所 | 风噪声抑制方法与***以及炮声检测方法与*** |
CN113314137B (zh) * | 2020-02-27 | 2022-07-26 | 东北大学秦皇岛分校 | 一种基于动态进化粒子群屏蔽emd的混合信号分离方法 |
CN111524493A (zh) * | 2020-05-27 | 2020-08-11 | 珠海格力智能装备有限公司 | 调试曲谱的方法及装置 |
CN115129923B (zh) * | 2022-05-17 | 2023-10-20 | 荣耀终端有限公司 | 语音搜索方法、设备及存储介质 |
CN116127277B (zh) * | 2023-04-12 | 2023-06-27 | 武汉工程大学 | 激波流场动态压力测量不确定度评定方法及*** |
CN116129926B (zh) * | 2023-04-19 | 2023-06-09 | 北京北信源软件股份有限公司 | 智能设备自然语言交互信息处理方法 |
CN118098273B (zh) * | 2024-04-29 | 2024-07-23 | 曲阜天博汽车电器有限公司 | 一种多音频数据智能处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030123339A1 (en) * | 2001-12-13 | 2003-07-03 | Junichi Tagawa | Sound critical points retrieving apparatus and method, sound reproducing apparatus and sound signal editing apparatus using sound critical points retrieving method |
JP2010152884A (ja) * | 2008-12-02 | 2010-07-08 | Intel Corp | 画像認識アルゴリズム、それを用いて目標画像を識別する方法、および、携帯用電子装置へ送信するデータを選択する方法 |
CN103209036A (zh) * | 2013-04-22 | 2013-07-17 | 哈尔滨工程大学 | 基于Hilbert-黄变换双重降噪的瞬态信号检测方法 |
CN104299620A (zh) * | 2014-09-22 | 2015-01-21 | 河海大学 | 一种基于emd算法的语音增强方法 |
CN104900229A (zh) * | 2015-05-25 | 2015-09-09 | 桂林电子科技大学信息科技学院 | 一种语音信号混合特征参数的提取方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6862558B2 (en) * | 2001-02-14 | 2005-03-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Empirical mode decomposition for analyzing acoustical signals |
US7908103B2 (en) * | 2007-05-21 | 2011-03-15 | Nilanjan Senroy | System and methods for determining masking signals for applying empirical mode decomposition (EMD) and for demodulating intrinsic mode functions obtained from application of EMD |
CN101727905B (zh) * | 2009-11-27 | 2012-06-20 | 江南大学 | 一种得到具有精细时频结构的声纹图的方法 |
CN104795064B (zh) * | 2015-03-30 | 2018-04-13 | 福州大学 | 低信噪比声场景下声音事件的识别方法 |
CN105788603B (zh) * | 2016-02-25 | 2019-04-16 | 深圳创维数字技术有限公司 | 一种基于经验模态分解的音频识别方法及*** |
-
2016
- 2016-02-25 CN CN201610103443.2A patent/CN105788603B/zh active Active
-
2017
- 2017-02-24 WO PCT/CN2017/074706 patent/WO2017144007A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030123339A1 (en) * | 2001-12-13 | 2003-07-03 | Junichi Tagawa | Sound critical points retrieving apparatus and method, sound reproducing apparatus and sound signal editing apparatus using sound critical points retrieving method |
JP2010152884A (ja) * | 2008-12-02 | 2010-07-08 | Intel Corp | 画像認識アルゴリズム、それを用いて目標画像を識別する方法、および、携帯用電子装置へ送信するデータを選択する方法 |
CN103209036A (zh) * | 2013-04-22 | 2013-07-17 | 哈尔滨工程大学 | 基于Hilbert-黄变换双重降噪的瞬态信号检测方法 |
CN104299620A (zh) * | 2014-09-22 | 2015-01-21 | 河海大学 | 一种基于emd算法的语音增强方法 |
CN104900229A (zh) * | 2015-05-25 | 2015-09-09 | 桂林电子科技大学信息科技学院 | 一种语音信号混合特征参数的提取方法 |
Non-Patent Citations (1)
Title |
---|
金辉: "基于EMD的语音信号检测与增强方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017144007A1 (zh) * | 2016-02-25 | 2017-08-31 | 深圳创维数字技术有限公司 | 一种基于经验模态分解的音频识别方法及*** |
CN107895571A (zh) * | 2016-09-29 | 2018-04-10 | 亿览在线网络技术(北京)有限公司 | 无损音频文件识别方法及装置 |
CN106656882B (zh) * | 2016-11-29 | 2019-05-10 | 中国科学院声学研究所 | 一种信号合成方法及*** |
CN106656882A (zh) * | 2016-11-29 | 2017-05-10 | 中国科学院声学研究所 | 一种信号合成方法及*** |
CN106601265A (zh) * | 2016-12-15 | 2017-04-26 | 中国人民解放军第四军医大学 | 一种消除毫米波生物雷达语音中噪声的方法 |
CN106601265B (zh) * | 2016-12-15 | 2019-08-13 | 中国人民解放军第四军医大学 | 一种消除毫米波生物雷达语音中噪声的方法 |
CN111344781A (zh) * | 2017-11-14 | 2020-06-26 | 思睿逻辑国际半导体有限公司 | 音频处理 |
CN110070874B (zh) * | 2018-01-23 | 2021-07-30 | 中国科学院声学研究所 | 一种针对声纹识别的语音降噪方法及装置 |
CN110070874A (zh) * | 2018-01-23 | 2019-07-30 | 中国科学院声学研究所 | 一种针对声纹识别的语音降噪方法及装置 |
CN108986840A (zh) * | 2018-04-03 | 2018-12-11 | 五邑大学 | 一种在检测验电笔过程中对蜂鸣器音频的识别方法 |
CN109102811B (zh) * | 2018-07-27 | 2021-03-30 | 广州酷狗计算机科技有限公司 | 音频指纹的生成方法、装置及存储介质 |
CN109102811A (zh) * | 2018-07-27 | 2018-12-28 | 广州酷狗计算机科技有限公司 | 音频指纹的生成方法、装置及存储介质 |
CN109616143A (zh) * | 2018-12-13 | 2019-04-12 | 山东省计算中心(国家超级计算济南中心) | 基于变分模态分解和感知哈希的语音端点检测方法 |
CN111402926A (zh) * | 2020-03-19 | 2020-07-10 | 中国电影科学技术研究所 | 影院放映内容的检测方法、装置、设备及智能网络传感器 |
CN111935044B (zh) * | 2020-08-20 | 2021-03-09 | 金陵科技学院 | 基于emd分解的psk及qam类信号调制识别方法 |
CN112214635A (zh) * | 2020-10-23 | 2021-01-12 | 昆明理工大学 | 一种基于倒频谱分析的快速音频检索方法 |
CN112214635B (zh) * | 2020-10-23 | 2022-09-13 | 昆明理工大学 | 一种基于倒频谱分析的快速音频检索方法 |
CN113628641A (zh) * | 2021-06-08 | 2021-11-09 | 广东工业大学 | 一种基于深度学习的用于检查口鼻呼吸的方法 |
CN114023313A (zh) * | 2022-01-04 | 2022-02-08 | 北京世纪好未来教育科技有限公司 | 语音处理模型的训练、语音处理方法、装置、设备及介质 |
CN114023313B (zh) * | 2022-01-04 | 2022-04-08 | 北京世纪好未来教育科技有限公司 | 语音处理模型的训练、语音处理方法、装置、设备及介质 |
CN117118536A (zh) * | 2023-10-25 | 2023-11-24 | 南京派格测控科技有限公司 | 调频稳定性的确定方法、装置、设备及存储介质 |
CN117118536B (zh) * | 2023-10-25 | 2023-12-19 | 南京派格测控科技有限公司 | 调频稳定性的确定方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105788603B (zh) | 2019-04-16 |
WO2017144007A1 (zh) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105788603A (zh) | 一种基于经验模态分解的音频识别方法及*** | |
CN108597496B (zh) | 一种基于生成式对抗网络的语音生成方法及装置 | |
CN108711436B (zh) | 基于高频和瓶颈特征的说话人验证***重放攻击检测方法 | |
US20170154640A1 (en) | Method and electronic device for voice recognition based on dynamic voice model selection | |
US20050143997A1 (en) | Method and apparatus using spectral addition for speaker recognition | |
KR100930060B1 (ko) | 신호 검출 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체 | |
CN101051464A (zh) | 说话人认证的注册和验证方法及装置 | |
CN110265065B (zh) | 一种构建语音端点检测模型的方法及语音端点检测*** | |
CN111128213A (zh) | 一种分频段进行处理的噪声抑制方法及其*** | |
CN108597505A (zh) | 语音识别方法、装置及终端设备 | |
CN109036470B (zh) | 语音区分方法、装置、计算机设备及存储介质 | |
CN112786059A (zh) | 一种基于人工智能的声纹特征提取方法及装置 | |
CN106024010A (zh) | 一种基于共振峰曲线的语音信号动态特征提取方法 | |
CN114333865A (zh) | 一种模型训练以及音色转换方法、装置、设备及介质 | |
US10522160B2 (en) | Methods and apparatus to identify a source of speech captured at a wearable electronic device | |
Labied et al. | An overview of automatic speech recognition preprocessing techniques | |
CN113744715A (zh) | 声码器语音合成方法、装置、计算机设备及存储介质 | |
CN103971697A (zh) | 基于非局部均值滤波的语音增强方法 | |
US20230186943A1 (en) | Voice activity detection method and apparatus, and storage medium | |
Chen et al. | Whale vocalization classification using feature extraction with resonance sparse signal decomposition and ridge extraction | |
CN108022588B (zh) | 一种基于双特征模型的鲁棒语音识别方法 | |
CN112908340A (zh) | 一种基于全局-局部加窗的声音特征快速提取方法 | |
CN114512133A (zh) | 发声对象识别方法、装置、服务器及存储介质 | |
Wang | The improved MFCC speech feature extraction method and its application | |
Tahliramani et al. | Performance Analysis of Speaker Identification System With and Without Spoofing Attack of Voice Conversion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |