CN105516860B - 虚拟低音生成方法、装置和终端 - Google Patents
虚拟低音生成方法、装置和终端 Download PDFInfo
- Publication number
- CN105516860B CN105516860B CN201610034640.3A CN201610034640A CN105516860B CN 105516860 B CN105516860 B CN 105516860B CN 201610034640 A CN201610034640 A CN 201610034640A CN 105516860 B CN105516860 B CN 105516860B
- Authority
- CN
- China
- Prior art keywords
- low frequency
- frequency signal
- sound model
- virtual bass
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013507 mapping Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 239000011800 void material Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000005238 low-frequency sound signal Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供一种虚拟低音生成方法、装置和终端,其中,虚拟低音生成装置首先获取待处理低频信号的MFCC,之后根据MFCC,确定预设的声音模型中与待处理低频信号相似概率最大的第一声音模型,然后根据声音模型对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音,通过根据待处理低频信号MFCC,将待处理低频信号进行分类,对不同声音类型的低频信号采用不同的虚拟低音生成方式,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
Description
技术领域
本发明涉及音频技术领域,尤其涉及一种虚拟低音生成方法、装置和终端。
背景技术
随着终端设备的轻薄化发展,安装在终端设备中的扬声器的尺寸也越来越小。小而薄的尺寸大大削弱了扬声器的低音还原能力,导致终端声音干涩,不浑厚,无法满足消费者日益增长的音质方面的要求。
目前,通常采用虚拟低音来提升低音,从而改善终端的低音效果。虚拟低音提升低音的原理如图1a所示,图1a为目前虚拟低音处理方法的原理示意图。从图1a中可以看出,低音信号首先分别经过高通滤波器和低通滤波器处理,得到高频信号和低频信号两个部分,虚拟低音生成单元对待处理的低频信号,采用谐波生成算法,生成扬声器能够响应的各次谐波,再将谐波加入到原低频信号中,再与通过延时单元延时的高频信号叠加,生成最终增强后的虚拟低音信号,输送给扬声器。
但是,采用上述方式进行低音补偿时,对不同类型的低音,产生的虚拟低音准确度较低,从而使提升后的低音效果较差。
发明内容
本发明提供一种虚拟低音生成方法、装置和终端,用于解决现有技术中,虚拟低音生成方法产生的虚拟低音准确度低,提升后的低音效果差的问题。
本发明一方面提供第一种虚拟低音生成方法,包括:
获取待处理低频信号的梅尔频率倒谱系数MFCC;
根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,所述预设的声音模型用于表征不同类型的低音;
根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式;
根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
本发明另一方面提供第一种虚拟低音生成装置,包括:
第一获取模块,用于获取待处理低频信号的梅尔频率倒谱系数MFCC;
第一确定模块,用于根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,所述预设的声音模型用于表征不同类型的低音;
第二确定模块,用于根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式;
第一生成模块,用于根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
本发明又一方面提供一种终端,包括如上所述的虚拟低音生成装置。
本发明提供的虚拟低音生成方法、装置和终端,首先获取待处理低频信号的MFCC,之后根据MFCC,确定预设的声音模型中与待处理低频信号相似概率最大的第一声音模型,然后根据声音模型对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音,通过根据待处理低频信号MFCC,将待处理低频信号进行分类,对不同声音类型的低频信号采用不同的虚拟低音生成方式,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
附图说明
图1a为目前虚拟低音处理方法的原理示意图;
图1为本发明实施例一提供的一种虚拟低音生成方法流程示意图;
图2为本发明实施例二提供的另一种虚拟低音生成方法流程示意图;
图3为本发明实施例三提供的又一种虚拟低音生成方法流程示意图;
图4为本发明实施例四提供的一种虚拟低音生成装置的结构示意图;
图5为本发明实施例五提供的另一种虚拟低音生成装置的结构示意图;
图6为本发明实施例六提供的另一种虚拟低音生成设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明针对现有虚拟低音生成方法,生成的虚拟低音准确度低,合成后的低音效果差的问题,提出一种虚拟低音生成方法。本发明提供的虚拟低音生成方法,通过将待处理的低频声音信号与不同的声音模型进行匹配,确定与待处理的低频声音信号相似概率最大的声音模型,之后根据确定的声音模型对应的虚拟低音生成方式,生成待处理低频声音信号的虚拟低音,由于生成虚拟低音的方式,是根据与待处理低频声音信号最相似的声音模型对应的虚拟低音生成方式确定的,因此准确度较高。
图1为本发明实施例一提供的一种虚拟低音生成方法流程示意图。如图1所示,该方法包括:
S10,获取待处理低频信号的梅尔频率倒谱系数(Mel Frequency CepstrumCoefficient,简称MFCC)。
S11,根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,所述预设的声音模型用于表征不同类型的低音。
S12,根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式。
S13,根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
本发明提供的虚拟低音生成方法的执行主体为虚拟低音生成装置,该装置可以集成在终端的音箱***中,也可以与音箱***分开设置,本发明对此不做限定。
其中,Mel频率是基于人耳听觉特性提出来的,它与频率成非线性对应关系。Mel频率倒谱系数(MFCC)则是利用它们之间的这种关系,计算得到的频谱特征,不同的声音信号对应不同的MFCC。
另外,预设的声音模型可以是隐马尔科夫模型(Hidden Markov Model,简称HMM),还可以是二分类模型、高斯混合模型等等。
若第一声音模型是HMM模型,则确定待处理低频信号的MFCC后,即可将MFCC输入到各声音模型中,通过计算,即可确定利用各个声音模型产生待处理低频信号的概率,即待处理低频信号与各个声音模型的相似概率。之后通过比较各个相似概率,即可确定与待处理低频信号相似概率最大的第一声音模型。实际使用时,低音信号首先分别经过高通滤波器和低通滤波器处理,得到高频信号和低频信号两个部分,对低频信号进行参数提取,即可获得待处理低频信号的MFCC参数。可以理解的是,对待处理低频信号进行参数提取的过程可以是由虚拟低音生成装置执行的,也可以是由其它装置执行的,本实施例对此不做限定。
另外,虚拟低音生成装置中存储有多种声音模型和对应的虚拟低音生成方式,其中,声音模型用于表征不同类型的低音,比如马蹄声、炮声、鼓声、飞机声、枪声等等可分别对应不同的声音模型,相应也对应不同的虚拟低音生成方式,即对应不同的谐波数目、各个谐波的频率及各个谐波的权值,举例来说,马蹄声对应的谐波生成方式中,谐波可以分别为1次谐波、2次谐波、3次谐波和4次谐波,各次谐波的频率分别为:30赫兹(Hz)、60Hz,90Hz和120Hz,各次谐波的权值分别为0.6、0.2、0.1和0.1;而飞机声对应的谐波生成方式中,谐波可以分别为1次谐波、2次谐波、3次谐波、4次谐波和5次谐波,各次谐波的频率分别为:30赫兹(Hz)、60Hz,90Hz、120Hz和150HZ,各次谐波的权值分别为0.5、0.2、0.2、0.05和0.05等等。需要说明的是,上述各次谐波的数目、频率和权值仅是示意性说明,各种类型的低音对应的谐波数目、频率和权值需要根据各个类型声音的MFCC参数确定。
可以理解的是,各声音模型对应的虚拟低音生成方式可以是通过对大量各类型的低音进行虚拟低音生成验证确定的,即各声音模型对应的虚拟低音生成方式可较准确的对各声音模型对应的低音进行还原补偿。
具体的,虚拟低音生成装置获取待处理低频信号的MFCC后,即可根据MFCC确定与待处理低频信号的相似概率最大的第一声音模型,之后即可根据该第一声音模型对应的虚拟低音生成方式生成该待处理低频信号的虚拟低音,然后将生成的虚拟低音与待处理低频信号进行叠加后,再同经过延时处理的高频信号一同输送给扬声器。不同于已有技术中的采用固定的生成虚拟低音的处理方式,本申请中由于生成虚拟低音的方式是根据与待处理低频信号相似概率最大的声音模型确定的,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
其中,待处理低频信号与各声音模型的相似概率,是指根据各声音模型可还原得到该待处理低频信号的概率,其可以通过将待处理低频信号的MFCC输入各声音模型中,运算得到。
举例来说,若输入的声音信号为射箭声,虚拟低音生成装置在获得射箭声的低频信号的MFCC后,通过将射箭声的MFCC分别输入各声音模型后,运算得到其与炮声的相似概率为0.2、与鼓声的相似概率为0.1,与枪声的相似概率为0.5,则可确定与射箭声最相似的声音模型为枪声的声音模型,之后即可根据枪声的声音模型对应的虚拟低音生成方式,生成射箭声的虚拟低音。
本实施例提供的虚拟低音生成方法,首先获取待处理低频信号的MFCC,之后根据MFCC,确定预设的声音模型中与待处理低频信号相似概率最大的第一声音模型,然后根据声音模型对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音,本方法中,通过根据待处理低频信号MFCC,将待处理低频信号进行分类,对不同声音类型的低频信号采用不同的虚拟低音生成方式,使生成的虚拟低音更准确,进而使提升后的低音效果更好。
可以理解的是,虚拟低音生成装置中,声音模型的数量可以根据使用需要和终端的实际承载能力,进行补充和删减,且各声音模型的生成过程可以是由虚拟低音生成装置执行的,也可以是由其它具有声音识别功能的装置执行的。
具体的,虚拟低音生成过程可以利用隐马尔科夫模型实现。比如,首先获取各类型低频信号的MFCC,再利用各类型低频信号的MFCC,对隐马尔科夫模型进行训练,生成各类型低频信号对应的各声音模型和虚拟低音生成方式,再根据所述各声音模型和虚拟低音生成方式,确定声音模型与虚拟低音生成方式的映射关系。
具体的,可以首先从典型的低音音频库中,收集比如马蹄声,炮声,鼓声,飞机声,机器轰鸣声等用户在平时观影过程中比较敏感的典型的低频信号,然后提取这些音频信息的MFCC参数,再利用这些参数对隐马尔科夫模型进行训练,即可生成识别各个类型声音的声音模型和虚拟低音生成方式,从而确定声音模型与虚拟低音生成方式的映射关系。
其中,在确定声音模型和虚拟低音生成方式的映射关系时,可以根据声音模型的相似度及对应的虚拟低音生成方式的相似度,综合考虑终端的承载能力,对相似度较高的声音模型和虚拟低音生成方式进行合并处理。举例来说,若对火车鸣笛声与防空警报声的MFCC进行隐马尔科夫模型训练后,确定火车鸣笛声的声音模型中包括的固定状态数目为3、转换状态数目为3,各个固定状态之间的转化概率分别为:0.5、0.2、0.3;0.3、0.5、0.2;0.2、0.3、0.5,各转换状态之间的转化概率分别为:0.5、0.2、0.3;0.4、0.1、0.5;0.7、0.1、0.2,且对应的虚拟低音生成模式包括的谐波情况为:1次谐波、3次谐波、4次谐波和5次谐波,各个谐波的频率分别为:20Hz、60Hz、80Hz和100Hz,各个谐波的权值分别为0.5、0.2、0.15和0.15;而防空警报声的声音模型中包括的固定状态数目为3、转换状态数目为3,各个固定状态之间的转化概率分别为:0.5、0.2、0.3;0.25、0.5、0.25;0.2、0.3、0.5,各转换状态之间的转化概率分别为:0.5、0.2、0.3;0.4、0.1、0.5;0.7、0.1、0.2,且对应的虚拟低音生成模式包括的谐波情况为:1次谐波、3次谐波、4次谐波和5次谐波,各个谐波的频率分别为:20Hz、60Hz、80Hz和100Hz,各个谐波的权值分别为0.5、0.2、0.15和0.15,通过比较可知,两个声音模型的状态数目相同,对应的虚拟低音生成模式相同,且各个状态间的转化概率也几乎一致,因此可以将两个声音模型进行合并。
另外,虚拟低音生成装置还可以对待处理低频信号与各声音模型的相似概率进行采集,以对声音模型进行完善和补充。比如,将与各声音模型的相似概率低于设定的值的待处理低频信号,发送给声音模型生成装置,使声音模型生成装置对与待处理低频信号的MFCC相同的多个低频信号进行隐马尔科夫模型训练,生成待处理低频信号对应的第二声音模型。下边结合图2对上述对声音模型进行完善和补充的过程,进行详细说明。
图2为本发明实施例二提供的另一种虚拟低音生成方法流程示意图。如图2所示,在上述图1所示的基础上,上述S11,包括:
S11a,将所述待处理低频信号的MFCC,输入至各声音模型中,确定所述待处理低频信号与各声音模型的相似概率。
S11b,判断所述各相似概率中的最大值是否大于设定的值,若是,则执行S11c,否则,执行S11d。
S11c,确定所述相似概率最大的值对应的声音模型为第一声音模型。
S11d,确定所述相似概率最大的值对应的声音模型为第一声音模型,并将所述待处理低频信号的MFCC发送给服务器,以使服务器对与所述待处理低频信号的MFCC相同的低频信号进行隐马尔科夫模型训练,生成所述待处理低频信号对应的第二声音模型。
其中,上述设定的值,可以根据终端的处理能力确定,比如对于电视或电脑,上述设定的值可以为0.6、0.7、0.9等,对于手机,上述设定的值可以为0.5、0.6、0.8等等,本实施例对此不做限定。
另外,上述服务器可以是虚拟低音生成装置的处理器,也可以是其它可与虚拟低音生成装置通信的,用于生成声音模型的装置。
举例来说,若设定的值为0.8,虚拟低音生成装置在处理后,确定待处理的低频信号与预设的声音模型的各相似概率中的最大值为0.7,小于设定的值0.8,即可确定虚拟低音生成装置中存储的各声音模型与待处理低频信号均有差异,因此在根据相似概率最大的值对应的声音模型和虚拟低音生成方式,生成待处理低频信号的虚拟低音后,还要将该待处理低频信号的MFCC发送给服务器,使服务器在收到待处理低频信号的MFCC后,即可从音频库中调取与该MFCC相同的低频信号,并对这类低频信号进行隐马尔科夫模型训练,生成该MFCC对应的第二声音模型及对应的第二虚拟低音生成方式。
可以理解的是,本方法中,在上述S11之后,还包括:
S14,接收并存储服务器返回的第二声音模型和第二虚拟低音生成方式。
其中,上述S14,可能是在S13之后再执行,也可能是在S13之前执行。但是为了不影响终端音频信号与视频信号的同步,对当前待处理的低频信号,都可按第一虚拟低音生成方式生成虚拟低音,而对之后的与该待处理低频信号相同或属于同一声音模型的低频信号,即可根据第二虚拟低音生成方式生成虚拟低音。
本实施例提供的虚拟低音生成方法,首先获取待处理低频信号的MFCC,之后将待处理低频信号的MFCC,输入到各声音模型中,确定待处理低频信号与各声音模型的各相似概率,再判断各相似概率中的最大值是否大于设定的值,若否,则根据与待处理低频信号相似概率最大的第一声音模型,对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音的同时,将待处理低频信号的MFCC发送给服务器,使服务器生成与待处理低频信号对应的第二声音模型和第二虚拟低音生成方式,之后接收并存储第二声音模型和第二虚拟低音生成方式,由于根据待处理低频信号MFCC,将待处理低频信号进行分类,对不同声音类型的低频信号采用不同的虚拟低音生成方式,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。且在最大相似概率小于设定值后,对与待处理低频信号的MFCC相同的低频信号又进行了隐马尔科夫模型训练,得到了第二声音模型和第二虚拟低音生成方式,使得声音模型和虚拟低音生成方式更精确,从而使得根据与待处理低频信号的相似概率最大的声音模型确定的虚拟低音生成方式更准确。
特殊地,若将待处理低频信号的MFCC输入到各声音模型后,确定的与待处理低频信号的相似概率最大的声音模型有两个或者三个,那么在确定虚拟低音生成方式时,可以任选其中一个声音模型对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音,也可以将各个声音模型对应的虚拟低音生成方式分别生成的虚拟低音取不同的权值后,加和得到待处理低频信号的虚拟低音,比如,若有两个声音模型与待处理低频信号的相似概率相等,则根据每个模型对应的虚拟低音生成方式分别生成虚拟低音,之后再将生成的两个虚拟低音各取50%作为待处理低频信号的虚拟低音,或者,还可以根据图3提供的方法执行。
图3为本发明实施例三提供的再一种虚拟低音生成方法流程示意图。如图3所示,在上述实施例一的基础上,上述S11,包括:
S11e,根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的至少两个第三声音模型。
相应的,S12,包括:
S12a,根据声音模型与虚拟低音生成方式的映射关系,确定与所述至少两个第三声音模型分别对应的至少两个第三虚拟低音生成方式。
相应的,S13,包括:
S13a,判断所述至少两个第三声音模型,分别对应的至少两个第三虚拟低音生成方式中包含的谐波数目是否相同,若不相同,则执行S13b,否则执行S13c。
S13b,根据包含谐波数目最大的第三虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
S13c,根据任意一个第三虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
具体的,虚拟低音生成方式包括:谐波数目、各谐波的频率及各谐波的权值,待处理低频信号的虚拟低音等于,各个谐波的幅值与权值乘积的总和。通常情况下,谐波数目越大,最终生成的虚拟低音越准确。因此,本实施例中,在确定与待处理低频信号的相似概率最大的声音模型包括至少两个时,则可以比较至少两个第三虚拟低音生成方式包含的谐波数目是否相同,若不同,则根据包含谐波数目最大的第三虚拟低音生成方式生成待处理低频信号的虚拟低音,若相同,则可以在至少两个第三虚拟低音生成方式中,任选一个作为待处理低频信号的虚拟低音的生成方式。
或者,若至少两个第三虚拟低音生成模式中包含的谐波数目相同,则还可以比较至少两个第三虚拟低音生成模式中各个谐波的频率或权值,根据频率和权值与生成的虚拟低音的准确性的关系,选择一个虚拟低音生成方式作为待处理低频信号的虚拟低音生成方式。
本实施例提供的虚拟低音生成方法,首先获取待处理低频信号的MFCC,之后根据MFCC,确定与待处理低频信号相似概率最大的至少两个第三声音模型,然后判断至少两个第三声音模型对应的至少两个第三虚拟低音生成方式是否包含相同的谐波数目,若否,则根据包含谐波数目最大的第三虚拟低音生成方式,生成待处理低频信号的虚拟低音,由于生成虚拟低音的方式是根据与待处理低频信号相似概率最大、且包含的谐波数目最多的声音模型确定的,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
图4为本发明实施例四提供的一种虚拟低音生成装置的结构示意图。如图4所示,该装置包括:第一获取模块41、第一确定模块42、第二确定模块43和第一生成模块44。
其中,第一获取模块41,用于获取待处理低频信号的梅尔频率倒谱系数MFCC;第一确定模块42,用于根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,所述预设的声音模型用于表征不同类型的低音;第二确定模块43,用于根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式;第一生成模块44,用于根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
该虚拟低音生成装置用于执行上述实施例一提供的虚拟低音生成方法。
其中,Mel频率是基于人耳听觉特性提出来的,它与频率成非线性对应关系。Mel频率倒谱系数(MFCC)则是利用它们之间的这种关系,计算得到的频谱特征。不同的声音信号对应不同的MFCC。
另外,预设的声音模型可以是隐马尔科夫模型(Hidden Markov Model,简称HMM),还可以是二分类模型、高斯混合模型等等。若第一声音模型是HMM模型,则虚拟低音生成装置在确定待处理低频信号的MFCC后,即可将MFCC输入到各声音模型中,通过计算,即可确定利用各个声音模型产生待处理低频信号的概率,即待处理低频信号与各个声音模型的相似概率。之后通过比较各个相似概率,即可确定与待处理低频信号相似概率最大的第一声音模型。
实际使用时,低音信号首先分别经过高通滤波器和低通滤波器处理,得到高频信号和低频信号两个部分,对低频信号进行参数提取,即可获得待处理低频信号的MFCC参数。可以理解的是,对待处理低频信号进行参数提取的过程可以是由虚拟低音生成装置执行的,也可以是由其它装置执行的,本实施例对此不做限定。
另外,虚拟低音生成装置中存储有多种声音模型和声音模型对应的虚拟低音生成方式,其中,声音模型用于表征不同类型的低音,比如马蹄声、炮声、鼓声、飞机声、枪声等等可分别对应不同的声音模型,相应也对应不同的虚拟低音生成方式,即对应不同的谐波数目、各个谐波的频率及各个谐波的权值,举例来说,马蹄声对应的谐波生成方式中,谐波分别为1次谐波、2次谐波、3次谐波和4次谐波,各次谐波的频率分别为:30赫兹(Hz)、60Hz,90Hz和120Hz,各次谐波的权值分别为0.6、0.2、0.1和0.1;而飞机声对应的谐波生成方式中,谐波分别为1次谐波、2次谐波、3次谐波、4次谐波和5次谐波,各次谐波的频率分别为:30赫兹(Hz)、60Hz,90Hz、120Hz和150HZ,各次谐波的权值分别为0.5、0.2、0.2、0.05和0.05等等。需要说明的是,上述各次谐波的数目、频率和权值仅是示意性说明,各中类型的低音对应的谐波数目、频率和权值需要根据各个类型声音的MFCC参数确定。
可以理解的是,各声音模型对应的虚拟低音生成方式可以是通过对大量各类型的低音进行虚拟低音生成确定的,即各声音模型对应的虚拟低音生成方式可较准确的对各声音模型对应的低音进行还原补偿。
具体的,虚拟低音生成装置获取待处理低频信号的MFCC后,即可根据MFCC确定与待处理低频信号的相似概率最大的第一声音模型,之后即可根据该第一声音模型对应的虚拟低音生成方式生成该待处理低频信号的虚拟低音,然后将生成的虚拟低音与待处理低频信号进行叠加后,再同经过延时处理的高频信号一同输送给扬声器。不同于已有技术中的采用固定的生成虚拟低音的处理方式,本申请中由于生成虚拟低音的方式是根据与待处理低频信号相似概率最大的声音模型确定的,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
其中,待处理低频信号与各声音模型的相似概率,是指根据各声音模型可还原得到该待处理低频信号的概率,其可以通过将待处理低频信号的MFCC输入各声音模型中,运算得到。
举例来说,若输入的声音信号为射箭声,虚拟低音生成装置在获得射箭声的低频信号的MFCC后,通过将射箭声的MFCC分别输入各声音模型后,运算得到其与与炮声的相似概率为0.2、与鼓声的相似概率为0.1,与枪声的相似概率为0.5,则可确定与射箭声最相似的声音模型为枪声的声音模型,之后即可根据枪声的声音模型对应的虚拟低音生成方式,生成射箭声的虚拟低音。
本实施例提供的虚拟低音生成装置,首先获取待处理低频信号的MFCC,之后根据MFCC,确定预设的声音模型中与待处理低频信号相似概率最大的第一声音模型,然后根据声音模型对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音,通过根据待处理低频信号MFCC,将待处理低频信号进行分类,对不同声音类型的低频信号采用不同的虚拟低音生成方式,使生成的虚拟低音更准确,进而使提升后的低音效果更好。
可以理解的是,虚拟低音生成装置中,声音模型的数量可以根据使用需要和终端的实际承载能力,进行补充和删减,且各声音模型的生成过程可以是由虚拟低音生成装置执行的,也可以是由其它具有声音识别功能的装置执行的。
另外,虚拟低音生成装置还可以对待处理低频信号与各声音模型的相似概率进行采集,以对声音模型进行完善和补充。比如,将与各声音模型的相似概率低于设定的值的待处理低频信号,发送给声音模型生成装置,使声音模型生成装置对与待处理低频信号的MFCC相同的多个低频信号进行隐马尔科夫模型训练,生成待处理低频信号对应的第二声音模型。
则上述所述第一确定模块42,具体用于:
将所述待处理低频信号的MFCC,输入至各声音模型中,确定所述待处理低频信号与各声音模型的各相似概率;
判断所述各相似概率中的最大值是否大于设定的值,若是,则确定所述相似概率最大的值对应的声音模型为第一声音模型;
或者,若所述各相似概率中的最大值小于设定的值,则如图5所示,上述虚拟低音生成装置,还包括:发送模块45。
图5为本发明实施例五提供的另一种虚拟低音生成装置结构示意图。
其中,发送模块在上述第一确定模块42确定所述相似概率最大的值对应的声音模型为第一声音模型后,将所述待处理低频信号的MFCC发送给服务器,以使服务器对与所述待处理低频信号的MFCC相同的低频信号进行隐马尔科夫模型训练,生成所述待处理低频信号对应的第二声音模型和第二虚拟低音生成方式。
进一步地,所述装置还包括:存储模块46,用于接收并存储所述服务器返回的第二声音模型和第二虚拟低音生成方式。
其中,上述设定的值,可以根据终端的处理能力确定,比如对于电视或电脑,上述设定的值可以为0.6、0.7、0.9等,对于手机,上述设定的值可以为0.5、0.6、0.8等等,本实施例对此不做限定。
另外,上述服务器可以是虚拟低音生成装置的处理器,也可以是其它可与虚拟低音生成装置通信的,用于生成声音模型的装置。
举例来说,若设定的值为0.8,虚拟低音生成装置在处理后,确定待处理的低频信号与声音模型的各相似概率中最大的值为0.7,小于设定的值0.8,即可确定虚拟低音生成装置中存储的各声音模型与待处理低频信号均有差异,因此在根据相似概率最大的值对应的声音模型和虚拟低音生成方式,生成待处理低频信号的虚拟低音后,还要将该待处理低频信号的MFCC发送给服务器,使服务器在收到待处理低频信号的MFCC后,即可从音频库中调取与该MFCC相同的低频信号,并对这类低其中,上述设定的值,可以根据终端的处理能力确定,比如对于电视或电脑,上述设定的值可以为0.6、0.7、0.9等,对于手机,上述设定的值可以为0.5、0.6、0.8等等,本实施例对此不做限定。
另外,上述服务器可以是虚拟低音生成装置的处理器,也可以是其它可与虚拟低音生成装置通信的,用于生成声音模型的装置。
举例来说,若设定的值为0.8,虚拟低音生成装置在处理后,收到待处理的低频信号与声音模型的各相似概率中最大的值为0.7,小于设定的值0.8,即可确定虚拟低音生成装置中存储的各声音模型与待处理低频信号均有差异,因此在根据相似概率最大的值对应的声音模型和虚拟低音生成方式,生成待处理低频信号的虚拟低音后,还要将该待处理低频信号的MFCC发送给服务器,使服务器在收到待处理低频信号的MFCC后,即可从音频库中调取与该MFCC相同的低频信号,并对这类低频信号进行隐马尔科夫模型训练,生成该MFCC对应的第二声音模型及对应的第二虚拟低音生成方式。
可以理解的是,为了不影响终端音频信号与视频信号的同步,虚拟低音生成装置对当前待处理的低频信号,都可按第一虚拟低音生成方式生成虚拟低音,而对之后的与该待处理低频信号相同或属于同一声音模型的低频信号,即可根据第二虚拟低音生成方式生成虚拟低音。
频信号进行隐马尔科夫模型训练,生成该MFCC对应的第二声音模型及对应的第二虚拟低音生成方式。
可以理解的是,为了不影响终端音频信号与视频信号的同步,虚拟低音生成装置对当前待处理的低频信号,都可按第一虚拟低音生成方式生成虚拟低音,而对之后的与该待处理低频信号相同或属于同一声音模型的低频信号,即可根据第二虚拟低音生成方式生成虚拟低音。
本实施例提供的虚拟低音生成装置,首先获取待处理低频信号的MFCC,之后将待处理低频信号的MFCC,输入到各声音模型中,确定待处理低频信号与各声音模型的各相似概率,再判断各相似概率中的最大值是否大于设定的值,若否,则根据与待处理低频信号相似概率最大的第一声音模型,对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音的同时,将待处理低频信号的MFCC发送给服务器,使服务器生成与待处理低频信号对应的第二声音模型和第二虚拟低音生成方式,之后接收并存储第二声音模型和第二虚拟低音生成方式,由于根据待处理低频信号MFCC,将待处理低频信号进行分类,对不同声音类型的低频信号采用不同的虚拟低音生成方式,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。且在最大相似概率小于设定值后,对与待处理低频信号的MFCC相同的低频信号又进行了隐马尔科夫模型训练,得到了第二声音模型和第二虚拟低音生成方式,使得声音模型和虚拟低音生成方式更精确,从而使得根据与待处理低频信号的相似概率最大的声音模型确定的虚拟低音生成方式更准确。
特殊地,若将待处理低频信号的MFCC输入到各声音模型后,确定的与待处理低频信号的相似概率最大的声音模型有两个或者三个,那么在确定虚拟低音生成方式时,可以任选其中一个声音模型对应的虚拟低音生成方式,生成待处理低频信号的虚拟低音,也可以将各个声音模型对应的虚拟低音生成方式分别生成的虚拟低音取不同的权值后,加和得到待处理低频信号的虚拟低音,比如,若有两个声音模型与待处理低频信号的相似概率相等,则根据每个模型对应的虚拟低音生成方式分别生成虚拟低音,之后再将生成的两个虚拟低音各取50%作为待处理低频信号的虚拟低音,或者,第一确定模块42,还具体用于:
根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的至少两个第三声音模型;
相应的,所述第二确定模块43,具体用于:
根据声音模型与虚拟低音生成方式的映射关系,确定与所述至少两个第三声音模型分别对应的至少两个第三虚拟低音生成方式;
相应的,所述第一生成模块44,具体用于:
判断所述至少两个第三声音模型,分别对应的至少两个第三虚拟低音生成方式中包含的谐波数目是否相同;
若不相同,则根据包含谐波数目最大的第三虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
具体的,虚拟低音生成方式包括:谐波数目、各谐波的频率及各谐波的权值,待处理低频信号的虚拟低音等于,各个谐波的幅值与权值乘积的总和。通常情况下,谐波数目越大,最终生成的虚拟低音越准确。因此,本实施例中,在确定与待处理低频信号的相似概率最大的声音模型包括至少两个时,则可以比较至少两个第二虚拟低音生成方式包含的谐波数目是否相同,若不同,则根据包含谐波数目最大的第二虚拟低音生成方式生成待处理低频信号的虚拟低音,若相同,则可以在至少两个第二虚拟低音生成方式中,任选一个作为待处理低频信号的虚拟低音的生成方式。
或者,若至少两个第二虚拟低音生成模式中包含的谐波数目相同,则还可以比较至少两个第二虚拟低音生成模式中各个谐波的频率或权值,根据频率和权值与生成的虚拟低音的准确性的关系,选择一个虚拟低音生成方式作为待处理低频信号的虚拟低音生成方式。
本实施例提供的虚拟低音生成装置,用于执行上述实施例二、三或四提供的虚拟低音生成方法,各模块的具体功能及虚拟低音生成流程可参照上述实施例的详细描述,此处不再赘述。
本实施例提供的虚拟低音生成装置,首先获取待处理低频信号的MFCC,之后根据MFCC,确定与待处理低频信号相似概率最大的至少两个第三声音模型,然后判断至少两个第三声音模型对应的至少两个第二虚拟低音生成方式是否包含相同的谐波数目,若否,则根据包含谐波数目最大的第二虚拟低音生成方式,生成待处理低频信号的虚拟低音,由于生成虚拟低音的方式是根据与待处理低频信号相似概率最大、且包含的谐波数目最多的声音模型确定的,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
基于上述实施例提供的虚拟低音生成装置,本发明提供一种终端,包括如上任意一个实施例描述的虚拟低音生成装置。
该终端可以为电视、个人电脑、手机等等。其中,虚拟低音生成装置生成虚拟低音的过程可参照上述虚拟低音生成装置的详细描述,此处不再赘述。
图6为本发明实施例六提供一种虚拟低音生成设备的结构示意图。如图6所示,该虚拟低音生成设备包括:通信部件61、存储器62和处理器63。
其中,存储器62,用于存放程序;
处理器63,用于执行存储器存放的程序,获取待处理低频信号的MFCC;并根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,所述预设的声音模型用于表征不同类型的低音;根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式;并根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
通信部件61,用于与扬声器进行通信,将生成的虚拟低音发送给扬声器。
在具体实现上,如果通信部件1161、处理器1363和存储器1262独立实现,则通信部件1161、处理器1363和存储器1262可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部终端互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
该虚拟低音生成设备用于执行上述实施例一提供的虚拟低音生成方法。
其中,Mel频率是基于人耳听觉特性提出来的,它与频率成非线性对应关系。Mel频率倒谱系数(MFCC)则是利用它们之间的这种关系,计算得到的频谱特征。不同的声音信号对应不同的MFCC。
另外,预设的声音模型可以是隐马尔科夫模型(Hidden Markov Model,简称HMM),还可以是二分类模型、高斯混合模型等等。若第一声音模型是HMM模型,则虚拟低音生成设备在确定待处理低频信号的MFCC后,即可将MFCC输入到各声音模型中,通过计算,即可确定利用各个声音模型产生待处理低频信号的概率,即待处理低频信号与各个声音模型的相似概率。之后通过比较各个相似概率,即可确定与待处理低频信号相似概率最大的第一声音模型。
实际使用时,低音信号首先分别经过高通滤波器和低通滤波器处理,得到高频信号和低频信号两个部分,对低频信号进行参数提取,即可获得待处理低频信号的MFCC参数。可以理解的是,对待处理低频信号进行参数提取的过程可以是由虚拟低音生成设备执行的,也可以是由其它设备执行的,本实施例对此不做限定。
另外,虚拟低音生成设备中存储有多种声音模型和声音模型对应的虚拟低音生成方式,其中,声音模型用于表征不同类型的低音,比如马蹄声、炮声、鼓声、飞机声、枪声等等可分别对应不同的声音模型,相应也对应不同的虚拟低音生成方式,即对应不同的谐波数目、各个谐波的频率及各个谐波的权值,举例来说,马蹄声对应的谐波生成方式中,谐波分别为1次谐波、2次谐波、3次谐波和4次谐波,各次谐波的频率分别为:30赫兹(Hz)、60Hz,90Hz和120Hz,各次谐波的权值分别为0.6、0.2、0.1和0.1;而飞机声对应的谐波生成方式中,谐波分别为1次谐波、2次谐波、3次谐波、4次谐波和5次谐波,各次谐波的频率分别为:30赫兹(Hz)、60Hz,90Hz、120Hz和150HZ,各次谐波的权值分别为0.5、0.2、0.2、0.05和0.05等等。需要说明的是,上述各次谐波的数目、频率和权值仅是示意性说明,各中类型的低音对应的谐波数目、频率和权值需要根据各个类型声音的MFCC参数确定。
可以理解的是,各声音模型对应的虚拟低音生成方式可以是通过对大量各类型的低音进行虚拟低音生成确定的,即各声音模型对应的虚拟低音生成方式可较准确的对各声音模型对应的低音进行还原补偿。
具体的,虚拟低音生成设备获取待处理低频信号的MFCC后,即可根据MFCC确定与待处理低频信号的相似概率最大的第一声音模型,之后即可根据该第一声音模型对应的虚拟低音生成方式生成该待处理低频信号的虚拟低音,然后将生成的虚拟低音与待处理低频信号进行叠加后,再同经过延时处理的高频信号一同输送给扬声器。由于生成虚拟低音的方式是根据与待处理低频信号相似概率最大的声音模型确定的,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
其中,待处理低频信号与各声音模型的相似概率,是指根据各声音模型可还原得到该待处理低频信号的概率,其可以通过将待处理低频信号的MFCC输入各声音模型中,运算得到。
举例来说,若输入的声音信号为射箭声,虚拟低音生成设备在获得射箭声的低频信号的MFCC后,通过分析确定器与炮声的相似概率为0.2、与鼓声的相似概率为0.1,与枪声的相似概率为0.5,则可确定与射箭声最相似的声音模型为枪声的声音模型,之后即可根据枪声的声音模型对应的虚拟低音生成方式,生成射箭声的虚拟低音。
可以理解的是,虚拟低音生成设备中,声音模型的数量可以根据使用需要和终端的实际承载能力,进行补充和删减,且各声音模型的生成过程可以是由虚拟低音生成设备执行的,也可以是由其它具有声音识别功能的设备确定的。
若声音模型的生成过程是由虚拟低音生成设备执行的,则上述处理器,还用于获取各类型低频信号的MFCC;利用所述MFCC,对隐马尔科夫模型进行训练,生成各类型低频信号对应的各声音模型和虚拟低音生成方式;根据所述各声音模型和虚拟低音生成方式,确定声音模型与虚拟低音生成方式的映射关系。
具体的,虚拟低音生成设备可以首先从典型的低音音频库中,收集比如马蹄声,炮声,鼓声,飞机声,机器轰鸣声等用户在平时观影过程中比较敏感的典型的低频信号,然后提取这些音频信息的MFCC参数,再利用这些参数对隐马尔科夫模型进行训练,即可生成识别各个类型声音的声音模型和虚拟低音生成方式,从而确定声音模型与虚拟低音生成方式的映射关系。
其中,在确定声音模型和虚拟低音生成方式的映射关系时,可以根据声音模型的相似度及对应的虚拟低音生成方式的相似度,综合考虑终端的承载能力,对相似度较高的声音模型和虚拟低音生成方式进行合并处理。
另外,虚拟低音生成设备还可以对待处理低频信号与各声音模型的相似概率进行采集,以对声音模型进行完善和补充。比如,将与各声音模型的相似概率低于设定的值的待处理低频信号,发送给声音模型生成设备,使声音模型生成设备对与待处理低频信号的MFCC相同的多个低频信号进行隐马尔科夫模型训练,生成待处理低频信号对应的第二声音模型。
则上述处理器63,具体用于:
将所述待处理低频信号的MFCC,输入至各声音模型中,确定所述待处理低频信号与各声音模型的各相似概率;
判断所述各相似概率中的最大值是否大于设定的值,若是,则确定所述相似概率最大的值对应的声音模型为第一声音模型;
或者,若所述各相似概率中的最大值小于设定的值,则上述处理器,还具体用于:
确定所述相似概率最大的值对应的声音模型为第一声音模型,并将所述待处理低频信号的MFCC发送给服务器,以使服务器对与所述待处理低频信号的MFCC相同的低频信号进行隐马尔科夫模型训练,生成所述待处理低频信号对应的第二声音模型和第二虚拟低音生成方式,并接收和并存储所述服务器返回的第二声音模型和第二虚拟低音生成方式。
其中,上述设定的值,可以根据终端的处理能力确定,比如对于电视或电脑,上述设定的值可以为0.6、0.7、0.9等,对于手机,上述设定的值可以为0.5、0.6、0.8等等,本实施例对此不做限定。
另外,上述服务器可以是虚拟低音生成设备的处理器,也可以是其它可与虚拟低音生成设备通信的,用于生成声音模型的设备。
举例来说,若设定的值为0.8,虚拟低音生成设备在处理后,确定待处理的低频信号与声音模型的各相似概率中最大的值为0.7,小于设定的值0.8,即可确定虚拟低音生成设备中存储的各声音模型与待处理低频信号均有差异,因此在根据相似概率最大的值对应的声音模型和虚拟低音生成方式,生成待处理低频信号的虚拟低音后,还要将该待处理低频信号的MFCC发送给服务器,使服务器在收到待处理低频信号的MFCC后,即可从音频库中调取与该MFCC相同的低频信号,并对这类低频信号进行隐马尔科夫模型训练,生成该MFCC对应的第二声音模型及对应的第二虚拟低音生成方式。
可以理解的是,为了不影响终端音频信号与视频信号的同步,虚拟低音生成设备对当前待处理的低频信号,都可按第一虚拟低音生成方式生成虚拟低音,而对之后的与该待处理低频信号相同或属于同一声音模型的低频信号,即可根据第二虚拟低音生成方式生成虚拟低音。
特殊地,若将待处理低频信号的MFCC输入到各声音模型后,确定的与待处理低频信号的相似概率最大的声音模型有两个或者三个,那么上述处理器63,具体用于:
所述根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的至少两个第三声音模型;
判断所述至少两个第三声音模型,分别对应的至少两个第二虚拟低音生成方式中包含的谐波数目是否相同;
若不相同,则确定包含谐波数目最大的第二虚拟低音生成方式为第一虚拟低音生成方式。
若相同,则确定所述至少两个第二虚拟低音生成方式中的任意一个为第一虚拟低音生成方式。
具体的,虚拟低音生成方式包括:谐波数目、各谐波的频率及各谐波的权值,待处理低频信号的虚拟低音等于,各个谐波的幅值与权值乘积的总和。通常情况下,谐波数目越大,最终生成的虚拟低音越准确。因此,本实施例中,在确定与待处理低频信号的相似概率最大的声音模型包括至少两个时,则可以比较至少两个第二虚拟低音生成方式包含的谐波数目是否相同,若不同,则根据包含谐波数目最大的第二虚拟低音生成方式生成待处理低频信号的虚拟低音,若相同,则可以在至少两个第二虚拟低音生成方式中,任选一个作为待处理低频信号的虚拟低音的生成方式。
或者,若至少两个第二虚拟低音生成模式中包含的谐波数目相同,则还可以比较至少两个第二虚拟低音生成模式中各个谐波的频率或权值,根据频率和权值与生成的虚拟低音的准确性的关系,选择一个虚拟低音生成方式作为待处理低频信号的虚拟低音生成方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述虚拟低音生成设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本实施例提供的虚拟低音生成设备,首先获取待处理低频信号的MFCC,之后根据MFCC,确定预设的声音模型中与待处理低频信号相似概率最大的至少两个第三声音模型,然后判断至少两个第三声音模型对应的至少两个第二虚拟低音生成方式是否包含相同的谐波数目,若否,则根据包含谐波数目最大的第二虚拟低音生成方式,生成待处理低频信号的虚拟低音,由于生成虚拟低音的方式是根据与待处理低频信号相似概率最大、且包含的谐波数目最多的声音模型确定的,从而使生成的虚拟低音更准确,进而使提升后的低音效果更好。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的平台的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种虚拟低音生成方法,其特征在于,包括:
获取待处理低频信号的梅尔频率倒谱系数MFCC;
根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,所述预设的声音模型用于表征不同类型的低音;
根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式;
根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,包括:
将所述待处理低频信号的MFCC,输入至各声音模型中,确定所述待处理低频信号与各声音模型的各相似概率;
判断所述各相似概率中的最大值是否大于设定的值,若是,则确定所述相似概率最大的值对应的声音模型为第一声音模型。
3.根据权利要求2所述的方法,其特征在于,所述判断所述各相似概率中的最大值是否大于设定的值之后,还包括:
若否,则确定所述相似概率最大的值对应的声音模型为第一声音模型,并将所述待处理低频信号的MFCC发送给服务器,以使服务器对与所述待处理低频信号的MFCC相同的低频信号进行隐马尔科夫模型训练,生成所述待处理低频信号对应的第二声音模型和第二虚拟低音生成方式;
所述根据所述待处理低频信号的MFCC,确定与所述低频信号的相似概率最大的第一声音模型之后,还包括:
接收并存储所述服务器返回的第二声音模型和第二虚拟低音生成方式。
4.根据权利要求1-3任一所述的方法,其特征在于,所述根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,包括:
根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的至少两个第三声音模型;
所述根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式,包括:
根据声音模型与虚拟低音生成方式的映射关系,确定与所述至少两个第三声音模型分别对应的至少两个第三虚拟低音生成方式;
所述根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音,包括:
判断所述至少两个第三虚拟低音生成方式中包含的谐波数目是否相同;
若不相同,则根据包含谐波数目最大的第三虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
5.根据权利要求4所述的方法,其特征在于,所述判断所述至少两个第三声音模型,分别对应的至少两个第三虚拟低音生成方式中包含的谐波数目是否相同之后,还包括:
若相同,则根据任意一个第三虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
6.一种虚拟低音生成装置,其特征在于,包括:
第一获取模块,用于获取待处理低频信号的梅尔频率倒谱系数MFCC;
第一确定模块,用于根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的第一声音模型,所述预设的声音模型用于表征不同类型的低音;
第二确定模块,用于根据声音模型与虚拟低音生成方式的映射关系,确定与所述第一声音模型对应的第一虚拟低音生成方式;
第一生成模块,用于根据所述第一虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
7.根据权利要求6所述的装置,其特征在于,所述第一确定模块,具体用于:
将所述待处理低频信号的MFCC,输入至各声音模型中,确定所述待处理低频信号与各声音模型的各相似概率;
判断所述各相似概率中的最大值是否大于设定的值,若是,则确定所述相似概率最大的值对应的声音模型为第一声音模型。
8.根据权利要求7所述的装置,其特征在于,若所述各相似概率中的最大值小于设定的值,所述装置,还包括:
发送模块,用于将所述待处理低频信号的MFCC发送给服务器,以使服务器对与所述待处理低频信号的MFCC相同的低频信号进行隐马尔科夫模型训练,生成所述待处理低频信号对应的第二声音模型和第二虚拟低音生成方式;
存储模块,用于接收并存储所述服务器返回的第二声音模型和第二虚拟低音生成方式。
9.根据权利要求6-8任一所述的装置,其特征在于,所述第一确定模块,具体用于:
根据所述待处理低频信号的MFCC,确定预设的声音模型中与所述低频信号的相似概率最大的至少两个第三声音模型;
所述第二确定模块,具体用于:
根据声音模型与虚拟低音生成方式的映射关系,确定与所述至少两个第三声音模型分别对应的至少两个第三虚拟低音生成方式;
所述第一生成模块,具体用于:
判断所述至少两个第三声音模型,分别对应的至少两个第三虚拟低音生成方式中包含的谐波数目是否相同;
若不相同,则根据包含谐波数目最大的第三虚拟低音生成方式,生成所述待处理低频信号的虚拟低音。
10.一种终端,其特征在于,包括如权利要求6-9任一所述的虚拟低音生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610034640.3A CN105516860B (zh) | 2016-01-19 | 2016-01-19 | 虚拟低音生成方法、装置和终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610034640.3A CN105516860B (zh) | 2016-01-19 | 2016-01-19 | 虚拟低音生成方法、装置和终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105516860A CN105516860A (zh) | 2016-04-20 |
CN105516860B true CN105516860B (zh) | 2019-02-19 |
Family
ID=55724442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610034640.3A Active CN105516860B (zh) | 2016-01-19 | 2016-01-19 | 虚拟低音生成方法、装置和终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105516860B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110753288B (zh) * | 2018-07-23 | 2021-08-17 | 中国电信股份有限公司 | 音箱音量自动调节的方法和*** |
CN110072181B (zh) * | 2019-03-27 | 2021-03-19 | 广州飞达音响股份有限公司 | 低音增感方法及装置 |
CN109996151A (zh) * | 2019-04-10 | 2019-07-09 | 上海大学 | 一种基于瞬稳态信号分离混合虚拟低音增强处理方法 |
CN112992167A (zh) * | 2021-02-08 | 2021-06-18 | 歌尔科技有限公司 | 音频信号的处理方法、装置及电子设备 |
CN114299976A (zh) * | 2022-03-06 | 2022-04-08 | 荣耀终端有限公司 | 音频数据处理方法及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101980336A (zh) * | 2010-10-18 | 2011-02-23 | 福州星网视易信息***有限公司 | 一种基于隐马尔可夫模型的汽车声音识别方法 |
CN103943104A (zh) * | 2014-04-15 | 2014-07-23 | 海信集团有限公司 | 一种语音信息识别的方法及终端设备 |
CN104936088A (zh) * | 2015-04-21 | 2015-09-23 | 上海大学 | 一种混合虚拟低音增强处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100571574B1 (ko) * | 2004-07-26 | 2006-04-17 | 한양대학교 산학협력단 | 비선형 분석을 이용한 유사화자 인식방법 및 그 시스템 |
-
2016
- 2016-01-19 CN CN201610034640.3A patent/CN105516860B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101980336A (zh) * | 2010-10-18 | 2011-02-23 | 福州星网视易信息***有限公司 | 一种基于隐马尔可夫模型的汽车声音识别方法 |
CN103943104A (zh) * | 2014-04-15 | 2014-07-23 | 海信集团有限公司 | 一种语音信息识别的方法及终端设备 |
CN104936088A (zh) * | 2015-04-21 | 2015-09-23 | 上海大学 | 一种混合虚拟低音增强处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105516860A (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105516860B (zh) | 虚拟低音生成方法、装置和终端 | |
CN109166593B (zh) | 音频数据处理方法、装置及存储介质 | |
CN107292493B (zh) | 一种电力企业与银行之间的对账***及方法 | |
CN109256146B (zh) | 音频检测方法、装置及存储介质 | |
CN104810019A (zh) | 利用上下文信息调节语音识别 | |
CN108538311A (zh) | 音频分类方法、装置及计算机可读存储介质 | |
CN109784351B (zh) | 行为数据分类方法、分类模型训练方法及装置 | |
CN109887494B (zh) | 重构语音信号的方法和装置 | |
US10518796B2 (en) | Systems and methods for monitoring shopping cart wheels | |
CN108681719A (zh) | 视频图像处理方法及装置 | |
CN110853617A (zh) | 一种模型训练的方法、语种识别的方法、装置及设备 | |
CN111078521A (zh) | 异常事件的分析方法、装置、设备、***及存储介质 | |
CN111445901A (zh) | 音频数据获取方法、装置、电子设备及存储介质 | |
CN109003607B (zh) | 语音识别方法、装置、存储介质及电子设备 | |
CN113077299A (zh) | 订单处理方法、装置、设备及存储介质 | |
CN109658943A (zh) | 一种音频噪声的检测方法、装置、存储介质和移动终端 | |
CN109003621A (zh) | 一种音频处理方法、装置及存储介质 | |
CN110111811A (zh) | 音频信号检测方法、装置和存储介质 | |
CN111428079A (zh) | 文本内容处理方法、装置、计算机设备及存储介质 | |
CN108387757A (zh) | 用于检测可移动设备的移动状态的方法和装置 | |
CN109346102B (zh) | 音频开头爆音的检测方法、装置及存储介质 | |
CN113421588A (zh) | 家电异音的检测方法、装置、电子设备、及存储介质 | |
CN105975642A (zh) | 一种基于网络大数据的舆情监控方法 | |
CN116013362A (zh) | 故障类型的确定方法、装置、计算机设备及可读存储介质 | |
CN110021289A (zh) | 一种声音信号处理方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No. Patentee after: Hisense Visual Technology Co., Ltd. Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No. Patentee before: QINGDAO HISENSE ELECTRONICS Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |