CN101958119A - 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 - Google Patents
一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 Download PDFInfo
- Publication number
- CN101958119A CN101958119A CN200910158577.4A CN200910158577A CN101958119A CN 101958119 A CN101958119 A CN 101958119A CN 200910158577 A CN200910158577 A CN 200910158577A CN 101958119 A CN101958119 A CN 101958119A
- Authority
- CN
- China
- Prior art keywords
- frame
- frequency point
- mdct
- territory
- mdst
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001228 spectrum Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 8
- 238000013213 extrapolation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供了一种改进的离散余弦变换域音频丢帧补偿方法,包括:步骤a,当前丢失帧为第p帧时,获取待预测的频率点集合,对该集合中的每个频率点,使用第p-1帧前面的若干帧在改进的离散余弦变换-改进的离散正弦变换域,即MDCT-MDST域,的相位和幅值预测得到第p帧的相位和幅值,使用预测得到的相位和幅值得到第p帧在对应每个频率点的MDCT系数;步骤b,对一帧内除该集合之外的频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧在该频率点的MDCT系数值;步骤c,对第p帧在所有频率点的MDCT系数进行改进的离散余弦逆变换得到第p帧的时域信号。本发明还提供了一种丢帧补偿器。本发明具有无延迟、计算量存储量小、易于实现的优点。
Description
技术领域
本发明涉及音频解码领域,具体涉及一种无延时低复杂度的MDCT(Modified Discrete Cosine Transform,改进的离散余弦变换)域音频丢帧补偿器及补偿方法。
背景技术
在网络通信中,分组技术应用十分广泛,各种形式的信息如语音或者音频等数据通过编码后采用分组技术在网络上传输,如VoIP(网络电话)等。由于信息发送端发送容量的限制,或在指定延迟时间内分组信息帧没有到达接收端缓冲区,或是网络拥挤堵塞等造成语音频帧信息的丢失,引起解码端合成语音频质量的急剧下降,因此需要采用一些技术对丢帧的数据进行补偿。丢帧补偿器就是一种减轻由于丢帧导致语音频质量下降的现象的技术。目前丢帧补偿的技术很多,但这些丢帧补偿技术多数只适用于语音的丢帧补偿,而对音频的丢帧补偿很少有相关技术。
现有的音频丢帧补偿方法最为简单的是采用重复前一帧的MDCT信号或者静音替代的方法,该方法虽然实现简单且没有延迟,但是补偿效果一般;其他的补偿方式如GAPES(缺口数据幅值相位估计技术)将MDCT系数转化成DSTFT(离散短时傅里叶变换)系数,该方法运算复杂度高,消耗内存多;3GPP采用整形噪声***技术进行音频丢帧补偿,该方法对类噪声信号的补偿效果较好,对多谐波音频信号的补偿效果甚差。
综上所述,已公开的音频丢帧补偿技术多数效果不明显或是运算复杂度和延迟时间过长。
发明内容
本发明要解决的技术问题是提供一种MDCT域音频丢帧补偿器和补偿方法,补偿效果好,复杂度低且无延时。
为了解决上述问题,本发明提供了一种改进的离散余弦变换域音频丢帧补偿方法,包括:
步骤a,当前丢失帧为第p帧时,获取待预测的频率点集合,对所述待预测的频率点集合中的每个频率点,使用第p-1帧前面的若干帧在改进的离散余弦变换-改进的离散正弦变换域,即MDCT-MDST域,的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值,使用所述预测得到的第p帧在MDCT-MDST域的相位和幅值得到第p帧在对应所述每个频率点的改进的离散余弦变换域系数,即MDCT系数,其中,所述第p-1帧是第p帧的前一帧;
步骤b,对一帧内除所述待预测的频率点集合之外的频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧在该频率点的MDCT系数值;
步骤c,对第p帧在所有频率点的MDCT系数进行改进的离散余弦逆变换,即IMDCT变换,得到第p帧的时域信号。
进一步地,上述方法还可具有以下特点,所述步骤a之前还包括,检测到当前帧丢失时,判断当前丢失帧的类型,如果当前丢失帧是非语音帧,执行步骤a。
进一步地,上述方法还可具有以下特点,所述判断该当前丢失帧的类型具体包括:
计算当前丢失帧前K帧每帧的谱平坦度;如果该K帧中,谱平坦度小于一门限值的帧的个数小于等于K0,则当前丢失帧为语音帧,否则,当前丢失帧为非语音帧,其中,K0<=K,K0,K为自然数。
进一步地,上述方法还可具有以下特点,所述步骤a中,获取待预测的频率点集合时,使用第p帧前面的若干帧的MDCT-MDST域复数信号和/或MDCT系数来获取待预测的频率点集合SC,或者,直接将一帧内的所有频率点放入所述待预测的频率点集合SC中。
进一步地,上述方法还可具有以下特点,所述获取待预测的频率点集合SC具体包括:
将所述第p帧前面的若干帧设为L1帧,计算所述L1帧中各频率点的功率,获取该L1帧中各帧的峰值频率点组成的集合S1,...,SL1,各集合中的对应的频率点数为N1,...,NL1;
从所述L1个集合S1,...,SL1中选取一集合Si,对Si中的每个峰值频率点mj,j=1...Ni,判断mj,mj±1,...,mj±k中是否存在同时属于其余所有峰值频率点集合的频率点,如果存在,将mj,mj±1,...,mj±k均放入频率点集合SC;
如果对Si中的每个峰值频率点mj,j=1...Ni,mj,mj±1,...,mj±k中没有同时属于其余所有峰值频率点集合的频率点,直接将一帧内的所有频率点都放入频率点集合SC;
其中,所述k为非负整数。
进一步地,上述方法还可具有以下特点,所述峰值频率点是指功率大于与其相邻的两个频率点上的功率的频率点。
进一步地,上述方法还可具有以下特点,当所述L1帧中包含第p-1帧时,第p-1帧中各频率点的功率通过如下方式计算:其中是第p-1帧在频率点m的功率,cp-1(m)是第p-1帧在频率点m处的MDCT系数,cp-1(m+1)是第p-1帧在频率点m+1处的MDCT系数,cp-1(m-1)是第p-1帧在频率点m-1处的MDCT系数。
进一步地,上述方法还可具有以下特点,所述步骤a中,所述预测得到第p帧在MDCT-MDST域的相位和幅值具体包括:对待预测的频率点,使用第p-1帧前面的L2帧在该频率点的MDCT-MDST域的相位进行线性外推或线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位;从该L2帧中一帧在该频率点的MDCT-MDST域的幅值得到第p帧在该频率点的MDCT-MDST域的幅值,其中,L2>1。
进一步地,上述方法还可具有以下特点,当L2=2时,分别用第t1帧,第t2帧表示这两帧,通过如下方式预测第p帧的MDCT-MDST域的相位:对待预测的频率点m,所述为第p帧在频率点m的MDCT-MDST域的相位的预测值,所述为第t1帧在频率点m的MDCT-MDST域的相位,所述为第t2帧在频率点m的MDCT-MDST域的相位。
进一步地,上述方法还可具有以下特点,当L2>2时,对待预测的频率点,对所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位。
进一步地,上述方法还可具有以下特点,所述步骤a中,使用第p-2帧、第p-3帧的MDCT-MDST域复数信号和第p-1帧的MDCT系数来获取待预测的频率点集合,对该频率点集合中的每个频率点,使用第p-2帧、第p-3帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值。
进一步地,上述方法还可具有以下特点,所述步骤b中,采用第p-1帧的MDCT系数值的一半作为第p帧的MDCT系数值。
本发明还提供一种改进的离散余弦变换域音频丢帧补偿器,所述丢帧补偿器包括多谐波丢帧补偿模块、第二补偿模块和IMDCT模块,其中:
所述多谐波丢帧补偿模块,用于在当前丢失帧为第p帧时,获取待预测的频率点集合,对所述待预测的频率点集合中的每个频率点,使用第p-1帧前面的若干帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值,使用所述预测得到的第p帧在MDCT-MDST域的相位和幅值得到第p帧在对应所述每个频率点的MDCT系数,将该MDCT系数发送给第二补偿模块,所述第p-1帧是第p帧的前一帧;
所述第二补偿模块,用于对一帧内除所述待预测的频率点集合之外的频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧在该频率点的MDCT系数值,将第p帧在所有频率点的MDCT系数发送给IMDCT模块;
所述IMDCT模块,用于对第p帧在所有频率点的MDCT系数进行[MDCT变换,得到第p帧的时域信号。
进一步地,上述丢帧补偿器还可具有以下特点,所述丢帧补偿器还包括帧类型检测模块,其中:
所述帧类型检测模块,用于在检测到丢失帧时,判断当前丢失帧的类型,如果是非语音帧,指示所述多谐波丢帧补偿模块进行补偿。
进一步地,上述丢帧补偿器还可具有以下特点,所述帧类型检测模块通过如下方式判断当前丢失帧的类型:计算当前丢失帧前K帧每帧的谱平坦度;如果该K帧中,谱平坦度小于一门限值的帧的个数小于等于K0,则当前丢失帧为语音帧,否则,当前丢失帧为非语音帧,其中,K0<=K,K0,K为自然数。
进一步地,上述丢帧补偿器还可具有以下特点,所述多谐波丢帧补偿模块,用于使用第p帧前面的若干帧的MDCT-MDST域复数信号和/或MDCT系数来获取待预测的频率点集合SC,或者,直接将一帧内的所有频率点放入所述待预测的频率点集合SC中。
进一步地,上述丢帧补偿器还可具有以下特点,所述多谐波丢帧补偿模块,进一步包括频率点集合生成单元,其中:
所述频率点集合生成单元用于生成待预测的频率点集合SC,具体生成方法如下:
将所述第p帧前面的若干帧设为L1帧,计算所述L1帧中各频率点的功率,获取该L1帧中各帧的峰值频率点组成的集合S1,...,SL1,各集合中的对应的频率点数为N1,...,NL1;
从所述L1个集合S1,...,SL1中选取一集合Si,对Si中的每个峰值频率点mj,j=1...Ni,判断mj,mj±1,...,mj±k中是否存在同时属于其余所有峰值频率点集合的频率点,如果存在,将mj,mj±1,...,mj±k均放入频率点集合SC;
如果对Si中的每个峰值频率点mj,j=1...Ni,mj,mj±1,...,mj±k中没有同时属于其余所有峰值频率点集合的频率点,直接将一帧内的所有频率点都放入频率点集合SC;其中,k为非负整数。
进一步地,上述丢帧补偿器还可具有以下特点,所述峰值频率点是指功率大于与其相邻的两个频率点上的功率的频率点。
进一步地,上述丢帧补偿器还可具有以下特点,所述频率点集合生成单元,用于在所述L1帧中包括第p-1帧时,通过如下方式计算所述第p-1帧中各频率点的功率:其中是第p-1帧在频率点m的功率,cp-1(m)是第p-1帧在频率点m处的MDCT系数,cp-1(m+1)是第p-1帧在频率点m+1处的MDCT系数,cp-1(m-1)是第p-1帧在频率点m-1处的MDCT系数。
进一步地,上述丢帧补偿器还可具有以下特点,
所述多谐波丢帧补偿模块,进一步包括系数生成单元,用于使用第p-1帧前面的L2帧在MDCT-MDST域的相位和幅值预测得到第p帧中属于所述待预测的频率点集合的各频率点的相位和幅值,使用预测得到的第p帧的相位和幅值得到第p帧在对应所述每个频率点的MDCT系数的MDCT系数,将该MDCT系数发送给第二补偿模块,其中,L2>1;
所述系数生成单元进一步包括相位预测子单元和幅值预测子单元,其中:
所述相位预测子单元,用于对待预测的频率点,使用所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性外推或线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位;
所述幅值预测子单元,用于从该L2帧中一帧在该频率点的MDCT-MDST域的幅值得到第p帧在该频率点的MDCT-MDST域的幅值。
进一步地,上述丢帧补偿器还可具有以下特点,当L2=2时,分别用第t1帧,第t2帧表示这两帧,所述相位预测子单元通过如下方法预测第p帧的MDCT-MDST域的相位:对待预测的频率点m,所述为第p帧在频率点m的MDCT-MDST域的相位的预测值,所述为第t1帧在频率点m的MDCT-MDST域的相位,所述为第t2帧在频率点m的MDCT-MDST域的相位。
进一步地,上述丢帧补偿器还可具有以下特点,当L2>2时,所述相位预测子单元通过如下方法预测第p帧的MDCT-MDST域的相位:对待预测的频率点,对所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位。
进一步地,上述丢帧补偿器还可具有以下特点,所述多谐波丢帧补偿模块,用于使用第p-2帧、第p-3帧的MDCT-MDST域复数信号和第p-1帧的MDCT系数来获取待预测的频率点集合,对该频率点集合中的每个频率点,使用第p-2帧、第p-3帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值。
进一步地,上述丢帧补偿器还可具有以下特点,所述第二补偿模块,用于采用第p-1帧的MDCT系数值的一半作为第p帧在除所述待预测的频率点集合之外的频率点的MDCT系数值。
本发明提出的MDCT域音频丢帧补偿器和补偿方法,对于语音帧,当前丢失帧的MDCT系数使用其之前的若干帧的MDCT系数值计算得到;对于非语音帧,利用其在MDCT-MDST域上的特性得到当前丢失帧的MDCT系数。相对于现有技术,本发明具有无延迟、计算量存储量小、易于实现等优点。
附图说明
图1是本发明帧顺序示意图;
图2是本发明MDCT域音频丢帧补偿方法流程图;
图3是本发明语音/非语音帧判断流程图;
图4是本发明非语音帧丢帧补偿方法流程图;
图5是本发明实施例1多谐波丢帧补偿MDCT系数计算方法流程图;
图6是本发明MDCT域音频丢帧补偿器框图;
图7是本发明另一实施例MDCT域音频丢帧补偿器框图;
图8是本发明又一实施例MDCT域音频丢帧补偿器框图。
具体实施方式
本发明的主要思想是:利用谐波信号在MDCT-MDST域的相位呈线性这一特征,使用当前丢失帧前面若干帧的信息预测得到当前丢失帧的MDCT-MDST域相位和幅值,进而得到当前丢失帧的MDCT系数,根据当前丢失帧的MDCT系数得到当前丢失帧的时域信号。
本发明提出一种MDCT域音频丢帧补偿方法,如图2所示,包括:
步骤S1,当解码端发现当前帧的数据包丢失,将该当前帧称为当前丢失帧,判断该当前丢失帧的类型,如果当前丢失帧为语音帧,执行步骤S2;否则,执行步骤S3;
其中,判断该当前丢失帧的类型是根据当前丢失帧的前K帧的MDCT系数进行判断,如图3所示,包括:
1a)对当前丢失帧的前K帧中的每一帧,计算该帧的谱平坦度,当其谱平坦度小于一预设门限时,认为该帧主要由多谐波组成,为多谐波稳态信号帧;
1b)如果所述前K帧中多谐波稳态信号帧的数目小于等于K0帧,则认为当前丢失帧为语音帧,否则为非语音帧(如音乐帧),其中,K0<=K,K0,K为预先设置的值。
本发明不限于使用图3所示方法判断当前丢失帧的类型,也可以使用其他方法进行判断,比如使用过零率进行判断,本发明对此不作限定。
步骤S2,如果判断当前丢失帧为语音帧,对一帧内的所有频率点,使用当前丢失帧前的若干帧的MDCT系数值计算当前丢失帧的MDCT系数值;然后执行步骤S4。
比如,采用当前丢失帧的前一帧的MDCT系数值的一半或其他比例作为当前丢失帧的MDCT系数值。
步骤S3,如果判断当前丢失帧为非语音帧,采用无延迟多谐波丢帧补偿算法估计得到当前丢失帧的MDCT系数,如图4所示,具体包括:
3a)当第p帧的数据包丢失,即当前丢失帧为第p帧,在第p帧之前取L1帧。
当该L1帧中包含第p-1帧时,根据当前丢失帧之前帧解码得到的MDCT系数,采用FMDST(Fast Modified Discrete Sine Transform,快速的改进离散正弦变换)算法得到该L1帧中除了第p-1帧以外的L1-1帧的MDST(Modified Discrete Sine Transform,改进的离散正弦变换)系数。对该L1-1帧中的每一帧,将每帧的MDST系数和MDCT系数组成该帧的MDCT-MDST域复数信号,其中,MDCT系数为实部参数,MDST系数为虚部参数。
当该L1帧中不包含第p-1帧时,根据当前丢失帧之前帧解码得到的MDCT系数,采用FMDST算法得到该L1帧的MDST系数,对该L1帧中的每一帧,将每帧的MDST系数和MDCT系数组成该帧的MDCT-MDST域复数信号,其中,MDCT系数为实部参数,MDST系数为虚部参数。
其中,计算MDST系数的方法如下:
根据第p-1帧和第p-2帧的MDCT系数做逆MDCT变换得到第p-2帧的时域信号,根据第p-2帧和第p-3帧的MDCT系数做逆MDCT变换得到第p-3帧的时域信号,依此类推;
根据第p-2帧和第p-3帧的时域信号用FMDST算法得到第p-2帧的MDST系数,根据第p-3帧和第p-4帧的时域信号用FMDST算法得到第p-3帧的MDST系数,依此类推。
其中,第p帧,第p-1帧等各帧的顺序如图1所示。
3b)对上述L1帧求每帧的峰值频率点集合。
如果这L1帧中包含第p-1帧,则:
对第p-1帧,根据第p-1帧的MDCT系数计算第p-1帧中各频率点的功率,获取该帧中功率最大的前若干个峰值频率点组成的集合;
对除第p-1帧外的其余每一帧,根据该帧的MDCT-MDST域复数信号计算该帧中各频率点的功率,获取该帧中功率最大的前若干个峰值频率点组成的集合;其中,峰值频率点是指功率大于与其相邻的两个频率点上的功率的频率点。
如果这L1帧中不包含第p-1帧,则:
对该L1帧中的每一帧都根据其MDCT-MDST域复数信号获取该帧中功率最大的前若干个峰值频率点组成的集合。
这L1个集合中的频率点数可以相同或不同。
也可使用其他方式获取这L1个集合,比如对于每一帧直接取功率大于一设定阈值的峰值频率点组成的集合,每一帧取的阈值可以相同或不同。
3c)如果L1>1,假设这L1个频率点集合叫做S1,...,SL1,集合中的对应的频率点数为N1,...,NL1,选取一集合Si,对Si中的每个峰值频率点mj(j=1...Ni),判断mj,mj±1,...,mj±k(k是非负整数,通常取k=0或者1)中是否存在同时属于其余所有的峰值频率点集合的频率点,如果存在,将mj,mj±1,...,mj±k均放入频率点集合SC。
如果对Si中的每个峰值频率点mj(j=1...Ni),mj,mj±1,...,mj±k中没有同时属于其余所有峰值频率点集合的频率点,直接将一帧内的所有频率点都放入频率点集合SC。
如果L1=1,假设这个频率点集合叫做S1,其对应的频率点数为N1,对峰值频率点集合S1中的每个峰值频率点mi(i=1...N1),将mi,mi±1,...,mi±k(k是非负整数,通常取k=0或者1)均放入频率点集合SC。
也可不执行步骤3a、3b和步骤3c的以上部分,直接将一帧内的所有频率点都放入频率点集合SC。
3d)在第p-1帧之前取L2(L2>1)帧,计算得到该L2帧的MDCT-MDST域复数信号(具体计算方法同步骤3a中的方法)。对频率点集合SC中的每个频率点,使用该L2帧在MDCT-MDST域的相位预测得到当前丢失帧在MDCT-MDST域的相位,使用该L2帧在MDCT-MDST域的幅值预测得到当前丢失帧在MDCT-MDST域的幅值,根据当前丢失帧的相位和幅值进而得到当前丢失帧在对应所述每个频率点的MDCT系数。
如果L2=2,对于频率点集合SC中的所有频率点,对每个待预测的频率点,使用所选取的这2帧在该频率点的相位进行线性外推,得到当前丢失帧在该频率点的MDCT-MDST域复数信号相位;从这2帧中一帧在该频率点的MDCT-MDST域的幅值得到当前丢失帧在该频率点的MDCT-MDST域复数信号的幅值,即用该2帧中一帧在该频率点的MDCT-MDST域的幅值作为当前丢失帧在该频率点的MDCT-MDST域的幅值。
线性外推的一种方法如下:
当L2=2时,分别用第t1帧,第t2帧表示这两帧,通过如下方法预测第p帧的MDCT-MDST域的相位:对待预测的频率点m,所述为第p帧在频率点m的MDCT-MDST域的相位的预测值,所述为第t1帧在频率点m的MDCT-MDST域的相位,所述为第t2帧在频率点m的MDCT-MDST域的相位。
如果L2>2,对于集合SC中的所有频率点,对每个待预测的频率点,使用这L2帧在该频率点的MDCT-MDST域的相位进行线性拟合,得到当前丢失帧在该频率点的MDCT-MDST域复数信号相位;从这L2帧中的一帧在该频率点的MDCT-MDST域的幅值得到当前丢失帧在该频率点的MDCT-MDST域复数信号的幅值,即使用该L2帧中的一帧在该频率点的MDCT-MDST域的幅值作为当前丢失帧在该频率点的MDCT-MDST域的幅值。
3e)对所述频率点集合SC之外的频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧的MDCT系数值。比如,使用当前丢失帧的前一帧的MDCT系数值的一半作为当前丢失帧的MDCT系数值。
在本发明另一实施例中,在步骤S3中,也可在步骤3a之前,执行步骤“对一帧内的所有频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧的MDCT系数值”,然后执行步骤3a、3b、3c和3d后跳过步骤3e进入步骤S4;或者,在步骤3d之前执行“对一帧内的所有频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧的MDCT系数值”,然后在执行步骤3d之后跳过步骤3e进入步骤S4。
也可以作其他变形,比如,步骤3e在步骤3c之后步骤S4之前执行即可,即得到频率点集合SC后就可以执行。
步骤S4,对所述当前丢失帧在所有频率点的MDCT系数进行IMDCT(Inverse MDCT,改进的离散余弦逆变换)变换,得到当前丢失帧的时域信号。
上述实施例还可进行如下变形:先进行初始补偿,即可以先对一帧内的所有频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧的MDCT系数值,再判断当前丢失帧的类型,根据当前丢失帧的类型执行不同的步骤,如果是语音帧,则直接执行步骤S4,如果是非语音帧,则执行步骤S3中的步骤3a、3b、3c及3d后跳过步骤3e直接执行步骤S4。
下面通过两个具体实施例进一步说明本发明。
[实施例1]
步骤110,解码端发现当前帧的数据包丢失,判断当前帧(即当前丢失帧)为语音帧还是非语音帧(例如由多种谐波组成的音乐帧),如果是语音帧,执行步骤120,否则,执行步骤130;
具体判断方法为:
计算当前丢失帧的前10帧的谱平坦度,当谱平坦度小于0.1时,认为该帧为多谐波稳态信号帧。当丢失帧的前10帧中有大于8帧为多谐波稳态信号帧时,认为当前丢失帧是非语音帧,否则认为是语音帧,谱平坦度的计算方法如下:
第i帧谱平坦度SFMi定义为第i帧信号的变换域下信号幅值的几何平均值与算术平均值之比:
步骤120,如果判断当前丢失帧为语音帧,对一帧内的所有频率点,采用当前丢失帧的前一帧的MDCT系数值的一半作为当前丢失帧的MDCT系数值,即:
cp(m)=0.5*cp-1(m)m=0,1,2,3...M-1 (2)
然后执行步骤140。
步骤130,如果判断当前丢失帧为非语音帧,采用无延迟多谐波丢帧补偿算法得到当前丢失帧的MDCT系数,执行步骤140;
具体采用无延迟多谐波丢帧补偿算法获得当前丢失帧MDCT系数的方法如图5所示,包括:当第p帧的数据包丢失时,
首先,对一帧内的所有频率点,采用第p-1帧在该频率点的MDCT系数值的一半作为第p帧在该频率点的MDCT系数值,如式(2)所示;
然后,根据当前丢失帧之前帧解码得到的MDCT系数,采用FMDST算法得到第p-2帧和第p-3帧的MDST系数sp-2(m)和sp-3(m)。把得到的第p-2帧和第p-3帧的MDST系数和第p-2帧和第p-3帧的MDCT系数cp-2(m)和cp-3(m)组成MDCT-MDST域的复数信号:
vp-2(m)=cp-2(m)+jsp-2(m) (3)
vp-3(m)=cp-3(m)+jsp-3(m) (4)
其中j为虚数符号。
计算第p-2帧和第p-3帧中各频率点的功率|vp-2(m)|2,|vp-3(m)|2,分别取第p-2帧和第p-3帧中功率最大的前10个峰值频率点(如果任何一帧中的峰值频率点少于10个,则取该帧中的所有峰值频率点)组成频率点集合mp-2,mp-3。
根据第p-1帧的MDCT系数估计第p-1帧中各频率点的功率。
对每个判断 (峰值频率点附近的频率点其功率也可能比较大,因此将其加入第p-1帧的峰值频率点的集合中)中是否存在同时属于集合mp-2,mp-3的频率点。如果同时属于集合mp-2,mp-3,根据下面式(6)-(11)求得第p帧在频率点 ( 中只要有一个点同时属于mp-2和mp-3,对 这三个频率点都作下述计算)的MDCT-MDST域复数信号的相位和幅值:
Ap-2(m)=|vp-2(m)| (8)
Ap-3(m)=|vp-3(m)| (9)
因此补偿得到的第p帧在频率点m的MDCT系数为
也可不求需要做预测的频率点,直接对当前丢失帧内所有频率点根据式(6)-(12)估计MDCT系数。
步骤140,对当前丢失帧在所有频率点的MDCT系数进行IMDCT变换,得到当前丢失帧的时域信号。
[实施例2]
步骤210,解码端发现当前帧的数据包丢失,判断当前帧(即当前丢失帧)为语音帧还是非语音帧(例如由多种谐波组成的音乐帧),如果是语音帧,执行步骤220,否则,执行步骤230;
具体判断当前丢失帧是语音帧还是非语音帧的方法为:
计算当前丢失帧的前10帧的谱平坦度,对每一帧,当该帧的谱平坦度小于0.1时,认为该帧为多谐波稳态信号帧。如果当前丢失帧的前10帧中有大于8帧为多谐波稳态信号帧,则认为当前丢失帧是非语音帧,否则认为是语音帧。其中,谱平坦度的计算方法如下:
第i帧的谱平坦度SFMi定义为第i帧信号的变换域下信号幅值的几何平均值与算术平均值之比:
步骤220,如果判断当前丢失帧为语音帧,对一帧内的所有频率点,采用当前丢失帧的前一帧的MDCT系数值的一半作为当前丢失帧的MDCT系数值,即:
cp(m)=0.5*cp-1(m)m=0,1,2,3...M-1 (14)
然后执行步骤240。
步骤230,如果判断当前丢失帧为非语音帧,采用无延迟多谐波丢帧补偿算法得到当前丢失帧的MDCT系数,执行步骤240;
具体采用无延迟多谐波丢帧补偿算法获得当前丢失帧MDCT系数的方法为:当第p帧的数据包丢失时,根据当前丢失帧之前帧解码得到的MDCT系数,采用FMDST算法得到第p-2帧、第p-3帧和第p-4帧的MDST系数sp-2(m)、sp-3(m)和sp-4(m)。把得到的第p-2帧、第p-3帧和第p-4帧的MDST系数和第p-2帧、第p-3帧和第p-4帧的MDCT系数cp-2(m)、cp-3(m)和cp-4(m)组成MDCT-MDST域的复数信号:
vp-2(m)=cp-2(m)+jsp-2(m) (15)
vp-3(m)=cp-3(m)+jsp-3(m) (16)
vp-4(m)=cp-4(m)+jsp-4(m) (17)
其中j为虚数符号。
计算第p-2帧、第p-3帧和第p-4帧中各频率点的功率|vp-2(m)|2,|vp-3(m)|2,|vp-4(m)|2,分别取第p-2帧、第p-3帧和第p-4帧中功率最大的前10个峰值频率点(如果任何一帧中的峰值频率点少于10个,则取该帧中的所有峰值频率点)组成频率点集合mp-2,mp-3,mp-4。
对频率点集合mp-4中的每个频率点判断 (峰值频率点附近的频率点其功率也可能比较大,因此将其加入第p-4帧的峰值频率点的集合中)中是否存在同时属于集合mp-2,mp-3的频率点。如果存在同时属于集合mp-2,mp-3的频率点,根据下面式(18)-(27)求得第p帧在频率点 ( 中只要有一个点同时属于mp-2和mp-3,对 这三个频率点都作下述计算)的MDCT-MDST域复数信号的相位和幅值:
Ap-2(m)=|vp-2(m)| (21)
Ap-3(m)=|vp-3(m)| (22)
Ap-4(m)=|vp-4(m)| (23)
(24)
下面将用最小二乘法来求不同帧在同一频率点的相位的线性拟合函数
其中x表示帧序号,a0,a1表示要求的线性拟合函数的系数。
根据用最小二乘准则来度量拟合误差的方法,从方程组
解出a0,a1。在其他实施例中,也可用不同于最小二乘准则的其他准则来度量拟合误差,估计拟合系数。根据解出的a0,a1,即可估计得到第p帧在频率点m的相位
因此补偿得到的第p帧在频率点m的MDCT系数为
如果在所有 中存在同时属于集合mp-2,mp-3的频率点,用SC表示上述所有根据式(18)-(28)进行补偿的频率点组成的集合,对一帧内在频率点集合SC之外的频率点,采用当前丢失帧的前一帧的MDCT系数值的一半作为当前丢失帧的MDCT系数值。
也可不求需要做预测的频率点,直接对当前丢失帧内所有频率点根据式(18)-(28)估计MDCT系数。
步骤240,对当前丢失帧在所有频率点的MDCT系数进行IMDCT变换,得到当前丢失帧的时域信号。
本发明还提供一种MDCT域音频丢帧补偿器,包括帧类型检测模块,语音丢帧补偿模块,多谐波丢帧补偿模块,第二补偿模块和IMDCT模块,如图6所示,其中:
所述帧类型检测模块,用于在检测到丢失帧时,判断当前丢失帧的类型,如果是语音帧,则指示语音丢帧补偿模块进行补偿;如果是非语音帧,则指示多谐波丢帧补偿模块进行补偿;具体判断当前丢失帧的类型的方法如前文所述,此处不再赘述。
所述语音丢帧补偿模块,用于对一帧内的所有频率点,使用当前丢失帧前的若干帧的MDCT系数值计算当前丢失帧的MDCT系数值,将该MDCT系数发送给IMDCT模块;
所述多谐波丢帧补偿模块,用于在当前丢失帧为第p帧时,获取待预测的频率点集合,对所述待预测的频率点集合中的每个频率点,使用第p-1帧前面的若干帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值,使用所述预测得到的第p帧在MDCT-MDST域的相位和幅值得到第p帧在对应所述每个频率点的MDCT系数,将该MDCT系数发送给第二补偿模块,所述第p-1帧是第p帧的前一帧;
进一步地,所述多谐波丢帧补偿模块,用于使用第p-2帧、第p-3帧的MDCT-MDST域复数信号和第p-1帧的MDCT系数来获取待预测的频率点集合,对该频率点集合中的每个频率点,使用第p-2帧、第p-3帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值。
进一步地,所述多谐波丢帧补偿模块获取待预测的频率点集合时,使用第p帧前面的若干帧的MDCT-MDST域复数信号和/或MDCT系数来获取待预测的频率点集合,或者,直接将一帧内的所有频率点放入所述频率点集合中。
所述第二补偿模块,用于对一帧内除所述待预测的频率点集合之外的频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧在该频率点的MDCT系数值,将第p帧在所有频率点的MDCT系数发送给IMDCT模块;进一步的,所述第二补偿模块采用第p-1帧的MDCT系数值的一半作为第p帧在除所述待预测的频率点集合之外的频率点的MDCT系数值。
所述多谐波丢帧补偿模块,进一步包括频率点集合生成单元和系数生成单元,其中,
所述频率点集合生成单元,用于生成待预测的频率点集合SC;
所述系数生成单元,用于使用第p-1帧前的L2帧在MDCT-MDST域的相位和幅值预测得到第p帧中属于频率点集合SC的各频率点的相位和幅值,使用所述预测得到的第p帧在MDCT-MDST域的相位和幅值得到第p帧在对应所述每个频率点的MDCT系数,将该MDCT系数发送给第二补偿模块,其中,L2>1。
所述频率点集合生成单元按如下方式生成待预测的频率点集合SC:将所述第p帧前面的若干帧设为L1帧,计算所述L1帧中各频率点的功率,获取该L1帧中各帧的峰值频率点组成的集合S1,...,SL1,各集合中的对应的频率点数为N1,...,NL1;
从所述L1个集合S1,...,SL1中选取一集合Si,对Si中的每个峰值频率点mj,j=1...Ni,判断mj,mj±1,...,mj±k中是否存在同时属于其余所有峰值频率点集合的频率点,如果存在,将mj,mj±1,...,mj±k均放入频率点集合SC;
如果对Si中的每个峰值频率点mj,j=1...Ni,mj,mj±1,...,mj±k中没有同时属于其余所有峰值频率点集合的频率点,直接将一帧内的所有频率点都放入频率点集合SC;
其中,k为非负整数。所述峰值频率点是指功率大于与其相邻的两个频率点上的功率的频率点。
所述L1帧中包括第p-1帧时,所述频率点集合生成单元通过如下方式计算所述第p-1帧中各频率点的功率:其中是第p-1帧在频率点m的功率,cp-1(m)是第p-1帧在频率点m处的MDCT系数,cp-1(m+1)是第p-1帧在频率点m+1处的MDCT系数,cp-1(m-1)是第p-1帧在频率点m-1处的MDCT系数。
所述系数生成单元进一步包括相位预测子单元和幅值预测子单元,其中,
所述相位预测子单元,用于对待预测的频率点,使用所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性外推或线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位;
所述幅值预测子单元,用于从该L2帧中其中一帧在该频率点的MDCT-MDST域的幅值得到第p帧在该频率点的MDCT-MDST域的幅值。
当L2=2时,分别用第t1帧,第t2帧表示这两帧,所述相位预测子单元通过如下方法预测第p帧的MDCT-MDST域的相位:对待预测的频率点m,所述为第p帧在频率点m的MDCT-MDST域的相位的预测值,所述为第t1帧在频率点m的MDCT-MDST域的相位,所述为第t2帧在频率点m的MDCT-MDST域的相位。
当L2>2时,所述相位预测子单元通过如下方法预测第p帧的MDCT-MDST域的相位:对待预测的频率点,对所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位。
所述IMDCT模块,用于对所述当前丢失帧在所有频率点的MDCT系数进行IMDCT变换,得到第p帧的时域信号。
图6所示MDCT域音频丢帧补偿器可进行变动,如图7所示,包括帧类型检测模块,语音丢帧补偿模块,多谐波丢帧补偿模块,第二补偿模块和IMDCT模块,第二补偿模块与帧类型检测模块和多谐波丢帧补偿模块相连,多谐波丢帧补偿模块和IMDCT模块相连,其中:
所述第二补偿模块,用于对一帧内的所有频率点,使用当前丢失帧前的若干帧的MDCT系数值计算当前丢失帧的MDCT系数值,将该MDCT系数发送给多谐波丢帧补偿模块;
所述多谐波丢帧补偿模块,用于获取待预测的频率点集合,得到第p帧在待预测的频率点集合中各频率点的MDCT系数,具体方法同图6中多谐波丢帧补偿模块;对待预测的频率点集合之外的各频率点,使用从第二补偿模块得到的MDCT系数作为第p帧在该频率点的MDCT系数,将第p帧在所有频率点的MDCT系数发送给IMDCT模块。
其余各模块功能与图6中各模块类似,此处不再赘述。
如图8所示,为本发明又一MDCT域音频丢帧补偿器框图,其中MDCT域音频丢帧补偿器包括语音丢帧补偿模块,帧类型检测模块、多谐波丢帧补偿模块和IMDCT模块,其中:
所述语音丢帧补偿模块,用于在检测到丢失帧时,对一帧内的所有频率点,使用当前丢失帧前的若干帧的MDCT系数值计算当前丢失帧的MDCT系数值,将该MDCT系数发送给帧类型检测模块;
所述帧类型检测模块,用于判断当前丢失帧的类型,如果是语音帧,则将从语音丢帧补偿模块收到的MDCT系数发送给IMDCT模块;如果是非语音帧,则将该MDCT系数发送给多谐波丢帧补偿模块;具体判断当前丢失帧的类型的方法如前文所述,此处不再赘述。
所述多谐波丢帧补偿模块,用于获取待预测的频率点集合,得到第p帧在待预测的频率点集合中各频率点的MDCT系数,具体方法同图6中多谐波丢帧补偿模块;对待预测的频率点集合之外的各频率点,使用从帧类型检测模块得到的MDCT系数作为第p帧在该频率点的MDCT系数,将第p帧在所有频率点的MDCT系数发送给IMDCT模块;
所述IMDCT模块,用于对所述当前丢失帧在所有频率点的MDCT系数进行IMDCT变换,得到第p帧的时域信号。
本发明提出的丢帧补偿方法和丢帧补偿器,可以用于实时双向通信如无线、IP会议电视和实时广播业务的IPTV、移动流媒体、手机电视等领域的音频丢帧补偿问题,以提高传输码流的抗误码能力。本发明通过补偿操作能很好地避免由于语音频网络传输丢包带来的音质下降,提高丢包后语音频质量的舒适度,得到很好的主观听觉效果。
Claims (24)
1.一种改进的离散余弦变换域音频丢帧补偿方法,其特征在于,包括:
步骤a,当前丢失帧为第p帧时,获取待预测的频率点集合,对所述待预测的频率点集合中的每个频率点,使用第p-1帧前面的若干帧在改进的离散余弦变换-改进的离散正弦变换域,即MDCT-MDST域,的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值,使用所述预测得到的第p帧在MDCT-MDST域的相位和幅值得到第p帧在对应所述每个频率点的改进的离散余弦变换域系数,即MDCT系数,其中,所述第p-1帧是第p帧的前一帧;
步骤b,对一帧内除所述待预测的频率点集合之外的频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧在该频率点的MDCT系数值;
步骤c,对第p帧在所有频率点的MDCT系数进行改进的离散余弦逆变换,即IMDCT变换,得到第p帧的时域信号。
2.如权利要求1所述的方法,其特征在于,所述步骤a之前还包括,检测到当前帧丢失时,判断当前丢失帧的类型,如果当前丢失帧是非语音帧,执行步骤a。
3.如权利要求2所述的方法,其特征在于,所述判断该当前丢失帧的类型具体包括:
计算当前丢失帧前K帧每帧的谱平坦度;如果该K帧中,谱平坦度小于一门限值的帧的个数小于等于K0,则当前丢失帧为语音帧,否则,当前丢失帧为非语音帧,其中,Ko<=K,K0,K为自然数。
4.如权利要求1所述的方法,其特征在于,所述步骤a中,获取待预测的频率点集合时,使用第p帧前面的若干帧的MDCT-MDST域复数信号和/或MDCT系数来获取待预测的频率点集合SC,或者,直接将一帧内的所有频率点放入所述待预测的频率点集合SC中。
5.如权利要求4所述的方法,其特征在于,所述获取待预测的频率点集合SC具体包括:
将所述第p帧前面的若干帧设为L1帧,计算所述L1帧中各频率点的功率,获取该L1帧中各帧的峰值频率点组成的集合S1,...,SL1,各集合中的对应的频率点数为N1,...,NL1;
从所述L1个集合S1,...,SL1中选取一集合Si,对Si中的每个峰值频率点mj,j=1...Ni,判断mj,mj±1,...,mj±k中是否存在同时属于其余所有峰值频率点集合的频率点,如果存在,将mj,mj±1,...,mj±k均放入频率点集合SC;
如果对Si中的每个峰值频率点mj,j=1...Ni,mj,mj±1,...,mj±k中没有同时属于其余所有峰值频率点集合的频率点,直接将一帧内的所有频率点都放入频率点集合SC;
其中,所述k为非负整数。
6.如权利要求5所述的方法,其特征在于,所述峰值频率点是指功率大于与其相邻的两个频率点上的功率的频率点。
8.如权利要求1至7任一所述的方法,其特征在于,所述步骤a中,所述预测得到第p帧在MDCT-MDST域的相位和幅值具体包括:对待预测的频率点,使用第p-1帧前面的L2帧在该频率点的MDCT-MDST域的相位进行线性外推或线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位;从该L2帧中一帧在该频率点的MDCT-MDST域的幅值得到第p帧在该频率点的MDCT-MDST域的幅值,其中,L2>1。
10.如权利要求8所述的方法,其特征在于,当L2>2时,对待预测的频率点,对所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位。
11.如权利要求1至7任一所述的方法,其特征在于,所述步骤a中,使用第p-2帧、第p-3帧的MDCT-MDST域复数信号和第p-1帧的MDCT系数来获取待预测的频率点集合,对该频率点集合中的每个频率点,使用第p-2帧、第p-3帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值。
12.如权利要求1至7任一所述的方法,其特征在于,所述步骤b中,采用第p-1帧的MDCT系数值的一半作为第p帧的MDCT系数值。
13.一种改进的离散余弦变换域音频丢帧补偿器,其特征在于,所述丢帧补偿器包括多谐波丢帧补偿模块、第二补偿模块和IMDCT模块,其中:
所述多谐波丢帧补偿模块,用于在当前丢失帧为第p帧时,获取待预测的频率点集合,对所述待预测的频率点集合中的每个频率点,使用第p-1帧前面的若干帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值,使用所述预测得到的第p帧在MDCT-MDST域的相位和幅值得到第p帧在对应所述每个频率点的MDCT系数,将该MDCT系数发送给第二补偿模块,所述第p-1帧是第p帧的前一帧;
所述第二补偿模块,用于对一帧内除所述待预测的频率点集合之外的频率点,使用第p帧前的若干帧的MDCT系数值计算第p帧在该频率点的MDCT系数值,将第p帧在所有频率点的MDCT系数发送给IMDCT模块;
所述IMDCT模块,用于对第p帧在所有频率点的MDCT系数进行IMDCT变换,得到第p帧的时域信号。
14.如权利要求13所述的丢帧补偿器,其特征在于,所述丢帧补偿器还包括帧类型检测模块,其中:
所述帧类型检测模块,用于在检测到丢失帧时,判断当前丢失帧的类型,如果是非语音帧,指示所述多谐波丢帧补偿模块进行补偿。
15.如权利要求14所述的丢帧补偿器,其特征在于,所述帧类型检测模块通过如下方式判断当前丢失帧的类型:计算当前丢失帧前K帧每帧的谱平坦度;如果该K帧中,谱平坦度小于一门限值的帧的个数小于等于K0,则当前丢失帧为语音帧,否则,当前丢失帧为非语音帧,其中,Ko<=K,K0,K为自然数。
16.如权利要求13所述的丢帧补偿器,其特征在于,所述多谐波丢帧补偿模块,用于使用第p帧前面的若干帧的MDCT-MDST域复数信号和/或MDCT系数来获取待预测的频率点集合SC,或者,直接将一帧内的所有频率点放入所述待预测的频率点集合SC中。
17.如权利要求13所述的丢帧补偿器,其特征在于,所述多谐波丢帧补偿模块,进一步包括频率点集合生成单元,其中:
所述频率点集合生成单元用于生成待预测的频率点集合SC,具体生成方法如下:
将所述第p帧前面的若干帧设为L1帧,计算所述L1帧中各频率点的功率,获取该L1帧中各帧的峰值频率点组成的集合S1,...,SL1,各集合中的对应的频率点数为N1,...,NL1;
从所述L1个集合S1,...,SL1中选取一集合Si,对Si中的每个峰值频率点mj,j=1...Ni,判断mj,mj±1,...,mj±k中是否存在同时属于其余所有峰值频率点集合的频率点,如果存在,将mj,mj±1,...,mj±k均放入频率点集合SC;
如果对Si中的每个峰值频率点mj,j=1...Ni,mj,mj±1,...,mj±k中没有同时属于其余所有峰值频率点集合的频率点,直接将一帧内的所有频率点都放入频率点集合SC;其中,k为非负整数。
18.如权利要求17所述的丢帧补偿器,其特征在于,所述峰值频率点是指功率大于与其相邻的两个频率点上的功率的频率点。
20.如权利要求13至19任一所述的丢帧补偿器,其特征在于,
所述多谐波丢帧补偿模块,进一步包括系数生成单元,用于使用第p-1帧前面的L2帧在MDCT-MDST域的相位和幅值预测得到第p帧中属于所述待预测的频率点集合的各频率点的相位和幅值,使用预测得到的第p帧的相位和幅值得到第p帧在对应所述每个频率点的MDCT系数的MDCT系数,将该MDCT系数发送给第二补偿模块,其中,L2>1;
所述系数生成单元进一步包括相位预测子单元和幅值预测子单元,其中:
所述相位预测子单元,用于对待预测的频率点,使用所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性外推或线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位;
所述幅值预测子单元,用于从该L2帧中一帧在该频率点的MDCT-MDST域的幅值得到第p帧在该频率点的MDCT-MDST域的幅值。
22.如权利要求20所述的丢帧补偿器,其特征在于,当L2>2时,所述相位预测子单元通过如下方法预测第p帧的MDCT-MDST域的相位:对待预测的频率点,对所选取的该L2帧在该频率点的MDCT-MDST域的相位进行线性拟合,得到第p帧在该频率点的MDCT-MDST域的相位。
23.如权利要求13至19任一所述的丢帧补偿器,其特征在于,所述多谐波丢帧补偿模块,用于使用第p-2帧、第p-3帧的MDCT-MDST域复数信号和第p-1帧的MDCT系数来获取待预测的频率点集合,对该频率点集合中的每个频率点,使用第p-2帧、第p-3帧在MDCT-MDST域的相位和幅值预测得到第p帧在MDCT-MDST域的相位和幅值。
24.如权利要求13至19任一所述的丢帧补偿器,其特征在于,所述第二补偿模块,用于采用第p-1帧的MDCT系数值的一半作为第p帧在除所述待预测的频率点集合之外的频率点的MDCT系数值。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910158577.4A CN101958119B (zh) | 2009-07-16 | 2009-07-16 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
EP10799367.7A EP2442304B1 (en) | 2009-07-16 | 2010-02-25 | Compensator and compensation method for audio frame loss in modified discrete cosine transform domain |
RU2012101259/08A RU2488899C1 (ru) | 2009-07-16 | 2010-02-25 | Компенсатор и способ компенсации потери кадров звукового сигнала в области модифицированного дискретного косинусного преобразования |
PCT/CN2010/070740 WO2011006369A1 (zh) | 2009-07-16 | 2010-02-25 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
BR112012000871A BR112012000871A2 (pt) | 2009-07-16 | 2010-02-25 | método de compensação para a perda de quadro de áudio em um domínio de transformação de cosseno distinto modificado e compensador para a perda de quadro de áudio em um domínio de transformada distinta de cosseno modificada |
US13/382,725 US8731910B2 (en) | 2009-07-16 | 2010-02-25 | Compensator and compensation method for audio frame loss in modified discrete cosine transform domain |
JP2012519872A JP5400963B2 (ja) | 2009-07-16 | 2010-02-25 | 修正離散コサイン変換ドメインのオーディオフレーム損失補償器及び補償方法 |
HK12105362.5A HK1165076A1 (zh) | 2009-07-16 | 2012-06-01 | 種改進的離散餘弦變換域音頻丟幀補償器和補償方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910158577.4A CN101958119B (zh) | 2009-07-16 | 2009-07-16 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101958119A true CN101958119A (zh) | 2011-01-26 |
CN101958119B CN101958119B (zh) | 2012-02-29 |
Family
ID=43448911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910158577.4A Active CN101958119B (zh) | 2009-07-16 | 2009-07-16 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8731910B2 (zh) |
EP (1) | EP2442304B1 (zh) |
JP (1) | JP5400963B2 (zh) |
CN (1) | CN101958119B (zh) |
BR (1) | BR112012000871A2 (zh) |
HK (1) | HK1165076A1 (zh) |
RU (1) | RU2488899C1 (zh) |
WO (1) | WO2011006369A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065636A (zh) * | 2011-10-24 | 2013-04-24 | 中兴通讯股份有限公司 | 语音频信号的丢帧补偿方法和装置 |
CN103854649A (zh) * | 2012-11-29 | 2014-06-11 | 中兴通讯股份有限公司 | 一种变换域的丢帧补偿方法及装置 |
CN103065636B (zh) * | 2011-10-24 | 2016-12-14 | 南京中兴软件有限责任公司 | 语音频信号的丢帧补偿方法和装置 |
CN107818789A (zh) * | 2013-07-16 | 2018-03-20 | 华为技术有限公司 | 解码方法和解码装置 |
CN110164458A (zh) * | 2013-10-29 | 2019-08-23 | 株式会社Ntt都科摩 | 音频信号处理装置以及音频信号处理方法 |
CN111627451A (zh) * | 2013-06-21 | 2020-09-04 | 弗朗霍夫应用科学研究促进协会 | 用于获取音频信号的替换帧的频谱系数的方法及相关产品 |
CN111883147A (zh) * | 2020-07-23 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
CN113838477A (zh) * | 2021-09-13 | 2021-12-24 | 阿波罗智联(北京)科技有限公司 | 音频数据包的丢包恢复方法、装置、电子设备及存储介质 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PE20130216A1 (es) | 2010-05-21 | 2013-02-27 | Incyte Corp | Formulacion topica para un inhibidor de jak |
PT2676270T (pt) | 2011-02-14 | 2017-05-02 | Fraunhofer Ges Forschung | Codificação de uma parte de um sinal de áudio utilizando uma deteção de transiente e um resultado de qualidade |
AR085794A1 (es) | 2011-02-14 | 2013-10-30 | Fraunhofer Ges Forschung | Prediccion lineal basada en esquema de codificacion utilizando conformacion de ruido de dominio espectral |
PT3239978T (pt) | 2011-02-14 | 2019-04-02 | Fraunhofer Ges Forschung | Codificação e descodificação de posições de pulso de faixas de um sinal de áudio |
PL2676268T3 (pl) | 2011-02-14 | 2015-05-29 | Fraunhofer Ges Forschung | Urządzenie i sposób przetwarzania zdekodowanego sygnału audio w domenie widmowej |
MY160265A (en) | 2011-02-14 | 2017-02-28 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V | Apparatus and Method for Encoding and Decoding an Audio Signal Using an Aligned Look-Ahead Portion |
KR101424372B1 (ko) | 2011-02-14 | 2014-08-01 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 랩핑 변환을 이용한 정보 신호 표현 |
BR112013020324B8 (pt) | 2011-02-14 | 2022-02-08 | Fraunhofer Ges Forschung | Aparelho e método para supressão de erro em fala unificada de baixo atraso e codificação de áudio |
JP5969513B2 (ja) | 2011-02-14 | 2016-08-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 不活性相の間のノイズ合成を用いるオーディオコーデック |
TWI488176B (zh) * | 2011-02-14 | 2015-06-11 | Fraunhofer Ges Forschung | 音訊信號音軌脈衝位置之編碼與解碼技術 |
KR101398189B1 (ko) * | 2012-03-27 | 2014-05-22 | 광주과학기술원 | 음성수신장치 및 음성수신방법 |
CN103368682B (zh) * | 2012-03-29 | 2016-12-07 | 华为技术有限公司 | 信号编码和解码的方法和设备 |
CN104301064B (zh) | 2013-07-16 | 2018-05-04 | 华为技术有限公司 | 处理丢失帧的方法和解码器 |
ES2805744T3 (es) | 2013-10-31 | 2021-02-15 | Fraunhofer Ges Forschung | Decodificador de audio y método para proporcionar una información de audio decodificada usando un ocultamiento de errores en base a una señal de excitación de dominio de tiempo |
KR101940740B1 (ko) | 2013-10-31 | 2019-01-22 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 시간 도메인 여기 신호를 변형하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법 |
CN106683681B (zh) | 2014-06-25 | 2020-09-25 | 华为技术有限公司 | 处理丢失帧的方法和装置 |
CN107004417B (zh) | 2014-12-09 | 2021-05-07 | 杜比国际公司 | Mdct域错误掩盖 |
US9978400B2 (en) * | 2015-06-11 | 2018-05-22 | Zte Corporation | Method and apparatus for frame loss concealment in transform domain |
US10504525B2 (en) * | 2015-10-10 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Adaptive forward error correction redundant payload generation |
EP3483884A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
EP3483878A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
EP3483880A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
EP3483882A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
EP3483886A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
CN111383643B (zh) * | 2018-12-28 | 2023-07-04 | 南京中感微电子有限公司 | 一种音频丢包隐藏方法、装置及蓝牙接收机 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6775649B1 (en) * | 1999-09-01 | 2004-08-10 | Texas Instruments Incorporated | Concealment of frame erasures for speech transmission and storage system and method |
CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
US6980933B2 (en) * | 2004-01-27 | 2005-12-27 | Dolby Laboratories Licensing Corporation | Coding techniques using estimated spectral magnitude and phase derived from MDCT coefficients |
JP4536621B2 (ja) * | 2005-08-10 | 2010-09-01 | 株式会社エヌ・ティ・ティ・ドコモ | 復号装置、および復号方法 |
JP2007080923A (ja) * | 2005-09-12 | 2007-03-29 | Oki Electric Ind Co Ltd | 半導体パッケージの形成方法及び半導体パッケージを形成するための金型 |
US8620644B2 (en) * | 2005-10-26 | 2013-12-31 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
KR100792209B1 (ko) | 2005-12-07 | 2008-01-08 | 한국전자통신연구원 | 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치 |
US8255207B2 (en) * | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
US20090248404A1 (en) | 2006-07-12 | 2009-10-01 | Panasonic Corporation | Lost frame compensating method, audio encoding apparatus and audio decoding apparatus |
US8015000B2 (en) * | 2006-08-03 | 2011-09-06 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
EP4325723A3 (en) * | 2006-10-25 | 2024-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating time-domain audio samples |
JP2008261904A (ja) * | 2007-04-10 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 符号化装置、復号化装置、符号化方法および復号化方法 |
CN100524462C (zh) * | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
CN101471073B (zh) | 2007-12-27 | 2011-09-14 | 华为技术有限公司 | 一种基于频域的丢包补偿方法、装置和*** |
EP2242047B1 (en) * | 2008-01-09 | 2017-03-15 | LG Electronics Inc. | Method and apparatus for identifying frame type |
CN101308660B (zh) | 2008-07-07 | 2011-07-20 | 浙江大学 | 一种音频压缩流的解码端错误恢复方法 |
-
2009
- 2009-07-16 CN CN200910158577.4A patent/CN101958119B/zh active Active
-
2010
- 2010-02-25 EP EP10799367.7A patent/EP2442304B1/en active Active
- 2010-02-25 JP JP2012519872A patent/JP5400963B2/ja active Active
- 2010-02-25 BR BR112012000871A patent/BR112012000871A2/pt not_active Application Discontinuation
- 2010-02-25 WO PCT/CN2010/070740 patent/WO2011006369A1/zh active Application Filing
- 2010-02-25 US US13/382,725 patent/US8731910B2/en active Active
- 2010-02-25 RU RU2012101259/08A patent/RU2488899C1/ru active
-
2012
- 2012-06-01 HK HK12105362.5A patent/HK1165076A1/zh unknown
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065636A (zh) * | 2011-10-24 | 2013-04-24 | 中兴通讯股份有限公司 | 语音频信号的丢帧补偿方法和装置 |
WO2013060223A1 (zh) * | 2011-10-24 | 2013-05-02 | 中兴通讯股份有限公司 | 语音频信号的丢帧补偿方法和装置 |
EP3537436A1 (en) * | 2011-10-24 | 2019-09-11 | ZTE Corporation | Frame loss compensation method and apparatus for voice frame signal |
EP2772910A1 (en) * | 2011-10-24 | 2014-09-03 | ZTE Corporation | Frame loss compensation method and apparatus for voice frame signal |
EP2772910A4 (en) * | 2011-10-24 | 2015-04-15 | Zte Corp | METHOD AND APPARATUS FOR FRAME LOSS COMPENSATION FOR SPEECH FRAME SIGNAL |
US9330672B2 (en) | 2011-10-24 | 2016-05-03 | Zte Corporation | Frame loss compensation method and apparatus for voice frame signal |
CN103065636B (zh) * | 2011-10-24 | 2016-12-14 | 南京中兴软件有限责任公司 | 语音频信号的丢帧补偿方法和装置 |
CN103854649B (zh) * | 2012-11-29 | 2018-08-28 | 中兴通讯股份有限公司 | 一种变换域的丢帧补偿方法及装置 |
CN103854649A (zh) * | 2012-11-29 | 2014-06-11 | 中兴通讯股份有限公司 | 一种变换域的丢帧补偿方法及装置 |
CN111627451A (zh) * | 2013-06-21 | 2020-09-04 | 弗朗霍夫应用科学研究促进协会 | 用于获取音频信号的替换帧的频谱系数的方法及相关产品 |
CN111627451B (zh) * | 2013-06-21 | 2023-11-03 | 弗朗霍夫应用科学研究促进协会 | 用于获取音频信号的替换帧的频谱系数的方法及相关产品 |
CN107818789A (zh) * | 2013-07-16 | 2018-03-20 | 华为技术有限公司 | 解码方法和解码装置 |
CN110164458A (zh) * | 2013-10-29 | 2019-08-23 | 株式会社Ntt都科摩 | 音频信号处理装置以及音频信号处理方法 |
CN111883147A (zh) * | 2020-07-23 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
CN111883147B (zh) * | 2020-07-23 | 2024-05-07 | 北京达佳互联信息技术有限公司 | 音频数据处理方法、装置、计算机设备及存储介质 |
CN113838477A (zh) * | 2021-09-13 | 2021-12-24 | 阿波罗智联(北京)科技有限公司 | 音频数据包的丢包恢复方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2442304A4 (en) | 2015-03-25 |
JP5400963B2 (ja) | 2014-01-29 |
BR112012000871A2 (pt) | 2017-08-08 |
JP2012533094A (ja) | 2012-12-20 |
WO2011006369A1 (zh) | 2011-01-20 |
RU2488899C1 (ru) | 2013-07-27 |
HK1165076A1 (zh) | 2012-09-28 |
CN101958119B (zh) | 2012-02-29 |
US20120109659A1 (en) | 2012-05-03 |
US8731910B2 (en) | 2014-05-20 |
EP2442304A1 (en) | 2012-04-18 |
EP2442304B1 (en) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101958119B (zh) | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 | |
US9330672B2 (en) | Frame loss compensation method and apparatus for voice frame signal | |
JP5921578B2 (ja) | 電力線通信におけるチャネル選択 | |
TWI357230B (en) | Signal-to-noise ratio (snr) determination in the t | |
CN102959625B9 (zh) | 自适应地检测输入音频信号中的话音活动的方法和设备 | |
CN103035248B (zh) | 音频信号编码方法和装置 | |
CN103854649B (zh) | 一种变换域的丢帧补偿方法及装置 | |
US9374257B2 (en) | Methods and apparatuses of measuring impulse noise parameters in multi-carrier communication systems | |
CN1238831C (zh) | 用于信号内容检测的概率网络 | |
CN102739289B (zh) | 传输功率控制方法 | |
CN101626354B (zh) | 多径信道的噪声估计方法和装置 | |
Hallak et al. | Planning approach towards optimal performance and cost of G. hn broadband PLC access networks | |
CN102594737A (zh) | 一种邻区干扰检测方法及*** | |
WO2012106963A1 (zh) | 干扰和噪声消除方法及装置 | |
US8767974B1 (en) | System and method for generating comfort noise | |
CN103428126B (zh) | 一种基于梳状导频的ofdm自适应信道估计方法 | |
Gumaidah et al. | Study the effect of Base Frequency on the performance of WiMAX network carrying voice | |
Veronesi et al. | Improved spread frequency shift keying receiver | |
Vetoshko et al. | Evaluation of Voice Transmission Quality in the LTE Networks | |
CN102480440B (zh) | 一种宽带同频干扰环境下的信道估计方法及*** | |
WO2009155856A1 (zh) | 一种协同感知的方法、***和节点设备 | |
Rodbro et al. | Time-scaling of sinusoids for intelligent jitter buffer in packet based telephony | |
Wang et al. | Robust signal‐to‐noise ratio and noise variance estimation for single carrier frequency domain equalisation ultra‐wideband wireless systems | |
EP4068639B1 (en) | Method for noise reduction in power line communication (plc) systems | |
CN103065636B (zh) | 语音频信号的丢帧补偿方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |