CN103456307B - 音频解码器中帧差错隐藏的谱代替方法及*** - Google Patents
音频解码器中帧差错隐藏的谱代替方法及*** Download PDFInfo
- Publication number
- CN103456307B CN103456307B CN201310429973.2A CN201310429973A CN103456307B CN 103456307 B CN103456307 B CN 103456307B CN 201310429973 A CN201310429973 A CN 201310429973A CN 103456307 B CN103456307 B CN 103456307B
- Authority
- CN
- China
- Prior art keywords
- frame
- current bad
- bad frame
- spectrum
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种音频解码器中帧差错隐藏的谱代替方法及***,本发明方法根据上一帧和当前坏帧的线性预测滤波器参数确定当前坏帧的衰减因子,并根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。本发明用来处理音频解码器接收的坏帧,能提高解码后的音频序列的主客观质量。
Description
技术领域
本发明涉及音频解码器技术领域,更具体的说,涉及一种音频解码器中帧差错隐藏的谱代替方法及***。
背景技术
在无线信道中由于多径传输及其传输环境的恶劣性,信号的误码率较高;而在互联网的IP应用中,Internet是基于分组交换的,在无QoS(Quality of Service)保证的前提下,要尽最大努力传递数据包,因此携带实时音频数据的数据包可能由于不能及时到达或者被丢弃从而无法提供有效的服务。由于音频信号的短时平稳性,一个帧数据或者一个包数据的丢失将会影响到后续数据的接收质量。现阶段移动音频编解码器多采用变速率自适应压缩编码器,在解码的时候多采用参数提取和模型重建方法,一帧数据的丢失会影响到相邻帧参数译码效果,连续多帧的丢失将严重降低译码质量。同时,音频数据在网络上传输以分组的方式进行,数据包的丢失也会影响接受端的分组重排效果。
在传输过程中丢失的音频帧,需要在接收端进行相应的恢复过程,即如何恢复原有传输的丢失帧信息。这个过程需要在接收端建立一个丢失帧恢复模块,包括丢失帧检测和丢失帧重建。一旦接收端检测到确定位置的丢失帧或者接收帧信号损伤到不可忍受,这时接收端的帧差错隐藏算法就会生成一个与原始丢失的帧信号相似的重构信号去替代丢失信号,并按照音频信号的短时平稳性保证相邻帧之间的良好过渡效果,这称为帧差错隐藏。
音频帧差错隐藏的研究来源于网络和通信的中出现的帧丢失、延迟、乱序等导致接收端音频质量下降的信道问题。音频的帧差错隐藏其理论基础是应用音频信号的短时平稳性和人耳听觉特性,从而对由存储介质受损或信道误码造成的解码端音频信号质量下降的问题进行掩蔽。现有的各种音频帧差错隐藏技术大致可以分成如下两类,基于发送端的帧差错隐藏方法(Sender-based Repair)和基于接收端的帧差错隐藏方法(Receiver-based Repair)。
发明内容
本发明的目的是提供一种用于音频解码器、可进一步提高解码后音频序列主观质量和客观质量的帧差错隐藏的谱代替方法及***。
为达到上述目的,本发明采用如下的技术方案:
一、一种音频解码器中帧差错隐藏的谱代替方法,对音频序列的当前坏帧进行如下处理:根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,并根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。
上述根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,进一步包括子步骤:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
上述当前坏帧的幅值增益根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得。
上述当前坏帧的谱参数替换值由当前坏帧的衰减因子和上一帧的谱参数相乘得到。
上述当前坏帧的谱参数替换值由当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到。
二、音频解码器中帧差错隐藏的谱代替***,包括:
衰减因子获取模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子;
谱参数替代值获取模块,用来根据当前坏帧衰减因子和/或当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值。
上述衰减因子获取模块进一步包括子模块:
线谱距离获得模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
滤波器稳定性获得模块,用来根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
衰减因子获得模块,用来根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
上述音频解码器中帧差错隐藏的谱代替***还包括幅值增益预测模块,用来根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得当前坏帧的幅值增益。。
上述谱参数替代值获取模块用来将当前坏帧的衰减因子和上一帧的谱参数相乘得到当前坏帧的谱参数替代值。
上述谱参数替代值获取模块用来将当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到当前坏帧的谱参数替换值。
本发明根据线性预测滤波器参数确定滤波器的稳定性,然后根据滤波器稳定性值确定衰减因子,最后根据上一帧的谱参数、衰减因子和预测增益生成当前坏帧的谱参数替代值,从而隐藏由音频解码器经过通信信道接收的坏帧的影响。本发明用于处理音频解码器接收的坏帧,可提高解码后音频序列的主观质量和客观质量。
附图说明
图1是本发明方法流程图。
具体实施方式
本发明***可应用于音频解码器。若音频信号的当前帧为坏帧,则启动本发明的帧差错隐藏的谱代替机制,这里的坏帧指未被音频解码器接收的帧或音频解码器接收的错误帧。本发明的基本思路如下:首先,根据上一帧和当前坏帧的线性预测滤波器参数获取线谱距离,并获得滤波器稳定性值;然后,根据滤波器稳定性值、当前连续坏帧数和上一帧类型获取衰减因子;最后,根据衰减因子、上一帧谱参数和当前坏帧的幅值增益获得当前坏帧的谱参数替换值。
音频解码器中采用一缓存单元存储当前坏帧的上一帧的谱参数值,包括线性预测滤波器参数;如果音频序列的当前帧为坏帧,则采用当前坏帧和上一帧的线性预测滤波器参数确定衰减因子,再根据上一帧的谱参数值、衰减因子和当前坏帧的幅值增益获得当前坏帧的谱参数替代值。当前坏帧的上一帧可能是好帧,也可能是坏帧,因此,缓存单元存储的可能是好帧的谱参数和线性预测滤波器参数,也可能是坏帧经帧差错隐藏恢复的谱参数和线性预测滤波器参数。
本具体实施中,采用AMR-WB+编解码器环境,编码端强制使用TCX编码模式。对输入的音频序列,解码器接收每帧数据,如果音频序列的当前帧未被接收或者出现错误,即当前帧为坏帧时,解码器启动帧差错隐藏的谱代替机制,具体步骤如下:
步骤1,根据上一帧和当前坏帧的线性预测滤波器参数获取滤波器稳定性值。
首先,根据上一帧和当前坏帧的线性预测滤波器参数计算线谱距离ISFdist:
式(1)中:
u+1为上一帧或当前坏帧恢复的线性预测滤波器包含的参数数量;
fi为上一帧的线性预测滤波器的第i个参数;
fi (p)为当前坏帧恢复的线性预测滤波器的第i个参数。
当前坏帧恢复的线性预测滤波器参数fi (p)由式(2)计算得到:
fi (p)=α*fi+(1-α)*ISFmean(i) (2)
式(2)中:
α=0.9;
fi (p)是当前坏帧恢复的线性预测滤波器的第i个参数;
i为当前坏帧恢复的线性预测滤波器参数的编号,i=0,2,...,15;
fi是上一帧的线性预测滤波器的第i个参数;
ISFmean(i)是线性预测滤波器参数的部分自适应平均值,由线性预测滤波器参数的自适应平均值ISFconst_mean(i)和线性预测滤波器参数的常数平均值ISFadaptive_mean(i)获取:
ISFmean(i)=β*ISFconst_mean(i)+(1-β)*ISFadaptive_mean(i) (3)
式(3)中:
β=0.25;
i为当前坏帧恢复的线性预测滤波器参数的编号,i=0,2,...,15;
ISFconst_mean(i)为线性预测滤波器参数的第i分量的常数平均值,为经验常数;
为当前坏帧的最近3个好帧线性预测滤波器参数的自适应平均值,past_ISFq(i)指当前坏帧的最近三个好帧的线性预测滤波器的第i个参数,j表示当前坏帧的最近3个好帧的编号。
音频解码器中设有好帧缓存单元,可依次缓存3个好帧的线性预测滤波器参数,当前坏帧的最近3个好帧的线性预测滤波器参数即为好帧缓存单元中当前缓存的好帧线性预测滤波器参数。当音频解码器接收到新好帧时,则将新接收好帧的线性预测滤波器参数缓存至好帧缓存单元,同时删除好帧缓存单元中离该新好帧最远的好帧线性预测滤波器参数。若好帧缓存单元中缓存的好帧数量不足3个,那么当前坏帧对应的ISFadaptive_mean(i)则为好帧缓存单元中缓存的好帧线性预测滤波器参数的自适应平均值。
然后,根据线谱距离ISFdist计算滤波器稳定性值θ:
θ=1.25-ISFdist/v (4)
式(4)中:
ISFdist为线谱距离;
v为整数常量,根据信号是宽带还是窄带取不同值;本具体实施中,使用的输入信号为宽带信号,则v=400,000。
步骤2,根据滤波器稳定性值确定衰减因子。
根据滤波器稳定性值θ、当前连续坏帧数和上一帧类型确定衰减因子上一帧类型可以分为“人工起始”、“起始”、“浊音过渡”、“清音过渡”、“清音”和“浊音”等类型。当前连续坏帧是上一好帧之后的连续坏帧,包括当前坏帧。
根据当前连续坏帧数和上一帧类型的不同,选择不同的衰减因子计算公式,本具体实施采用下述典型衰减因子计算公式来获取衰减因子:
步骤3,预测当前坏帧的幅值增益。
采用频谱外推法预测当前坏帧的幅值增益,即使用当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值按照下式预测当前坏帧的幅值增益gain:
式(6)~(7)中:
A[k]为当前坏帧样点k的频谱幅值;
oldA[k]为上一帧样点k的频谱幅值;
k为信号帧中样点编号。
步骤4,根据衰减因子上一帧谱参数和当前坏帧幅值增益gain获取当前坏帧谱参数X[k]:
式(7)中:
X[k]为当前坏帧样点k的谱参数;
oldX[k]为上一帧样点k的谱参数。
以公式(7)获得的谱参数X[k]为当前坏帧的谱参数替换值,即完成了帧差错隐藏的谱代替。
Claims (8)
1.音频解码器中帧差错隐藏的谱代替方法,其特征在于,对音频序列的当前坏帧进行如下处理:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,并根据当前坏帧衰减因子以及上一帧的谱参数获得当前坏帧的谱参数替代值,当前坏帧的谱参数替换值由当前坏帧的衰减因子和上一帧的谱参数相乘得到;
所述的根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,进一步包括子步骤:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
2.如权利要求1所述的音频解码器中帧差错隐藏的谱代替方法,其特征在于:
所述的当前坏帧的幅值增益根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得。
3.音频解码器中帧差错隐藏的谱代替方法,其特征在于,对音频序列的当前坏帧进行如下处理:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,并根据当前坏帧衰减因子、当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值,当前坏帧的谱参数替换值由当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到;
所述的根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子,进一步包括子步骤:
根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
4.如权利要求3所述的音频解码器中帧差错隐藏的谱代替方法,其特征在于:
所述的当前坏帧的幅值增益根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得。
5.音频解码器中帧差错隐藏的谱代替***,其特征在于,包括:
衰减因子获取模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子;
谱参数替代值获取模块,用来根据当前坏帧衰减因子以及上一帧的谱参数获得当前坏帧的谱参数替代值,当前坏帧的谱参数替换值由当前坏帧的衰减因子和上一帧的谱参数相乘得到;
所述的衰减因子获取模块进一步包括子模块:
线谱距离获得模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
滤波器稳定性获得模块,用来根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
衰减因子获得模块,用来根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
6.如权利要求5所述的音频解码器中帧差错隐藏的谱代替***,其特征在于:
还包括幅值增益预测模块,用来根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得当前坏帧的幅值增益。
7.音频解码器中帧差错隐藏的谱代替***,其特征在于,包括:
衰减因子获取模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数确定当前坏帧的衰减因子;
谱参数替代值获取模块,用来根据当前坏帧衰减因子、当前坏帧的幅值增益、以及上一帧的谱参数获得当前坏帧的谱参数替代值,当前坏帧的谱参数替换值由当前坏帧的衰减因子、当前坏帧的幅值增益和上一帧的谱参数相乘得到;
所述的衰减因子获取模块进一步包括子模块:
线谱距离获得模块,用来根据上一帧的线性预测滤波器参数和当前坏帧恢复的线性预测滤波器参数获取上一帧和当前坏帧的线谱距离;
滤波器稳定性获得模块,用来根据上一帧和当前坏帧的线谱距离确定滤波器稳定性值;
衰减因子获得模块,用来根据滤波器稳定性值、当前连续坏帧数和上一帧类型确定当前坏帧的衰减因子。
8.如权利要求7所述的音频解码器中帧差错隐藏的谱代替***,其特征在于:
还包括幅值增益预测模块,用来根据当前坏帧中没有丢失的频谱幅值与上一帧对应位置的频谱幅值预测获得当前坏帧的幅值增益。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310429973.2A CN103456307B (zh) | 2013-09-18 | 2013-09-18 | 音频解码器中帧差错隐藏的谱代替方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310429973.2A CN103456307B (zh) | 2013-09-18 | 2013-09-18 | 音频解码器中帧差错隐藏的谱代替方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103456307A CN103456307A (zh) | 2013-12-18 |
CN103456307B true CN103456307B (zh) | 2015-10-21 |
Family
ID=49738604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310429973.2A Active CN103456307B (zh) | 2013-09-18 | 2013-09-18 | 音频解码器中帧差错隐藏的谱代替方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103456307B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2922056A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
EP2922054A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation |
PT3664086T (pt) * | 2014-06-13 | 2021-11-02 | Ericsson Telefon Ab L M | Gestão de erros de tramas em rajada |
FR3024582A1 (fr) * | 2014-07-29 | 2016-02-05 | Orange | Gestion de la perte de trame dans un contexte de transition fd/lpd |
CN107393559B (zh) * | 2017-07-14 | 2021-05-18 | 深圳永顺智信息科技有限公司 | 检校语音检测结果的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101197133A (zh) * | 2006-12-04 | 2008-06-11 | 华为技术有限公司 | 一种解码方法及装置 |
CN101471073A (zh) * | 2007-12-27 | 2009-07-01 | 华为技术有限公司 | 一种基于频域的丢包补偿方法、装置和*** |
CN103117062A (zh) * | 2013-01-22 | 2013-05-22 | 武汉大学 | 语音解码器中帧差错隐藏的谱参数代替方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7031926B2 (en) * | 2000-10-23 | 2006-04-18 | Nokia Corporation | Spectral parameter substitution for the frame error concealment in a speech decoder |
-
2013
- 2013-09-18 CN CN201310429973.2A patent/CN103456307B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101197133A (zh) * | 2006-12-04 | 2008-06-11 | 华为技术有限公司 | 一种解码方法及装置 |
CN101471073A (zh) * | 2007-12-27 | 2009-07-01 | 华为技术有限公司 | 一种基于频域的丢包补偿方法、装置和*** |
CN103117062A (zh) * | 2013-01-22 | 2013-05-22 | 武汉大学 | 语音解码器中帧差错隐藏的谱参数代替方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN103456307A (zh) | 2013-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2535893B1 (en) | Device and method for lost frame concealment | |
KR101540371B1 (ko) | 신호 분류 방법 및 장치, 및 인코딩/디코딩 방법 및 장치 | |
CN104040621B (zh) | 用于音频数据的冗余发射的位分配的***、方法和设备 | |
CN101140759B (zh) | 语音或音频信号的带宽扩展方法及*** | |
CN102122511B (zh) | 一种信号处理方法、处理装置以及语音解码器 | |
CN103456307B (zh) | 音频解码器中帧差错隐藏的谱代替方法及*** | |
CN102169692B (zh) | 信号处理方法和装置 | |
CN102598119B (zh) | 基音估计 | |
CN104021796B (zh) | 语音增强处理方法和装置 | |
KR101038964B1 (ko) | 에코 제거/억제 방법 및 장치 | |
US8392176B2 (en) | Processing of excitation in audio coding and decoding | |
EP1750254A1 (en) | Audio/music decoding device and audio/music decoding method | |
US8190440B2 (en) | Sub-band codec with native voice activity detection | |
CN101166071A (zh) | 差错帧隐藏装置与方法 | |
CN101221765A (zh) | 一种基于语音前向包络预测的差错隐藏方法 | |
CN106463140B (zh) | 具有语音信息的改进型帧丢失矫正 | |
KR20070059860A (ko) | 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치 | |
CN103117062B (zh) | 语音解码器中帧差错隐藏的谱参数代替方法及*** | |
CN101976567B (zh) | 一种语音信号差错掩盖方法 | |
Lee et al. | A packet loss concealment algorithm based on time-scale modification for CELP-type speech coders | |
Flynn et al. | Robust distributed speech recognition in noise and packet loss conditions | |
JP2003218932A (ja) | エラー隠蔽装置及び方法 | |
Sisman et al. | A new speech coding algorithm using zero cross and phoneme based SYMPES | |
Bakri et al. | Implementing the PLC Techniques with G 729 Coded to Improving the Speech Quality for VoIP Transmission | |
JP3212123B2 (ja) | 音声符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210707 Address after: 215000 unit 01, 5 / F, building a, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Patentee after: BOOSLINK SUZHOU INFORMATION TECHNOLOGY Co.,Ltd. Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan Patentee before: WUHAN University |