CN101261833B - 一种使用正弦模型进行音频错误隐藏处理的方法 - Google Patents

Abstract

一种使用正弦模型进行音频错误隐藏处理的方法，属于网络及通信领域。按如下步骤进行操作：一，整个***的重建按照前一帧和当前帧的错误分为并列的4种情况，A.前帧和当前帧都没错，正确解码返回；B.前帧无误当前帧错误，对时域模型进行分析综合，把综合帧的奇对称部分和残留的偶对称部分相加作重建帧；C.前帧错误当前帧无误，把模型分析得到的综合帧的偶对称部分和残留奇对称部分相加作重建帧；D.前帧和当前帧都错，简单策略处理当前帧；二，输出上面得到的解码结果或错误隐藏的时域重建。该方法适合于各种丢帧率下的处理，对于中低丢帧率，连续帧丢失的概率较小，而对于中高丢帧率，使用简单的丢帧策略，不会造成更大的听觉失真。

Description

一种使用正弦模型进行音频错误隐藏处理的方法

技术领域

本发明属于网络及通信领域，特别涉及到一种使用正弦模型进行音频错误隐藏处理的方法。

背景技术

随着有线和无线网络的迅速发展，用户通过因特网对音频服务的需求越来越广泛，包括视频会议、在线音乐点播、IP电话等。然而虽然有信道编解码来实现纠错和检错，但是还是不能保证因特网音频通信提供有质量的服务(QoS)，在网络通信，尤其是无线网络通信中，由于多径衰落、噪声干扰及网络拥塞等原因，经常造成数字音频压缩数据包丢失或压缩数据的错误。由于压缩音频数据对突发错误，特别是压缩数据的帧头信息错误或丢失，非常敏感，会造成压缩数据的解码失败，从而在没有引入音频错误隐藏模块时导致接收端音频质量恶化。关于音频错误隐藏，音频错误隐藏的定义有广义和狭义两种，狭义的错误隐藏实际上就是针对解码器进行的，针对解码中出现的错误对音频序列进行重建再生，而广义的音频错误隐藏还包括在编码端就加入一定的冗余信息，以利于解码端的重建。一般所说的错误隐藏就是狭义的错误隐藏，可以看出跟传统的前向纠错和自动反馈重发等纠错算法不同，狭义的错误隐藏不占用额外带宽，只利用接收端接收到的信号提供的残留信息，有更高的信道带宽利用率。

信道前向纠错编码是一种针对信道传输中可能出现的错误的处理，不用关心信源的内容，只是在信源传输时，加上信道的冗余信息以便解码端进行检错或者纠错。与信道前向纠错编码不同，针对信源处理的音频信号重建一般是基于时域的音频解码器输出出现的问题，如click、高频噪声等时域干扰，使用一种错误消除方案去除它们。而音频的错误隐藏则包括范围更广，可以是时域的处理，可以是在解码器解码过程中，利用频域、变换域的信息进行错误重建，还可以利用发端的附加数据作为指导对信号进行重建。而且错误隐藏一般是针对网络应用中可能出现的丢包情况，即出现整个音频帧丢失，重建丢失帧的替代，让人耳的主观听觉效果更好，降低音质损坏程度。音频错误隐藏与纠错编码和信号重建的关系在音频通信***中如图1所示。对于录音媒体，如光盘等，因损伤等原因，往往对波形文件产生一定的局部干扰，如咔嚓噪声click的存在，这样在播放时，没有任何处理的话，就能听到如蜂鸣、尖刺等失真，影响人的听音质量。因而迫切需要一些针对音频数据的错误进行有效处理和方法。  基于变换的编解码***，为了解决变换块间经过编解码***产生的块效应，一般都采用相邻的编码帧存在重叠相加，这种思路让现在的基于变换的编解码***采用一种重叠相加的时频变换方法，比较有代表性的是MPEG的音频编解码***中采用的修正余弦变换(即Modified Discrete Cosine Transform，缩写MDCT)和ITU G.722.1中采用的重叠调制变换(即Modulated Lapped Transform，缩写MLT)。

基于变换的编解码***使用的重叠相加策略使得一帧的编码序列的产生或者解码序列的重建都是通过前后两帧的编码序列或者界面序列得到的。以MPEG感知音频编解码算法中常用的50％重叠相加的MDCT时频变换为例，根据MDCT的特性，若将等长的2个序列{x₁}，{x₂}顺序叠加得到[{x₁}，{x₂}]后进行MDCT变换，然后再对变换结果进行IMDCT变换，那么输出的结果是

$\mathrm{IMDCT}\left(\mathrm{MDCT}\left(\right[\left\{x_1\right\},\left\{x_2\right\}\left]\right)\right)=\left[\right\{x_1-x_1^r\},\{x_2+x_2^r\left\}\right]$

其中x₁ ^r表示序列x的逆序排列，如果两次进行MDCT变换的数据有50％的重叠，那么最终重叠的x₂被恢复出来了。这种重叠相加的特性让一帧序列的编码码流在前后两个编码帧中，一帧序列的完全解码也需要前后两个编码帧的解码结果做重叠相加，同时如果发生一帧序列的丢失情况下，也会导致连续两帧序列的丢失，其错误模型如图2所示。

正弦分析和综合(Sinusoidal analysis and synthesis，缩写的SAS)首先对信号加窗，然后对固定的片断的信号进行分析，把信号表示为一组正弦信号的叠加，这些正弦信号的参数就是幅度、频率和相位。如果把分析得到的正弦模型的所有的幅度、频率和相位都用于综合模型，则重建的音质可以达到接近透明音质。

随着Internet网络和第三代、超三代移动通信的不断完善与发展，通信带宽不断拓展，影音多媒体服务越来越丰富，交互式在线服务对数据传输实时性要求高，传统的纠错模式占据了大量带宽并造成了较大的时延，难以满足高度实时性要求，服务的高质量高实时性要求在尽可能少地占据带宽、尽可能少地增加时延条件下实现高品质的影音通信，能够同时满足这些要求的错误隐藏技术成为人们关注的热点。音频错误隐藏具有广泛的应用范围，网络会议、IP电话、移动通信、在线点播、数字广播及唱盘的纠错。

视频会议和远程教学等网络流媒体服务要求确保音、视频媒体流的实时传输，目前网络上传输音、视频数据普遍采用的是基于UDP(用户数据报协议)的RTP(实时传输协议)。UDP协议可以更充分地利用带宽传输数据，获得更好的使用效果，但是该协议本身没有重传机制，会因为网络的阻塞或传输的延迟导致接收端数据包丢失，影响音、视频质量，因此需要采用错误隐藏技术来掩饰丢失造成的错误，提高媒体输出质量。

20世纪90年代，错误隐藏方法作为GSM***的非强制的建议在ETSI中被提出，用于改善蜂窝移动通信***的语音质量，并且在第三代移动通信的宽带语音编码AMR-WB+中又采用了相应的错误隐藏方案来隐藏误码或丢失对语音质量造成的影响。

发明内容

本发明需要解决的技术问题是，由于随着网络及通信的快速发展，传统的纠错模式因其占据大量带宽，造成较大的延时已经不能满足高度实时性要求，为了克服现有技术中的这些不足，实现高品质的影、音通信，就要创新的提出一种新的处理方法，本发明的目的是一种使用正弦模型进行音频错误隐藏处理的方法，该方法利用了基于重叠相加的编解码***的特性，首先对既定的模型进行分析，然后提取分析模型的参数做适当处理，最后综合得到一个音频重建帧，提取该重建帧的适当部分和残留部分相加，就可以得到重建的序列。

完成本发明的目的采用的具体技术方案如下：一种使用正弦模型进行音频错误隐藏处理的方法，其特征在于，按如下步骤进行操作：

(一)首先，把整个***的重建按照前一帧和当前帧的错误分为并列的4种情况，A.前帧和当前帧都没有错误，正确解码返回；B.前帧无误，当前帧错误，则对时域模型进行分析综合，得到综合帧，把综合帧的奇对称部分和残留的偶对称部分相加作为重建帧；C.前帧错误，当前帧无误，则把模型分析得到的综合帧的偶对称部分和残留奇对称部分相加作为重建帧；D.前帧和当前帧都错误，则简单策略处理当前帧；

(二).然后，输出上面得到的正确解码结果或者错误隐藏的时域重建。

本发明所述的按照前一帧和当前帧的错误分为并列的4种情况详细地阐述如下：

(A)、前帧和当前帧都没有错误

这种情况下，两帧都正确解码，此时没有错误，直接输出解码结果即可。

(B)前一帧无误、当前帧错误

该帧的重建过程分为两部分，即首先通过对时域模型分析，通过对频谱的峰值计算、频谱峰点相邻补偿、相位补偿以及能量补偿等步骤得到频域的重建，经过IFFT，即可以得到重建的时域信号，然后为了相邻帧间的时域连续性，取重建的信号的奇对称部分和残留的偶对称部分重叠相加。重建帧的过程就是包含频谱峰值检测，相邻峰值点的幅度补偿(按照正弦信号的特性)，然后对分析模板的原始相位做补偿，然后对由于频谱峰值检测造成重建帧的能量减少做能量补偿，即得到频域形式的重建帧，然后由IFFT来实现频域到时域的转换。

(C)、前一帧错误、当前帧无误

该帧的重建过程与上面的情况类似，也是首先对分析模型进行频域分析，提取频谱峰值，然后进行频谱峰点相邻补偿、相位补偿以及能量补偿等步骤得到频域的重建，经过IFFT，即可以得到重建的时域信号，把时域的重建信号的偶对称部分和残留的奇对称部分重叠相加作为最终重建。如果考虑***实现的复杂度，因为当前帧无误，所以需要对其进行解码，如果再加上上面的SAS过程，可能造成的附加算法复杂度较高，所以在当前帧没有错误发生的情况下，为减少错误隐藏的复杂度，可以考虑用前一帧丢失重建帧作为当前帧的重建帧，然后将重建的信号经过一定的衰减再做重叠相加，如图5所示。

(D)前帧和当前帧都发生错误

此时，发生连续帧丢失，错误较为严重，可以直接用简单的错误隐藏策略，如把前帧的重建结果直接使用带衰减的帧复制策略或者静音策略等等。

本发明的有益效果是，该方法适合于各种丢帧率下的处理，对于中低丢帧率，连续帧丢失的概率较小，如果发生单一帧丢失，使用上面的策略(B)和(C)进行错误隐藏，将极大的改进重建后质量，人耳基本听不出失真。而对于中高丢帧率，使用简单的丢帧策略，不会造成更大的听觉失真。分状态处理的策略让该方法适合各种信道条件造成丢帧的情况。该方法实现可以不增加编解码***的延时，在中低丢帧率下重建音质较高，高丢帧率下也不会引入较大的听觉失真，音质人耳可以忍受，同时方法实现的复杂度适中，适合应用在移动、无线等对复杂度要求较高的领域。

本发明的优点还在于对于每种SAS处理***，正弦模型的分析模板可以在丢失帧前任意选取。如当前帧发生错误，而前一帧并没有错误，此时用于分析的时域信号可以直接采用前一帧的时域信号，也可以选择前一帧的一部分和残留信号的一部分作为分析帧的模板。

本发明的优点还在于对峰值检测策略的改进。因为错误隐藏是一种模糊重建的方法，所以并不需要非常精确的估计，所以使用简单的峰值检测策略，即判断当前样点值大于前后样点。另外对于峰点相邻的补偿，即对相邻峰值点的插值，由于DFT(Discrete Fourier Transform，即离散傅里叶变换)的运算精度是有限的，其频率分辨率仅是F_s/N(其中F_s是采样率，N是变换点数)，所以并不能保证每个峰值点都是完全意义的正弦分量，而可能是正弦分量的一个近似。如果这时直接用DFT的峰值点来表示正弦分量，由于其有限的精度，可能导致估计不准确，仅用峰值点会造成相邻峰值点的变化不连续，相当于用一个矩形窗对峰值点进行加权，这样会造成时域的泄漏，所以考虑用一个更加平滑的窗函数，所以考虑在相邻峰值点进行插值，即除了保留峰值点之外，还保留峰值点附近的若干个样点以保持频谱的平滑，同时对于峰值点附近的样点做一定的幅值衰减。

本发明的优点还在于在进行频谱峰值检测之后对分析模板的频域相位进行补偿。相位的补偿可以根据残留帧的残留相位来进行，也可以直接对分析模板相位进行补偿。一种有效的相位补偿策略是考虑离散傅立叶变换(DFT)的线性相位特性，可以根据分析模板序列和重建序列之间的偏移来做线性相位调整。

本发明的优点还在于对正弦模型的幅度、相位补偿的基础上附加的能量补偿。该补偿针对峰值检测后的能量，既要保证重建帧的能量不能太小，又不让重建帧的能量过大，产生入耳可闻的噪声。

本发明的优点还在于提供了一个减少错误隐藏附加复杂度的方法。即如果当前帧没有错误，而前一帧错误，如果也按照图5用正弦模型进行分析综合，势必造成解码复杂度增加。因此本方法允许用前面已经综合出来的重建帧经过一定的衰减作为当前帧的综合帧，这样就降低了因为引入错误隐藏模块而造成的复杂度增加。

本发明的优点还在于提供了适合各种延时条件的错误隐藏方案，分析模板选择的任意使得错误隐藏方法可以不增加原有的编解码***的延时，也可以为了追求更高的重建音质而增加***的延时。这种算法重建音质、算法延时与算法实现复杂度的可定制使得本算法适用于各类网络条件。

附图说明

图1为音频通信***的方框连接示意图；

图2为基于重叠相加变换的编解码***的丢帧错误模式示意图；

图3为基于变换编码***中使用正弦模型进行音频错误隐藏方案示意图；

图4为只有当前帧错误的SAS处理框图；

图5为只有前一帧错误的SAS处理框图；

图6为正弦模型的分析窗位置示意图；

图7为能量补偿流程图。

具体实施方式

参照图1，表示音频通信***的方框连接关系示意图，图中表示出音频错误隐藏与纠错编码以及信号重建的区别和联系。

参照2表示，基于重叠相加时频变换的编解码***的丢帧错误模式，图中表示，如果发生一帧序列的丢失情况下，也会导致连续两序列的丢失，参照图2可以看出，如果当前的包含[{x₂}，{x₃}]编码信息的帧数据丢失，则当前帧只剩下实际时间序列的偶对称部分{x₂+x₂ ^r}，而下一帧只剩下奇对称部分{x₃-x₃ ^r}。即当前一帧数据的丢失会导致连续的两帧错误。在这种错误模式下的处理方式，是把整个***的重建按照前一帧和当前帧的是否错误分为四种情况：(A)前帧和当前帧都没有错误，(B)前一帧无误、当前帧错误，(C)前一帧错误、当前帧无误，(D)前帧和当前帧都发生错误。

参照图3及图4，表示基于变换编码***中使用正弦模型进行错误隐藏方案示意图及只有当前帧错误的SAS处理框图。

参照图5表示只有前帧错误SAS处理框图，用正弦模型进行分析综合，表示可以用于简化算法的实现方式，即直接用前面已经综合出来的重建帧经过一定的衰减作为当前帧的综合帧，减少了错误隐藏算法实现的附加复杂度。

参照图6为正弦模型的分析窗位置示意图，设当前帧为i帧，首先把残留的当前帧信息与前一帧的正确界面得到的时域信息连接，然后分析窗可以选择在该段时域数据的任意位置(如图6所示)，如把分析窗的中心放在第i帧残留信息的起始。对于只有前一帧发生错误的情况也类似，该部分的重建正弦模型的分析模板可以选择在图6中所列出的4帧时域序列的任意位置。另外对于窗函数，可以根据具体的编解码***来选择，如AAC中使用正弦窗对分析模板加窗。

参照图7为能量补偿流程图，由于峰值检测，一些非峰值点直接归零，导致信号能量下降，所以利用峰值检测前后的信号能量求得一个补偿因子，然后把该因子经过一定的衰减，如衰减到原来的0.8，然后做一个限幅，以防止重建帧的能量过大。限幅值和衰减因子都可以调整。

Claims (4)

1.一种使用正弦模型进行音频错误隐藏处理的方法，其特征在于，按如下步骤进行操作：(一)首先，把整个***的重建按照前一帧和当前帧的错误分为并列的4种情况，A.前帧和当前帧都没有错误，正确解码返回；B.前帧无误，当前帧错误，则用正弦模型对时域信号进行分析综合，得到综合帧，把综合帧的奇对称部分和残留的偶对称部分相加作为重建帧；C.前帧错误，当前帧无误，则用正弦模型对时域信号进行分析综合，再将综合帧的偶对称部分和残留奇对称部分相加作为重建帧；D.前帧和当前帧都错误，则简单策略处理当前帧；(二)然后，输出上面得到的正确解码结果或者错误隐藏的时域重建；

所述进行分析综合，是以输入的时域信号为分析模板，通过对正弦模型的幅度、频率、相位三个分量的调整综合出重建时域信号，具体包括：

进行峰值检测，所述峰值检测是通过相邻峰值点的插值增强频率分量的提取精度；

根据时频变换特性，对分析模板的相位做线性相位调整；

根据所述峰值检测前后信号的能量对正弦分量的幅度做调整；

进行峰值检测后的能量补偿。

2.根据权利要求1所述的使用正弦模型进行音频错误隐藏处理的方法，其特征在于，所述峰值检测，是在相邻峰值点进行插值，保留峰值点附近的若干个样点以保持频谱的平滑。

3.根据权利要求1所述的使用正弦模型进行音频错误隐藏处理的方法，其特征在于，所述线性相位调整，是根据分析模板和进行错误隐藏的丢失帧间的时间偏移做线性相位补偿。

4.根据权利要求1所述的使用正弦模型进行音频错误隐藏处理的方法，其特征在于，所述能量补偿，是根据峰值检测后的能量变化计算补偿因子，并经过衰减和限幅，保证音频帧间能量的连续性。

Images