CN102201823A - 多通道音频信号处理 - Google Patents

Abstract

本发明涉及多通道音频信号处理，具体涉及一种处理多通道音频信号的方法以及信号处理设备。公开了一种处理多通道音频信号的方法，所述方法包括以下步骤：接收对第一音频信号与第二音频信号之和加以表示的输入和信号(s)；接收对第一音频信号与第二音频信号之差加以表示的输入差信号(d)；对和信号进行去相关，以提供去相关和信号(s_d)；根据和信号(s)与差信号(d)的交叉相关以及和信号的功率，来计算第一增益(g_s)；根据和信号(s)与差信号(d)的交叉相关以及和信号与差信号的功率，来计算第二增益(g_sd)；根据应用于和信号(s)的第一增益(g_s)与应用于去相关和信号(s_d)的第二增益(g_sd)之和，来计算输出差信号(d′)；以及根据输出差信号(d′)与输入和信号(s)的组合，来提供输出立体声音频信号(l，r)。

Description

多通道音频信号处理

技术领域

本发明涉及多通道音频信号处理，具体涉及处理多通道音频信号的方法以及信号处理设备。

背景技术

在20世纪40年代发明了FM无线电装置，并且在20世纪60年代针对立体声广播进行了扩展。如图1示意性示出的，解调后的FM立体声信号包括单声道音频信号(L+R)、19kHz的导频音和调制在38kHz子载波上的立体声差信号(stereo difference signal)(L-R)。根据单声道和信号101以及差信号103来重构左通道和有通道。尽管接收到的FM信号包括白噪声，然而解调后的信号包括随频率线性增大的分量(表示为噪声信号104)。由于单声道音频信号101存在于低频区域(15kHz以下)，所以单声道音频信号101包含实质上低于差信号103的噪声电平，其中在FM信号中在较高频率范围上发送差信号103。因此，在输入信号的信噪比过低的情况下，已知的接收机逐渐从立体声切换到单声道操作。

在立体声广播FM信号中，将左通道(L)和右通道(R)矩阵变换成和信号(S)以及差信号(D)，即，S＝(L+R)/2以及D＝(L-R)/2。单声道FM接收机将仅使用S信号。立体声接收机对S信号和D信号进行矩阵变换，以恢复L和R：L＝S+D，R＝S-D。如图1所示，在30Hz到50kHz范围内(相对于与图1中的0Hz相对应的载波频率)作为基带音频来发送和信号101。将差信号103幅度调制到38kHz抑制载波上，以产生在23至53kHz范围内的双边带抑制载波(DSBSC)。还产生19kHz导频音102，该19kHz导频音102正好在38kHz子载波频率的二分之一处，与38kHz子载波之间具有精确限定的相位关系。以总调制电平的8-10％来发送导频音102，接收机使用导频音102来再生具有正确相位的38kHz 子载波。

来自立体声生成器的最终复用信号是基带音频信号101、导频音102和DSBSC调制子载波信号103之和。该复用与任何其他子载波一起被FM发射机调制。

在典型的FM接收机中，首先将输入信号经过限幅器处理，以消除信号中存在的任何幅度调制(AM)噪声。限幅器的输出是具有恒定幅度的方波。然后将该方波发送通过带通滤波器，该带通滤波器的中心频率等于载波频率，带宽等于FM信号的带宽。带通滤波器滤除方波谐波并返回恒定幅度的正弦信号。然后对恒定幅度的FM信号进行差分。将瞬时频率转换成对FM载波功能进行调制的AM信号。包络检测器提取感兴趣的输入信号的幅度或包络。以这种方式，获取图1所示的复用信号。随后，解复用器从复用信号中得到和信号s(t)以及差信号d(t)。

由于进行了差分，输入信号中存在的白噪声变成了输出信号中与频率有关的噪声。RMS噪声电平线性地与频率成比例。功率谱密度随频率二次方地增大。在M.Schwartz的“Information Transmission，modulation，and noise”，3ed，第5-12章(下文中的参考文献[9])中更详细地描述了这一点。

相应地，与15kHz范围内的单声道和信号101相比，在38kHz的抑制载波附近存在的差信号103明显受影响更大。因此，接收机倾向于在立体声信号中的噪声电平过高的情况下自动切换至单声道音频再现，这是因为该噪声的大部分将源自于差信号103。

在US 2006/0280310(下文中的参考文献[4])中提出了切断差信号的方法的备选方法，其中，基于人类听觉***的掩蔽效应，使用频率选择性立体声到单声道混合。

WO 2008/087577(下文中的参考文献[1])公开了一种***，该***也试图在保持低噪声电平的同时恢复合理的立体声图像，其中，使用从已知为″强度立体声(Intensity Stereo)″(IS)的技术(在下文中的参考文献[3]中公开的)得到的立体声音频编码工具。根据该技术，并不恢复用于创建立体声信号的噪声差信号，而是构造估计差信号。通过 针对每个频带计算增益因子，在频域创建该估计差信号。然后，通过将和信号的频域表示与计算出的增益参数的包络相乘，得到差信号。

尽管与和/差重构获得的立体声信号相比或者与单声道后退(fallback)选择方案相比，WO 2008/087577中公开的***显著提高了总体质量，然而仍存在许多缺点。首先，所使用的技术并没有充分利用音频编码工具中目前可用的知识。强度立体声是一种立体声编码工具，其在很大程度上已被诸如参数立体声(Parametric Stereo)(在下文中的参考文献[2]中公开的)等更强大的工具取代。其次，和信号以及差信号的通道条件将随时间改变，因此噪声条件将随时间改变。在WO 2008/087577中并没有充分利用这种知识，而是提出了启发式措施来说明噪声通道条件。第三，该***没有描述在通道条件很差或很好的情况下如何操作。

发明内容

本发明的目的是解决上述问题中的一个或多个问题。

根据本发明的第一方面，提供了一种处理多通道音频信号的方法，该方法包括以下步骤：

接收对第一音频信号与第二音频信号之和加以表示的输入和信号；

接收对第一音频信号与第二音频信号之差加以表示的输入差信号；

对和信号进行去相关，以提供去相关和信号；

根据和信号与差信号的交叉相关以及和信号的功率，来计算第一增益；

根据和信号与差信号的交叉相关以及和信号与差信号的功率，来计算第二增益；

根据应用于和信号的第一增益与应用于去相关和信号的第二增益之和，来计算输出差信号；以及

根据输出差信号与输入和信号的组合，来提供输出立体声音频信号。

可选地，第一增益是复值缩放因子，可以根据和信号与差信号之间的复值交叉相关跟和信号的功率之比，来计算第一增益。

可以计算残差信号功率与和信号的功率之比的平方根，作为第二增益。

当差信号中信噪比的估计在所设置的最小阈值以下时，可以将第一增益和第二增益设置为最小值。

当差信号中信噪比的估计在所设置的最大阈值以上时，可以将第一增益和第二增益设置为最大值。

可以根据差信号中信噪比的估计值在所设置的最小阈值与所设置的最大阈值之间，将第一增益和第二增益分别设置为在最小值与最大值之间的值。

差信号中信噪比的估计可以是比值，其中根据差信号的滤波并解调后的版本的实部与虚部的组合，来计算所述比值。

多通道音频信号是可以频率调制信号，所述频率调制信号包括基带和信号以及边带调制差信号。

根据本发明的第二方面，提供了一种用于处理多通道音频信号的信号处理设备，所述多通道音频信号包括对第一音频信号与第二音频信号之和加以表示的输入和信号，以及对第一音频信号与第二音频信号之差加以表示的输入差信号，所述设备包括：

去相关模块，被配置为接收和信号并提供去相关和信号；

参数估计模块，被配置为根据和信号与差信号的交叉相关以及差信号的功率，来计算第一增益，以及根据和信号与差信号的交叉相关以及和信号与差信号的功率，来计算第二增益；

第一放大器，被配置为接收和信号并根据第一增益来放大和信号；

第二放大器，被配置为接收去相关和信号并根据第二增益来放大去相关和信号；

求和模块，被配置为对来自第一放大器和第二放大器的输出信号求和；以及

输出级，被配置为根据和信号与来自求和模块的输出差信号的组 合，来计算输出立体声信号。

可选地，第一增益是复值缩放因子，参数估计模块可以被配置为根据和信号与差信号之间的复值交叉相关跟和信号的功率之比，来计算第一增益。

参数估计模块可以被配置为计算残差信号功率与和信号的功率之比的平方根，作为第二增益。

参数估计模块可以被配置为当差信号中信噪比的估计在所设置的最小阈值以下时，将第一增益和第二增益设置为最小值。

参数估计模块可以被配置为当差信号中信噪比的估计在所设置的最大阈值以上时，将第一增益和第二增益设置为最大值。

参数估计模块可以被配置为根据差信号中信噪比的估计值在所设置的最小阈值与所设置的最大阈值之间，将第一增益和第二增益设置为在最小值与最大值之间的值。

信号处理设备可以包括噪声估计模块，噪声估计模块被配置为，根据比值来提供差信号中信噪比的估计，其中所述比值是根据差信号的滤波并解调后的版本的实部与虚部的组合来计算的。

本发明可以具体实现为一种计算机程序，所述计算机程序用于命令计算机执行根据第一方面的方法。所述计算机程序可以存储在计算机可读介质上，如，磁盘或存储器上。计算机可以是可编程微处理器、专用集成电路、或诸如个人计算机之类的通用计算机。

根据本发明的实施例包括多种改进，这些改进可以显著减小噪声并提高输出声音质量，尤其是相对于WO 2008/087577中公开的***。这些改进包括：

i)以跟当前参数立体声编码方法相类似的方式来使用去相关；

ii)使用取决于差信号的信噪比(或信号加噪声与噪声之比)的向上混频(upmixing)技术，该技术优选地以时间和频率变量方式来应用，以允许根据时间/频率(T/F)层(tile)的本地SNR来对每个T/F层应用向上混频；以及

iii)使用混合方案，其中，对于每个T/F层，逐渐从原始差信号转变到估计差信号，再到无差信号(即，仅使用和信号)。

附图说明

以下参考附图描述了根据本发明方面的示例实施例的细节，附图中：

图1是频域中频率调制复用信号的功率谱密度的示意图；

图2是根据本发明的信号处理设备的第一示例实施例的示意性框图；

图3a是频域中频率调制复用信号的功率谱密度的示意表示；

图3b是图3a信号的复值滤波版本的功率谱密度的示意表示；

图3c是图3b信号在调制到基带之后的功率谱密度的示意表示；

图3d是图3c中信号的实部的功率谱密度的示意表示；

图3e是图3c中信号的虚部的功率谱密度的示意表示；

图4是根据本发明的信号处理设备的第二示例实施例的示意性框图；

图5是根据本发明的信号处理设备的第三示例实施例的示意性框图。

具体实施方式

第一实施例

图2示出了根据本发明的信号处理设备200的第一实施例的框图，其中在有噪信号条件下计算改进的差信号d。将有噪和信号s以及有噪差信号d输入至参数估计模块201。基于和信号以及差信号的信号功率以及和信号与差信号的交叉相关，计算两个增益g_s和g_sd。这两个增益用于限定以下从和信号s以及和信号的去相关版本s_d到估计预测信号d′的转移函数。

d′＝g_s·s+g_sd·s_d

与WO 2008/087577中计算差信号的方式相比，以上关系包括附加的去相关信号分量项g_sd·s_d。

根据以下关系，可以根据和信号s和差信号d的功率以及和信号与差信号之间的非归一化交叉相关，来计算增益g_s、g_sd：

$g_s=\frac{\underset{\∀p}{\mathrm{\Σ}}{s}^{*}\·d+\mathrm{\ϵ}}{\underset{\∀p}{\mathrm{\Σ}}s\·s^{*}+\mathrm{\ϵ}}$

$g_{\mathrm{sd}}=\sqrt{\frac{\underset{\∀p}{\mathrm{\Σ}}(d-g_s\·s)\·{(d-g_s\·s)}^{*}+\mathrm{\ϵ}}{\underset{\∀p}{\mathrm{\Σ}}s\·s^{*}+\mathrm{\ϵ}}}$

其中， 

表示信号矢量x、y的复值内积。参数ε是小的正值，以防止被零除。因此，有效地计算参数g_s，作为和/差信号对之间的复值(复共轭)交叉相关与和信号的功率之间的比值。这提供了最小二乘拟合。计算残差信号功率与和信号功率之比的平方根，作为参数g_sd。

与参数估计过程并行地，还将和信号s输入至去相关模块202，在去相关模块202中，得到去相关和信号s_d，该去相关和信号s_d与和信号s的相关实质上接近零并且具有大致上与和信号s相同的时间和频谱形状。例如可以利用全通滤波器或利用混响电路，来实现去相关模块202。在Jot，J.M.& Chaigne，A.(1991)，Digital Delay Networks for designing Artificial Reverb，90th Convention of the Audio Engineering Society(AES)，Preprint Nr.3030，Paris，France(下文中的参考文献[5])中给出了合成混响的示例。

在去相关和参数估计之后，利用第一放大器203和第二放大器204对和信号s和去相关和信号s_d应用增益g_s、g_sd。将来自放大器203、204的输出信号g_s·s、g_sd·s_d提供给求和模块205并相加在一起，产生合成差信号d′。然后将和信号s以及合成差信号d馈送通过传统的和与差矩阵模块206，传统的和与差矩阵模块206根据以下关系得到左音频信号l′和右音频信号r′：

$\left[\begin{array}{c}{l}^{\′}\\ r^{\′}\end{array}\right]=\left[\begin{array}{cc}1/2& 1/2\\ 1/2& -1/2\end{array}\right]\left[\begin{array}{c}s\\ d^{\′}\end{array}\right]$

和/差矩阵模块206将左音频信号l′和右音频信号r′输出至去加重(de-emphasis)滤波器模块207，去加重滤波器模块207得到输出立体声信号。去加重滤波器模块207操作用于将在频率调制过程中施加的预 加重(pre-emphasis)反转。在备选实施例中，取而代之地可以将去加重模块应用于输入和信号s以及差信号d。

优选地，在多个频带中执行上述处理，以提供最高的保真度。在每个情况下，需要首先将输入复用时域信号转换到频域，在处理之后再转换回时域。例如，如在Moorer， The Use of the Phase Vocoder in Computer Music Applications Journal of the Audio Engineering Societ

第二实施例

根据第二实施例，可以利用可以从差信号d得到的噪声信息，来扩展第一实施例的信号处理设备。可以在跟立体声图像相对应的信号属性与跟信号的噪度相对应的信号属性之间进行权衡，这两种属性在一定程度上是可分开的。

图3a是图1的再现，示出了输入FM复用信号的功率谱密度(PSD)的示意表示。输入信号包括基带和信号301(在0和15kHz之间)、19kHz导频音302以及双边带抑制载波调制差信号303(在23和53kHz)之间。还存在噪声信号304，该噪声信号随频率的提高而提高。

有效地，差信号303可获得两次，一次是在从23到38kHz的频率范围内，另一次是在从38到53kHz的频率范围内。因此，利用这一知识， 可获得由d＝d+n构成的差信号d(即，原始差信号加上附加噪声分量)以及n_d，其中n_d是噪声信号n的近似。可以如图3b至3e所示，得到信号 d和n_d。首先，以38kHz的调制频率，对图3a的原始输入频谱应用正交调制(复指数调制)。这产生了具有图3b所示频谱的复值信号。然后将该信号经过低通滤波，滤波到大约15kHz，产生图3c所示的信号(由带通函数307指示的带通滤波器)。产生的复值信号包括解调信号d以及复调制信号n。如图3d和3e所示，通过得到该信号的实部308和虚部309，可以得到分量d和n_d。

因此，可以估计差信号的信号加噪声与噪声的比值(SNNR)。

假定差信号与正噪声分量和负噪声分量之间具有零相关，则差信号d的功率由差信号的功率加上噪声估计的功率构成。实际上，可能存在意外的相关，从而导致差信号的实际噪声水平与噪声估计之间的偏离。

根据差信号和差噪声估计，可以根据以下关系来估计SNNR：

$\mathrm{SNNR}=10\·{\log }_{10}\left(\frac{\underset{\∀p}{\mathrm{\Σ}}d\·d^{*}}{\underset{\∀p}{\mathrm{\Σ}}{n}_d\·{n_d}^{*}}\right)$

可以利用SNNR来控制参数估计。图4是根据第二实施例的信号测量设备400的框图表示，其中，该SNNR用于控制参数估计模块201。与第一实施例的设备200的情况一样，从FM解复用器401来提供和信号s以及差信号d。此外，向SNNR估计模块402提供差信号d以及差噪声信号估计n_d。然后从差信号d以及差噪声信号n_d得到SNNR。然后将SNNR输入至参数估计模块201，以调整由参数估计模块201输出的估计参数g_s、g_sd。

在差信号被噪声掩盖的情况下，即，在SNNR大约为0dB的情况下，可以将SNNR用作控制信息。在这种情况下，不使用估计参数g_s、g_sd，这是因为在这种情况下估计参数g_s、g_sd仅基于噪声信号。例如，可以使用SNNR对增益g_s和g_sd进行加权，使得对于特定阈值以下(例如，在1dB以下)的SNNR，增益被设置为0，从而产生单声道信号。在SNNR 值的指定范围中，例如，在1dB和5dB之间，利用在0和1之间的权重来对估计增益进行缩放。对于指定阈值(例如5dB)以上的SNNR，增益保持不变。这些关系可以表示为以下关系：

g_s＝g_s，measured·f₁(SNNR)

g_sd＝g_{sd，measured}·f₂(SNNR)，

其中f₁和f₂是具有在0和1之间的范围的函数。

如第一实施例一样，优选地以时间和频率变量方式来进行上述处理。对于非常小的时间和频率层，噪声估计实质上可能相对于实际噪声电平而发生变化，这是因为噪声估计信号n_d仅提供对实际噪声信号n的估计。此外，由于较差的接收条件，例如，多径接收效应，噪声估计信号n_d可能实质上偏离实际噪声信号。因此，可以对SNNR作进一步处理，以消除高频变化。

第三实施例

根据第三实施例，可以将第二实施例的设备适配为也允许缩放至针对低噪声电平透明。图5示出了根据第三实施例的信号处理设备500。除了得到SNNR估计的第二实施例的方案之外，在第三实施例中，还可以以另一种方式使用原始差信号d。如果SNNR在特定阈值(例如15dB)以上，则使用原始差信号，而不是合成差信号d′，是有利的，以上关于第一和第二实施例描述了合成差信号d′的获得。可以实现混合方案，其中，对于每个T/F层，可以根据实际SNNR得到更优的质量。

在该实施例中以及在第二实施例中，需要使用度量(metric)来控制参数估计模块201的行为。该度量并不一定是上述SNNR估计，而可以是能用于提供差信号中信噪比的估计的不同度量。备选的度量可以是例如接收到的输入信号的电平的测量。因此，使用SNNR是对差信号中信噪比的估计加以表示的更一般的控制度量的特定实施例。

则和/差矩阵模块506用来计算输出信号1′、r′的混合矩阵(mix matrix)变成：

$\left[\begin{array}{c}{l}^{\′}\\ r^{\′}\end{array}\right]=\left[\begin{array}{cc}1/2& 1/2\\ 1/2& -1/2\\ 1/2& -1/2\end{array}\right]\left[\begin{array}{c}s\\ d^{\′}\\ d^{\′\′}\end{array}\right]$

这带来的效果是，增益g_d与由g_s和g_sd组合而成的组合增益将以互补的方式起作用。

其他实施例在由所附权利要求来限定的本发明的范围之内。

参考文献 

[1]WO 2008/087577 A1 

[2]J.Breebaart，S.van de Par，A.Kohlrausch and E.Schuijers，“Parametric Coding of Stereo Audio”，in EURASIP J.Appl.Signal Process.，vol 9，pp.1305-1322(2004). 

[3]J.Herre，K.Brandenburg，D.Lederer，“Intensity Stereo.Coding，”96th AES Convention，Amsterdam，1994，Preprint.3799. 

[4]US 2006/0280310 A1. 

[5]Jot，J.M.& Chaigne，A.(1991)，Digital Delay Networks for designing Artificial Reverb，90th Convention of the Audio Engineering Society(AES)，Preprint Nr.3030，Paris，France. 

[6]Moorer，The Use of the Phase Vocoder in Computer Music Applications Journal of the Audio Engineering  Society，Volume 26，Number 1/2，January/February 1978，pp 42-45. 

[7]P.Ekstrand，Bandwidth Extension of Audio Signals by Spectral Band Replication，Proc.1st IEEE Benelux Workshop on Model based Processing and Coding of Audio(MPCA-2002)，Leuven，Belgium，November 15，2002. 

[8]A. 

M.Karjalainen，L.Savioja，V. 

U.K.Laine，and J.Huopaniemi.Frequency-warped signal processing for audio applications.J.Audio Eng.Soc.，48：1011-1031，2000. 

[9]M.Schwartz，“Information Transmission，modulation，and noise”，3ed，chapter 5-12。 

Claims (13)

1.一种处理多通道音频信号的方法，所述方法包括以下步骤：

接收对第一音频信号与第二音频信号之和加以表示的输入和信号(s)；

接收对第一音频信号与第二音频信号之差加以表示的输入差信号(d)；

对和信号进行去相关，以提供去相关和信号(s_d)；

根据和信号(s)与差信号(d)的交叉相关以及和信号的功率，来计算第一增益(g_s)；

根据和信号(s)与差信号(d)的交叉相关以及和信号与差信号的功率，来计算第二增益(g_sd)；

根据应用于和信号(s)的第一增益(g_s)与应用于所述去相关和信号(s_d)的第二增益(g_sd)之和，来计算输出差信号(d′)；以及

根据输出差信号(d′)与输入和信号(s)的组合，来提供输出立体声音频信号(l，r)。

2.根据权利要求1所述的方法，其中，第一增益是复值缩放因子。

3.根据权利要求1或2所述的方法，其中，根据和信号与差信号之间的复值交叉相关跟和信号的功率之比，来计算第一增益(g_s)。

4.根据前述权利要求中任一项所述的方法，其中，计算残差信号功率与和信号的功率之比的平方根，作为第二增益(g_sd)。

5.根据前述权利要求中任一项所述的方法，其中，当差信号中信噪比的估计在所设置的最小阈值以下时，将第一增益和第二增益设置为最小值。

6.根据前述权利要求中任一项所述的方法，其中，当差信号中信噪比的估计在所设置的最大阈值以上时，将第一增益和第二增益设置为最大值。

7.根据前述权利要求中任一项所述的方法，其中，根据差信号中信噪比的估计值在所设置的最小阈值与所设置的最大阈值之间，将第一增益和第二增益分别设置为在最小值与最大值之间的值。

8.根据前述权利要求中任一项所述的方法，其中，当差信号中信噪比的估计值在所设置的最大阈值以上时，提供差信号作为输出差信号。

9.根据权利要求5至8中任一项所述的方法，其中，差信号中信噪比的估计是如下计算得到的比值：根据差信号的滤波并解调后的版本的实部与虚部的组合，来计算所述比值。

10.根据前述权利要求中任一项所述的方法，其中，多通道音频信号是频率调制信号，所述频率调制信号包括基带和信号以及边带调制差信号。

11.一种用于处理多通道音频信号的信号处理设备(200)，所述多通道音频信号包括对第一音频信号与第二音频信号之和加以表示的输入和信号(s)，以及对第一音频信号与第二音频信号之差加以表示的输入差信号(d)，所述设备(200)包括：

去相关模块，被配置为接收和信号(s)并提供去相关和信号(s_d)；

参数估计模块(201)，被配置为根据和信号(s)与差信号(d)的交叉相关以及差信号的功率，来计算第一增益(g_s)，以及根据和信号(s)与差信号(d)的交叉相关以及和信号与差信号的功率，来计算第二增益(g_sd)；

第一放大器(203)，被配置为接收和信号(s)并根据第一增益(g_s)来放大和信号；

第二放大器(204)，被配置为接收去相关和信号(s_d)并根据第二增益(g_sd)来放大去相关和信号；

求和模块(205)，被配置为对来自第一放大器(203)和第二放大器(204)的输出信号求和，以提供输出差信号(d′)；以及

输出级(206，207)，被配置为根据和信号(s)与来自求和模块的输出差信号(d′)的组合，来计算输出立体声信号(l，r)

12.一种计算机程序，用于命令计算机执行根据权利要求1至10中任一项权利要求所述的方法。

13.一种计算机程序产品，包括计算机可读介质，在所述计算机可读介质上存储有根据权利要求12所述的计算机程序。

Images