CN103544949B

CN103544949B - 发动机声音合成

Info

Publication number: CN103544949B
Application number: CN201310289860.7A
Authority: CN
Inventors: M.克里斯托夫
Original assignee: Harman Becker Automotive Systems GmbH
Current assignee: Harman Becker Automotive Systems GmbH
Priority date: 2012-07-12
Filing date: 2013-07-11
Publication date: 2018-10-09
Anticipated expiration: 2033-07-11
Also published as: US9553553B2; EP2685448B1; US20140016792A1; CN103544949A; EP2685448A1

Abstract

描述一种用于分析声音的方法。根据本发明的一个实例，所述方法包括：提供将要分析的输入声音信号且从所述输入信号或从至少一个引导信号确定所述输入信号的基频。此外，确定具有所述基频的高次谐波的频率，因此确定谐波模型参数。基于所述谐波模型参数合成谐波信号，且通过从所述输入信号减去所述谐波信号来估计残留信号。基于所述残留信号估计残留模型参数。此外，描述一种用于合成声音信号的对应方法。

Description

发动机声音合成

技术领域

各种实施方案涉及声音合成的领域，特别地涉及合成内燃发动机的声音。

背景技术

混合动力和电动汽车的日益增长的普及导致城市环境中新的安全问题，因为与（内燃）发动机噪声相关的许多听觉线索可能丢失。解决方案是智能地使车辆更嘈杂。事实上，好几个国家已经建立了要求汽车发出最小级别的声音以便向其它交通参与者警告驶来的汽车的法规。

在该领域中已进行分析且合成声音信号的一些研究（尤其在语音处理的背景中）。然而，已知方法和算法通常需要强大的数字信号处理器，其不适用于如汽车工业中所要求的低成本应用。因此，需要一种用于合成声音（尤其是内燃发动机的声音）的有效方法。

发明内容

描述一种用于分析声音的方法。根据本发明的一个实例，所述方法包括：提供将要分析的输入声音信号且从所述输入信号或从至少一个引导信号确定所述输入信号的基频。此外，确定具有所述基频的高次谐波的频率，因此确定谐波模型参数。基于所述谐波模型参数合成谐波信号，且通过从所述输入信号减去所述谐波信号来估计残留信号。基于所述残留信号估计残留模型参数。

此外，描述一种用于合成声音信号的方法。所述合成是基于可（例如）根据上文描述的分析方法确定的谐波模型参数和残留模型参数的。根据一个实例，所述方法包括：接收至少一个引导信号，且基于所述至少一个引导信号计算多个高次谐波的基频和频率。此外，提供与所计算频率相关的残留模型参数和谐波模型参数。使用用于高次谐波的所计算基频和频率的谐波模型参数来合成谐波信号。另外，使用残留模型参数合成残留信号。通过叠加合成的谐波信号与残留信号来计算总声音信号。

附图说明

参看以下附图和说明书可更好地理解本发明。图中的组件未必按比例绘制，而是将重点放在图示本发明的原理上。此外，在图中，相同标号指定对应零件。在图中：

图1是图示基于正弦曲线信号模型来分析发动机声音的一般实例的框图；

图2是图示基于如下模型来分析发动机声音的一个实例的框图，此模型利用外部引导信号来估计在输入信号中呈现的谐波正弦曲线信号内容；

图3是使用谐波正弦曲线信号内容的自适应引导式估计来分析发动机声音的另一个实例的框图；

图4是图示图3的实例中的谐波正弦曲线信号分量的适配的框图；以及

图5是图示使用信号模型的发动机声音的合成的框图，信号模型是通过根据图1到图3的实例中的一者的信号分析获得的。

具体实施方式

下面在发动机或电机声音合成的背景中描述一个或多个实施方案。然而，本文中呈现的用于分析和合成声音的方法也可应用于汽车领域外的领域，而且可应用于其它目的。如上所述，可能需要电动或混合动力汽车发出最小级别的声音来允许人（尤其是行人和听力减退的人）听到驶来的汽车。在汽车内部，内燃发动机的典型声音也可为所需的，以向司机提供关于汽车的操作状态（关于油门控制或其类似者）的声学反馈。从汽车外部能感知到的声音是由高达30km每小时到40km每小时的行驶速度的发动机声音支配的。因此，尤其在行驶速度较低的城市区域中，发动机声音是向其它交通参与者警告驶来的汽车的主要“报警信号”。

在许多应用中，所关注信号由被宽频带噪声恶化的多个正弦曲线信号分量构成。为了分析且模型化此类信号，正弦曲线或“谐波”模型是适当的。另外，主要由正弦曲线分量组成的信号能在不同应用中找到，例如，语音处理中的共振峰频率。正弦曲线模型化也可成功地应用于分析且合成由乐器产生的声音，这是因为这些乐器通常产生具有相对缓慢变化的正弦曲线分量的谐波或接近谐波信号。正弦曲线模型化提供可听到信号分量的参数表示，使得原始信号可由合成（即，通过（谐波与残留）分量的加法（即，叠加））恢复。

旋转机械***（诸如汽车的内燃发动机）具有高谐波含量加宽频带噪声信号，且因此“正弦曲线加残留”模型良好地适用于分析且合成由真实世界内燃发动机产生的声音。出于此目的，由内燃发动机产生的声音可使用安置在汽车外部的一个或多个麦克风记录，同时汽车位于（例如）滚筒式底盘测功器中且在不同负载条件下以及在各种旋转发动机转速下操作。可分析得出的音频数据以从可稍后使用（例如，在电动汽车中）的音频数据“提取”模型参数，以通过使用适当合成器以容易方式再生电机声音。模型参数通常不是恒定的，但可尤其地取决于旋转发动机转速而变化。

图1图示用于在频域中分析音频信号以提取提到的模型参数的***。时间离散（具有时间索引n）输入信号x[n]是如上文讨论通过测量获得的音频数据。在图1中，测量通常通过提供输入信号x[n]的输入信号源10用符号表现。信号x[n]可使用数字短时傅里叶变换（STFT）算法（例如，快速傅里叶变换（FFT）算法）变换到频域。在图1中，使用参考符号20标记执行用于产生频域中的输入信号X(e^jω)的STFT的功能块。从频域中的输入信号X(e^jω)开始，所有随后信号分析在频域中进行。然而，信号处理不限于频域。信号处理可部分地或甚至排外地在时域中执行。然而，当使用频域信号处理时，谐波正弦曲线的数目仅仅由所使用的FFT长度限制。

根据图1中图示的***，将输入信号X(e^jω)供应到执行正弦曲线信号分量的估计的功能块30。在本实例中，将此功能划分成两个部分，即基频f₀的估计（功能块31）和具有频率f₁、f₂、…、f_N的N个谐波正弦曲线的估计（功能块32）。在该领域中已知用于完成此任务的许多方法，且在此处不进一步详细讨论。然而，所有方法是基于可如下表达的信号模型的：

即，将输入信号x[n]模型化为以下各者的叠加：具有基频f₀（对应于角频率ω₀）的正弦曲线信号、具有频率f₁到f_N（分别对应于角频率ω₁到ω_N）的N个谐波正弦曲线，和宽频带非周期性残留信号r[n]。正弦曲线信号估计（区块30）的结果是包括以下各者的三个对应向量：估计的频率f=(f₀,f₁,…,f_N)，以及对应量值A=(A₀,A₁,…,A_N)，和相位值其中基频的相位可设置为零。可针对各种不同基频（例如，对应于发动机的转速900rpm、1000rpm、1100rpm等等）确定含有频率、量值和相位值的这些向量f、A、另外，可针对不同发动机负载或针对表示发动机的操作模式的其它非声学参数（齿轮数、反向齿轮激活等等）来确定向量f、A、

为了估计残留信号r[n]（其也可取决于一个或多个非声学参数（齿轮数、反向齿轮激活等等）），使用估计的模型参数（即向量f、A、）以通过个别正弦曲线的叠加来合成输入信号的总（估计的）谐波含量。此通过图1中的区块40实现，且将输入信号的得出的估计的谐波部分在频域中表示为H(e^jω)且在时域中表示为h[n]。可从输入信号X(e^jω)减去合成的信号H(e^jω)（参看区块50）以获得残留信号R(e^jω)，其是如上所述的时域信号r[n]的频域等效者。残留信号可经受滤波（例如，非线性平滑滤波器60）。此滤波器应被配置来平滑化残留信号，即，抑制估计的残留信号R(e^jω)中的瞬态产物、尖峰脉冲或其类似者。将已滤波的残留信号R’(e^jω)供应给区块70，区块70表示经执行以获得特征化残留信号的模型参数的信号分析。此信号分析可包括（例如）线性预测性编码（LPC）或简单地残留信号的功率谱的计算。举例来说，残留信号的功率谱可在不同频谱区域（根据在心理声学方面激发的频率尺度的频带，参看（例如）Fastl,Hugo;Zwicker,Eberhard;Psychoacoustics(3rd.edition),Springer,2007）中计算，其可被选择以考虑心理声学方面关键的频带限制。使用心理声学方面激发的频率尺度（诸如Bark或Mel尺度）将允许计算时间和内存使用的大量减少。

在因此已获得用于不同基频的“谐波”信号模型参数以及用于不同非声学参数（例如，发动机的转速值、齿轮数、发动机负载等等）的残留信号模型参数的情况下，可稍后使用这些模型参数来合成现实发动机声音，其对应于根据图1分析的由发动机产生的声音。

图2图示信号分析的另一个实例，其可看作是根据图1的信号分析的替代。图2的信号分析的结构对应于图1的结构，除了正弦曲线信号估计30的功能原理。图2的框图的剩余部分与图1的实例相同。在本实例中，执行引导式谐波正弦曲线估计，其中将（例如）rpm信号rpm[n]用作引导信号。在此背景中，rpm信号通常是表示发动机的转速的信号，其可（例如）通过发动机控制单元（也被称为动力传动***控制模块，其在许多汽车中常常可通过CAN总线来访问，CAN=控制器区域网络）提供。当使用引导式正弦曲线估计时，基频不是从输入信号X(e^jω)估计的，而是直接从引导信号（其在本实例中是正测试的发动机的rpm信号rpm[n]）获得的。举例来说，针对六缸内燃发动机，每分钟1200转数的发动机速度得到120Hz的基频。

针对引导式正弦曲线信号估计，可使用如下信号模型。因此，将输入信号x[n]模型化为

其中n是时间索引，i表示谐波的数目，f0表示基频，且A_i和分别是第i个谐波的相位和振幅。如上所述，高次谐波的基频和频率不是从输入信号x[n]估计的，而是直接地从引导信号rpm[n]导出的。此功能性由图2中标记为“N个谐波正弦曲线的产生”的区块表示。使用在该领域中如此已知的信号处理方法来估计对应振幅A_i和相位值。举例来说，如果仅仅几个谐波将要估计，那么可使用快速傅里叶变换（FFT）算法，或者可使用戈泽尔（Goertzel）算法。常常考虑固定数目（N）个频率。在语音处理的背景中，在（例如）ChristineSmit和Daniel P.W.Ellis的GUIDED HARMONIC SINUSOID ESTIMATION IN A MULTI-PITCHENVIRONMENT（其发表在2009年10月18号到21号的2009IEEE Workshop on Applicationsof Signal Processing to Audio and Acoustics中）中描述引导式谐波估计的一个实例。

图3图示图2中呈现的实例的修改。除了信号处理区块30表示正弦曲线信号估计之外，两个框图基本上相同。引导式自适应正弦曲线估计算法将包括至少一个高次谐波的基频f₀和频率（f₁、f₂等等）的频率向量f视作参数，且自适应性地“微调”这些频率以最优地匹配输入信号X(e^jω)。因此，该估计可提供包括微调的频率f₀’、f₁’等等以及对应振幅向量A’=[A₀’,A₁’,A₂’,…]和相位向量的修改的频率向量f’。尤其在引导信号（例如，rpm信号rpm[n]）具有不充足品质的情况下，可使用自适应算法。机械***（诸如汽车的动力传动***）常常具有极高品质因数（Q-factor），且因此rpm信号rpm[n]与真实发动机速度之间的极小偏差（在几个赫兹的范围内）可使估计结果显著地降级（尤其针对高次谐波）。

图4是图示使用最小均方（LMS）最优化算法来适配包括在频率向量f中的一个频率f_i(i=1,…,N)分量（以及其振幅A_i和其相位）的一个示例性程序的框图。适配的结果是由三重f_i’、A_i’、表示的“微调的”正弦曲线。适配的开始点是使用如参看图2描述的基本方法估计的正弦曲线（由三重f_i、A_i、表示）。即，可使用引导式谐波正弦曲线估计来获得初始值f_i’、A_i’、初始值f_i’、A_i’、接着使用本文中描述的自适应算法最优化，其中将频率f_i(i=1,2,…,N)简单地计算为基频f₀的倍数，基频f₀直接由（非声学的或声学的）引导信号（例如，由汽车应用中的转速信号）导出。针对适配，将由三重f_i、A_i、表示的初始正弦曲线视作相位量，将其分解成正交相分量Q_i和同相分量IN_i（参见信号处理区块301）。这些分量Q_i、IN_i可分别由时变加权因数a和b加权，且接着求和（复数加法，即IN_i+j·Q_i，j是虚数单元）以获得由三重f_i’、A_i’、表示的修改的（最优化的）相位量。

由LMS最优化区块302确定加权因数a、b。最优化区块302被配置来调整加权因数a、b，使得误差信号得以最小化（在最小二乘方意义上，即信号的范数得以最小化）。可将使用图3中所示的残留提取60获得的残留信号R(e^jω)用作误差信号。即，适配的“目标”是最小化残留信号R(e^jω)的功率且最大化谐波信号分量的总功率。实际最优化算法可以是任何适当最小化算法（尤其是LMS算法），其是基于“最大坡度（steepest gradient）”方法的。所有这些方法本身是已知的，且因此此处不详细讨论。

图1到图3中图示的信号分析可“脱机”地执行，例如使用在滚筒式底盘测功器上的测试汽车。可针对汽车发动机的各种不同rpm值来测量提到的模型参数（即，频率、振幅和相位向量f、A和以及残留模型参数）。举例来说，可针对从最小值（例如，900rpm）到最大值（例如，6000rpm）变化（间隔为例如100rpm）的离散rpm值来确定模型参数。如果针对稍后声音合成，需要针对中间rpm值（例如，2575rpm）的模型参数，那么可通过内插获得模型参数。在本实例中，可使用线性内插法从针对2500rpm和2600rpm确定的模型参数计算针对2575rpm的模型参数。

为了确定模型参数，正测试的汽车的发动机的转速可从最小rpm值连续地提升到最大rpm值。在这种情况下，针对在给定间隔（例如，从950rpm到1049rpm）内的rpm值确定的模型参数可加以平均，且与间隔的中心值（例如，在本实例中为1000rpm）相关。如果考虑其它或额外引导信号（例如，发动机负载），那么与关于将rpm信号作为引导信号描述的情况类似地执行数据采集和模型参数估计。

图5是图示利用根据图1到图3所图示的信号分析确定的模型参数的发动机声音合成的框图。在本实例中，仅使用一个引导信号（即rpm信号rpm[n]）。然而，或者或另外，可使用其它引导信号。将引导信号rpm[n]供应到谐波信号发生器110且供应到模型参数数据库100。信号发生器100被配置来提供高次谐波的基频f₀和频率f₁、f₂等等。将这些频率值（或换句话说频率向量f=[f₀,f₁,…,f_N]）供应给谐波信号合成器130。合成器130也从模型参数数据库100接收配合当前引导信号rpm[n]的谐波模型参数。模型参数数据库100也提供描述残留模型（例如，残留信号的功率谱）的模型参数。另外，模型参数数据库100可使用内插来获得如已在上文提到的正确参数。谐波信号合成器130被配置来提供对应于输入信号X(e^jω)的谐波含量的谐波信号H_est(e^jω)，其已使用如上文关于图1到图3描述的信号分析进行估计。

将描述残留信号的模型参数提供给包络合成器140，包络合成器140恢复残留信号的量值M(e^jω)。在本实例中，通过全通滤波白噪声（因此获得相位信号P(e^jω)）且将相位信号P(e^jω)添加到量值信号M(e^jω)以便产生总残留信号R_est(e^jω)，来恢复残留信号的相位。通过噪声发生器120产生白噪声。全通滤波器150通过以下动作实施相位滤波：将供应给滤波器输入端的白噪声映射到相位区域0到2π中，因此提供相位信号P(e^jω)。通过使恢复的谐波信号H_est(e^jω)与恢复的残留信号R_est(e^jω)相加来获得合成的发动机声音信号X_est(e^jω)。频域中的得出的声音信号可变换到时域、放大且使用常见的音频再生装置来再生。

在下文总结本发明的一些重要方面。然而，应注意，并不将如下论述视为详尽的或完备的。

本发明的一个方面涉及用于分析声音（尤其是在内燃发动机附近得到的发动机声音信号）的方法。所述方法包括确定将要分析的输入信号的基频，从而利用输入信号或至少一个引导信号。此外，确定具有所述基频的高次谐波的频率，因此获得谐波模型参数。所述方法进一步包括基于所述谐波模型参数合成谐波信号，且从所述输入信号减去所述谐波信号来获得残留信号。最后，基于所述残留信号估计残留模型参数。

所述输入信号可变换到频域，因此在进一步处理之前提供频域输入信号。在这种情况下，可考虑的高次谐波的数目仅仅限于（例如）由提供到频域的变换的FFT（快速傅里叶变换）算法使用的输入向量的长度。通常，输入信号的处理可完全在频域中执行，且因此也可在频域中计算谐波信号和残留信号。

可从至少一个引导信号导出高次谐波的基频和频率，以避免直接从输入信号估计基频（和高次谐波的频率），直接从输入信号估计基频（和高次谐波的频率）在计算上通常是复杂的。

谐波模型参数可包括高次谐波的基频和频率的频率向量、对应振幅向量和对应相位向量。确定谐波模型参数可包括估计与高次谐波的基频和频率相关的相位值和振幅值。通常，确定谐波模型参数可包括微调从至少一个引导信号获得的高次谐波的基频和频率。此微调可使高次谐波的频率和它们的对应的（估计的）振幅值和相位值的迭代修改变得必要，使得残留信号的范数（例如，L²范数）得以最小化。可将此微调视作一种最优化方法。

可使用非线性滤波器来滤波残留信号以在估计残留模型参数之前平滑化残留信号。确定残留模型参数可包括计算残留信号的功率谱。可针对根据在心理声学方面激发的频率尺度的不同频带来计算功率谱密度，以便考虑在心理声学方面关键的频带限制。

本发明的另一个方面涉及用于基于谐波模型参数和残留模型参数来合成声音信号的方法，其中参数可特别地根据上文总结的方法确定。所述方法包括基于至少一个引导信号计算多个高次谐波的基频和频率。提供与所计算频率相关的残留模型参数和谐波模型参数，且使用针对高次谐波的所计算基频和频率的谐波模型参数来合成谐波信号。此外，使用残留模型参数合成残留信号。通过叠加合成的谐波信号与残留信号来计算总声音信号。

可将已预滤波的白噪声添加到总声音信号。特别地，预滤波可包括将白噪声的振幅值映射到0到2π的相位范围中，因此产生将要添加到总声音信号的相位信号。通常，合成残留信号可包括产生具有功率谱密度的噪声信号，所述功率谱密度对应于由残留模型参数表示的功率谱密度。

尽管已揭露各种示例性实施方案，但对本领域的技术人员而言显而易见的是：可根据各种实施方案的特定实施来进行改变和修改，且不脱离本发明的精神和范围。对本领域相当熟练的技术人员而言显而易见的是：执行相同功能的其它组件可被适当地取代。特别地，信号处理功能可在时域中或在频域中执行，同时仍实现基本上相等的结果。应提到的是，参看特定图解释的特征可以与其它图（甚至在未明确地提到的图中）的特征相组合。另外，本发明的方法可在使用适当处理器指令的所有软件实施中或在利用用以实现相同结果的硬件逻辑与软件逻辑的组合的混合实施中实现。本发明概念的此类修改意欲由附加权利要求书涵盖。

Claims

1.一种用于分析声音的方法，其包括：

提供输入信号；

使用所述输入信号或至少一个引导信号来确定所述输入信号的基频，且确定所述基频的高次谐波的频率，由此确定与所确定的频率相关的谐波模型参数；

基于所述谐波模型参数合成谐波信号；

通过从所述输入信号减去所述谐波信号确定残留信号；

基于所述残留信号计算残留模型参数。

2.如权利要求1所述的方法，其中所述输入信号变换到频域，由此在进一步处理之前提供频域输入信号。

3.如权利要求2所述的方法，其中所述频域输入信号的处理完全在所述频域中执行，且由此在所述频域中计算所述谐波信号和所述残留信号。

4.如权利要求1、2或3所述的方法，其中从所述至少一个引导信号导出所述高次谐波的所述基频和所述频率。

5.如权利要求4所述的方法，其中确定所述谐波模型参数包括：

微调从所述至少一个引导信号获得的所述高次谐波的所述基频和所述频率。

6.如权利要求5所述的方法，其中所述微调包括：

迭代地修改高次谐波的所确定的频率和它们的对应振幅和相位值，使得所述残留信号的范数得以最小化。

7.如权利要求4所述的方法，其中所述谐波模型参数包括所述高次谐波的所述基频和所述频率的频率向量、对应量值向量和对应相位向量。

8.如权利要求5所述的方法，其中所述谐波模型参数包括所述高次谐波的所述基频和所述频率的频率向量、对应量值向量和对应相位向量。

9.如权利要求6所述的方法，其中所述谐波模型参数包括所述高次谐波的所述基频和所述频率的频率向量、对应量值向量和对应相位向量。

10.如权利要求1至3中任一项所述的方法，其进一步包括：

在估计所述残留模型参数之前对所述残留信号进行滤波以平滑化所述残留信号。

11.如权利要求1至3中任一项所述的方法，其中确定所述残留模型参数包括

计算所述残留信号的功率谱。

12.如权利要求1至3中任一项所述的方法，其中确定谐波模型参数包括估计与高次谐波的所述基频和所述频率相关的相位值和振幅值。

13.一种用于基于特别地根据如权利要求1所述的方法确定的谐波模型参数和残留模型参数来合成声音信号的方法，所述方法包括：

接收至少一个引导信号；

基于所述至少一个引导信号计算多个高次谐波的所述基频和频率；

提供与所计算频率相关的所述残留模型参数和所述谐波模型参数；

使用用于高次谐波的所计算基频和频率的所述谐波模型参数来合成谐波信号；

使用所述残留模型参数合成残留信号；

通过叠加所述合成的谐波信号与所述残留信号来计算总声音信号。

14.如权利要求13所述的方法，其进一步包括：

将已预滤波的白噪声添加到所述总声音信号。

15.如权利要求14所述的方法，其中所述预滤波包括将所述白噪声的振幅值映射到0到2π的相位范围中，由此产生将要添加到所述总声音信号的相位信号。

16.如权利要求13至15中任一项所述的方法，其中合成所述残留信号包括：

产生具有功率谱密度的噪声信号，所述功率谱密度对应于由所述残留模型参数表示的功率谱密度。

17.如权利要求16所述的方法，其中在根据在心理声学方面激发的频率尺度的不同频带中计算所述功率谱密度，以便考虑在心理声学方面关键的频带限制。