CN117652161A - 用于回放沉浸式音频的音频处理方法 - Google Patents

Abstract

一种处理包括至少一个高度音频通道的沉浸式音频格式的音频的方法(200)，方法包括：从至少一个高度音频通道的至少一部分获得(250)两个高度音频信号；在相位差主要异相的频带中修改(270)两个高度音频信号之间的相对相位，以获得两个相位经修改的高度音频信号；以及用至少两个音频扩音器回放(290)包括两个相位经修改的高度音频信号的经处理的音频。相位差由于具有从两个音频扩音器发出的单耳信号而在相对于至少两个扩音器对称地偏离中心的一个或多个聆听位置处出现，至少两个扩音器相对于所述的一个或多个聆听位置中的每个聆听位置横向间隔开。方法允许在不使用头顶扬声器的情况下的声音高度/仰角的感知。

Description

用于回放沉浸式音频的音频处理方法

相关申请的交叉引用

本申请要求于2021年7月28日提交的美国临时申请号63/226,529和2021年7月28日提交的欧洲专利申请号21188202.2的优先权，其中每个申请通过引用以其全文并入本文。

技术领域

本公开涉及音频处理领域。特别地，本公开涉及一种处理沉浸式音频格式的音频的方法，用于用非沉浸式扩音器***回放所述经处理的音频。本公开进一步涉及一种包括被配置为执行所述方法的处理器的装置、一种包括所述装置的车辆、一种程序以及一种计算机可读存储介质。

背景技术

车辆通常包含用于音频回放的扩音器***。车辆中的扩音器***可以用于从例如磁带、CD、在车辆的汽车娱乐***中或者经由连接到车辆的设备来远程执行的音频流式传输服务或应用程序来回放音频。所述设备可以是例如无线地或通过电缆连接到车辆的便携式设备。例如，最近，如Spotify和Tidal等流式传输服务已被集成到汽车娱乐***中，要么直接集成到车辆的硬件(通常称为“车机”)中，要么经由使用蓝牙或Apple CarPlay或Android Auto的智能手机来集成。车辆中的扩音器***也可以用于播放地面和/或卫星广播。用于车辆的传统扩音器***是立体声扩音器***。立体声扩音器***可以包括总共四个扩音器：一对前扩音器和一对后扩音器，分别用于前部乘客和后部乘客。然而，近年来，随着DVD播放器在车辆中的引入，环绕声扩音器***已在车辆中引入，以支持DVD音频格式的回放。图1示出了车辆100的内部视图。车辆100包括环绕声扩音器***，该***包括扩音器10、11、30、31、41、42和43。仅示出了车辆100左侧的扩音器。对应的扩音器可以对称地布置在车辆100的右侧。特别地，图1的环绕声扩音器***包括：成对的高音扩音器41、42和43、一对全频前扩音器30和后扩音器31、中央扩音器10以及低频效果扩音器或低音炮11。高音扩音器41被放置在靠近车辆仪表板处。高音扩音器42被放置在车辆100的前侧柱的低处。然而，高音扩音器41、42、43以及全频前扩音器30和后扩音器31可以被放置在适合于特定实施方式的任何位置。

沉浸式音频正在成为电影院或家庭聆听环境的主流。随着沉浸式音频在电影院或家庭中成为主流，很自然地认为沉浸式音频也将在车辆内回放。杜比全景声(Dolby Atmos)音乐已经可以通过各种流式传输服务获得。沉浸式音频与环绕声音频格式的区别通常在于包含了头顶或高度音频通道。因此，为了回放沉浸式音频，使用了头顶或高度扩音器。虽然高端车辆可能包含这种头顶或高度扩音器，但大多数传统车辆仍使用立体声扩音器***或更先进的环绕声扩音器***，如图1所示。事实上，高度扩音器大大增加了车辆中扩音器***的复杂性。高度扩音器需要放置在车顶上，而车顶通常不适用于此目的。例如，车辆通常具有低车顶，这限制了放置高度扩音器的可用高度。此外，车辆在销售时通常有安装天窗的选项，以打开车顶的窗户，这使得在车顶集成或放置高度扩音器成为一个困难的工业设计挑战。这种高度扩音器可能还需要额外的音频电缆。由于所有这些原因，由于空间和工业设计的限制，在车辆中集成高度扩音器可能是昂贵的。

发明内容

在非沉浸式扩音器***(例如，立体声扩音器***或环绕声扩音器***)中回放沉浸式音频内容将是有利的。在本公开的上下文中，“非沉浸式扩音器***”是包括至少两个扩音器但没有头顶扩音器(即，没有高度扬声器)的扩音器/扬声器***。

通过将沉浸式音频内容回放到非沉浸式扩音器***中来创建声音高度的感知将是有利的，从而即使不使用头顶扩音器也能增强用户的音频体验。

本公开的方面提供了一种处理包括至少一个高度音频通道的沉浸式音频格式的音频的方法，用于在包括一个或多个聆听位置的聆听环境中用至少两个音频扩音器的非沉浸式扩音器***回放所述经处理的音频。所述一个或多个聆听位置中的每个聆听位置相对于所述至少两个扩音器对称地偏离中心。所述至少两个扩音器中的每个扩音器相对于所述一个或多个聆听位置中的每个聆听位置横向间隔开，使得当两个单耳音频信号从所述至少两个扩音器发出时，由于所述聆听环境的声学特性，在所述一个或多个聆听位置处出现相位差(例如，扩音器间差分相位IDP)。所述方法包括从所述至少一个高度音频通道的至少一部分获得两个(单耳/相同的)高度音频信号；在所述相位差(例如，当所述两个高度通道从所述至少两个扩音器发出时，在所述一个或多个聆听位置处出现的IDP)(主要)异相的频带中修改所述两个高度音频信号之间的相对相位，以获得所述相位差(主要)同相的两个相位经修改的高度音频信号；以及在所述至少两个音频扩音器处回放所述经处理的音频，其中，所述经处理的音频包括所述两个相位经修改的高度音频信号。

对于相对于至少两个扩音器对称地偏离中心的聆听位置，从所述至少两个扩音器发出的两个单耳音频信号以在时域中有延迟的方式在所述聆听位置被感知。该延迟在频域中对应于所述两个单耳信号在所述聆听位置随频率变化的相位差。

根据发明人研究的心理声学现象，当所述聆听位置相对于所述两个扩音器居中时并且当所述两个扩音器相对于所述聆听位置横向间隔开时，所述两个扩音器发出的音频源可以被感知为具有声音高度。所述两个扩音器相对于所述居中的聆听位置的横向间隔越大，在所述聆听位置感知到的声音高度越大，即，声音的仰角越大。

有利地，对于相对于所述一个或多个聆听位置中的每个聆听位置横向间隔开的两个扩音器，通过使高度通道相对于所述两个扩音器居中来创建声音高度。使所述高度通道居中是通过从所述至少一个高度音频通道的至少一部分获得两个高度音频信号并且在相位差(主要)异相的频带中修改所述两个高度音频信号之间的相对相位以获得相位差(主要)同相的两个相位经修改的高度音频信号来执行的。在所述两个扩音器处回放的所述经处理的音频信号包括所述两个相位经修改的高度音频信号。所述两个相位经修改的高度音频信号提供“居中”的高度音频通道。由于所述经处理的音频信号包括“居中”的高度音频信号，因此位于所述一个或多个聆听位置处的(多个)聆听者可感知到声音高度。有利地，通过将所述经处理的音频回放到非沉浸式扩音器***中(即，不使用头顶扩音器)来创建声音高度的感知。

在实施例中，所述沉浸式音频格式的音频进一步包括至少两个音频通道，并且所述方法进一步包括将所述两个相位经修改的高度音频信号中的每一个相位经修改的高度音频信号与所述两个音频通道中的每一个音频通道(例如，一个)混合。

在实施例中，所述沉浸式音频格式的音频进一步包括中央通道，并且所述方法进一步包括将所述两个相位经修改的高度音频信号中的每一个相位经修改的高度音频信号与所述中央通道混合。

在实施例中，所述沉浸式音频格式的音频具有单个高度音频通道，并且获得所述两个高度音频信号包括获得均对应于所述单个高度音频通道的两个相同高度音频信号。

在实施例中，所述沉浸式音频格式的音频包括至少两个高度音频通道，并且获得所述两个高度音频信号包括从所述至少两个高度音频通道获得两个相同的高度音频信号。

在实施例中，所述方法进一步包括对所述至少两个高度音频通道应用中间/侧边处理以获得中间信号和侧边信号。所述两个高度音频信号中的每一个高度音频信号都对应于所述中间信号。

在实施例中，所述方法进一步包括将所述侧边信号和与所述侧边信号相对应但相位与所述侧边信号相反的信号与所述相位经修改的高度音频信号混合。

本公开的另一方面提供了一种装置，所述装置包括处理器和耦接到所述处理器的存储器，其中，所述处理器被配置为执行本公开中描述的任何方法。

本公开的另一方面提供了一种包括这样的装置的车辆。

本公开的其他方面提供了一种包括指令的程序，所述指令当由处理器执行时使所述处理器执行处理音频的方法，并且进一步提供了一种存储这样的程序的计算机可读存储介质。

附图说明

在附图中以示例而非限制的方式来图示本公开的实施例，其中相同附图标记指代相同的元件，并且在附图中：

图1示意性地示出了具有根据本公开的实施例布置的扩音器***的车辆的内部视图，

图2是图示了根据本公开的实施例的处理沉浸式格式的音频的方法的示例的流程图，

图2a是图示了根据本公开的一些实施例的获得两个高度音频信号的方法的示例的流程图，

图2b是图示了修改两个高度音频信号之间的相对相位的方法的示例的流程图，

图3示意性地示出了车辆，

图4a示意性地示出了聆听位置与两个扩音器的空间关系，其中所述聆听位置与所述扩音器等距，

图4b示意性地示出了在图4a的等距聆听位置处所有频率的理想化耳间相位差(IDP)响应，

图5a示意性地示出了聆听位置相对于两个扩音器偏移的空间关系，

图5b示意性地示出了在图5a的聆听位置处所有频率的理想化耳间相位差(IDP)响应，

图6示意性地示出了在与两个扩音器等距的聆听位置处高度感知如何根据扩音器的横向间隔程度而变化，

图7a示意性地示出了两个聆听位置的空间关系，每个聆听位置相对于两个扩音器对称地偏移，

图7b和图7c示意性地示出了图7a所示的两个聆听位置中的每个聆听位置的IDP如何随频率变化，

图8示意性地示出了根据本公开的实施例的处理沉浸式格式的音频的方法的示例，

图9示意性地示出了根据本公开的实施例的处理沉浸式格式的音频的方法的示例，

图10示意性地示出了从两个高度音频通道获得高度音频信号的方法的示例，

图11示意性地示出了从两个高度音频通道获得高度音频信号的方法的另一示例，

图12a示出了应用于两个高度通道之一(在这种情况下为左高度通道)的可能的现有技术的基于FIR的实施方式的功能示意性框图，

图12b示出了应用于两个高度通道之一(在这种情况下为右高度通道)的可能的现有技术的基于FIR的实施方式的功能示意性框图，

图13a示出了图12a的滤波器或滤波器函数702的信号输出703的理想化幅度响应，

图13b示出了图12a的减法器或减法器函数708的信号输出709的理想化幅度响应，

图13c示出了图12a的输出信号715的理想化相位响应，

图13d示出了图12b的输出信号735的理想化相位响应，

图13e示出了表示图12a的输出信号715与图12b的输出信号735之间的相对相位差的理想化相位响应，

图13f和图13g示意性地示出了对于图7a所示的两个聆听位置中的每个聆听位置，校正后的IDP如何随频率变化，

图14是用于执行根据本公开实施例的方法的装置的示例的示意图。

具体实施方式

以下描述了许多特定细节以提供对本公开的充分理解。然而，可以在没有这些具体细节的情况下实施本公开。另外，可以以较不详尽的方式描述众所周知的部分。附图是示意性的并且包括与理解本公开相关的部分，而其他部分可以被省略或仅提出。

图2示出了图示根据本公开的实施例的处理沉浸式音频格式的音频的方法200的示例的流程图。方法200可以用于在聆听环境中用至少两个音频扩音器的非沉浸式扩音器***回放经处理的音频。聆听环境可以是车辆(例如，汽车)的内部。聆听环境可以是任何类型的客运或非客运车辆(例如，用于商业目的或运输货物)的内部。然而，聆听环境不限于车辆内部。一般来说，如下文将更详细示出的，本公开涉及任何聆听环境，其中非沉浸式扩音器***的两个扩音器相对于一个或多个聆听位置横向间隔开，并且其中所述一个或多个聆听位置相对于这两个扩音器对称地偏离中心。特别地，已经发现，在车辆中，扩音器以通常满足这些条件的方式布置。

例如，参考图3，示意性地绘制了车辆100(在该示例中为四座汽车)。为了简单起见，扩音器的布置未在图3中示出，但在图1的车辆100的更详细的内部视图中示出。客车100具有四个座椅110、120、130和140。当考虑图1所示的扩音器***时，扩音器30、31、41、42、43将具有布置在车辆100右手侧的对应扩音器(图中未示出)。参考图3，位于车辆100左手侧的扩音器与位于车辆100右手侧的相应对应扩音器相对于中心轴线150(沿着车辆100的长度穿过车辆的中心)反射对称地布置。应当理解，座椅110、120、130和140中的每一个以及因此位于其上的潜在聆听者相对于包括扩音器30、31、41、42、43及其在车辆右手侧的相应对应扩音器的任何一对扩音器对称地偏离中心。例如，坐在驾驶员座椅110上的驾驶员将在扩音器30、41、42与对应的右手侧扩音器(图中未示出)之间对称地偏离中心。与车辆100右手侧的对应扩音器相比，驾驶员将更靠近扩音器30、41和42。在图1和图3中，驾驶员座椅被示出在车辆100的左侧(相对于驾驶的前进方向为左侧)。然而，应当理解，驾驶员座椅在车辆中的位置在不同地区可能有所不同。例如，在英国、澳大利亚或日本，驾驶员座椅相对于驾驶车辆的前进方向位于车辆的右侧。

非沉浸式扩音器***可以是例如立体声扩音器***或环绕声扩音器***(如参考图1所示)。

在实施例中，沉浸式音频格式的音频可以是以沉浸式音频格式渲染的音频。

(例如，渲染的)音频的沉浸式音频格式可以包括至少一个高度通道。在实施例中，沉浸式音频格式可以是杜比全景声格式。在另一个实施例中，沉浸式音频格式可以是X.Y.Z音频格式，其中，X≥2是前或环绕声音频通道的数量，Y≥0如果存在，是低频效果或低音炮音频通道，并且Z≥1是至少一个高度音频通道。图1所示的扩音器***是用于回放5.1音频的典型的5.1扩音器***，具有5个前或环绕声扩音器、两个左音频扩音器(例如，左扩音器和左环绕声扩音器)、两个右音频扩音器(例如，右扩音器和右环绕声扩音器)、一个中央扩音器和一个LFE扩音器。这两个左音频扩音器对应于扩音器30、31(用于中频或全频)、41、42和43(用于高频)。中央扩音器对应于扩音器10。

参考图2，方法200包括从至少一个高度音频通道的至少一部分获得250两个高度音频信号。如上文参考图1和图3所解释的，在车辆中，一个或多个聆听位置中的每个聆听位置相对于至少一对两个扩音器对称地偏离中心。该对两个扩音器中的每个扩音器相对于所述一个或多个聆听位置中的每个聆听位置横向间隔开。当两个单耳信号从这两个扩音器发出并且聆听位置相对于这两个扩音器对称地偏离中心时，由于聆听环境的声学特性，在一个或多个聆听位置处出现相位差。相位差通常出现在多个频带中，在这些频带中，相位差在主要同相与主要异相之间交替。

方法200进一步包括在相位差主要异相的频带中修改270这两个高度音频信号之间的相对相位，以获得相位差主要同相的两个相位经修改的高度音频信号。方法200进一步包括在至少两个音频扩音器处回放290经处理的音频。经处理的音频包括这两个相位经修改的高度音频信号。

为了进一步解释，我们将参考图4a和图4b。聆听位置处的时间差等同于随频率变化的相位差。对于以下讨论，术语“扩音器间差分相位”(IDP)被定义为从一对立体声扩音器到达聆听位置的声音的相位差。

我们假设有一个立体声扩音器***，其中有一个左扩音器和一个右扩音器(参见图4a)。与左右这两个扩音器等距定位的聆听者基本上感受不到IDP，因为由两个扩音器呈现的声音到达聆听者耳朵所需的时间相同(参见图4b)。

图5a示意性地示出了聆听位置相对于两个扩音器偏移的空间关系。在图5a的示例中，聆听者从一对立体声扩音器偏移(不等距)，也就是说，聆听者更靠近其中一个扩音器。当聆听者与一对扩音器不等距(如在图5a中)时，两个扩音器共同的声音在不同的时间到达聆听者，来自最近的扩音器的声音首先到达。相对时间延迟导致IDP跨频率变化，如图5b所示。IDP具有周期性行为，其中它随着频率周期性地线性增加和线性减小。值更接近0度而非-180度或180度(即，-90度和90度之间)的频率被视为“同相”或增强，而更接近-180度或180度而非0度(即，90度和180度之间或-90度和-180度之间)的频率被视为“异相”或抵消(参见图4b和图5b，虚线指示-90度和+90度)。对于两个扩音器共同的音频(单耳音频)，在聆听位置处跨频率的声级变化会导致较差的音色感知。相位的变化导致较差的空间或方向感知。在典型的车辆环境中，即，由于聆听者与这两个扩音器的典型距离而存在延迟，每个聆听者的IDP如下。0到大约250Hz之间的频率主要同相，即，IDP在-90度和90度之间。大约250Hz和750Hz之间的频率主要异相，即，IDP在90度和180度之间或者在-90度和-180度之间。大约750Hz和1250Hz之间的频率主要同相。这种主要同相频带和主要异相频带的交替序列随着频率的增加而持续，直到大约20kHz的人类听力极限。在该示例中，该周期每1kHz重复一次。频带的确切起始和终止频率是车辆的内部尺寸和聆听者的位置(聆听位置)的函数。

图6示意性地示出了在与两个扩音器等距的聆听位置6处声音高度的感知如何根据这两个扩音器与聆听位置6的横向间隔程度而变化。

当处于聆听位置6的聆听者与位于聆听者前方并且非常靠近在一起(例如，在聆听者的正前方左右间隔较窄)的两个立体声扩音器等距并且从两个扩音器播放相同的音频信号(单耳或单耳)时，声音听起来源自这两个扩音器之间，而感知不到仰角的增加，因此使用了“幻像(phantom)”等术语。对于间隔较窄的扩音器，在图6的示例中，例如位于比位置15和17窄的位置，声音听起来源自7附近的位置，即，几乎没有或没有声音高度或仰角的感知。

当扩音器相对于聆听者6的前视方向的横向间隔或角间隔增加时，感知到的声音高度(所谓的幻像声像)在仰角上往往会升高。

在图6所示的示例中，对于位于位置15和17的扩音器，对应于在更靠近16的位置处感知到的声音。对于位于位置18和20的扩音器，对应于在更靠近19的位置处感知到的声音。对于位于位置21和23的扩音器，对应于在更靠近22的位置处感知到的声音，并且对于位于位置24和26的扩音器，对应于在更靠近25的位置处感知到的声音。换句话说，随着扩音器之间的角度增加，幻像声像的感知声音高度增加。这种心理声学现象往往在较低频率(例如，低于5kHz的频率)下工作得最好。

V.Ralph Algazi、Carlos Avendano和Richard O.Duda的文献“Elevationlocalization and head-related transfer function analysis at low frequencies[低频率下的仰角定位和头部相关传递函数分析]”(《美国声学学会杂志》109,1110(2001))表明躯干反射可能是低频率下声音高度/仰角感知的主要线索。当串扰耳间延迟(即，扩音器音频信号在对称扩音器的扩音器的相对侧到达耳朵的延迟)与真实高架音频源的肩部反射延迟相匹配时，所得幻像声像可能被感知为提升到真实高架音频源在中间平面中的类似位置。当扩音器被放置在聆听者的头部上方时，聆听者的耳朵从扩音器听到直接的声音，稍后从躯干/肩膀听到反射的声音。已经发现，当扩音器相对于聆听位置横向、特别是较宽地间隔开(例如，图6中的位置24和26)时，从直接声音到反射声音的这种延迟大约与头部的耳间串扰延迟所引入的延迟相同。在串扰的情况下，由于源是单耳的(对两个扩音器都相同)，所以在耳朵看来它是同一个源，只是延迟类似于躯干反射。

随着扩音器的角间隔变大(最多+/-90度)，聆听者头部的串扰延迟增加并且因此感知到的声音仰角增加。

理论上，聆听者头部的这种串扰延迟是导致幻像中心高度增加的原因。

发明人已经认识到，这种心理声学现象可以用于扩音器之间的角间隔通常较大(例如大于最小角度值，例如大于10、15或20度)的扩音器***，例如车辆的扩音器***。然而，当聆听位置或聆听者相对于角间隔扩音器对称地定位时，这种现象就会重现。在车辆中通常不是这种情况，因为乘客所分配的座椅(参见图3)相对于扩音器***的扩音器对称地偏离中心(参见图1和图3)。

因此，发明人已经认识到，为了在车辆中或在具有适当地间隔开的一对扩音器的聆听环境中提供声音高度的感知，聆听者应该将聆听位置处的声像感知为相对于一对扩音器对称地定位。换句话说，声像应该是“虚拟居中”的。在如图5a所示的单个聆听位置的情况下，这个问题可以简单地通过向由远处扩音器回放的音频信号引入延迟来解决，从而补偿从扩音器发出的音频信号到达聆听位置的不同时间。引入延迟具有在相位差主要异相(参见图5b)的对应频带中减小这两个音频信号之间的相对相位的相同效果。这种相位的减小具有理想地获得如图4b所示的平坦IDP的效果，或者对于所有频率，IDP都在-90度和90度之间的范围内的IDP。然而，引入延迟只会使图7a所示的两个偏离中心聆听位置之一的IDP变平。相比之下，如下所示，本公开的虚拟居中处理也可以用于校正偏离中心的两个聆听位置的IDP，从而增加两个聆听位置的高度感知。

与现有技术相比，在本公开中设想了将信号虚拟居中的不同使用。不是将整个(单耳)音频信号虚拟居中，而是只将音频信号中需要感知声音仰角的部分“虚拟居中”。在沉浸式格式的音频信号中，音频信号的这一部分对应于高度通道。在本公开中，只有高度通道或其一部分(或其音频信号)是“虚拟居中的”，因此只有高度通道才能被感知到声音高度/仰角，如参考图6所述。针对多个频带中的每一个获得由这两个偏离中心对称定位的扩音器(同时)发出的两个单耳音频信号之间随频率变化的相位差。一旦获得适用于每个频带的相位差，就可以通过在发现相位差主要异相的对应频带中修改两个(例如，单耳)高度音频信号之间的相位来对高度通道进行“虚拟居中”。

单个高度通道(所谓的“上帝之声”)就可以实现这一目的。与相同高度通道相对应的音频信号被用作单耳音频信号，并通过修改如此得到的两个相等单耳音频信号之间的相对相位来进行处理。

然后，具有修改相位的高度音频信号通过非沉浸式扩音器***的两个音频扩音器在经处理的音频中回放，这样，由于虚拟居中的高度通道，声音就具有了仰角/高度感知。

在实施例中，沉浸式音频格式的音频可以包括一个或多个高度音频通道，但也可以包括不同于所述一个或多个高度音频通道的一个或多个附加音频通道。在实施例中，除了所述一个或多个高度通道之外的任何其他音频通道都不虚拟居中。可替代地、附加地或可选地，一些或所有附加音频通道也在单独的“虚拟居中”处理或算法中虚拟居中。

在上文的讨论中，我们假设了相对于一对(例如，立体声)扩音器对称地偏离中心的单个聆听位置。

然而，例如在车辆中，可能有两个聆听者(例如，位于不同的聆听位置)，例如，如图3所示，在车辆的每一排中。

图7a示意性地示出了两个聆听位置的空间关系，每个位置相对于两个扩音器(左扩音器和右扩音器)对称地偏离中心。

图7b和图7c示意性地示出了图7a所示的两个聆听位置中的每个聆听位置的IDP如何随频率变化。此外，在IDP的这个示例中，可以看出，对于IDP的每个周期，存在主要同相的频率和主要异相的频率。即，IDP在-90度和90度之间的频率，以及IDP在-90度和-180度之间或者在90度和180度之间的频率。

IDP主要异相的频率导致不期望的可听效果，包括通过两个扩音器呈现的音频信号的成像模糊。在EP1994795B1中找到了这个问题的解决方案，所述文献通过引用以其全文并入本文。在EP1994795B1中，示出了可以对从同一对(立体声)扩音器对称地偏离中心的两个聆听位置同时进行“虚拟居中”。这遵循减小单个聆听位置的IDP的相位差的相同原理。在两个聆听位置的情况下，同时减小针对这两个聆听位置中的每个聆听位置获得的IDP的相位差，使得每个聆听位置处的每个IDP在期望的频率范围内的值介于-90度和90度之间。

然而，在本公开中，对从同一对(立体声)扩音器对称地偏离中心的两个聆听位置同时进行“虚拟居中”并没有减少不期望的可听效果(如音频信号的成像模糊)的效果，而是具有对从扩音器发出的声音提供高度感知的效果。这是通过仅使用沉浸式音频格式的音频的一个或多个高度通道作为“虚拟居中算法”的输入来实现的，如例如EP1994795B1中所述。虚拟居中算法只对一个或多个高度通道的一部分进行虚拟居中。根据参考图6描述的心理声学现象，扩音器固有的大的角(横向)排布(例如，在车辆的扩音器***中)用于在该对扩音器发出的声音中提供高度的感知。

在实施例中，(例如，渲染的)音频不仅包括至少一个高度通道，还包括至少两个其他音频通道。在该实施例中，参考图2，方法200可以进一步包括将至少两个相位经修改的高度音频信号中的每一个与这两个其他音频通道中的每一个混合280。

将参考图2、图2a和图8解释该实施例，其中假设沉浸式音频格式的音频具有单个音频高度通道和两个附加音频通道。

图8示意性地示出了根据本公开的实施例的处理沉浸式格式的音频的方法的示例。沉浸式音频格式可以包括单个高度音频通道80和两个其他音频通道81和82。在块90中，从高度音频通道80的至少一部分获得两个高度音频信号92和94。

图2a是图示了根据本公开的一些实施例的获得两个高度音频信号的方法的示例的流程图。

在实施例中，参考图2a，获得250这两个高度音频信号包括获得255均对应于单个高度音频通道的两个相同高度音频信号。图8的块90可以采用输入高度音频通道80，并且可以将该相同的信号作为高度音频信号92和94输入到“虚拟居中算法”块300。在本公开的上下文中，块300被配置为执行“虚拟居中算法”。“虚拟居中算法”将相对于一个或多个聆听位置对称地偏离中心并横向间隔开的两个扩音器发出的两个音频信号作为输入，并且提供两个相位经修改的音频信号作为输出，使得这两个输入信号之间的相对相位被修改为使得位于一个或多个聆听位置处的聆听者基本上在这两个横向间隔开的扩音器的中心感知到输出音频信号。这可以通过减小与用于回放的两个扩音器相对应的两个音频通道之间的耳间相位差或扩音器间差分相位(IDP)来实现。在本公开的上下文中，“虚拟居中算法”被有利地和创造性地应用于从沉浸式音频格式的音频的一个或多个高度通道得到的输入音频信号，从而为位于扩音器回放的音频的一个或多个聆听位置处的聆听者提供音频高度/仰角的感知。

在实施例中，用于回放经处理的音频的非沉浸式扩音器***可以是图8所示的具有左扩音器1和右扩音器2的立体声扩音器。

在实施例中，可以向块90输入一个以上的单个高度通道。例如，两个高度音频通道可以被输入到块90。例如，沉浸式音频格式可以包括两个高度音频通道。在该实施例中，获得250这两个高度音频信号可以包括从这两个音频通道获得240两个相同的音频高度音频信号(参考图2a，参见步骤240)。当沉浸式音频包括两个高度音频通道时，块90可以被配置为将这两个高度音频通道分别作为信号92和94传递(即，不执行任何特定功能)到块300。例如，假设在该示例中，非沉浸式扩音器***是具有左前(或后)扩音器1和右前(或后)扩音器2的车辆的前(或后)立体声扩音器***。还假设我们想要以具有左前(或后)高度通道92和右前(或后)高度通道94的沉浸式格式回放音频，那么通道92和94两者可以直接输入到块300的虚拟居中算法。可替代地，如果音频仅具有一个高度通道，则该相同通道可以被输入两次作为如上所述的高度音频信号92和94。

块300可以执行图2的方法200的步骤250和/或270。块300可以被配置为修改信号92与信号94之间的相对相位差以分别获得相位经修改的信号302和304。两个其他音频通道81和82可以分别与相位经修改的信号302和304混合。例如，左前(或后)相位经修改的高度音频信号302通过混合器310与左前(或后)通道81混合并输入到左扩音器1用于回放。类似地，右前(或后)相位经修改的高度音频信号304通过混合器320与右前(或后)通道82混合并输入到右扩音器2用于回放。块300可以用一组滤波器(例如，有限脉冲响应(FIR)滤波器或无限脉冲响应(IIR)全通滤波器)来实施。IIR全通滤波器的设计可以用特征滤波器的方法来完成。这样的实施方式的示例将在下文进一步描述。

块300可以针对前扩音器对和后扩音器对进行不同的配置，以考虑位于一个或多个聆听位置处的聆听者与相对于聆听者的位置对称地偏离中心的前扩音器对或后扩音器对之间的不同距离。例如，可以根据前部乘客和/或驾驶员与前扩音器之间的距离为前部乘客和/或驾驶员配置块300。可替代地，可以根据一个和/或两个后部乘客与后扩音器之间的距离为(多个)后部乘客配置块300。

参考图2b，在实施例中，修改270这两个高度音频信号之间的相对相位的步骤可以包括在聆听位置中的一个或多个聆听位置处(例如，主动地)测量272从至少两个扩音器发出的两个单耳音频信号之间随频率变化的相位差。例如，相位差的测量可以在所述方法的初始校准阶段执行。在美国专利US10284995B2中提供了可以如何使用一个或多个聆听位置处的这种测量值来修改两个音频通道之间的相对相位差的示例，所述专利通过引用以其全文并入本文。在本公开的上下文中，被修改(例如，减小)的相对相位差是两个高度音频信号(例如，图8中的信号92和94)之间的相位差。例如，在一个实施例中，一个或多个传感器可以位于或靠近聆听位置，以测量这种相位差。例如，在实施例中，这种传感器可以大约在聆听者头部的相同高度处嵌入在车辆的每个座椅的头枕上。所述测量可以在所述方法的初始校准阶段执行，或者可替代地，与音频的回放基本实时地执行。

仍然参考图2b(步骤274)，可替代地、附加地或可选地，修改270这两个高度音频信号之间的相对相位可以基于一个或多个聆听位置与至少两个扩音器中的每个扩音器之间的预定绝对距离。例如，一个或多个聆听位置(例如，图3的座椅110、120、130或140处的任何位置)与一对立体声扩音器之间的距离可以由环境特性(例如，车辆的内部设计)和扩音器安装确定/预定。本公开的方法可以使用该预定信息来获得相位差。例如，在实施例中，修改270这两个高度音频信号之间的相对相位的步骤可以涉及访问预定相位差。例如，作为频率的函数的相位差可能已经针对某一类型的一个车辆进行了测量，并且随后存储在相同类型的车辆的车载计算***的存储器中。这种离线校准的优点在于，车辆不需要配备用于在线测量相位差的传感器。预定相位差可以例如存储为分析函数或查找表(LUT)。

可以看出，在聆听者到左扩音器和右扩音器的距离与块300的期望频率响应之间存在关系，所述块修改信号92和94之间的相对相位以分别获得相位经修改的信号302和304。如EP1994795B1中所示，块300的期望频率响应是频率f_d的函数，对应的波长等于偏离中心的聆听位置的左右扩音器之间的路径差：

其中，d_L是聆听者到左扬声器的距离，并且d_R是聆听者到右扬声器的距离，并且c是声速(所有距离都以米为单位)。可以看出，顺序频带中主要异相的多个交替频带以是为的整数倍的频率为中心，并且因此块300的期望相位响应可以被设计为具有相同的频率响应。

在实施例中，仍然参考图2b(步骤276)，修改270这两个高度音频信号之间的相对相位(基于预定的聆听者到扩音器的距离信息或基于实际测量值)的步骤可以在检测到位于一个或多个聆听位置处的聆听者的移动时触发。例如，可以采用一个或多个传感器来检测聆听者的移动。当在车辆内部使用时，这种传感器可以例如位于车辆的相应座椅处。所述一个或多个传感器可以被配置为检测车辆中乘客或驾驶员的存在，从而使得处理方法能够使用正确的距离信息来获得相位差。

在实施例中，所述一个或多个座椅传感器或一组不同的传感器可以用于检测新的聆听位置，例如，聆听者头部的新位置(或聆听者耳朵的位置)。例如，驾驶员或乘客可以水平地和/或垂直地调整他自己的座椅，以在车辆中获得更舒适的乘坐位置。在该实施例中，所述方法可以根据新检测到的聆听位置取得/获得相位差。以这种方式，可以根据新的聆听位置使用正确的距离信息，无论是基于一组正确的预定聆听者到扩音器的距离信息，还是基于实际测量值。例如，如果/当预定相位差被存储为分析函数或查找表(LUT)时，不同的分析函数或不同的LUT可以与不同的(例如，检测到的)座椅或聆听位置相对应。

图9示意性地示出了根据本公开的实施例的处理沉浸式格式的音频的方法的示例。图9与图8所示示例的不同之处在于，假设沉浸式音频格式的音频包括一个高度通道85、两个音频通道(例如，左音频通道86和右音频通道87)以及另外一个中央音频通道88。经由块91从高度通道85获得两个高度音频信号93和95。块91可以与参考图8描述的块90相同。块91可以被配置为得到高度音频信号93和95作为高度通道85的副本。然而，如果沉浸式音频格式具有一个以上的高度通道(例如，两个高度音频通道)，则块91可以被配置为通过传递(图2a中的步骤257)这两个高度通道来得到高度音频信号93和95。高度音频信号93和95被输入到功能上与参考图8描述的块300相同的块301，并从中得到相位经修改的高度音频信号306和308。

在该示例中，将至少两个相位经修改的高度音频通道306和308中的每一个与这两个音频通道86和87中的每一个混合(参考图2的混合280)分别生成混合音频信号312和314。混合音频信号312和314分别在例如混合器330和340处进一步与中央音频通道88混合。从混合器330和340生成的信号被输出到扩音器3和4用于回放。这使得能够用不包括中央通道的扩音器***(例如，立体声扩音器***)来回放沉浸式音频的中央通道。

更一般地，在实施例中，音频的中央音频通道可以例如在每个相位经修改的音频信号306和308与音频的音频通道86和87混合之前直接与其混合(参见图2中的步骤285)。

应当理解，图8和图9的示例可以互换用于车辆内部的前后对扩音器，以便为位于车辆前排或后排的乘客和/或驾驶员提供声音高度感知。还应当理解，图8和图9的示例可以互换用于例如不同于车辆内部并且适合于特定实施方式的任何聆听环境中的前后对扩音器。

图8的示例可以用于位于车辆后排的一对(立体声)扩音器1和2，以为位于车辆后排的乘客创建声音高度的感知。在该示例中，高度通道80可以是后高度通道并且通道81和82分别对应于左后通道和右后通道。从后高度通道得到的高度音频信号92和94被用于对后高度通道80进行虚拟居中，从而为位于车辆后排的乘客重建声音高度的感知。块300可以根据一个或多个后部乘客与后部一对扩音器1和2之间的距离来配置。

同时，可替代地或附加地，图9的示例可以用于位于同一车辆前排的一对(立体声)扩音器3和4，以为位于车辆前排的乘客创建声音高度的感知。在该示例中，高度通道85可以是前高度通道并且通道86和87分别对应于左前通道和右前通道。从前高度通道85得到的高度音频信号93和95被用于对前高度通道85进行虚拟居中，从而为前部乘客和/或驾驶员重建声音高度的感知。块301可以根据前部乘客和/或驾驶员与前部一对扩音器对3和4之间的距离来配置。因此，块301可以与块300相同，但被不同地配置用于以前部乘客和/或驾驶员与右前扩音器3和左前扩音器4之间的一组不同的预定距离(例如，一组不同的分析函数或LUT)进行操作。

可替代地，如上文所解释的，块301可以被配置为使用在前部驾驶员和/或前部乘客位置处从左前扩音器3和右前扩音器4发出的声音所感知到的声音的实际测量值。

可替代地，类似于块300或301的单个块可以被不同地配置用于以前部和/或后部乘客和/或驾驶员与相应的前和/或后左右扩音器之间的一组不同的预定距离和/或实际测量值(例如，一组不同的分析函数或LUT)进行操作。

此外，在同一车辆中组合图8和图9的音频处理方法(如上文解释的示例中所解释的)使得能够回放5.1.2音频。使用图8的方法/***，用左后扩音器和右后扩音器回放左后通道和右后通道以及后高度通道。用图9的方法/***回放左前通道、右前通道、中央通道和高度通道。

然而，在车辆中组合上文参考图8和图9描述的方法/***的示例并不具有限制性。例如，图8或图9的示例性方法/***可以用于以不同类型的沉浸式音频格式回放音频，以便为车辆中的任何前部驾驶员和/或前部/后部乘客创建声音高度。

图10示意性地示出了从两个高度音频通道获得两个高度音频信号的方法的示例。在该示例中，假设(例如，渲染的)音频包括两个(而不是一个)高度通道83和84，并且从高度通道83和84获得两个高度音频通道96和97。

然而，音频可以包括适合于特定实施方式的任何数量(例如，多于两个)的高度通道。

当存在一个以上的高度通道时，高度通道可能彼此不同，以至于即使当高度通道“虚拟居中”时，声音高度的感知也会减弱，如上文所解释的。为了防止车辆中的聆听者感知不到高度通道的声音高度/仰角(例如，在适合特定实施方式的程度上)，可以对高度通道进行处理，使得两个更相似或甚至相同的信号可以用作“虚拟居中算法”的输入。图10示出了这样的过程的示例。

块98包括单元102、104和可选的单元103和105。每个单元被配置为改变应用相应单元的音频信号的音频电平。例如，单元可配置为对应用所述单元的音频信号施加增益或衰减。

为了进一步解释，高度通道83的音频电平可以由单元102改变。在单元102的输出处具有对应的音频电平的信号可以与高度通道84混合。混合信号的音频电平可以可选地由单元105改变以生成高度音频信号97。

类似地，高度通道84的音频电平可以由单元104改变并与高度通道83混合。混合信号的音频电平可选地由单元103改变以生成高度音频信号96。高度音频信号96和97之间的相似性(例如，在音频电平方面的相似性)由单元102和104调节。可选地，在混合信号之后应用单元103和105，以在混合信号之前和之后保持信号的恒定功率电平。使用可选单元103和105可以防止所得高度音频信号96和97比预期的更响。特别地，使用可选单元103和105可以防止所得高度音频信号96和97比音频的其他通道(例如，环绕声通道)更响。

应当理解，可以使用块98代替图8和图9中的块90或块91，以处理一个以上的高度通道。还应当理解，在车辆的示例中，这两个高度通道可以是前高度通道或后高度通道并且具有四个高度通道的音频因此可以用一对前立体声扩音器和一对后立体声扩音器来回放。因此，可以用简单的立体声扩音器***回放例如5.1.4沉浸式音频格式的音频。例如，图8的方法/***可以用于经处理扩音器和后部乘客的两个高度后通道。类似地，图9的方法/***可以用于处理前扩音器和驾驶员和/或前部乘客的两个高度前通道。

还应该理解，这两个高度通道(当存在时)可以直接输入到“虚拟居中算法”，而无需额外的处理。例如，这两个高度通道可以基本上彼此相似(单耳)，在这种情况下，可能不需要额外的处理。

图11示意性地示出了从两个高度音频通道获得高度音频信号的方法的另一示例。如在参考图10描述的示例中，这里还假设(例如，渲染的)音频包括两个(而不是一个)高度通道83和84。高度通道83和84由中间/侧边处理块99处理以获得高度音频信号101和102(参见图2a中的步骤242)。高度音频信号101是高度通道83和84的中间/中心信号。高度音频信号102是高度通道83和84的侧边信号。中间/侧边处理块99可以以适合于特定实施方式的任何方式来实施。在图11的示例中，中间/侧边处理块99包括衰减单元106和108，所述衰减单元被配置为将高度通道83和84衰减一半。中间/侧边处理块99进一步包括负一元件107。负一元件107被配置为施加等于-1的负增益。由衰减单元106和108处理的高度通道83和84在混合器350处混合以获得中间信号101，即：

其中，S₈₃和S₈₄是高度通道83和84的信号，并且S₁₀₁是输入到“虚拟居中算法”块302的高度音频信号(中间信号)。

中间/侧边处理的中间信号通常包含在处理的高度通道中相同的声音。这样，高度音频通道83和84中相同的声音就可以输入到“虚拟居中算法”块302。

通道83和84之间不同的声音由侧边信号102表示：

其中，S₈₃和S₈₄是高度通道83和84的信号，并且S₁₀₂是不输入到“虚拟居中算法”块302的高度音频信号(侧边信号)。

高度通道83和84的侧边信号与相位经修改的信号305和307以及音频的通道81和82混合，然后输出到扩音器1和2。图11的方法进一步包括负一元件109，用于在将侧边信号111(其与侧边信号S₁₀₂相等但相位相反)与音频通道82和相位经修改的信号307混合之前反转侧边信号S₁₀₂的相位(参见图2a的步骤244)。因此，侧边信号S₁₀₂被混合回到“虚拟居中”的中间信号S₁₀₁以恢复原始高度通道信号并同时提供增强的感知声音高度。

应当理解，如参考图10所解释的，高度通道83和84可以分别是左高度通道和右高度通道。更具体地，在车辆中，高度通道83和84可以分别是左前和右前高度通道或左后和右后高度通道。类似地，扩音器1和2可以是左立体声扩音器和右立体声扩音器。更具体地，在车辆中，扩音器1和2可以是左前和右前立体声扩音器或左后和右后立体声扩音器。尽管图11中未示出，但当存在时，中央通道可以与相位经修改的高度音频信号305、侧边信号102和音频通道81混合，如图9所示。中央通道也可以与相位经修改的高度音频信号307、相位经反转的侧边信号111和音频通道82混合。

在图8、图9和图11的示例中，用于回放的通道少于沉浸式音频格式的输入音频的通道数。因此，这意味着沉浸式音频格式的输入音频的通道在用于回放的通道(扩音器馈送)中进行了缩混。

图12a示出了应用于两个高度通道之一(在这种情况下为左高度通道)的可能的现有技术的基于FIR的实施方式的功能示意性框图。

图12b示出了应用于两个高度通道之一(在这种情况下为右高度通道)的可能的现有技术的基于FIR的实施方式的功能示意性框图。

如上文所解释的，可以使用有限脉冲响应(FIR)滤波器和线性相位数字滤波器或滤波器函数来实施如图7a的示例中的布置的IDP相位补偿。这种滤波器或滤波器函数可以被设计为实现可预测和受控的相位和幅度响应。图12a和图12b示出了分别应用于两个高度音频信号之一的可能的基于FIR的实施方式的框图。在EP1994795B1中描述了这两种基于FIR的实施方式，所述文献通过引用以其全文并入本文。

在图12a的示例中，创建了两个互补的梳状滤波信号(在703和709处)，如果将其相加在一起，将具有基本平坦的幅度响应。图13a示出了带通滤波器或滤波器函数(“BP滤波器”)702的梳状滤波器响应。这样的响应可以通过一个或多个滤波器或滤波器函数来获得。

图13b示出了由BP滤波器702、时间延迟或延迟函数(“延迟”)704和减法组合器708的图12a所示的布置产生的有效梳状滤波器响应。BP滤波器702和延迟704可以具有基本相同的延迟特性，以便梳状滤波器响应基本互补(参见图13a和图13b)。梳状滤波信号之一经受90度相移，以在期望的频带中给予期望的相位调整。尽管两个梳状滤波信号中的任何一个都可以移位90度，但在图12a的示例中，709处的信号是相移的。对一个或另一个信号进行移位的选择会影响图12b的示例中所示的相关处理中的选择，从而使通道间的总移位是所期望的。使用线性相位FIR滤波器允许使用仅选择一组频带的一个或多个滤波器来经济地创建两个梳状滤波信号(703和709)，如在图13a的示例中。通过BP滤波器702的延迟可以随频率而恒定。这允许通过将原始信号延迟与FIR BP滤波器702的群延迟相同的时间量并从延迟的原始信号中减去滤波后的信号(在减法组合器708中，如图12a所示)来创建互补信号。由90度相移过程赋予的任何频率不变延迟应在将非相位调整信号相加在一起之前应用于非相位调整信号，以再次确保平坦的响应。

滤波后的信号709通过宽带90度移相器或相移过程(“90度相移”)710以产生信号711。信号703被具有与90度相移710基本相同的延迟特性的延迟或延迟函数712延迟以产生信号713。90度相移信号711和延迟信号713被输入到加法求和器或求和函数714以产生输出信号715。90度相移可以使用多种已知方法中的任何一种来实施，如希尔伯特(Hilbert)变换。输出信号715基本上具有单位增益，仅在对应于未修改频带与相移频带之间的转变点的频率处具有非常窄的-3dB下降，但是具有频率变化的相位响应，如图13c所示。

图12b示出了应用于右高度通道的可能的现有技术的基于FIR的实施方式。该框图类似于图12a的左高度通道的框图，不同之处在于从滤波信号(在这种情况下为信号723)中减去延迟信号(在这种情况下为信号727)，而不是相反。最终输出信号735基本上具有单位增益，但对于相移频带具有负90度的相移，如图13d所示(与图13c所示的左通道中的正90度相比)。

在图13e中示出了两个输出信号715和735(相位经修改的高度音频信号)之间的相对相位差。相位差示出了每个聆听位置的主要异相的每个频带的180度组合相移。因此，异相频带在聆听位置处变为主要同相。图13e示出了已经通过针对相位差主要异相的每个频带(例如，在250-750Hz、1250-1750Hz等频带中)向这两个高度音频信号之间的相对相位添加180度移位而修改了这两个高度音频信号的相对相位。这相当于在相位差主要异相的频带中将这两个高度音频信号之一的相位移位+90度并且将另一个高度音频信号的相位移位-90度(参见图13c和图13d)。在图13f和图13g中示出了左聆听位置和右聆听位置(图7a所示)的所得校正后IDP。对于左聆听位置和右聆听位置，观察到的所得IDP理想地在正/负90度之内。

因此，一旦将图12a和图12b的FIR应用于这两个高度音频通道，在聆听位置观察到的所得IDP对于在相应聆听位置(例如，在车辆的同一排中，如图7a所示)的两个聆听者来说都理想地在正/负90度之内。

示例计算设备

已经描述了一种处理包括至少一个高度音频通道的沉浸式音频格式的音频的方法，用于在包括一个或多个聆听位置的聆听环境中用至少两个音频扩音器的非沉浸式扩音器***回放所述音频。附加地，本公开还涉及一种用于执行这些方法的装置。此外，本公开涉及一种可以包括用于执行这些方法的装置的车辆。在图14中示意性地图示了这样的装置1400的示例。装置1400可以包括处理器1410(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个射频集成电路(RFIC)或这些的任何组合)和耦接到处理器1410的存储器1420。存储器1420可以例如存储表示例如不同聆听位置和/或聆听环境的两个高度音频信号的相位差的(或一组)分析函数或(或一组)查找表。处理器可以被配置为例如通过从存储器1420中取得该组分析函数和/或LTU来执行在整个公开中描述的方法的一些或所有步骤。为了执行处理音频的方法，装置1400可以接收沉浸式音频格式的(例如，渲染的)音频的通道(例如，高度通道和一个或多个前或环绕声音频通道1425)作为输入。在这种情况下，装置1400可以输出两个或更多个音频相位经修改的音频信号1430，用于在非沉浸式扩音器***中回放音频。

装置1400可以是服务器计算机、客户端计算机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、智能手机、web设备、网络路由器、交换机或网桥、或能够(顺序或以其他方式)执行指定要由所述装置采取的动作的指令的任何机器。进一步地，虽然在图14中仅图示了单个装置1400，但是本公开将涉及单独或联合执行指令以执行本文讨论的任何一种或多种方法的装置的任何集合。

本公开进一步涉及一种包括指令的程序(例如，计算机程序)，所述指令当由处理器执行时使所述处理器执行本文描述的方法的一些或所有步骤。

更进一步地，本公开涉及存储前述程序的计算机可读(或机器可读)存储介质。这里，术语“计算机可读存储介质”包括但不限于例如固态存储器、光学介质和磁性介质形式的数据储存库。

本文所描述的实施例可以以硬件、软件、固件及其组合来实施。例如，实施例可以在包括电子电路和部件的***(如计算机***)上实施。计算机***的示例包括台式计算机***、便携式计算机***(例如膝上型计算机)、手持式设备(例如智能电话或平板计算机)和联网设备。用于实施所述实施例的***可以例如包括集成电路(IC)、可编程逻辑设备(PLD)(如现场可编程门阵列(FPGA))、数字信号处理器(DSP)、专用IC(ASIC)、中央处理单元(CPU)和图形处理单元(GPU)中的至少一者。

本文所描述的实施例的某些实施方式可以包括计算机程序产品，所述计算机程序产品包括指令，所述指令当由数据处理***执行时会使所述数据处理***执行本文所描述的任何实施例的方法。计算机程序产品可以包括存储有所述指令的非暂态介质，例如物理介质，如包括软盘和硬盘驱动器的磁性数据存储介质，包括CD ROM和DVD的光学数据存储介质，以及包括ROM、闪速存储器(如闪速RAM或USB闪速驱动器)的电子数据存储介质。在另一个示例中，计算机程序产品包括包含所述指令的数据流、或者包括包含存储在分布式计算***中(例如，一个或多个数据中心中)的所述指令的文件。

本公开不限于上述实施例和示例。在不脱离由所附权利要求限定的本公开的范围的情况下，可以做出许多修改和变化。

可以从以下枚举的示例实施例(EEE)中理解本发明的各个方面：

EEE 1.一种处理包括至少一个高度音频通道的沉浸式音频格式的音频的方法(200)，用于在包括一个或多个聆听位置的聆听环境中用具有至少两个音频扩音器的非沉浸式扩音器***回放经处理的音频，其中，所述一个或多个聆听位置中的每个聆听位置相对于所述至少两个扩音器对称地偏离中心并且所述至少两个扩音器中的每个扩音器相对于所述一个或多个聆听位置中的每个聆听位置横向间隔开，使得当两个单耳音频信号从所述至少两个扩音器发出时，由于所述聆听环境的声学特性，在所述一个或多个聆听位置处出现相位差，所述方法包括：

从所述至少一个高度音频通道的至少一部分获得(250)两个高度音频信号；

在所述相位差主要异相的频带中修改(270)所述两个高度音频信号之间的相对相位，以获得所述相位差主要同相的两个相位经修改的高度音频信号；以及

在所述至少两个音频扩音器处回放(290)所述经处理的音频，其中，所述经处理的音频包括所述两个相位经修改的高度音频信号。

EEE 2.如EEE 1所述的方法(200)，其中，所述沉浸式音频格式的音频进一步包括至少两个音频通道，并且其中，所述方法进一步包括将所述两个相位经修改的高度音频信号中的每一个相位经修改的高度音频信号与所述两个音频通道中的每一个音频通道混合(280)。

EEE 3.如EEE 1或EEE 2所述的方法，其中，所述沉浸式音频格式的音频进一步包括中央通道，并且其中，所述方法进一步包括将所述两个相位经修改的高度音频信号中的每一个相位经修改的高度音频信号与所述中央通道混合(285)。

EEE 4.如前述EEE中任一项所述的方法，其中，所述沉浸式音频格式的音频具有单个高度音频通道，并且其中，获得(250)所述两个高度音频信号包括获得(255)均对应于所述单个高度音频通道的两个相同高度音频信号。

EEE 5.如前述EEE中任一项所述的方法，其中，所述沉浸式音频格式的音频包括至少两个高度音频通道，并且其中，获得(250)所述两个高度音频信号包括从所述至少两个高度音频通道获得(240)两个相同的高度音频信号。

EEE 6.如EEE 5所述的方法，进一步包括对所述至少两个高度音频通道应用(242)中间/侧边处理以获得中间信号和侧边信号，其中，所述两个高度音频信号中的每一个高度音频信号都对应于所述中间信号。

EEE 7.如EEE 6所述的方法，进一步包括将所述侧边信号和与所述侧边信号相对应但相位与所述侧边信号相反的信号与所述相位经修改的高度音频信号混合(244)。

EEE 8.如前述EEE中任一项所述的方法，其中，修改(270)所述两个高度音频信号之间的相对相位包括在所述聆听位置中的所述一个或多个聆听位置处测量(275)所述相位差。

EEE 9.如前述EEE中任一项所述的方法，其中，修改(270)所述两个高度音频信号之间的相对相位是基于所述一个或多个聆听位置与所述至少两个扩音器中的每个扩音器之间的预定绝对距离。

EEE 10.如前述EEE中任一项所述的方法，其中，修改(270)所述两个高度音频信号之间的相对相位的步骤在检测到所述一个或多个聆听位置处的聆听者的移动时被触发。

EEE 11.如前述EEE中任一项所述的方法，其中，所述聆听环境是车辆内部。

EEE 12.如前述EEE中任一项所述的方法，其中，所述非沉浸式扩音器***是立体声或环绕声扩音器***。

EEE 13.如前述EEE中任一项所述的方法，其中，所述沉浸式音频格式的音频是以沉浸式音频格式渲染的音频。

EEE 14.如前述EEE中任一项所述的方法，其中，所述沉浸式音频格式是杜比全景声或任何X.Y.Z音频格式，其中，X≥2是前或环绕声音频通道的数量，Y≥0如果存在，是低频效果或低音炮音频通道，并且Z≥1是所述至少一个高度音频通道。

EEE 15.如前述EEE中任一项所述的方法，其中，所述修改(270)针对相位差主要异相的每个频带将180度相移添加到所述两个高度音频信号之间的相对相位。

EEE 16.如EEE 15所述的方法，其中，所述两个高度音频信号中的一个高度音频信号的相位移位+90度，并且所述两个高度音频信号中的另一个高度音频信号的相位移位-90度。

EEE 17.一种装置，包括处理器和耦接到所述处理器的存储器，其中，所述处理器被配置为执行根据前述EEE中任一项所述的方法。

EEE 18.一种车辆，所述车辆包括如EEE 17所述的装置。

EEE 19.一种程序，包括指令，所述指令当由处理器执行时使所述处理器执行根据EEE 1至16中任一项所述的方法。

EEE 20.一种计算机可读存储介质，存储有根据EEE 19所述的程序。

Claims (20)

1.一种处理包括至少一个高度音频通道的沉浸式音频格式的音频的方法(200)，用于在包括一个或多个聆听位置的聆听环境中用具有至少两个音频扩音器的非沉浸式扩音器***在没有头顶扩音器的情况下回放经处理的音频，其中，所述一个或多个聆听位置中的每个聆听位置相对于所述至少两个扩音器对称地偏离中心并且所述至少两个扩音器中的每个扩音器相对于所述一个或多个聆听位置中的每个聆听位置横向间隔开，使得当两个单耳音频信号从所述至少两个扩音器发出时，由于所述聆听环境的声学特性，在所述一个或多个聆听位置处出现扩音器间差分相位IDP，所述方法包括：

从所述至少一个高度音频通道的至少一部分获得(250)两个单耳高度音频信号；

在当所述两个高度通道从所述至少两个扩音器发出时在所述一个或多个聆听位置处出现所述IDP异相的频带中修改(270)所述两个单耳高度音频信号之间的相对相位，以获得所述IDP同相的两个相位经修改的高度音频信号；以及

在所述至少两个音频扩音器处回放(290)所述经处理的音频，其中，所述经处理的音频包括所述两个相位经修改的高度音频信号。

2.如权利要求1所述的方法(200)，其中，所述沉浸式音频格式的音频进一步包括至少两个音频通道，并且其中，所述方法进一步包括将所述两个相位经修改的高度音频信号中的每一个相位经修改的高度音频信号与所述两个音频通道中的一个音频通道混合(280)。

3.如权利要求1或2所述的方法，其中，所述沉浸式音频格式的音频进一步包括中央通道，并且其中，所述方法进一步包括将所述两个相位经修改的高度音频信号中的每一个相位经修改的高度音频信号与所述中央通道混合(285)。

4.如前述权利要求中任一项所述的方法，其中，所述沉浸式音频格式的音频具有单个高度音频通道，并且其中，获得(250)所述两个单耳高度音频信号包括获得(255)均对应于所述单个高度音频通道的所述两个单耳高度音频信号。

5.如前述权利要求中任一项所述的方法，其中，所述沉浸式音频格式的音频包括至少两个高度音频通道，并且其中，获得(250)所述两个单耳高度音频信号包括从所述至少两个高度音频通道获得(240)所述两个单耳高度音频信号。

6.如权利要求5所述的方法，进一步包括对所述至少两个高度音频通道应用(242)中间/侧边处理以获得中间信号和侧边信号，其中，所述两个高度音频信号中的每一个高度音频信号都对应于所述中间信号。

7.如权利要求6所述的方法，进一步包括将所述侧边信号和与所述侧边信号相对应但相位与所述侧边信号相反的信号与所述相位经修改的高度音频信号混合(244)。

8.如前述权利要求中任一项所述的方法，其中，修改(270)所述两个高度音频信号之间的相对相位包括在所述聆听位置中的所述一个或多个聆听位置处测量(275)所述IDP。

9.如前述权利要求中任一项所述的方法，其中，修改(270)所述两个高度音频信号之间的相对相位是基于所述一个或多个聆听位置与所述至少两个扩音器中的每个扩音器之间的预定绝对距离。

10.如前述权利要求中任一项所述的方法，其中，修改(270)所述两个高度音频信号之间的相对相位的步骤在检测到所述一个或多个聆听位置处的聆听者的移动时被触发。

11.如前述权利要求中任一项所述的方法，其中，所述聆听环境是车辆内部。

12.如前述权利要求中任一项所述的方法，其中，所述非沉浸式扩音器***是立体声或环绕声扩音器***。

13.如前述权利要求中任一项所述的方法，其中，所述沉浸式音频格式的音频是以所述沉浸式音频格式渲染的音频，和/或其中，所述沉浸式音频格式是杜比全景声或任何X.Y.Z音频格式，其中，X≥2是前或环绕声音频通道的数量，Y≥0如果存在，是低频效果或低音炮音频通道，并且Z≥1是所述至少一个高度音频通道。

14.如前述权利要求中任一项所述的方法，其中，所述修改(270)针对所述IDP异相的每个频带将180度相移添加到所述两个高度音频信号之间的相对相位。

15.如权利要求14所述的方法，其中，所述两个高度音频信号中的一个高度音频信号的相位移位+90度，并且所述两个高度音频信号中的另一个高度音频信号的相位移位-90度。

16.如权利要求15所述的方法，其中，所述两个高度音频信号中的一个高度音频信号的相位移位+90度，并且所述两个高度音频信号中的另一个高度音频信号的相位移位-90度。

17.一种装置，包括处理器和耦接到所述处理器的存储器，其中，所述处理器被配置为执行根据前述权利要求中任一项所述的方法。

18.一种车辆，所述车辆包括如权利要求17所述的装置。

19.一种程序，包括指令，所述指令当由处理器执行时使所述处理器执行根据权利要求1至16中任一项所述的方法。

20.一种计算机可读存储介质，存储有根据权利要求19所述的程序。