CN110771181B - 用于将空间音频格式转换为扬声器信号的方法、***和设备 - Google Patents

用于将空间音频格式转换为扬声器信号的方法、***和设备 Download PDF

Info

Publication number
CN110771181B
CN110771181B CN201880039287.5A CN201880039287A CN110771181B CN 110771181 B CN110771181 B CN 110771181B CN 201880039287 A CN201880039287 A CN 201880039287A CN 110771181 B CN110771181 B CN 110771181B
Authority
CN
China
Prior art keywords
arrival
speaker
function
panning
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880039287.5A
Other languages
English (en)
Other versions
CN110771181A (zh
Inventor
D·S·麦格拉思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority claimed from PCT/US2018/032500 external-priority patent/WO2018213159A1/en
Publication of CN110771181A publication Critical patent/CN110771181A/zh
Application granted granted Critical
Publication of CN110771181B publication Critical patent/CN110771181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及一种将中间信号格式的音频信号转换为适于由扬声器阵列播放的一组扬声器馈送的方法。所述中间信号格式的所述音频信号可以借助空间平移函数从输入音频信号获得。所述方法包括：确定所述扬声器阵列的离散平移函数；基于所述离散平移函数确定目标平移函数；其中确定所述目标平移函数涉及平滑所述离散平移函数；及基于所述目标平移函数和所述空间平移函数，确定用于将所述中间信号格式的所述音频信号转换为所述组扬声器馈送的渲染操作。本发明进一步涉及一种对应设备和一种对应计算机可读存储媒体。

Description

用于将空间音频格式转换为扬声器信号的方法、***和设备
相关申请案的交叉参考
本申请案主张2017年5月17日提交的美国申请案第62/405,294号和2017年5月15日提交的欧洲专利申请案第17170992.6号的优先权的权益，所述美国申请案和欧洲专利申请案特此以全文引用的方式并入本文中。
技术领域
本发明大体来说涉及经由扬声器的音频信号的播放。特定来说，本发明涉及中间(例如，空间)信号格式的音频信号的渲染，例如提供音频场景的空间表示的音频信号。
背景技术
音频场景可以被认为是一或多个分量音频信号的聚合，其中的每一者从相应到达方向入射到听众。例如，一些或所有分量音频信号可以对应于音频对象。对于现实世界音频场景，可能会存在大量的此类分量音频信号。将表示此类音频场景的音频信号平移到扬声器阵列可能会在渲染组件上(例如，在解码器处)施加相当大的计算负荷，且可能会消耗相当多的资源，因为需要针对每一分量音频信号单独执行平移。
为了减轻渲染组件上的计算负荷，可以首先将表示音频场景的音频信号平移到具有预定数目个分量(例如，信道)的中间(例如，空间)信号格式(中间音频格式)，例如空间音频格式。此类空间音频格式的实例包括高保真立体声(Ambisonics)，高阶高保真立体声(HOA)和二维高阶高保真立体声(HOA2D)。平移到中间信号格式可以被称作为空间平移。然后可以使用渲染操作(即，扬声器平移操作)将中间信号格式的音频信号渲染到扬声器阵列。
通过此方法，可以在从表示音频场景的音频信号到中间信号格式的空间平移操作(例如，在编码器处)和渲染操作(例如，在解码器处)之间划分计算负荷。由于中间信号格式具有预定(且有限)数目个分量，因此渲染到扬声器阵列的计算可能不昂贵。另一方面，从表示音频场景音频信号到中间信号格式的空间平移可离线执行，以使得计算负荷不成问题。
由于中间信号格式必然具有有限的空间分辨率(由于其有限的分量数目)，因此通常不存在将精确地复制从表示音频场景的音频信号到扬声器阵列的直接平移的用于将中间信号格式的音频信号渲染到扬声器阵列的一组扬声器平移函数(即，渲染操作)，且不存在用于确定扬声器平移函数(即，渲染操作)的直接方法。例如，用于确定扬声器平移函数(针对给定的中间信号格式和给定的扬声器阵列)的常规方法包含启发式方法。然而，这些已知的方法遭受听觉伪影，所述听觉伪影可能是由所确定的扬声器平移函数的波动和/或下冲引起的。
换句话说，渲染操作(例如，空间渲染操作)的创建是一个过程，所述过程由于要求所得的扬声器信号用于听众而变得困难，因此所得空间渲染的质量是由主观因素确定。
常规的数值优化方法能够确定渲染矩阵的系数，所述渲染矩阵当对其进行数值评估时，将提供高质量的结果。然而，由于自然音色的损失和/或图像位置不精确的感觉，人类受试者将判断数字最佳空间渲染器不足。
因此，需要一种替代方法和设备，用于确定用于将中间信号格式的音频信号平移到扬声器阵列并将所述中间信号格式的音频信号转换为一组扬声器馈送的渲染操作。进一步需要避免不期望的听觉伪影的方法和设备。
发明内容
鉴于此需求，本发明提出了具有相应独立权利要求的特征的一种将中间信号格式的音频信号转换为适于由扬声器阵列播放的一组扬声器馈送的方法、一种对应的设备以及一种对应的计算机可读存储媒体。
本发明的一方面涉及一种将中间信号格式(例如，空间信号格式)的音频信号(例如，多分量信号或多信道信号)转换为适于由扬声器阵列播放的一组(例如，两个或多于两个)扬声器馈送(例如，扬声器信号)的方法。扬声器阵列中的每个扬声器可能存在一个此类扬声器馈送。中间信号格式的音频信号可以借助空间平移函数从输入音频信号(例如，多分量信号或多信道输入音频信号)获得。例如，可以通过将空间平移函数应用于输入音频信号来获得中间信号格式的音频信号。输入音频信号可以为任何给定的信号格式，例如不同于中间信号格式的信号格式。空间平移函数可以为可用于将(或任何)输入音频信号转换为中间信号格式的平移函数。可替代地，可以通过由适当的麦克风阵列捕获音频声场(例如，现实世界的音频声场)来获得中间信号格式的音频信号。在此状况下，中间信号格式的音频信号的音频分量可能看起来好像其已经借助空间平移函数进行平移一样(换句话说，到中间信号格式的空间平移可能发生在一个声域中)。获得中间信号格式的音频信号可以进一步包含对所捕获的音频分量的后处理。所述方法可以包含确定扬声器阵列的离散平移函数。例如，离散平移函数可以为用于将任意音频信号平移到扬声器阵列的平移函数。所述方法可以进一步包含基于(例如，根据)离散平移函数来确定目标平移函数。确定目标平移函数可以涉及平滑离散平移函数。所述方法可以进一步包含：基于目标平移函数和空间平移函数，确定用于将中间信号格式的音频信号转换为所述组扬声器馈送的渲染操作(例如，线性渲染操作，例如矩阵操作)。所述方法可以进一步包含将渲染操作应用于中间信号格式的音频信号，以生成所述组扬声器馈送。
如此配置，所提出的方法允许在主观质量和避免视觉伪影方面改进从中间信号格式到一组扬声器馈送的转换。特定来说，通过所提出的方法可以避免自然音色的损失和/或图像位置不精确的感觉。由此，可以向听众提供对原始音频场景的更真实的印象。为此，所提出的方法提供了(替代)目标平移函数，所述目标平移函数对于从输入音频信号到所述组扬声器馈送的直接平移可能并非最佳的，但是其在此目标平移函数替代常规的直接平移函数用于例如通过近似目标平移函数来确定渲染操作的情况下可以产生出色的渲染操作。
在实施例中，离散平移函数可以为多个到达方向中的每一方向定义扬声器阵列中的每一扬声器的离散平移增益。多个到达方向可以为例如在(单位)球体或(单位)圆上的近似地或基本上均匀分布的到达方向。通常，多个到达方向可以为包含在一组预定的到达方向中的到达方向。到达方向可以为单位矢量(例如，在单位球面或单位圆上)。在此状况下，扬声器位置也可以为单位矢量(例如，在单位球面或单位圆上)。
在实施例中，确定离散平移函数可以涉及：对于多个到达方向中的每一到达方向以及扬声器阵列中的每一扬声器，如果相应到达方向在距离函数方面离相应扬声器比离另一扬声器更远(即，如果相应扬声器不是最接近的扬声器)，那么确定相应离散平移增益等于零。所述确定离散平移函数可以进一步涉及：对于多个到达方向中的每一到达方向，以及对于扬声器阵列中的每一扬声器，如果相应到达方向在距离函数方面比任何其它扬声器更接近于相应扬声器，那么确定相应离散平移增益等于离散平移函数的最大值(例如，值1)。换句话说，对于每一扬声器，在距离函数方面，比另一其它扬声器更接近于所述扬声器的那些到达方向的离散平移增益可以通过离散平移函数的最大值(例如，值1)给出，且在距离函数方面，与离另一扬声器相比离所述扬声器更远的那些到达方向的离散平移增益可以由零给出。对于每一到达方向，扬声器阵列的扬声器的离散平移增益可以总计为离散平移函数的最大值，例如，总计为1。在到达方向有两个或多于两个最接近的扬声器(在相同距离处)的状况下，到达方向和两个或多于两个最接近的扬声器的相应离散平移增益可以彼此相等，且可以由最大值的整数部分(例如，1)给出，使得还在此状况下，在扬声器阵列的扬声器上，此到达方向的离散平移增益之和也产生最大值(例如，1)。因此，每一到达方向“卡扣”到最接近的扬声器，从而以特别简单和有效的方式创建了离散的平移函数。
在实施例中，离散平移函数可以通过将多个到达方向中的每一到达方向与在距离函数方面扬声器阵列中的最接近(最近)所述到达方向的扬声器相关联来确定。
在实施例中，可以将优先程度指派给所述扬声器阵列中的所述扬声器中的每一个。此外，到达方向与扬声器阵列中的给定扬声器之间的距离函数可以取决于给定扬声器的优先程度。例如，当涉及具有较高优先级的扬声器时，距离函数可以产生较小的距离。
因此，可以赋予单个扬声器优于其它扬声器的优先权，以使得离散平移函数跨越较大的范围，在所述较大范围内将到达方向平移到单个扬声器。因此，可以增强平移到对声音对象的定位很重要的扬声器，例如左前和右前扬声器和/或左后和右后扬声器，从而有助于真实再现原始音频场景。
在实施例中，平滑离散平移函数可以涉及：对于扬声器阵列中的每一扬声器，对于给定的到达方向，通过针对以给定到达方向为中心的窗口内的多个到达方向中的到达方向，计算相应扬声器的离散平移增益的加权和，来确定所述到达方向和所述相应扬声器的平滑平移增益。其中，给定的到达方向不一定为多个到达方向中的到达方向。
在实施例中，可以基于给定的到达方向与扬声器阵列中的最接近(最近)扬声器之间的距离来确定对于给定的到达方向的窗口的大小。例如，窗口的大小可以与给定的到达方向与扬声器阵列中的最接近(最近)扬声器之间的距离正相关。可以基于中间信号格式的空间分辨率(例如，角分辨率)进一步确定窗口的大小。例如，窗口的大小可以取决于所述距离和所述空间分辨率中的较大者。
如上文所述进行配置，所提出的方法提供了非常平滑且表现良好的目标平移函数，以使得所得的渲染操作(基于目标平移函数，例如通过近似确定)没有波动和/或下冲。
在实施例中，计算加权和可以涉及，对于窗口内的多个到达方向中的每一到达方向，基于给定的到达方向和相应到达方向之间的距离确定相应扬声器和相应到达方向的离散平移增益的权重。
在实施例中，加权和可以被提高到在0.5和1之间的范围内的指数的幂。所述范围可以为包含范围。指数的具体值可以由0.5、1和
Figure BDA0002315786710000041
给出。因此，可以实现目标平移函数(以及因此，渲染操作)的功率补偿。例如，通过适当选择指数，可以进行渲染操作以确保保留振幅(指数设置为1)或幂(指数设置为0.5)。
在实施例中，确定渲染操作可以涉及使由空间平移函数和用于渲染操作的候选者的组合所定义的第一平移操作的输出(例如，在扬声器馈送或平移增益方面)和由目标平移函数所定义的第二平移操作的输出(例如，在扬声器馈送或平移增益方面)之间在误差函数方面的差异最小化。最终的渲染操作可以为在误差函数方面产生最小差异的候选渲染操作。
在实施例中，可以对作为第一和第二平移操作的输入的一组均匀分布的音频分量信号方向(例如，到达方向)执行使所述差异最小化。因此，可以确保所确定的渲染操作适于从任意输入音频信号获得或可从任意输入音频信号获得的中间信号格式的音频信号。
在实施例中，可以在最小平方的意义上执行使所述差最小化。
在实施例中，渲染操作可以为矩阵操作。通常，渲染操作可以为线性操作。
在实施例中，确定渲染操作可以涉及确定(例如，选择)一组到达方向。确定渲染操作可以进一步涉及基于所述组到达方向和空间平移函数(例如，针对所述组到达方向)确定(例如，运算、计算)空间平移矩阵。确定渲染操作可以进一步涉及基于所述组到达方向和目标平移函数(例如，针对所述组到达方向)确定(例如，运算、计算)目标平移矩阵。确定渲染操作可以进一步涉及确定(例如，运算、计算)空间平移矩阵的逆或伪逆。确定渲染操作可以进一步涉及基于目标平移矩阵和空间平移矩阵的逆或伪逆，来确定表示渲染操作的矩阵(例如，渲染操作的矩阵表示)。逆或伪逆可以为穆尔-彭罗斯(Moore-Penrose)伪逆。如此配置，所提出的方法提供了上述最小化方案的便利实施。
在实施例中，中间信号格式可以为是空间信号格式(空间音频格式，空间格式)。例如，中间信号格式可以为高保真立体声、高阶高保真立体声或二维高阶高保真立体声中的一个。
一般来说，空间信号格式(空间音频格式、空间格式)且特定来说高保真立体声、HOA和HOA2D为适合用于表示具有有限数目个分量或信道的真实音频场景的中间信号格式。此外，指定的麦克风阵列可用于高保真立体声、HOA和HOA2D，借以可以捕获真实的音频声场，以便分别方便地生成高保真立体声、HOA和HOA2D音频格式的音频信号。
本发明的另一方面涉及一种包含处理器和耦合到处理器的存储器的设备。存储器可以存储可由处理器执行的指令。处理器可以经配置以(例如，当执行前述指令时)执行前述方面或实施例中的任一个的方法。
本发明的另一方面涉及一种其上存储有指令的计算机可读存储媒体，所述指令在由处理器执行时致使处理器执行前述方面或实施例中的任何一个的方法。
应注意，包含在本文件中提出的包含其优选实施例的方法和设备可以单独使用或与在本文件中揭示的其它方法和***结合使用。此外，本文件中概述的方法和设备的所有方面可以任意组合。特定来说，权利要求书的特征可以以任意方式彼此组合。
附图说明
下面参考附图解释本发明的实例实施例，其中：
图1说明扬声器(speaker/loudspeaker)和音频对象相对于听众的位置的实例，
图2说明用于直接从分量音频信号生成扬声器馈送(扬声器信号)的实例过程，
图3说明典型扬声器平移器的平移增益的实例，
图4说明本发明的实施例可以应用于的用于从分量音频信号生成空间信号并随后将其渲染为扬声器信号的实例过程，
图5根据本发明的实施例说明用于从分量音频信号生成扬声器馈送(扬声器信号)的实例过程，
图6根据本发明的实施例说明将所采样到达方向分配给相应最近的扬声器的实例，
图7根据本发明的实施例说明由于图6的分配而产生的离散平移函数的实例，
图8根据本发明的实施例说明从离散平移函数创建平滑平移函数的方法的实例，
图9根据本发明的实施例说明平滑平移函数的实例，
图10根据本发明的实施例说明经功率补偿的平滑平移函数的实例，
图11说明关于经平移到扬声器的中间信号格式的分量音频信号的平移函数的实例，
图12根据本发明的实施例说明将球上的所采样到达方向分配给3D扬声器阵列中的相应最近扬声器的实例，
图13为根据本发明实施例示意性说明将中间信号格式的音频信号转换为适于由扬声器阵列播放的一组扬声器馈送的方法的实例的流程图，
图14为示意性说明图13的方法的步骤的细节的实例的流程图，及
图15为示意性说明图13的方法的另一步骤的细节的实例的流程图。
贯穿图式，出于简洁的原因，相同或对应参考符号表示相同或对应部分，且可以省略其重复描述。
具体实施方式
广义上讲，本发明涉及一种用于利用线性操作(例如，矩阵操作)来转换多信道空间格式信号以在扬声器阵列上播放的方法。可以选择矩阵以便与目标平移函数(目标扬声器平移函数)紧密匹配。可以通过首先形成离散平移函数且然后将平滑应用于离散平移函数来定义目标扬声器平移函数。可以取决于到最接近(最近)扬声器的距离，以根据方向而变化的方式应用平滑。
接下来，将给出必要的定义，然后给出本发明的实例实施例的详细描述。
扬声器平移函数
音频场景可以被认为是一或多个分量音频信号的聚合，其中的每一者从相应到达方向入射到听众。这些音频分量信号可以对应于可以在空间中移动的音频对象(音频源)。假设K指示分量音频信号的数目(K≥1)，且对于分量音频信号k(其中1≤k≤K)，定义：
信号：
Figure BDA0002315786710000071
方向：Φk(t)∈S2 (2)
此处，S2为指示单位2球面的共用数学符号。
到达方向Φk(t)可以被定义为单位矢量Φk(t)＝(xk(t),yk(t),zk(t))，其中
Figure BDA0002315786710000072
Figure BDA0002315786710000073
在此状况下，音频场景被称作为3D音频场景，且允许方向空间为单位球面。在某些情况下，如果将分量音频信号限制在水平平面中，那么可以假定zk(t)＝0，且在此状况下，音频场景将被称作为2D音频场景(且Φk(t)∈S1，其中S1定义1球面，其也被称作为单位圆)。在后一种状况下，允许方向空间可以为单位圆。
图1示意性地说明在扬声器播放***旨在为听众7提供从位置5发出的分量音频信号的感觉的状况下，扬声器2、3、4、6在听众7周围的布置1的实例。例如，可以通过将适当的信号供应到附近的扬声器3和4来创建期望的听众体验。为了简单起见，而非意欲限制，图1说明适于2D音频场景的播放的扬声器布置。
以下术语可以定义为：扬声器的数目；特定扬声器；意欲用于扬声器的信号；分量音频信号的数目；特定分量
S：扬声器的数目 (3)
s：特定扬声器(1≤s≤S) (4)
D′s(t)：意欲用于扬声器的信号 (5)
K：分量音频信号的数目 (6)
k：特定分量(1≤k≤K) (7)
每一扬声器信号(扬声器馈送)D′s(t)可以作为分量音频信号O1(t),…,OK(t)的线性混合而创建：
Figure BDA0002315786710000074
在上文中，系数gk,s(t)可能会随时间变化。为了方便起见，可以将这些系数一起分组为列矢量(每分量音频信号一个)：
Figure BDA0002315786710000081
＝F′(Φk(t)) (10)
所述系数可经确定，使得对于每一分量音频信号，对应增益矢量Gk(t)为分量音频信号Φk(t)的方向的函数。函数F′()可以被称作为扬声器平移函数。
返回到图1，分量音频信号k可能以方位角φk定位(以使得Φk(t)＝(cosφk,sinφk,0))，且因此可以使用扬声器平移函数来计算列矢量，Gk(t)＝F′(Φk(t))。
Gk(t)将为[S×1]列矢量(由元素gk,1(t),…,gk,S(t)组成)。此平移矢量在
Figure BDA0002315786710000082
Figure BDA0002315786710000083
的情况下被认为是保幂的，其其在
Figure BDA0002315786710000084
的情况下被认为是保幅的。
当扬声器阵列物理上较大(相对于音频信号的波长)时，期望保幂的扬声器平移函数；而当扬声器阵列较小(相对于音频信号的波长)时，期望保幅扬声器平移函数。
可以将不同的平移系数应用于不同的频带。上述情形可以通过多种方法来实现，包含：
●在重新组合子带以产生最终扬声器信号之前，将每一分量音频信号***为多个子带信号，并将不同的增益系数应用于不同的子带
●通过在不同频率下提供不同增益的滤波器替换增益函数中的每一个(如由方程式(8)中的系数gk,s(t)所指示)
将上述增益混合方法(根据方程式(8))扩展到频率相关的方法是直接的，且可以使用适当的技术以频率相关的方式来应用本发明中所描述的方法。
图2(其将在下文更详细地论述)示意性地说明将分量音频信号Ok(t)转换为扬声器信号D′1(t)、…、D′S(t)的实例。
空间格式
上文方程式(10)中定义的扬声器平移函数F′()为关于扬声器的位置确定的。扬声器s可以(相对于听众)定位在由单位矢量Ps定义的方向上。在此状况下，扬声器平移函数必须知道扬声器的位置(P1,…,PS)(如图2中所展示)。
替代地，可以定义空间平移函数F()，使得F()与扬声器布局无关。图4示意性地说明空间平移器(使用空间平移函数F()构建)，所述空间平移器产生空间格式音频输出(例如，空间信号格式(空间音频格式)的音频信号)作为中间信号格式(中间音频格式)的实例，然后随后将其渲染(例如，通过空间渲染器过程或空间渲染操作)以产生扬声器信号(D1(t),…,DS(t))。
值得注意的是，如在图4中所展示，空间平移器未提供有扬声器位置P1,…,PS的知识。
此外，空间渲染器过程(其将空间格式的音频信号转换为扬声器信号)通常将为固定矩阵(例如，特定于相应中间信号格式的固定矩阵)，以使得：
Figure BDA0002315786710000091
或
D＝H×A (12)
通常，可以借助空间平移函数从输入音频信号获得中间信号格式的音频信号。这包含在声域中执行空间平移的状况。即，可以通过使用适当的麦克风阵列(麦克风阵列可以特定于所期望的中间信号格式)捕获音频场景来生成中间信号格式的音频信号。在此状况下，空间平移函数可以被认为是通过用于捕获音频场景的麦克风阵列的特性来实施。此外，可以将后处理应用于捕获结果，以产生中间信号格式的音频信号。
本发明涉及将如上文所描述的中间信号格式(例如，空间格式)的音频信号转换为适于由扬声器阵列播放的一组扬声器馈送(扬声器信号)。下文将描述中间信号格式的实例。中间信号格式的共同点为其具有多个分量信号(例如，信道)。
在下文中，将参考空间格式，但非既定限制性。应理解，本发明涉及任何种类的中间信号格式。此外，贯穿本发明，表达中间信号格式、空间信号格式、空间格式、空间音频格式等可以互换使用，但非既定限制性。
术语
可获得数种空间格式的实例(通常，为中间信号格式)，包含以下：
高保真立体声为4信道音频格式，通常用于存储和传输已使用多音圈声场麦克风捕获的音频场景。高保真立体声是由以下空间平移函数定义：
Figure BDA0002315786710000092
高阶高保真立体声(HOA)与高保真立体声相比为一种多信道音频格式，通常用于存储和传输具有更高空间分辨率的音频场景。L阶高阶高保真立体声空间格式由(L+1)2信道组成。高保真立体声为高阶高保真立体声的特殊状况(设置L＝1)。例如，当L＝2时，HOA的空间平移函数为[9×1]列矢量：
Figure BDA0002315786710000101
二维高阶高保真立体声(HOA2D)为一种多信道音频格式，通常用于存储和传输2D音频场景。L阶2D高阶高保真立体声空间格式由2L+1信道组成。例如，当L＝3时，HOA2D的空间平移函数为[7×1]列矢量：
Figure BDA0002315786710000102
存在关于HOA平移增益矢量中的分量的缩放和排序的多种约定。在“N3D”缩放约定的情况下，方程式(14)中的实例展示按高保真立体声信道编号(“ACN”)次序布置的矢量的9个分量。此处给出的HOA2D实例使用“N2D”缩放。术语“ACN”、“N3D”和“N2D”在所属领域中为已知的。此外，在本发明的上下文中其它次序和约定是可行的。
相比之下，方程式(13)中定义的高保真立体声平移函数使用常规高保真立体声信道排序和缩放约定。
通常，基于平移函数(例如本文中所描述的函数F()或F′())生成的任何多信道(多分量)音频信号均为空间格式。这意味着可以将常见的音频格式(例如，立体声、定向逻辑(Pro-Logic)立体声、5.1、7.1或22.2(如所属领域中已知的))视为空间格式。
空间格式为音频场景的存储和传输提供方便的中间信号格式。音频场景的质量在其以空间格式包含时通常随空间格式中的信道的数目N而变化。例如，与9信道二阶HOA空间格式信号相比，16信道三阶HOA空间格式信号将支持更高质量的音频场景。
当应用于空间格式时，在空间分辨率方面，“质量”可以被量化。空间分辨率可以为角度分辨率ResA，以下将对其进行参考，但非既定限制性。在本发明的上下文中，空间分辨率的其它概念也是可行的。较高质量的空间格式将被指派为为较小的(在更好的意义上)角度分辨率，从而指示空间格式将为听众提供角度误差较小的音频场景的渲染。
对于L阶的HOA和HOA2D格式，ResA＝360/(2L+1)，但也可以使用其它定义。
扬声器平移函数
图2说明可借以将每一分量音频信号Ok(t)渲染到S信道扬声器信号(D′1、…、D′S)的过程的实例，假定分量音频信号在时间t以Φk(t)定位。扬声器渲染器63在知道扬声器位置64的情况下进行操作，并从输入音频信号61创建经平移扬声器格式信号(扬声器馈送)65，所述输入信号通常为K个单分量音频信号(例如，单声道音频信号)的集合及其相关联的分量音频位置(例如，到达方向)，例如分量音频位置62。图2展示在将其应用于输入音频信号时的此过程。实际上，对于K分量音频信号中的每一个，将应用相同的扬声器渲染器过程，且每一过程的输出将一起求和：
Figure BDA0002315786710000111
方程式(16)认为，在时间t，扬声器渲染器63的S信道音频输出65表示为D′(t)，[S×1]列矢量，且根据由F′(Φk(t))计算的[S×1]列增益矢量，对每一分量音频信号Ok进行缩放并加入到此S信道音频输出中。
F′()被称作为扬声器平移函数，用于将输入音频信号直接平移到扬声器信号(扬声器馈送)。值得注意的是，扬声器平移函数F′()是根据扬声器位置64的知识定义的。扬声器平移函数F′()的目的是将(输入音频信号的)分量音频信号处理为扬声器信号，以确保向位于扬声器阵列的中心处或其附近的听众提供尽可能接近地匹配原始音频场景的聆听体验。
设计扬声器平移函数的方法在所属领域中为已知的。可能的实现方案包包含所属领域中已知的基于矢量的振幅平移(VBAP)。
目标平移函数
本发明寻求提供一种用于确定用于渲染中间信号格式的音频信号的渲染操作(例如，空间渲染操作)的方法，所述渲染操作在被应用于中间信号格式的音频信号时近似从输入音频信号直接平移到扬声器信号的结果。
然而，替代如上文所描述尝试近似扬声器平移函数F′()(例如，通过VBAP获得的扬声器平移函数)，本发明提出近似替代平移函数F″()，其将被称作为目标平移函数。特定来说，本发明提出用于近似的目标平移函数，所述近似具有使得可以减少或完全避免最终的扬声器输出中不期望的听觉伪影的性质。
假定到达方向Φk，目标平移函数将目标平移增益计算为[S×1]列矢量G″＝F″(Φk)。
图5展示具有相关联平移函数F″()(目标平移函数)的扬声器渲染器68的实例。扬声器渲染器68的S信道输出信号69经表示为D″1、…、D″S。
此S信道信号D″1、…、D″S并非经设计为提供最佳的扬声器播放体验。替代地，目标平移函数F″()被设计为关于实施空间渲染器的合适中间步骤，如将在下文更详细地描述。即，目标平移函数F″()为针对确定空间平移函数(例如，渲染操作)中的近似而优化的平移函数。
使用空间格式近似目标平移函数
本发明描述一种通过使用空间格式(作为中间信号格式的实例)作为中间信号来近似图2中的扬声器渲染器63的行为的方法。
图4展示空间平移器71和空间渲染器73。空间渲染器71以与图2中的扬声器渲染器63相似的方式操作，其中扬声器平移函数F′()被空间平移函数F()代替：
Figure BDA0002315786710000121
在方程式(17)中，空间平移函数F()返回[N×1]列增益矢量，以使得将每一分量音频信号平移到N信道空间格式信号A中。值得注意的是，通常将在不知道扬声器位置64的情况下定义空间平移函数F()。
空间渲染器73执行渲染操作(例如，空间渲染操作)，所述渲染操作例如可以通过线性混合矩阵根据方程式(11)实现为线性操作。本发明涉及确定此渲染操作。本发明的实例实施例涉及确定矩阵H，所述矩阵将确保图4中的空间渲染器73的输出74与图5中的扬声器渲染器68的输出69(其基于目标平移函数F″())紧密匹配。
可以选择混合矩阵的系数，例如H，以便提供旨在近似于目标平移函数的空间平移函数的加权和。例如在美国专利8,103,006中对此进行了描述，所述美国专利以全文引用的方式并入本文中，且其中方程式8描述混合空间平移函数以便近似最接近的扬声器振幅平移增益曲线。
值得注意的是，球谐函数系列形成对球面上定义的有界连续函数形成近似的基础。此外，有限傅里叶级数形成形成圆上定义的有界连续函数的近似值的基础。3D和2D HOA平移函数实际上分别与球谐函数和傅立叶级数函数相同。
因此，下文描述的方法的目的是找到提供最佳近似的矩阵H：
F″(Vr)≈H×F(Vr)对于r，1≤r≤R (18)
其中Vr为单位球面或单位圆上的一组到达方向(例如，由采样点表示)(分别用于3D或2D状况)。
图13根据本发明的实施例示意性地说明将中间信号格式(例如，空间信号格式、空间音频格式)的音频信号转换为适于由扬声器阵列播放的一组扬声器馈送的方法的实例。中间信号格式的音频信号可以借助空间平移函数(例如，以上文参考方程式(19)所描述的方式)从输入音频信号(例如，多分量输入音频信号)获得。也可以通过使用适当麦克风阵列(例如，高保真立体声麦克风音圈等)捕获音频场景，在声域中执行空间平移(对应于空间平移函数)。
在步骤S1310处，确定扬声器阵列的离散平移函数。离散平移函数可以为用于将输入音频信号(例如，由具有相应到达方向的一组分量定义)平移到扬声器阵列的扬声器馈送的平移函数。离散平移函数在其(仅)针对多个到达方向中的每一个定义扬声器阵列中的每一扬声器的离散平移增益的意义上可以为离散的。这些到达方向可以为近似或基本上均匀分布的到达方向。通常，到达方向可以包含在一组预定的到达方向。对于2D状况，到达方向(以及扬声器的位置)可以在单位圆S1上定义(作为采样点或单位矢量)。对于3D状况，到达方向(以及扬声器的位置)可以在单位球面S2上定义(作为采样点或单位矢量)。下面将参考图15以及图6和图7更详细地描述确定离散平移函数的方法。
在步骤S1320处，基于离散平移函数确定目标平移函数F″()。这可能涉及平滑离散平移函数。下文将更详细地描述用于确定目标平移函数F″()的方法。
在步骤S1330处，确定用于将中间信号格式的音频信号转换为所述组扬声器馈送的渲染操作(例如，矩阵操作H)。此确定可以基于目标平移函数F″()和空间平移函数F()。如上文所描述，此确定可以涉及近似由目标平移函数F″()定义的平移操作的输出，如例如在方程式(20)中所展示。换句话说，确定渲染操作可以涉及使由空间平移函数和用于渲染操作的候选者的组合所定义的第一平移操作的输出或结果(例如，在扬声器馈送或扬声器增益方面)和由目标平移函数F″()所定义的第二平移操作的输出或结果(例如，在扬声器馈送或扬声器增益方面)之间在误差函数方面的差异最小化。例如，可以对作为到第一和第二平移操作的输入的一组音频分量信号方向(例如，均匀分布的音频分量信号方向){Vr}执行使所述差异最小化。
所述方法可以进一步包含将在步骤S1330处确定的渲染操作应用于中间信号格式的音频信号，以便生成所述组扬声器馈送。
可以在最小平方意义上满足步骤S1330处的前述近似(例如，前述使差异最小化)。因此，可以选择矩阵H，以便使误差函数err＝|F″(Vr)-H×F(Vr)|F(其中|□|F指示矩阵的弗罗贝尼乌斯(Frobenius)范数)最小化。还应了解，在确定误差函数时可以使用其它准则，这将导致矩阵H的替代值。
然后，可根据图14中示意性说明的方法来确定矩阵H。
在步骤S1410处，确定(例如，选择)一组到达方向{Vr}。例如，可以确定一组R到达方向单位矢量(Vr:1≤r≤R)。所述R到达方向单位矢量可以为大致均匀地散布在允许方向空间(例如，用于3D场景的单位球面或用于2D场景的单位圆)上。
在步骤S1420处，基于所述组到达方向{Vr}和空间平移函数F()，确定(例如，运算、计算)空间平移矩阵M。例如，可以使用空间平移函数F()，针对所述组到达方向确定空间平移矩阵M。即，可以形成[N×R]空间平移矩阵M，其中使用空间平移函数F()，例如，经由Mr＝F(Vr)来计算列r。此处，N为如上文所描述的中间信号格式的信号分量的数目。
在步骤S1430处，基于所述组到达方向{Vr}和目标平移函数F″()，确定(例如，运算、计算)目标平移矩阵T。例如，可以使用目标平移函数F″()，针对所述组到达方向确定目标平移矩阵(目标增益矩阵)T。即，可以形成[S×R]目标平移矩阵T，其中使用目标平移函数F″()，例如，经由Tr＝F″(Vr)来计算列r。
在步骤S1440处，确定(例如，运算、计算)空间平移矩阵M的逆或伪逆。逆或伪逆可以为所属领域的技术人员熟悉的穆尔-彭罗斯伪逆。
最后，在步骤S1450处，基于目标平移矩阵T和空间平移矩阵的逆或伪逆来确定(例如，运算、计算)表示渲染操作的矩阵H。例如，H可以根据以下方程式计算：
H＝T×M+ (21)
在方程式(21)中，□+运算符指示穆尔-彭罗斯伪逆。尽管方程式(21)使用了穆尔-彭罗斯伪逆，但在此阶段也可以使用其它获得逆或伪逆的方法。
在步骤S1410中，可以将所述组到达方向单位矢量(Vr:1≤r≤R)均匀地散布在容许方向空间上。如果音频场景为2D音频场景，那么允许方向空间将为单位圆，且可以生成一组统一采样的到达方向矢量，例如：
Figure BDA0002315786710000141
此外，如果音频场景为3D音频场景，那么允许方向空间将为单位球面，且可以使用多种不同的方法来生成一组在其分布中大致均匀的单位矢量。一种实例方法为蒙特卡洛(Monte-Carlo)方法，通过所述方法可以随机选择每一单位矢量。例如，如果运算符
Figure BDA0002315786710000154
指示生成高斯分布随机数的过程，那么对于每一r，Vr可以根据以下程序确定：
1.确定由三个随机生成的数字组成的矢量tmpr：
Figure BDA0002315786710000151
2.根据以下方程式确定Vr：
Figure BDA0002315786710000152
其中|□|运算指示矢量
Figure BDA0002315786710000153
的2范数。
所属领域的技术人员将了解，可以对到达方向单位矢量(Vr:1≤r≤R)做出替代选择。
实例场景
接下来，将更详细地描述实施上述方法的实例场景。在此实例中，要渲染的音频场景为2D音频场景，以使得允许方向空间为单位圆。此实例的播放环境中的扬声器的数目为S＝5。扬声器全部位于水平面(因此其均与聆听位置处于同一高度)。五个扬声器按以下方位角定位：P1＝20°、P2＝115°、P3＝190°、P4＝275°和P5＝305°。
在图3中标绘可能在图2的***中使用的典型扬声器平移函数F′()的实例。此标绘图说明当分量音频信号的方位角从0变化到360°时，将分量音频信号平移到5信道扬声器信号(扬声器馈送)的方式。实线21指示扬声器1的增益。垂直线指示扬声器的方位角位置，以使得线11指示扬声器1的位置，线12指示扬声器2的位置，以此类推。虚线指示其它四个扬声器的增益。
接下来，将描述旨在在上述扬声器布置上播放的空间平移器和空间渲染器(根据图4)的实施方案。在此实例中，空间平移函数F()被选择为三阶HOA2D函数，如先前在方程式(15)中所定义。
此外，在此实例中到达方向矢量(到达方向)的数目被选择为R＝30，而到达方向矢量则根据方程式(22)选择(因此，方向到达矢量对应于以12°间隔均匀间隔的方位角：0°、12°、24°、…、348°)。因此，目标平移矩阵(目标增益矩阵)T将为[5×30]矩阵。
选择到达方向矢量后，可以计算[7×30]空间平移矩阵M，例如，使得列r由Mr＝F(Vr)给出。
目标平移矩阵T是使用目标平移函数F″()计算的。此目标平移函数的实施方案将稍后进行描述。
图10展示本实例中目标平移矩阵T的元素的标绘图。所述[5×30]矩阵T被展示为五个单独的曲线，其中水平轴对应于到达方向矢量的方位角。实线19指示目标平移矩阵T的第一行中的30种元素，指示扬声器1的目标增益。垂直线指示扬声器的方位角位置，以使得线11指示扬声器1的位置，线12指示扬声器2的位置，以此类推。虚线分别指示目标平移矩阵T的其余四行中的30个元素，指示其余四个扬声器的目标增益。
基于上文所描述的场景，且针对[5×30]矩阵T所选择的值，[5×7]矩阵H可被计算为：
Figure BDA0002315786710000161
使用此矩阵H，对于位于任何方位角的分量音频信号，可以确定图4中所展示的***的总输入到输出平移函数，如图11中所展示。将看出，此标绘图中的5条曲线为图10中离散采样曲线的近似值。
图11中展示的曲线显示了以下理想特征：
1.当分量音频信号位于与扬声器(在实例中为20°)大致相同的方位角时，第一扬声器的增益曲线20具有其峰值增益
2.当分量音频信号平移到115°和305°之间的方位角(最接近第一扬声器的两个扬声器的位置)时，增益值接近于零(如由曲线中的小波动指示)
曲线的这些理想属性，例如图11中所展示的那些属性，是由于仔细选择目标平移函数F″()导致的，因为此函数用于生成目标平移矩阵(目标增益矩阵)T。值得注意的是，这些期望的性质不是本实例所特有的，且通常是根据本发明的实施例的方法的优点。
重要的是应注意，在图11中标绘的输入到输出平移函数与在图3中显示的最佳扬声器平移曲线不同。从理论上讲，如果可以定义确保这两个标绘图(图11和图3)相同的矩阵H，那么将实现空间渲染器的最佳主观性能。
不幸的是，选择分辨率有限的中间信号格式(例如，空间格式)(例如本实例中的三阶HOA2D)使得无法在图11和图3之间实现完美匹配。很有说服力的是，如果完美匹配不可能，那么可能希望根据最小平方误差err′＝|F′(Vr)-H×F(Vr)|F来使这两个标绘图尽可能接近地彼此匹配。然而，这将导致本发明寻求减少或完全避免的不期望的听觉伪影。
因此，如上文所指示，本发明提出尝试使误差err＝|F″(Vr)-H×F(Vr)|F最小化，而不是阐释使误差err′＝|F′(Vr)-H×F(Vr)|F最小化。
换句话说，本发明提出基于渲染操作(例如，由矩阵H实施)来实施空间渲染器，所述渲染操作被选择为模拟目标平移函数F″()而不是扬声器平移函数F′()。目标平移函数F″()的目的是为渲染操作的创建提供目标(例如，矩阵H)，以使得由空间平移器和空间渲染器(例如，如图4中所展示)实现的总输入到输出平移函数将提供出色的主观聆听体验。
确定目标平移函数
如上文参考图13所描述，根据本发明的实施例的方法用于通过首先确定特定的目标平移函数F″()来创建出色的矩阵H。为此，在步骤S1310处，确定离散平移函数。接下来将部分地参考图15来描述离散平移函数的确定。
如上文所指示，离散平移函数为多个到达方向(例如，预定的一组到达方向)中的每一个以及扬声器阵列中的扬声器中的每一个定义(离散)平移增益。从这个意义上讲，离散平移函数可以但非既定限制性由离散平移矩阵J表示。
离散平移矩阵J可以确定如下：
1.确定多个到达方向。多个到达方向可以由一组Q到达方向(到达方向单位矢量；Wq:1≤q≤Q))表示。所述Q到达方向单位矢量可以为大致均匀地散布在允许方向空间(例如，单位球面或单位圆)。此过程类似于用于在图14中的步骤S1410处产生到达方向矢量(Vr:1≤r≤R)的过程。在实施例中，可以设置所有1≤r≤R的Q＝R和Qr＝Vr。
2.将阵列J定义为[S×Q]阵列。最初，将此阵列的所有S×Q元素设置为零。
3.然后根据图15的方法确定阵列J的元素(离散平移增益)，其步骤针对阵列J的每一条目(即，针对Q到达方向中的每一个和针对扬声器中的每一个)执行。
在步骤S1510处，确定相应到达方向是否在距离函数方面离相应扬声器比离另一扬声器更远(即，是否存在比相应扬声器更接近于相应到达方向的任何扬声器)。如果相应到达方向离相应扬声器比另一扬声器更远，那么将相应离散平移增益确定为零(即，设置为零或保持为零)。如上文所指示，在将阵列J的元素初始化为零的状况下，可以省略此步骤。
在步骤S1520处，确定相应到达方向是否在距离函数方面比任何其它扬声器更接近于相应扬声器。如果相应到达方向更接近于相应扬声，那么确定相应离散平移增益等于离散平移函数的最大值(即，设置为所述值)。例如，离散平移函数的最大值(例如，阵列J的条目的最大值)可以为一(1)。
换句话说，对于每一扬声器，在距离函数方面比任何其它扬声器更接近于所述扬声器的那些到达方向的离散平移增益可以设置为所述最大值。另一方面，在距离函数方面，与离另一扬声器相比离所述扬声器更远的那些到达方向的离散平移增益可以设置为零或保持为零。对于每一到达方向，离散平移增益在扬声器上求和时，可总计为离散平移函数的最大值，例如，总计为1。
在到达方向具有两个或多于两个最接近(最近)扬声器(在相同距离处)的状况下，到达方向和两个或多于两个最接近扬声器的相应离散平移增益可以彼此相等，且可以为一个离散平移函数的最大值的整数部分。然后，同样在此状况下，在扬声器阵列的扬声器上，此到达方向的离散平移增益的和产生最大值(例如，1)。
上述步骤相当于对每一到达方向q(其中1≤q≤Q)执行的以下处理：
(a)根据距离函数dists＝d(Ps,Wq)，确定每一扬声器离点Wq的距离。在非既定限制的情况下，距离函数d()可以被定义为
Figure BDA0002315786710000181
其为两个单位矢量之间的角度。距离函数d()的其它定义在本发明的上下文中也是可行的。例如，可以选择允许方向空间上的任何度量作为距离函数d()。
(b)将最接近于点Wq的所述组扬声器确定为
Figure BDA0002315786710000182
且针对每一扬声器
Figure BDA0002315786710000183
设置Js,q＝1/m，其中m为所述组
Figure BDA0002315786710000184
中的元素的数目。
所得的矩阵J将为稀疏的(矩阵中的大多数条目为零)，使得每一列中的元素加总到1(作为离散平移函数的最大值的实例)。
图6说明借以将每一到达方向单位矢量Wq分配给“最近扬声器”的过程。在图6中，到达方向单位矢量16(其以48°的方位角定位)例如用圆圈标记，指示其最接近于第一扬声器的方位角11。
因此，如从图6可看见，离散平移功能为通过将多个到达方向中的每一到达方向与在距离函数方面最接近(最近)于所述到达方向的扬声器阵列中的扬声器相关联来确定的。
图7展示矩阵J的标绘图。J的稀疏性在这些曲线的形状中很明显(其中大多数曲线在大多数方位角下呈现零值)。
如上文所描述，在步骤S1320处，通过平滑离散平移函数，基于离散平移函数确定目标平移函数F″()。平滑离散平移函数可以涉及：对于扬声器阵列中的每一扬声器s，对于给定的到达方向Φ，通过针对以给定到达方向Φ为中心的窗口内的多个到达方向中的到达方向Wq，计算相应扬声器s的离散平移增益Js,q的加权和，来确定所述到达方向Φ和所述相应扬声器s的平滑平移增益Gs。此处，给定的到达方向Φ不一定为多个到达方向{Wq}中的到达方向。换句话说，平滑离散平移函数还可能涉及到达方向q之间的插值。
在上文中，可以基于给定的到达方向Φ与扬声器阵列中的最接近(最近)扬声器之间的距离来确定对于给定的到达方向Φ的窗口的大小。例如，可以根据APs＝d(Ps,Φ)来确定给定的到达方向Φ离扬声器中的每一个的距离(例如，角距离)APs。然后，给定的到达方向Φ与扬声器阵列中的最接近(最近)扬声器之间的距离可以由量SpeakerNearness＝min(APs,s＝1..S)给出。窗口的大小可以与给定的到达方向Φ与扬声器阵列中的最接近(最近)扬声器之间的距离正相关。此外，当确定窗口的大小时，可以考虑所讨论的中间信号格式的空间分辨率(例如，角分辨率)。例如，对于L阶的HOA和HOA2D空间格式，可以将角分辨率(作为空间分辨率的实例)定义为ResA＝360/(2L+1)。在本发明的上下文中，空间分辨率的其它定义也是可行的。通常，空间分辨率可以与中间信号格式的分量(例如，信道)的数目(例如，对于HOA2D，为2L+1)负(例如，逆)相关。当考虑空间分辨率时，窗口的大小可能取决于给定的到达方向Φ和扬声器阵列中最接近(最近)扬声器之间的距离和空间分辨率中较大的一个(例如，可与其正相关)。即，窗口的大小可以取决于数量Spread Angle＝max(ResA,SpeakerNearness)(例如，可以与其正相关)。因此，如果给定的到达方向离最接近(最近)扬声器较远，那么窗口会更大。空间分辨率为窗口的大小提供了下限，以确保平滑平移函数(即，目标平移函数)的平滑和表现良好的近似。
此外，在上文中，计算加权和可以涉及，对于窗口内的多个到达方向中的每一到达方向q，基于给定的到达方向Φ和相应到达方向q之间的距离确定相应扬声器s和相应到达方向q的离散平移增益Js,q的权重wq。在非既定限制的情况下，此距离可以为角距离，例如，定义为AQq＝d(Wq,Φ)。例如，权重wq可以与给定的到达方向Φ和相应到达方向q之间的距离负(例如，逆)相关。即，较接近于给定到达方向Φ的到达方向q的离散平移增益Js,q将具有比离给定的到达方向Φ更远的到达方向q的离散平移增益Js,q大的权重wq。
在上文中进一步，加权和可以被提高到在0.5和1之间的范围内的指数p的幂。因此，可以执行平滑平移函数(即，目标平移函数)的功率补偿。指数p的范围可能为包含范围。指数p的特定值为0.5和1。设置p＝1确保平滑平移函数为保幅的。设置p＝1/2确保平滑平移函数为保幂的。
接下来将描述实施关于平滑离散平移函数并获得目标平移函数F″()的上述方案的实例处理流程。假定单位矢量Φ(表示给定的到达方向)作为输入，将如下通过此函数返回[S×1]列矢量G：
1.根据AQq＝d(Wq,Φ)，确定单位矢量Φ离到达方向单位矢量(Wq:1≤q≤Q)中的每一个的角距离
2.根据APs＝d(Ps,Φ)，确定单位矢量Φ离扬声器阵列中的扬声器中的每一个的角距离
3.根据SpeakerNearness＝min(APs,s＝1..S)，确定SpeakerNearness
4.根据以下方程式，确定SpreadAngle：
SpreadAngle＝max(ResA,SpeakerNearness)
(25)
5.现在，对于每一到达方向单位矢量(即，对于多个到达方向中的每一到达方向)q，其中1≤q≤Q，根据以下方程式确定加权(即，权重)：
Figure BDA0002315786710000201
其中window(α)可以为单调递减函数，例如，单调递减函数针对其自变量的允许值取在1到0之间的值。例如，可以选择
Figure BDA0002315786710000202
6.现在可以将列矢量G计算为：
Figure BDA0002315786710000203
上述过程从所述组“离散”增益值J中有效地计算“平滑”增益值G＝F″(Φ)。
图8中展示平滑处理的实例，借以根据离散增益值(离散平移增益)83的加权和计算平滑增益值(平滑平移增益)84。同样地，根据离散增益值(离散平移增益)85的加权和计算平滑增益值(平滑平移增益)86。
如上文所指示，平滑过程使用“窗口”，且此窗口的大小将取决于给定的到达方向Φ有所不同。例如，在图8中，经计算用于计算平滑增益值84的SpreadAngle比经计算用于计算平滑增益值86的SpreadAngle大，且上述情形分别反映在跨越框(窗口)83和85的大小的差异中。即，用于计算平滑增益值84的窗口比用于计算平滑增益值86的窗口大。
换句话说，当给定的到达方向Φ接近于一或多个扬声器时，SpreadAngle将变小；而在给定的到达方向Φ离所有扬声器更远时，将变大。
可以将方程式(27)中使用的功率因数(指数)p设置为p＝1，以确保所得的增益矢量(例如，所得的目标平移函数)为保幅的，以使得
Figure BDA0002315786710000204
在图9中标绘所得的增益值。另一方面，可以将功率因数设置为
Figure BDA0002315786710000205
以确保所得的增益矢量为保幂的，以使得
Figure BDA0002315786710000206
通常，功率因数p的值可以设置为介于p＝1/2和p＝1之间的值。例如，功率因数也可以设置为介于1/2和1之间的中间值，例如
Figure BDA0002315786710000207
在图10中标绘用于功率因数的此选择的所得增益值。
距离函数的修改
在计算离散平移矩阵J的程序中，距离函数d()用于确定到达方向(例如，单位矢量Wq)离每一扬声器的距离dists＝d(Ps,Wq)。
可以通过向每一扬声器分配(例如，指派)优先级(例如，优先程度)cs来修改此距离函数。例如，可以指派优先级(例如，优先程度)cs，其中0≤cs≤4。如果cs＝0，那么对应扬声器未被赋予优于其它扬声器的优先级，而cs＝4指示最高优先级。如果指派了优先级，那么到达方向与扬声器阵列中的给定扬声器之间的距离函数也可以取决于给定扬声器的优先程度。偏重于优先级的距离计算于是可能会变为dists＝dp(Ps,Wq,cs)。
例如，如果存在左前扬声器和右前扬声器(对称对，其中其方位角分别最接近于+30°和-30°)，那么其可以被指派最高优先级cs(例如，优先级cs＝4)。此外，如果存在左后扬声器和右后扬声器(对称对，其中其方位角分别最接近于+130°和-130°)，那么其也可以被指派最高优先级(例如，优先级cs＝4)。最后，如果存在中央扬声器(方位角为0°的扬声器)，那么其可以被指派中等优先级(例如，优先级cs＝2)。所有其它扬声器可能未被指派优先级(例如，优先级cs＝0)。
回顾无偏距离函数可以定义为例如
Figure BDA0002315786710000211
有偏(修改)版本可以定义为例如：
Figure BDA0002315786710000212
有偏(修正)距离函数dp()的使用有效地意味着，当到达方向(单位矢量)Wq接近于多个扬声器时，可以选择优先级较高的扬声器作为“最近扬声器”，尽管其可能更远。这将变更离散平移阵列J，以使得较高优先级的扬声器的平移函数将跨越较大的角度范围(例如，将具有较大的在其内离散平移增益不为零的范围)。
扩展到3D
上文给出的一些实例展示当音频场景为2D音频场景时空间渲染器的行为。为了简化说明，已选择在这些实例中使用2D音频场景，因为其使剧情更易于解释。然而，本发明同样适用于具有适当定义的距离函数等的3D音频场景。在图12中展示针对3D状况的“最近扬声器”分配过程的实例。
在图12中，展示Q到达方向单位矢量，例如到达方向(单位矢量)34(大致)均匀分散在单位球面30的表面上方。三个扬声器方向指示为31、32和33。到达方向单位矢量34经标记有“x”符号，指示其最接近于扬声器方向32。以类似的方式，所有到达方向单位矢量都用三角形、十字形或圆形标记，指示其相应最接近的扬声器方向。
其它优势
例如空间渲染器矩阵(例如方程式(8)的实例中的H)的渲染操作(例如，空间渲染操作)的创建为一个过程，所述过程由于要求所得的扬声器信号用于听众而变得困难，且因此所得的“空间渲染器”的质量由主观因素确定。
许多常规的数值优化方法能够确定矩阵H的系数，所述矩阵当对其进行数值评估时，将提供高质量的结果。然而，由于自然音色的损失和/或图像位置不精确的感觉，人类受试者将判断数字最佳空间渲染器不足。
在本发明中提出的方法定义了目标平移函数F″()，其不一定旨在为向扬声器直接渲染提供最佳播放质量，而是在空间渲染器经设计近似目标平移函数时为空间渲染器提供改进的主观播放质量。
将了解到，本文中所描述的方法可以广泛地适用，且还可以应用于例如：
●在多个频带上对音频信号进行操作的音频处理***(例如频域处理)
●可以为各种用例定义的替代声场格式(HOA除外)
本发明的各种实例实施例可以实施在硬件或专用电路、软件、逻辑或其任何组合中。一些方面可以实施在硬件中，而其它方面可以实施在可由控制器、微处理器或其它计算装置执行的固件或软件中。通常，本发明内容应理解为还包括适于执行上文所描述方法的设备，例如具有存储器和耦合到存储器的处理器的设备(空间渲染器)，其中处理器经配置以执行指令并执行根据本发明的实施例的方法。
尽管将本发明的实例实施例的各个方面经说明且描述为框图、流程图或使用一些其它图形表示，但是应了解，本文中所描述的框、装置、***、技术或方法可以实施在以下各项中：作为非限制性实例，硬件、软件、固件、专用电路或逻辑、通用硬件或控制器，或其它计算装置或其某一组合。
另外，流程图中所展示的各中框可以被视为方法步骤，和/或由于计算机程序代码的操作而产生的操作，和/或被视为构造成实施相关联功能的多个耦合逻辑电路元件。例如，本发明的实施例包含一种计算机程序产品，所述计算机程序产品包括有形地体现在机器可读媒体上的计算机程序，其中所述计算机程序包含经配置以实施如上文所描述的方法的程序代码。
在本发明的上下文中，机器可读媒体可以为任何有形媒体，其可以包含或存储由指令执行***、设备或装置使用或与其结合使用的程序。机器可读媒体可以为机器可读信号媒体或机器可读存储媒体。机器可读媒体可以包含但不限于电子、磁性、光学、电磁、红外或半导体***、设备或装置，或前述的任何合适的组合。机器可读存储媒体的更具体实例将包含具有一或多个导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPRO快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或上述的任何合适组合。
可以以一或多种编程语言的任何组合来编写用于实施本发明的方法的计算机程序代码。可以将这些计算机程序代码提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器，以使得所述程序代码在由计算机或其它可编程数据处理设备的处理器执行时导致要实施的流程图和/或框图中指定的功能/操作。所述程序代码可完全执行于计算机上、部分地执行于计算机上、作为独立软件包部分地执行于计算机上及部分地执行于远程计算机上或完全执行于远程计算机或服务器上。
此外，虽然以特定次序绘示操作，但此不应理解为要求以所展示的特定次序或以顺序性次序来执行此类操作，或执行所有所说明的操作以达成所要的结果。在某些情况中，多任务及并行处理可为有利的。同样地，虽然上述论述中含有数个具体的实施细节，但这些不应被解释为对任何发明或可能所主张的范围的限制，而是作为可能特定于特定发明的特定实施例的特征的描述。还可将在本说明书中以单独实施例的上下文中描述的某些特征以组合形式实施于单个实施例中。相反，还可将以单个实施例的上下文中所描述的各种特征单独地或以任一合适子组合的形式实施于多个实施例中。
应注意的是，说明书和图式仅说明所提出的方法和设备的原理。因此将了解，所属领域的技术人员将能够设想各种布置，尽管本文中未明确描述或展示所述各种布置，但其体现本发明的原理且包含于本发明的精神及范围内。此外，本文中所叙述的所有实例在原则上明确打算仅用于教示目的以辅助读者理解所提出方法和设备的原理及发明人贡献于推进此项技术的概念，且应理解为不限于此类具体叙述的实例及条件。此外，本文中引用本发明的原理、方面及实施例的所有陈述以及本发明的特定实例打算囊括其等效形式。
本发明的列举的示范性实施例涉及：
EEE1：一种用于将空间格式信号转换为适于播放到扬声器阵列的一组两个或多于两个扬声器信号的方法，所述方法由矩阵操作组成，其中：(a)所述空间格式信号是根据应用于一或多个分量音频信号的多信道空间平移函数来定义，(b)选择所述矩阵的系数以便使所述扬声器信号和将通过应用到所述分量音频信号的目标平移函数产生的目标扬声器信号之间的差异最小化，以及(c)所述目标平移函数是通过将平滑操作应用于离散平移函数来定义。
EEE2：根据EEE1所述的方法，其中所述离散平移函数近似为将每一到达方向与所述扬声器阵列中的最近扬声器相关联的指示函数。
EEE3：根据EEE2所述的方法，其中通过偏置距离估计以减小与经指派有较高优先级的扬声器相关联的估计距离，修改所述最近扬声器的确定。
EEE4：根据EEE1或EEE2或EEE3所述的方法，其中所述平滑操作形成在平滑方向范围内评估的所述离散平移函数值的加权和，其中所述平滑方向范围的规模随所述分量音频信号的方向而变化，且使得当所述分量音频信号的所述方向远离所述扬声器阵列中的所述最近扬声器时，所述范围的所述规模更大。
EEE5：根据EEE4所述的方法，其中通过提高到位于0.5和1之间范围中的指数的幂来修改所述加权和。
EEE6：根据EEE1至EEE5中任一项所述的方法，其中所述最小化在最小平方的意义上执行。
EEE7：根据EEE6所述的方法，其中对在允许方向空间上大致均匀分布的一组音频分量信号方向执行所述最小化，所述允许方向空间表示所述矩阵操作的主观性能将在其内优化的区域。
EEE 8：一种将中间信号格式的音频信号转换为适于由扬声器阵列播放的一组扬声器馈送的方法，其中可以借助空间平移函数从输入音频信号获得所述中间信号格式的所述音频信号，所述方法包括：
确定所述扬声器阵列的离散平移函数；
基于所述离散平移函数确定目标平移函数，其中确定所述目标平移函数涉及平滑所述离散平移函数；及
基于所述目标平移函数和所述空间平移函数，确定用于将所述中间信号格式的所述音频信号转换为所述组扬声器馈送的渲染操作。
EEE 9：根据EEE 8所述的方法，其中所述离散平移函数针对多个到达方向中的每一个定义所述扬声器阵列中的每一扬声器的离散平移增益。
EEE 10：根据EEE 9所述的方法，其中确定所述离散平移函数涉及针对每一到达方向和针对所述扬声器阵列中的每一扬声器：
如果所述相应到达方向在距离函数方面离所述相应扬声器比离另一扬声器更远，那么确定所述相应平移增益等于零；及
如果所述相应到达方向在所述距离函数方面比任何其它扬声器更接近于所述相应扬声器，那么确定所述相应平移增益等于所述离散平移函数的最大值。
EEE 11：根据EEE 9或10所述的方法，其中通过将每一到达方向与所述扬声器阵列中在距离函数方面最接近于所述到达方向的扬声器相关联来确定所述离散平移功能。
EEE 12：根据EEE 10或11所述的方法，
其中优先程度被指派给所述扬声器阵列中的所述扬声器中的每一个；且
其中到达方向和所述扬声器阵列中的给定扬声器之间的所述距离函数取决于所述给定扬声器的所述优先程度。
EEE 13：根据EEE 9到12中任一项所述的方法，其中平滑所述离散平移函数涉及针对所述扬声器阵列中的每一扬声器：
对于给定的到达方向，通过针对以所述给定到达方向为中心的窗口内的所述多个到达方向中的到达方向，计算所述相应扬声器的所述离散平移增益的加权和，来确定所述到达方向和所述相应扬声器的平滑平移增益。
EEE 14：根据EEE 13所述的方法，其中基于所述给定的到达方向与所述扬声器阵列中最接近的一个之间的距离，确定针对所述给定的到达方向的所述窗口的大小。
EEE 15：根据EEE 13或14所述的方法，其中计算所述加权和涉及对于所述窗口内的所述多个到达方向中的所述到达方向中的每一个，基于所述给定的到达方向和所述相应到达方向之间的距离确定所述相应扬声器和所述相应到达方向的所述离散平移增益的权重。
EEE 16：根据EEE 13到15中任一项所述的方法，其中将所述加权和提高到在0.5和1之间范围中的指数的幂。
EEE 17：根据EEE 8到16中任一项所述的方法，其中确定所述渲染操作涉及使由所述空间平移函数和所述渲染操作的候选者的组合定义的第一平移操作的输出和由所述目标平移函数定义的第二平移操作的输出之间在误差函数方面的差异最小化。
EEE 18：根据EEE 17所述的方法，其中对作为到所述第一平移操作和所述第二平移操作的输入的一组均匀分布的音频分量信号方向执行使所述差异最小化。
EEE 19：根据EEE 17或18所述的方法，其中在最小平方的意义上来使所述差异最小化。
EEE 20：根据EEE8到16中任一项所述的方法，其中确定所述渲染操作涉及：
确定一组到达方向；
基于所述组到达方向和所述空间平移函数确定空间平移矩阵；
基于所述组到达方向和所述空间平移函数确定目标平移矩阵；
确定所述空间平移矩阵的逆或伪逆；及
基于所述目标平移矩阵和所述空间平移矩阵的所述逆或伪逆，确定表示所述渲染操作的矩阵。
EEE 21：根据EEE 8到20中任一项所述的方法，其中所述渲染操作为矩阵操作。
EEE 22：根据EEE 8到21中的任一项所述的方法，其中所述中间信号格式为空间信号格式。
EEE 23：根据EEE 8到22中任一项所述的方法，其中所述中间信号格式为高保真立体声、高阶高保真立体声或二维高阶高保真立体声中的一个。
EEE 24：一种设备，其包括处理器和耦合到所述处理器的存储器，所述存储器存储可由所述处理器执行的指令，所述处理器经配置以执行根据EEE 1到23中任一项所述的方法。
EEE 25：一种其上存储有指令的计算机可读存储媒体，所述指令在由处理器执行时致使所述处理器执行根据EEE 1到23中任一项所述的方法。
EEE 26：一种具有指令的计算机程序产品，所述指令在由计算装置或***执行时致使所述计算装置或***执行根据EEE 1到23中任一项所述的方法。

Claims (13)

1.一种将中间信号格式的音频信号转换为适于由扬声器阵列播放的一组扬声器馈送的方法，其中能够借助空间平移函数从输入音频信号获得所述中间信号格式的所述音频信号，所述方法包括：
确定用于将输入音频信号平移到所述扬声器阵列的所述组扬声器馈送的离散平移函数；
基于所述离散平移函数确定目标平移函数，其中确定所述目标平移函数涉及平滑所述离散平移函数；及
基于所述目标平移函数和所述空间平移函数，确定用于将所述中间信号格式的所述音频信号转换为所述组扬声器馈送的渲染操作，
其中通过将每一到达方向与所述扬声器阵列中在距离函数方面最接近于所述到达方向的扬声器相关联来确定所述离散平移函数，
其中确定所述渲染操作涉及：
确定一组到达方向；
基于所述组到达方向和所述空间平移函数确定空间平移矩阵；
基于所述组到达方向和所述空间平移函数确定目标平移矩阵；
确定所述空间平移矩阵的逆或伪逆；及
基于所述目标平移矩阵和所述空间平移矩阵的所述逆或伪逆，确定表示所述渲染操作的矩阵。
2.根据权利要求1所述的方法，其中所述离散平移函数针对多个到达方向中的每一个定义所述扬声器阵列中的每一扬声器的离散平移增益，其中确定所述离散平移函数涉及针对每一到达方向和针对所述扬声器阵列中的每一扬声器：
如果相应到达方向在距离函数方面离相应扬声器比离另一扬声器更远，那么确定相应平移增益等于零；及
如果所述相应到达方向在所述距离函数方面比任何其它扬声器更接近于所述相应扬声器，那么确定所述相应平移增益等于所述离散平移函数的最大值。
3.根据权利要求2所述的方法，
其中优先程度被指派给所述扬声器阵列中的所述扬声器中的每一个；且
其中到达方向和所述扬声器阵列中的给定扬声器之间的所述距离函数取决于所述给定扬声器的所述优先程度。
4.根据权利要求2或3所述的方法，其中平滑所述离散平移函数涉及针对所述扬声器阵列中的每一扬声器：
对于给定的到达方向，通过针对以所述给定的到达方向为中心的窗口内的所述多个到达方向中的到达方向，计算相应扬声器的所述离散平移增益的加权和，来确定所述到达方向和所述相应扬声器的平滑平移增益。
5.根据权利要求4所述的方法，其中基于所述给定的到达方向与所述扬声器阵列中最接近的一个之间的距离，确定针对所述给定的到达方向的所述窗口的大小。
6.根据权利要求4所述的方法，其中计算所述加权和涉及对于所述窗口内的所述多个到达方向中的所述到达方向中的每一个，基于所述给定的到达方向和相应到达方向之间的距离确定所述相应扬声器和所述相应到达方向的所述离散平移增益的权重。
7.根据权利要求4所述的方法，其中将所述加权和提高到在0.5和1之间范围中的指数的幂。
8.根据权利要求1或2所述的方法，其中确定所述渲染操作涉及使由所述空间平移函数和所述渲染操作的候选者的组合定义的第一平移操作的输出和由所述目标平移函数定义的第二平移操作的输出之间在误差函数方面的差异最小化。
9.根据权利要求8所述的方法，其中对作为到所述第一平移操作和所述第二平移操作的输入的一组均匀分布的音频分量信号方向执行使所述差异最小化。
10.根据权利要求8所述的方法，其中在最小平方的意义上来使所述差异最小化。
11.根据权利要求1或2所述的方法，其中所述中间信号格式为高保真立体声、高阶高保真立体声或二维高阶高保真立体声中的一个。
12.一种用于将空间音频格式转换为扬声器信号的设备，其包括处理器和耦合到所述处理器的存储器，所述存储器存储可由所述处理器执行的指令，所述处理器经配置以执行根据权利要求1到11中任一权利要求所述的方法。
13.一种其上存储有指令的计算机可读存储媒体，所述指令在由处理器执行时致使所述处理器执行根据权利要求1到11中任一权利要求所述的方法。
CN201880039287.5A 2017-05-15 2018-05-14 用于将空间音频格式转换为扬声器信号的方法、***和设备 Active CN110771181B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762506294P 2017-05-15 2017-05-15
EP17170992 2017-05-15
EP17170992.6 2017-05-15
US62/506,294 2017-05-15
PCT/US2018/032500 WO2018213159A1 (en) 2017-05-15 2018-05-14 Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals

Publications (2)

Publication Number Publication Date
CN110771181A CN110771181A (zh) 2020-02-07
CN110771181B true CN110771181B (zh) 2021-09-28

Family

ID=62563279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880039287.5A Active CN110771181B (zh) 2017-05-15 2018-05-14 用于将空间音频格式转换为扬声器信号的方法、***和设备

Country Status (3)

Country Link
US (1) US11277705B2 (zh)
EP (1) EP3625974B1 (zh)
CN (1) CN110771181B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019089322A1 (en) * 2017-10-30 2019-05-09 Dolby Laboratories Licensing Corporation Virtual rendering of object based audio over an arbitrary set of loudspeakers
CN112005210A (zh) * 2018-08-30 2020-11-27 惠普发展公司，有限责任合伙企业 多通道源音频的空间特性
CN113099359B (zh) * 2021-03-01 2022-10-14 深圳市悦尔声学有限公司 一种基于hrtf技术的高仿真声场重现的方法及其应用
GB2611800A (en) * 2021-10-15 2023-04-19 Nokia Technologies Oy A method and apparatus for efficient delivery of edge based rendering of 6DOF MPEG-I immersive audio

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103006B2 (en) * 2006-09-25 2012-01-24 Dolby Laboratories Licensing Corporation Spatial resolution of the sound field for multi-channel audio playback systems by deriving signals with high order angular terms
EP2645748A1 (en) * 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
CN104041074A (zh) * 2011-11-11 2014-09-10 汤姆逊许可公司 处理用于产生声场的高保真度立体声响复制表示的刚性球上的球形麦克风阵列的信号的方法和装置
CN104956695A (zh) * 2013-02-07 2015-09-30 高通股份有限公司 确定用于球面谐波系数的渲染器
CN105284132A (zh) * 2013-05-29 2016-01-27 高通股份有限公司 经变换高阶立体混响音频数据
CN105637901A (zh) * 2013-10-07 2016-06-01 杜比实验室特许公司 空间音频处理***和方法
WO2017036609A1 (en) * 2015-08-31 2017-03-09 Dolby International Ab Method for frame-wise combined decoding and rendering of a compressed hoa signal and apparatus for frame-wise combined decoding and rendering of a compressed hoa signal
CN106575506A (zh) * 2014-08-29 2017-04-19 高通股份有限公司 高阶立体混响音频数据的中间压缩

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP272598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Wavelet conversion of 3-d audio signals
AU6400699A (en) 1998-09-25 2000-04-17 Creative Technology Ltd Method and apparatus for three-dimensional audio display
EP2398257B1 (en) 2008-12-18 2017-05-10 Dolby Laboratories Licensing Corporation Audio channel spatial translation
PL2285139T3 (pl) 2009-06-25 2020-03-31 Dts Licensing Limited Urządzenie i sposób konwersji przestrzennego sygnału audio
US9020152B2 (en) * 2010-03-05 2015-04-28 Stmicroelectronics Asia Pacific Pte. Ltd. Enabling 3D sound reproduction using a 2D speaker arrangement
EP2550813B1 (en) 2010-03-26 2016-11-09 Harman Becker Gépkocsirendszer Gyártó Korlátolt Felelösségü Társaság Multichannel sound reproduction method and device
KR101890229B1 (ko) 2010-03-26 2018-08-21 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
KR20230154111A (ko) 2012-07-16 2023-11-07 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 음장 표현을 렌더링하는 방법 및 장치
EP4207817A1 (en) 2012-08-31 2023-07-05 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
US9197962B2 (en) 2013-03-15 2015-11-24 Mh Acoustics Llc Polyhedral audio system based on at least second-order eigenbeams
TWI557724B (zh) 2013-09-27 2016-11-11 杜比實驗室特許公司 用於將 n 聲道音頻節目編碼之方法、用於恢復 n 聲道音頻節目的 m 個聲道之方法、被配置成將 n 聲道音頻節目編碼之音頻編碼器及被配置成執行 n 聲道音頻節目的恢復之解碼器
EP3444815B1 (en) 2013-11-27 2020-01-08 DTS, Inc. Multiplet-based matrix mixing for high-channel count multichannel audio
US9536531B2 (en) 2014-08-01 2017-01-03 Qualcomm Incorporated Editing of higher-order ambisonic audio data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103006B2 (en) * 2006-09-25 2012-01-24 Dolby Laboratories Licensing Corporation Spatial resolution of the sound field for multi-channel audio playback systems by deriving signals with high order angular terms
CN104041074A (zh) * 2011-11-11 2014-09-10 汤姆逊许可公司 处理用于产生声场的高保真度立体声响复制表示的刚性球上的球形麦克风阵列的信号的方法和装置
EP2645748A1 (en) * 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
CN104205879A (zh) * 2012-03-28 2014-12-10 汤姆逊许可公司 从高阶立体混响声音频信号解码立体声扬声器信号的方法和装置
CN104956695A (zh) * 2013-02-07 2015-09-30 高通股份有限公司 确定用于球面谐波系数的渲染器
CN105284132A (zh) * 2013-05-29 2016-01-27 高通股份有限公司 经变换高阶立体混响音频数据
CN105637901A (zh) * 2013-10-07 2016-06-01 杜比实验室特许公司 空间音频处理***和方法
CN106575506A (zh) * 2014-08-29 2017-04-19 高通股份有限公司 高阶立体混响音频数据的中间压缩
WO2017036609A1 (en) * 2015-08-31 2017-03-09 Dolby International Ab Method for frame-wise combined decoding and rendering of a compressed hoa signal and apparatus for frame-wise combined decoding and rendering of a compressed hoa signal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ambisonic声重发***的优化改进;龚惠哲;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20111015;全文 *
The design of HOA irregular decoders based on the optimal symmetrical virtual microphone response;Rong Zhu;《Signal and Information Processing Association Annual Summit and Conference (APSIPA)》;20150216;全文 *

Also Published As

Publication number Publication date
EP3625974A1 (en) 2020-03-25
CN110771181A (zh) 2020-02-07
US11277705B2 (en) 2022-03-15
US20200178015A1 (en) 2020-06-04
EP3625974B1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
JP7368563B2 (ja) オーディオ再生のためのオーディオ音場表現をレンダリングするための方法および装置
JP7400910B2 (ja) 音声処理装置および方法、並びにプログラム
CN110771181B (zh) 用于将空间音频格式转换为扬声器信号的方法、***和设备
KR102207035B1 (ko) 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
US11438723B2 (en) Apparatus and method for generating a plurality of audio channels
KR102652670B1 (ko) 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US20240163628A1 (en) Apparatus, method or computer program for processing a sound field representation in a spatial transform domain
KR20200111831A (ko) 음성 처리 장치, 정보 처리 방법, 및 기록 매체
US10210872B2 (en) Enhancement of spatial audio signals by modulated decorrelation
WO2018213159A1 (en) Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
EP3488623B1 (en) Audio object clustering based on renderer-aware perceptual difference
WO2018017394A1 (en) Audio object clustering based on renderer-aware perceptual difference
CN116076090A (zh) 具有全向声元素的矩阵编码立体声信号
WO2019118521A1 (en) Accoustic beamforming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant