CN108370485A - 音频信号处理装置和方法 - Google Patents

音频信号处理装置和方法 Download PDF

Info

Publication number
CN108370485A
CN108370485A CN201580084740.0A CN201580084740A CN108370485A CN 108370485 A CN108370485 A CN 108370485A CN 201580084740 A CN201580084740 A CN 201580084740A CN 108370485 A CN108370485 A CN 108370485A
Authority
CN
China
Prior art keywords
transfer function
audio signal
function
pair
right ear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580084740.0A
Other languages
English (en)
Other versions
CN108370485B (zh
Inventor
庞立昀
彼得·格罗舍
克里斯托弗·富勒
亚历克西斯·法夫罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108370485A publication Critical patent/CN108370485A/zh
Application granted granted Critical
Publication of CN108370485B publication Critical patent/CN108370485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及一种用于处理待传输到听者的输入音频信号(101)的音频信号处理装置(100)，所述听者感知来自相对于所述听者的方位角和仰角定义的虚拟目标位置的所述输入音频信号(101)，所述音频信号处理装置(100)包括：存储器(103)，用于存储针对相对于所述听者的多个参考位置预定义的左右耳传输函数对的集合，其中所述多个参考位置位于二维平面中；确定器(105)，用于基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定一对左右耳传输函数；调整滤波器(107)，用于基于所述确定的一对左右耳传输函数和调整函数(109)对所述输入音频信号(101)进行滤波，其中所述调整函数(109)用于将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延以及所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，以获得左耳输出音频信号(111a)和右耳输出音频信号(111b)。

Description

音频信号处理装置和方法
技术领域
本发明通常涉及音频信号处理领域。更具体地，本发明涉及一种允许从虚拟目标位置生成双声道音频信号的音频信号处理装置和方法。
背景技术
人耳能在三维空间中定位声音：范围(距离)，上下方向(仰角)，前后方位(方位角)，以及一侧(右侧或左侧)。耳朵从某个空间点接收到的声音的属性可用头相关传输函数(head-related transfer function，简称HRTF)来表征。因此，针对两耳的一对HRTF可用于合成似乎来自于目标位置，即虚拟目标位置的双声道声音。
许多使用耳机的3D音频应用，如虚拟现实、空间电话会议、虚拟环绕等，需要高质量的HRTF数据集，其包含针对所有必要方向的传输函数。一些HRTF处理形式也包含在计算机软件中，以模拟扬声器的环绕声播放。然而，测量所有方位角的HRTF是一项涉及硬件和材料的繁琐工作。而且，存储测量的HRTF的数据库所需的存储器会非常大。此外，虽然使用个性化HRTF能进一步提高声音体验，但会使3D声音合成过程复杂化。
1993年第27届阿西洛马信号、***与计算机会议上R.O.Duda提出了《头相关传输函数建模》，2002年10月第113届AES大会上V.R.Algazi等人提出了《用于改进的空间声音合成的头部连躯干模型的使用》，由此提出了用于导出HRTF以合成双声道声音的全参数化模型的概念。然而，因为这些模型严重偏离个性化HRTF，对于逼真的双声道声音渲染，获得的HRTF并不够精确。
为了开发一种不会严重偏离个性化(用户特定的)HRTF的用于获得HRTF的方法，已进行了大量研究。2013年H.Gamper在JASA Express Letters发表的《方位角、仰角和距离的头相关传输函数插值》中阐述，3D HRTF插值可用于从测量的HRTF获得期望源位置的估计HRTF。该技术需要在附近位置测量的HRTF，例如四次测量形成的包围期望位置的四面体。此外，该项技术难以实现正确的仰角感知。
因此，需要一种允许从虚拟目标位置生成双声道音频信号的改进的音频信号处理装置和方法。
发明内容
本发明目的在于提供一种允许从虚拟目标位置生成双声道音频信号的改进的音频信号处理装置和方法。
该目的是通过独立权利要求的特征来实现的。结合从属权利要求、说明书和附图，具体实现方式显而易见。
第一方面，本发明涉及一种用于处理待传输到听者的输入音频信号的音频信号处理装置，所述听者感知来自相对于所述听者的方位角和仰角定义的虚拟目标位置的所述输入音频信号，所述音频信号处理装置包括：存储器，用于存储针对相对于所述听者的多个参考位置预定义的左右耳传输函数对的集合，其中所述多个参考位置位于二维平面中；确定器，用于基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定一对左右耳传输函数；调整滤波器，用于基于所述确定的一对左右耳传输函数和调整函数对所述输入音频信号进行滤波，其中所述调整函数用于将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延以及所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，以获得左耳输出音频信号和右耳输出音频信号。
这样，提供了一种允许从虚拟目标位置生成双声道音频信号的改进的音频信号处理装置。尤其地，根据第一方面所述的音频信号处理装置允许通过高效计算，将针对在相对于听者的二维平面中，例如在水平面中(常可用于给定场景)的虚拟目标位置定义的预定义的传输函数的集合扩展到第三维，即扩展到高于或低于该平面的虚拟目标位置。在一例子中，具备以下有益效果：显著减少了存储预定义的传输函数所需的存储器。
所述预定义的左右耳传输函数对的集合可包括预定义的左右耳头相关传输函数对。
所述预定义的左右耳传输函数对的集合可包括测量的左右耳传输函数和/或模型化的左右耳传输函数。这样，如果测量的用户特定的传输函数不可用，根据第一方面所述的音频信号处理装置可使用测量的用户特定的传输函数的数据库，获得更逼真的声音感知或模型化的传输函数。
根据第一方面，在所述音频信号处理装置的第一种可能的实现方式中，所述调整滤波器用于通过补偿与所述虚拟目标位置和所述听者左耳之间的距离以及所述虚拟目标位置和所述听者右耳之间的距离相关联的声音传播时间差，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延调整为所述虚拟目标位置的方位角和/或仰角的函数。
通过引入时延作为虚拟目标位置的方位角和/或仰角的函数，可补偿声音传播时间差，从而听者可获得更逼真的声音感知。
根据第一方面或其第一种实现方式，在所述音频信号处理装置的第二种可能的实现方式中，所述调整滤波器用于基于以下等式，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延调整为所述虚拟目标位置的方位角和/或仰角的函数：
和
其中τL表示应用于所述左耳传输函数的时延，τR表示应用于所述右耳传输函数的时延，τ和Θ基于以下等式来定义：
和
其中τ表示以秒为单位的时延，c表示声速，a表示与听者头部相关联的参数，θ表示所述虚拟目标位置的方位角，φ表示所述虚拟目标位置的仰角。
这样，可通过高效计算来确定用于将声音传播时间差补偿为虚拟目标位置的方位角和/或仰角的函数的时延。
根据第一方面或其第一种或第二种实现方式，在所述音频信号处理装置的第三种可能的实现方式中，所述调整滤波器用于基于多个无限脉冲响应滤波器，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，其中所述多个无限脉冲响应滤波器用于将多对测量的左右耳传输函数的左耳传输函数和右耳传输函数的至少一部分频率相关性近似为所述虚拟目标位置的方位角和/或仰角的函数。
通过IIR滤波器近似测量的传输函数，且仅考虑其主要频谱特征，尤其是与方位角和/或仰角感知相关的频谱特征，可降低计算复杂度。
根据第一方面第三种实现方式，在所述音频信号处理装置的第四种可能的实现方式中，每个无限脉冲响应滤波器的频率相关性由多个预定义的滤波参数定义，其中通过选择所述多个预定义的滤波参数，使得每个无限脉冲响应滤波器的频率相关性将所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的至少一部分频率相关性，尤其是明显频谱特征，如频谱最大值或频谱最小值，近似为所述虚拟目标位置的方位角和/或仰角的函数。
通过滤波参数的有限集合定义每个无限脉冲响应滤波器，只需存储滤波参数以重组测量的传输函数的主要频谱特征，可以节约存储器空间。
根据第一方面第四种实现方式，在所述音频信号处理装置的第五种可能的实现方式中，所述多个无限脉冲响应滤波器包括多个双二阶滤波器，即双二阶滤波器。所述多个双二阶滤波器可以实现为并联滤波器或级联滤波器。优先使用级联滤波器，因其更近似于传输函数的频谱特征。所述多个双二阶滤波器的阶可以不同。
根据第一方面第五种实现方式，在所述音频信号处理装置的第六种可能的实现方式中，所述多个双二阶滤波器包括至少一个倾斜性滤波器和/或至少一个峰值滤波器，其中所述至少一个倾斜性滤波器由截止频率参数f0和增益参数g0定义，所述至少一个峰值滤波器由截止频率参数f0、增益参数g0和带宽参数Δ0定义。
倾斜性和/或峰值滤波器的频率相关性为基于2或3个滤波参数的测量的传输函数的频率相关性提供了良好近似。
根据第一方面第六种实现方式，在所述音频信号处理装置的第七种可能的实现方式中，针对所述多个无限响应滤波器中的至少一个无限脉冲响应滤波器，通过确定频率、方位角和/或仰角，和通过根据所述至少一个无限脉冲响应滤波器的频率相关性近似所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的频率相关性，选择所述多个预定义的滤波参数，其中所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数处于所述频率、方位角和/或仰角时具有最小或最大量值。
这样，可通过高效计算来确定所述预定义的滤波参数。
根据第一方面第六种或第七种实现方式，在所述音频信号处理装置的第八种可能的实现方式中，所述滤波参数，即所述截止频率参数f0、所述增益参数g0和所述带宽参数Δ0基于以下等式确定：
f0＝max(mf，min(Mf，af(φ-φp)2+fp))，
g0＝max(mg，min(Mg，ag(φ-φp)2+gp))，
Δ0＝max(mΔ，min(MΔ，aΔ(φ-φp)2+Δp))，
其中Mf，g，Δ和mf，g，Δ分别表示f，g，Δ的最大和最小值，af，g，Δ表示控制改变对应的滤波设计参数的速度的系数。
根据第一方面或其第一种至第八种实现方式中的任意一种，在所述音频信号处理装置的第九种可能的实现方式中，所述调整滤波器用于将所述调整函数与所述左耳传输函数进行卷积并将所得结果与所述输入音频信号进行卷积以获得所述左耳输出音频信号，和/或将所述调整函数与所述右耳传输函数进行卷积并将所得结果与所述输入音频信号进行卷积以获得所述右耳输出音频信号，从而基于所述确定的一对左右耳传输函数和所述调整函数对所述输入音频信号进行滤波。
根据第一方面或其第一种至第八种实现方式中的任意一种，在所述音频信号处理装置的第十种可能的实现方式中，所述调整滤波器用于将所述左耳传输函数与所述输入音频信号进行卷积并将所得结果与所述调整函数进行卷积以获得所述左耳输出音频信号，和/或将所述右耳传输函数与所述输入音频信号进行卷积并将所得结果与所述调整函数进行卷积以获得所述右耳输出音频信号，从而基于所述确定的一对左右耳传输函数和所述调整函数对所述输入音频信号进行滤波。
根据第一方面或其第一种至第十种实现方式中的任意一种，在所述音频信号处理装置的第十一种可能的实现方式中，所述音频信号处理装置还包括一对换能器，尤其是使用串扰消除的耳机或扬声器，用于输出所述左耳输出音频信号和所述右耳输出音频信号。
根据第一方面或其第一种至第十一种实现方式中的任意一种，在所述音频信号处理装置的第十二种可能的实现方式中，所述预定义的左右耳传输函数对针对相对于所述听者的多个参考位置预定义，所述多个参考位置位于相对于所述听者的水平面中。也就是说，所述预定义的左右耳传输函数对的集合可由多个不同的方位角和一个固定的零仰角的预定义的左右耳传输函数对组成。
根据第一方面或其第一种至第十二种实现方式中的任意一种，在所述音频信号处理装置的第十三种可能的实现方式中，所述确定器用于从针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合中选择一对左右耳传输函数，和/或基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合***一对左右耳传输函数，从而基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定所述一对左右耳传输函数。
第二方面，本发明涉及一种用于处理待传输到听者的输入音频信号的音频信号处理方法，所述听者感知来自相对于所述听者的方位角和仰角定义的虚拟目标位置的所述输入音频信号，所述音频信号处理方法包括：基于针对所述虚拟目标位置的方位角和仰角的预定义的左右耳传输函数对的集合确定一对左右耳传输函数，其中所述预定义的左右耳传输函数对针对相对于所述听者的多个参考位置预定义，所述多个参考位置位于二维平面中；基于所述确定的一对左右耳传输函数和调整函数对所述输入音频信号进行滤波，如通过调整滤波器，其中所述调整函数用于将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延以及所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，以获得左耳输出音频信号和右耳输出音频信号。
根据第二方面，在所述音频信号处理方法的第一种可能的实现方式中，所述调整函数用于通过补偿与所述虚拟目标位置和所述听者左耳之间的距离以及所述虚拟目标位置和所述听者右耳之间的距离相关联的声音传播时间差，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延调整为所述虚拟目标位置的方位角和/或仰角的函数。
根据第二方面或其第一种实现方式，在所述音频信号处理方法的第二种可能的实现方式中，所述调整函数用于基于以下等式，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延调整为所述虚拟目标位置的方位角和/或仰角的函数：
和
其中τL表示应用于所述左耳传输函数的时延，τR表示应用于所述右耳传输函数的时延，τ和Θ基于以下等式来定义：
和
其中τ表示以秒为单位的时延，c表示声速，a表示与听者头部相关联的参数，θ表示所述虚拟目标位置的方位角，φ表示所述虚拟目标位置的仰角。
根据第二方面或其第一种或第二种实现方式，在所述音频信号处理方法的第三种可能的实现方式中，所述调整函数用于基于多个无限脉冲响应滤波器，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，其中所述多个无限脉冲响应滤波器用于将多对测量的左右耳传输函数的左耳传输函数和右耳传输函数的至少一部分频率相关性近似为所述虚拟目标位置的方位角和/或仰角的函数。
根据第二方面第三种实现方式，在所述音频信号处理方法的第四种可能的实现方式中，每个无限脉冲响应滤波器的频率相关性由多个预定义的滤波参数定义，其中通过选择所述多个预定义的滤波参数，使得每个无限脉冲响应滤波器的频率相关性将所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的至少一部分频率相关性，尤其是明显频谱特征，如频谱最大值或频谱最小值，近似为所述虚拟目标位置的方位角和/或仰角的函数。
根据第二方面第四种实现方式，在所述音频信号处理方法的第五种可能的实现方式中，所述多个无限脉冲响应滤波器包括多个双二阶滤波器，即双二阶滤波器。所述多个双二阶滤波器可以实现为并联滤波器或级联滤波器。优先使用级联滤波器，因其更近似于传输函数的频谱特征。所述多个双二阶滤波器的阶可以不同。
根据第二方面第五种实现方式，在所述音频信号处理方法的第六种可能的实现方式中，所述多个双二阶滤波器包括至少一个倾斜性滤波器和/或至少一个峰值滤波器，其中所述至少一个倾斜性滤波器由截止频率参数f0和增益参数g0定义，所述至少一个峰值滤波器由截止频率参数f0、增益参数g0和带宽参数Δ0定义。
根据第二方面第六种实现方式，在所述音频信号处理方法的第七种可能的实现方式中，针对所述多个无限响应滤波器中的至少一个无限脉冲响应滤波器，通过确定频率、方位角和/或仰角，和通过根据所述至少一个无限脉冲响应滤波器的频率相关性近似所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的频率相关性，选择所述多个预定义的滤波参数，其中所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数处于所述频率、方位角和/或仰角时具有最小或最大量值。
根据第二方面第六种或第七种实现方式，在所述音频信号处理方法的第八种可能的实现方式中，所述滤波参数，即所述截止频率参数f0、所述增益参数g0和所述带宽参数Δ0基于以下等式确定：
f0＝max(mf，min(Mf，af(φ-φp)2+fp))，
g0＝max(mg，min(Mg，ag(φ-φp)2+gp))，
Δ0＝max(mΔ，min(MΔ，aΔ(φ-φp)2+Δp))，
其中Mf，g，Δ和mf，g，Δ分别表示f，g，Δ的最大和最小值，af，g，Δ表示控制改变对应的滤波设计参数的速度的系数。
根据第二方面或其第一种至第八种实现方式中的任意一种，在所述音频信号处理方法的第九种可能的实现方式中，所述基于所述确定的一对左右耳传输函数和所述调整函数对所述输入音频信号进行滤波的步骤包括将所述调整函数与所述左耳传输函数进行卷积并将所得结果与所述输入音频信号进行卷积以获得所述左耳输出音频信号的步骤，和/或将所述调整函数与所述右耳传输函数进行卷积并将所得结果与所述输入音频信号进行卷积以获得所述右耳输出音频信号的步骤。
根据第二方面或其第一种至第八种实现方式中的任意一种，在所述音频信号处理方法的第十种可能的实现方式中，所述基于所述确定的一对左右耳传输函数和所述调整函数对所述输入音频信号进行滤波的步骤包括将所述左耳传输函数与所述输入音频信号进行卷积并将所得结果与所述调整函数进行卷积以获得所述左耳输出音频信号的步骤，和/或将所述右耳传输函数与所述输入音频信号进行卷积并将所得结果与所述调整函数进行卷积以获得所述右耳输出音频信号的步骤。
根据第二方面或其第一种至第十种实现方式中的任意一种，在所述音频信号处理方法的第十一种可能的实现方式中，所述音频信号处理方法还包括通过一对换能器，尤其是使用串扰消除的耳机或扬声器，输出所述左耳输出音频信号和所述右耳输出音频信号的步骤。
根据第二方面或其第一种至第十一种实现方式中的任意一种，在所述音频信号处理方法的第十二种可能的实现方式中，所述预定义的左右耳传输函数对针对相对于所述听者的多个参考位置预定义，所述多个参考位置位于相对于所述听者的水平面中。
根据第二方面或其第一种至第十二种实现方式中的任意一种，在所述音频信号处理方法的第十三种可能的实现方式中，所述基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定所述一对左右耳传输函数的步骤包括从针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合中选择一对左右耳传输函数的步骤，或基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合***一对左右耳传输函数的步骤。
根据本发明第二方面所述的音频信号处理方法可以由根据本发明第一方面所述的音频信号处理装置执行。
第三方面，本发明涉及一种计算机程序，包括：程序代码，用于在计算机上执行时执行根据本发明第二方面或其任意一种实现方式所述的音频信号处理方法。
本发明可以以硬件和/或软件形式来实现。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1示出了一实施例提供的一种音频信号处理装置的示意图；
图2示出了一实施例提供的一种音频信号处理装置的一种调整滤波器的示意图；
图3示出了作为固定方位角的仰角的函数的头相关传输函数的数据库的示例性频率大小分析图；
图4示出了一实施例提供的可在音频信号处理装置的调整滤波器中实现的包括倾斜性滤波器和峰值滤波器的多个双二阶滤波器的示意图；
图5示出了一实施例提供的可在音频信号处理装置的调整滤波器中实现的示例性倾斜性滤波器的频率相关性和示例性峰值滤波器的频率相关性的示意图；
图6示出了一实施例提供的音频信号处理装置选择滤波参数的示意图；
图7示出了一实施例提供的音频信号处理装置的一部分的示意图；
图8示出了一实施例提供的音频信号处理装置的一部分的示意图；
图9示出了一实施例提供的音频信号处理装置可用于模拟虚拟扬声器环绕***的耳机上的双声道声音合成的示例性场景示意图；
图10示出了一实施例提供的一种用于处理输入音频信号的音频信号处理方法的示意图。在各附图中，相同的或至少功能等同的特征使用相同的参考标号。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并做出结构或逻辑上的改变。因此，以下详细的描述并不视为具有限制意义，因为本发明的范围由所附权利要求书界定。
例如，可以理解的是，结合所描述的方法的公开内容对于用于执行所述方法的对应设备或***也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备可以包括用于执行所描述方法步骤的单元，即使这样的单元并没有在附图中明确阐述或说明。进一步地，可以理解的是，此处描述的各种示例性方面的特征可以互相结合，除非有特别说明。
图1示出了一种用于处理待传输到听者的输入音频信号101的音频信号处理装置100的示意图，其中所述听者感知来自虚拟目标位置的所述输入音频信号101。在球形坐标***中，所述虚拟目标位置(相对于所述听者)由半径距离r、方位角θ和仰角φ定义。
所述音频信号处理装置100包括存储器103，用于存储针对多个参考位置/方向预定义的左右耳传输函数对的集合，其中所述多个参考位置定义一个二维平面。
此外，所述音频信号处理装置100包括确定器105，用于基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定一对左右耳传输函数。所述确定器105用于针对与所述虚拟目标位置相关联的位置/方向确定所述一对左右耳传输函数，所述虚拟目标位置位于所述多个参考位置定义的所述二维平面中。更具体地，所述确定器105用于针对所述虚拟目标位置/方向在所述多个参考位置定义的所述二维平面上的投射基于所述预定义的左右耳传输函数对的集合确定所述一对左右耳传输函数，从而确定所述一对左右耳传输函数。
在一实施例中，所述确定器105可用于从针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合中选择一对左右耳传输函数，从而基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定所述一对左右耳传输函数。
在一实施例中，所述确定器105可用于基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合***一对左右耳传输函数，例如通过最邻近插值或线性插值，从而基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定所述一对左右耳传输函数。在一实施例中，所述确定器105用于使用线性插值方案、最邻近插值方案或类似的插值方案，基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定一对左右耳传输函数。
此外，所述音频信号处理装置100包括调整滤波器107，用于扩展所述一对左右耳传输函数，所述一对左右耳传输函数由所述确定器105针对所述虚拟目标位置/方向在所述多个参考位置定义的所述二维平面上的投射确定，即投射到“第三维”中，即所述多个参考位置定义的所述二维平面的上方或下方的位置/方向。为此，所述调整滤波器107用于基于所述确定的一对左右耳传输函数和预定义的调整函数M(r，θ，φ)109对所述输入音频信号101进行滤波，其中所述预定义的调整函数M(r，θ，φ)109用于将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延以及所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，以获得左耳输出音频信号111a和右耳输出音频信号111b。
在一示例性实施例中，所述预定义的左右耳传输函数对的集合包括水平面上四对预定义的左右耳传输函数，即仰角φ＝0°。所述四对预定义的左右耳传输函数可分别针对方位角θ＝0°,90°,180°,270°定义。示例性地，若虚拟目标位置与方位角θ＝20°和仰角φ＝20°关联，所述确定器105可通过线性插值，使用所述预定义的左右耳传输函数在θ＝0°,90°时针对方位角θ＝20°和仰角φ＝0°确定所述一对左右耳传输函数。在一可选实施例中，所述确定器105可通过在θ＝0°(对应最邻近插值)时选择一对预定义的左右耳传输函数针对方位角θ＝20°和仰角φ＝0°确定所述一对左右耳传输函数。由所述调整滤波器107在方位角θ＝20°和仰角φ＝0°到仰角φ＝20°时扩展所述确定的一对预定义的左右耳传输函数。例如，所述预定义的左右耳传输函数的集合可以为限定的头相关传输函数(head relatedtransfer function，简称HRTF)的集合。所述预定义的左右耳传输函数对的集合可以是个性化的(针对特定用户测量的)或从通用数据库获得的(模型化的)。
如上所述，在一实施例中，所述预定义的左右耳头相关传输函数对的集合可以是针对多个方位角和一个固定仰角定义的。例如，针对固定仰角φ＝0°，所述预定义的左右耳头相关传输函数对的集合可以定义为由方位角θ参数化的左耳HRTFhL(r，θ，0)和右耳HRTFhR(r，θ，0)。
如上所述，在一实施例中，所述预定义的左右耳头相关传输函数对的集合可以是针对一个固定方位角和多个仰角定义的。例如，针对固定方位角θ＝0°，所述预定义的左右耳头相关传输函数对的集合可以定义为由仰角φ参数化的左耳HRTFhL(r，0，φ)和右耳HRTFhR(r，0，φ)。
图2示出了一实施例提供的一种音频信号处理装置的调整滤波器中使用的调整函数M(r，θ，φ)109的示意图，例如图1所示的音频信号处理装置100中的调整滤波器107。在图2所示的示例性实施例中，预定义的左右耳头相关传输函数对的集合为水平传输函数hL(r，θ，0)和hR(r，θ，0)，即针对相对于听者的水平面中的参考位置/方向定义的传输函数。
图2所示的调整函数M(r，θ，φ)109包括：时延块109a，用于将时延应用到水平传输函数hL(r，θ，0)和hR(r，θ，0)中，频率调整块109b，用于将频率调整应用到水平传输函数hL(r，θ，0)和hR(r，θ，0)中。
在一实施例中，所述调整滤波器107用于通过补偿与所述虚拟目标位置和所述听者左耳之间的距离以及所述虚拟目标位置和所述听者右耳之间的距离相关联的声音传播时间差，基于所述调整函数M(r，θ，φ)109将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延109a调整为所述虚拟目标位置的方位角和/或仰角的函数。
在一实施例中，所述调整函数109用于确定基于恒定仰角平面中导出的新入射角Θ的所述预定义的传输函数hL(r，θ，0)和hR(r，θ，0)的集合的仰角φ导致的附加时延。
在一实施例中，所述调整滤波器107用于基于以下等式通过所述调整函数109将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延109a调整为所述虚拟目标位置的方位角和/或仰角的函数：
和
其中τL表示应用于所述左耳传输函数的时延，τR表示应用于所述右耳传输函数的时延，τ和Θ基于以下等式来定义：
和
其中τ表示以秒为单位的时延，c表示声速(即c＝340米/秒)，a表示与听者头部相关联的参数(例如a＝0.087米)，θ表示所述虚拟目标位置的方位角，φ表示所述虚拟目标位置的仰角。以上用于确定新入射角Θ的等式基于水平面中所述虚拟目标位置的方位角θ在所述恒定仰角平面中的投射。
图2所示的调整函数M(r，θ，φ)109中的频率调整块109b用于将频率调整应用到水平传输函数hL(r，θ，0)和hR(r，θ，0)中，以添加仰角即第三维相关的相关感知信息，从而扩展所述“二维”预定义的水平传输函数对的集合。
在一实施例中，图2所示的调整函数M(r，θ，φ)109中的频率调整块109b可基于覆盖所有所需位置/方向的传输函数的完整数据库的频谱分析。例如，可允许将水平面中方位角θ定义的水平HRTFhL(r，θ，0)和hR(r，θ，0)升高或调整到高于或低于水平面的仰角φ。
图3示出了作为仰角的函数的头相关传输函数的数据库的示例性频率大小分析，即测量的使用KEMAR仿真头的MIT HRTF数据库。图3示出了作为虚拟目标位置的方位角θ＝0°的仰角φ的函数的左HRTFhL的频率大小响应。通过重复多个感兴趣的方位角的这种频谱分析，可以获得完整的传输函数集合，从而将仅由方位角定义的水平传输函数的任意集合扩展到所需仰角的升高的水平传输函数。
在一实施例中，通过以上描述的方式导出的传输函数通过均衡，即调整频率相关性的预定义的左右耳传输函数对的集合来替换，优选地，仅考虑仰角或方位角感知相关的主要频谱特征。这样做显著减少了生成升高的传输函数所需的数据。然后，仰角或方位角可表示为频谱效应，即应用均衡或调整函数，且可用于任何传输函数。
在一实施例中，音频信号处理装置100的调整滤波器107用于基于多个无限脉冲响应滤波器，将确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为虚拟目标位置的方位角θ和/或仰角φ的函数，其中多个无限脉冲响应滤波器用于将多对测量的左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性的明显频谱特征，如最大值或最小值，近似为虚拟目标位置的方位角和/或仰角的函数。
在一实施例中，每个无限脉冲响应滤波器的频率相关性由多个预定义的滤波参数定义，其中通过选择所述多个预定义的滤波参数，使得每个无限脉冲响应滤波器的频率相关性将所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的至少一部分频率相关性近似为所述虚拟目标位置的方位角和/或仰角的函数。
在一实施例中，所述多个无限脉冲响应滤波器包括多个双二阶滤波器。所述多个双二阶滤波器可以实现为并联滤波器或级联滤波器。优先使用级联滤波器，因其更近似于传输函数的频谱特征。图4示出了可在图1所示的音频信号处理装置100的滤波器105中实现的包括倾斜性滤波器401a–b和峰值滤波器403a–c的多个双二阶滤波器，以最小化如上所述的频谱分析得到的传输函数和滤波大小响应之间的距离。
图5示出了可在图1所示的音频信号处理装置100的滤波器105中实现的示例性倾斜性滤波器401a的频率相关性和示例性峰值滤波器403a的频率相关性的示意图。所述倾斜性滤波器401a可由两个滤波参数定义，即定义信号改变的频率范围的截止频率f0和定义多少信号升高(或g0<0dB时衰减)的增益g0。峰值滤波器403a可由三个滤波参数定义，即峰值所在的截止频率f0、定义峰值(或g0<0dB时的缺口)高度的增益g0和峰值(或缺口)的带宽Δ0，且直接关系到质量因子Q0＝f0/Δ0。
在一实施例中，可通过数值优化方法获得滤波参数。
然而，在存储器更高效的一实施例中，如图3，一种特殊方法可用于基于提供的频谱信息导出滤波参数。因此，在一实施例中，针对所述多个无限响应滤波器中的至少一个无限脉冲响应滤波器，通过确定频率、方位角和/或仰角，和通过根据所述至少一个无限脉冲响应滤波器的频率相关性近似所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的频率相关性，计算或选择所述多个预定义的滤波参数，其中所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数处于所述频率、方位角和/或仰角时具有最小或最大量值。
图6示出了一实施例提供的通过图3所示的数据选择滤波参数的示意图，可在音频信号处理装置中实现，例如图1所示的音频信号处理装置100。滤波参数的导出开始于定位最重要的频谱特征，即测量的传输函数的峰值和缺口。针对每个确定的特征提取相关特征特点，即可从横轴读取的对应中心仰角φp、可从纵轴读取的对应中心频率fp、最大对应频谱值gp(gp＞0对应峰值，gp＜0对应缺口)和最大带宽Δp。
在一实施例中，滤波参数，即截止频率参数f0，增益参数g0和带宽参数Δ0(针对峰值滤波器403a–c定义)基于以下等式确定：
f0＝max(mf，min(Mf，af(φ-φp)2+fp))，
g0＝max(mg，min(Mg，ag(φ-φp)2+gp))，
Δ0＝max(mΔ，min(MΔ，aΔ(φ-φp)2+Δp))，
其中Mf，g，Δ和mf，g，Δ分别表示f，g，Δ的最大和最小值，af，g，Δ表示控制改变对应的滤波设计参数的速度的系数。
在一实施例中，针对三个滤波设计参数f0、g0和Δ0手动设置参数mf，g，Δ、mf，g，Δ和af，g，Δ，以尽可能接近地模拟选择的频谱特征。
然后，可针对所有频谱特征对参数M、m和a进行优化，使得IIR滤波器的大小响应与频谱分析获得的传输函数相匹配。
在以上描述的确定滤波参数的实施例中，针对每个IIR滤波器只需存储13个参数(φp，fp，gp，Δp，Mf，g，Δ，mf，g，Δ，af，g，Δ)，其中前4个参数(φp，fp，gp，Δp)可从频谱分析直接获得，其他参数可手动设置。
这样，根据以上描述的等式，滤波器401a–b和403a–c的参数可直接导出为所需仰角φ的函数。根据仅在中间平面中测量的预定义的传输函数的集合，即仅包含特定半径距离r和特定仰角φ的信息，即hL(r，0，φ)和hR(r，0，φ)，这些传输函数可通过与上述类似的方式扩展到任一所需方位角θ，即第三维。
图7示出了一实施例提供的音频信号处理装置的一部分，例如图1所示的音频信号处理装置100的一部分。在一实施例中，音频信号处理装置100的调整滤波器107用于将调整函数109与左耳传输函数进行卷积并将所得结果与输入音频信号101进行卷积以获得左耳输出音频信号111a，和/或将调整函数109与右耳传输函数进行卷积并将所得结果与输入音频信号101进行卷积以获得右耳输出音频信号111b，从而基于确定的一对左右耳传输函数和调整函数109对输入音频信号101进行滤波。
图8示出了一实施例提供的音频信号处理装置的一部分，例如图1所示的音频信号处理装置100的一部分。在一实施例中，音频信号处理装置100的调整滤波器107用于将左耳传输函数与输入音频信号101进行卷积并将所得结果与调整函数109进行卷积以获得左耳输出音频信号111a，和/或将右耳传输函数与输入音频信号101进行卷积并将所得结果与调整函数109进行卷积以获得右耳输出音频信号111b，从而基于确定的一对左右耳传输函数和调整函数109对输入音频信号101进行滤波。
图9示出了一实施例提供的可使用音频信号处理装置的示例性场景示意图，例如图1所示的音频信号处理装置100。在图9所示的实施例中，音频信号处理装置100用于合成模拟虚拟扬声器环绕***的耳机上的双声道声音。为此，音频信号处理装置100可包括至少一个换能器，尤其是使用串扰消除的耳机或扬声器，用于输出双声道声音，即所述左耳输出音频信号111a和所述右耳输出音频信号111b。
在图9所示示例中，模拟的虚拟扬声器环绕***是设有左前(front left，简称FL)、右前(front right，简称FR)、前中(front center，简称FC)、左后(rear left，简称RL)和右后(rear right，简称RR)扬声器的5.1音响***。在此示例中，可存储5个扬声器对应的5个HRTF，以合成虚拟扬声器的双声道声音。根据所需高度扬声器位置的位置，即左前高度(front left height，简称FLH)、右前高度(front right height，简称FRH)、前中高度(front center height，简称FCH)、左后高度(rear left height，简称RLH)和右后高度(rear right height，简称RRH)，音频信号处理装置100可将存储的5个水平HRTF高效扩展到对应的升高的HRTF。这样，通过音频信号处理装置100，5.1音响***的双声道渲染***扩展为10.2音响***。
图10示出了一种用于处理待传输到听者的输入音频信号101的音频信号处理方法1000的示意图，其中所述听者感知来自相对于听者的方位角和仰角定义的虚拟目标位置的所述输入音频信号101。
所述音频信号处理方法1000包括步骤：步骤1001、基于针对所述虚拟目标位置的方位角和仰角的预定义的左右耳传输函数对的集合确定一对左右耳传输函数，其中所述预定义的左右耳传输函数针对相对于所述听者的多个参考位置预定义，所述多个参考位置位于二维平面中；步骤1003、基于所述确定的一对左右耳传输函数和调整函数109对所述输入音频信号101进行滤波，其中所述调整函数109用于将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延109a以及所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性109b调整为所述虚拟目标位置的方位角和/或仰角的函数，以获得左耳输出音频信号111a和右耳输出音频信号111b。
本发明实施例实现了不同优点。音频信号处理装置100和音频信号处理方法1000提供了合成双声道声音的方法，即听者感知的来自虚拟目标位置的音频信号。音频信号处理装置100基于“二维”预定义的传输函数起作用，该函数可从通用数据库获得或针对特定用户测量。音频信号处理装置100也可提供增强合成声音的前后或升高效果的方法。本发明实施例可应用于不同的场景，例如仅存储5.1传输函数和参数的5.1以上的虚拟环绕渲染(如10.2甚至22.2)的媒体播放，以基于基本二维集合获得所有三维方位角和仰角。本发明实施例也可应用于虚拟现实，以基于低分辨率的传输函数获得高分辨率的全方位传输函数。本发明实施例提供关于所需存储器和信号处理算法复杂性的双声道声音合成的有效实现。
尽管本发明的特定特征或方面可能已经仅结合几种实施方式或实施例中的一种进行公开，但此类特征或方面可以和其它实施方式或实施例中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其他变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”，“例如”仅表示为示例，而不是最好或最佳的。可以使用术语“耦合”和“连接”及其派生词。应当理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但所属领域的技术人员应了解，多种替代和/或等效实施方式可在不脱离本发明的范围的情况下所示和描述的特定方面。该申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，本领域普通技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但本领域普通技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (16)

1.一种用于处理待传输到听者的输入音频信号(101)的音频信号处理装置(100)，其特征在于，所述听者感知来自相对于所述听者的方位角和仰角定义的虚拟目标位置的所述输入音频信号(101)，所述音频信号处理装置(100)包括：
存储器(103)，用于存储针对相对于所述听者的多个参考位置预定义的左右耳传输函数对的集合，其中所述多个参考位置位于二维平面中；
确定器(105)，用于基于针对所述虚拟目标位置的方位角和仰角的预定义的左右耳传输函数对的集合确定一对左右耳传输函数；
调整滤波器(107)，用于基于所述确定的一对左右耳传输函数和调整函数(109)对所述输入音频信号(101)进行滤波，其中所述调整函数(109)用于将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延以及所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，以获得左耳输出音频信号(111a)和右耳输出音频信号(111b)。
2.根据权利要求1所述的音频信号处理装置(100)，其特征在于，所述调整滤波器(107)用于通过补偿与所述虚拟目标位置和所述听者左耳之间的距离以及所述虚拟目标位置和所述听者右耳之间的距离相关联的声音传播时间差，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延调整为所述虚拟目标位置的方位角和/或仰角的函数。
3.根据权利要求1或2所述的音频信号处理装置(100)，其特征在于，所述调整滤波器(107)用于基于以下等式，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延调整为所述虚拟目标位置的方位角和/或仰角的函数：
和
其中τL表示应用于所述左耳传输函数的时延，τR表示应用于所述右耳传输函数的时延，τ和Θ基于以下等式来定义：
和
其中τ表示以秒为单位的时延，C表示声速，a表示与听者头部相关联的参数，θ表示所述虚拟目标位置的方位角，φ表示所述虚拟目标位置的仰角。
4.根据前述权利要求中任一项所述的音频信号处理装置(100)，其特征在于，所述调整滤波器(107)用于基于多个无限脉冲响应滤波器(401a–b，403a–c)，将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，其中所述多个无限脉冲响应滤波器(401a–b，403a–c)用于将多对测量的左右耳传输函数的左耳传输函数和右耳传输函数的至少一部分频率相关性近似为所述虚拟目标位置的方位角和/或仰角的函数。
5.根据权利要求4所述的音频信号处理装置(100)，其特征在于，每个无限脉冲响应滤波器(401a–b，403a–c)的频率相关性由多个预定义的滤波参数定义，其中通过选择所述多个预定义的滤波参数，使得每个无限脉冲响应滤波器(401a–b，403a–c)的频率相关性将所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的至少一部分频率相关性近似为所述虚拟目标位置的方位角和/或仰角的函数。
6.根据权利要求5所述的音频信号处理装置(100)，其特征在于，所述多个无限脉冲响应滤波器(401a–b，403a–c)包括多个双二阶滤波器(401a–b，403a–c)，其中所述多个双二阶滤波器可以实现为并联滤波器或级联滤波器。
7.根据权利要求6所述的音频信号处理装置(100)，其特征在于，所述多个双二阶滤波器(401a–b，403a–c)包括至少一个倾斜性滤波器(401a–b)和/或至少一个峰值滤波器(403a–c)，其中所述至少一个倾斜性滤波器(401a–b)由截止频率参数f0和增益参数g0定义，所述至少一个峰值滤波器(403a–c)由截止频率参数f0、增益参数g0和带宽参数Δ0定义。
8.根据权利要求7所述的音频信号处理装置(100)，其特征在于，针对所述多个无限响应滤波器中的至少一个无限脉冲响应滤波器(403a–c)，通过确定频率、方位角和/或仰角，和通过根据所述至少一个无限脉冲响应滤波器(403a–c)的频率相关性近似所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数的频率相关性，选择所述多个预定义的滤波参数，其中所述多对测量的左右耳传输函数的左耳传输函数或右耳传输函数处于所述频率、方位角和/或仰角时具有最小或最大量值。
9.根据权利要求7或8所述的音频信号处理装置(100)，其特征在于，所述截止频率参数f0、所述增益参数g0和/或所述带宽参数Δ0基于以下等式确定：
f0＝max(mf，min(Mf，af(φ-φp)2+fp))，
g0＝max(mg，min(Mg，ag(φ-φp)2+gp))，
Δ0＝max(mΔ，min(MΔ，aΔ(φ-φp)2+Δp))，
其中Mf，g，Δ和mf，g，Δ分别表示f，g，Δ的最大和最小值，af，g，Δ表示控制改变对应的滤波参数的速度的系数。
10.根据前述权利要求中任一项所述的音频信号处理装置(100)，其特征在于，所述调整滤波器(107)用于将所述调整函数(109)与所述左耳传输函数进行卷积并将所得结果与所述输入音频信号(101)进行卷积以获得所述左耳输出音频信号(111a)，和/或将所述调整函数(109)与所述右耳传输函数进行卷积并将所得结果与所述输入音频信号(101)进行卷积以获得所述右耳输出音频信号(111b)，从而基于所述确定的一对左右耳传输函数和所述调整函数(109)对所述输入音频信号(101)进行滤波。
11.根据权利要求1至10中任一项所述的音频信号处理装置(100)，其特征在于，所述调整滤波器(107)用于将所述左耳传输函数与所述输入音频信号(101)进行卷积并将所得结果与所述调整函数(109)进行卷积以获得所述左耳输出音频信号(111a)，和/或将所述右耳传输函数与所述输入音频信号(101)进行卷积并将所得结果与所述调整函数(109)进行卷积以获得所述右耳输出音频信号(111b)，从而基于所述确定的一对左右耳传输函数和所述调整函数(109)对所述输入音频信号(101)进行滤波。
12.根据前述权利要求中任一项所述的音频信号处理装置(100)，其特征在于，所述音频信号处理装置(100)还包括一对换能器，尤其是使用串扰消除的耳机或扬声器，用于输出所述左耳输出音频信号(111a)和所述右耳输出音频信号(111b)。
13.根据前述权利要求中任一项所述的音频信号处理装置(100)，其特征在于，所述预定义的左右耳传输函数对针对相对于所述听者的多个参考位置预定义，所述多个参考位置位于相对于所述听者的水平面中。
14.根据前述权利要求中任一项所述的音频信号处理装置(100)，其特征在于，所述确定器(105)用于从针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合中选择一对左右耳传输函数，和/或基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合***一对左右耳传输函数，从而基于针对所述虚拟目标位置的方位角和仰角的所述预定义的左右耳传输函数对的集合确定所述一对左右耳传输函数。
15.一种用于处理待传输到听者的输入音频信号(101)的音频信号处理方法(1000)，其特征在于，所述听者感知来自相对于所述听者的方位角和仰角定义的虚拟目标位置的所述输入音频信号(101)，所述音频信号处理方法(1000)包括：
基于针对所述虚拟目标位置的方位角和仰角的预定义的左右耳传输函数对的集合确定(1001)一对左右耳传输函数，其中所述预定义的左右耳传输函数对针对相对于所述听者的多个参考位置预定义，所述多个参考位置位于二维平面中；
基于所述确定的一对左右耳传输函数和调整函数(109)对所述输入音频信号(101)进行滤波(1003)，其中所述调整函数(109)用于将所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数之间的时延以及所述确定的一对左右耳传输函数的左耳传输函数和右耳传输函数的频率相关性调整为所述虚拟目标位置的方位角和/或仰角的函数，以获得左耳输出音频信号(111a)和右耳输出音频信号(111b)。
16.一种计算机程序，其特征在于，包括：程序代码，用于在计算机上执行时执行根据权利要求15所述的方法(1000)。
CN201580084740.0A 2015-12-07 2015-12-07 音频信号处理装置和方法 Active CN108370485B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/078805 WO2017097324A1 (en) 2015-12-07 2015-12-07 An audio signal processing apparatus and method

Publications (2)

Publication Number Publication Date
CN108370485A true CN108370485A (zh) 2018-08-03
CN108370485B CN108370485B (zh) 2020-08-25

Family

ID=54782744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580084740.0A Active CN108370485B (zh) 2015-12-07 2015-12-07 音频信号处理装置和方法

Country Status (6)

Country Link
US (1) US10492017B2 (zh)
EP (1) EP3375207B1 (zh)
JP (1) JP6690008B2 (zh)
KR (1) KR102172051B1 (zh)
CN (1) CN108370485B (zh)
WO (1) WO2017097324A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN113767648A (zh) * 2019-04-18 2021-12-07 脸谱科技有限责任公司 用于音频内容呈现的头部相关传递函数模板的个性化

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358283B1 (ko) * 2016-05-06 2022-02-04 디티에스, 인코포레이티드 몰입형 오디오 재생 시스템
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
KR102119239B1 (ko) * 2018-01-29 2020-06-04 구본희 바이노럴 스테레오 오디오 생성 방법 및 이를 위한 장치
EP3900394A1 (en) * 2018-12-21 2021-10-27 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Sound reproduction/simulation system and method for simulating a sound reproduction
US10976991B2 (en) * 2019-06-05 2021-04-13 Facebook Technologies, Llc Audio profile for personalized audio enhancement
CN113691927B (zh) * 2021-08-31 2022-11-11 北京达佳互联信息技术有限公司 音频信号处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
WO1999031938A1 (en) * 1997-12-13 1999-06-24 Central Research Laboratories Limited A method of processing an audio signal
US20010040968A1 (en) * 1996-12-12 2001-11-15 Masahiro Mukojima Method of positioning sound image with distance adjustment
CN101116374A (zh) * 2004-12-24 2008-01-30 松下电器产业株式会社 声像定位装置
US20120213375A1 (en) * 2010-12-22 2012-08-23 Genaudio, Inc. Audio Spatialization and Environment Simulation
CN103716748A (zh) * 2007-03-01 2014-04-09 杰里·马哈布比 音频空间化及环境模拟
CN104618843A (zh) * 2013-11-05 2015-05-13 奥迪康有限公司 包括头部相关传递函数数据库的双耳助听***
CN104853283A (zh) * 2015-04-24 2015-08-19 华为技术有限公司 一种音频信号处理的方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5580913A (en) * 1978-12-15 1980-06-18 Toshiba Corp Characteristic setting method for digital filter
JP2924502B2 (ja) * 1992-10-14 1999-07-26 ヤマハ株式会社 音像定位制御装置
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
JP3781902B2 (ja) * 1998-07-01 2006-06-07 株式会社リコー 音像定位制御装置および音像定位制御方式
JP4264686B2 (ja) * 2000-09-14 2009-05-20 ソニー株式会社 車載用音響再生装置
US7680289B2 (en) * 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
JP2006203850A (ja) * 2004-12-24 2006-08-03 Matsushita Electric Ind Co Ltd 音像定位装置
US9031242B2 (en) * 2007-11-06 2015-05-12 Starkey Laboratories, Inc. Simulated surround sound hearing aid fitting system
US9131305B2 (en) * 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
EP2675063B1 (en) * 2012-06-13 2016-04-06 Dialog Semiconductor GmbH Agc circuit with optimized reference signal energy levels for an echo cancelling circuit
WO2017075398A1 (en) * 2015-10-28 2017-05-04 Jean-Marc Jot Spectral correction of audio signals

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
US20010040968A1 (en) * 1996-12-12 2001-11-15 Masahiro Mukojima Method of positioning sound image with distance adjustment
WO1999031938A1 (en) * 1997-12-13 1999-06-24 Central Research Laboratories Limited A method of processing an audio signal
CN101116374A (zh) * 2004-12-24 2008-01-30 松下电器产业株式会社 声像定位装置
CN103716748A (zh) * 2007-03-01 2014-04-09 杰里·马哈布比 音频空间化及环境模拟
US20120213375A1 (en) * 2010-12-22 2012-08-23 Genaudio, Inc. Audio Spatialization and Environment Simulation
CN104618843A (zh) * 2013-11-05 2015-05-13 奥迪康有限公司 包括头部相关传递函数数据库的双耳助听***
CN104853283A (zh) * 2015-04-24 2015-08-19 华为技术有限公司 一种音频信号处理的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
US11451921B2 (en) 2018-08-20 2022-09-20 Huawei Technologies Co., Ltd. Audio processing method and apparatus
US11863964B2 (en) 2018-08-20 2024-01-02 Huawei Technologies Co., Ltd. Audio processing method and apparatus
CN113767648A (zh) * 2019-04-18 2021-12-07 脸谱科技有限责任公司 用于音频内容呈现的头部相关传递函数模板的个性化

Also Published As

Publication number Publication date
US20180324541A1 (en) 2018-11-08
US10492017B2 (en) 2019-11-26
KR20180088721A (ko) 2018-08-06
JP6690008B2 (ja) 2020-04-28
EP3375207A1 (en) 2018-09-19
CN108370485B (zh) 2020-08-25
WO2017097324A1 (en) 2017-06-15
JP2019502337A (ja) 2019-01-24
KR102172051B1 (ko) 2020-11-02
EP3375207B1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
CN108370485A (zh) 音频信号处理装置和方法
US11950085B2 (en) Concept for generating an enhanced sound field description or a modified sound field description using a multi-point sound field description
Brinkmann et al. A high resolution and full-spherical head-related transfer function database for different head-above-torso orientations
KR102642275B1 (ko) 증강 현실 헤드폰 환경 렌더링
CN105900457B (zh) 用于设计和应用数值优化的双耳房间脉冲响应的方法和***
US11122384B2 (en) Devices and methods for binaural spatial processing and projection of audio signals
CN104904240B (zh) 用于生成多个参数化音频流的装置和方法以及用于生成多个扬声器信号的装置和方法
US11863962B2 (en) Concept for generating an enhanced sound-field description or a modified sound field description using a multi-layer description
CN105432097A (zh) 伴有内容分析和加权的具有立体声房间脉冲响应的滤波
Zhong et al. Head-related transfer functions and virtual auditory display
TW202329088A (zh) 用於將保真立體音響格式聲訊訊號描繪至二維度（２ｄ）揚聲器設置之方法和裝置以及電腦可讀式儲存媒體
EP1938655A1 (en) Spatial audio simulation
CN107820158A (zh) 一种基于头相关脉冲响应的三维音频生成装置
KR20220038478A (ko) 공간 변환 도메인에서 음장 표현을 처리하기 위한 장치, 방법 또는 컴퓨터 프로그램
Iijima et al. Binaural rendering from microphone array signals of arbitrary geometry
US10999694B2 (en) Transfer function dataset generation system and method
Koyama Boundary integral approach to sound field transform and reproduction
CN110166927B (zh) 一种基于定位修正的虚拟声像重建方法
Rodriguez-Morales Real-time sound processing for interactive auralisation of sound insulation
CN115209336A (zh) 一种多个虚拟源动态双耳声重放方法、装置及存储介质
Erbes Wave Field Synthesis in a listening room
Hoffbauer Evaluation of Surround Sound Setups based on Ambisonic Room Impulse Response Measurements
Hawksford et al. Perceptually Motivated Processing for Spatial Audio Microphone Arrays
Schultz et al. A Closer Look On Linearly and Quadratically Constrained Least-Squares Binaural Decoder Performance Using Individualised HRTFs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant