CN106664499A - 音频信号处理装置 - Google Patents

音频信号处理装置 Download PDF

Info

Publication number
CN106664499A
CN106664499A CN201480081105.2A CN201480081105A CN106664499A CN 106664499 A CN106664499 A CN 106664499A CN 201480081105 A CN201480081105 A CN 201480081105A CN 106664499 A CN106664499 A CN 106664499A
Authority
CN
China
Prior art keywords
audio signal
loudspeaker
acoustics
transmission function
hearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480081105.2A
Other languages
English (en)
Other versions
CN106664499B (zh
Inventor
克里斯托弗·富勒
亚历克西斯·法夫罗
郎玥
彼得·格罗舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106664499A publication Critical patent/CN106664499A/zh
Application granted granted Critical
Publication of CN106664499B publication Critical patent/CN106664499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/022—Plurality of transducers corresponding to a plurality of sound channels in each earpiece of headphones or in a single enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明涉及一种音频信号处理装置(100)，用于预处理器第一输入音频信号(EL)以获得第一输出音频信号(XL)以及预处理第二输入音频信号(ER)以获得第二输出音频信号(XR)，第一输出音频信号(XL)将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输，所述第二输出音频信号(XR)将通过第二扬声器和所述听者右耳之间的第二声学近场传播声道传输，所述音频信号处理装置(100)包括：提供器(101)，用于提供所述第一扬声器和所述听者左耳之间的所述第一声学近场传播声道的第一声学近场传递函数(GLL)以及提供所述第二扬声器和所述听者右耳之间的所述第二声学近场传播声道的第二声学近场传递函数(GRR)；滤波器(103)，用于在所述第一声学近场传递函数(GLL)的倒数的基础上滤波所述第一输入音频信号(EL)以获得所述第一输出音频信号(XL)以及在所述第二声学近场传递函数(GRR)的倒数的基础上滤波所述第二输入音频信号(ER)以获得所述第二输出音频信号(XR)，其中，所述第一输出音频信号(XL)与所述第二输入音频信号(ER)无关，所述第二输出音频信号(XR)与所述第一输入音频信号(EL)无关。

Description

音频信号处理装置
技术领域
本发明涉及音频信号处理领域，尤其涉及呈现音频信号以便听者获得音频感知的领域。
背景技术
通过可穿戴设备呈现音频信号以便听者获得音频感知可以通过连接到该可穿戴设备的头戴式耳机来实现。头戴式耳机可以将音频信号直接提供给听者的听觉***，因此可以提供优良的音频质量。然而，头戴式耳机扮演一个听者需要放入耳中或放到耳上的另一独立设备。这在使用可穿戴设备时会降低舒适度。这个缺点可以通过将音频信号呈现集成到可穿戴设备中来减轻。
例如，骨传导可以用于此目的，其中骨传导转换器可以安装在听者耳后。因此，音频信号可以通过骨头直接传导到听者内耳。然而，由于这种方法在耳道内不产生声波，所以可能无法在音频质量或空间音频感知方面产生自然的收听体验。具体而言，高频率可以不通过骨头传导，因此可能会衰减。此外，在左耳侧传导的音频信号还可通过骨头传导到右耳侧，反之亦然。这种串音效果会干扰空间音频源的双耳定位。
所描述的通过可穿戴设备进行音频信号的音频呈现的方法构成收听舒适度和音频质量之间的权衡。头戴式耳机能够提供优良的音频质量，但是会导致收听舒适度降低。骨传导会很方便，但是会导致音频质量降低。
L.E.Kinsler于2000年在Wiley上发表的“Fundamentals of Acoustics”描述了音频信号呈现以便听者获得音频感知。
J.Blauert于2005年在柏林-海德堡-纽约的Springer上发表的“CommunicationAcoustics”描述了音频信号呈现以便听者获得音频感知。
发明内容
本发明的目的是提供一种用于呈现音频信号以便听者获得音频感知的改进概念。
该目的通过独立权利要求的特征来实现。另外的实施形式在从属权利要求、描述内容和附图中显而易见。
本发明基于以下发现：指示扬声器和听者耳朵之间的声学近场传播声道的声学近场传递函数可以用来预处理音频信号。因此，能够减轻音频信号的声学近场失真。预处理的音频信号可以通过可穿戴框架呈现给听者，其中所述可穿戴框架包括用于音频呈现的扬声器。本发明能够实现音频信号的高质量呈现以及听者的高收听舒适度。
根据第一方面，本发明涉及一种音频信号处理装置，用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号，第一输出音频信号将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输，所述第二输出音频信号将通过第二扬声器和所述听者右耳之间的第二声学近场传播声道传输，所述音频信号处理装置包括：提供器，用于提供所述第一扬声器和所述听者左耳之间的所述第一声学近场传播声道的第一声学近场传递函数以及提供所述第二扬声器和所述听者右耳之间的所述第二声学近场传播声道的第二声学近场传递函数；以及滤波器，用于在所述第一声学近场传递函数的倒数的基础上滤波所述第一输入音频信号以获得所述第一输出音频信号以及在所述第二声学近场传递函数的倒数的基础上滤波所述第二输入音频信号以获得所述第二输出音频信号，其中，所述第一输出音频信号与所述第二输入音频信号无关，所述第二输出音频信号(XR)与所述第一输入音频信号无关。因此，可以提供一种用于呈现音频信号以便听者获得音频感知的改进概念。
所述第一输入音频信号和所述第二输入音频信号的所述预处理还可视为或称为所述第一输入音频信号和所述第二输入音频信号的预失真，这是因为对所述第一输入音频信号和第二输入音频信号进行了滤波或修改。
指示所述第一扬声器和所述听者右耳之间的第一声学串音传播声道的第一声学串音传递函数以及指示所述第二扬声器和所述听者左耳之间的第二声学串音传播声道的第二声学串音传递函数可以认为是0。可以不采用串音抵消技术。
根据如上所述第一方面，在所述装置的第一实施形式中，所述提供器包括：存储器，用于提供所述第一声学近场传递函数或所述第二声学近场传递函数；所述提供器用于从所述存储器获取所述第一声学近场传递函数或所述第二声学近场传递函数以提供所述第一声学近场传递函数或所述第二声学近场传递函数。因此，可以有效地提供所述第一声学近场传递函数或所述第二声学近场传递函数。
所述第一声学近场传递函数或所述第二声学近场传递函数可以预定并且可以存储在所述存储器中。
根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第二实施形式中，所述提供器用于在所述第一扬声器的位置和所述听者左耳的位置的基础上确定所述第一声学近场传播声道的所述第一声学近场传递函数，以及用于在所述第二扬声器的位置和所述听者右耳的位置的基础上确定所述第二声学近场传播声道的所述第二声学近场传递函数。因此，可以有效地提供所述第一声学近场传递函数或所述第二声学近场传递函数。
所述确定的第一声学近场传递函数或所述第二声学近场传递函数可以一次确定并且可以存储在提供器中。
根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第三实施形式中，所述滤波器用于根据以下等式滤波所述第一输入音频信号或所述第二输入音频信号：
和
其中，EL表示所述第一输入音频信号，ER表示所述第二输入音频信号，XL表示所述第一输出音频信号，XR表示所述第二输出音频信号，GLL表示所述第一声学近场传递函数，GRR表示所述第二声学近场传递函数，ω表示角频率，j表示虚数单位。因此，可以有效地执行所述第一输入音频信号或所述第二输入音频信号的所述滤波。
可以在频域或时域中执行所述第一输入音频信号或所述第二输入音频信号的所述滤波。
根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第四实施形式中，所述装置包括：又一滤波器，用于在第一声学远场传递函数的基础上滤波源音频信号以获得所述第一输入音频信号，以及用于在所述第二声学远场传递函数的基础上滤波所述源音频信号以获得所述第二输入音频信号。因此，可以有效地考虑声学远场效果。
根据所述第一方面的所述第四实施形式，在所述装置的第五实施形式中，所述源音频信号关联到空间音频场景内的空间音频源，所述又一滤波器用于在所述空间音频场景内的所述空间音频源的位置和所述听者左耳的位置的基础上确定所述第一声学远场传递函数，以及用于在所述空间音频场景的所述空间音频源的所述位置和所述听者右耳的位置的基础上确定所述第二声学远场传递函数。因此，可以考虑空间音频场景内的空间音频源。
根据所述第一方面的所述第四实施形式或所述第五实施形式，在所述装置的第六实施形式中，所述第一声学远场传递函数或所述第二声学远场传递函数为头相关传递函数。因此，可以有效地构建所述第一声学远场传递函数或所述第二声学远场传递函数。
所述第一声学远场传递函数和所述第二声学远场传递函数可以为头相关传递函数(head related transfer functions，HRTF)，其可以为使用仿真头测量的原型HRTF、从特定人测量的各个HRTF，或者基于模型的HRTF，其可以基于原型人头的模型进行合成。
根据所述第一方面的所述第五实施形式或所述第六实施形式，在所述装置的第七实施形式中，所述又一滤波器用于在所述空间音频场景内的所述空间音频源的所述位置的基础上根据以下等式确定所述第一声学远场传递函数或所述第二声学远场传递函数：
其中，Γ表示所述第一声学远场传递函数或所述第二声学远场传递函数，Pm表示m度的勒让德多项式，hm表示m阶球面汉克尔函数，h’m表示hm的第一导函数，ρ表示归一化距离，r表示范围，a表示半径，μ表示归一化频率，f表示频率，c表示声音的速度，θ表示方位角，以及φ表示仰角。因此，可以有效地确定所述第一声学远场传递函数或所述第二声学远场传递函数。
这些等式涉及作为一般头相关传递函数的特定模型或形式的基于模型的头相关传递函数。
根据所述第一方面的所述第五实施形式至所述第七实施形式，在所述装置的第八实施形式中，所述装置包括加权器，用于对所述第一输出音频信号或所述第二输出音频信号加权一个加权因子，其中所述加权器用于在所述空间音频源和所述听者之间的距离的基础上确定所述加权因子。因此，可以有效地考虑所述空间音频源和所述听者之间的所述距离。
根据所述第一方面的所述第八实施形式，在所述装置的第九实施形式中，所述加权器用于根据以下等式确定所述加权因子：
其中，g表示所述加权因子，ρ表示归一化距离，r表示范围，r0表示参考范围，a表示半径，以及α表示指数参数。因此，可以有效地确定所述加权因子。
根据所述第一方面的所述第五实施形式至所述第九实施形式，在所述装置的第十实施形式中，所述装置包括选择器，用于从第一对扬声器中选取所述第一扬声器以及从第二对扬声器中选取所述第二扬声器，其中所述选择器用于确定所述空间音频源相对于所述听者的位置的方位角或仰角，所述选择器用于在所述空间音频源的所述确定的方位角或仰角的基础上从所述第一对扬声器中选取所述第一扬声器和从所述第二对扬声器中选取所述第二扬声器。因此，可以有效地减轻声学前后或高度混淆效果。
根据所述第一方面的所述第十实施形式，在所述装置的第十一实施形式中，所述选择器用于将所述第一对扬声器的第一对方位角或第一对仰角与所述空间音频源的所述方位角或所述仰角对比以选择所述第一扬声器，以及将所述第二对扬声器的第二对方位角或第二对仰角与所述空间音频源的所述方位角或所述仰角对比以选择所述第二扬声器。因此，可以有效地选择所述第一扬声器和所述第二扬声器。
所述比较可以包括所述扬声器的角度和所述空间音频源相对于听者位置的角度之间的角差或距离的最小化。所述第一对角度和/或所述第二对角度可以由提供器提供。所述第一对角度和/或所述第二对角度可以从所述提供器的所述存储器获取。
根据第二方面，本发明涉及一种音频信号处理方法，用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号，所述第一输出音频信号将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输，所述第二输出音频信号将通过第二扬声器和所述听者右耳之间的第二声学近场传播声道传输，所述音频信号处理方法包括：提供所述第一扬声器和所述听者左耳之间的所述第一声学近场传播声道的第一声学近场传递函数，提供所述第二扬声器和所述听者右耳之间的所述第二声学近场传播声道的第二声学近场传递函数，在所述第一声学近场传递函数的逆的基础上滤波所述第一输入音频信号以获得所述第一输出音频信号，以及在所述第二声学近场传递函数的逆的基础上滤波所述第二输入音频信号以获得所述第二输出音频信号，其中，所述第一输出音频信号独立于所述第二输入音频信号，所述第二输出音频信号独立于所述第一输入音频信号。因此，可以提供一种用于呈现音频信号以便听者获得音频感知的改进概念。
所述音频信号处理方法可以由音频信号处理装置执行。所述音频信号处理方法的更多特征直接由所述音频信号处理装置的功能产生。
根据如上所述第二方面，在所述方法的第一实施形式中，所述方法包括从存储器中获取所述第一声学近场传递函数或所述第二声学近场传递函数以提供所述第一声学近场传递函数或所述第二声学近场传递函数。因此，可以有效地提供所述第一声学近场传递函数或所述第二声学近场传递函数。
根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第二实施形式中，所述方法包括在所述第一扬声器的位置和所述听者左耳的位置的基础上确定所述第一声学近场传播声道的所述第一声学近场传递函数，以及在所述第二扬声器的位置和所述听者右耳的位置的基础上确定所述第二声学近场传播声道的所述第二声学近场传递函数。因此，可以有效地提供所述第一声学近场传递函数或所述第二声学近场传递函数。
根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第三实施形式中，所述方法包括根据以下等式滤波所述第一输入音频信号或所述第二输入音频信号：
和
其中，EL表示所述第一输入音频信号，ER表示所述第二输入音频信号，XL表示所述第一输出音频信号，XR表示所述第二输出音频信号，GLL表示所述第一声学近场传递函数，GRR表示所述第二声学近场传递函数，ω表示角频率，j表示虚数单位。因此，可以有效地执行所述第一输入音频信号或所述第二输入音频信号的所述滤波。
根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第四实施形式中，所述方法包括在第一声学远场传递函数的基础上滤波源音频信号以获得所述第一输入音频信号，在第二声学远场传递函数的基础上滤波所述源音频信号以获得所述第二输入音频信号。因此，可以有效地考虑声学远场效果。
根据所述第二方面的所述第四实施形式，在所述方法的第五实施形式中，所述源音频信号关联到空间音频场景内的空间音频源，所述方法包括在所述空间音频场景内的所述空间音频源的位置和所述听者左耳的位置的基础上确定所述第一声学远场传递函数，在所述空间音频场景内的所述空间音频源的所述位置和所述听者右耳的位置的基础上确定所述第二声学远场传递函数。因此，可以考虑空间音频场景内的空间音频源。
根据所述第二方面的所述第四实施形式或所述第五实施形式，在所述方法的第六实施形式中，所述第一声学远场传递函数或所述第二声学远场传递函数为头相关传递函数。因此，可以有效地构建所述第一声学远场传递函数或所述第二声学远场传递函数。
根据所述第二方面的所述第五实施形式或所述第六实施形式，在所述方法的第七实施形式中，所述方法包括在所述空间音频场景内的所述空间音频源的所述位置的基础上根据以下等式确定所述第一声学远场传递函数或所述第二声学远场传递函数：
其中，Γ表示所述第一声学远场传递函数或所述第二声学远场传递函数，Pm表示m度的勒让德多项式，hm表示m阶球面汉克尔函数，h’m表示hm的第一导函数，ρ表示归一化距离，r表示范围，a表示半径，μ表示归一化频率，f表示频率，c表示声音的速度，θ表示方位角，以及φ表示仰角。因此，可以有效地确定所述第一声学远场传递函数或所述第二声学远场传递函数。
根据所述第二方面的所述第五实施形式至所述第七实施形式，在所述方法的第八实施形式中，所述方法包括对所述第一输出音频信号或所述第二输出音频信号加权一个加权因子，以及在所述空间音频源和所述听者之间的距离的基础上确定所述加权因子。因此，可以有效地考虑所述空间音频源和所述听者之间的所述距离。
根据所述第二方面的所述第八实施形式，在所述方法的第九实施形式中，所述方法包括根据以下等式确定所述加权因子：
其中，g表示所述加权因子，ρ表示归一化距离，r表示范围，r0表示参考范围，a表示半径，以及α表示指数参数。因此，可以有效地确定所述加权因子。
根据所述第二方面的所述第五实施形式至所述第九实施形式，在所述方法的第十实施形式中，所述方法包括确定所述空间音频源相对于所述听者位置的方位角或仰角，以及在所述空间音频源的所述确定的方位角或仰角的基础上从第一对扬声器中选取所述第一扬声器和从第二对扬声器中选取所述第二扬声器。因此，可以有效地减轻前后声学信息混淆效果。
根据所述第二方面的所述第十实施形式，在所述方法的第十一实施形式中，所述方法包括将所述第一对扬声器的第一对方位角或第一对仰角与所述空间音频源的所述方位角或所述仰角对比以选择所述第一扬声器，以及将所述第二对扬声器的第二对方位角或第二对仰角与所述空间音频源的所述方位角或所述仰角对比以选择所述第二扬声器。因此，可以有效地选择所述第一扬声器和所述第二扬声器。
根据第三方面，本发明涉及一种提供器，用于提供第一扬声器和听者左耳之间的第一声学近场传播声道的第一声学近场传递函数以及提供第二扬声器和听者右耳之间的第二声学近场传播声道的第二声学近场传递函数，所述提供器包括处理器，用于在所述第一扬声器的位置和所述听者左耳的位置的基础上确定所述第一声学近场传递函数以及在所述第二扬声器的位置和所述听者右耳的位置的基础上确定所述第二声学近场传递函数。因此，可以提供一种用于呈现音频信号以便听者获得音频感知的改进概念。
所述提供器可以结合根据如上所述第一方面或所述第一方面的任意实施形式的所述装置使用。
根据如上所述第三方面，在所述提供器的第一实施形式中，所述处理器用于：在指示第一声学近场传播声道与所述第一扬声器的所述位置和所述听者左耳的所述位置相关的第一头相关传递函数的基础上确定所述第一声学近场传递函数，以及在指示所述第二声学近场传播声道与所述第二扬声器的所述位置和所述听者右耳的所述位置相关的第二头相关传递函数的基础上确定所述第二声学近场传递函数。因此，可以有效地确定所述第一声学近场传递函数和所述第二声学近场传递函数。
所述第一头相关传递函数或所述第二头相关传递函数可以为一般头相关传递函数。
根据所述第三方面的所述第一实施形式，在所述提供器的第二实施形式中，所述处理器用于根据以下等式确定所述第一声学近场传递函数或所述第二声学近场传递函数：
其中
其中，GLL表示所述第一声学近场传递函数，GRR表示所述第二声学近场传递函数，ΓL表示所述第一头相关传递函数，ΓR表示所述第二头相关传递函数，ω表示角频率，j表示虚数单位，Pm表示m度的勒让德多项式，hm表示m阶球面汉克尔函数，h’m表示hm的第一导函数，ρ表示归一化距离，r表示范围，a表示半径，μ表示归一化频率，f表示频率，c表示声音的速度，θ表示方位角，以及φ表示仰角。因此，可以有效地确定所述第一声学近场传递函数或所述第二声学近场传递函数。
这些等式涉及作为一般头相关传递函数的特定模型或形式的基于模型的头相关传递函数。
根据第四方面，本发明涉及一种用于提供第一扬声器和听者左耳之间的第一声学近场传播声道的第一声学近场传递函数以及提供第二扬声器和听者右耳之间的第二声学近场传播声道的第二声学近场传递函数的方法，所述方法包括在所述第一扬声器的位置和所述听者左耳的位置的基础上确定所述第一声学近场传递函数以及在所述第二扬声器的位置和所述听者右耳的位置的基础上确定所述第二声学近场传递函数。因此，可以提供一种用于呈现音频信号以便听者获得音频感知的改进概念。
所述方法可由所述提供器执行。所述方法的更多特征直接由所述提供器的功能产生。
根据如上所述第四方面，在所述方法的第一实施形式中，所述方法包括：在指示第一声学近场传播声道与所述第一扬声器的所述位置和所述听者左耳的所述位置相关的第一头相关传递函数的基础上确定所述第一声学近场传递函数，以及在指示所述第二声学近场传播声道与所述第二扬声器的所述位置和所述听者右耳的所述位置相关的第二头相关传递函数的基础上确定所述第二声学近场传递函数。因此，可以有效地确定所述第一声学近场传递函数和所述第二声学近场传递函数。
根据所述第四方面的所述第一实施形式，在所述方法的第二实施形式中，所述方法包括根据以下等式确定所述第一声学近场传递函数或所述第二声近场波传递函数：
其中
其中
其中，GLL表示所述第一声学近场传递函数，GRR表示所述第二声学近场传递函数，ΓL表示所述第一头相关传递函数，ΓR表示所述第二头相关传递函数，ω表示角频率，j表示虚数单位，Pm表示m度的勒让德多项式，hm表示m阶球面汉克尔函数，h’m表示hm的第一导函数，ρ表示归一化距离，r表示范围，a表示半径，μ表示归一化频率，f表示频率，c表示声音的速度，θ表示方位角，以及φ表示仰角。因此，可以有效地确定所述第一声学近场传递函数或所述第二声学近场传递函数。
根据第五方面，本发明涉及一种听者可穿戴的可穿戴框架，所述可穿戴框架包括根据如上所述第一方面的所述第一方面的任意实施形式的所述音频信号处理装置、第一支腿和第二支腿，其中，所述音频信号处理装置用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号，所述第一支腿包括第一扬声器，所述第一扬声器用于向所述听者左耳发出所述第一输出音频信号，所述第二支腿包括第二扬声器，所述第二扬声器用于向所述听者右耳发出所述第二输出音频信号。因此，可以提供一种用于提供音频信号以便听者获得音频感知的改进概念。
根据如上所述第五方面，在所述可穿戴框架的第一实施形式中，所述第一支腿包括第一对扬声器，其中，所述音频信号处理装置用于从所述第一对扬声器中选取所述第一扬声器，所述第二支腿包括第二对扬声器，所述音频信号处理装置用于从所述第二对扬声器中选取所述第二扬声器。因此，可以有效地减轻声学前后混淆效果。
根据如上所述第五方面或所述第五方面的所述第一实施形式，在所述可穿戴框架的第二实施形式中，所述音频信号处理装置包括根据如上所述第三方面或所述第三方面的任意实施形式的提供器，用于提供所述第一扬声器和所述听者左耳之间的第一声学近场传播声道的第一声学近场传递函数以及提供所述第二扬声器和所述听者右耳之间的第二声学近场传递声道的第二声学近场传递函数。因此，可以有效地提供所述第一声学近场传递函数和所述第二声学近场传递函数。
根据第六方面，本发明涉及一种包括程序代码的计算机程序，当在计算机上执行程序代码时用于执行如上所述第二方面、所述第二方面的任意实施形式、如上所述第四方面或所述第四方面的任意实施形式的所述方法。因此，可自动、可重复地执行所述方法。
可以可编程的形式安排所述音频信号处理装置和/或所述提供器来执行所述计算机程序。
本发明可在硬件和/或软件中实施。。
附图说明
本发明的更多实施方式将结合以下附图进行描述，其中：
图1所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的图；
图2所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理方法的图；
图3所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声学近场传播声道的第一声学近场传递函数以及提供第二扬声器和收听者右耳之间的第二声学近场传播声道的第二声学近场传递函数的提供器的图；
图4所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声学近场传播声道的第一声学近场传递函数以及提供第二扬声器和听者右耳之间的第二声学近场传播声道的第二声学近场传递函数的方法的图；
图5所示为根据一实施形式的听者可穿戴的可穿戴框架的图；
图6所示为根据一实施形式的包括听者和空间音频源的空间音频场景的图；
图7所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场景的图；
图8所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场景的图；
图9所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的图；
图10所示为根据一实施形式的听者可穿戴的可穿戴框架的图；
图11所示为根据一实施形式的听者可穿戴的可穿戴框架的图；
图12所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的图；
图13所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的图；
图14所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的图；
图15所示为根据一实施形式的用于预处理多个输入音频信号以获得多个输出音频信号的音频信号处理装置的图；
图16所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场景的图；
图17所示为根据一实施形式的包括听者、第一扬声器和第二扬声器的空间音频场景的图；
图18所示为根据一实施形式的包括听者、第一扬声器和空间音频源的空间音频场景的图；
图19所示为根据一实施形式的包括听者和第一扬声器的空间音频场景的图；
图20所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置的图；
图21所示为根据一实施形式的听者可穿戴的可穿戴框架的图。
具体实施方式
图1所示为根据一实施形式的一种用于预处理第一输入音频信号EL以获得第一输出音频信号XL以及预处理第二输入音频信号ER以获得第二输出音频信号XR的音频信号处理装置100。
第一输出音频信号XL将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输。第二输出音频信号XR将通过第二扬声器和听者右耳之间的第二声学近场传播声道传输。
音频信号处理装置100包括：提供器101，用于提供第一扬声器和收听者左耳之间的第一声学近场传播声道的第一声学近场传递函数GLL以及提供第二扬声器和听者右耳之间的第二声学近场传播声道的第二声学近场传递函数GRR；滤波器103，用于在第一声学近场传递函数GLL的逆的基础上滤波第一输入音频信号EL以获得第一输出音频信号XL，以及在第二声学近场传递函数GRR的逆的基础上滤波第二输入音频信号ER以获得第二输出音频信号XR，其中所述第一输出音频信号XL与第二输入音频信号ER无关，第二输出音频信号XR与第一输入音频信号EL无关。
提供器101可以包括存储器，用于提供第一声学近场传递函数GLL或第二声学近场传递函数GRR。提供器101可以用于从存储器中获取第一声学近场传递函数GLL或第二声学近场传递函数GRR以提供第一声学近场传递函数GLL或第二声学近场传递函数GRR。
提供器101还可用于在第一扬声器位置和听者左耳位置的基础上确定第一声学近场传播声道的第一声学近场传递函数GLL以及在第二扬声器位置和听者右耳位置的基础上确定第二声学近场传播声道的第二声学近场传递函数GRR。
音频信号处理装置100还可包括又一滤波器，用于在第一声学远场传递函数的基础上滤波源音频信号以获得第一输入音频信号EL以及在第二声学远场传递函数的基础上滤波源音频信号以获得第二输入音频信号ER。
音频信号处理装置100还可包括加权器，用于对第一输出音频信号XL或第二输出音频信号XR加权一个加权因子。该加权器可用于在空间音频源和听者之间距离的基础上确定该加权因子。
音频信号处理装置100还可以包括选择器，用于从第一对扬声器中选取第一扬声器以及从第二对扬声器中选取第二扬声器。该选择器可用于：确定空间音频源相对于听者位置的方位角或仰角以及在空间音频源的所确定的方位角或仰角的基础上从第一对扬声器中选取第一扬声器及从第二对扬声器选取第二扬声器。
第一输出音频信号XL可以独立于第二声学近场传递函数GRR。第二输出音频信号XR可以独立于第一声学近场传递函数GLL。
由于假设第一声学串音传递函数GLR为0，所以第一输出音频信号XL可以独立于第二输入音频信号ER。由于假设第二声学串音传递函数GRL为0，所以第二输出音频信号XR可以独立于第一输入音频信号EL。
第一输入音频信号EL可以独立于声学串音传递函数GLR和GRL进行滤波。第二输入音频信号ER可以独立于声学串音传递函数GLR和GRL进行滤波。
第一输出音频信号XL可以独立于第二输入音频信号ER获得。第二输出音频信号XR可以独立于第一输入音频信号EL获得。
图2所示为根据一实施形式的一种用于预处理第一输入音频信号EL以获得第一输出音频信号XL以及预处理第二输入音频信号ER以获得第二输出音频信号XR的音频信号处理方法200的图。
第一输出音频信号XL将通过第一扬声器和听者左耳之间的第一声学近场传播声道传输。第二输出音频信号XR将通过第二扬声器和听者右耳之间的第二声学近场传播声道传输。
音频信号处理方法200包括：提供201第一扬声器和听者左耳之间的第一声学近场传播声道的第一声学近场传递函数GLL，提供203第二扬声器和听者右耳之间的第二声学近场传播声道的第二声学近场传递函数GRR，在第一声学近场传递函数GLL的逆的基础上滤波205第一输入音频信号EL以获得第一输出音频信号XL，以及在第二声学近场传递函数GRR的逆的基础上滤波207第二输入音频信号ER以获得第二输出音频信号XR，其中，所述第一输出音频信号XL独立于第二输入音频信号ER，第二输出音频信号XR独立于第一输入音频信号EL。音频信号处理方法200可以由音频信号处理装置100执行。
图3所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声学近场传播声道的第一声学近场传递函数GLL以及提供第二扬声器和听者右耳之间的第二声学近场传播声道的第二声学近场传递函数GRR的提供器101的图。
提供器101包括处理器301，用于在第一扬声器位置和听者左耳位置的基础上确定第一声学近场传递函数GLL以及在第二扬声器位置和听者右耳位置的基础上确定第二声学近场传递函数GRR。
处理器301可用于：在指示第一声学近场传播声道与第一扬声器位置和听者左耳位置相关的第一头相关传递函数的基础上确定第一声学近场传递函数GLL以及在指示第二声学近场传播声道与第二扬声器位置和听者右耳位置相关的第二头相关传递函数的基础上确定第二声学近场传递函数GRR。
图4所示为根据一实施形式的一种用于提供第一扬声器和听者左耳之间的第一声学近场传播声道的第一声学近场传递函数GLL以及提供第二扬声器和听者右耳之间的第二声学近场传播声道的第二声学近场传递函数GRR的方法400的图。
方法400包括：在第一扬声器位置和听者左耳位置的基础上确定401第一声学近场传递函数GLL以及在第二扬声器位置和听者右耳位置的基础上确定403第二声学近场传递函数GRR。方法400可以由提供器101执行。
图5所示为根据一实施形式的听者可穿戴的可穿戴框架500的图。
可穿戴框架500包括音频信号处理装置100、第一支腿501、第二支腿503，其中，音频信号处理装置100用于预处理第一输入音频信号EL以获得第一输出音频信号XL以及预处理第二输入音频信号ER以获得第二输出音频信号XR；第一支腿501包括第一扬声器505，第一扬声器505用于向听者左耳发出第一输出音频信号XL；第二支腿503包括第二扬声器507，第二扬声器507用于向听者右耳发出第二输出音频信号XR。
第一支腿501可以包括第一对扬声器，其中，音频信号处理装置100可用于从第一对扬声器中选取第一扬声器505。第二支腿503可以包括第二对扬声器，其中，音频信号处理装置100可用于从第二对扬声器中选取第二扬声器507。
本发明涉及使用位于听者耳朵附近的扬声器进行音频呈现的领域，该扬声器可以集成在可穿戴框架或3D眼镜等中。本发明可以应用于呈现单声道和多声道音频信号，即单信号、立体声信号、5.1、7.1、9.1、11.1或22.2等环绕声信号，以及双耳信号。
随着眼镜、帽子、便帽等可穿戴音频产品的发展，使用位于耳朵附近的扬声器进行音频呈现越来越受关注，耳朵和扬声器的距离可以在1厘米至15厘米之间。然而，头戴式耳机通常直接放在听者耳上，甚至在耳内。音频呈现应该能够进行3D音频呈现以提高听者的音频体验。
在没有进一步处理的情况下，听者会感知通过这类扬声器播放的所有音频信号，这类扬声器非常靠近头部，即在声学近场内。这能够适用于单声道和多声道音频信号，即单信号、立体声信号以及5.1、7.1、9.1、11.1、22.2等环绕声信号。
双耳信号可以用来将近场音频感知转换为远场音频感知并产生空间声学源的3D空间感知。通常，这些信号可以在听者耳鼓处重现以正确地重现双耳线索。此外，可以采用考虑扬声器位置的补偿，这能够使用靠近耳朵的扬声器重现双耳信号。
可以采用一种通过靠近听者耳朵放置的扬声器呈现音频的方法，该方法可以包括补偿扬声器和耳朵之间的声学近场传递函数，即第一方面，以及为音频源呈现从一组可用对中选取最佳扬声器对的选择方式，即第二方面。
3D眼镜等可穿戴设备的音频呈现通常通过连接到可穿戴设备的头戴式耳机来实现。这种方法的优点在于，可以提供良好的音频质量。然而，头戴式耳机扮演用户需要放入耳中或放到耳上的在某种程度上独立的另一设备。这在穿上和/或戴上该设备时会降低舒适度。这个缺点可以通过将音频呈现集成到可穿戴设备中使得在穿上时不依赖用户的额外动作来减轻。
骨传导可以用于此目的，其中骨传导转换器安装在眼镜两侧的内部，例如正好在听者耳后，骨传导转换器可以将音频声音直接通过骨头传导到听者内耳。然而，由于这种方法在耳道内不产生声波，所以可能无法在声音质量和/或空间音频感知方面产生自然收听体验。具体而言，高频率可不通过骨头传导，因此可能会衰减。此外，在左耳侧传导的音频信号还通过骨头传导到右耳，反之亦然。这种串音效果会干扰音频源的双耳定位，例如左和/或右定位。
一般而言，针对可穿戴设备的音频呈现的这些方案可以构成舒适度和音频质量之间的权衡。骨传导可能方便穿戴，但是会导致音频质量降低。使用头戴式耳机能够获得高音频质量但是会降低舒适度。
本发明可以通过使用扬声器重现音频信号来克服这些限制。扬声器可以安装在可穿戴框架等可穿戴设备上。因此，可以获得高音频质量和穿戴舒适度。
靠近耳朵的扬声器，如安装在可穿戴或3D眼镜上的扬声器等，可以具有与耳罩式耳机或入耳式耳机类似的用例，但是由于扬声器穿戴起来更舒适，所以往往首选扬声器。然而，当使用位置靠近耳朵的扬声器时，听者可以感知呈现的信号，因为非常靠近，即在声学近场内。
为了在远距离的特定位置处，即在声学远场内，产生空间或虚拟声源的感知，可以使用双耳信号，其直接使用仿真头或者合成信号记录，合成信号可以通过利用一组头相关传递函数(head-related transfer functions，HRTF)滤波音频源信号来获得。为了在远场使用扬声器将双耳信号呈现给用户，可能要解决串音抵消问题，并且可能要补偿扬声器和耳朵之间的声学传递函数。
本发明涉及使用扬声器，这些扬声器靠近头部，即在声学近场内，而且涉及在3D空间的任意位置处产生音频声源感知，任意位置即在声学远场内。
描述了主要声源S在3D空间的虚拟空间远场位置处进行音频呈现的方式，该远场位置使用靠近耳朵的扬声器或次级声源定义在球面坐标系(r,θ,φ)中。本发明可以在穿戴舒适度、音频质量和/或3D空间音频体验方面提高可穿戴设备的音频呈现。
主要声源，即输入音频信号，可以为任何音频信号，例如虚拟地放置在3D空间的空间位置处的增强型现实应用中的人工单音源。为了以单音、立体声、5.1环绕声信号等重现单声道或多声道音频内容，主要声源可对应虚拟地放置在3D空间中的虚拟空间扬声器。每个虚拟空间扬声器可以用来重现输入音频信号的一个声道。
本发明包括扬声器和耳朵之间的声学近场传递函数的几何补偿以实现在远场中呈现虚拟空间音频源，即第一方面，包括以下步骤：近场补偿以实现使用稳健的串音抵消方法将双耳信号呈现给靠近耳朵的扬声器，使用HRTF远场呈现虚拟空间音频源以获得预期位置，以及可选地校正反距离定律。
本发明还包括，作为预期空间声源位置的函数，可以使用最少两对扬声器确定重现中使用的各个扬声器的驱动函数，如第二方面。
图6所示为根据一实施形式的包括听者601和空间音频源603的空间音频场景的图。该图涉及2D中使用HRTF对位置(r,θ)处的主要空间音频源S的虚拟或空间定位，其中φ＝0。
双耳信号可以为双声道音频信号，例如离散立体声信号或参数立体声信号，包括单音下混频和空间侧信息，可以捕获人类听觉***用来定位音频声源的整组空间线索。
在空间具***置的音频声源和人耳之间的传递函数被称为头相关传递函数(head-related transfer function，HRTF)。这类HRFT可以捕获所有定位线索，诸如双耳时间差(inter-aural time differences，ITD)和/或双耳声级差(inter-aural leveldifference，ILD)。当使用头戴式耳机等在听者的耳鼓处重现这类音频信号时，可以获得令人信服的3D音频感知，其中声学音频源的感知位置围绕听者跨越整个360°球形。
双耳信号利用频域中的头相关传递函数(head-related transfer functions，HRTF)或时域中的双耳房间脉冲响应(binaural room impulse responses，BRIR)生成，或者可以使用仿真头或入耳式麦克风等合适的记录设备记录。
例如，参考图6，用户或听者相比于图6无需头戴式耳机就可以感知到声学空间音频源S在左耳作为左耳入口信号或左耳音频信号EL以及在右耳作为右耳入口信号或右耳音频信号ER，声学空间音频源S可以是产生音频源信号S的人或者乐器或者甚至单音扬声器。描述从源S到右耳EL以及到右耳ER的传输声道的对应传递函数可以为，例如，描绘为图6中的HL和HR的对应左耳和右耳头相关传递函数(head-related transfer functions，HRTF)。
类似地，如图6所示，为了使位于坐标系原点的听者感知放置在球形坐标中的位置(r,θ,φ)处的虚拟空间音频源S，可以利用虚拟空间音频源位置和听者左耳和右耳对应的HRTFH(r,θ,φ)来滤波源信号S以获得耳入口信号，即EL和ER，它们还可以按照复杂频域表示法写作EL(jω)和ER(jω)：
换言之，通过基于r、θ和φ为音频源S的预期虚拟空间位置选择合适的HRTF，可以处理任何音频源信号S，使得听者能够在音频源信号通过头戴式耳机或耳机重现时感知其放置在预期位置处。
以这种方式产生的双耳定位线索的正确重现的一个重要方面在于耳朵信号E在听者耳鼓处重现，这在使用图6所描述的头戴式耳机或耳塞式耳机时很自然地得到实现。头戴式耳机和耳塞式耳机的共同点是：它们直接位于耳上或甚至位于耳内，以及放置头戴式耳机或耳塞式耳机包含的扬声器的膜使得它们直接指向耳鼓。
然而，在很多情况下，穿戴头戴式耳机不被听者接受，因为穿戴起来不舒服或者可能会使耳朵听不见外界声音。此外，手机等许多设备包括扬声器。在考虑3D眼镜等可穿戴设备时，音频呈现的一种自然选择可以是将扬声器集成在这些设备中。
通过普通扬声器在听者耳朵处重现双耳信号能够以解决串音问题为基础，这在通过头戴式耳机麦重现双耳信号时不能很自然地发生，因为左耳信号EL可以直接且只能在听者左耳处重现，而右耳信号ER可以直接且只能在听者右耳处重现。一种解决该问题的方式可能是采用串音抵消技术。
图7所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的空间音频场景的图。该图示出了直接和串音传播路径。
通过串音抵消技术，对于预期左耳和右耳入口信号EL和ER，可以计算对应的扬声器信号。当一对远距离左和右立体声扬声器重放两个信号，
XL(jω)和XR(jω)，听者的左耳和右耳入口信号，EL(jω)和ER(jω)，可以构建为：
其中GLL(jω)和GRL(jω)为从左和右扬声器到左耳的传递函数，GLR(jω)和GRR(jω)为从左和右扬声器到右耳的传递函数。GRL(jω)和GLR(jω)可以表示不预期的串音传播路径，其可取消以正确地重现预期耳入口信号EL(jω)和ER(jω)。
在向量矩阵表示法中，(1)为：
E＝GX, (2)
其中
对应于给定预期耳入口信号E的扬声器信号X为：
X＝G-1E, (4)
图8所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的空间音频场景的图。该图涉及串音抵消技术的虚拟说明。
为了提供串音抵消的3D音效，耳入口信号E可以在任何预期方位角和仰角处利用HRTF来计算。串音抵消的目标可以是提供与头戴式耳机上双耳呈现类似的体验，但是利用的是两个扬声器。图8虚拟地说明了串音抵消技术。
然而，这种技术仍然很难实施，因为这会调用矩阵求逆，而矩阵常常是病态的。矩阵求逆会导致不现实的高滤波增益，这在实践中不可用。扬声器的范围大且动态，可能是可取的，而且大量声学能量可向除两只耳朵之外的区域辐射。此外，通过一对扬声器向听者播放双耳信号，不一定以立体声，可产生声学前和/或后混淆效果，即事实上可位于前面的音频源可以由听者放置在其后面，反之亦然。
图9所示为根据一实施形式的一种用于预处理第一输入音频信号EL以获得第一输出音频信号XL以及预处理第二输入音频信号ER以获得第二输出音频信号XR的音频信号处理方法100的图。音频信号处理装置100包括滤波器103、又一滤波器901和加权器903。该图提供包括远场构建步骤、近场补偿步骤和可选的反距离定律校正步骤的概述。
又一滤波器901用于在预期音频源位置(r,θ,φ)的基础上执行远场构建。又一滤波器901处理源音频信号S以提供第一输入音频信号EL和第二输入音频信号ER。
滤波器103用于在扬声器位置(r,θ,φ)的基础上执行近场补偿。滤波器103处理第一输入音频信号EL和第二输入音频信号ER以提供第一输出音频信号XL和第二输出音频信号XR。
加权器903用于在预期音频源位置(r,θ,φ)的基础上执行反距离定律校正。加权器903处理第一输出音频信号XL和第二输出音频信号XR以提供第一加权的输出音频信号X’L和第二加权的输出音频信号X’R。
为了产生发出源音频信号S的虚拟空间音频源的预期远场感知，可以采用基于HRTF的远场构建来获得预期耳信号E，例如双耳信号。为了通过扬声器重现耳信号E，可以采用近场补偿来获得扬声器信号X，可选地，可以校正反距离定律以获得扬声器信号X’。主要空间音频源S的预期位置可以很灵活，其中扬声器位置可以取决于可穿戴设备的具体设置。
近场补偿可以按如下执行。传统串音抵消会遭受矩阵求逆导致的病态问题。因此，通过扬声器呈现双耳信号可能具有挑战性。
考虑到一对扬声器带来的串音抵消问题，即位于耳朵附近的包括左和右的立体声，可以简化该问题。结果发现扬声器和耳入口信号之间的串音可以比从远场位置发出的信号小很多。串音可以变得很小，使得能够假设最好忽略从左和右扬声器到左耳和右耳，即相反耳朵，的传递函数：
GLR(jω)＝GRL(jω)＝0. (5)
该发现会产生一种更简单的方案。等式3中的二阶矩阵可以是对角矩阵。该方案可等同于两个简单的逆问题：
和
具体而言，串音抵消问题的这种简化等式可以避免传统串音抵消方法的典型问题，可以产生一种不会遭受病态问题同时能够实现非常好的性能的更稳健的实施方式。这可以使该方法尤其适合使用靠近耳朵的扬声器呈现双耳信号。
这种方法包括头相关传递函数(head-related transfer functions，HRTF)以推导出扬声器信号XL和XR。目的是能够采用滤波网络将近场扬声器匹配到预期虚拟空间音频源。传递函数GLL(jω)和GRR(jω)可以计算为逆近场传递函数，即逆NFTF，以消除扬声器的近场效果。
基于依据下式的HRTF球状模型Γ(ρ,μ,θ,φ)：
可以利用标志L推导出左NFTF，利用标志R推导出右NFTF。在下文，示例性地给出了左NFTF：
其中根据下式为到扬声器的归一化距离：
其中r为扬声器的范围，a为可以用来近似人头尺寸的球形半径。实验表明a的范围可以为0.05m≤a≤0.12m，μ根据下式定义为归一化频率：
其中f为频率，c为声速。Θ是入射角，例如球形中心到扬声器的射线与到达球形表面上测量点的射线之间的角度。最后，为仰角。函数Pm和hm分别表示m度的勒让德多项式和m阶球面汉克尔函数。h’m为hm的第一导函数。可以采用具体算法来递归地得出Γ的估计。
NFTF可以用于构建扬声器和耳朵之间的传递函数。
对应等式函数采用等式(7)至(10)中使用标志R的右NFTF，而不是标志L。
通过将从扬声器到耳朵的NFTF(7)求逆，可以抵消等式(6)中扬声器和耳朵之间的近距离效果，这会产生对预期耳信号E的近场补偿的扬声器驱动信号X，根据下式：
和
基于HRTF的远场呈现可以按如下执行。为了产生虚拟空间音频源S的远场效果，预期左耳和右耳入口信号EL和ER对应的双耳信号可以通过利用预期远场位置对应的一组HRTF滤波音频源信号S来获得，根据下式：
这种滤波可以实施为时域的卷积或频域的倍增。
反距离定律可以如下采用。此外且可选地，对于改进HRTF呈现的远场双耳效果，可以通过反距离定律进一步考虑空间音频源的范围。离空间音频源给定距离处的声压可以假设与距离的倒数成比例。
考虑到空间音频源与头中心的距离，其可以通过半径为a的球形构建，可以推导出与反距离成比例的增益：
其中r0为虚构球形的半径，其上所施加的增益可以归一化到0dB。这可以是扬声器到耳朵的距离。
α为使反距离定律更灵活的指数参数，例如，当α＝0.5时，距离r的加倍会导致增益降低3dB，当α＝1时，距离r的加倍会导致增益降低12dB。
增益(11)可以等同地应用于左和右扬声器信号：
x'＝g(ρ)·x. (12)
图10所示为根据一实施形式的听者601可穿戴的可穿戴框架500的图。可穿戴框架500包括第一支腿501和第二支腿503。第一扬声器505可以从第一对扬声器1001中选取。第二扬声器507可以从第二对扬声器1003中选取。该图可以涉及具有四个小扬声器的3D眼镜。
图11所示为根据一实施形式的听者601可穿戴的可穿戴框架500的图。可穿戴框架500包括第一支腿501和第二支腿503。可以从第一对扬声器1001中选择第一扬声器505。可以从第二对扬声器1003中选取第二扬声器507。相对于听者601布置空间音频源603。该图描绘了基于虚拟空间源角度θ的扬声器选择。
可以如下执行扬声器对选择。该方法可以扩展到如图10描绘的多扬声器或多扬声器对用例。考虑到两对扬声器围绕头部，根据待重现的空间音频源S的仰角Θ，可以简单决定使用如图11所示的前面或背面的扬声器对。如果–90<θ<90，前面的扬声器xL和xR对可以是活动的。如果90<θ<270，后面的扬声器xLs和xRs对可以是活动的。
这能够解决将听者后面的空间音频源错误地放置在听者前面(反之亦然)的前后混淆效果问题。然后可以使用前面描述的远场构建和近场补偿来处理选取的对。可以使用前后之间的更平滑的转移函数而不是所描述的二进制决策来改进该模型。
此外，替代性示例也是可能的，例如一对扬声器在耳朵下面，一对扬声器在耳朵上面。在这种情况下，能够解决将听者下面的空间音频源放置在听者上面(反之亦然)的高度混淆问题。在这种情况下，扬声器选择可以基于仰角
在一般情况下，假设多对扬声器设置在不同位置(θ,φ)处，与音频源具有最小角度差的那一对可以用于呈现主要空间音频源。
本发明可以有利地应用于在各种实施形式中产生远场效果。
图12所示为根据一实施形式的一种用于预处理第一输入音频信号EL以获得第一输出音频信号XL以及预处理第二输入音频信号ER以获得第二输出音频信号XR的音频信号处理方法100的图。音频信号处理装置100包括滤波器103。滤波器103用于在扬声器位置(r,θ,φ)的基础上执行近场补偿。该图涉及双耳信号E＝(EL,ER)T的重放，其中可以不采用远场构建。
如上所述，基于等式(7)至(10)，通过将扬声器到耳朵的NFTF根据等式(7)进行求逆，可以抵消等式(6)中扬声器与耳朵之间的近距离效果，这会根据预期或给定双耳信号E对扬声器驱动信号X产生近场补偿，根据下式：
和
在典型实施形式中，扬声器可以布置在可穿戴设备上的固定位置和方向，因此相对于听者耳朵还具有预定位置和方向。因此，左和右扬声器位置的NFTF和对应逆HFTF可以提前确定。
图13所示为根据一实施形式的一种用于预处理第一输入音频信号EL以获得第一输出音频信号XL以及预处理第二输入音频信号ER以获得第二输出音频信号XR的音频信号处理方法100的图。
该图涉及一个用于呈现具有两个声道的传统立体声信号S＝(Sleft,Sright)T的示例。立体声信号的每个音频声道可以呈现为主音频源，例如作为虚拟扬声器，位于θ＝±30°，其中θ如上述定义，以模仿用于立体声重放的典型扬声器设置。
音频信号处理装置100包括滤波器103。滤波器103用于在扬声器位置(r,θ,φ)的基础上执行近场补偿。
音频信号处理装置100还包括又一滤波器901。又一滤波器901用于在虚拟空间音频源位置，例如在左侧θ＝30°处，执行远场构建。处理源音频信号Sleft以提供辅助输入音频信号EL left和辅助输入音频信号ER left。又一滤波器901还用于在又一虚拟空间音频源位置，例如在右侧θ＝-30°处，执行远场构建。处理源音频信号Sright以提供辅助输入音频信号EL right和辅助输入音频信号ER right。又一滤波器901还用于通过添加辅助输入音频信号EL left和辅助输入音频信号EL right来确定第一输入音频信号EL，通过添加辅助输入音频信号ER left和辅助输入音频信号ER right来确定第二输入音频信号ER。
音频信号处理装置100可以用于立体声和/或环绕声重现。音频信号处理装置100可以应用于通过创建两个主要空间音频源，例如在所定义的θ＝±30°处，来增强两个声道立体声信号的空间重现，该两个主要空间音频源可以充当远场的虚拟扬声器。
为了实现该点，可以将通用处理分别应用于立体声信号S的左声道Sleft和右声道Sright。首先，远场构建可以应用于获得双耳信号产生Sleft由虚拟扬声器在位置θ＝30°处发出的感知。类似地，可以通过虚拟扬声器位置θ＝-30°从Sleft中获得然后，可以通过相加Eleft和Eright获得双耳信号E：
其次，所得双耳信号E可以在近场补偿步骤中转换为扬声器信号X。可选地，可以类似地采用反距离定律校正。
图14所示为根据一实施形式的一种用于预处理第一输入音频信号EL以获得第一输出音频信号XL以及预处理第二输入音频信号ER以获得第二输出音频信号XR的音频信号处理方法100的图。
以与立体声信号同样的方式，多声道信号，例如5.1环绕声信号，可以通过放置在各个位置，例如前置左/右θ＝±30°、中心θ＝0°、左/右环绕θ＝±110°的虚拟扬声器创建每个声道来呈现。所得双耳信号可以相加，并且可以执行近场校正以获得扬声器驱动信号XL,XR。
音频信号处理装置100包括滤波器103。滤波器103用于在扬声器位置(r,θ,φ)的基础上执行近场补偿。
音频信号处理装置100还包括又一滤波器901。又一滤波器901用于执行远场构建，例如针对5个声道。又一滤波器901以预期空间音频源位置，例如针对θ＝{30°,-30°,0°,110°,-110°}处的5个声道，为基础处理多声道输入，例如前左/右、中心、左/右环绕的5个声道，以提供第一输入音频信号EL和第二输入音频信号ER。
本发明还可应用于通过为输入信号的每个声道创建一个主要空间音频源来增强多声道环绕信号的空间重现。
该图示出了以5.1环绕声信号为例，其可以看作如上所述的立体声用例的多声道扩展。在这种情况下，主空间音频源的虚拟空间位置，即虚拟扬声器，可以对应θ＝{30°,-30°,0°,110°,-110°}。如上介绍的通用处理可以分别应用于输入音频信号的每个声道。首先，远场构建可以应用于获得输入音频信号的每个声道的双耳信号。所有双耳信号可以相加，产生前面针对立体声用例所说明的E＝(EL,ER)T。
其次，所得双耳信号E可以在近场补偿步骤中转换为扬声器信号X。可选地，可以类似地采用反距离定律校正。
图15所示为根据一实施形式的用于预处理多个输入音频信号EL、ER、ELs、ERs以获得多个输出音频信号XL、XR、XLs、XRs的音频信号处理装置100的图。该图涉及多声道信号重现，使用的是两对扬声器，其中一对在听者前面，即L和R，一对在听者后面，即Ls和Rs。
音频信号处理装置100包括滤波器103。滤波器103用于在L和R扬声器位置(r,θ,φ)的基础上执行近场补偿。滤波器103处理输入音频信号EL和ER以提供输出音频信号XL和XR。滤波器103还用于在Ls和Rs扬声器位置(r,θ,φ)的基础上执行近场补偿。滤波器103处理输入音频信号ELs和ERs以提供输出音频信号XLs和XRs。
音频信号处理装置100还包括又一滤波器901。又一滤波器901用于执行远场构建，例如针对5个声道。又一滤波器901以预期空间音频源位置，例如针对θ＝{30°,-30°,0°,110°,-110°}处的5个声道，为基础处理多声道输入，例如前左/右、中心、左/右环绕的5个声道。又一滤波器901用于为所有5个声道提供双耳信号。
音频信号处理装置100还包括：选择器1501，用于在L和R扬声器位置(r,θ,φ)、Ls和Rs扬声器位置(r,θ,φ)和/或预期空间音频源位置，例如针对θ＝{30°,-30°,0°,110°,-110°}处5个声道，的基础上执行扬声器选择和相加。
音频信号处理装置100可以适用于使用多对靠近耳朵放置的扬声器的环绕声重现。
通过考虑每个声道作为具有固定和/或预定义远场位置的单个主要空间音频源，其可以有利地应用于多声道环绕声信号。例如，可以在可穿戴框架或3D眼镜上重现5.1声带，将每个声道的位置定义为位于球形坐标系中如下位置的单个音频声源：r＝2m、θ＝30°的L声道，r＝2m、θ＝-30°、的R声道，r＝2m、θ＝0°、的C声道，r＝2m、θ＝110°、的Ls声道，以及r＝2m、θ＝-110°、的Rs声道。
该图描绘了处理。可以通过远场构建利用各个音频源角度处理所有声道以获得所有声道的双耳信号。然后，基于扬声器角度，对于每个信号，可以如上所述选择最佳一对扬声器，例如前面的或后面的扬声器。
将所有通过前面的扬声器对L、R重现的所有双耳信号相加可以形成双耳信号EL,ER，其随后可以进行近场补偿以形成扬声器驱动信号XL,XR。将所有通过后面的扬声器对Ls、Rs重现的所有双耳信号相加可以形成双耳信号ELs,ERs，其随后可以进行近场补偿以形成扬声器驱动信号XLs,XRs。
由于虚拟空间前和后远场扬声器可以通过近场扬声器重现，近场扬声器也可以放置在听者耳朵的前面和后面，因此可以避免前后混淆效果。该处理可以扩展到任意多声道格式，不仅仅是5.1环绕声信号。
本发明能够提供以下优点。靠近头部的扬声器可以用来产生远距离虚拟空间音频源的感知。扬声器和耳朵之间的近场传递函数可以使用简化、更稳健的串音抵消问题等式进行补偿。HRTF可以用来产生远场音频源的感知。近场头屏蔽效果可以转换为远场头屏蔽效果。可选地，还可以校正1/r效果，即距离。
本发明描述了将多对靠近耳朵的扬声器用作音频声源位置的函数，并且决定哪些扬声器适于重放。其可以扩展到任意数目的扬声器对。该方法可以适用于5.1环绕声带。空间感知或效果可以是3维的。关于使用传统头戴式耳机的双耳重放，可以实现固体外表化和前/后混淆降低方面的优点。
本发明可以适用于3D音效呈现并且可以提供可穿戴设备和3D眼镜或帽子等可穿戴音频产品的3D音效。
本发明涉及一种在靠近听者耳朵放置的扬声器上进行音频呈现的方法，扬声器和耳朵相距1厘米到10厘米等。该方法可以包括近场传递函数的补偿和/或从一组扬声器对中选择最佳一对扬声器。本发明涉及信号处理特征。
图16所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的空间音频场景的图。
利用扬声器进行音频信号重现会引起串音问题，即每个扬声器信号到达两只耳朵。而且，由于墙壁或天花板以及房间中其它物体的反射，即回声会产生额外的传播路径。
图17所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器507的空间音频场景的图。该图还包括第一传递函数块1701和第二传递函数块1703。该图示出了使用逆滤波的通用串音消除技术。
第一传递函数块1701使用传递函数W(ω)处理音频信号Srec,right(ω)和Srec,left(ω)以提供音频信号Yright(ω)和Yleft(ω)。第二传递函数块1703使用传递函数H(ω)处理音频信号Yright(ω)和Yleft(ω)以提供音频信号Sright(ω)和Sleft(ω)。
一种用于移除不预期的声学串音的方法可以为逆滤波或串音抵消。为了在听者耳朵处重现双耳信号并抵消声学串音，使得srec(w)≡s(w)，需要的是：
W(ω)＝H-1(ω).
对于远离听者数米远的扬声器，进行串音抵消可能会很困难。植物矩阵经常是病态的，而且矩阵求逆会导致不切实际的高滤波增益，这在实践中不可用。扬声器的范围非常大且动态，可能是可取的，大量声能可向除两只耳朵之外的区域辐射。
当将双耳信号呈现给听者时，位于听者前面的音频源可放置在听者的后面(反之亦然)的前/后混淆会出现。
图18所示为根据一实施形式的包括听者601、第一扬声器505和第二扬声器603的空间音频场景的图。第一扬声器505表示为x和xL。空间音频源603表示为s。
第一声学近场传递函数GLL指示第一扬声器505和听者601左耳之间的第一声学近场传播声道。第一声学串音传递函数GLR指示第一扬声器505和听者601右耳之间的第一声学串音传播声道。
第一声学远场传递函数HL指示空间音频源603和听者601左耳之间的第一声学远场传播声道。第二声学远场传递函数HR指示空间音频源603和听者601右耳之间的第二声学远场传播声道。
可以采用通过靠近耳朵的扬声器或辅助音频源来对位于虚拟空间位置r、θ、处的虚拟空间声源进行音频呈现。
该方法可以基于扬声器和耳朵之间的近场传递函数的几何补偿，以实现远场中虚拟空间音频源的呈现。该方法还可基于，作为预期音频声源位置的函数，确定通过最少两对扬声器进行重现中的各个扬声器的驱动函数。该方法可以通过移动靠近听者耳朵的扬声器来抵消串音。
对于靠近听者的扬声器x，耳入口信号之间的串音相对于从远场位置发出的信号小很多。串音会变得很小，假设：
GLR(jω)＝GRL(jω)＝0
即没有串音产生。这能够提高方法的稳健性，并且能够简化串音抵消问题。
图19所示为根据一实施形式的包括听者601和第一扬声器505的空间音频场景的图。
第一扬声器505通过第一扬声器505和听者601左耳之间的第一声学近场传播声道发出音频信号XL(jω)以在听者601左耳处获得预期入耳音频信号。第一声学近场传播声道表示为第一声学近场传递函数GLL。
靠近耳朵的扬声器的用例可以与头戴式耳机或耳塞式耳机相似，但是优选扬声器，因为它们戴起来更舒服。类似于头戴式耳机，靠近耳朵的扬声器可能不存在串音。然而，使用扬声器呈现的虚拟空间音频源可靠近听者头部出现。
双耳信号可以用于产生远距离声学空间音频源的令人信服的感知。为了通过靠近耳朵的扬声器将双耳信号EL(jω)提供给耳朵，扬声器和耳朵之间的传递函数GLL(jω)可根据下式补偿：
和
为了补偿传递函数，可以基于HRTF球形模型Г(ρ，μ，θ)根据下式推导出NFTF：
图20所示为根据一实施形式的一种用于预处理第一输入音频信号以获得第一输出音频信号以及预处理第二输入音频信号以获得第二输出音频信号的音频信号处理装置100的图。音频信号处理装置100包括提供器101、又一提供器2001、滤波器103和另一滤波器901。
提供器101用于提供逆近场HRTF，gL和gR。又一提供器2001用于提供HRTF，hL和hR。又一滤波器901用于通过hL卷积左声道音频信号L以及通过hR卷积右声道音频信号R。滤波器103用于通过gL卷积左声道音频信号以及通过gR卷积右声道音频信号。
补偿之后，可以通过HRTF在预期远场方位和/或仰角处滤波左耳和右耳入口信号eL和eR。该实施方式可以利用每个扬声器声道的两阶段卷积在时域内进行。首先，可以执行利用对应HRTF的卷积，即hL和hR。第二，可以执行利用反向NFTF的卷积，即gL和gR。
还可以通过距离反比定律根据下式校正空间音频源的距离：
其中r0可以为虚拟球形的半径，施加在虚拟球形上的增益可以归一化为0dB。α为使距离反比定律更灵活的指数参数。对于α＝0.5，距离r的双倍会导致增益降低3dB。对于α＝1，距离r的双倍会导致增益降低6dB。对于α＝2，距离r的双倍会导致增益降低12dB。g(ρ)可以乘以双耳信号。
靠近听者头部的扬声器可以用来产生远距离虚拟空间音频源的感知。可以补偿扬声器和耳朵之间的近场传递函数，而且HRFT可以用来产生远场空间音频源的感知。近场头屏蔽效过可以转换为远场头屏蔽效果。由于距离还可以校正1/r效果。
图21所示为根据一实施形式的听者601可穿戴的可穿戴框架500的图。可穿戴框架500包括第一支腿501和第二支腿503。可以从第一对扬声器1001中选择第一扬声器505。可以从第二对扬声器1003中选择第二扬声器507。相对听者601设置空间音频源603。该图描绘了基于虚拟空间源角度θ的扬声器选择。图21对应图11，其中使用了角度θ的不同定义。
当将双耳信号呈现给听者时，位于前面的音频源可放置在后面(反之亦然)的前/后混淆会出现。本发明描述了将多对靠近耳朵的扬声器用作空间音频声源位置的函数，并且决定哪些扬声器适于重放。例如，可以使用耳朵前面和后面的两对扬声器。
作为方位角θ的函数，可以进行前面或后面扬声器选择，这些扬声器最佳匹配预期声音呈现方向θ。如果180>θ>0，前面的扬声器xL和xR对可以激活。如果-180<θ<0，前面的扬声器xLs和xRs对可以激活。如果θ＝0或180，可以同时使用前面和后面的扬声器对。
本发明能够提供以下优点。通过将扬声器选择作为空间音频源方向的函数，可以产生有关听者耳朵的线索，使得该方法相对于前/后混乱更加稳健。该方法还可扩展到任意数目的扬声器对。

Claims (18)

1.一种音频信号处理装置(100)，用于预处理第一输入音频信号(EL)以获得第一输出音频信号(XL)以及预处理器第二输入音频信号(ER)以获得第二输出音频信号(XR)，所述第一输出音频信号(XL)将通过第一扬声器(505)和听者(601)左耳之间的第一声学近场传播声道传输，所述第二输出音频信号(XR)将通过第二扬声器(507)和所述听者(601)右耳之间的第二声学近场传播声道传输，其特征在于，所述音频信号处理装置(100)包括：
提供器(101)，用于提供所述第一扬声器(505)和所述听者(601)左耳之间的所述第一声学近场传播声道的第一声学近场传递函数(GLL)以及提供所述第二扬声器(507)和所述听者(601)右耳之间的所述第二声学近场传播声道的第二声学近场传递函数(GRR)；
滤波器(103)，用于在所述第一声学近场传递函数(GLL)的倒数的基础上滤波所述第一输入音频信号(EL)以获得所述第一输出音频信号(XL)以及在所述第二声学近场传递函数(GRR)的倒数的基础上滤波所述第二输入音频信号(ER)以获得所述第二输出音频信号(XR)，其中，所述第一输出音频信号(XL)与所述第二输入音频信号(ER)无关，所述第二输出音频信号(XR)与所述第一输入音频信号(EL)无关。
2.根据权利要求1所述的音频信号处理装置(100)，其特征在于，所述提供器(101)包括：存储器，用于提供所述第一声学近场传递函数(GLL)或所述第二声学近场传递函数(GRR)，以及所述提供器(101)用于从所述存储器中获取所述第一声学近场传递函数(GLL)或所述第二声学近场传递函数(GRR)以提供所述第一声学近场传递函数(GLL)或所述第二声学近场传递函数(GRR)。
3.根据任意前述权利要求所述的音频信号处理装置(100)，其特征在于，所述提供器(101)用于在所述第一扬声器(505)的位置和所述听者(601)左耳的位置的基础上确定所述第一声学近场传播声道的所述第一声学近场传递函数(GLL)以及在所述第二扬声器(507)的位置和所述听者(601)右耳的位置的基础上确定所述第二声学近场传播声道的所述第二声学近场传递函数(GRR)。
4.根据任意前述权利要求所述的音频信号处理装置(100)，其特征在于，所述滤波器(103)用于根据以下等式滤波所述第一输入音频信号(EL)或所述第二输入音频信号(ER)：
其中，EL表示所述第一输入音频信号，ER表示所述第二输入音频信号，XL表示所述第一输出音频信号，XR表示所述第二输出音频信号，GLL表示所述第一声学近场传递函数，GRR表示所述第二声学近场传递函数，ω表示角频率，j表示虚数单位。
5.根据任意前述权利要求所述的音频信号处理装置(100)，其特征在于，所述装置(100)包括：又一滤波器(901)，用于在第一声学远场传递函数(HL)的基础上过滤源音频信号(S)以获得第一输入音频信号(EL)以及在第二声学远场传递函数(HR)的基础上过滤所述源音频信号(S)以获得所述第二输入音频信号(ER)。
6.根据权利要求5所述的音频信号处理装置(100)，其特征在于，所述源音频信号(S)关联到空间音频场景内的空间音频源(603)，所述又一滤波器(901)用于在所述空间音频场景内的所述空间音频源(603)的位置和所述听者(601)左耳的位置的基础上确定所述第一声学远场传递函数(HL)以及在所述空间音频场景内的所述空间音频源(603)的位置和所述听者(601)右耳的位置的基础上确定所述第二声学远场传递函数(HR)。
7.根据权利要求6所述的音频信号处理装置(100)，其特征在于，所述装置(100)包括：加权器(903)，用于对所述第一输出音频信号(XL)或所述第二输出音频信号(XR)加权一个加权因子(g)，所述加权器(903)用于在所述空间音频源(603)和所述听者(601)之间的距离的基础上确定所述加权因子(g)。
8.根据权利要求7所述的音频信号处理装置(100)，其特征在于，所述加权器(903)用于根据以下等式确定所述加权因子(g)：
其中，g表示所述加权因子，ρ表示归一化距离，r表示范围，r0表示参考范围，a表示半径，α表示指数参数。
9.根据权利要求6至8所述的音频信号处理装置(100)，其特征在于，所述装置(100)包括：选择器(1501)，用于从第一对扬声器(1001)中选取所述第一扬声器(505)以及从第二对扬声器(1003)中选取所述第二扬声器(507)，所述选择器(1501)用于确定所述空间音频源(603)相对于所述听者(601)的位置的方位角或仰角，所述选择器(1501)用于在所述空间音频源(603)的所述确定的方位角或仰角的基础上从所述第一对扬声器(1001)选取所述第一扬声器(505)和从所述第二对扬声器(1003)中选取所述第二扬声器(507)。
10.一种音频信号处理方法(200)，用于预处理第一输入音频信号(EL)以获得第一输出音频信号(XL)以及预处理器第二输入音频信号(ER)以获得第二输出音频信号(XR)，所述第一输出音频信号(XL)将通过第一扬声器(505)和听者(601)左耳之间的第一声学近场传播声道传输，所述第二输出音频信号(XR)将通过第二扬声器(507)和所述听者(601)右耳之间的第二声学近场传播声道传输，其特征在于，所述音频信号处理方法(200)包括：
提供(201)所述第一扬声器(505)和所述听者(601)左耳之间的所述第一声学近场传播声道的第一声学近场传递函数(GLL)；
提供(203)所述第二扬声器(507)和所述听者(601)左耳之间的所述第二声学近场传播声道的第二声学近场传递函数(GRR)；
在所述第一声学近场传递函数(GLL)的倒数的基础上滤波(205)所述第一输入音频信号(EL)以获得所述第一输出音频信号(XL)，所述第一输出音频信号(XL)与所述第二输入音频信号(ER)无关；
在所述第二声学近场传递函数(GRR)的倒数的基础上滤波(207)所述第二输入音频信号(ER)以获得所述第二输出音频信号(XR)，所述第二输出音频信号(XR)与所述第一输入音频信号(EL)无关。
11.一种提供器(101)，用于提供第一扬声器(505)和听者(601)左耳之间的第一声学近场传播声道的第一声学近场传递函数(GLL)以及提供第二扬声器(507)和听者(601)右耳之间的第二声学近场传播声道的第二声学近场传递函数(GRR)，其特征在于，所述提供器(101)包括：
处理器(301)，用于在所述第一扬声器(505)的位置和听者(601)左耳的位置的基础上确定第一声学近场传递函数(GLL)以及在所述第二扬声器(507)的位置和听者(601)右耳的位置的基础上确定第二声学近场传递函数(GRR)。
12.根据权利要求11所述的提供器(101)，其特征在于，所述处理器(301)用于：在指示所述第一声学近场传播声道与所述第一扬声器(505)的位置和所述听者(601)左耳的位置相关的第一头相关传递函数(ΓL)的基础上确定所述第一声学近场传递函数(GLL)，以及在指示所述第二声学近场传播声道与所述第二扬声器(507)的位置和所述听者(601)右耳的位置相关的第二头相关传递函数(ΓR)的基础上确定所述第二声学近场传递函数(GRR)。
13.根据权利要求12所述的提供器(101)，其特征在于，所述处理器(301)用于根据以下等式确定所述第一声学近场传递函数(GLL)或所述第二声学近场传递函数(GRR)：
其中
其中
其中，GLL表示所述第一声学近场传递函数，GRR表示所述第二声学近场传递函数，ΓL表示所述第一头相关传递函数，ΓR表示所述第二头相关传递函数，ω表示角频率，j表示虚数单位，Pm表示m度的勒让德多项式，hm表示m阶球面汉克尔函数，h’m表示hm的第一导函数，ρ表示归一化距离，r表示范围，a表示半径，μ表示归一化频率，f表示频率，c表示声音的速度，θ表示方位角，φ表示仰角。
14.一种用于提供第一扬声器(505)和听者(601)左耳之间的第一声学近场传播声道的第一声学近场传递函数(GLL)以及提供第二扬声器(507)和听者(601)右耳之间的第二声学近场传播声道的第二声学近场传递函数(GRR)的方法(400)，其特征在于，所述方法(400)包括：
在所述第一扬声器(505)的位置和所述听者(601)左耳的位置的基础上确定(401)所述第一声学近场传递函数(GLL)；
在所述第二扬声器(507)的位置和所述听者(601)右耳的位置的基础上确定(403)所述第二声学近场传递函数(GRR)。
15.一种听者(601)可穿戴的可穿戴框架(500)，其特征在于，所述可穿戴框架(500)包括：
根据权利要求1至9中的任意项所述的音频信号处理装置(100)，所述音频信号处理装置(100)用于预处理第一输入音频信号(EL)以获得第一输出音频信号(XL)以及预处理第二输入音频信号(ER)以获得第二输出音频信号(XR)；
第一支腿(501)，包括第一扬声器(505)，所述第一扬声器(505)用于向所述听者(601)左耳发出所述第一输出音频信号(XL)；
第二支腿(503)，包括第二扬声器(507)，所述第二扬声器(507)用于向所述听者(601)右耳发出所述第二输出音频信号(XR)。
16.根据权利要求15所述的可穿戴框架(500)，其特征在于，所述第一支腿(501)包括第一对扬声器(1001)，所述音频信号处理装置(100)用于从所述第一对扬声器(1001)中选取所述第一扬声器(505)，所述第二支腿(503)包括第二对扬声器(1003)，所述音频信号处理装置(100)用于从所述第二对扬声器(1003)中选取所述第二扬声器(507)。
17.根据权利要求15或16所述的可穿戴框架(500)，其特征在于，所述音频信号处理装置(100)包括根据权利要求11至13中的任意项所述的提供器(101)，用于提供所述第一扬声器(505)和所述听者(601)左耳之间的第一声学近场传播声道的第一声学近场传递函数(GLL)以及提供所述第二扬声器(507)和所述听者(601)右耳之间的第二声学近场传播声道的第二声学近场传递函数(GRR)。
18.一种包括程序代码的计算机程序，其特征在于，所述计算机程序在计算机上执行时用于执行根据权利要求10或14中的任意项所述的方法(200，400)。
CN201480081105.2A 2014-08-13 2014-08-13 音频信号处理装置 Active CN106664499B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/067288 WO2016023581A1 (en) 2014-08-13 2014-08-13 An audio signal processing apparatus

Publications (2)

Publication Number Publication Date
CN106664499A true CN106664499A (zh) 2017-05-10
CN106664499B CN106664499B (zh) 2019-04-23

Family

ID=51564622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480081105.2A Active CN106664499B (zh) 2014-08-13 2014-08-13 音频信号处理装置

Country Status (4)

Country Link
US (1) US9961474B2 (zh)
EP (1) EP3132617B1 (zh)
CN (1) CN106664499B (zh)
WO (1) WO2016023581A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979806A (zh) * 2017-05-16 2018-05-01 中山大学花都产业科技研究院 一种用于实现车内声场重构的方法
CN109429159A (zh) * 2017-08-24 2019-03-05 脸谱科技有限责任公司 头戴式显示器和方法
CN109800724A (zh) * 2019-01-25 2019-05-24 国光电器股份有限公司 一种扬声器位置确定方法、装置、终端及存储介质
CN110856094A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN111918176A (zh) * 2020-07-31 2020-11-10 北京全景声信息科技有限公司 音频处理方法、装置、无线耳机以及存储介质
CN113038322A (zh) * 2021-03-04 2021-06-25 聆感智能科技(深圳)有限公司 一种以听觉增强环境感知的方法与装置
CN113170272A (zh) * 2018-10-05 2021-07-23 奇跃公司 近场音频渲染
TWI750781B (zh) * 2019-10-10 2021-12-21 美商博姆雲360公司 用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體
CN114009061A (zh) * 2019-07-11 2022-02-01 脸谱科技有限责任公司 减轻组织传导音频***中的串扰

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026024B2 (en) * 2016-11-17 2021-06-01 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
EP3419309A1 (en) * 2017-06-19 2018-12-26 Nokia Technologies Oy Methods and apparatuses for controlling the audio output of loudspeakers
CN109076280A (zh) 2017-06-29 2018-12-21 深圳市汇顶科技股份有限公司 用户可定制的耳机***
US11122384B2 (en) 2017-09-12 2021-09-14 The Regents Of The University Of California Devices and methods for binaural spatial processing and projection of audio signals
US10880649B2 (en) 2017-09-29 2020-12-29 Apple Inc. System to move sound into and out of a listener's head using a virtual acoustic system
US11445299B2 (en) * 2018-07-23 2022-09-13 Dolby Laboratories Licensing Corporation Rendering binaural audio over multiple near field transducers
US11751000B2 (en) 2019-03-01 2023-09-05 Google Llc Method of modeling the acoustic effects of the human head
US11856378B2 (en) * 2021-11-26 2023-12-26 Htc Corporation System with sound adjustment capability, method of adjusting sound and non-transitory computer readable storage medium
CN117177135A (zh) * 2023-04-18 2023-12-05 荣耀终端有限公司 一种音频处理方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1552171A (zh) * 2001-09-06 2004-12-01 �ʼҷ����ֵ��ӹɷ����޹�˾ 音频再现设备
CN1630434A (zh) * 2003-12-17 2005-06-22 三星电子株式会社 再现虚拟声音的设备和方法
US20070230725A1 (en) * 2006-04-03 2007-10-04 Srs Labs, Inc. Audio signal processing
CN102325298A (zh) * 2010-05-20 2012-01-18 索尼公司 音频信号处理装置和音频信号处理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9603236D0 (en) * 1996-02-16 1996-04-17 Adaptive Audio Ltd Sound recording and reproduction systems
US20070165890A1 (en) * 2004-07-16 2007-07-19 Matsushita Electric Industrial Co., Ltd. Sound image localization device
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
US20070067054A1 (en) * 2005-09-19 2007-03-22 Danish M S Programmable portable media player for guidance, training and games

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1552171A (zh) * 2001-09-06 2004-12-01 �ʼҷ����ֵ��ӹɷ����޹�˾ 音频再现设备
CN1630434A (zh) * 2003-12-17 2005-06-22 三星电子株式会社 再现虚拟声音的设备和方法
US20070230725A1 (en) * 2006-04-03 2007-10-04 Srs Labs, Inc. Audio signal processing
CN102325298A (zh) * 2010-05-20 2012-01-18 索尼公司 音频信号处理装置和音频信号处理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979806A (zh) * 2017-05-16 2018-05-01 中山大学花都产业科技研究院 一种用于实现车内声场重构的方法
CN109429159A (zh) * 2017-08-24 2019-03-05 脸谱科技有限责任公司 头戴式显示器和方法
CN110856095B (zh) * 2018-08-20 2021-11-19 华为技术有限公司 音频处理方法和装置
US11451921B2 (en) 2018-08-20 2022-09-20 Huawei Technologies Co., Ltd. Audio processing method and apparatus
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
US11910180B2 (en) 2018-08-20 2024-02-20 Huawei Technologies Co., Ltd. Audio processing method and apparatus
US11863964B2 (en) 2018-08-20 2024-01-02 Huawei Technologies Co., Ltd. Audio processing method and apparatus
CN110856094A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
US11611841B2 (en) 2018-08-20 2023-03-21 Huawei Technologies Co., Ltd. Audio processing method and apparatus
CN113170272A (zh) * 2018-10-05 2021-07-23 奇跃公司 近场音频渲染
CN109800724A (zh) * 2019-01-25 2019-05-24 国光电器股份有限公司 一种扬声器位置确定方法、装置、终端及存储介质
CN114009061A (zh) * 2019-07-11 2022-02-01 脸谱科技有限责任公司 减轻组织传导音频***中的串扰
TWI750781B (zh) * 2019-10-10 2021-12-21 美商博姆雲360公司 用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體
US11432069B2 (en) 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing
CN111918176A (zh) * 2020-07-31 2020-11-10 北京全景声信息科技有限公司 音频处理方法、装置、无线耳机以及存储介质
CN113038322A (zh) * 2021-03-04 2021-06-25 聆感智能科技(深圳)有限公司 一种以听觉增强环境感知的方法与装置

Also Published As

Publication number Publication date
EP3132617B1 (en) 2018-10-17
CN106664499B (zh) 2019-04-23
US9961474B2 (en) 2018-05-01
WO2016023581A1 (en) 2016-02-18
EP3132617A1 (en) 2017-02-22
US20170078821A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN106664499B (zh) 音频信号处理装置
EP3311593B1 (en) Binaural audio reproduction
JP5894634B2 (ja) 個人ごとのｈｒｔｆの決定
JP4584416B2 (ja) 位置調節が可能な仮想音像を利用したスピーカ再生用多チャンネルオーディオ再生装置及びその方法
US9578440B2 (en) Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound
US8437485B2 (en) Method and device for improved sound field rendering accuracy within a preferred listening area
CN103053180B (zh) 用于声音再现的***和方法
US20170070838A1 (en) Audio Signal Processing Device and Method for Reproducing a Binaural Signal
Ranjan et al. Natural listening over headphones in augmented reality using adaptive filtering techniques
US11750995B2 (en) Method and apparatus for processing a stereo signal
MXPA05004091A (es) Captura y reproduccion de sonido dinamico biauricular.
CN109587601A (zh) 使用虚拟声学***将声音移入和移出听者头部的***
Roginska Binaural audio through headphones
US20190394596A1 (en) Transaural synthesis method for sound spatialization
CN106954139A (zh) 一种联合耳机和扬声器的声场渲染方法及***
JP2020536464A (ja) オーディオ再生においてクロストークキャンセルゾーンを作成するためのシステム及び方法
US20130243201A1 (en) Efficient control of sound field rotation in binaural spatial sound
US6990210B2 (en) System for headphone-like rear channel speaker and the method of the same
US10440495B2 (en) Virtual localization of sound
US11653163B2 (en) Headphone device for reproducing three-dimensional sound therein, and associated method
Andre et al. Adding 3D sound to 3D cinema: Identification and evaluation of different reproduction techniques
US6983054B2 (en) Means for compensating rear sound effect
Momose et al. Adaptive amplitude and delay control for stereophonic reproduction that is robust against listener position variations
Li Improving headphone user experience in ubiquitous multimedia content consumption: A universal cross-feed filter
Hohnerlein Beamforming-based Acoustic Crosstalk Cancelation for Spatial Audio Presentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant