CN111418220B - 串扰处理b链 - Google Patents

串扰处理b链 Download PDF

Info

Publication number
CN111418220B
CN111418220B CN201880077225.3A CN201880077225A CN111418220B CN 111418220 B CN111418220 B CN 111418220B CN 201880077225 A CN201880077225 A CN 201880077225A CN 111418220 B CN111418220 B CN 111418220B
Authority
CN
China
Prior art keywords
processor
spatial
channel
audio signal
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880077225.3A
Other languages
English (en)
Other versions
CN111418220A (zh
Inventor
扎卡里·塞尔迪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boomcloud 360 Inc
Original Assignee
Boomcloud 360 Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boomcloud 360 Inc filed Critical Boomcloud 360 Inc
Publication of CN111418220A publication Critical patent/CN111418220A/zh
Application granted granted Critical
Publication of CN111418220B publication Critical patent/CN111418220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

实施方式涉及针对空间增强音频信号的b链处理。***包括b链处理器。b链处理器确定左扬声器与右扬声器之间在收听位置的频率响应、时间对准和信号水平上的不对称性；并且通过以下来生成针对左扬声器的左输出声道和针对右扬声器的右输出声道：向空间增强信号应用N频带均衡以针对频率响应上的不对称性进行调整；向空间增强信号应用延迟以针对时间对准上的不对称性进行调整；以及向空间增强信号应用增益以针对信号水平上的不对称性进行调整。

Description

串扰处理B链
技术领域
本文描述的主题涉及音频信号处理，并且更具体地涉及在对扬声器应用音频串扰消除时解决(几何上和物理上的)不对称性。
背景技术
音频信号可能被输出至次优配置的呈现***和/或室内声学。图1A示出了理想的跨耳配置(transaural configuration)的示例，即，单个收听者在空的隔音室内中的针对双声道立体声扬声器***的理想的扩音器和收听者配置。如图1A所示，收听者140处于理想位置(即，“最佳听音位置(sweet spot)”)以体验来自左扬声器110L和右扬声器110R呈现的音频，具有相对于内容创建者的原始意图最准确的空间和音质再现。
然而，存在理想的“最佳听音位置”条件不满足或者利用音频发射装置不可实现的各种情况。这些包括收听者140的头部位置从立体声扩音器110L与110R之间的理想的“最佳听音位置”横向偏移的情况，如图1B所示。或者，如图1C所示，收听者140处于理想位置，但是每个扩音器110L和110R与收听者140的头部位置之间的距离不相等。此外，收听者140可能处于理想的位置，但是扩音器110L和110R的频率和振幅特性是不相等的(即，呈现***是“不匹配的”)，如图1D所示。在另一个示例中，收听者140和扩音器110L和110R的物理位置可能是理想的，但是扩音器110L和110R中的一个或更多个可能从理想角度旋转地偏移，如图1E所示的右扩音器110R。
发明内容
示例实施方式涉及针对各种扬声器或环境不对称性进行调整的空间增强音频信号的b链处理。不对称性的一些示例可以包括一个扬声器与收听者之间的时间延迟与另一个扬声器与收听者之间的时间延迟不同、一个扬声器与收听者之间的信号水平(感知和客观的)与另一个扬声器与收听者之间的信号水平不同、或者一个扬声器与收听者之间的频率响应与另一个扬声器与收听者之间的频率响应不同。
在一些示例实施方式中，用于增强左扬声器和右扬声器的输入音频信号的***包括空间增强处理器和b链处理器。空间增强处理器通过对输入音频信号的空间分量和非空间分量进行增益调整来生成空间增强信号。b链处理器确定左扬声器与右扬声器之间在收听位置的频率响应、时间对准和信号水平上的不对称性。b链处理器通过以下来生成针对左扬声器的左输出声道和针对右扬声器的右输出声道：向空间增强信号应用N频带均衡以针对频率响应上的不对称性进行调整；向空间增强信号应用延迟以针对时间对准上的不对称性进行调整；以及向空间增强信号应用增益以针对信号水平上的不对称性进行调整。
在一些实施方式中，b链处理器通过向左空间增强声道和右空间增强声道中的至少之一应用一个或更多个滤波器来应用N频带均衡。一个或更多个滤波器平衡左扬声器和右扬声器的频率响应，并且可以包括以下中至少之一：低架滤波器(low-shelf filter)和高架滤波器(high-shelf filter)；带通滤波器；带阻滤波器；峰值陷波滤波器；以及低通滤波器和高通滤波器。
在一些实施方式中，b链处理器根据收听位置的改变来调整延迟和增益中的至少之一。
一些实施方式可以包括非暂态计算机可读介质，其存储有在由处理器执行时将处理器配置成进行以下操作的指令：通过对输入音频信号的空间分量和非空间分量进行增益调整来生成空间增强信号，所述输入音频信号包括针对左扬声器的左输入声道和针对右扬声器的右输入声道；确定左扬声器与右扬声器之间的不对称性；以及通过以下来生成针对左扬声器的左输出声道和针对右扬声器的右输出声道：向空间增强信号应用N频带均衡以针对频率响应上的不对称性进行调整；向空间增强信号应用延迟以针对时间对准上的不对称性进行调整；以及向空间增强信号应用增益以针对信号水平上的不对称性进行调整。
一些实施方式可以包括一种用于处理左扬声器和右扬声器的输入音频信号的方法。该方法可以包括：通过对输入音频信号的空间分量和非空间分量进行增益调整来生成空间增强信号，所述输入音频信号包括针对左扬声器的左输入声道和针对右扬声器的右输入声道；确定左扬声器与右扬声器之间在收听位置的频率响应、时间对准和信号水平上的不对称性；以及通过以下来生成针对左扬声器的左输出声道和针对右扬声器的右输出声道：向空间增强信号应用N频带均衡以针对频率响应上的不对称性进行调整；向空间增强信号应用延迟以针对时间对准上的不对称性进行调整；以及向空间增强信号应用增益以针对信号水平上的不对称性进行调整。
附图说明
图1A、图1B、图1C、图1D和图1E示出了根据一些实施方式的相对于收听者的扩音器位置。
图2是根据一些实施方式的音频处理***的示意性框图。
图3是根据一些实施方式的空间增强处理器的示意性框图。
图4是根据一些实施方式的子带空间处理器的示意性框图。
图5是根据一些实施方式的串扰补偿处理器的示意性框图。
图6是根据一些实施方式的串扰消除处理器的示意性框图。
图7是根据一些实施方式的b链处理器的示意性框图。
图8是根据一些实施方式的用于输入音频信号的b链处理的方法的流程图。
图9示出了根据一些实施方式的非理想头部位置和不匹配的扩音器。
图10A和图10B示出了根据一些实施方式的图9中所示的非理想头部位置和不匹配的扩音器的频率响应。
图11是根据一些实施方式的计算机***的示意性框图。
附图描绘了并且具体实施方式描述了仅出于说明的目的各种非限制性实施方式。
具体实施方式
现在将详细参照实施方式，其示例在附图中示出。在以下详细描述中，为了提供对所描述的各种实施方式的透彻理解，阐述了许多具体细节。然而，可以在没有这些具体细节的情况下实践所描述的实施方式。在其他实例中，没有详细描述公知的方法、过程、部件、电路和网络，以便不会不必要地模糊实施方式的各方面。
本公开内容的实施方式涉及提供空间增强和b链处理的音频处理***。空间增强可以包括将子带空间处理和串扰消除应用于输入音频信号。b链处理在非理想配置的立体声扩音器呈现***上还原跨耳呈现的音频的感知空间音场(sound stage)。
诸如可以在电影院中或者通过个人耳机所使用的数字音频***可以被认为是两部分——a链和b链。例如，在电影环境中，a链包括胶片印刷上的声音记录，其通常可以杜比模拟获得，并且还包括在数字格式例如杜比数字、DTS和SDDS中的选择。而且，从胶片印刷检索音频并对其进行处理使得准备好进行放大的设备是a链的一部分。
为了校正并且/或者最小化次优配置的呈现***安装、室内声学或收听者位置的影响，b链包括硬件和软件***以将多声道音量控制、均衡、时间对准和放大应用于扩音器。b链处理可以被分析地或参数地配置成优化收听体验的感知质量，其通常意图是使收听者更接近“理想”体验。
示例音频***
图2是根据一些实施方式的音频处理***200的示意性框图。音频处理***200对包括左输入声道XL和右输入声道XR的输入音频信号X应用子带空间处理、串扰消除处理和b链处理以生成包括左输出声道OL和右输出声道OR的输出音频信号O。输出音频信号O在非理想配置的立体声扩音器呈现***上还原跨耳呈现的输入音频信号X的感知空间音场。
音频处理***200包括耦接至b链处理器240的空间增强处理器205。空间增强处理器205包括子带空间处理器210、串扰补偿处理器220以及耦接至子带空间处理器210和串扰补偿处理器220的串扰消除处理器230。
子带空间处理器210通过对左输入声道XL和右输入声道XR的中间子带分量和侧子带分量进行增益调整来生成空间增强音频信号。串扰补偿处理器220执行串扰补偿以补偿由串扰消除处理器230应用的串扰消除中的频谱缺陷或伪象。串扰消除处理器230对子带空间处理器210和串扰补偿处理器220的组合输出执行串扰消除以生成左增强声道AL和右增强声道AR。下面结合图3到图6讨论关于空间增强处理器210的另外的细节。
b链处理器240包括耦接至延迟和增益处理器260的扬声器匹配处理器250。除了其他事项外，b链处理器240可以针对扩音器110L和110R与收听者头部之间的总时间延迟差异、扩音器110L和110R与收听者头部之间的信号水平(感知和客观的)差异以及扩音器110L和110R与收听者头部之间的频率响应差异进行调整。
扬声器匹配处理器250接收左增强声道AL和右增强声道AR，并且针对不提供匹配扬声器对的装置例如移动装置扬声器对或其他类型的左右扬声器对来执行扩音器平衡。在一些实施方式中，扬声器匹配处理器250将均衡和增益或衰减应用于左增强声道AL和右增强声道AR中的每一个，以从理想收听最佳听音位置的有利点提供频谱上和感知上平衡的立体声像。给定在呈现/收听***中的实际物理不对称性(例如，偏移中心的头部位置和/或非等效的扩音器至头部的距离)，延迟和增益处理器260接收扬声器匹配处理器250的输出，并且将延迟和增益或衰减应用于声道AL和AR中的每一个以进行时间对准并且进一步在感知上平衡来自特定收听者头部位置的空间图像。可以以不同的顺序执行由扬声器匹配处理器250和延迟和增益处理器260应用的处理。关于b链处理器240的另外的细节将在下面结合图7讨论。
示例空间增强处理器
图3是根据一些实施方式的空间增强处理器205的示意性框图。空间增强处理器205对输入音频信号进行空间增强，并对空间增强的音频信号执行串扰消除。为此，空间增强处理器205接收包括左输入声道XL和右输入声道XR的输入音频信号X。在一些实施方式中，输入音频信号X是从数字比特流(例如，PCM数据)中的源部件提供的。源部件可以是计算机、数字音频播放器、光盘播放器(例如，DVD、CD、蓝光)、数字音频流转化器或数字音频信号的其他源。空间增强处理器205通过处理输入声道XL和XR生成包括两个输出声道AL和AR的输出音频信号A。输出音频信号A是具有串扰补偿和串扰消除的输入音频信号X的空间增强音频信号。尽管图3中未示出，空间增强处理器205还可以包括放大器，该放大器放大来自串扰消除处理器230的输出音频信号A，并且将信号A提供至输出装置，例如扩音器110L和110R，其将输出声道AL和AR转换为声音。
空间增强处理器205包括子带空间处理器210、串扰补偿处理器220、组合器222以及串扰消除处理器230。空间增强处理器205执行输入音频输入声道XL、XR的串扰补偿和子带空间处理，将子带空间处理的结果与串扰补偿的结果组合，并且然后对组合的信号执行串扰消除。
子带空间处理器210包括空间频带划分器310、空间频带处理器320和空间频带组合器330。空间频带划分器310耦接至输入声道XL和XR以及空间频带处理器320。空间频带划分器310接收左输入声道XL和右输入声道XR，并且将输入声道处理成空间(或“侧”)分量Ys和非空间(或“中间”)分量Ym。例如，可以基于左输入声道XL与右输入声道XR之差来生成空间分量Ys。可以基于左输入声道XL和右输入声道XR之和来生成非空间分量Ym。空间频带划分器310将空间分量Ys和非空间分量Ym提供至空间频带处理器320。
空间频带处理器320耦接至空间频带划分器310和空间频带组合器330。空间频带处理器320从空间频带划分器310接收空间分量Ys和非空间分量Ym，并且对所接收到的信号进行增强。具体地，空间频带处理器320根据空间分量Ys生成增强的空间分量Es，并且根据非空间分量Ym生成增强的非空间分量Em。
例如，空间频带处理器320向空间分量Ys应用子带增益以生成增强的空间分量Es，并且向非空间分量Ym应用子带增益以生成增强的非空间分量Em。在一些实施方式中，空间频带处理器320附加地或可替选地向空间分量Ys提供子带延迟以生成增强的空间分量Es，并且向非空间分量Ym提供子带延迟以生成增强的非空间分量Em。子带增益和/或子带延迟可能可以针对空间分量Ys和非空间分量Ym的不同(例如，n)的子带而不同，或者可以相同(例如，针对两个或更多个子带)。空间频带处理器320针对空间分量Ys和非空间分量Ym的不同的子带相对于彼此来调整增益和/或延迟，以生成增强的空间分量Es和增强的非空间分量Em。空间频带处理器320然后将增强的空间分量Es和增强的非空间分量Em提供至空间频带组合器330。
空间频带组合器330耦接至空间频带处理器320，并且还耦接至组合器222。空间频带组合器330从空间频带处理器320接收增强的空间分量Es和增强的非空间分量Em，并且将增强的空间分量Es和增强的非空间分量Em组合成左空间增强声道EL和右空间增强声道ER。例如，可以基于增强空间分量Es和增强非空间分量Em之和来生成左空间增强声道EL，并且可以基于增强非空间分量Em与增强空间分量Es之差来生成右空间增强声道ER。空间频带组合器330将左空间增强声道EL和右空间增强声道ER提供给组合器222。
串扰补偿处理器220执行串扰补偿以补偿串扰消除中的频谱缺陷或伪象。串扰补偿处理器220接收输入声道XL和XR，并执行处理以补偿由串扰消除处理器230执行的增强的非空间分量Em和增强的空间分量Es的后续串扰消除中的任何伪象。在一些实施方式中，串扰补偿处理器220可以通过应用滤波器来对非空间分量Xm和空间分量Xs执行增强以生成串扰补偿信号Z，该串扰补偿信号Z包括左串扰补偿声道ZL和右串扰补偿声道ZR。在其他实施方式中，串扰补偿处理器220可以仅对非空间分量Xm执行增强。
组合器222将左空间增强声道EL与左串扰补偿声道ZL组合以生成左增强补偿声道TL，并且将右空间增强声道ER和右串扰补偿声道ZR组合以生成右增强补偿声道TR。组合器222耦接至串扰消除处理器230，并向串扰消除处理器230提供左增强补偿声道TL和右增强补偿声道TR。
串扰消除处理器230接收左增强补偿声道TL和右增强补偿声道TR，并对声道TL、TR执行串扰消除以生成包括左输出声道AL和右输出声道AR的输出音频信号A。
关于子带空间处理器210的另外的细节将在下面结合图4进行讨论，关于串扰补偿处理器220的另外的细节将在下面结合图5进行讨论，关于串扰消除处理器230的另外的细节将在下面结合图6进行讨论。
图4是根据一些实施方式的子带空间处理器210的示意性框图。子带空间处理器210包括空间频带划分器310、空间频带处理器320和空间频带组合器330。空间频带划分器310耦接至空间频带处理器320，并且空间频带处理器320耦接至空间频带组合器330。
空间频带划分器310包括L/R至M/S转换器402，L/R至M/S转换器402接收左输入声道XL和右输入声道XR，并将这些输入转换为空间分量Xs和非空间分量Xm。可以通过将左输入声道XL和右输入声道XR相减来生成空间分量Xs。可以通过将左输入声道XL和右输入声道XR相加来生成非空间分量Xm。
空间频带处理器320接收非空间分量Xm，并应用一组子带滤波器以生成增强的非空间子带分量Em。空间频带处理器320还接收空间子带分量Xs，并且应用一组子带滤波器以生成增强的非空间子带分量Em。子带滤波器可以包括峰值滤波器、陷波滤波器、低通滤波器、高通滤波器、低架滤波器、高架滤波器、带通滤波器、带阻滤波器和/或全通滤波器的各种组合。
在一些实施方式中，空间频带处理器320包括用于非空间分量Xm的n个频率子带中的每一个的子带滤波器以及用于空间分量Xs的n个频率子带中的每一个的子带滤波器。例如，针对n＝4个子带，空间频带处理器320包括用于非空间分量Xm的一系列子带滤波器，所述一系列子带滤波器包括用于子带(1)的中间均衡(EQ)滤波器404(1)、用于子带(2)的中间EQ滤波器404(2)、用于子带(3)的中间EQ滤波器404(3)以及用于子带(4)的中间EQ滤波器404(4)。每个中间EQ滤波器404将滤波器应用于非空间分量Xm的频率子带部分以生成增强的非空间分量Em。
空间频带处理器320还包括用于空间分量Xs的频率子带的一系列子带滤波器，所述一系列子带滤波器包括用于子带(1)的侧均衡(EQ)滤波器406(1)、用于子带(2)的侧EQ滤波器406(2)、用于子带(3)的侧EQ滤波器406(3)以及用于子带(4)的侧EQ滤波器406(4)。每个侧EQ滤波器406将滤波器应用于空间分量Xs的频率子带部分以生成增强的空间分量Es。
非空间分量Xm和空间分量Xs的n个频率子带中的每一个可以对应于频率范围。例如，频率子带(1)可以对应于0Hz至300Hz，频率子带(2)可以对应于300Hz至510Hz，频率子带(3)可以对应于510Hz至2700Hz，以及频率子带(4)可以对应于2700Hz至奈奎斯特频率。在一些实施方式中，n个频率子带是临界频带的合并集合。可以使用来自各种音乐类型的音频样本的语料库来确定临界频带。根据样本确定24个Bark(巴克)尺度临界频带上的中间分量与侧分量的长期平均能量比率。然后将具有类似的长期平均比率的连续频带分组在一起以形成临界频带集合。频率子带的范围以及频率子带的数量可以是可调整的。在一些实施方式中，n个频带中的每一个可以包括临界频带集合。
在一些实施方式中，中间EQ滤波器404或侧EQ滤波器406可以包括双二阶滤波器，双二阶滤波器具有由等式1定义的传递函数：
Figure GDA0002514012200000081
其中，z是复变量，而a0、a1、a2、b0、b1和b2是数字滤波器系数。该滤波器可以使用如等式2所定义的直接I型拓扑来实现：
Figure GDA0002514012200000091
其中，X是输入向量，Y是输出。对某些处理器而言，其他拓扑可能有益，这取决于它们的最大字长和饱和行为。
然后，双二阶滤波器可以用于实现具有实值输入和输出的任何二阶滤波器。为了设计离散时间滤波器，设计连续时间滤波器并且经由双线性变换将其变换为离散时间滤波器。此外，可以使用频率规整(warping)来实现对中心频率和带宽中的任何引起的偏移的补偿。
例如，峰化(peaking)滤波器可以包括由等式3定义的S平面传递函数：
Figure GDA0002514012200000092
其中s是复变量，A是峰的幅度，Q是滤波器的“质量”(被典型推导为：
Figure GDA0002514012200000093
)。数字滤波器系数是：
b0＝1+αA
b1＝-2*cos(ω0)
b2＝1-αA
Figure GDA0002514012200000094
a1＝-2cos(ω0)
Figure GDA0002514012200000095
其中ω0是以弧度为单位的滤波器的中心频率，以及
Figure GDA0002514012200000101
空间频带组合器330接收中间分量和侧分量，将增益应用于分量中的每一个，并将中间分量和侧分量转换成左声道和右声道。例如，空间频带组合器330接收增强的非空间分量Em和增强的空间分量Es，并且在将增强的非空间分量Em和增强的空间分量Es转换成左空间增强声道EL和右空间增强声道ER之前执行全局中间增益和侧增益。
更具体地，空间频带组合器330包括全局中间增益408、全局侧增益410以及耦接至全局中间增益408和全局侧增益410的M/S至L/R转换器412。全局中间增益408接收增强的非空间分量Em并且应用增益，全局侧增益410接收增强的非空间分量Es并且应用增益。M/S至L/R转换器412从全局中间增益408接收增强的非空间分量Em，并且从全局侧增益410接收增强的空间分量Es，并且将这些输入转换成左空间增强声道EL和右空间增强声道ER。
图5是根据一些实施方式的串扰补偿处理器220的示意框图。串扰补偿处理器220接收左输入声道和右输入声道，并通过对输入声道应用串扰补偿来生成左输出声道和右输出声道。串扰补偿处理器220包括L/R至M/S转换器502、中间分量处理器520、侧分量处理器530和M/S至L/R转换器514。
当串扰补偿处理器220是音频***202、400、500或504的一部分时，串扰补偿处理器220接收输入声道XL和XR，并且执行预处理以生成左串扰补偿声道ZL和右串扰补偿声道ZR。声道ZL、ZR可以用于补偿串扰处理中的任何伪象(artifact)，例如串扰消除或模拟。L/R至M/S转换器502接收左输入音频声道XL和右输入音频声道XR，并且生成输入声道XL、XR的非空间分量Xm和空间分量Xs。通常，左声道和右声道可以被相加以生成左声道和右声道的非空间分量，并且被相减以生成左声道和右声道的空间分量。
中间分量处理器520包括多个滤波器540，例如m个中间滤波器540(a)、540(b)至540(m)。这里，m个中间滤波器540中的每一个处理非空间分量Xm和空间分量Xs的m个频带中的一个。中间分量处理器520通过处理非空间分量Xm来生成中间串扰补偿声道Zm。在一些实施方式中，使用通过模拟的关于串扰处理的非空间分量Xm的频率响应图来配置中间滤波器540。另外，通过分析频率响应图，可以估计任何频谱缺陷，例如在频率响应图中超过预定阈值(例如，10dB)的作为串扰处理的伪象出现的峰或谷。这些伪象主要由串扰处理中的延迟且反转的对侧信号与它们对应的同侧信号的求和产生，从而有效地将梳状滤波器类似的频率响应引入最终呈现结果。中间串扰补偿声道Zm可以由中间分量处理器520生成以补偿估计的峰或谷，其中m个频带中的每一个与峰或谷相对应。具体地，基于串扰处理中应用的特定延迟、滤波频率和增益，峰和谷在频率响应中上下偏移，从而引起频谱的特定区域中的能量的可变放大和/或衰减。每个中间滤波器540可以被配置成针对一个或更多个峰和谷进行调整。
侧分量处理器530包括多个滤波器550，例如m个侧滤波器550(a)、550(b)至550(m)。侧分量处理器530通过处理空间分量Xs来生成侧串扰补偿声道Zs。在一些实施方式中，关于串扰处理的空间分量Xs的频率响应图可以通过模拟获得。通过分析频率响应图，可以估计任何频谱缺陷，例如在频率响应图中超过预定阈值(例如，10dB)的作为串扰处理的伪象出现的峰或谷。侧串扰补偿声道Zs可以由侧分量处理器530生成以补偿估计的峰或谷。具体地，基于串扰处理中应用的特定延迟、滤波频率和增益，峰和谷在频率响应中上下偏移，从而引起频谱的特定区域中的能量的可变放大和/或衰减。每个侧滤波器550可以被配置成针对峰和谷中的一个或更多个进行调整。在一些实施方式中，中间分量处理器520和侧分量处理器530可以包括不同数量的滤波器。
在一些实施方式中，中间滤波器540或侧滤波器550可以包括具有由等式4定义的传递函数的双二阶滤波器：
Figure GDA0002514012200000111
其中z是复变量，以及a0、a1、a2、b0、b1和b2是数字滤波器系数。实现这种滤波器的一种方式是通过等式5定义的直接I型拓扑：
Figure GDA0002514012200000112
其中X是输入向量，Y是输出。取决于它们的最大字长和饱和行为，可以使用其他拓扑。
然后，双二阶滤波器可以用于实现具有实值输入和输出的二阶滤波器。为了设计离散时间滤波器，设计连续时间滤波器，然后经由双线性变换将其变换为离散时间滤波器。此外，可以使用频率规整来补偿中心频率和带宽中的引起的偏移。
例如，峰化滤波器可以具有由等式6定义的S平面传递函数：
Figure GDA0002514012200000121
其中s是复变量，A是峰的幅度，Q是滤波器“质量”，并且数字滤波器系数由下式定义：
b0＝1+αA
b1＝-2*cos(ω0)
b2＝1-αA
Figure GDA0002514012200000122
a1＝-2cos(ω0)
Figure GDA0002514012200000123
其中ω0是以弧度为单位的滤波器的中心频率，以及
Figure GDA0002514012200000124
此外，滤波器的质量Q可以由等式7定义：
Figure GDA0002514012200000131
其中Δf是带宽以及fc是中心频率。
M/S至L/R转换器514接收中间串扰补偿声道Zm和侧串扰补偿声道Zs，并且生成左串扰补偿声道ZL和右串扰补偿声道ZR。通常，可以将中间声道和侧声道相加以生成中间分量和侧分量的左声道，并且可以将中间声道和侧声道相减以生成中间分量和侧分量的右声道。
图6是根据一些实施方式的串扰消除处理器230的示意性框图。串扰消除处理器230从组合器222接收左增强补偿声道TL和右增强补偿声道TR，并对声道TL、TR执行串扰消除以生成左输出声道AL和右输出声道AR。
串扰消除处理器230包括带内-带外划分器610、反转器620和622、对侧估计器630和640、组合器650和652以及带内-带外组合器660。这些部件一起操作以将输入声道TL、TR划分成带内分量和带外分量，并且对带内分量执行串扰消除以生成输出声道AL、AR。
通过将输入音频信号T划分成不同的频带分量并且通过对选择性分量(例如，带内分量)执行串扰消除，可以针对特定频带执行串扰消除，同时避免其他频带中的劣化。如果在不将输入音频信号T划分成不同频带的情况下执行串扰消除，则在这样的串扰消除之后的音频信号可能在低频(例如，低于350Hz)、较高频率(例如，高于12000Hz)或者在低频和较高频率中在非空间分量和空间分量上表现出明显的衰减或放大。通过选择性地对绝大多数有效的空间线索(cue)所在的带内(例如，在250Hz与14000Hz之间)执行串扰消除，可以保持在混音的整个频谱上平衡的总能量，特别是非空间分量中平衡的总能量。
带内-带外划分器610将输入声道TL、TR分别分成带内声道TL,In、TR,In和带外声道TL,Out、TR,Out。特别地，带内-带外划分器610将左增强补偿声道TL划分为左带内声道TL,In和左带外声道TL,Out。类似地，带内-带外划分器610将右增强补偿声道TR分成右带内声道TR,In和右带外声道TR,Out。每个带内声道可以包含与包括例如250Hz到14kHz的频率范围对应的相应输入声道的一部分。频带范围可以例如根据扬声器参数来调整。
反转器620和对侧估计器630一起操作以生成左对侧消除分量SL，以补偿由于左带内声道TL,In而引起的对侧声音分量。类似地，反转器622和对侧估计器640一起操作以生成右对侧消除分量SR，以补偿由于右带内声道TR,In而引起的对侧声音分量。
在一种方法中，反转器620接收带内声道TL,In，并将所接收的带内声道TL,In的极性反转以生成反转的带内声道TL,In’。对侧估计器630接收反转的带内声道TL,In’，并通过滤波提取反转的带内声道TL,In’的对应于对侧声音分量的一部分。因为对反转的带内声道TL,In’执行滤波，所以由对侧估计器630提取的部分变为带内声道TL,In的归于对侧声音分量的一部分的反转。因此，由对侧估计器630提取的部分变为左对侧消除分量SL，其可以被添加至对应的带内声道TR,In以减少由于带内声道TL,In而引起的对侧声音分量。在一些实施方式中，反转器620和对侧估计器630以不同的顺序实现。
反转器622和对侧估计器640针对带内声道TR,In执行类似的操作以生成右对侧消除分量SR。因此，为了简洁起见，本文省略对其的详细描述。
在一个示例实现方式中，对侧估计器630包括滤波器632、放大器634和延迟单元636。滤波器632接收反转的输入声道TL,In’，并通过滤波函数提取反转的带内声道TL,In’的对应于对侧声音分量的一部分。示例滤波器实现是具有选自5000Hz与10000Hz之间的中心频率和选自0.5与1.0之间的Q的陷波滤波器或高架滤波器。以分贝为单位的增益(GdB)可以根据等式8得出：
FdB＝-3.0-log1.333(D) 等式(8)
其中，D是延迟单元636在(例如采样速率为48KHz的)样本中的延迟量。
替选实现是具有选自5000Hz与10000Hz之间的转角频率和选自0.5与1.0之间的Q的低通滤波器。此外，放大器634通过相应的增益系数GL,In放大提取的部分，并且延迟单元636根据延迟函数D对来自放大器634的放大的输出进行延迟以生成左对侧消除分量SL。对侧估计器640包括滤波器642、放大器644和延迟单元646，其对反转的带内声道TR,In’执行类似的操作以生成右对侧消除分量SR。在一个示例中，对侧估计器630、640根据以下等式生成左和右对侧消除分量SL、SR：
SL＝D[GL，In*F[TL，In’]] 等式(9)
SR＝D[GR，In*F[TR，In’]] 等式(10)
其中F[]是滤波函数，D[]是延迟函数。
串扰消除的配置可以由扬声器参数确定。在一个示例中，可以根据两个扬声器110之间相对于收听者形成的角度来确定滤波器中心频率、延迟量、放大器增益和滤波器增益。在一些实施方式中，扬声器角度之间的值用于***其他值。
组合器650将右对侧消除分量SR与左带内声道TL,In组合以生成左带内补偿声道UL，并且组合器652将左对侧消除分量SL与右带内声道TR,In组合以生成右带内补偿声道UR。带内-带外组合器660将左带内补偿声道UL与带外声道TL,Out组合以生成左输出声道AL，并且将右带内补偿声道UR与带外声道TR,Out组合以生成右输出声道AR。
因此，左输出声道AL包括与带内声道TR,In的归于对侧声音的一部分的反转对应的右对侧消除分量SR，并且右输出声道AR包括与带内声道TL,In的归于对侧声音的一部分的反转对应的左对侧消除分量SL。在该配置中，由扩音器110R根据到达右耳的右输出声道AR输出的同侧声音分量的波前可以消除由扩音器110L根据左输出声道AL输出的对侧声音分量的波前。类似地，由扬声器110L根据到达左耳的左输出声道AL输出的同侧声音分量的波前可以消除由扩音器110R根据右输出声道AR输出的对侧声音分量的波前。因此，可以减少对侧声音分量以增强空间可检测性。
示例b链处理器
图7是根据一些实施方式的b链处理器240的示意性框图。b链处理器240包括扬声器匹配处理器250与延迟和增益处理器260。扬声器匹配处理器250包括耦接至左放大器704和右放大器706的N频带均衡器(EQ)702。延迟和增益处理器260包括耦接至左放大器712的左延迟708和耦接至右放大器714的右延迟710。
假设如图1A至图1E所示收听者140的方位朝向理想空间图像的中心(例如，在给定对称、匹配和等距扩音器的情况下音场的虚拟横向中心)保持固定，则理想和真实呈现的空间图像之间的变换关系可以基于以下来描述：(a)一个扬声器与收听者140之间的总时间延迟不同于另一个扬声器与收听者140之间的总时间延迟，(b)一个扬声器与收听者140之间的(感知和客观的)信号水平不同于另一个扬声器与收听者140之间的信号水平，以及(c)一个扬声器与收听者140之间的频率响应不同于另一个扬声器与收听者140之间的频率响应。
b链处理器240校正延迟、信号水平和频率响应中的上述相对差异，从而产生恢复的接近理想的空间图像，就像收听者140(例如，头部位置)和/或呈现***被理想地配置一样。
b链处理器240从空间增强处理器205接收包括左增强声道AL和右增强声道AR的音频信号A作为输入。b链处理器240的输入可以包括针对处于理想状态的给定收听者/扬声器配置(如图1A所示)的任何跨耳处理的立体声音频流。如果音频信号A没有空间不对称性，并且如果***中不存在其他不规则性，则空间增强处理器205为收听者140提供显著增强的音场。然而，如果在***中确实存在不对称(如上所述并且在图1B至图1E中示出的)，b链处理器240可以被应用以在非理想状况下保持增强的音场。
尽管理想的收听者/扬声器配置包括具有匹配的左和右扩音器至头部距离的成对扩音器，但是许多现实世界的设置不满足这些标准，从而导致折衷的立体声收听体验。移动装置可以例如包括具有有限带宽(例如，1000Hz至8000Hz频率响应)的面向前方的耳机扩音器，以及正交(向下或侧向)面向的微型扩音器(例如，200Hz至20000Hz频率响应)。这里，扬声器***以双重方式不匹配，其中音频驱动器性能特征(例如，信号水平、频率响应等)不同，并且由于扬声器的非平行方位导致的相对于“理想的”收听者位置的时间对准不匹配。另一个示例是使用立体声桌面扩音器***的收听者没有将扩音器或他们自己布置在理想的配置中(例如，如图1B、图1C或图1E所示)。b链处理器240因此提供了每个声道的特性的调谐，解决了相关联的***特定的不对称性，从而导致在感知上更具吸引力的跨耳音场。
在空间增强处理或一些其他处理已经被应用于在理想配置的***(即，处于最佳听音位置(sweet spot)的收听者，匹配、对称放置的扩音器等)的假设下进行调谐的立体声输入信号X之后，扬声器匹配处理器250为(如绝大多数移动装置中的情况那样)未提供匹配扬声器对的装置提供实际的扩音器平衡。扬声器匹配处理器250的N频带EQ 702接收左增强声道AL和右增强声道AR，并对声道AL和AR中的每一个应用均衡。
在一些实施方式中，N频带EQ 702提供各种EQ滤波器类型，例如低架和高架滤波器、带通滤波器、带阻滤波器和峰值陷波滤波器，或者低通和高通滤波器。例如，如果立体声对中的一个扩音器成角度地离开理想收听者最佳听音位置，则该扩音器将表现出相对于收听者最佳听音位置的明显高频衰减。N频带EQ 702的一个或更多个频带可以应用于该扩音器声道，以便(例如，经由高架滤波器)恢复从最佳听音位置观察时的高频能量，从而实现与另一前向扩音器的特性的近似匹配。在另一场景中，如果两个扩音器都是面向前的，但是它们中的一个具有非常不同的频率响应，则EQ调谐可以被应用于左声道和右声道两者以达到两者之间的频谱平衡。应用这样的调谐可以等效于“旋转”感兴趣的扩音器以与另一面向前的扩音器的方位匹配。在一些实施方式中，N频带EQ 702包括用于独立处理的N个频带中的每一个的滤波器。频带的数量可以变化。在一些实施方式中，频带的数量与子带空间处理的子带相对应。
在一些实施方式中，可以针对特定扬声器集合来预定义扬声器不对称性，其中已知不对称性被用作用于选择N频带EQ 702的参数的基础。在另一示例中，可以基于测试扬声器——例如通过使用测试音频信号、记录由扬声器根据所述信号生成的声音、以及分析所记录的声音——来确定扬声器不对称性。
左放大器704耦接至N频带EQ 702以接收左声道，并且右放大器706耦接至N频带EQ702以接收右声道。放大器704和706通过调整一个或两个声道上的输出增益解决扩音器响度和动态范围能力的不对称性。这对于平衡扩音器距收听位置的距离中的任何响度偏移以及对于平衡具有极大不同的声压级(SPL)输出特性的不匹配的扩音器对尤其有用。
延迟和增益处理器260接收扬声器匹配处理器250的左输出声道和右输出声道，并且将时间延迟和增益或衰减应用于声道中的一个或更多个声道。为此，延迟和增益处理器260包括接收从扬声器匹配处理器250输出的左声道并应用时间延迟的左延迟708，以及向左声道应用增益或衰减以生成左输出声道OL的左放大器712。延迟和增益处理器260还包括：右延迟710，右延迟710接收从扬声器匹配处理器250输出的右声道并应用时间延迟；以及右放大器714，该右放大器714向右声道应用增益或衰减以生成右输出声道OR。如上所述，扬声器匹配处理器250从理想收听者“最佳听音位置”的视角在感知上平衡左/右空间图像，着重于从该位置为每个驱动器提供平衡的SPL和频率响应，并且忽略实际配置中存在的基于时间的不对称性。在实现了该扬声器匹配之后，给定在呈现/收听***中的实际物理不对称性(例如，偏离中心的头部位置和/或不等效的扬声器到头部的距离)，延迟和增益处理器260根据特定收听者头部位置对空间图像进行时间对准，以及进一步在感知上平衡。
可以设置由延迟和增益处理器260应用的延迟和增益值，以解决静态***配置，例如使用正交定向的扩音器的移动电话，或者横向偏移扬声器例如家庭影院音箱前面的理想的收听最佳听音位置的收听者。
也可以基于改变收听者的头部和扩音器之间的空间关系而动态调整由延迟和增益处理器260应用的延迟和增益值，如在采用物理移动作为游戏玩法的组成部分的游戏场景中可能发生的(例如，诸如针对游戏或人工现实***使用深度相机的位置跟踪)。在一些实施方式中，音频处理***包括摄像机、光传感器、接近传感器或用于确定收听者的头部相对于扬声器的位置的一些其他合适的装置。所确定的用户头部的位置可以被使用以确定延迟和增益处理器260的延迟和增益值。
音频分析例程可以提供用于配置b链处理器240的适当的扬声器间延迟和增益，从而产生时间对准的并且在感知上平衡的左/右立体图像。在一些实施方式中，在缺乏来自这样的分析方法的可测量数据的情况下，可以使用如由下面的等式11和等式12定义的映射来实现直观的手动用户控制或者经由计算机视觉或其他传感器输入的自动控制：
Figure GDA0002514012200000181
Figure GDA0002514012200000191
其中，延迟增量(delayDelta)和延迟以毫秒为单位，增益以分贝为单位。延迟(delay)和增益(gain)列向量假定它们的第一个分量属于左声道，而第二个分量属于右声道。因此，delayDelta≥0指示左扬声器延迟大于或等于右扬声器延迟，并且delayDelta＜0指示左扬声器延迟小于右扬声器延迟。
在一些实施方式中，代替对声道应用衰减，可以对相对的声道应用等量的增益，或者组合地对一个声道应用增益而对另一声道应用衰减。例如，可以将增益应用于左声道而不是对左声道应用衰减。对于如在移动、台式PC和控制台游戏以及家庭影院场景中发生的近场收听，收听者位置与每个扩音器之间的距离增量足够小，并且因此收听者位置与每个扩音器之间的SPL增量足够小，使得与理想的收听者/扬声器配置相比，以上映射中的任何一个将用于成功地恢复跨耳空间图像，同时保持整体可接受的大音场。
示例音频***处理
图8是根据一些实施方式的用于处理输入音频信号的方法800的流程图。方法800可以具有更少或附加的步骤，并且可以以不同的顺序执行步骤。
音频处理***200(例如空间增强处理器205)增强802输入音频信号以生成增强的信号。增强可以包括空间增强。例如，空间增强处理器205将子带空间处理、串扰补偿处理和串扰消除处理应用于包括左输入声道XL和右输入声道XR的输入音频信号X以生成包括左增强声道AL和右增强声道AR的增强信号A。这里，音频处理***200通过对输入音频信号X的中间(非空间)子带分量和侧(空间)子带分量进行增益调整来应用空间增强，并且增强信号A被称为“空间增强信号”。音频处理***200可以执行其他类型的增强以生成增强信号A。
音频处理***200(例如，b链处理器240的扬声器匹配处理器250的N频带EQ 702)将N频带均衡应用于804增强信号A以针对左扬声器与右扬声器之间在频率响应上的不对称性进行调整。N频带EQ 702可以将一个或更多个滤波器应用于左增强声道AL、右增强声道AR、或者左声道AL和右声道AR两者。应用于左增强声道AL和/或右增强声道AR的一个或更多个滤波器平衡左扬声器和右扬声器的频率响应。在一些实施方式中，平衡频率响应可以被使用以针对左扬声器或右扬声器调整相对于理想角度的旋转偏移。在一些实施方式中，N频带EQ 702调节左扬声器与右扬声器之间的不对称性，并且基于所确定的不对称性来确定用于应用N频带EQ的滤波器的参数。
音频处理***200(例如，左放大器704和/或右放大器706)将增益应用于806左增强声道AL和右增强声道AR中的至少一个以针对左扬声器和右扬声器之间在信号水平上的不对称性进行调整。所应用的增益可以是正增益或负增益(也称为衰减)以解决扬声器响度和动态范围能力的不对称性，或者解决具有不同的声压级(SPL)输出特性的不匹配的扩音器对中的不对称性。
音频处理***200(例如，b链处理器240的延迟和增益处理器260)将延迟和增益应用于808增强信号A以针对收听位置进行调整。收听位置可以包括用户相对于左扬声器和右扬声器的位置。用户是指扬声器的收听者。给定呈现/收听***中的实际物理不对称性(例如，偏离中心的头部位置和/或不等效的扩音器至头部的距离)，延迟和增益针对收听者的位置对从扬声器匹配处理器250输出的空间图像进行时间对准以及进一步在感知上平衡。例如，左延迟708可以应用延迟并且左放大器712可以将增益应用于左增强声道AL。右延迟710可以应用延迟并且右放大器714可以将增益应用于右增强声道AR。在一些实施方式中，延迟可以被应用于左增强声道AL或右增强声道AR之一，并且增益可以被应用于左增强声道AL或右增强声道AR之一。
音频处理***200(例如，b链处理器240的延迟和增益处理器260)根据收听位置的变化来调整810延迟和增益中的至少一个。例如，用户相对于左扬声器和右扬声器的空间位置可以改变。音频处理***200随时间监视收听者的位置，基于收听者的位置确定应用于增强信号O的增益和延迟，并且根据收听者的位置随时间的改变来调整应用于增强信号O的延迟和增益以生成左输出声道OL和右输出声道OR。
可以以不同的顺序执行对各种不对称性的调整。例如，可以在针对收听位置相对于扬声器位置或方位的非对称性的调整之前、之后或与其结合地执行针对扬声器特性(例如，频率响应)的非对称性的调整。音频处理***可以针对收听位置确定频率响应、时间对准以及信号水平中的左扬声器与右扬声器之间的不对称性；并且通过以下操作来生成针对左扬声器的左输出声道和针对右扬声器的右输出声道：将N频带均衡应用于空间增强信号以针对左扬声器与右扬声器之间在频率响应上的不对称性进行调整，将延迟应用于空间增强信号以针对时间对准中的不对称性进行调整，以及将增益应用于空间增强信号以针对信号水平中的不对称性进行调整。
在一些实施方式中，不是应用多个增益或延迟来针对不对称性的不同来源(例如，扬声器特性或收听位置)进行调整，而是使用单个增益和单个延迟来针对引起扬声器之间的增益或时间延迟差异的多种类型的不对称性进行调整并且从收听位置的有利点进行调整。然而，将扬声器不对称性和收听位置不对称性的处理分开以减少处理需要可能是有利的。例如，一旦扬声器频率响应已知，相同的滤波器值可以被用于扬声器调整，同时针对收听位置的改变(例如，当用户移动时)进行不同的时间延迟和信号水平调整。
图9示出了根据一些实施方式的非理想头部位置和不匹配的扩音器。收听者140与左扬声器910L和右扬声器910R相距不同的距离。此外，扬声器910L和910R的频率特性和/或振幅特性不相等。图10A示出了左扬声器910L的频率响应，图10B示出了右扬声器910R的频率响应。
为了校正如图9、图10A和图10B所示的扬声器910L和910R的扬声器不对称性以及收听者140相对于扬声器910L和910R中的每一个的位置，b链处理器240的部件可以使用以下配置。N频带EQ 702可以针对左增强声道AL应用具有截止频率4500Hz、Q值0.7以及斜率-6dB的高架滤波器，并且可以针对右增强声道AR应用具有截止频率6000Hz、Q值0.5以及斜率+3dB的高架滤波器。左延迟708可以应用0mS延迟，右延迟710可以应用0.27mS延迟，左放大器712可以应用0dB增益，并且右放大器714可以应用-0.40625dB增益。
示例计算***
注意，这里描述的***和过程可以在嵌入式电子电路或电子***中实施。所述***和过程还可以在计算***中实施，该计算***包括一个或更多个处理***(例如，数字信号处理器)以及存储器(例如，可编程只读存储器或可编程固态存储器)，或一些其他电路，诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)电路。
图11示出了根据一个实施方式的计算机***1100的示例。音频***200可以在***1100上实现。示出了耦接至芯片组1104的至少一个处理器1102。芯片组1104包括存储器控制器集线器1120和输入/输出(I/O)控制器集线器1122。存储器1106和图形适配器1112耦接至存储器控制器集线器1120，并且显示装置1118耦接至图形适配器1112。存储装置1108、键盘1110、指向装置1114和网络适配器1116耦接至I/O控制器集线器1122。计算机1100的其他实施方式具有不同的架构。例如，在一些实施方式中，存储器1106直接耦接至处理器1102。
存储装置1108包括一个或更多个非暂态计算机可读存储介质，诸如硬盘驱动器、光盘只读存储器(CD-ROM)、DVD或固态存储器装置。存储器1106保持由处理器1102使用的指令和数据。例如，存储器1106可以存储指令，这些指令在由处理器1102执行时使得处理器1102执行或者将处理器1102配置成执行本文所讨论的功能，例如方法800。指向装置1114与键盘1110结合使用，以将数据输入到计算机***1100中。图形适配器1112在显示装置1118上显示图像和其他信息。在一些实施方式中，显示装置1118包括用于接收用户输入和选择的触摸屏能力。网络适配器1116将计算机***1100耦接至网络。计算机1100的一些实施方式具有与图11所示的部件不同的部件和/或其他部件。例如，计算机***1100可以是缺乏显示装置、键盘和其他部件的服务器，或者可以使用其他类型的输入装置。
附加考虑
所公开的配置可以包括许多益处和/或优点。例如，输入信号可以被输出至不匹配的扩音器，同时保留或增强音场的空间感。即使当扬声器不匹配时或者当收听者不在相对于扬声器的理想的收听位置时，也可以实现高质量的收听体验。
在阅读本公开内容后，本领域技术人员将理解本文所公开的原理的另外的替选实施方式。因此，尽管已示出并且描述了特定实施方式和应用，然而要理解的是，所公开的实施方式不限于本文所公开的特定结构和部件。在不脱离本文所描述的范围的情况下，可以对本文所公开的方法和装置的布置、操作和细节进行对本领域技术人员而言将明显的各种修改、改变和变型。
可以单独地或与其他装置结合地利用一个或更多个硬件或软件模块来执行或实现本文描述的任何步骤、操作或过程。在一个实施方式中，使用包括含计算机程序代码的计算机可读介质(例如，非暂态计算机可读介质)的计算机程序产品实现软件模块，所述计算机程序代码可以由计算机处理器执行以用于执行所描述的步骤、操作或处理中的任一个或全部。

Claims (23)

1.一种用于增强左扬声器和右扬声器的音频信号的***，包括：
b链处理器，其被配置成：
确定所述左扬声器与所述右扬声器之间在收听位置的频率响应、时间对准和信号水平上的不对称性，所述不对称性包括以下中至少之一：
所述左扬声器和所述右扬声器相对于彼此是非平行朝向的，或者
所述左扬声器与所述右扬声器之间振幅特性或频率特性中的至少一个的不匹配；并且
通过以下来生成针对所述左扬声器的左输出声道和针对所述右扬声器的右输出声道：
向所述音频信号应用N频带均衡以针对所述频率响应上的不对称性进行调整；
向所述音频信号应用延迟以针对所述时间对准上的不对称性进行调整；以及
向所述音频信号应用增益以针对所述信号水平上的不对称性进行调整。
2.根据权利要求1所述的***，其中，被配置成应用所述N频带均衡的所述b链处理器包括被配置成向所述音频信号的左声道和右声道中的至少之一应用一个或更多个滤波器的所述b链处理器。
3.根据权利要求2所述的***，还包括：被配置成通过对所述音频信号的空间分量及非空间分量进行增益调整来生成空间增强信号的空间增强处理器。
4.根据权利要求2所述的***，其中，所述一个或更多个滤波器包括以下中至少之一：
低架滤波器和高架滤波器；
带通滤波器；
带阻滤波器；
峰值陷波滤波器；以及
低通滤波器和高通滤波器。
5.根据权利要求1所述的***，其中，被配置成向所述音频信号应用延迟的所述b链处理器包括被配置成向所述音频信号的左声道或右声道中之一应用延迟的所述b链处理器。
6.根据权利要求1所述的***，其中，被配置成向所述音频信号应用增益的所述b链处理器包括被配置成向所述音频信号的左声道或右声道中之一应用增益的所述b链处理器。
7.根据权利要求1所述的***，其中，所述b链处理器还被配置成根据所述收听位置的改变来调整所述延迟和所述增益中的至少之一。
8.根据权利要求1所述的***，其中，所述延迟和所述增益针对与所述左扬声器和所述右扬声器相距不等效距离的收听位置进行调整。
9.根据权利要求3所述的***，其中，所述空间增强处理器还被配置成向所述音频信号应用串扰补偿和串扰消除。
10.一种非暂态计算机可读介质，存储有在由处理器执行时将所述处理器配置成进行以下操作以用于增强左扬声器和右扬声器的音频信号的指令：
确定所述左扬声器与所述右扬声器之间在收听位置的频率响应、时间对准和信号水平上的不对称性，所述不对称性包括以下中至少之一：
所述左扬声器和所述右扬声器相对于彼此是非平行朝向的，或者
所述左扬声器与所述右扬声器之间振幅特性或频率特性中的至少一个的不匹配；并且
通过以下来生成针对所述左扬声器的左输出声道和针对所述右扬声器的右输出声道：
向所述音频信号应用N频带均衡以针对所述频率响应上的不对称性进行调整；
向所述音频信号应用延迟以针对所述时间对准上的不对称性进行调整；并且
向所述音频信号应用增益以针对所述信号水平上的不对称性进行调整。
11.根据权利要求10所述的非暂态计算机可读介质，其中，配置所述处理器以应用所述N频带均衡的指令还包括配置所述处理器以向所述音频信号的左声道和右声道中的至少之一应用一个或更多个滤波器的指令。
12.根据权利要求11所述的非暂态计算机可读介质，其中，所述指令配置所述处理器以通过对所述音频信号的空间分量及非空间分量进行增益调整来生成空间增强信号。
13.根据权利要求11所述的非暂态计算机可读介质，其中，所述一个或更多个滤波器包括以下中至少之一：
低架滤波器和高架滤波器；
带通滤波器；
带阻滤波器；
峰值陷波滤波器；以及
低通滤波器和高通滤波器。
14.根据权利要求10所述的非暂态计算机可读介质，其中，配置所述处理器以向所述音频信号应用延迟的指令还包括配置所述处理器以向所述音频信号的左声道或右声道中之一应用延迟的指令。
15.根据权利要求10所述的非暂态计算机可读介质，其中，配置所述处理器以向所述音频信号应用增益的指令还包括配置所述处理器以向所述音频信号的左声道或右声道中之一应用增益的指令。
16.根据权利要求10所述的非暂态计算机可读介质，还包括配置所述处理器以根据所述收听位置的改变来调整所述延迟和所述增益中至少之一的指令。
17.根据权利要求10所述的非暂态计算机可读介质，其中，所述延迟和所述增益针对与所述左扬声器和所述右扬声器相距不等效距离的收听位置进行调整。
18.根据权利要求10所述的非暂态计算机可读介质，还包括配置所述处理器以向所述音频信号应用串扰补偿和串扰消除的指令。
19.一种用于增强左扬声器和右扬声器的音频信号的方法，包括：
确定所述左扬声器与所述右扬声器之间在收听位置的频率响应、时间对准和信号水平上的不对称性，所述不对称性包括以下中至少之一：
所述左扬声器和所述右扬声器相对于彼此是非平行朝向的，或者
所述左扬声器与所述右扬声器之间振幅特性或频率特性中的至少一个的不匹配；并且
通过以下来生成针对所述左扬声器的左输出声道和针对所述右扬声器的右输出声道：
向所述音频信号应用N频带均衡以针对所述频率响应上的不对称性进行调整；
向所述音频信号应用延迟以针对所述时间对准上的不对称性进行调整；以及
向所述音频信号应用增益以针对所述信号水平上的不对称性进行调整。
20.根据权利要求19所述的方法，其中，应用所述N频带均衡包括向所述音频信号的左声道和右声道中的至少之一应用一个或更多个滤波器。
21.根据权利要求20所述的方法，还包括以下中至少之一：
通过对所述音频信号的空间分量及非空间分量进行增益调整来生成空间增强信号；或者
向所述音频信号应用串扰补偿和串扰消除。
22.根据权利要求20所述的方法，其中，所述一个或更多个滤波器包括以下中至少之一：
低架滤波器和高架滤波器；
带通滤波器；
带阻滤波器；
峰值陷波滤波器；以及
低通滤波器和高通滤波器。
23.根据权利要求19所述的方法，还包括根据所述收听位置的改变来调整所述延迟和所述增益中的至少之一。
CN201880077225.3A 2017-11-29 2018-11-26 串扰处理b链 Active CN111418220B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762592304P 2017-11-29 2017-11-29
US62/592,304 2017-11-29
US16/138,893 US10524078B2 (en) 2017-11-29 2018-09-21 Crosstalk cancellation b-chain
US16/138,893 2018-09-21
PCT/US2018/062487 WO2019108487A1 (en) 2017-11-29 2018-11-26 Crosstalk processing b-chain

Publications (2)

Publication Number Publication Date
CN111418220A CN111418220A (zh) 2020-07-14
CN111418220B true CN111418220B (zh) 2021-04-20

Family

ID=66633752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077225.3A Active CN111418220B (zh) 2017-11-29 2018-11-26 串扰处理b链

Country Status (7)

Country Link
US (2) US10524078B2 (zh)
EP (1) EP3718317A4 (zh)
JP (3) JP6891350B2 (zh)
KR (2) KR102185071B1 (zh)
CN (1) CN111418220B (zh)
TW (1) TWI692257B (zh)
WO (1) WO2019108487A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10499153B1 (en) 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
KR102527336B1 (ko) * 2018-03-16 2023-05-03 한국전자통신연구원 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
EP4005235A1 (en) 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Dynamics processing across devices with differing playback capabilities
US11659332B2 (en) 2019-07-30 2023-05-23 Dolby Laboratories Licensing Corporation Estimating user location in a system including smart audio devices
CN118102179A (zh) * 2019-07-30 2024-05-28 杜比实验室特许公司 音频处理方法和***及相关非暂时性介质
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
WO2021021460A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Adaptable spatial audio playback
WO2021021857A1 (en) 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Acoustic echo cancellation control for distributed audio devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101112120A (zh) * 2004-11-26 2008-01-23 三星电子株式会社 处理多声道音频输入信号以从其中产生至少两个声道输出信号的装置和方法、以及包括执行该方法的可执行代码的计算机可读介质
CN106470379A (zh) * 2015-08-20 2017-03-01 三星电子株式会社 用于基于扬声器位置信息处理音频信号的方法和设备
WO2017127286A1 (en) * 2016-01-19 2017-07-27 Boomcloud 360, Inc. Audio enhancement for head-mounted speakers

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2244162C3 (de) * 1972-09-08 1981-02-26 Eugen Beyer Elektrotechnische Fabrik, 7100 Heilbronn «system
US4975954A (en) * 1987-10-15 1990-12-04 Cooper Duane H Head diffraction compensated stereo system with optimal equalization
JPH03171900A (ja) * 1989-11-29 1991-07-25 Pioneer Electron Corp 狭空間用音場補正装置
US5400405A (en) * 1993-07-02 1995-03-21 Harman Electronics, Inc. Audio image enhancement system
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US20050265558A1 (en) * 2004-05-17 2005-12-01 Waves Audio Ltd. Method and circuit for enhancement of stereo audio reproduction
KR101118214B1 (ko) * 2004-09-21 2012-03-16 삼성전자주식회사 청취 위치를 고려한 2채널 가상 음향 재생 방법 및 장치
KR100739762B1 (ko) * 2005-09-26 2007-07-13 삼성전자주식회사 크로스토크 제거 장치 및 그를 적용한 입체 음향 생성 시스템
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8705748B2 (en) * 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
US9088858B2 (en) 2011-01-04 2015-07-21 Dts Llc Immersive audio rendering system
US9219460B2 (en) * 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
KR102049602B1 (ko) 2012-11-20 2019-11-27 한국전자통신연구원 멀티미디어 데이터 생성 장치 및 방법, 멀티미디어 데이터 재생 장치 및 방법
US9124983B2 (en) 2013-06-26 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for localization of streaming sources in hearing assistance system
TWI673707B (zh) 2013-07-19 2019-10-01 瑞典商杜比國際公司 將以L<sub>1</sub>個頻道為基礎之輸入聲音訊號產生至L<sub>2</sub>個揚聲器頻道之方法及裝置，以及得到一能量保留混音矩陣之方法及裝置，用以將以輸入頻道為基礎之聲音訊號混音以用於L<sub>1</sub>個聲音頻道至L<sub>2</sub>個揚聲器頻道
US9807538B2 (en) 2013-10-07 2017-10-31 Dolby Laboratories Licensing Corporation Spatial audio processing system and method
KR101805110B1 (ko) * 2013-12-13 2017-12-05 앰비디오 인코포레이티드 사운드 스테이지 강화를 위한 장치 및 방법
JP2015206989A (ja) * 2014-04-23 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN108886650B (zh) * 2016-01-18 2020-11-03 云加速360公司 用于音频再现的子带空间和串扰消除
FR3049802B1 (fr) * 2016-04-05 2018-03-23 Pierre Vincent Procede de diffusion sonore prenant en compte les particularites individuelles
US10009704B1 (en) * 2017-01-30 2018-06-26 Google Llc Symmetric spherical harmonic HRTF rendering
TWI627603B (zh) * 2017-05-08 2018-06-21 偉詮電子股份有限公司 影像視角轉換方法及其系統
US10313820B2 (en) * 2017-07-11 2019-06-04 Boomcloud 360, Inc. Sub-band spatial audio enhancement
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101112120A (zh) * 2004-11-26 2008-01-23 三星电子株式会社 处理多声道音频输入信号以从其中产生至少两个声道输出信号的装置和方法、以及包括执行该方法的可执行代码的计算机可读介质
CN106470379A (zh) * 2015-08-20 2017-03-01 三星电子株式会社 用于基于扬声器位置信息处理音频信号的方法和设备
WO2017127286A1 (en) * 2016-01-19 2017-07-27 Boomcloud 360, Inc. Audio enhancement for head-mounted speakers

Also Published As

Publication number Publication date
JP2021132408A (ja) 2021-09-09
WO2019108487A1 (en) 2019-06-06
TWI692257B (zh) 2020-04-21
KR102185071B1 (ko) 2020-12-01
KR20200137020A (ko) 2020-12-08
EP3718317A4 (en) 2021-07-21
US20190166447A1 (en) 2019-05-30
US20200037095A1 (en) 2020-01-30
KR20200080344A (ko) 2020-07-06
US10757527B2 (en) 2020-08-25
CN111418220A (zh) 2020-07-14
US10524078B2 (en) 2019-12-31
EP3718317A1 (en) 2020-10-07
JP2021505064A (ja) 2021-02-15
JP7410082B2 (ja) 2024-01-09
JP2023153394A (ja) 2023-10-17
TW201927010A (zh) 2019-07-01
JP6891350B2 (ja) 2021-06-18
KR102475646B1 (ko) 2022-12-07

Similar Documents

Publication Publication Date Title
CN111418220B (zh) 串扰处理b链
CN111418219B (zh) 用于处理输入音频信号的***和方法以及计算机可读介质
JP7370415B2 (ja) 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
CN111492669B (zh) 用于相反朝向跨耳扬声器***的串扰消除
US20210112365A1 (en) Multi-channel crosstalk processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant