CN116636230A - 用于提供增强音频的***和方法 - Google Patents

用于提供增强音频的***和方法 Download PDF

Info

Publication number
CN116636230A
CN116636230A CN202180073672.3A CN202180073672A CN116636230A CN 116636230 A CN116636230 A CN 116636230A CN 202180073672 A CN202180073672 A CN 202180073672A CN 116636230 A CN116636230 A CN 116636230A
Authority
CN
China
Prior art keywords
signal
content
binaural
bass
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180073672.3A
Other languages
English (en)
Inventor
R·特瓦尔
Y·辛格
E·昆茨
C·奥斯瓦尔德
M·S·达布林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of CN116636230A publication Critical patent/CN116636230A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

本申请提供了一种用于在车辆中提供增强的空间化音频的***，该***包括：多个扬声器，这些多个扬声器设置在车辆舱室的周边中；和控制器，该控制器被配置为接收指示第一用户的头部在车辆中的位置的位置信号，并且根据该第一位置信号向第一双耳设备输出第一空间音频信号，使得第一双耳设备产生被第一用户感知为源自车辆舱室内的第一虚拟源定位的第一空间声学信号，其中第一空间音频信号至少包括第一内容信号的高音域，其中该控制器还被配置为利用驱动信号来驱动多个扬声器，使得在车辆舱室中产生第一内容信号的第一低音内容。

Description

用于提供增强音频的***和方法
相关申请的交叉引用
本申请要求于2020年10月30日提交的并且名称为“用于提供增强音频的***和方法(Systems and Methods for Providing Augmented Audio)”的美国专利申请序列号17/085,574的优先权，其全部公开内容以引用方式并入本文。
背景技术
本公开整体涉及用于在车辆舱室中提供增强音频的***和方法，并且具体涉及增强设置在车辆舱室中的至少一个双耳设备的低音响应的方法。
发明内容
下文提及的所有示例和特征均可以任何技术上可能的方式组合。
根据另一方面，一种用于在车辆中提供增强的空间化音频的***包括：多个扬声器，这些多个扬声器设置在该车辆的舱室的周边中；和控制器，该控制器被配置为接收指示第一用户的头部在车辆中的位置的位置信号，并且根据该第一位置信号向第一双耳设备输出第一空间音频信号，使得第一双耳设备产生被第一用户感知为源自车辆舱室内的第一虚拟源定位的第一空间声学信号，其中第一空间音频信号至少包括第一内容信号的高音域，其中该控制器还被配置为利用驱动信号来驱动多个扬声器，使得在车辆舱室中产生第一内容信号的第一低音内容。
在示例中，控制器被配置为将第一低音内容的产生与第一空间声学信号的产生时间对齐。
在示例中，该***还包括头部跟踪设备，该头部跟踪设备被配置为产生与第一用户的头部在车辆中的位置相关的头部跟踪信号。
在示例中，头部跟踪设备包括飞行时间传感器。
在示例中，头部跟踪设备包括多个二维相机。
在示例中，该***还包括经过训练以根据头部跟踪信号产生第一位置信号的神经网络。
在示例中，控制器还被配置为接收指示第二用户的头部在车辆中的位置的第二位置信号，并且根据该第二位置信号向第二双耳设备输出第二空间音频信号，使得第二双耳设备产生被第二用户感知为源自车辆舱室内的第一虚拟源定位或第二虚拟源定位的第二空间声学信号。
在示例中，第二空间音频信号至少包括第二内容信号的高音域，其中控制器还被配置为根据第一阵列配置驱动多个扬声器使得在车辆舱室内的第一收听区中产生第一低音内容，并且根据第二阵列配置驱动多个扬声器使得在车辆舱室内的第二收听区中产生第二内容信号的低音内容，其中在第一收听区中，第一低音内容的幅度大于第二低音内容的幅度，并且在第二收听区中，第二低音内容的幅度大于第一低音内容的幅度。
在示例中，控制器被配置为在第一收听区中将第一低音内容的产生与第一空间声学信号的产生时间对齐，并且在第二收听区中将第二低音内容的产生与第二空间声学信号的产生时间对齐。
在示例中，在第一收听区中，第一低音内容的幅度超过第二低音内容的幅度三分贝，其中在第二收听区中，第二低音内容的幅度超过第一低音内容的幅度三分贝。
在示例中，第一双耳设备和第二双耳设备各自选自设置在头枕式或开耳式可佩戴设备中的一组扬声器中的一个扬声器。
根据另一方面，一种用于在车辆舱室中提供增强的空间化音频的方法，包括以下步骤：根据指示第一用户的头部在车辆舱室中的位置的第一位置信号向第一双耳设备输出第一空间音频信号，使得第一双耳设备产生被第一用户感知为源自车辆舱室内的第一虚拟源定位的第一空间声学信号，其中第一空间音频信号至少包括第一内容信号的高音域；并且利用驱动信号来驱动多个扬声器，使得在车辆舱室中产生第一内容信号的第一低音内容。
在示例中，第一低音内容的产生与第一空间声学信号的产生产生时间对齐。
在示例中，该方法还包括根据从头部跟踪设备接收的头部跟踪信号来产生位置信号的步骤。
在示例中，头部跟踪设备包括飞行时间传感器
在示例中，头部跟踪设备包括多个二维相机。
在示例中，根据神经网络产生位置信号，该神经网络经过训练以根据头部跟踪信号产生第一位置信号。
在示例中，该方法还包括以下步骤：根据指示第二用户的头部在车辆中的位置的第二位置信号向第二双耳设备输出第二空间音频信号，使得第二双耳设备产生被第二用户感知为源自车辆舱室内的第二虚拟源定位的第二空间声学信号。
在示例中，根据第一阵列配置驱动多个扬声器使得在车辆舱室内的第一收听区中产生第一低音内容，并且根据第二阵列配置驱动多个扬声器使得在车辆舱室内的第二收听区中产生第二内容信号的低音内容，其中在第一收听区中，第一低音内容的幅度大于第二低音内容的幅度，并且在第二收听区中，第二低音内容的幅度大于第一低音内容的幅度，其中第二空间音频信号至少包括第二内容信号的高音域。
在示例中，在第一收听区中，第一低音内容的产生与第一声学信号的产生时间对齐，并且在第二收听区中，第二低音内容的产生与第二声学信号时间对齐。
在示例中，在第一收听区中，第一低音内容的幅度超过第二低音内容的幅度三分贝，其中在第二收听区中，第二低音内容的幅度超过第一低音内容的幅度三分贝。
一个或多个具体实施的细节在附图和以下描述中论述。其他特征、对象和优点在说明书、附图和权利要求书中将是显而易见的。
附图说明
在附图中，在所有不同视图中，类似的参考符号通常是指相同的部件。此外，附图不一定按比例绘制，重点通常放在说明各个方面的原理上。
图1A描绘了根据示例的用于在车辆舱室中提供增强音频的音频***。
图1B描绘了根据示例的用于在车辆舱室中提供增强音频的音频***。
图2描绘了根据示例的开耳式可佩戴设备。
图3描绘了根据示例的开耳式可佩戴设备。
图4描绘了根据示例的用于在车辆舱室中提供增强音频的方法的流程图。
图5描绘了根据示例的用于在车辆舱室中提供增强的空间化音频的音频***。
图6描绘了根据示例的用于在车辆舱室中提供增强的空间化音频的方法的流程图。
图7A描绘了根据示例的交叉图。
图7B描绘了根据示例的交叉图。
具体实施方式
仅包括周边扬声器的车辆音频***在其向不同乘客提供不同音频内容的能力方面受到限制。虽然车辆音频***可以被布置成提供具有令人满意的隔离的独立的低音内容区，但对于高音域内容却不能这样说，在高音域内容中，波长太短而不能单独使用周边扬声器充分地创建具有单独内容的独立的收听区。
可以通过向每个用户提供诸如头戴式耳机的可佩戴设备来解决收听区之间的高音域内容的泄露。如果每个用户佩戴一对耳机，则可以在最小限度声音泄漏的情况下向每个用户提供独立的音频信号。但是最小限度的泄漏是以将每个乘客与环境隔离为代价的，这在车辆环境中是不可取的。这对于需要能够听到环境中的声音(诸如由紧急车辆产生的声音或乘客的语音)的驾驶员来说尤其如此，但对于通常想要能够进行对话并彼此交流的其他乘客来说也是如此。
这可以通过向每个用户提供诸如开耳式可佩戴扬声器或近场扬声器(诸如头枕扬声器)等的双耳设备来解决，该双耳设备向每个乘客提供独立的高音域音频内容，同时保持通往用户耳朵的开放路径，从而允许用户与环境互动。但是，在移动的车辆中，由于道路噪声倾向于掩蔽相同的频带，所以开耳式可佩戴设备和近场扬声器通常不能提供足够的低音响应。
现在转向图1A，其示出了表示用于在车辆舱室100中提供增强音频的音频***的示意图。如图所示，车辆舱室100包括一组周边扬声器102。(出于本公开的目的，扬声器是接收电信号并将其转换成声学信号的任何设备。)设置在车辆中的控制器104被配置为接收第一内容信号u1和第二内容信号u2。第一内容信号u1和第二内容信号u2是各自包括低音内容(即，低于250Hz±150Hz的内容)和高音域内容(即，高于250Hz±150Hz的内容)的音频信号(并且可以根据任何合适的协议作为模拟或数字信号被接收)。控制器104被配置为利用驱动信号d1-d4来驱动周边扬声器102以形成至少第一阵列配置和第二阵列配置。由周边扬声器102的至少一个子组形成的第一阵列配置构建性地组合由周边扬声器102生成的声能，以在布置于第一就座位置P1处的第一收听区106中产生第一内容信号u1的低音内容。类似地由周边扬声器102的至少一个子组形成的第二阵列配置构建性地组合由周边扬声器102生成的声能，以在布置于第二就座位置P2处的第二收听区108中产生第二内容信号u2的低音内容。此外，第一阵列配置可以破坏性地组合由周边扬声器102生成的声能，以在第二收听区108(以及车辆舱室内的任何其他就座位置)处形成基本零点，并且第二阵列配置可以破坏性地组合由周边扬声器102生成的声能，以在第一收听区(以及车辆舱室内的任何其他就座位置)处形成基本零点。
应当理解，在各种示例中，在周边扬声器102的被排列成在第一收听区106中产生第一内容信号u1的低音内容的子组与周边扬声器102的被排列成在第二收听区中产生第二内容信号u2的低音内容的子组之间可以存在一些或全部重叠。
给定第一内容信号和第二内容信号中的低音内容的基本上相同的幅度，周边扬声器102的排列意味着在第一收听区106中第一内容信号u1的低音内容的幅度大于第二内容信号u2的低音内容的幅度。类似地，第二内容信号u2的低音内容的幅度大于第一内容信号u1的低音内容的幅度。最终效果是坐在位置P1处的用户将第一内容信号u1的低音内容主要感知为大于第二内容信号u2的低音内容，这在一些情况下可能不会被感知。类似地，坐在位置P2处的用户将第二内容信号u2的低音内容主要感知为大于第一内容信号u1的低音内容。在一个示例中，在第一收听区中，第一内容信号u1的低音内容的幅度比第二内容信号u2的低音内容的幅度大至少3dB，并且同样地，在第二收听区中，第二内容信号u2的低音内容的幅度比第一内容信号u1的低音内容的幅度大至少3dB。
尽管仅示出了四个周边扬声器102，但是应当理解，可以使用大于一个的任意数量的周边扬声器102。此外，出于本公开的目的，周边扬声器102可以设置在车辆门、立柱、天花板、地板、仪表板、后部甲板、行李箱之中或之上，可以设置在座椅下方，集成在座椅内，或设置在舱室100中的中央控制台，或舱室结构中的在舱室中创建声学低音能量的任意其他驱动点之中或之上。
在各种示例中，可以从移动设备(例如，经由蓝牙连接)、无线电信号、卫星无线电信号、或蜂窝信号中的一者或多者接收第一内容信号u1和第二内容信号u2(以及任何其他所接收的内容信号)，但也可设想其他源。此外，每个内容信号不需要被同时接收，而是可以被先前接收并存储在存储器中以供稍后回放。此外，如上所述，第一内容信号u1和第二内容信号u2可以根据任何合适的通信协议作为模拟或数字信号被接收。此外，因为由一组二进制值组成的第一内容信号u1和第二内容信号u2可以以数字方式发送，所以当内容信号在被扬声器或其他设备转换之前被转变成模拟信号时，这些内容信号的低音内容和高音域内容指的是低音内容和高音域内容的相应频率范围的组成信号。
如图1A所示，双耳设备110和112分别被定位成在第一收听区106中产生立体声第一声学信号114并且在第二收听区中产生立体声第二声学信号116。如图1A所示，双耳设备110和112包括设置在靠近收听区106、108设置的相应头枕中的扬声器118、120。例如，双耳设备110包括左扬声器118L和右扬声器118R，左扬声器设置在头枕中以将左侧第一声学信号114L传输到坐在第一就座位置P1中的用户的左耳，右扬声器将右侧第一声学信号114R传输到用户的右耳。以相同的方式，双耳设备112包括左扬声器120L和右扬声器120R，左扬声器设置在头枕中以将左侧第二声学信号116L传输到坐在第二就座位置P2中的用户的左耳，右扬声器将右侧第二声学信号116R传输到用户的右耳。尽管声学信号114、116被示为包括左立体声分量和右立体声分量，但是应当理解，在一些示例中，一个或两个声学信号114、116可以是单声道信号，在单声道信号中，左侧和右侧都是相同的。双耳设备110、112各自还可以采用消除每个相应侧上的由相对侧产生的音频的一组交叉消除滤波器。因此，例如，双耳设备110可以采用一组交叉消除滤波器以在用户的左耳处消除针对用户的右耳产生的音频，并且反之亦然。在双耳设备是可佩戴设备(例如，开耳式耳机)并且具有靠近耳朵的驱动点的示例中，通常不需要串扰消除。然而，在更远的头枕扬声器或可佩戴设备(例如，BoseSoundWear)的情况下，双耳设备将通常采用一些测量串扰消除来实现双耳控制。
尽管第一双耳设备110和第二双耳设备112被示为设置在头枕中的扬声器，但是应当理解，本公开中描述的双耳设备可以是适用于向坐在相应位置处的用户传输独立的左耳声学信号和右耳声学信号(即，立体声信号)的任何设备。因此，在另选的示例中，第一双耳设备110和/或第二双耳设备112可以由位于车辆舱室100的其他区域中的适用于向用户传输独立的左耳声学信号和右耳声学信号的扬声器组成，这些其他区域诸如上部椅背、车顶内衬或靠近用户的耳朵设置的任何其他地方。在又一另选示例中，第一双耳设备110和/或第二双耳设备112可以是由坐在相应就座位置处的用户所佩戴的开耳式可佩戴设备。出于本公开的目的，开耳式可佩戴设备是被设计成由用户佩戴并且能够传输独立的左耳声学信号和右耳声学信号，同时保持通往用户耳朵的开放路径的任何设备。图2和图3示出了这种开耳式可佩戴设备的两个示例。第一开耳式可佩戴设备是一对框架200，其特征在于分别位于左镜腿204L和右镜腿204R中的左扬声器202L和右扬声器202R。第二开耳式可佩戴设备是一对开耳式耳机300，其特征在于左扬声器302L和右扬声器302R。框架200和开耳式耳机300两者都保留了通往用户耳朵的开放路径，同时能够向用户的左耳和右耳提供独立的声学信号。
控制器104可以经由双耳信号b1向第一双耳设备110提供第一内容信号u1的至少高音域内容，并且经由双耳信号b2向第二双耳设备112提供第二信号内容信号u2的至少高音域内容。(在示例中，第一内容信号u1和第二内容信号u2的包括低音内容的整个音域分别被传输到第一双耳设备110和第二双耳设备112。)因此，第一声学信号114至少包括第一内容信号u1的高音域内容，并且第二声学信号116至少包括第二信号u2的高音域内容。通过周边扬声器102在第一收听区106中产生第一内容信号u1的低音内容增强了由第一双耳设备110产生的第一信号u1的高音域内容的产生，并且通过周边扬声器102在第二收听区108中产生第二内容信号u2的低音内容增强了由第二双耳设备产生的第二内容信号u2的高音域内容的产生。
坐在就座位置P1处的用户因此从周边扬声器102的第一阵列配置和第一双耳设备110的组合输出感知在第一收听区106中播放的第一内容信号u1。同样地，坐在就座位置P2处的用户从周边扬声器102的第二阵列配置和第二双耳设备112的组合输出感知在第二收听区108中播放的第二内容信号u2。
图7A和图7B分别描绘了100Hz和200Hz处的示例内容信号(例如，第一内容信号u1)的低音内容与高音域内容之间的频率交叉的示例曲线图。如上所述，低音内容与高音域内容之间的交叉可以发生在例如250Hz±150Hz处，因此交叉100Hz或200Hz是该范围的示例。如图所示，在收听区处的组合总响应被感知为平坦响应。(当然，平坦响应仅是频率响应的一个示例，并且其他示例可以例如提高低音、中音和/或高音，这取决于期望的均衡。)
双耳信号b1、b2(以及针对附加的双耳设备生成的任何其他双耳信号)通常是N声道信号，其中N≥2(因为每个耳朵存在至少一个声道)。N可以与渲染***中的扬声器的数量相关(例如，如果头枕具有四个扬声器，则相关联的双耳信号通常具有四个声道)。在双耳设备采用串扰消除的情况下，出于消除的目的，在声道中的内容之间可能存在一些重叠。然而，通常，信号的混合由设置在双耳设备内的串扰消除滤波器执行，而不是在由双耳设备接收的双耳信号中执行。
控制器104可以以有线方式或无线方式提供双耳信号b1、b2。例如，在双耳设备110或112是开耳式可佩戴设备的情况下，相应的双耳信号b1、b2可以通过蓝牙、WiFi或任何其他合适的无线协议来发送。
此外，控制器104还可以被配置为将第一收听区106中的低音内容的产生与通过第一双耳设备110进行的高音域内容的产生时间对齐，以考虑这些信号的产生所固有的无线、声学或其他传输时延。类似地，控制器104还可以被配置为将第二收听区108中的低音内容的产生与通过第二双耳设备112进行的高音域内容的产生时间对齐。在驱动信号d1-d4的输出与由周边扬声器102转换的低音内容到达相应收听区106、108的时间点之间将存在一些固有时延。该时延包括驱动信号d1-d4被相应扬声器102转换成声学信号并且从相应扬声器102行进到第一收听区106或第二收听区108所需的时间。(但可以想到其他因素也会影响时延。)因为每个周边扬声器102可能位于距第一收听区106和第二收听区108某个唯一距离处，所以可以针对每个周边扬声器102单独地计算时延。此外，在输出双耳信号b1、b2与在第一收听区106和第二收听区108中的声学信号114、116的相应产生之间将存在一些时延。该时延将是处理所接收的双耳信号b1、b2的时间(在双耳信号以诸如无线协议等的通信协议编码的情况下，和/或在双耳设备执行一些附加信号处理的情况下)和将双耳信号b1、b2转换成声学信号114、116的时间，以及声学信号114、116行进到坐在位置P1、P2处的用户的时间(但因为每个双耳设备位于相对靠近用户的位置，所以这可以是可忽略的)的函数。(再次，其他因素可影响时延。)因此，考虑到这些时延，控制器104可以对驱动信号d1-d4和双耳信号b1、b2的产生进行定时，使得在第一收听区106中通过周边扬声器102进行的第一内容信号u1的低音内容的产生与通过第一双耳设备110进行的第一内容信号u1的高音域内容的产生时间对齐，并且在第二收听区108中通过周边扬声器102进行的第二内容信号u2的低音内容的产生与通过第二双耳设备112进行的第二内容信号u2的高音域的产生时间对齐。
出于本公开的目的，“时间对齐”是指给定内容信号的低音内容和高音域内容在空间中的给定点(例如，收听区)处的产生时间的对齐，使得在空间中的该给定点处准确地再现该内容。应当理解，低音内容和高音域内容仅需要时间对齐到足以让用户感知内容信号被准确再现的程度。通常，在时间对齐的声学信号中，低音内容与高音域内容之间的交叉频率处的90°偏移是可接受的。为了提供若干个不同交叉频率处的几个示例，可接受的偏移对于100Hz可以是+/-2.5ms，对于200Hz可以是+/-1.25ms，对于250Hz可以是+/-1ms，并且对于400Hz可以是+/-0.625ms。然而，应当理解，出于本公开的目的，在交叉频率处的任何高达180°的偏移都被认为是时间对齐的。
如图7A和图7B所示，在低音内容与越过交叉频率的高音域内容之间存在附加的重叠。重叠内的这些频率的相位可以被单独地移位，以在时间上对齐高音域内容和低音内容；如将理解的，所施加的相移将取决于频率。例如，可以包括一个或多个全通滤波器，其被设计成至少向高音域内容和低音内容的重叠频率引入相移，以便实现跨频率的期望时间对齐。
时间对齐可以是针对给定双耳设备预先建立的。在头枕扬声器的示例中，接收双耳信号与产生声学信号之间的时延将总是相同的，并且因此可将这些时延设定为工厂设定。然而，在双耳设备110、112是可佩戴设备的情况下，基于处理相应的双耳信号b1、b2以及产生声学信号114、116所需的不同时间，时延通常会因可佩戴设备的不同而变化(这在具有众所周知的可变延迟的无线协议的情况下尤其如此)。因此，在一个示例中，控制器104可以存储针对各种可佩戴设备或各种类型的可佩戴设备将低音内容的产生与声学信号114、116的产生时间对齐的多个时延预设。因此，当控制器104连接到特定的可佩戴设备时，其可以识别该可佩戴设备(例如，一对Bose Frames)并且从存储装置中检索用于将低音内容与由所识别的可佩戴设备产生的声学信号114、116时间对齐的特定的预先存储的时延。在另选示例中，预先存储的时延可以与特定设备类型相关联。例如，如果与操作特定通信协议(例如，蓝牙)或协议版本(例如，蓝牙版本)的可佩戴设备相关联的时延通常相同，则控制器104可以根据所检测到的通信协议或通信协议版本来选择时延。可以通过以下方法来确定针对给定设备或设备类型的这些预先存储的时延：在给定收听区采用麦克风并且手动地或通过自动化方法校准时延，直到在收听区处给定内容信号的低音内容与给定双耳设备的声学信号时间对齐。在又一示例中，可以根据用户输入来校准时延。例如，佩戴开耳式可佩戴设备的用户可以坐在就座位置P1或P2中，并且调整驱动信号d1-d4和/或双耳信号b1、b2的产生，直到低音内容与声学信号114、116的高音域正确地时间对齐。在另一示例中，设备可以向控制器104报告时间对齐所必需的时延。
在另选示例中，时间对齐可以在运行时间期间自动地确定，而不是通过一组预先存储的时延来确定。在示例中，麦克风可以设置在双耳设备上或其附近(例如，在头枕上或在可佩戴设备上)并且用于产生到控制器的信号以确定用于时间对齐的时延。在名称为“同步扬声器的异构网络中的时延协商(Latency Negotiation in a Heterogeneous Networkof Synchronized Speakers)”的US 2020/0252678中描述了一种用于自动确定时间对齐的方法(该专利的全部内容以引用方式并入本文)，但可以使用用于确定时延的任何其他合适的方法。
如上所述，可以使用全通滤波器在一定的频率范围内实现时间对齐。为了考虑各种双耳设备的不同时延，可以从一组存储的滤波器中选择所实现的特定滤波器，或者可以调整由全通滤波器实现的相位变化。如上所述，所选择的滤波器或相位变化可以基于不同的设备或设备类型、可以通过用户输入、可以根据由可佩戴设备上的麦克风所检测的时延、可以根据由可佩戴设备报告的时延等。
在图1A的示例中，控制器104生成驱动信号d1-d4和双耳信号b1、b2两者。然而，在另选示例中，一个或多个移动设备可以提供双耳信号b1、b2。例如，如图1B所示，移动设备122经由有线连接或无线(例如，蓝牙)连接向双耳设备110(例如，其中双耳设备110是开耳式可佩戴设备)提供双耳信号b1。例如，用户可以佩戴开耳式可佩戴双耳设备110进入车辆舱室100并且经由与移动设备122配对的蓝牙连接(双耳信号b1)收听音乐。在进入车辆舱室100后，控制器104可以开始提供第一内容信号u1的低音内容，同时移动设备122继续向开耳式可佩戴双耳设备110提供双耳信号b1。在该示例中，控制器104可以从移动设备122接收第一内容信号u1以便在第一收听区106中产生第一内容信号u1的低音内容。因此，移动设备122可以与双耳设备110和控制器104两者配对(或以其他方式连接到两者)，以提供双耳信号b1和第一内容信号u1。在另选示例中，移动设备122可以广播由控制器104和双耳设备110两者接收的单个信号(在该示例中，每个设备可以应用相应的高通/低通以用于交叉)。例如，蓝牙5.0标准提供了用于将信号本地广播到附近设备的此类等时声道。在另选示例中，移动设备122可以向控制器104发送由第一双耳信号b1发送到第一双耳设备110的内容的元数据，而不是发送第一内容信号u1，从而允许控制器104从诸如流服务等的外部源获得正确的第一内容信号u1(即，相同内容)。
虽然在图1B中仅示出了一个移动设备122，但是应当理解，任意数量的移动设备可以向设置在车辆舱室100中的任意数量的双耳设备(例如，双耳设备110、112)提供双耳信号。
当然，如结合图1B所描述的，控制器104可以从移动设备接收第一内容信号u1。因此，在一个示例中，用户在进入车辆时可以佩戴开耳式可佩戴第一双耳设备110，此时，移动设备122停止向第一双耳设备发送内容，并且替代地向控制器104提供第一内容信号u1，该控制器假设例如通过诸如蓝牙等的无线连接来发送双耳信号b1。类似地，对于从多个移动设备接收信号的多个双耳设备(例如，双耳设备110、112)，控制器104可以假设向双耳设备而不是移动设备发送相应的双耳信号(例如，双耳信号b1、b2)。
控制器104可以包括处理器124(例如，数字信号处理器)和存储程序代码的非暂态存储介质126，该程序代码在由处理器124执行时实行本公开中所描述的各种功能和方法。然而，应当理解，在一些示例中，控制器104可以被实现为仅硬件(例如，实现为专用集成电路或现场可编程门阵列)或被实现为硬件、固件和软件的某一组合。
为了排列周边扬声器102以向第一收听区106和第二收听区108提供低音内容，控制器104可以实现多个滤波器，其中每个滤波器调整周边扬声器102的声学输出，使得第一内容信号u1的低音内容在第一收听区106处构建性地组合并且第二信号u2的低音内容在第二收听区108处构建性地组合。虽然此类滤波器通常被实现为数字滤波器，但是这些滤波器也可以另选地被实现为模拟滤波器。
此外，尽管在图1A和图1B中仅示出了两个收听区106和108，但是应当理解，控制器104可以接收任意数量的内容信号，并且通过将内容信号滤波以排列周边扬声器来创建任意数量的收听区(包括仅一个收听区)，每个收听区接收唯一内容信号的低音内容。例如，在五座汽车中，周边扬声器可以被排列成产生五个独立的收听区，每个收听区产生唯一内容信号的低音内容(即，其中针对相应内容信号的低音内容的幅度是最响亮的，假设每个内容信号的低音内容在其他收听区中以基本上相等的幅度播放)。此外，独立的双耳设备可以设置在每个收听区处并且接收独立的双耳信号，该独立的双耳信号通过在相应收听区中产生的低音内容增强并且与该低音内容时间对齐。
在以上示例中，双耳设备110、112(或任何其他双耳设备)可以向两个用户传输相同的内容。在该示例中，控制器104可以利用由周边扬声器102产生的低音内容来增强由双耳设备产生的声学信号，而无需创建用于播放独立内容的独立收听区。低音内容可以与从两个双耳设备110、112播放的高音域内容时间对齐，因此两个用户都感知所播放的内容信号，包括由双耳设备110、112传输的高音域信号和由周边扬声器102播放的低音内容。尽管每个设备接收相同的程序内容信号，但是可以想到用户会选择不同音量级的相同内容。在这种情况下，控制器104可以采用第一阵列配置和第二阵列配置来创建独立的音量区，而不是创建独立的收听区，在独立的音量区中，每个用户以不同的音量感知相同的程序内容。
在示例中，没有必要每个用户都具有相同的具有相关联的双耳设备，相反，一些用户可以仅收听由周边扬声器102产生的内容。对于该示例，周边扬声器102将不仅产生低音内容，而且产生程序内容信号(例如，程序内容信号u1)的高音域内容。对于使用双耳设备的用户，程序内容信号被感知为立体声信号，如由双耳信号(例如，双耳信号b1)并且借助于双耳设备的左扬声器和右扬声器所提供的。实际上，应当理解，在本公开中所描述的示例中的每个示例中，在由周边扬声器102和双耳设备(例如，双耳设备110、112)产生的信号之间的频谱范围中可存在一些或完全重叠。使用在频谱范围中与周边扬声器102具有重叠的双耳设备的那些人接收到具有改进的立体声、音频分级和感知空间感的增进体验。
应当理解，导航提示和电话呼叫是可以指向收听区中的特定用户的程序内容信号。因此，当乘客在不同收听区中收听音乐时，驾驶员可以听到由具有通过周边扬声器增强的低音的双耳设备(例如，双耳设备110)产生的导航提示。
此外，可佩戴双耳设备上的麦克风可用于语音拾取，用于诸如电话呼叫、基于车辆或基于移动设备的语音识别、数字助理等传统用途。
另外，根据车辆舱室100的配置，控制器104可以实现多个滤波器，而不是一组滤波器。例如，舱室内的各种参数将改变车辆舱室100的声学效果，包括车辆中乘客的数量、窗户是摇上还是摇下、车辆中座椅的位置(例如，在车辆舱室中，座椅是直立的还是倾斜的或者是向前移动还是向后移动)等。这些参数可以由控制器104检测(例如，通过从车辆车载计算机接收信号)并且实现正确的一组滤波器以提供第一阵列配置、第二阵列配置和任何附加阵列配置。例如，各种滤波器组可以存储在存储器126中并且根据所检测到的舱室配置进行检索。
在另选示例中，滤波器可以是一组自适应滤波器，其根据从误差麦克风(例如，设置在双耳设备上或者以其他方式设置在相应收听区内)接收的信号进行调整，以便调整滤波器系数来将第一收听区对齐在相应就座位置(第一就座位置P1或第二就座位置P2)上，或者针对变化的舱室配置(诸如窗户是摇上还是摇下)进行调整。
图4描绘了向车辆舱室中的用户提供增强音频的方法400的流程图。方法400的步骤可以由控制器(诸如控制器104)实行，该控制器与设置在车辆中的一组周边扬声器(诸如周边扬声器102)通信并且进一步与设置在车辆内的相应就座位置处的一组双耳设备(诸如双耳设备110、112)通信。
在步骤402处，接收第一内容信号和第二内容信号。这些内容信号可以从诸如移动设备、无线电、卫星无线电、蜂窝连接等多个潜在源接收。这些内容信号各自表示可以包括低音内容和高音域内容的音频。
在步骤404和步骤406处，根据第一阵列配置(步骤404)和第二阵列配置(步骤406)驱动多个周边扬声器，使得在舱室中的第一收听区中产生第一内容信号的低音内容，并且在第二收听区中产生第二内容信号的低音内容。排列的性质产生收听区，使得当在第一收听区中以与在第二收听区中播放第二信号的低音内容相同的幅度播放第一内容信号的低音内容时，在第一收听区中，第一内容信号的低音内容的幅度将比第二内容信号的低音内容的幅度大(例如，大至少3dB)，并且在第二收听区中，第二信号的低音内容的幅度将比第一内容信号的低音内容的幅度大(例如，大至少3dB)。以这种方式，坐在第一就座位置处的用户将第一低音内容的幅度感知为大于第二低音内容的幅度。同样地，坐在第二就座位置处的用户将第二低音内容的幅度感知为大于第一低音内容的幅度。
在步骤408和步骤410处，将第一内容信号的高音域内容提供给被定位成在第一收听区中产生高音域内容的第一双耳设备(步骤408)，并且将第二内容信号的高音域内容提供给被定位成在第二收听区中产生高音域内容的第二双耳设备(步骤410)。最终结果是坐在第一就座位置处的用户感知来自第一双耳设备和周边扬声器的输出的组合的第一内容信号，并且坐在第二就座位置处的用户感知来自第二双耳设备和周边扬声器的输出的组合的第二内容信号。换句话说，周边扬声器在第一收听区中利用第一内容信号的低音来增强如由第一双耳设备产生的第一内容信号的高音域，并且在第二收听区中利用第二内容信号的低音来增强如由第二双耳信号产生的第二内容信号的高音域。在各种另选示例中，第一双耳设备是设置在头枕中的开耳式可佩戴设备或扬声器。
此外，在第一收听区中的第一内容信号的低音内容的产生可以与通过第一收听区中的第一双耳设备进行的第一内容信号的高音域的产生时间对齐，并且在第二收听区中的第二低音内容的产生可以与通过第二双耳设备进行的第二内容信号的高音域的产生时间对齐。在另选示例中，第一高音域内容或第二高音域内容可以由移动设备提供给第一双耳设备或第二双耳设备，低音内容的产生与该提供是时间对齐的。
尽管针对两个独立的收听区和两个双耳设备描述了方法400，但是应当理解，方法400可以扩展到设置在车辆内并且在其处设置相应的双耳设备的任意数量的收听区(包括仅一个收听区)。在单个双耳设备和收听区的情况下，与其他座椅的隔离不再重要，并且多个周边扬声器滤波器可以不同于多区情况，以便优化低音呈现。(单个用户的情况可以例如通过用户接口或通过设置在座椅中的传感器来确定。)
现在转到图5，其示出了设置在车辆舱室100中的车辆音频***的另选示意图，其中采用周边扬声器102来增强产生空间化音频的至少一个双耳设备的低音内容。在该示例中，控制器504(控制器104的另选示例)被配置为产生双耳信号b1、b2作为空间音频信号，该空间音频信号使得双耳设备110和112产生声学信号114、116作为空间声学信号，该空间声学信号被用户感知为分别源自虚拟音频源SP1和SP2。双耳信号b1根据坐在位置P1处的用户的头部的位置作为空间音频信号而产生。类似地，双耳信号b2根据坐在位置P2处的用户的头部的位置作为空间音频信号而产生。类似于图1A和图1B的示例，可以通过由周边扬声器102产生并由控制器504驱动的低音内容来增强由双耳设备110、112产生的这些空间化声学信号。
如图5所示，第一头部跟踪设备506和第二头部跟踪设备508被设置用于分别检测坐在就座位置P1处的用户和坐在就座位置P2处的用户的头部的位置。在各种示例中，第一头部跟踪设备506和第二头部跟踪设备508可以包括被配置为检测用户的头部在车辆舱室100内的位置的飞行时间传感器。然而，飞行时间传感器仅是可能的示例。另选地，可以使用多个2D相机，这些2D相机使用对极几何(诸如八点算法)对距相机焦点中的一个焦点的距离进行三角测量。另选地，每个头部跟踪设备可以包括激光雷达设备，该激光雷达设备产生黑白图像，其中针对每个像素的测距数据作为一个数据集。在其中每个用户都佩戴开耳式可佩戴设备的另选示例中，可通过跟踪用户身上的开耳式可佩戴设备的相应位置来完成或增强头部跟踪，因为头部跟踪将通常与用户的头部的位置相关。在其他另选示例中，可以使用电容感测、电感感测、惯性测量单元跟踪与成像组合。应当理解，头部跟踪设备的上述具体实施旨在传达可以使用一系列可能的设备和设备的组合来跟踪用户的头部的定位。
出于本公开的目的，检测用户的头部的位置可以包括检测用户的任何部分或者由用户佩戴的可佩戴设备的任何部分，从这些部分可以推导出用户的颅骨的中心位置。例如，可以检测用户的耳朵的定位，根据该定位可以在耳屏之间画一条线以近似于找到中心的方式找到中间。检测用户的头部的位置还可以包括检测用户的头部的取向，可以根据用于找到俯仰角、偏航角和侧倾角的任何方法来推导出该取向。其中，偏航尤其重要，因为它通常最大程度地影响到每个双耳扬声器的耳朵距离。
第一头部跟踪设备506和第二头部跟踪设备508可以与头部跟踪控制器510通信，该头部跟踪控制器接收第一头部跟踪设备506和第二头部跟踪设备508的相应输出h1、h2，并且根据这些输出确定坐在位置P1或位置P2处的用户的头部的位置，并且相应地生成到控制器504的输出信号。例如，头部跟踪控制器510可以从第一头部跟踪设备506接收原始输出数据h1，解释坐在位置P1处的用户的头部的位置，并且向控制器504输出表示所检测到的位置的位置信号e1。同样地，头部跟踪控制器510可以从第二头部跟踪设备508接收输出数据h2，并且解释坐在就座位置P2处的用户的头部的位置，以及向控制器504输出表示所检测到的位置的位置信号e2。位置信号e1和e2可以作为表示用户的头部位置的坐标被实时传输(例如，包括如由俯仰、偏航和侧倾所确定的取向)。
控制器510可以包括处理器512和存储程序代码的非暂态存储介质514，该程序代码在由处理器512执行时执行本文所公开的用于产生位置信号(包括接收每个头部跟踪设备506、508的输出信号)并且用于生成到控制器104的位置信号e1、e2的各种功能和方法。在示例中，控制器510可以通过所存储的软件或利用神经网络来确定用户的头部的位置，该神经网络已经经过训练以根据头部跟踪设备的输出来检测用户的头部的位置。在另选示例中，每个头部跟踪设备506、130可以包括用于实行控制器510的功能的其自己的控制器。在又一示例中，控制器504可以直接接收头部跟踪设备506、508的输出并且执行控制器510的处理。
接收位置信号e1和/或e2的控制器504可以生成双耳信号b1和/或b2，使得双耳设备110、112中的至少一个双耳设备生成被用户感知为源自车辆舱室100内的空间中的某个虚拟点而不是生成声学信号的扬声器(例如，扬声器118、120)的实际定位处的声学信号。例如，控制器504可以生成双耳信号b1，使得双耳设备110生成被坐在就座位置P1处的用户感知为源自空间点SP1(在图5中以虚线表示，因为这是虚拟声源)处的声学信号114。类似地，控制器504可以生成双耳信号b2，使得双耳设备112生成被坐在就座位置P2处的用户感知为源自空间点SP2处的声学信号116。这可以通过根据调整声学信号114、116以模拟来自虚拟空间点(例如，空间点SP1、SP2)的声音的多个头部相关传递函数(HRTF)对双耳信号b1、b2进行滤波和/或衰减来完成。由于信号是双耳的，即，与收听者的两个耳朵相关，因此***可以利用一个或多个HRTF来模拟特定于收听者周围的各个定位的声音。应当理解，可以基于在用户的左耳和右耳的相对位置与相应空间位置SP1、SP2之间检测到的方位角和仰角的给定组合来选择控制器504所使用的特定左HRTF和右HRTF。更具体地，多个HRTF可以存储在存储器中，并且根据所检测到的用户的左耳和右耳的位置以及所选择的空间位置SP1、SP2进行检索和实现。然而，应当理解，在双耳设备110、112是开耳式可佩戴设备的情况下，用户的耳朵的定位可以被开耳式可佩戴设备的定位替代或从该开耳式可佩戴设备的定位确定。
尽管在图5中示出了两个不同的空间点SP1、SP2，但是应当理解，同一空间点可以用于两个双耳设备110、112。此外，对于给定的双耳设备，可以选择空间中的任意点作为从其虚拟化所生成的声学信号的空间点。(空间中的所选择的点可以是空间中的移动点，例如，以模拟运动中的音频生成对象。)例如，可以模拟左声道音频信号、右声道音频信号或中央声道音频信号，就好像它们是在接近周边扬声器102的定位处生成的一样。此外，可以通过在环境(即，车辆舱室100)内的位置处添加附加虚拟声源以模拟在虚拟声源定位处生成的声音被声学反射表面反射并且返回到收听者的效果来增进模拟声音的真实感。具体地，对于在环境内生成的每个虚拟声源，可以生成附加虚拟声源并将其放置在不同的位置处以模拟声音的一阶反射和二阶反射，声音的该一阶反射和二阶反射对应于从第一虚拟声源传播并且被表面声学反射并传播回到收听者的耳朵的声音(一阶反射)，以及从第一虚拟声源传播并且被第一表面和第二表面声学反射并传播回到收听者的耳朵的声音(二阶反射)。在名称为“用于声源虚拟化的***和方法(Systems and methods for sound sourcevirtualization)”的美国专利公开US2020/0037097A1中更详细地讨论了实现HRTF和虚拟反射以创建空间化音频的方法，该专利公开的全部内容以引用方式并入本文。在示例中，虚拟声源可以位于车辆外部。同样地，一阶反射和二阶反射无需针对车辆内的实际表面来计算，而是可以针对车辆外部的虚拟表面来计算，以例如创建用户处于比舱室更大的区域中的印象，或者至少针对比车辆的舱室更好的环境来优化声音的混响效果和质量。
控制器504以结合图1A和图1B描述的控制器104的方式被另外配置，也就是说，可以使用由周边扬声器102产生的低音内容来增强空间化声学信号114、116(例如，以时间对齐的方式)。例如，周边扬声器102可以用于产生第一内容信号u1的低音内容，双耳设备110产生该第一内容信号的高音域内容作为空间化声学信号，该空间化声学信号被在就座位置P1处的用户感知为源自空间位置SP1处。虽然由第一收听区106中的周边扬声器102产生的低音内容可能不是立体声信号，但是坐在就座位置P1处的用户仍然可以将第一内容信号u1感知为源自空间位置SP1。同样地，周边扬声器可以在第二收听区中增强第二内容信号u2的低音内容—双耳设备112产生该第二内容信号的高音域作为空间声学信号。就座位置P2处的用户将第二内容信号u2感知为源自第二收听区处的空间位置SP2处，其中低音内容作为来自周边扬声器102的单声道声学信号被提供。
尽管在图5中示出了两个双耳设备110、112，但是应当理解，仅可以向一个双耳设备提供单个空间化双耳信号(例如，双耳信号b1)。此外，没有必要每个双耳设备都提供空间化声学信号；相反，一个双耳设备(例如，双耳设备110)可以提供空间化声学信号，而另一个双耳设备(例如，双耳设备112)可以提供非空间化声学信号。此外，如上所述，每个双耳设备可以接收同一双耳信号，使得每个用户听到相同的内容，该内容的低音内容由周边扬声器102增强(这并不一定必须在独立收听区中产生)。此外，图5的示例可以扩展到任意数量的收听区和任意数量的双耳设备。
控制器504还可以实现上混器，该上混器接收例如左程序内容信号和右程序内容信号并且在车辆内生成左、右、中央等声道。可利用由双耳设备(例如，双耳设备110、112)呈现的空间化音频来增进用户对这些声道的源的感知。因此，实际上，可以选择多个虚拟声源来准确地创建左、右、中央等音频声道的印象。
图6描绘了向车辆舱室中的用户提供增强音频的方法600的流程图。方法600的步骤可以由控制器(诸如控制器504)实行，该控制器与设置在车辆中的一组周边扬声器(诸如周边扬声器102)通信并且进一步与设置在车辆内的相应就座位置处的一组双耳设备(诸如双耳设备110、112)通信。
在步骤602处，接收内容信号。该内容信号可以从诸如移动设备、无线电、卫星无线电、蜂窝连接等多个潜在源接收。该内容信号是包括低音内容和高音域内容的音频信号。
在步骤604处，根据指示用户的头部在车辆中的位置的位置信号向双耳设备输出空间音频信号，使得双耳设备产生被用户感知为源自虚拟源的空间声学信号。虚拟源可以是车辆舱室内的所选择的位置，诸如在示例中，靠近车辆的周边扬声器。这可通过根据多个头部相关传递函数(HRTF)对输出到双耳设备的音频信号进行滤波和/或衰减来完成，该HRTF调整声学信号以模拟来自虚拟源(例如，空间点SP1、SP2)的声音。由于信号是双耳的，即，与收听者的两个耳朵相关，因此***可以利用一个或多个HRTF来模拟特定于收听者周围的各个定位的声音。应当理解，可以基于在用户的左耳和右耳的相对位置与相应空间位置之间检测到的方位角和仰角的给定组合来选择所使用的特定左HRTF和右HRTF。更具体地，多个HRTF可以存储在存储器中，并且根据所检测到的用户的左耳和右耳的位置以及所选择的空间位置进行检索和实现。
用户的头部位置可以根据头部跟踪设备(诸如头部跟踪设备506、508)的输出来确定，该头部跟踪设备可包括例如飞行时间传感器、激光雷达设备、多个二维相机、可佩戴安装的惯性运动单元、接近传感器，或这些部件的组合。此外，可以设想其他合适的设备。头部跟踪设备的输出可以通过专用控制器(例如，控制器510)来处理，该专用控制器可以实现软件或神经网络，该神经网络经过训练以检测用户的头部的位置。
在步骤606处，驱动周边扬声器，使得在舱室中产生内容信号的低音内容。以这种方式，由双耳设备产生的空间声学信号被车辆舱室中的周边扬声器增强。检测用户的头部的位置可以包括检测用户的任何部分或者由用户佩戴的可佩戴设备的任何部分(从这些部分可以推导出用户的耳朵的相应位置或者由用户佩戴的可佩戴设备的位置)，包括直接检测用户的耳朵的位置或者直接检测可佩戴设备的位置。
虽然方法600描述了用于增强由单个双耳设备提供的空间声学信号的方法，但是方法600可以被扩展为通过排列周边扬声器以在整个舱室的不同收听区中产生相应内容信号的低音内容来增强由多个双耳设备提供的多个内容信号。在方法400中并结合图1A和图1B描述了这种方法的步骤。
本文所述的功能或其部分，以及其各种修改(下文称为“功能”)可至少部分地经由计算机程序产品实现，例如在信息载体中有形实施的计算机程序，诸如一个或多个非暂态机器可读介质或存储设备，用于执行，或控制一个或多个数据处理装置，例如可编程处理器、计算机、多个计算机和/或可编程逻辑部件的操作。
计算机程序可以任何形式的编程语言被写入，包括编译或解释语言，并且它可以任何形式部署，包括作为独立程序或作为模块、部件、子例程或适于用在计算环境中的其他单元。计算机程序可被部署在一个计算机上或在一个站点或多个站点分布以及通过网络互联的多个计算机上执行。
与实现全部或部分功能相关联的动作可由执行一个或多个计算机程序的一个或多个可编程处理器执行，以执行校准过程的功能。功能的全部或部分可被实现为专用目的逻辑电路，例如FPGA和/或ASIC(专用集成电路)。
适用于执行计算机程序的处理器例如包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。一般来讲，处理器将接收来自只读存储器或随机存取存储器或两者的指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。
虽然本文已描述和示出了若干发明实施方案，但本领域的普通技术人员将易于设想用于执行本文所述的功能和/或获得本文所述的结果和/或优点中的一个或多个的多种其他装置和/或结构，并且此类变型和/或修改中的每一个被认为在本文所述的本发明实施方案的范围内。更一般地，本领域的技术人员将容易理解，本文所述的所有参数、尺寸、材料和构型旨在为示例性的，并且实际参数、尺寸、材料和/或构型将取决于使用本发明教导内容的一个或多个具体应用。本领域的技术人员将认识到或仅使用常规实验就能够确定本文所述的具体的发明实施方案的许多等同物。因此，应当理解，上述实施方案仅以举例的方式呈现，并且在所附权利要求及其等同物的范围内，可以不同于具体描述和要求保护的方式来实践发明实施方案。本公开的发明实施方案涉及本文所述的每个单独的特征、***、制品、材料和/或方法。此外，如果此类特征、***、制品、材料和/或方法不相互矛盾，则两个或更多个此类特征、***、制品、材料和/或方法的任何组合包括在本公开的发明范围内。

Claims (21)

1.一种用于在车辆中提供增强的空间化音频的***，所述***包括：
多个扬声器，所述多个扬声器设置在所述车辆的舱室的周边中；和
控制器，所述控制器被配置为接收指示第一用户的头部在所述车辆中的位置的位置信号，并且根据第一位置信号向第一双耳设备输出第一空间音频信号，使得所述第一双耳设备产生被所述第一用户感知为源自所述车辆舱室内的第一虚拟源定位的第一空间声学信号，其中所述第一空间音频信号至少包括第一内容信号的高音域，其中所述控制器还被配置为利用驱动信号来驱动所述多个扬声器，使得在所述车辆舱室中产生所述第一内容信号的第一低音内容。
2.根据权利要求1所述的***，其中所述控制器被配置为将所述第一低音内容的所述产生与所述第一空间声学信号的所述产生时间对齐。
3.根据权利要求1所述的***，还包括头部跟踪设备，所述头部跟踪设备被配置为产生与所述第一用户的头部在所述车辆中的所述位置相关的头部跟踪信号。
4.根据权利要求3所述的***，其中所述头部跟踪设备包括飞行时间传感器。
5.根据权利要求4所述的***，其中所述头部跟踪设备包括多个二维相机。
6.根据权利要求3所述的***，还包括神经网络，所述神经网络经训练以根据所述头部跟踪信号产生所述第一位置信号。
7.根据权利要求1所述的***，其中所述控制器还被配置为接收指示第二用户的头部在所述车辆中的位置的第二位置信号，并且根据所述第二位置信号向第二双耳设备输出第二空间音频信号，使得所述第二双耳设备产生被所述第二用户感知为源自所述车辆舱室内的所述第一虚拟源定位或第二虚拟源定位的第二空间声学信号。
8.根据权利要求7所述的***，其中所述第二空间音频信号至少包括第二内容信号的高音域，其中所述控制器还被配置为根据第一阵列配置驱动所述多个扬声器使得在所述车辆舱室内的第一收听区中产生所述第一低音内容，并且根据第二阵列配置驱动所述多个扬声器使得在所述车辆舱室内的第二收听区中产生所述第二内容信号的低音内容，其中在所述第一收听区中，所述第一低音内容的幅度大于所述第二低音内容的幅度，并且在所述第二收听区中，所述第二低音内容的所述幅度大于所述第一低音内容的所述幅度。
9.根据权利要求8所述的***，其中所述控制器被配置为在所述第一收听区中将所述第一低音内容的所述产生与所述第一空间声学信号的所述产生时间对齐，并且在所述第二收听区中将所述第二低音内容的所述产生与所述第二空间声学信号的所述产生时间对齐。
10.根据权利要求8所述的***，其中在所述第一收听区中，所述第一低音内容的所述幅度超过所述第二低音内容的所述幅度三分贝，其中在所述第二收听区中，所述第二低音内容的所述幅度超过所述第一低音内容的所述幅度三分贝。
11.根据权利要求7所述的***，其中所述第一双耳设备和所述第二双耳设备各自选自设置在头枕式或开耳式可佩戴设备中的一组扬声器中的一个扬声器。
12.一种用于在车辆舱室中提供增强的空间化音频的方法，所述方法包括以下步骤：
根据指示第一用户的头部在所述车辆舱室中的位置的第一位置信号向第一双耳设备输出第一空间音频信号，使得所述第一双耳设备产生被所述第一用户感知为源自所述车辆舱室内的第一虚拟源定位的第一空间声学信号，其中所述第一空间音频信号至少包括第一内容信号的高音域；以及
利用驱动信号来驱动多个扬声器，使得在所述车辆舱室中产生所述第一内容信号的第一低音内容。
13.根据权利要求12所述的方法，其中所述第一低音内容的所述产生与所述第一空间声学信号的所述产生所述产生时间对齐。
14.根据权利要求12所述的方法，还包括根据从头部跟踪设备接收的头部跟踪信号产生所述位置信号的步骤。
15.根据权利要求12所述的方法，其中所述头部跟踪设备包括飞行时间传感器。
16.根据权利要求15所述的方法，其中所述头部跟踪设备包括多个二维相机。
17.根据权利要求15所述的方法，其中根据神经网络产生所述位置信号，所述神经网络经训练以根据所述头部跟踪信号产生所述第一位置信号。
18.根据权利要求12所述的方法，还包括以下步骤：根据指示第二用户的头部在所述车辆中的位置的第二位置信号向第二双耳设备输出第二空间音频信号，使得所述第二双耳设备产生被所述第二用户感知为源自所述车辆舱室内的第二虚拟源定位的第二空间声学信号。
19.根据权利要求18所述的方法，其中根据第一阵列配置驱动所述多个扬声器使得在所述车辆舱室内的第一收听区中产生所述第一低音内容，并且根据第二阵列配置驱动所述多个扬声器使得在所述车辆舱室内的第二收听区中产生第二内容信号的低音内容，其中在所述第一收听区中，所述第一低音内容的幅度大于所述第二低音内容的幅度，并且在所述第二收听区中，所述第二低音内容的所述幅度大于所述第一低音内容的所述幅度，其中所述第二空间音频信号至少包括第二内容信号的高音域。
20.根据权利要求17所述的方法，其中在所述第一收听区中，所述第一低音内容的所述产生与所述第一声学信号的所述产生时间对齐，并且在所述第二收听区中，所述第二低音内容的所述产生与所述第二声学信号时间对齐。
21.根据权利要求19所述的方法，其中在所述第一收听区中，所述第一低音内容的所述幅度超过所述第二低音内容的所述幅度三分贝，其中在所述第二收听区中，所述第二低音内容的所述幅度超过所述第一低音内容的所述幅度三分贝。
CN202180073672.3A 2020-10-30 2021-10-28 用于提供增强音频的***和方法 Pending CN116636230A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/085,574 US11700497B2 (en) 2020-10-30 2020-10-30 Systems and methods for providing augmented audio
US17/085,574 2020-10-30
PCT/US2021/072072 WO2022094571A1 (en) 2020-10-30 2021-10-28 Systems and methods for providing augmented audio

Publications (1)

Publication Number Publication Date
CN116636230A true CN116636230A (zh) 2023-08-22

Family

ID=78709579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180073672.3A Pending CN116636230A (zh) 2020-10-30 2021-10-28 用于提供增强音频的***和方法

Country Status (5)

Country Link
US (2) US11700497B2 (zh)
EP (1) EP4238320A1 (zh)
JP (1) JP2023548324A (zh)
CN (1) CN116636230A (zh)
WO (1) WO2022094571A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220225050A1 (en) * 2021-01-13 2022-07-14 Dolby Laboratories Licensing Corporation Head tracked spatial audio and/or video rendering
US20230403529A1 (en) * 2022-06-13 2023-12-14 Bose Corporation Systems and methods for providing augmented audio

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630500B1 (en) 1994-04-15 2009-12-08 Bose Corporation Spatial disassembly processor
US6446002B1 (en) 2001-06-26 2002-09-03 Navigation Technologies Corp. Route controlled audio programming
US7305097B2 (en) 2003-02-14 2007-12-04 Bose Corporation Controlling fading and surround signal level
ATE546958T1 (de) 2006-03-31 2012-03-15 Koninkl Philips Electronics Nv Vorrichtung und verfahren zur datenverarbeitung
US7925307B2 (en) 2006-10-31 2011-04-12 Palm, Inc. Audio output using multiple speakers
US20080273708A1 (en) 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US20080273722A1 (en) 2007-05-04 2008-11-06 Aylward J Richard Directionally radiating sound in a vehicle
US20080273724A1 (en) 2007-05-04 2008-11-06 Klaus Hartung System and method for directionally radiating sound
US8325936B2 (en) 2007-05-04 2012-12-04 Bose Corporation Directionally radiating sound in a vehicle
US20080304677A1 (en) 2007-06-08 2008-12-11 Sonitus Medical Inc. System and method for noise cancellation with motion tracking capability
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
WO2009124773A1 (en) 2008-04-09 2009-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sound reproduction system and method for performing a sound reproduction using a visual face tracking
GB2472092A (en) 2009-07-24 2011-01-26 New Transducers Ltd Audio system for an enclosed space with plural independent audio zones
WO2011135283A2 (en) 2010-04-26 2011-11-03 Cambridge Mechatronics Limited Loudspeakers with position tracking
EP2405670B1 (en) 2010-07-08 2012-09-12 Harman Becker Automotive Systems GmbH Vehicle audio system with headrest incorporated loudspeakers
EP2428813B1 (en) 2010-09-08 2014-02-26 Harman Becker Automotive Systems GmbH Head Tracking System with Improved Detection of Head Rotation
JP5141738B2 (ja) 2010-09-17 2013-02-13 株式会社デンソー 立体音場生成装置
US8767968B2 (en) 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
WO2014150598A1 (en) 2013-03-15 2014-09-25 Thx Ltd Method and system for modifying a sound field at specified positions within a given listening space
AU2014241011B2 (en) 2013-03-28 2016-01-28 Dolby International Ab Rendering of audio objects with apparent size to arbitrary loudspeaker layouts
US9706327B2 (en) 2013-05-02 2017-07-11 Dirac Research Ab Audio decoder configured to convert audio input channels for headphone listening
US9445197B2 (en) * 2013-05-07 2016-09-13 Bose Corporation Signal processing for a headrest-based audio system
US9215545B2 (en) 2013-05-31 2015-12-15 Bose Corporation Sound stage controller for a near-field speaker-based audio system
US20150119130A1 (en) * 2013-10-31 2015-04-30 Microsoft Corporation Variable audio parameter setting
US9560445B2 (en) 2014-01-18 2017-01-31 Microsoft Technology Licensing, Llc Enhanced spatial impression for home audio
CN104869524B (zh) 2014-02-26 2018-02-16 腾讯科技（深圳）有限公司 三维虚拟场景中的声音处理方法及装置
US9352701B2 (en) 2014-03-06 2016-05-31 Bose Corporation Managing telephony and entertainment audio in a vehicle audio platform
DE102014210215A1 (de) 2014-05-28 2015-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen
DE102014217344A1 (de) 2014-06-05 2015-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Lautsprechersystem
US20160100250A1 (en) 2014-10-02 2016-04-07 AISIN Technical Center of America, Inc. Noise-cancelation apparatus for a vehicle headrest
US9743187B2 (en) 2014-12-19 2017-08-22 Lee F. Bender Digital audio processing systems and methods
US9788118B2 (en) 2015-03-27 2017-10-10 Thales Avionics, Inc. Spatial systems including eye tracking capabilities and related methods
US10095306B2 (en) * 2015-06-15 2018-10-09 Harman International Industries, Incorporated Passive magnetic head tracker
US9847081B2 (en) 2015-08-18 2017-12-19 Bose Corporation Audio systems for providing isolated listening zones
US9913065B2 (en) 2015-07-06 2018-03-06 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9854376B2 (en) 2015-07-06 2017-12-26 Bose Corporation Simulating acoustic output at a location corresponding to source position data
CN108141684B (zh) 2015-10-09 2021-09-24 索尼公司 声音输出设备、声音生成方法以及记录介质
WO2018127901A1 (en) 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method
IL243513B2 (en) 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
EP3193514B1 (en) 2016-01-13 2019-07-24 VLSI Solution Oy A method and apparatus for adjusting a cross-over frequency of a loudspeaker
EP3220667A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Headphones for binaural experience and audio device
US9906885B2 (en) 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US10327090B2 (en) 2016-09-13 2019-06-18 Lg Electronics Inc. Distance rendering method for audio signal and apparatus for outputting audio signal using same
US20180124513A1 (en) * 2016-10-28 2018-05-03 Bose Corporation Enhanced-bass open-headphone system
US10623857B2 (en) * 2016-11-23 2020-04-14 Harman Becker Automotive Systems Gmbh Individual delay compensation for personal sound zones
US10531195B2 (en) 2017-09-29 2020-01-07 Bose Corporation Multi-zone audio system with integrated cross-zone and zone-specific tuning
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US10390170B1 (en) * 2018-05-18 2019-08-20 Nokia Technologies Oy Methods and apparatuses for implementing a head tracking headset
US11128976B2 (en) 2018-10-02 2021-09-21 Qualcomm Incorporated Representing occlusion when rendering for computer-mediated reality systems
US10880594B2 (en) 2019-02-06 2020-12-29 Bose Corporation Latency negotiation in a heterogeneous network of synchronized speakers

Also Published As

Publication number Publication date
US20220141608A1 (en) 2022-05-05
EP4238320A1 (en) 2023-09-06
JP2023548324A (ja) 2023-11-16
US11700497B2 (en) 2023-07-11
US20230300552A1 (en) 2023-09-21
WO2022094571A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
EP1596627B1 (en) Reproducing center channel information in a vehicle multichannel audio system
US8325936B2 (en) Directionally radiating sound in a vehicle
CN103053180B (zh) 用于声音再现的***和方法
US11968517B2 (en) Systems and methods for providing augmented audio
US20230300552A1 (en) Systems and methods for providing augmented audio
US20080273722A1 (en) Directionally radiating sound in a vehicle
US20200366990A1 (en) Multi-channel sound implementation device using open-ear headphones and method therefor
US20030021433A1 (en) Speaker configuration and signal processor for stereo sound reproduction for vehicle and vehicle having the same
US20230276188A1 (en) Surround Sound Location Virtualization
US10945090B1 (en) Surround sound rendering based on room acoustics
US20230403529A1 (en) Systems and methods for providing augmented audio
US11706580B2 (en) Multi-input push-to-talk switch with binaural spatial audio positioning
US12041433B2 (en) Audio crosstalk cancellation and stereo widening
JP2008011099A (ja) ヘッドフォン音響再生システム、ヘッドフォン装置
US20190052992A1 (en) Vehicle audio system with reverberant content presentation
CN117652161A (zh) 用于回放沉浸式音频的音频处理方法
KR200248982Y1 (ko) 차량용 스테레오 음향 재생을 위한 신호처리기
JP2003054326A (ja) 車両用ステレオ音響再生のためのスピーカー配置と信号処理機及びこれらを備えた車両
JP2010034764A (ja) 音響再生システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination