CN102256192A - 声音信号的分离 - Google Patents
声音信号的分离 Download PDFInfo
- Publication number
- CN102256192A CN102256192A CN2011101285495A CN201110128549A CN102256192A CN 102256192 A CN102256192 A CN 102256192A CN 2011101285495 A CN2011101285495 A CN 2011101285495A CN 201110128549 A CN201110128549 A CN 201110128549A CN 102256192 A CN102256192 A CN 102256192A
- Authority
- CN
- China
- Prior art keywords
- user
- head position
- tracks
- voice signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
本发明涉及一种用于向空间中的两个用户中的第一用户提供用户专用声音信号的方法,一对扬声器被提供给每个用户,该方法包括:跟踪第一用户的头部位置;基于跟踪位置,从第一用户的用户专用多信道声音信号生成用户专用双耳声音信号;基于跟踪位置,生成串扰消除后的用户专用声音信号,使得如果串扰消除后的用户专用声音信号被第一用户的一个扬声器向第一用户的第一只耳朵输出,该信号对第一用户的第二只耳朵被抑制,且如果该信号被第一用户的另一扬声器向第一用户的第二只耳朵输出,该信号对第一用户的第一只耳朵被抑制,和执行交叉声场抑制,其中基于跟踪位置,对第一用户的每只耳朵,抑制由第二用户的一对扬声器向第二用户输出的声音信号。
Description
技术领域
本申请涉及一种用于在一个空间内向两个用户中的第一用户提供用户专用声音信号的方法,这两个用户中的每一个的声音信号由一对扬声器输出。本发明还涉及一种向第一用户提供用户专用声音信号的***。
本发明尤其地,但不排他地,涉及在车辆中提供的声音信号,在车厢内可以向不同的乘客提供单独的与座位相关的声音信号。
背景技术
在车辆环境中,可以向车上的乘客提供公共的声音信号。如果该车辆上不同的乘客想要收听不同的声音信号,将声音信号针对不同乘客进行分离的唯一存在可能性是使用耳机。对并非耳机的一部分的扬声器所输出的声音信号进行分离是不可能的。此外,希望能够在其它空间中提供用户专用的声场,而不仅在车厢内。
发明内容
据此,需要提供这样一种可能性,在不需要使用耳机但在一个空间中设置扬声器的情况下,为该空间中的用户生成用户专用声场或声音信号。
这种需要是通过独立权利要求中的特征来满足的。在从属权利要求中描述了本发明的优选实施例。
依据本发明的第一方面,提供了一种向空间中的两个用户中的第一用户提供用户专用声场的方法,一对扬声器被提供给这两个用户中的每一个用户。依据本发明,跟踪第一用户的头部位置,并且基于跟踪的第一用户的头部位置,从第一用户的用户专用多信道声音信号,为第一用户生成用户专用双耳声音信号。此外,基于跟踪的第一用户的头部位置,为第一用户执行串扰消除(cross talk cancellation),以便生成串扰消除后的用户专用声音信号。在串扰消除中,用户专用双耳声音信号被处理,使得如果串扰消除后的用户专用声音信号被第一用户的一对扬声器中的一个扬声器向第一用户的第一只耳朵输出,则该信号对于第一用户的第二只耳朵被抑制。此外,用户专用双耳声音信号被处理,使得如果串扰消除后的用户专用声音信号被上述一对扬声器中的另一个扬声器向第一用户的第二只耳朵输出,则该信号对于第一用户的第一只耳朵被抑制。此外,执行交叉声场抑制,其中基于跟踪的第一用户的头部位置,对于第一用户的每只耳朵,抑制由提供给第二用户的一对扬声器向第二用户输出的声音信号。依据本发明,基于向第一用户提供的虚拟的多信道声音信号,生成用于该第一用户的用户专用声音信号。使用用户专用双耳声音信号,可获得用户专用声场或声音信号的串扰消除和交叉声场消除,使一个用户能够追随期望的音乐信号,而另一个用户在该空间中不会受到通过为上述一个用户提供的扬声器而为上述一个用户输出的音乐信号的打扰。双耳声音信号通常是要使用耳机来重放。如果录制的双耳声音信号通过耳机来再现,能够获得仿佛置身于录制现场的收听体验。如果使用耳机回放正常的立体声信号,收听者感觉到信号在头部的中间位置。但是,如果通过耳机重放双耳声音信号,则能够模拟该信号最初被录制的位置。在当前情况下,对声音信号的输出不是使用耳机完成的,而是经由设置在空间/车辆内的为第一用户提供的一对扬声器来完成的。由于所感知的声音信号取决于正在进行收听的用户的头部位置,所以对该用户的头部位置进行跟踪,并执行串扰消除,以确保由一个扬声器发出的声音信号到达指定的耳朵,而该扬声器的声音信号对于另一只耳朵被抑制,反之亦然。此外,交叉声场抑制有助于通过为第二用户提供的一对扬声器来抑制向第二用户输出的声音信号。
优选地,该方法可用在能够生成与用户/座位有关的声场或声音信号的车辆中。由于收听者在车辆中的位置相对固定,所以可以预期仅在平移和旋转的方向上,头部会有微小的移动。使用人脸跟踪机制可以捕捉用户的头部,对于使用标准USB网络摄像头的情况,这种机制是公知的。使用被动的脸部跟踪,用户无需佩戴传感器。
依据本发明的一个优选实施例,基于一组预定的双耳空间脉冲响应(BRIR)为第一用户生成用户专用双耳声音信号,该组预定的双耳空间脉冲响应是针对第一用户在该空间中的一组可能的不同头部位置而为第一用户确定的,是在该空间中使用仿真头部确定的。然后,通过用跟踪的头部位置的双耳空间脉冲响应对多信道用户专用声音信号进行滤波,生成第一用户的用户专用双耳声音信号。在该实施例中,该空间中的用户的不同头部位置的一组预定的双耳空间脉冲响应是使用仿真头部和设置在该仿真头部的双耳内的两个麦克风来确定的。该组预定的双耳空间脉冲响应是在应用本方法的空间中或车辆中被测量的。这有助于确定与头部有关的传递函数,并且有助于确定来自该空间的从扬声器到左耳或右耳的信号路径上的影响。如果忽略该空间引起的反射,则可以使用与头部相关的传递函数来代替BRIR。该组预定的双耳空间脉冲响应包括不同的可能的头部位置的数据。举例来说,可通过确定,例如,在车辆内前后、左右或者上下三个不同方向上的平移来跟踪头部位置。此外,可跟踪头部的三种可能的旋转。该组预定的双耳空间脉冲响应则可以包含对应于头部的不同的可能的平移和旋转的BRIR。通过捕捉头部位置,可选择并使用相应的BRIR,来为第一用户确定双耳声音信号。在车辆环境中,考虑平移的两个自由度(左/右和后/前)和仅一种旋转足以,例如,当用户将头部转向左或右时。
可通过确定第一用户的用户专用多信道声音信号与对于该头部位置确定的双耳空间脉冲响应的卷积,来确定的在该头部位置处的该第一用户的用户专用双耳声音信号。该多信道声音信号可以是1.0、2.0、5.1、7.1或其它多信道信号,用户专用双耳声音信号为相当于耳机(虚拟耳机)的两个信道的信号,每个信号对应于一个扬声器,并且每个扬声器对应于用户的每只耳朵的一个信号信道。
对于第一用户的串扰消除,可以基于跟踪的头部位置,并基于对应于跟踪的头部位置的双耳空间脉冲响应,来确定取决于头部位置的滤波器。然后,可以通过确定用户专用双耳声音信号与新确定的取决于头部位置的滤波器的卷积来确定串扰消除。Tobias Lentz在“Dynamic Crosstalk Cancellation forBinaural Synthesis in Virtual Reality Environments”,发表于J.Audio Eng.Soc.,Vol.54,No.4,2006年4月,第283至294页,中描述了如何使用头部跟踪来执行串扰消除的一种可行方法。对于如何执行串扰消除的更详细的分析通过引用被结合到本文中。
优选地,第二用户的声音信号也是用户专用声音信号,为此跟踪第二用户的头部位置。基于第二用户的用户专用多信道声音信号,并基于跟踪的第二用户的头部位置,生成用于第二用户的用户专用双耳声音信号。如上文对于第一用户所描述的那样,基于跟踪的第二用户的头部位置为第二用户执行串扰消除,并且执行交叉声场抑制,其中基于跟踪的第二用户的头部位置,对于第二用户的双耳,抑制由第一用户的扬声器向第一用户发出的声音信号。这样,对于串扰消除,如果串扰消除后的用户专用声音信号被第二用户的第一扬声器向第一只耳朵输出,则该信号对于第二用户的第二只耳朵被抑制,并且如果串扰消除后的用户专用声音信号被另一个扬声器向第二用户的第二只耳朵输出,则该信号对于第二用户的第一只耳朵被抑制。
正如对于第一用户所描述的那样,通过提供一组预定的双耳空间脉冲响应来为第二用户生成用户专用双耳声音信号,该组预定的双耳空间脉冲响应是针对第二用户在空间中的不同头部位置使用在第二位置处的仿真头部来为第二用户的位置确定的。
对于交叉声场消除,在车辆环境中,对另一用户的另一声场的约40dB的抑制是足够的,因为覆盖被抑制的另一个用户的声场的车辆声音最多能达到70dB。优选地,使用跟踪的第一用户的头部位置和跟踪的第二用户的头部位置,并使用分别对应于第一用户和第二用户的头部位置的第一用户和第二用户的双耳空间脉冲响应,来确定对用户中的一个用户输出并对另一个用户抑制的声音信号的交叉声场抑制。
本发明还涉及用于提供用户专用声音信号的***,该***包括,提供给用户中的每人的一对扬声器,和跟踪第一用户的头部位置的摄像机。而且,该***还提供了数据库,该数据库包含对应于第一用户的不同的可能的头部位置的一组预定的双耳空间脉冲响应。该***设置有处理单元,该处理单元被配置成处理用户专用多信道声音信号并确定用户专用双耳声音信号,以执行如上所述的串扰消除和交叉声场消除。在向用户中的每个人输出用户专用声场的情况下,向第二用户发出的声音信号取决于第二用户的头部位置。因而,为了执行第一用户的交叉声场消除,需要确定第一用户和第二用户的头部位置。由于分离的声场必须针对不同用户来确定,并且由于每个单独的声场影响另一声场的确定,所以该处理优选地由接收所跟踪的两个用户的头部位置的单个处理单元来执行。
附图说明
参考附图将进一步详细地描述本发明,其中:
图1是车辆中两个用户的示意图,为这两个用户生成单独的声场;
图2示出了用户收听与使用耳机和例如用2.0或5.1BRIR卷积的双耳解码音频信号的收听者具有相同收听印象的声音信号的示意图;
图3示出了两个用户的声场的示意图,并示出了针对两个用户中的哪一个哪个声场被抑制;
图4示出了处理单元的更具体的视图,其中多信道音频信号的处理方式是,当经由两个扬声器输出时,获得用户专用的声音信号;以及
图5示出了生成用户专用声音信号所需要的不同步骤的流程图。
具体实施方式
在图1中,示意性地示出了车辆10,其中针对第一用户20或用户A和第二用户30或用户B生成了用户专用声音信号。使用摄像机21跟踪第一用户20的头部位置,使用摄像机31跟踪第二用户30的头部位置。摄像机可以是本领域公知的简单的网络摄像头。摄像机21和31能够跟踪头部,并因此能够确定头部的准确位置。头部跟踪机制是本领域公知的并且是可以购买到的,因此这里不再详细描述。
而且,提供了一种音频***,在该音频***中示意性地示出了音频数据库41,以示出应该被单独输出给两个用户的不同音频轨道。提供了处理单元400,在音频数据库41中提供的音频信号的基础上,生成用户专用声音信号。音频数据库中的音频信号可以以任意格式来提供,例如,2.0立体声信号或5.1或7.1或其它多信道环绕声音信号(高功效扬声器(elevated virtueloudspeakers)22.2也是可能的)。用于用户A的用户专用声音信号是使用扬声器1L和1R来输出的,而用于第二用户B的音频信号是通过扬声器2L和2R来输出的。处理单元400针对扬声器中的每一个生成用户专用声音信号。
在图2中示出了一种***,使用该***可获得使用两个车辆***扬声器的虚拟3D声场。使用图2的***,可以提供对音频信号的空间听觉表示,其中扬声器1L发出的双耳信号被送给左耳,扬声器1R发出的双耳信号被送给右耳。为此,有必要进行串扰消除,其中从扬声器1L发出的音频信号应该针对右耳被抑制,而扬声器1R的音频输出信号应该针对左耳被抑制。正如从图2中可以看出的,所接收的信号将取决于用户A的头部位置。为此,摄像机21(未示出)通过确定用户A的头部旋转和头部平移来跟踪头部位置。摄像机可确定三维平移和三种不同的可能的旋转;然而,也可以将头部跟踪限制在二维头部平移确定(左和右、前和后),并使用可能的三种头部旋转中的一种或两种自由度。正如将结合图4进一步详细解释的,处理单元400包含数据库410,其中存储了对应于不同的头部平移和旋转位置的双耳空间脉冲响应(BRIR)。这些预定的BRIR是在相同的空间或对该空间的仿真中使用模拟头部来确定的。BRIR考虑了从扬声器到耳鼓的变换路径,并考虑了音频信号在该空间中的反射。可以通过以下方法从多信道的声音信号生成用户A的用户专用双耳声音信号:首先生成用户专用双耳声音信号,然后执行串扰消除,其中,指示从扬声器1L到右耳的信号路径的信号路径1L-R和扬声器1R到左耳的信号路径的信号1R-L被抑制。通过确定多信道声音信号与对于跟踪的头部位置确定的双耳空间脉冲响应的卷积,来获得用户专用的双耳声音信号。然后将通过计算用于串扰消除的新滤波器,即,串扰消除滤波器,来获得串扰消除,串扰消除也取决于跟踪的头部位置。对取决于头部旋转的动态串扰消除的更详细的分析在以下文献中描述:“Performance ofSpatial Audio Using Dynamic Cross-Talk Cancellation”,作者为T.Lentz,I.Assenmacher和J.Sokoll,发表于Audio Engineering Society Convention Paper6541,第119次会议,2005年10月,7-10。通过确定用户专用双耳声音信号与新确定的串扰消除滤波器的卷积来获得串扰消除。在使用这种新计算的滤波器的处理之后,为每个扬声器获得了串扰消除后的用户专用声音信号,当向用户20输出时,这些扬声器提供了对音乐信号的空间感知,用户在其中不仅感觉到从扬声器22和23的位置所确定的方向收听到音频信号,而且感觉从空间中任意点收听到音频信号。
在图3中示出了用于两个用户的用户专用的或单独的声场,其中,正如在图1的实施例中,两个扬声器为第一用户A生成了用于第一用户A的用户专用声音信号,并且两个扬声器生成了用于第二用户B的用户专用声音信号。提供两个摄像机21和31,以分别确定收听者A和收听者B的头部位置。第一扬声器1L输出在正常环境下收听者A的左耳和右耳所听到音频信号,记为AL和AR。与用于收听者A左耳的扬声器1L发出的信号相对应的声音信号1L,AL用实线表示,并且不应该被抑制。对于收听者A右耳来说,其它声音信号1L,AR应该被抑制(以虚线示出)。同样地,正如结合图2已经讨论的,信号1R,AR应该到达右耳并且以实线示出,而对于左耳来说,信号1R,AL应该被抑制(以虚线示出)。然而,此外,在正常情况下来自扬声器1L和1R的信号能够被收听者B感知。在进行交叉声场消除时,这些信号必须被抑制。这些信号被记为信号1L,BR;1L,BL对应于从扬声器1L发出并且由收听者B的左耳和右耳感知的信号。同样地,由扬声器1R发出的信号,被记为1R,BR和1R,BL,不应当被收听者B的左耳和右耳感知。
同样地,对于收听者A来说,由扬声器2L和2R发出的信号应该被抑制,被记为信号路径2L,AR,路径2L,AL,信号路径2R,AR,和信号路径2R,AL。为了进行串扰消除和交叉声场消除,必须确定检测出的头部位置的双耳空间脉冲响应,因为收听者A的BRIR和收听者B的BRIR将被用于进行听觉化(auralization)、串扰消除和交叉声场消除。
在图4中,示出了处理单元400的更详细的视图,使用该处理单元400可执行如在图3中符号化表示的信号计算。对于收听者中的每一个人,处理单元接收用于第一用户,即,收听者A的音频信号,称为音频信号A,和用于第二用户,即,收听者B的音频信号,称为音频信号B。正如以上已经讨论的,音频信号是任意格式的多信道音频信号。在图4中,为了便于理解本发明,不同的计算步骤用不同的模块来表示。然而,应该理解的是,该处理优选地由执行图4中所示的不同计算模块的单个处理单元来执行。处理单元包含数据库410,数据库410包含用于两个用户的不同头部位置的一组不同的双耳空间脉冲响应。处理单元接收两个用户的头部位置,被表示为输入411和412。取决于每个用户的头部位置,可为每个用户确定与其头部位置对应的BRIR。头部位置本身被表示为模块413和414,并且被提供给不同的模块以进行进一步处理。在第一处理模块中,多信道音频信号被转换成双耳音频信号,使得,如果由耳机输出该双耳音频信号,将给收听的人带来3D感受。这种用户专用双耳声音信号是通过确定多信道音频信号与跟踪的头部位置相对应的BRIR的卷积来获得的。这是为收听者A和收听者B执行的,被表示为模块415和416,在此模块处执行听觉化。然后,用户专用双耳声音信号被进一步处理,被表示为模块417和418。基于双耳空间脉冲响应,在单元419和420中分别为用户A和用户B计算出串扰消除滤波器。然后,使用该串扰消除滤波器,通过确定用户专用双耳声音信号与上述串扰消除滤波器的卷积来确定串扰消除。模块417和418的输出是串扰消除后的用户专用声音信号,该用户专用声音信号如果在如图2示出的***中输出,将会给收听者带来与使用耳机收听用户专用双耳声音信号的收听者相同的感受。在下一个模块421和422中,执行交叉声场消除,其中,其它用户的声场被抑制。由于其它用户的声场取决于其它用户的头部位置,为了在单元423和424中分别确定交叉声场消除滤波器,两个用户的头部位置都是必需的。然后,在单元421和422中使用交叉声场消除滤波器,通过分别确定从417和418发出的串扰消除后的用户专用声音信号与由模块424和423确定的滤波器的卷积,来确定交叉声场消除。然后,经滤波的音频信号作为用户专用声音信号被输出给用户A和用户B。
如图4中所示,在信号路径上执行了三次卷积。用于听觉化、串扰消除和交叉声场消除的滤波可以一个接一个地执行。在另一个实施例中,三次不同的滤波操作可以被合并成一次卷积,使用一个预先确定的滤波器来执行。对动态串扰消除中执行的不同步骤的更详细的讨论可在以上讨论的T.Lentz的文章中找到。动态交叉声场消除与动态串扰消除的工作相同,其中不仅由其它扬声器发出的信号必须被抑制,而且来自其它用户的扬声器的信号也必须被抑制。
在图5中概括了确定用户专用声场的不同步骤。在步骤51该方法开始后,在步骤52和53中,跟踪用户A和用户B的头部。基于用户A的头部位置,为用户A确定用户专用双耳声音信号,并基于跟踪的用户B的头部位置,为用户B确定用户专用双耳声音信号(步骤54)。在下一个步骤55和56中,确定对用户A和用户B的串扰消除。在步骤57中,对两个用户确定交叉声场消除。步骤57之后的结果是用户专用声音信号,这意味着为用户A的第一扬声器计算出了第一信道,并且为用户A的第二扬声器计算出了第二信道。以相同的方式,为用户B的第一扬声器计算出第一信道,并为用户B的第二扬声器计算出第二信道。当在步骤58之后输出信号时,对于每个用户获得单独的声场。因此,每个用户可选择他的或她的单独的声音素材(sound material)。此外,可选择单独的声音设置,并且可为每个用户选择单独的声压级别。以上描述的***是对于两个用户的用户专用声音信号描述的。但是,也可以向三个或更多的用户提供用户专用声音信号。在这样的实施例中,在交叉声场消除中,由其它所有用户提供的声场必须被抑制,而不仅是如以上实例所描述的另一个用户的声场,然而其原理是相同的。
Claims (12)
1.一种用于向空间中的两个用户中的第一用户提供用户专用声音信号的方法,一对扬声器(1R,1L;2R,2L)被提供给所述两个用户中的每一个用户,所述方法包括以下步骤:
-跟踪所述第一用户的头部位置;
-基于跟踪的所述第一用户的头部位置,从所述第一用户的用户专用多信道声音信号为所述第一用户生成用户专用双耳声音信号;
-基于跟踪的所述第一用户的头部位置,为所述第一用户执行串扰消除,以生成串扰消除后的用户专用声音信号,其中所述用户专用双耳声音信号被处理,使得如果所述串扰消除后的用户专用声音信号被所述第一用户的一对扬声器中的一个扬声器向所述第一用户的第一只耳朵输出,则该信号对于所述第一用户的第二只耳朵被抑制,并且使得如果所述串扰消除后的用户专用声音信号被所述一对扬声器中的另一个扬声器向所述第一用户的第二只耳朵输出,则该信号对于所述第一用户的第一只耳朵被抑制,
以及
-执行交叉声场抑制,其中基于跟踪的所述第一用户的头部位置,对于所述第一用户的每只耳朵,抑制由提供给第二用户的一对扬声器向所述第二用户输出的声音信号。
2.如权利要求1所述的方法,其中,基于一组预定的双耳空间脉冲响应为所述第一用户生成用户专用双耳声音信号,所述一组预定的双耳空间脉冲响应是针对所述第一用户在所述空间中的一组可能的不同头部位置而为所述第一用户确定的,是在所述空间中使用仿真头部确定的,其中所述第一用户的用户专用双耳声音信号是通过用跟踪的头部位置的双耳空间脉冲响应对所述多信道用户专用声音信号进行滤波而生成的。
3.如权利要求1或2所述的方法,其中,跟踪所述头部位置是通过确定所述头部在三维空间中的平移和通过确定所述头部沿着所述头部的三个可能的旋转轴的旋转来执行的,其中所述一组预定的双耳空间脉冲响应包含对应于所述头部的可能的平移和旋转的双耳空间脉冲响应。
4.如权利要求2或3所述的方法,其中,在所述头部位置处的所述第一用户的用户专用双耳声音信号是通过确定所述第一用户的用户专用多信道声音信号与针对所述头部位置确定的双耳空间脉冲响应的卷积来确定的。
5.如前述权利要求中的任一项所述的方法,其中,对于所述第一用户的串扰消除,使用跟踪的头部位置,并使用对应于所述跟踪的头部位置的双耳空间脉冲响应,确定取决于头部位置的滤波器,其中所述串扰消除是通过确定所述用户专用双耳声音信号与所述取决于头部位置的滤波器的卷积来确定的。
6.如前述权利要求中的任一项所述的方法,其中,所述第二用户的声音信号也是用户专用声音信号,为此跟踪所述第二用户的头部位置,其中基于所述第二用户的用户专用多信道声音信号并基于跟踪的所述第二用户的头部位置生成用于所述第二用户的用户专用双耳声音信号,其中基于跟踪的所述第二用户的头部位置为所述第二用户执行串扰消除,以及交叉声场抑制,在所述交叉声场抑制中,基于跟踪的所述第二用户的头部位置,对于所述第二用户的每只耳朵,抑制由所述第一用户的一对扬声器向所述第一用户发出的声音信号。
7.如权利要求6所述的方法,其中,基于一组预定的双耳空间脉冲响应并基于跟踪的头部位置为所述第二用户生成用户专用双耳声音信号,所述一组预定的双耳空间脉冲响应是针对所述第二用户在所述空间中的一组可能的不同的头部位置使用仿真头部来为所述第二用户确定的,其中跟踪的头部位置的双耳空间脉冲响应被用来确定在所述头部位置处的所述第二用户的用户专用双耳声音信号。
8.如权利要求6或7所述的方法,其中,基于跟踪的所述第一用户的头部位置和跟踪的所述第二用户的头部位置,并基于在跟踪的所述第一用户的头部位置处的所述第一用户的双耳空间脉冲响应,和在跟踪的所述第二用户的头部位置处的所述第二用户的双耳空间脉冲响应,确定对所述用户中的一个用户输出并对所述用户中的另一用户抑制的声音信号的交叉声场抑制。
9.如前述权利要求中的任一项所述的方法,其中所述空间是车厢,其中所述用户专用声音信号是与车辆座位位置有关的声场,所述一对扬声器是固定安装的车辆扬声器。
10.一种向空间中的两个用户中的第一用户提供用户专用声音信号的***,所述***包括:
-一对扬声器(1R,1L,2R,2L),用于向所述用户中的每一个用户分别输出声音信号;
-摄像机(21,31),跟踪所述第一用户的头部位置;
-数据库(410),包括一组预定的双耳空间脉冲响应,所述双耳空间脉冲响应是针对所述第一用户在所述空间中的一组可能的不同头部位置而为所述第一用户确定的,
-处理单元(400),其被配置成处理用户专用多信道声音信号,以便基于所述第一用户的用户专用多信道声音信号,并基于由所述摄像机提供的跟踪的所述第一用户的头部位置,为所述第一用户确定用户专用双耳声音信号,并且所述处理单元被配置成,基于跟踪的所述第一用户的头部位置,为所述第一用户执行串扰消除,以生成串扰消除后的用户专用声音信号,其中所述用户专用双耳声音信号被处理,使得如果所述串扰消除后的用户专用声音信号被所述第一用户的所述一对扬声器中的一个扬声器向所述第一用户的第一只耳朵输出,则该信号对于所述第一用户的第二只耳朵被抑制,并且使得如果所述串扰消除后的用户专用声音信号被所述一对扬声器中的另一个扬声器向所述第一用户的第二只耳朵输出,则该信号对于所述第一用户的第一只耳朵被抑制,并且所述处理单元被配置成执行交叉声场抑制,其中基于跟踪的所述第一用户的头部位置,对于所述第一用户的每一只耳朵,抑制由用于所述第二用户的扬声器向所述第二用户发出的声音信号。
11.如权利要求10所述的***,其中所述数据库进一步包括一组预定的双耳空间脉冲响应,所述一组预定的双耳空间脉冲响应是针对所述第二用户在所述空间中的可能的不同头部位置而为所述第二用户确定的。
12.如权利要求11所述的***,进一步包括跟踪所述第二用户的头部位置的第二摄像机,其中所述处理单元基于跟踪的所述第一用户的头部位置和跟踪的所述第二用户的头部位置,并基于所述第一用户的双耳空间脉冲响应和跟踪的所述第一用户的头部位置,并基于所述第二用户的双耳空间脉冲响应和跟踪的所述第二用户的头部位置,执行交叉声场抑制。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10005186.1 | 2010-05-18 | ||
EP10005186.1A EP2389016B1 (en) | 2010-05-18 | 2010-05-18 | Individualization of sound signals |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102256192A true CN102256192A (zh) | 2011-11-23 |
Family
ID=43034556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101285495A Pending CN102256192A (zh) | 2010-05-18 | 2011-05-18 | 声音信号的分离 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20110286614A1 (zh) |
EP (1) | EP2389016B1 (zh) |
JP (1) | JP2011244431A (zh) |
KR (1) | KR20110127074A (zh) |
CN (1) | CN102256192A (zh) |
CA (1) | CA2733486A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104025188A (zh) * | 2011-12-29 | 2014-09-03 | 英特尔公司 | 声学信号修改 |
CN104136299A (zh) * | 2011-12-29 | 2014-11-05 | 英特尔公司 | 用于在车内对声音进行导向的***、方法以及装置 |
CN106899920A (zh) * | 2016-10-28 | 2017-06-27 | 广州奥凯电子有限公司 | 一种声音信号处理方法及*** |
CN111615834A (zh) * | 2017-09-01 | 2020-09-01 | Dts公司 | 用于虚拟化的音频的甜蜜点适配 |
CN111787458A (zh) * | 2020-07-16 | 2020-10-16 | 海信视像科技股份有限公司 | 音频信号的处理方法及电子设备 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013110682A (ja) * | 2011-11-24 | 2013-06-06 | Sony Corp | 音響信号処理装置、音響信号処理方法、プログラム、および、記録媒体 |
US20130148811A1 (en) * | 2011-12-08 | 2013-06-13 | Sony Ericsson Mobile Communications Ab | Electronic Devices, Methods, and Computer Program Products for Determining Position Deviations in an Electronic Device and Generating a Binaural Audio Signal Based on the Position Deviations |
KR101874836B1 (ko) | 2012-05-25 | 2018-08-02 | 삼성전자주식회사 | 음향 보정이 가능한 디스플레이 장치, 청각 레벨 제어 장치 및 방법 |
FR2997601A1 (fr) * | 2012-10-31 | 2014-05-02 | France Telecom | Technique de restitution d'un signal sonore par un terminal |
US9088842B2 (en) | 2013-03-13 | 2015-07-21 | Bose Corporation | Grille for electroacoustic transducer |
US11140502B2 (en) * | 2013-03-15 | 2021-10-05 | Jawbone Innovations, Llc | Filter selection for delivering spatial audio |
US9327628B2 (en) | 2013-05-31 | 2016-05-03 | Bose Corporation | Automobile headrest |
EP2830043A3 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer |
US9699537B2 (en) | 2014-01-14 | 2017-07-04 | Bose Corporation | Vehicle headrest with speakers |
EP3122073B1 (en) * | 2014-03-19 | 2023-12-20 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and apparatus |
DE102014009298A1 (de) * | 2014-06-26 | 2015-12-31 | Audi Ag | Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System |
US10931938B2 (en) * | 2014-11-05 | 2021-02-23 | The Boeing Company | Method and system for stereoscopic simulation of a performance of a head-up display (HUD) |
EP3024252B1 (en) * | 2014-11-19 | 2018-01-31 | Harman Becker Automotive Systems GmbH | Sound system for establishing a sound zone |
US9560464B2 (en) * | 2014-11-25 | 2017-01-31 | The Trustees Of Princeton University | System and method for producing head-externalized 3D audio through headphones |
CA2979598C (en) * | 2015-03-27 | 2020-08-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for processing stereo signals for reproduction in cars to achieve individual three-dimensional sound by frontal loudspeakers |
US10249312B2 (en) | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
US9961467B2 (en) * | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
US9961475B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
DE102015015369A1 (de) | 2015-11-28 | 2016-05-12 | Daimler Ag | Verfahren zum individuellen Beschallen von Insassen eines Fahrzeugs |
US9773495B2 (en) * | 2016-01-25 | 2017-09-26 | Ford Global Technologies, Llc | System and method for personalized sound isolation in vehicle audio zones |
US9591427B1 (en) * | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
EP3232688A1 (en) | 2016-04-12 | 2017-10-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing individual sound zones |
EP3473022B1 (en) | 2016-06-21 | 2021-03-17 | Dolby Laboratories Licensing Corporation | Headtracking for pre-rendered binaural audio |
DE102016213313A1 (de) * | 2016-07-21 | 2018-01-25 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Unterstützung eines Anwenders |
WO2018034158A1 (ja) * | 2016-08-16 | 2018-02-22 | ソニー株式会社 | 音響信号処理装置、音響信号処理方法、および、プログラム |
US10321250B2 (en) * | 2016-12-16 | 2019-06-11 | Hyundai Motor Company | Apparatus and method for controlling sound in vehicle |
JP2019051908A (ja) * | 2017-09-19 | 2019-04-04 | 株式会社東海理化電機製作所 | 音響装置 |
GB201721127D0 (en) * | 2017-12-18 | 2018-01-31 | Pss Belgium Nv | Dipole loudspeaker for producing sound at bass frequencies |
US10063972B1 (en) * | 2017-12-30 | 2018-08-28 | Wipro Limited | Method and personalized audio space generation system for generating personalized audio space in a vehicle |
EP3595337A1 (en) * | 2018-07-09 | 2020-01-15 | Koninklijke Philips N.V. | Audio apparatus and method of audio processing |
US10805729B2 (en) * | 2018-10-11 | 2020-10-13 | Wai-Shan Lam | System and method for creating crosstalk canceled zones in audio playback |
GB2588773A (en) * | 2019-11-05 | 2021-05-12 | Pss Belgium Nv | Head tracking system |
US11330371B2 (en) * | 2019-11-07 | 2022-05-10 | Sony Group Corporation | Audio control based on room correction and head related transfer function |
DE102020108449A1 (de) | 2020-03-26 | 2021-09-30 | Faurecia Innenraum Systeme Gmbh | Verfahren zum Bereitstellen eines benutzerspezifischen binauralen Schallsignals für einen Fahrzeuginsassen sowie Fahrzeug |
FR3113760B1 (fr) * | 2020-08-28 | 2022-10-21 | Faurecia Clarion Electronics Europe | Dispositif électronique et procédé de réduction de diaphonie, système audio pour appuis-têtes de sièges et programme d’ordinateur associés |
IT202100002636A1 (it) * | 2021-02-05 | 2022-08-05 | Ask Ind Spa | Impianto per la gestione adattativa di trasmissioni audio nell’abitacolo di un veicolo, e veicolo comprendente tale impianto |
CN113905311A (zh) * | 2021-09-24 | 2022-01-07 | 瑞声光电科技(常州)有限公司 | 车内虚拟声景方法、***、设备及计算机可读存储介质 |
CN116095595B (zh) * | 2022-08-19 | 2023-11-21 | 荣耀终端有限公司 | 音频处理方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243476B1 (en) * | 1997-06-18 | 2001-06-05 | Massachusetts Institute Of Technology | Method and apparatus for producing binaural audio for a moving listener |
EP1372356A1 (en) * | 2002-06-13 | 2003-12-17 | Siemens Aktiengesellschaft | Method for reproducing a plurality of mutually unrelated sound signals, especially in a motor vehicle |
US20050213786A1 (en) * | 2004-01-13 | 2005-09-29 | Cabasse | Acoustic system for vehicle and corresponding device |
WO2006005938A1 (en) * | 2004-07-13 | 2006-01-19 | 1...Limited | Portable speaker system |
CN1754403A (zh) * | 2003-02-24 | 2006-03-29 | 1...有限公司 | 声束扬声器*** |
US20060067548A1 (en) * | 1998-08-06 | 2006-03-30 | Vulcan Patents, Llc | Estimation of head-related transfer functions for spatial sound representation |
CN1860826A (zh) * | 2004-06-04 | 2006-11-08 | 三星电子株式会社 | 再现宽立体声的设备和方法 |
DE102007032272A1 (de) * | 2007-07-11 | 2009-01-22 | Institut für Rundfunktechnik GmbH | Verfahren zur Simulation einer Kopfhörerwiedergabe von Audiosignalen durch mehrere fokussierte Schallquellen |
US20090097679A1 (en) * | 2007-10-15 | 2009-04-16 | Fujitsu Ten Limited | Acoustic system for providing individual acoustic environment |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2642857B2 (ja) * | 1993-11-17 | 1997-08-20 | 松下電器産業株式会社 | 音響クロストーク制御装置 |
JPH07241000A (ja) * | 1994-02-28 | 1995-09-12 | Victor Co Of Japan Ltd | 音像定位制御椅子 |
JP3831984B2 (ja) * | 1996-09-03 | 2006-10-11 | 松下電器産業株式会社 | シートオーディオ装置 |
JP2001025086A (ja) * | 1999-07-09 | 2001-01-26 | Sound Vision:Kk | 立体音再生用システム及びホール |
JP3689041B2 (ja) * | 1999-10-28 | 2005-08-31 | 三菱電機株式会社 | 立体音場再生装置 |
GB0315342D0 (en) * | 2003-07-01 | 2003-08-06 | Univ Southampton | Sound reproduction systems for use by adjacent users |
JP2005343431A (ja) * | 2004-06-07 | 2005-12-15 | Denso Corp | 車両用情報処理システム |
JP2008129948A (ja) * | 2006-11-22 | 2008-06-05 | Takata Corp | 乗員検出装置、作動装置制御システム、シートベルトシステム、車両 |
-
2010
- 2010-05-18 EP EP10005186.1A patent/EP2389016B1/en active Active
-
2011
- 2011-03-09 CA CA2733486A patent/CA2733486A1/en not_active Abandoned
- 2011-04-04 JP JP2011083160A patent/JP2011244431A/ja active Pending
- 2011-05-16 KR KR1020110045626A patent/KR20110127074A/ko not_active Application Discontinuation
- 2011-05-18 CN CN2011101285495A patent/CN102256192A/zh active Pending
- 2011-05-18 US US13/110,683 patent/US20110286614A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243476B1 (en) * | 1997-06-18 | 2001-06-05 | Massachusetts Institute Of Technology | Method and apparatus for producing binaural audio for a moving listener |
US20060067548A1 (en) * | 1998-08-06 | 2006-03-30 | Vulcan Patents, Llc | Estimation of head-related transfer functions for spatial sound representation |
EP1372356A1 (en) * | 2002-06-13 | 2003-12-17 | Siemens Aktiengesellschaft | Method for reproducing a plurality of mutually unrelated sound signals, especially in a motor vehicle |
CN1754403A (zh) * | 2003-02-24 | 2006-03-29 | 1...有限公司 | 声束扬声器*** |
US20050213786A1 (en) * | 2004-01-13 | 2005-09-29 | Cabasse | Acoustic system for vehicle and corresponding device |
CN1860826A (zh) * | 2004-06-04 | 2006-11-08 | 三星电子株式会社 | 再现宽立体声的设备和方法 |
WO2006005938A1 (en) * | 2004-07-13 | 2006-01-19 | 1...Limited | Portable speaker system |
DE102007032272A1 (de) * | 2007-07-11 | 2009-01-22 | Institut für Rundfunktechnik GmbH | Verfahren zur Simulation einer Kopfhörerwiedergabe von Audiosignalen durch mehrere fokussierte Schallquellen |
US20090097679A1 (en) * | 2007-10-15 | 2009-04-16 | Fujitsu Ten Limited | Acoustic system for providing individual acoustic environment |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104025188A (zh) * | 2011-12-29 | 2014-09-03 | 英特尔公司 | 声学信号修改 |
CN104136299A (zh) * | 2011-12-29 | 2014-11-05 | 英特尔公司 | 用于在车内对声音进行导向的***、方法以及装置 |
CN104025188B (zh) * | 2011-12-29 | 2016-09-07 | 英特尔公司 | 声学信号修改 |
CN104136299B (zh) * | 2011-12-29 | 2017-02-15 | 英特尔公司 | 用于在车内对声音进行导向的***、方法以及装置 |
CN106899920A (zh) * | 2016-10-28 | 2017-06-27 | 广州奥凯电子有限公司 | 一种声音信号处理方法及*** |
CN111615834A (zh) * | 2017-09-01 | 2020-09-01 | Dts公司 | 用于虚拟化的音频的甜蜜点适配 |
CN111615834B (zh) * | 2017-09-01 | 2022-08-09 | Dts公司 | 用于虚拟化的音频的甜蜜点适配的方法、***和装置 |
CN111787458A (zh) * | 2020-07-16 | 2020-10-16 | 海信视像科技股份有限公司 | 音频信号的处理方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
EP2389016A1 (en) | 2011-11-23 |
US20110286614A1 (en) | 2011-11-24 |
KR20110127074A (ko) | 2011-11-24 |
JP2011244431A (ja) | 2011-12-01 |
CA2733486A1 (en) | 2011-11-18 |
EP2389016B1 (en) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102256192A (zh) | 声音信号的分离 | |
EP1680941B1 (en) | Multi-channel audio surround sound from front located loudspeakers | |
US10021507B2 (en) | Arrangement and method for reproducing audio data of an acoustic scene | |
JP4364326B2 (ja) | 複数の聴取者用3次元音響再生装置及びその方法 | |
CN1829393B (zh) | 产生用于双声道头戴耳机的立体声的方法和设备 | |
KR20080060640A (ko) | 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치 | |
CN102316397A (zh) | 使用装有扬声器的头靠的车辆音频*** | |
CN107039029B (zh) | 头盔中具有有源噪声控制的声音再现 | |
US20110150098A1 (en) | Apparatus and method for processing 3d audio signal based on hrtf, and highly realistic multimedia playing system using the same | |
US11221820B2 (en) | System and method for processing audio between multiple audio spaces | |
EP2229012B1 (en) | Device, method, program, and system for canceling crosstalk when reproducing sound through plurality of speakers arranged around listener | |
JP2007116365A (ja) | マルチチャンネル音響システム及びバーチャルスピーカ音声生成方法 | |
JP2003032776A (ja) | 再生システム | |
JP2020174346A5 (zh) | ||
JP2018110366A (ja) | 3dサウンド映像音響機器 | |
KR102283964B1 (ko) | 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치 | |
JP2006033847A (ja) | 最適な仮想音源を提供する音響再生装置及び音響再生方法 | |
US20200059750A1 (en) | Sound spatialization method | |
KR20170128368A (ko) | 전방 라우드 스피커에 의해 개별 입체 사운드를 달성하기 위해서 자동차의 재생용 스테레오 신호를 처리하는 장치 및 방법 | |
JP4594662B2 (ja) | 音像定位装置 | |
KR100275779B1 (ko) | 5채널 오디오 데이터를 2채널로 변환하여 헤드폰으로 재생하는 장치 및 방법 | |
JP2000333297A (ja) | 立体音生成装置、立体音生成方法及び立体音を記録した媒体 | |
US11470435B2 (en) | Method and device for processing audio signals using 2-channel stereo speaker | |
KR100443405B1 (ko) | 멀티채널 스피커용 오디오 신호를 멀티 채널 헤드폰용 오디오 신호로 변환하여 재분배 하는 장치 | |
JP7332745B2 (ja) | 音声処理方法及び音声処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1164600 Country of ref document: HK |
|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20111123 |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1164600 Country of ref document: HK |