CN112470218A - 低频信道间相干性控制 - Google Patents
低频信道间相干性控制 Download PDFInfo
- Publication number
- CN112470218A CN112470218A CN201980048976.7A CN201980048976A CN112470218A CN 112470218 A CN112470218 A CN 112470218A CN 201980048976 A CN201980048976 A CN 201980048976A CN 112470218 A CN112470218 A CN 112470218A
- Authority
- CN
- China
- Prior art keywords
- signal
- pass filter
- frequency
- high frequency
- low frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 58
- 230000005236 sound signal Effects 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 17
- 238000010521 absorption reaction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims 3
- 230000000644 propagated effect Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 210000003128 head Anatomy 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 210000005069 ears Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
- G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S1/005—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
公开了一种用于在低频下提供低耳间相干性的***和方法。在一些实施例中,该***可以包括混响器和低频耳间相干性控制***。混响器可以包括两组梳状滤波器,一组用于左耳输出信号,而另一组用于右耳输出信号。低频耳间相干性控制***可以包括多个部,每个部可以被配置为控制传递给定部传播的信号的特定频率范围。该部可以包括用于左耳输出信号的左高频部和用于右耳输出信号的右高频部。该部还可以包括共享低频部,该低频部可以输出要由左和右高频部的组合器组合的信号。
Description
相关申请的交叉引用
本申请要求于2018年6月12日提交的美国临时申请号62/684,086的优先权,其全部内容通过引用合并于此。
技术领域
本公开总体上涉及信号之间的低频相干性,例如,使用低音(bass)管理类型的方法以在低频处强制高相干性。在一些实施例中,本公开是在双耳渲染器的上下文中,其中从房间模拟算法输出两个信号。
背景技术
虚拟环境在计算环境中无处不在,可以在视频游戏中找到使用(其中虚拟环境可以表示游戏世界);地图(其中虚拟环境可以表示要导航的地形);模拟(其中虚拟环境可以模拟真实环境);数字讲故事(其中虚拟角色可以在虚拟环境中相互交互);以及许多其它应用。现代计算机用户通常舒适地感知虚拟环境并与之交互。然而,用于呈现虚拟环境的技术可能会限制用户在虚拟环境中的体验。例如,传统显示器(例如,2D显示屏)和音频***(例如,固定扬声器)可能无法以创建引人注目的、逼真的和沉浸式体验的方式来实现虚拟环境。
虚拟现实(“VR”)、增强现实(“AR”)、混合现实(“MR”)和相关技术(统称为“XR”)共享向XR***的用户呈现与计算机***中的数据所表示的虚拟环境相对应的感官(sensory)信息的能力。通过将虚拟的视觉和音频(audio)提示与真实的视力和声音结合,此类***可以提供独特的突出沉浸感和真实感。因此,可能希望以如下方式将数字声音呈现给XR***的用户:声音似乎在用户的真实环境中自然地发生并且符合用户对声音的期望。一般来说,用户期望虚拟声音将具有听到声音的真实环境的声学特性。例如,在大型音乐厅中XR***的用户将期望XR***的虚拟声音具有巨大的空洞的声音品质;相反,在小公寓中的用户将期望声音变得更加柔和、接近和即时。另外,用户期望虚拟声音将具有固有的空间效果。例如,站在房间前方的用户将期望从附近位置处的源发出的虚拟声音似乎来自房间的前方,而从远处位置处的源发出的虚拟声音似乎来自房间的后面。以该方式,用户可以区分例如具有手臂触及范围转换(conversion)的人和在背景中播放的音乐。
一些人工混响器可以使用频率相关(dependent)矩阵。频率相关矩阵可以是注入左混响器输出信号和右混响器输出信号的2×2矩阵,其中右混响器输出信号是左混响器输出信号和右混响器输出信号之和的缩放(scale)副本(copy)。在一些实施例中,由于相消和相长干涉,使用频率相关的2×2矩阵可能在某些频率上对左混响器输出信号和右混响器输出信号的音色质量产生不利影响。
因此,期望用于在低频下实现高耳间相干性的替代***和方法。另外或可替代地,期望用于在中频和/或高频下实现低耳间相干性的***和方法。
发明内容
公开了用于在低频下提供低耳间相干性的***和方法。在一些实施例中,***可以包括混响器和低频耳间相干性控制***。混响器可以包括两组梳状滤波器,一组用于左耳输出信号,而另一组用于右耳输出信号。
低频耳间相干性控制***可以包括多个部;每个部可以被配置为控制传递该部传播的特定频率范围的信号。一个部可以包括用于左耳输出信号的左高频部和用于右耳输出信号的右高频部。一个部还可以包括共享低频部,该共享低频部可以输出要由左和右高频部的组合器所组合的信号。
低频耳间相干性控制***可以包括多个滤波器,并且可选地,包括延迟器。多个滤波器可以包括一个或多个高通滤波器、一个或多个全通滤波器、和/或低通滤波器。在一些实施例中,低频耳间相干性控制***可以包括一个或多个高频处理单元。
在一些实施例中,一个输出信号(例如,左耳输出信号)可以与输入信号相同,并且因此,可以不进行任何处理。
在一些实施例中,网络中每个延迟单元的吸收系数可以被***,以控制混响衰减时间。
附图说明
图1示出根据一些实施例的被配置为佩戴在用户的头部上的示例可穿戴头部设备100。
图2示出根据一些实施例的示例可穿戴***的示例移动手持式控制器组件200。
图3示出根据一些实施例的示例可穿戴***的示例辅助单元300。
图4示出根据一些实施例的可以对应于示例可穿戴***的示例功能框图。
图5A示出示例双耳音频播放***,其中左输出信号和右输出信号被分别发送到每只耳朵。
图5B示出图5A的双耳音频播放***的输入与输出之一之间的示例脉冲响应。
图6示出根据一些实施例的在所测量的双耳房间脉冲响应混响尾部中的频率相关的耳间相干性。
图7A示出根据一些实施例的包括混响器和低频耳间相干性控制***的示例性***的框图。
图7B示出用于操作图7A的***的示例性方法的流程。
图8示出根据一些实施例的从图7A的***的混响器输出的耳间相干性的曲线图。
图9示出根据一些实施例的从图7A的低频耳间相干性控制***输出的耳间相干性的曲线图。
图10示出根据一些实施例的使用二阶巴特沃思滤波器所实现的高通滤波器和低通滤波器的示例频率响应。
图11示出根据一些实施例的示例嵌套式全通滤波器。
图12A示出根据一些实施例的包括混响器和低频耳间相干性控制***的示例性***的框图。
图12B示出根据一些实施例的用于操作图12A的***的示例性方法的流程。
图13A示出根据一些实施例的示例低频信道间相干性控制***的框图,该***包括位于滤波器和输出信号之间的高频处理单元。
图13B示出用于操作图13A的***的示例性方法的流程。
图14A示出根据一些实施例的示例低频信道间相干性控制***的框图,该***包括位于输入信号与滤波器之间的高频处理单元。
图14B示出用于操作图14A的***的示例性方法的流程。
图15A示出根据一些实施例的排除高频处理单元的示例低频信道间相干性控制***的框图。
图15B示出用于操作图15A的***的示例性方法的流程。
图16A示出根据一些实施例的排除共享频率部的示例低频信道间相干性控制***的框图。
图16B示出用于操作图16A的***的示例性方法的流程。
图17示出根据一些实施例的具有全通滤波器和低频信道间相干性控制***的示例反馈延迟网络(FDN)。
具体实施方式
在以下示例的描述中,参考了形成其一部分的附图,并且在附图中通过图示的方式示出了可以实践的特定示例。应当理解,在不脱离所公开示例的范围的情况下,可以使用其它示例,并且可以进行结构改变。
示例可穿戴***
图1示出被配置为佩戴在用户的头部上的示例可穿戴头部设备100。可穿戴头部设备100可以是更广泛的可穿戴***的一部分,该***包括一个或多个组件,诸如头部设备(例如,可穿戴头部设备100)、手持式控制器(例如,以下所述的手持式控制器200)、和/或辅助单元(例如,下面描述的辅助单元300)。在一些示例中,可穿戴头部设备100可以用于虚拟现实、增强现实、或混合现实***或应用。可穿戴头部设备100可以包括一个或多个显示器,诸如显示器110A和110B(其可以包括左和右透射显示器,以及用于将光从显示器耦合到用户的眼睛的相关联组件,诸如正交光瞳扩展(OPE)光栅组112A/112B和出射光瞳扩展(EPE)光栅组114A/114B);左和右声学结构,诸如扬声器120A和120B(其可以分别安装在镜腿122A和122B上,并且与用户的左耳和右耳相邻定位);一个或多个传感器,诸如红外传感器、加速度计、GPS单元、惯性测量单元(IMU)(例如IMU 126)、声学传感器(例如麦克风150);正交线圈电磁接收器(例如,所示出的安装到左镜腿臂122A的接收器127);远离用户取向的左和右相机(例如,深度(飞行时间)相机130A和130B);以及朝向用户取向的左眼和右眼相机(例如,用于检测用户的眼睛运动)(例如,眼睛相机128和128B)。然而,可穿戴头部设备100可以结合任何合适的显示技术,以及任何合适数量、类型或组合的传感器、或不脱离本发明的范围的其它组件。在一些示例中,可穿戴头部设备100可以结合一个或多个麦克风150,该麦克风150被配置为检测由用户的语音生成的音频信号;此类麦克风可以定位在与用户的嘴相邻的可穿戴头部设备中。在一些示例中,可穿戴头部设备100可以结合连网特征(例如,Wi-Fi能力),以与包括其它可穿戴***的其它设备和***通信。可穿戴头部设备100可进一步包括诸如电池、处理器、存储器、存储单元或各种输入设备(例如,按钮、触摸板)的组件;或可以耦合到包括一个或多个此类组件的手持式控制器(例如,手持式控制器200)或辅助单元(例如,辅助单元300)。在一些示例中,传感器可以被配置为输出头戴式单元相对于用户环境的一组坐标,并且可以向执行同步定位和映射(SLAM)过程和/或视觉测距算法的处理器提供输入。在一些示例中,如下面进一步描述,可穿戴头部设备100可以耦合到手持式控制器200和/或辅助单元300。
图2示出示例可穿戴***的示例移动手持式控制器组件200。在一些示例中,手持式控制器200可以与以下描述的可穿戴头部设备100和/或辅助单元300进行有线或无线通信。在一些示例中,手持式控制器200包括要由用户握持的手柄部220,以及沿着顶表面210设置的一个或多个按钮240。在一些示例中,手持式控制器200可以被配置为用作光学跟踪目标;例如,可穿戴头部设备100的传感器(例如,相机或其它光学传感器)可以配置为检测手持式控制器200的位置和/或取向,从而通过扩展可以指示握持手持式控制器200的用户的手的位置和/或取向。在一些示例中,诸如上述,手持式控制器200可以包括处理器、存储器、存储单元、显示器、或一个或多个输入设备。在一些示例中,手持式控制器200包括一个或多个传感器(例如,以上关于可穿戴头部设备100所述的任何传感器或跟踪组件)。在一些示例中,传感器可以检测手持式控制器200相对于可穿戴头部设备100或相对于可穿戴***的另一组件的位置或取向。在一些示例中,传感器可以定位在手持式控制器200的手柄部220中,和/或可以机械地耦合到手持式控制器。手持式控制器200可以被配置为提供一个或多个输出信号,例如,对应于按钮240的按下状态;或者,手持式控制器200的位置、取向和/或运动(例如,经由IMU)。此类输出信号可以用作可穿戴头部设备100的处理器、辅助单元300、或可穿戴***的另一组件的输入。在一些示例中,手持式控制器200可以包括一个或多个麦克风以检测声音(例如,用户的语音、环境声音),并且在一些情况下,将与所检测的声音相对应的信号提供给处理器(例如,可穿戴头部设备100的处理器)。
图3示出示例可穿戴***的示例辅助单元300。在一些示例中,辅助单元300可以与可穿戴头部设备100和/或手持式控制器200进行有线或无线通信。辅助单元300可以包括电池,以提供能量来操作可穿戴***的一个或多个组件,诸如可穿戴头部设备100和/或手持式控制器200(包括显示器、传感器、声学结构、处理器、麦克风和/或可穿戴头部设备100或手持式控制器200的其它组件)。在一些示例中,如上所述,辅助单元300可以包括处理器、存储器、存储单元、显示器、一个或多个输入设备、和/或一个或多个传感器。在一些示例中,辅助单元300包括用于将辅助单元附接至用户(例如,由用户佩戴的皮带)的夹子310。使用辅助单元300来容纳可穿戴***的一个或多个组件的优点是,这样做可以使大型或沉重的组件被携带在用户的腰部、胸部或背部上(它们相对非常适合于支撑较大和较重的对象),而不是安装到用户的头部(例如,如果容纳在可穿戴头部设备100中)或由用户的手携带(例如,如果容纳在手持式控制器200中)。对于相对较重或笨重的组件(诸如电池)这可能是特别有利的。
图4示出可以对应于示例可穿戴***400(诸如可以包括上述示例可穿戴头部设备100、手持式控制器200、和辅助单元300)的示例功能框图。在一些示例中,可穿戴***400可以用于虚拟现实、增强现实、或混合现实应用。如图4中所示,可穿戴***400可以包括示例手持式控制器400B,在此称为“图腾”(并且可以对应于上述手持式控制器200);手持式控制器400B可包括图腾至头盔(headgear)的六个自由度(6DOF)图腾子***404A。可穿戴***400还可以包括示例可穿戴头部设备400A(其可以对应于上述可穿戴头盔设备100);可穿戴头部设备400A包括图腾至头盔的6DOF头盔子***404B。在该示例中,6DOF图腾子***404A和6DOF头盔子***404B共同确定手持式控制器400B相对于可穿戴头部设备400A的六个坐标(例如,三个平移方向中的偏移和沿三个轴的旋转)。六个自由度可以相对于可穿戴头部设备400A的坐标系表达。在此类坐标系中,三个平移偏移量可以表达为X、Y和Z偏移量,可以表达为平移矩阵、或一些其它表示。旋转自由度可以表达为一序列的偏航、俯仰和滚动旋转;表达为矢量;表达为旋转矩阵;表达为四元数;或表达为一些其它表示。在一些示例中,可穿戴头部设备400A中包括的一个或多个深度相机444(和/或一个或多个非深度相机);和/或一个或多个光学瞄准(例如,如上所述的手持式控制器200的按钮240、或手持式控制器中包括的专用光学瞄准)可用于6DOF跟踪。在一些示例中,如上所述,手持式控制器400B可以包括相机;并且头盔400A可包括与相机一起用于光学跟踪的光学瞄准。在一些示例中,可穿戴头部设备400A和手持式控制器400B各自包括一组三个正交取向的螺线管,其用于无线地发送和接收三个可区分的信号。通过测量在用于接收的每个线圈中所接收到的三个可区分信号的相对幅度,可以确定手持式控制器400B相对于可穿戴头部设备400A的6DOF。在一些示例中,6DOF图腾子***404A可以包括惯性测量单元(IMU),该惯性测量单元可用于提供有关快速运动的手持式控制器400B的改进的精度和/或更及时的信息。
在一些涉及增强现实或混合现实应用的示例中,可能希望将坐标从本地坐标空间(例如,相对于可穿戴头部设备400A固定的坐标空间)变换为惯性坐标空间或环境坐标空间。例如,此类变换对于可穿戴头部设备400A的显示器可能是必要的,以在相对于真实环境的预期位置和取向而不是显示器上的固定位置和取向(例如,可穿戴头部设备400A的显示器中的相同位置处)呈现虚拟对象(例如,坐在真实椅子上,面向前方的虚拟人,无论可穿戴头部设备400A的位置和取向如何)。这可以保持虚拟对象存在于真实环境中的幻觉(并且例如随着可穿戴头部设备400A移动和旋转而不会不自然地出现定位在真实环境中)。在一些示例中,可以通过处理来自深度相机444的图像(例如,使用同时定位和映射(SLAM)和/或视觉测距过程)来确定坐标空间之间的补偿变换,以便确定可穿戴头部设备400A相对于惯性或环境坐标系的变换。在图4中所示的示例中,深度相机444可以耦合到SLAM/视觉测距模块406,并且可以向模块406提供图像。SLAM/视觉测距模块406的实现方式可以包括处理器,该处理器被配置为处理该图像并确定用户的头部的位置和取向,该位置和取向然后可以用于识别头部坐标空间与实际坐标空间之间的变换。类似地,在一些示例中,关于用户的头部姿势和位置的附加信息源从可穿戴头部设备400A的IMU 409获得。来自IMU 409的信息可以与来自SLAM/视觉测距模块406的信息集成在一起,以提供关于用户的头部姿势和位置的快速调节的改进的准确性和/或更及时的信息。
在一些示例中,深度相机444可以将3D图像提供给手势***411,这可以在可穿戴头部设备400A的处理器中实现。手势***411可以例如通过将从深度相机444接收的3D图像与表示手势的存储图案(pattern)进行匹配来识别用户的手势。识别用户手势的其它合适技术将显而易见。
在一些示例中,一个或多个处理器416可以被配置为从头盔子***404B、IMU 409、SLAM/视觉测距模块406、深度相机444、麦克风(未示出)、和/或手势***411接收数据。处理器416还可以发送和接收来自6DOF图腾***404A的控制信号。诸如在手持式控制器400B不受束缚的示例中,处理器416可以无线地耦合到6DOF图腾***404A。处理器416可以进一步与附加组件通信,诸如视听内容存储器418、图形处理单元(GPU)420和/或数字信号处理器(DSP)音频声场***(spatializer)422。DSP音频声场***422可以耦合到头部相关传输函数(HRTF)存储器425。GPU 420可以包括耦合到成影像调制光的左源424的左通道输出和耦合到成影像调制光的右源426的右通道输出。GPU 420可将立体图像数据输出到成影像调制光424、426的源。DSP音频声场***422可以将音频输出到左扬声器412和/或右扬声器414。DSP音频声场***422可以从处理器416接收指示从用户到虚拟声源的方向矢量的输入(该虚拟声源可以由用户例如经由手持控制器400B来移动)。基于方向矢量,DSP音频声场***422可以确定对应的HRTF(例如,通过访问HRTF,或者通过内插多个HRTF)。然后,DSP音频声场***422可以将所确定的HRTF应用于音频信号,诸如与由虚拟对象生成的虚拟声音相对应的音频信号。通过在混合现实环境中结合用户相对于虚拟声音的相对位置和取向,也就是说,通过呈现与虚拟声音听起来像是在真实环境中的真实声音的用户期望相匹配的虚拟声音,可以增强虚拟声音的可信度和真实性。
在一些示例中,诸如图4中所示,处理器416、GPU 420、DSP音频声场***422、HRTF存储器425、和音频/视频内容存储器418中的一个或多个可以被包括在辅助单元400C(其可以对应于上述辅助单元300)中。辅助单元400C可以包括电池427,以对其组件供电和/或向可穿戴头部设备400A和/或手持式控制器400B供电。将此类组件包括在可以安装到用户腰部的辅助单元中,可以限制可穿戴头部设备400A的大小和重量,这进而可以减少用户头部和颈部的疲劳。
尽管图4呈现了与示例可穿戴***400的各个组件相对应的元件,但是这些组件的各种其它合适的布置对于本领域技术人员而言将变得显而易见。例如,与辅助单元400C相关联的图4中呈现的元件可以替代地与可穿戴头部设备400A或手持式控制器400B相关联。此外,一些可穿戴***可以完全放弃手持式控制器400B或辅助单元400C。此类改变和修改应被理解为包括在所公开的示例的范围内。
混合现实环境
像所有人一样,混合现实***的用户也存在于真实环境中,也就是说,用户可以感知的“真实世界”的三维部分及其所有内容。例如,用户使用普通的人类感官(视觉、声音、触觉、味觉、气味)感知真实环境,并通过在真实环境中移动自己的身体来与真实环境交互。真实环境中的位置可以描述为坐标空间中的坐标;例如,坐标可以包括相对于海平面的纬度、经度和海拔;距离参考点的三个正交尺寸上的距离;或其它合适的值。同样,矢量可以描述在坐标空间中具有方向和幅度的量。
计算设备可以在例如与设备相关联的存储器中维持(maintain)虚拟环境的表示。如在此所使用的,虚拟环境是三维空间的计算表示。虚拟环境可以包括与该空间相关联的任何对象、动作、信号、参数、坐标、矢量或其它特征的表示。在一些示例中,计算设备的电路(例如,处理器)可以维持和更新虚拟环境的状态;也就是说,处理器可以在第一时间基于与虚拟环境相关联的数据和/或用户提供的输入来确定第二时间的虚拟环境的状态。例如,如果虚拟环境中的对象当时(at time)位于第一坐标处,并且具有某些编程的物理参数(例如,质量、摩擦系数);以及从用户接收到指示应在方向矢量中向对象施加力的输入;则处理器可以应用运动学定律,以使用基本力学确定当时对象的位置。处理器可以使用关于虚拟环境的任何已知的适当信息和/或任何适当的输入来确定虚拟环境当时的状态。在维持和更新虚拟环境的状态时,处理器可以执行任何适当的软件,包括与在虚拟环境中创建和删除虚拟对象有关的软件;用于定义虚拟环境中虚拟对象或角色行为的软件(例如脚本);用于定义虚拟环境中信号(例如音频信号)行为的软件;用于创建和更新与虚拟环境关联的参数的软件;用于在虚拟环境中生成音频信号的软件;用于处理输入和输出的软件;用于实现网络操作的软件;用于应用资产数据(例如动画数据,以随着时间推移移动虚拟对象)的软件;或许多其它可能性。
输出设备(诸如显示器或扬声器)可以向用户呈现虚拟环境的任何或所有方面。例如,虚拟环境可以包括可以向用户呈现的虚拟对象(其可以包括无生命的对象、人、动物、灯光等的表示)。处理器可以确定虚拟环境的视图(例如,与具有原点坐标、视图轴和平截头体(frustum)的“相机”相对应);并将与该视图相对应的虚拟环境的可见场景渲染给显示器。任何合适的渲染技术都可以用于此目的。在一些示例中,可见场景可以仅包括虚拟环境中的一些虚拟对象,并且排除某些其它虚拟对象。类似地,虚拟环境可以包括可以作为一个或多个音频信号呈现给用户的音频方面。例如,虚拟环境中的虚拟对象可以生成源自对象的位置坐标的声音(例如,虚拟角色可以说话或引起声音效果);或者虚拟环境可以与可能与特定位置相关联或不与特定位置相关联的音乐提示或环境声音相关联。处理器可以确定与“收听器(listener)”坐标相对应的音频信号,例如,与虚拟环境中的声音合成相对应的音频信号,并混合和处理以模拟将在收听器坐标处被收听器听到的音频信号,并经由一个或多个扬声器向用户呈现音频信号。
因为虚拟环境仅作为计算结构存在,所以用户不能使用普通感官直接感知虚拟环境。相反,用户只能间接地感知例如通过显示器、扬声器、触觉输出设备等呈现给用户的虚拟环境。类似地,用户不能直接触摸、操纵或以其它方式与虚拟环境交互;但是可以经由输入设备或传感器将输入数据提供给可以使用设备或传感器数据以更新虚拟环境的处理器。例如,相机传感器可以提供指示用户正试图在虚拟环境中移动对象的光学数据,并且处理器可以使用该数据来使对象在虚拟环境中相应地做出响应。
数字混响和环境音频处理
XR***可以向用户呈现音频信号,该音频信号起源于具有原点(origin)坐标的声源,并在***中在具有取向矢量的方向上传播。用户可以感知这些音频信号,就好像它们是源自声源的原点坐标并沿着取向矢量传播的真实音频信号一样。
在一些情况下,音频信号可以被认为是虚拟的,因为它们对应于虚拟环境中的计算信号,并且不一定对应于真实环境中的真实声音。然而,虚拟音频信号可以作为例如如经由图1中的可穿戴头部设备100的扬声器120A和120B所生成的人耳可检测到的真实音频信号呈现给用户。
一些虚拟或混合现实环境遭受这样的感觉,也就是说,该环境感觉不到真实或逼真。该感知的一个原因是音频和视觉提示在虚拟环境中并不总是彼此匹配。整个虚拟体验可能会感觉是假的且不真实的,部分地是由于它不符合我们基于真实世界的交互所做出的期望。希望通过呈现似乎与用户环境中的对象进行现实的交互(甚至以微妙的方式)的音频信号来改善用户的体验。基于真实世界的经验,此类音频信号越符合我们自己的期望,用户的体验就会越沉浸和引人入胜。
数字混响器(也称为人工混响器)可以用于音频和音乐信号处理。例如,具有两声道立体声输出的混响器可产生互不相关的左耳信号和右耳信号。互不相关的信号可适用于在传统立体声扬声器播放配置中产生扩散(diffuse)混响效果。双耳音频播放***中不相关的混响器输出信号(其中左输出信号和右输出信号分别发送到每只耳朵)可产生不自然的效果。另一方面,在自然的扩散混响声场中,左耳和右耳处的信号在低频下高度相干。
图5A示出示例性双耳音频播放***,其中左输出信号和右输出信号被分别发送到每只耳朵。***500可以是包括直接声音渲染器510和混响器520的双耳播放***。如图中所示,***500可以包括分离的直接声音渲染和混响器能量路径。也就是说,信号501可以是到***500的输入信号。信号501可以被输入到直接声音渲染器510和混响器520二者。来自直接声音渲染器510和混响器520的输出可以组合以产生与输出信号502R(例如,右输出信号)分离的输出信号502L(例如,左输出信号)。
图5B示出图5A的双耳音频播放***的输入和输出之一之间的示例脉冲响应。如图中所示,直接的声音之后是反射(reflection)和混响;随着混响被环境衰减,混响可能经历随时间推移自然发生的延迟。
一些人工混响器可以使用频率相关矩阵。频率相关矩阵可以是注入左混响器输出信号和右混响器输出信号的2×2矩阵,其中右混响器输出信号是左混响器输出信号和右混响器输出信号之和的缩放副本。在一些实施例中,由于相消和相长干涉,使用频率相关的2×2矩阵可能在某些频率上对左混响器输出信号和右混响器输出信号的音色质量产生不利影响。这样,输出信号可能会在某些频率上产生不自然的效果。
目标耳间相干性特征
耳间相干性是左耳信号和右耳信号之间在双耳房间脉冲响应(BRIR)中的相干性的量度。BRIR可以反映房间可能对声学产生的影响。类似地,信道间相干性是第一信道信号和第二信道信号之间的相干性的量度。对房间中的个体上测量的BRIR中,耳间相干性往往在低频时较高,而在高频时较低。换句话说,当分析对房间中的个体的测量时,基于后期混响衰减所计算的耳间相干性可以接近间隔的全向麦克风录音的扩散场响应,例如,如图6中所示。图6示出根据一些实施例的在所测量的BRIR混响尾部中的频率相关的耳间相干性。
例如,可以根据频率导出耳间相干性目标。在一些实施例中,可能期望在低频下实现高的耳间相干性(例如,左耳信号与右耳信号之间的高相干性)和中频和/或高频下低的耳间相干性(例如,左耳信号与右耳之间的低相干性)。
混响算法(其可以使用混响器来实现)可以创建在左耳与右耳之间去相关的输出信号。控制低频下的耳间相干性可产生例如在可穿戴头部设备上播放的更逼真的房间模拟效果,该设备分别发送左耳信号和右耳信号(例如,经由分别指向左耳和右耳的左扬声器和右扬声器)。
示例低频耳间相干性控制
在一些实施例中,可以使用混响算法(其可以使用混响器来实现)来产生不相关的输出信号。混响算法可以例如包括对于每只耳朵(例如,左耳和右耳)具有不同延迟的并行梳状滤波器,从而为左耳和右耳产生可以彼此基本上去相关的不同信号。在一些实施例中,这可以在高频下提供低耳间相干性,但是可以在低频下不提供高耳间相干性。
图7A示出根据一些实施例的包括混响器和低频耳间相干性控制***的示例性***的框图。图7B示出用于操作图7A的***的示例性方法的流程。
***700可以包括混响器720和低频耳间相干性控制***730。混响器720可以与低频耳间相干性控制***730串联连接,使得混响器720的输出被接收作为低频耳间相干性控制***730的输入。
混响器720可以包括两组梳状滤波器:左耳梳状滤波器722L和右耳梳状滤波器722R。两组梳状滤波器722L/722R可接收输入信号501。
低频耳间相干性控制***730可以包括左高频部732L、共享低频部732S、和右高频部732R。术语“左高频”、“共享低频部”和“右高频部”用于描述不同的部/路径。
左耳梳状滤波器722L可以将信号输出到高频部732L和共享低频部732S。右耳梳状滤波器722R可以将信号输出到右高频部732R。
左高频部732L可包括多个滤波器:高通滤波器736L、第一嵌套式全通滤波器738A、第二嵌套式全通滤波器738B、以及组合器740L。来自左耳梳状滤波器722L的输出信号可以被输入到高通滤波器736L。来自高通滤波器736L的输出信号可以被输入到第一嵌套式全通滤波器738A。来自第一嵌套式全通滤波器738A的输出信号可以被输入到第二嵌套式全通滤波器738B。
类似地,右高频部732R可以包括多个滤波器:高通滤波器738R、第一嵌套式全通滤波器738C、第二嵌套式全通滤波器738D、和组合器740R。来自右耳梳状滤波器722R的输出信号可以被输入到高通滤波器736R。来自高通滤波器736R的输出信号可以被输入到第一嵌套式全通滤波器738C。来自第一嵌套式全通滤波器738C的输出信号可以被输入到第二嵌套式全通滤波器738D。
高通滤波器736可以被配置为使信号的具有高于高频阈值的频率的部传递。全通滤波器可被配置为使所有信号传递。组合器可以被配置为组合其输入信号以形成一个或多个输出信号。
共享低频部732S可以包括低通滤波器742和延迟器744。共享低频部732S可以被称为低频管理***。在一些实施例中,左高频部732L、共享低频部732S和/或右高频部732R的组件可以以任何顺序;本公开的示例不限于图7A中所示的配置。
左耳梳状滤波器722L可以接收输入信号(信号501),并且可以使用反馈回路来重复其输入信号的衰减版本(过程750的步骤752)。左耳梳状滤波器722L可以将信号输出到左高频部732L和共享低频部732S。具体地,左耳梳状滤波器722L可以将信号输出到左高频部732L的高通滤波器736L和共享低频部732S的低通滤波器742。右耳梳状滤波器722R可以接收输入信号(信号501),并且可以使用反馈回路来重复其输入信号的衰减版本(步骤770)。右耳梳状滤波器722R可以将信号输出到右高频部732R。具体地,右耳梳状滤波器722R可以将信号输出到右高频部732R的高通滤波器736R。
在左高频部732L中,高通滤波器736L可以接收从左耳梳状滤波器722L输出的信号,并且可以使具有高于高频阈值的频率的那些信号(即,高频信号)传递作为输出(步骤754)。来自高通滤波器736L的输出可以输入到第一嵌套式全通滤波器738A。第一嵌套式全通滤波器738A可以从高通滤波器736L接收该信号,并且可以在不改变其幅度响应的情况下修改其相位(步骤756)。第一嵌套式全通滤波器738A可以输出要被第二嵌套式全通滤波器738B作为输入接收的信号。第二嵌套式全通滤波器738B可以从第一嵌套式全通滤波器738A接收该信号,并且可以在不改变其幅度响应的情况下修改其相位(步骤758)。第二嵌套式全通滤波器738B可以将信号输出到组合器740L。
在右高频部732R中,高通滤波器736R可以接收从右耳梳状滤波器722R输出的信号,并且可以使具有高于高频阈值的频率的那些信号传递作为输出(步骤772)。来自高通滤波器736R的输出可以输入到第一嵌套式全通滤波器738C。第一嵌套式全通滤波器738C可以从高通滤波器736R接收该信号,并且可以在不改变其幅度响应的情况下修改其相位(步骤774)。第一嵌套式全通滤波器738C可以输出要被第二嵌套式全通滤波器738D作为输入接收的信号。第二全通滤波器738D可以从第一嵌套式全通滤波器738C接收该信号,并且可以在不改变其幅度响应的情况下修改其相位(步骤776)。第二嵌套式全通滤波器738D可以将信号输出到组合器740R。
在共享低频部732S中,低通滤波器742可以接收从左耳梳状滤波器722L输出的信号,并且可以使具有低于低频阈值的频率的信号的一部分(即,低频信号)传递作为输出(步骤760)。在一些实施例中,未被(左高频部732L的)高通滤波器736L传递的那些信号可以由低通滤波器742传递。在一些实施例中,未被(共享低频部732S的)低通滤波器742传递的那些信号可以被(左高频部732L的)高通滤波器736L传递。来自低通滤波器742的输出可以输入到延迟器744。延迟器744可以将(来自低通滤波器742的)延迟引入到其输入信号中(步骤762)。来自延迟器744的输出信号可以输入到(左高频部732L的)组合器740L和(右高频部732R的)组合器740R。
左高频部732L的组合器740L可以接收来自(左高频部732L的)第二嵌套式全通滤波器738B的信号和来自(共享低频部732S的)延迟器744的信号。组合器740L可以组合(例如,对输入信号求和)(步骤764),并且可以将结果信号输出为信号502L。来自组合器740L的输出可以是左耳输出信号(步骤766)。
右高频部732R的组合器740R可以接收来自(右高频部732R的)第二嵌套式全通滤波器738D的信号,以及来自(共享低频部732S的)延迟器744的信号。组合器740R可以组合(例如,对输入信号求和)(步骤778),并且可以将结果信号输出为信号502R。来自组合器740R的输出可以是右耳输出信号(步骤780)。
如先前所讨论,共享低频部732S是低频管理***。由共享低频部732S引入到左高频部732L和右高频部732R二者的信号中的延迟可以帮助控制耳间相干性。由于延迟被引入到具有低于低频阈值的频率的信号上(由低通滤波器742滤波),所以***700可以在低频下实现高相干性。在一些实施例中,每个部732控制传播通过给定部传播的信号的特定频率范围。例如,高通滤波器736L控制左高频部732L的信号;高通滤波器736R控制右高频部732R的信号;以及低通滤波器742控制共享低频部732S的信号。
在一些实施例中,延迟器744可以将其输出信号与来自左高频部732L的第二嵌套式全通滤波器738B的输出信号对准。另外地或可替代地,延迟器744可以将其输出信号与右高频部732R的第二嵌套式全通滤波器738D的输出信号对准。
图8示出根据一些实施例的从图7A的***的混响器720输出的耳间相干性的曲线图。如图中所示,横跨所有(低、中和高)频率,耳间相干性可能较低。
图9示出根据一些实施例的从图7A的低频耳间相干性控制***730输出的耳间相干性的曲线图。如图中所示,耳间相干性在低频下(例如,小于1kHz)可以很高,而在中高频下(例如,大于1kHz)可以很低。在一些实施例中,共享低频部732S可以控制低频的耳间相干性。在一些实施例中,左高频部732L和右高频部732R可以控制中频和/或高频的耳间相干性。以该方式,低频相干性控制***可以包括共享部和多个专用部。共享部可以用于控制低频信号,而专用部可以用于控制高频信号。
示例性滤波器
图10示出根据一些实施例的使用二阶巴特沃思滤波器实现的高通滤波器和低通滤波器的示例频率响应。如图中所示,高通滤波器(例如,高通滤波器736L、高通滤波器736R、或二者)可以使具有高于高频阈值的频率的信号传递。例如,高通滤波器可以使具有高于1kHz的频率的信号传递。在一些示例中,高通滤波器的响应可以具有斜坡(slope),其中在特定频率范围(例如,约100Hz至1kHz)中,高通滤波器可以使信号部分地传递。在一些实施例中,高通滤波器可以是二阶巴特沃斯滤波器。
在图中也示出了,低通滤波器(例如,低通滤波器742)可以使具有小于低频阈值的频率的信号传递。例如,低通滤波器可以使具有小于200Hz的频率的信号传递。在一些示例中,高通滤波器的响应可以具有斜坡,其中在特定频率范围(例如,约200Hz至4kHz)中,低通滤波器可以使信号部分地传递。在一些实施例中,低通滤波器可以是二阶巴特沃斯滤波器。
在一些实施例中,耳间相干性可以在特定频率范围从高过渡到低。可以通过调节两个或更多个滤波器的交叉点和斜坡来控制频率范围:(左高频部732L的)高通滤波器736L、(右高频部732R的)高通滤波器736R和(共享低频部732S的)低通滤波器742。
图11示出根据一些实施例的示例嵌套式全通滤波器。图中示出的全通滤波器738可以例如是图7A中示出的全通滤波器738A、738B、738C和738D中的一个或多个。全通滤波器738可以包括多个组件:增益1145A、增益1145B、增益1145C、增益1145D、延迟器1144A、延迟器1144B、组合器1140A、组合器1140B、组合器1140C和组合器1140D。
如先前所讨论,全通滤波器738可被配置为使输入信号中的所有频率传递。在一些示例中,全通滤波器738可以使信号传递而不改变其幅度,但是同时也改变频率之间的相位关系。到全通滤波器738的输入信号以及来自增益1145A的输出可以被呈现为到组合器1140A的输入。来自组合器1140A的输出可以被呈现为到延迟器1144A和增益1145D的输入。
延迟器1144A可以在信号中引入一定的延迟,并且可以将其输出与来自增益1145B的输出一起呈现为组合器1140B的输入。来自组合器1140B的输出可以被呈现为延迟器1144B和增益1145C的输入。延迟器1144B可以引入一定量的延迟,并且可以将其信号输出到组合器1140C。组合器1140C还可以接收来自增益1145C的信号。
增益1145A、增益1145B、增益1145C和增益1145D可以将一定量的增益引入到相应的输入信号中。组合器1140D可以接收来自组合器1140C和增益1145D的输出,并且组合(例如,求和)信号。
在一些实施例中,图7A的混响器720可以使用反馈和前馈处理模块的网络来实现。该网络可以包括例如独立的梳状滤波器或更复杂的反馈延迟网络(FDN),以及全通滤波器。在一些实施例中,无论混响器拓扑如何,可以通过将混响器视为互连延迟单元的集合并用网络中的每个延迟单元***吸收系数来控制混响衰减时间。
如果包括延迟单元的一个或多个附加处理块与混响器级联,如在图7A的***中的情况,则由包括延迟单元的一个或多个附加处理模块进行的额外处理可能引入一些额外的延迟或时间拖尾,并且可能限制整个***实现短混响时间的能力。
图12A示出根据一些实施例的包括混响器和低频耳间相干性控制***的示例性***的框图。
低频耳间相干性控制***1200可以类似于图7A的低频耳间相干性控制***700,有所不同。例如,图7A的左高频部732L包括第一嵌套式全通滤波器738A和第二嵌套式全通滤波器738B,而图12A的左高频部1232L包括第一吸收性嵌套式全通滤波器1239A和第二吸收性嵌套式全通滤波器1239B。类似地,图7A的右高频部732R包括第一嵌套式全通滤波器739C和第二嵌套式全通滤波器739D,而图12A的右高频部1232R包括第一吸收性嵌套式全通滤波器1239C和第二吸收性嵌套式全通滤波器1239D。图7A的共享低频部732S包括延迟器744,而图12A的共享低频部1232S包括吸收性延迟器1245。
图12A的低频耳间相干性控制***1200的相应吸收性延迟单元可以配置有一个或多个吸收系数,以使整个***的混响时间与原始混响器的目标混响时间完全相同。
每个吸收性延迟单元(例如,左高频部1232L的第一吸收性嵌套式全通滤波器1239A,左高频部1232L的第二吸收性嵌套式全通滤波器1239B,右高频部1232R的第一吸收性嵌套式全通滤波器1239C,右高频部1232R的第二吸收性嵌套式全通滤波器1239D和/或共享低频部1232S的吸收性延迟1245)中的吸收增益或衰减gaind可以表达为对应延迟d的函数。根据一些实施例,方程式(1)包括吸收增益gaind作为对应延迟d的函数的公式。
在方程式(1)中,T60可以是以与延迟相同的单位表达的混响时间。
图12B示出用于操作图12A的***的示例性方法的流程。过程1250包括与图7B的过程750的上下文中描述的步骤752、754、760、764、766、770、772、778和780分别对应相似的步骤1252、1254、1260、1264、1266、1270、1272、1278和1280。过程1250还包括步骤1256、1258、1262、1274和1276。步骤1256、1258、1262、1274和1276可以分别类似于(图7B的)步骤756、758、762、774和776,但是可以使用吸收性延迟单元来启用混响时间。
低频相干性控制***的实施例
图13A、14A、15A和16A分别示出根据各种实施例的示例低频信道间相干性控制***1330、1430、1530和1630。每个低频信道间相干性控制***1330、1430、1530和1630可以包括左高频部、共享低频部和右高频部。
在一些实施例中,低频信道间相干性控制***1330、1430、1530和1630可以接收多个输入信号:信号1301A和信号1301B。在一些实施例中,信号1301A和1301B可以具有基本上相同的频谱含量,但是较低的相互信道间相干性。当例如由双信道混响器产生时,两个信号可具有基本上相同的频谱含量,但较低的相互信道间相干性。示例性双信道混响器是图7A和图12A的混响器720。尽管混响器720是双信道混响器,但是本公开的示例可以包括具有任何数量的信道的混响器。
在一些实施例中,低频信道间相干性控制***1330、1430、1530和1630可以输出多个输出信号:信号1302L和1302R。
在一些实施例中,低频信道间相干性控制***1330、1430、1530和1630可以包括可以与图7A和图12A的那些对应相似的高通滤波器736L、高通滤波器736R、低通滤波器742和延迟器744。另外地或可替代地,可以使用以上在图10的上下文中描述的二阶巴特沃思滤波器来实现这些滤波器。
在一些实施例中,低频信道间相干性控制***1330、1430、1530和1630可以包括可以与图7A和图12A的那些对应相似的组合器740L和740R。
在一些实施例中,低频信道间相干性控制***1330和1430还可包括高频处理单元1337L和1337R。高频处理单元1337可以是全通滤波器(包括任何类型的全通滤波器,诸如嵌套式全通滤波器和/或级联全通滤波器)或吸收性全通滤波器。
图13A示出根据一些实施例的示例低频信道间相干性控制***的框图,该***包括位于滤波器和输出信号之间的高频处理单元。图13B示出用于操作图13A的***的示例性方法的流程。
低频信道间相干性控制***1330可以包括左高频部1332L、共享低频部1332S和右高频部1332R。左高频部1332L可以包括高通滤波器736L、高频处理单元1337L和组合器740L。类似地,右高频部1332R可以包括高通滤波器736R、高频处理单元1337R和组合器740R。共享低频部1332S可以包括低通滤波器742和延迟器744。
在左高频部1332L中,高通滤波器736L接收第一输入信号1301A(过程1350的步骤1352)。高通滤波器736L可以被配置为使具有高于高频阈值的频率的信号传递到高频处理单元1337L(步骤1354)。高频处理单元1337L可以被配置为对来自高通滤波器736L的信号进行处理(步骤1356)。如以上所讨论,高频处理单元1337L可以包括一种或多种类型的滤波器,并且对来自高通滤波器736L的信号的处理可以执行滤波器类型的对应功能。然后,高频处理单元1337L将信号输出到组合器740L。
在右高频部1332R中,高通滤波器736R接收第二输入信号1301(步骤1370)。高通滤波器736R可以被配置为使具有高于高频阈值的频率的信号传递到高频处理单元1337R(步骤1372)。高频处理单元1337R可以被配置为对来自高通滤波器736R的信号进行处理(步骤1374)。如以上所讨论,高频处理单元1337R可以包括一种或多种类型的滤波器,并且对来自高通滤波器736R的信号的处理可以执行滤波器类型的对应功能。高频处理单元1337R然后将信号输出到组合器740R。
在共享低频部1332S中,低通滤波器742接收第一输入信号1301A。低通滤波器742可以被配置为使具有小于低频阈值的频率的信号传递(步骤1360)。在一些实施例中,低频耳间相干性控制***1330可以包括延迟器744。延迟器744可以将(来自低通滤波器742)延迟引入其输入信号中(步骤1362)。来自延迟器744的输出信号可以输入到(左高频部1332L的)组合器740L和(右高频部1332R的)组合器740R。
组合器740L接收来自(左高频部1332L的)高频处理单元1337L和来自共享低频部1332S的信号。组合器740L组合(例如,求和)两个接收到的信号(步骤1364)并且输出第一输出信号1302L(步骤1366)。
组合器740R接收来自(右高频部1332R的)高频处理单元1337R和来自(共享低频部1332S的)延迟器744的信号。组合器740R组合(例如,求和)两个接收到的信号(步骤1376),并输出第二输出信号1302R(步骤1378)。
在一些实施例中,低频耳间相干性控制***1330可以可选地在其共享低频部1332S中包括延迟器744。在此类实施例中,来自低通滤波器742的信号可以直接输入到组合器740L和740R。
图14A示出根据一些实施例的示例低频信道间相干性控制***的框图,该***包括位于输入信号与滤波器之间的高频处理单元。图14B示出用于操作图14A的***的示例性方法的流程。
低频信道间相干性控制***1430可以包括左高频部1432L、共享低频部1432S和右高频部1432R。左高频部1432L可以包括高频处理单元1337L、高通滤波器736L和组合器740L。类似地,右高频部1432R可以包括高频处理单元1437R、高通滤波器736R和组合器740R。共享低频部1432S可以包括低通滤波器742。
在左高频部1432L中,高频处理单元1337L接收第一输入信号1301A(过程1450的步骤1452)。高频处理单元1337L可以被配置为对信号1301A执行处理(步骤1454)。如以上所讨论,高频处理单元1337L可以包括一种或多种类型的滤波器,并且可以对与给定滤波器的功能相对应的信号1301A执行处理。然后,高频处理单元1337L将信号输出到高通滤波器736L。高通滤波器736L可以被配置为使具有高于高频阈值的频率的信号传递到组合器740L(步骤1456)。
在右高频部1432R中,高频处理单元1337R接收第一输入信号1301B(步骤1470)。高频处理单元1337R可以被配置为对信号1301B执行处理(步骤1472)。如以上所讨论,高频处理单元1337R可以包括一种或多种类型的滤波器,并且可以对与给定滤波器的功能相对应的信号1301B执行处理。然后,高频处理单元1337R将信号输出到高通滤波器736R。高通滤波器736R可以被配置为使具有高于高频阈值的频率的信号传递到组合器740R(步骤1474)。
在共享低频部1432S中,低通滤波器742接收第一输入信号1301A。低通滤波器742可以被配置为使具有小于低频阈值的频率的信号传递到组合器740L和740R(步骤1460)。
组合器740L接收来自(左高频部1432L的)高通滤波器736L和来自(共享低频部1432S的)低通滤波器742的信号。组合器740L组合(例如,求和)两个接收到的信号(步骤1462),并且输出第一输出信号1302L(步骤1464)。
组合器740R接收来自(右高频部1432R的)高通滤波器736R和来自(共享低频部1432S的)低通滤波器742的信号。组合器740R组合(例如,求和)两个接收到的信号(步骤1476),并且输出第二输出信号1302R(步骤1478)。
图15A示出根据一些实施例的排除高频处理单元的示例低频信道间相干性控制***的框图。图15B示出用于操作图15A的***的示例性方法的流程。
低频信道间相干性控制***1530可以包括左高频部1532L、共享低频部1532S和右高频1532R。左高频部1532L可以包括高通滤波器736L和组合器740L。类似地,右高频部1532R可以包括高通滤波器736R和组合器740R。共享低频部1532S可以包括低通滤波器742。
在左高频部1532L中,高通滤波器736L接收第一输入信号1301A(过程1550的步骤1552)。高通滤波器736L可以被配置为使具有高于高频阈值的频率的信号传递到组合器740L(步骤1554)。在右高频部1532R中,高通滤波器736R接收第二输入信号1301B(步骤1570)。高通滤波器736R可以被配置为使具有高于高频阈值的频率的信号传递到组合器740R(步骤1572)。在共享高频部1532S中,低通滤波器742接收第一输入信号1301A(步骤1560)。低通滤波器742可以被配置为使具有小于高频阈值的频率的信号传递到组合器740L和740R。
组合器740L接收来自(左高频部1332L的)高通滤波器736L和来自(共享低频部1532S的)低通滤波器742的信号。组合器740L组合(例如,求和)两个接收到的信号(步骤1562),并且输出第一输出信号1302L(步骤1564)。
组合器740R接收来自(右高频部1332R的)高通滤波器736R和来自(共享低频部1532S的)低通滤波器742的信号。组合器740R组合(例如,求和)两个接收到的信号(步骤1574),并且输出第二输出信号1302R(步骤1576)。
图15A的低频信道间相干性控制***1530可以类似于图14A的低频耳间相干性控制***1430,有所不同。例如,图14A的左高频部1432L和右高频部1432R分别包括高频处理单元1337L和1337R。另一方面,图15A的低频信道间相干性控制***1530不包括高频处理单元。在一些实施例中,包括图15A的低频耳间相干性控制***1530的***可以在***的其它部中包括高频处理单元,例如在低频信道间相干性控制***1530之前。
图16A示出根据一些实施例的排除共享频率部的示例低频信道间相干性控制***的框图。图16B示出用于操作图16A的***的示例性方法的流程。
低频信道间相干性控制***1630可以包括低频部1632L和高频部1632H。低频部1632L可以包括低通滤波器742。高频部可以包括高通滤波器736和组合器740。
低频部1632L的低通滤波器742可以接收第一输入信号1301A(过程1650的步骤1652)。高频部1632H的高通滤波器736可以接收第二输入信号1301B(步骤1670)。
信道间相干性控制***1630可以直接输出第一输入信号1301A作为第一输出信号1302L(步骤1660)。换句话说,第一输出信号1302L与第一输入信号1301A相同,这意味着第一输出信号1302L在低频耳间相干性控制***1630中未经过处理。
低通滤波器742可以被配置为使具有小于低频阈值的频率的信号传递组合器740(步骤1654)。高通滤波器736可以被配置为使具有高于高频阈值的频率的信号传递组合器740(步骤1672)。组合器740接收并组合(例如,求和)来自低频部1632L的低通滤波器742和来自高频部1632H的高通滤波器736的信号(步骤1674)。组合器740可以输出第二输出信号1302R(步骤1676)。
处理器可以根据用户当前环境的特性,将音频信号处理为具有低频相干性信号。示例性特性包括但不限于大小、形状、材料和声学特性。例如,砖墙可能导致与玻璃墙不同的相干性。作为另一示例,相对于不存在沙发时,当沙发位于当前环境中时,声音的声学特性可能不同。处理器可以使用关于用户当前环境的信息(例如,一个或多个特性)来设定用于以上讨论的音频信号处理的一个或多个特性(例如,吸收系数)。
在一些实施例中,处理器可以动态地确定特性(例如,动态地计算脉冲响应)。例如,***可以在存储器中存储一个或多个预定信号。可穿戴头部单元可以生成测试音频信号,并确定其在用户当前环境中的响应。例如,该响应可以是已通过用户当前环境传播的反射音频信号。处理器可以基于测试音频信号和反射音频信号之间的变化来确定特性。反射音频信号可以响应于所生成的测试音频信号。
在一些实施例中,处理器可以基于用户的一个或多个动作来确定特性。例如,处理器可以使用可穿戴头部设备上的传感器来确定用户是否已经改变了他们的注视目标,用户是否已经改变了他们的生命体征等。处理器可以使用确定的传感器信息来确定来自当前环境的哪些特性将导致用户的动作。
图17示出根据一些实施例的包括全通滤波器和低频信道间相干性控制***的示例反馈延迟网络(FDN)的框图。FDN 1715可以是混响***,该混响***采用输入信号(例如,单声道输入信号)并创建多信道输出。由FDN 1715创建的多信道输出可以是正确的衰减混响信号。
FDN 1715可以包括多个全通滤波器1730、多个延迟器1732和混合矩阵1740B。全通滤波器1730可以包括多个增益1726、吸收性延迟器1732和另一个混合矩阵1740A。FDN 1715还可以包括多个组合器(未示出)。
全通滤波器1730接收输入信号501,并且可以被配置为使信号501传递,使得输入到全通滤波器1730的功率可以等于从全通滤波器1730输出的功率。换句话说,每个全通滤波器1730可以不具有吸收。
吸收性延迟器1732可以接收输入信号501,并且可以被配置为在信号中引入延迟。在一些实施例中,吸收性延迟器1732可以将其输入信号延迟多个采样。在一些实施例中,每个吸收性延迟器1732可以具有吸收水平,使得其输出信号比其输入信号小一些水平。
增益1726A和1726B可以被配置为在其相应的输入信号中引入增益。增益1726A的输入信号可以是到吸收性延迟器的输入信号,并且增益1726B的输出信号可以是到混合矩阵1740A的输出信号。
来自全通滤波器1630的输出信号可以是到延迟器1732的输入信号。延迟器1732可以接收来自全通滤波器1730的信号,并且可以被配置为将延迟引入到其相应的信号中。来自延迟器1732的输出信号可以被组合以形成输出信号502。
来自延迟器1732的输出信号也可以是到混合矩阵1740B中的输入信号。混合矩阵1640B可以输出其信号以反馈到全通滤波器1630中。在一些实施例中,每个混合矩阵可以是全混合矩阵。
FDN 1715可以耦合到图15A的低频信道间相干性控制***1530。本领域普通技术人员将理解,FDN可以与以上公开的低频信道间相干性控制***中的任何一个相结合。
关于上述***和方法,该***和方法的元件可以由一个或多个计算机处理器(例如,CPU或DSP)适当地实现。本公开不限于用于实现这些元件的计算机硬件的任何特定配置,包括计算机处理器。在一些情况下,可以采用多个计算机***来实现上述***和方法。例如,可以采用第一计算机处理器(例如,耦合到麦克风的可穿戴设备的处理器)来接收输入的麦克风信号,并执行那些信号的初始处理(例如,信号调节和/或分段,诸如以上所述)。然后可以采用第二(并且也许是更强大的计算能力的)处理器来执行更多的计算密集型处理,诸如确定与那些信号的语音片段关联的概率值。诸如云服务器的另一计算机设备可以托管(host)语音识别引擎,最终向其提供输入信号。其它合适的配置将是显而易见的,并且在本公开的范围内。
尽管已经参考附图充分描述了所公开的示例,但是应当注意,各种改变和修改对于本领域技术人员将变得显而易见。例如,一个或多个实现方式的元素可以被组合、删除、修改或补充以形成进一步的实现方式。此类的改变和修改应被理解为包括在由所附权利要求限定的所公开示例的范围内。
Claims (16)
1.一种***,包括:
可穿戴头部设备,其被配置为向用户提供音频信号,所述音频信号包括左耳信号和右耳信号;以及
低频耳间相干性控制***,包括:
多个部,包括:
低频部,其被配置为接收第一信号,所述低频部包括低通滤波器,所述低通滤波器被配置为将输入信号的具有低于低频阈值的频率的部分传递到所述低频部;以及
一个或多个高频部,所述一个或多个高频部包括被配置为接收第二信号的第一高频部,所述第一高频部包括:
第一高通滤波器,其被配置为将输入信号的具有大于高频阈值的频率的部分传递到所述第一高频部,以及
第一组合器,其被配置为接收并组合所述低频部的输出信号和所述第一高通滤波器的输出信号,以生成所述右耳信号。
2.根据权利要求1所述的***,其中,所述左耳信号是所述第一信号。
3.根据权利要求1所述的***,其中,所述一个或多个高频部还包括被配置为接收所述第一信号的第二高频部,所述第二高频部包括:
第二高通滤波器,其被配置为将所述输入信号的具有大于所述高频阈值的频率的部分传递到所述低频部,以及
第二组合器,其被配置为接收并组合所述低频部的输出信号和所述第二高通滤波器的输出信号,以生成所述左耳信号。
4.根据权利要求1所述的***,其中,所述一个或多个高频部中的至少一个高频部还包括高频处理单元,其中,所述高频处理单元被配置为生成到相应的高通滤波器的输入信号。
5.根据权利要求1所述的***,其中,所述一个或多个高频部中的至少一个高频部还包括高频处理单元,其中,所述高频处理单元被配置为接收相应的高通滤波器的输出信号,并生成到相应的组合器的输入信号。
6.根据权利要求5所述的***,其中,所述高频处理单元包括吸收性嵌套式全通滤波器。
7.根据权利要求5所述的***,其中,所述高频处理单元包括嵌套式全通滤波器。
8.根据权利要求1所述的***,其中,所述低频部还包括延迟器,所述延迟器被配置为接收来自所述低通滤波器的被传递的输入信号的部分并在其中引入延迟。
9.根据权利要求8所述的***,其中,所述延迟器是吸收性延迟器。
10.根据权利要求1所述的***,还包括:
包括多个梳状滤波器的混响器,所述混响器被配置为接收输入信号并将信号输出到所述低频耳间相干性控制***。
11.一种向用户提供音频信号的方法,所述方法包括:
由低频部接收第一信号;
使用低通滤波器过滤并传递所述第一信号的具有低于低频阈值的频率的部分;
由高频部接收第二信号;
使用第一高通滤波器过滤并传递所述第二信号的具有大于高频阈值的频率的部分;以及
使用第一组合器来组合所述低频部的输出信号和所述第一高通滤波器的输出信号,以生成右耳信号。
12.根据权利要求11所述的方法,还包括:
输出所述第一信号作为左耳信号。
13.根据权利要求11所述的方法,还包括:
使用第二高通滤波器过滤并传递所述第一信号的具有大于所述高频阈值的频率的部分;以及
使用第二组合器来组合所述低频部分的输出信号和所述第二高通滤波器的输出信号,以生成左耳信号。
14.根据权利要求11所述的方法,还包括:
使用全通滤波器来分别修改所述第一信号或所述第二信号的相位,而不改变所述第一信号或所述第二信号的幅度响应。
15.根据权利要求11所述的方法,还包括:
配置具有一个或多个吸收系数的一个或多个吸收性延迟单元,以使得所述***的混响时间等于目标混响时间。
16.根据权利要求15所述的方法,还包括:
确定环境的一个或多个特性;以及
基于所确定的所述环境的一个或多个特性来确定所述一个或多个吸收系数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862684086P | 2018-06-12 | 2018-06-12 | |
US62/684,086 | 2018-06-12 | ||
PCT/US2019/036859 WO2020076377A2 (en) | 2018-06-12 | 2019-06-12 | Low-frequency interchannel coherence control |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112470218A true CN112470218A (zh) | 2021-03-09 |
CN112470218B CN112470218B (zh) | 2024-06-21 |
Family
ID=68764421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980048976.7A Active CN112470218B (zh) | 2018-06-12 | 2019-06-12 | 低频信道间相干性控制 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10841727B2 (zh) |
EP (1) | EP3807877A4 (zh) |
JP (2) | JP7402185B2 (zh) |
CN (1) | CN112470218B (zh) |
WO (1) | WO2020076377A2 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7402185B2 (ja) | 2018-06-12 | 2023-12-20 | マジック リープ, インコーポレイテッド | 低周波数チャネル間コヒーレンス制御 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1879450A (zh) * | 2003-11-12 | 2006-12-13 | 莱克技术有限公司 | 音频信号处理***和方法 |
CN1933677A (zh) * | 2005-09-12 | 2007-03-21 | 索尼株式会社 | 噪音减小装置、方法以及用于电子设备的拾音器装置 |
CN101971647A (zh) * | 2008-03-14 | 2011-02-09 | 皇家飞利浦电子股份有限公司 | 声音***及其操作方法 |
CN103348686A (zh) * | 2011-02-10 | 2013-10-09 | 杜比实验室特许公司 | 用于风检测和抑制的***和方法 |
CN108781331A (zh) * | 2016-01-19 | 2018-11-09 | 云加速360公司 | 用于头戴式扬声器的音频增强 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5420929A (en) * | 1992-05-26 | 1995-05-30 | Ford Motor Company | Signal processor for sound image enhancement |
JP2000069599A (ja) | 1998-08-24 | 2000-03-03 | Victor Co Of Japan Ltd | 残響音生成装置及び方法 |
AUPQ938000A0 (en) | 2000-08-14 | 2000-09-07 | Moorthy, Surya | Method and system for recording and reproduction of binaural sound |
JP2004040292A (ja) | 2002-07-01 | 2004-02-05 | Matsushita Electric Ind Co Ltd | 低音再生回路 |
JP2005223714A (ja) * | 2004-02-06 | 2005-08-18 | Sony Corp | 音響収音装置、音響収音方法、記録媒体 |
GB0419346D0 (en) | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
JP2006303799A (ja) | 2005-04-19 | 2006-11-02 | Mitsubishi Electric Corp | 音響信号再生装置 |
KR100739776B1 (ko) | 2005-09-22 | 2007-07-13 | 삼성전자주식회사 | 입체 음향 생성 방법 및 장치 |
EP2248352B1 (en) | 2008-02-14 | 2013-01-23 | Dolby Laboratories Licensing Corporation | Stereophonic widening |
TWI475896B (zh) * | 2008-09-25 | 2015-03-01 | Dolby Lab Licensing Corp | 單音相容性及揚聲器相容性之立體聲濾波器 |
US8553897B2 (en) * | 2009-06-09 | 2013-10-08 | Dean Robert Gary Anderson | Method and apparatus for directional acoustic fitting of hearing aids |
SG11201407255XA (en) | 2012-05-29 | 2014-12-30 | Creative Tech Ltd | Stereo widening over arbitrarily-configured loudspeakers |
US9326067B2 (en) * | 2013-04-23 | 2016-04-26 | Personics Holdings, Llc | Multiplexing audio system and method |
ES2709248T3 (es) * | 2014-01-03 | 2019-04-15 | Dolby Laboratories Licensing Corp | Generación de audio binaural en respuesta a un audio multicanal que usa al menos una red de retardo de retroalimentación |
EP3453190A4 (en) * | 2016-05-06 | 2020-01-15 | DTS, Inc. | SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK |
JP6124203B1 (ja) | 2016-05-13 | 2017-05-10 | 株式会社ボーダレス | 音響信号処理装置及びそれを装備したヘルメット |
JP7402185B2 (ja) | 2018-06-12 | 2023-12-20 | マジック リープ, インコーポレイテッド | 低周波数チャネル間コヒーレンス制御 |
-
2019
- 2019-06-12 JP JP2020568523A patent/JP7402185B2/ja active Active
- 2019-06-12 EP EP19871685.4A patent/EP3807877A4/en active Pending
- 2019-06-12 CN CN201980048976.7A patent/CN112470218B/zh active Active
- 2019-06-12 WO PCT/US2019/036859 patent/WO2020076377A2/en unknown
- 2019-06-12 US US16/439,540 patent/US10841727B2/en active Active
-
2020
- 2020-10-06 US US17/064,476 patent/US11252528B2/en active Active
-
2023
- 2023-10-04 JP JP2023172753A patent/JP7507300B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1879450A (zh) * | 2003-11-12 | 2006-12-13 | 莱克技术有限公司 | 音频信号处理***和方法 |
CN1933677A (zh) * | 2005-09-12 | 2007-03-21 | 索尼株式会社 | 噪音减小装置、方法以及用于电子设备的拾音器装置 |
CN101971647A (zh) * | 2008-03-14 | 2011-02-09 | 皇家飞利浦电子股份有限公司 | 声音***及其操作方法 |
CN103348686A (zh) * | 2011-02-10 | 2013-10-09 | 杜比实验室特许公司 | 用于风检测和抑制的***和方法 |
CN108781331A (zh) * | 2016-01-19 | 2018-11-09 | 云加速360公司 | 用于头戴式扬声器的音频增强 |
Also Published As
Publication number | Publication date |
---|---|
JP2023168544A (ja) | 2023-11-24 |
US10841727B2 (en) | 2020-11-17 |
US20190379997A1 (en) | 2019-12-12 |
US11252528B2 (en) | 2022-02-15 |
JP7402185B2 (ja) | 2023-12-20 |
JP2021527353A (ja) | 2021-10-11 |
CN112470218B (zh) | 2024-06-21 |
US20210160650A1 (en) | 2021-05-27 |
EP3807877A2 (en) | 2021-04-21 |
EP3807877A4 (en) | 2021-08-04 |
WO2020076377A2 (en) | 2020-04-16 |
WO2020076377A3 (en) | 2020-05-28 |
JP7507300B2 (ja) | 2024-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112567768B (zh) | 用于交互式音频环境的空间音频 | |
US10779103B2 (en) | Methods and systems for audio signal filtering | |
CN112470102A (zh) | 高效渲染虚拟声场 | |
US20220130370A1 (en) | Reverberation gain normalization | |
JP7507300B2 (ja) | 低周波数チャネル間コヒーレンス制御 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |