CN113366863B - 补偿头戴式装置对头部相关传递函数的影响 - Google Patents

补偿头戴式装置对头部相关传递函数的影响 Download PDF

Info

Publication number
CN113366863B
CN113366863B CN202080012069.XA CN202080012069A CN113366863B CN 113366863 B CN113366863 B CN 113366863B CN 202080012069 A CN202080012069 A CN 202080012069A CN 113366863 B CN113366863 B CN 113366863B
Authority
CN
China
Prior art keywords
headset
hrtfs
test
user
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080012069.XA
Other languages
English (en)
Other versions
CN113366863A (zh
Inventor
大卫·卢·阿龙
玛丽亚·奎瓦斯罗德里格斯
拉维什·迈赫拉
菲利普·罗宾逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN113366863A publication Critical patent/CN113366863A/zh
Application granted granted Critical
Publication of CN113366863B publication Critical patent/CN113366863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)

Abstract

一种音频***通过用户佩戴的头戴式装置的传声器捕获测试声音的音频数据。测试声音由外置扬声器播放，并且音频数据包括针对头戴式装置相对于外置扬声器的不同定向而捕获的音频数据。至少部分地基于在头戴式装置的不同定向处的测试声音的音频数据来计算一组头部相关传递函数(HRTF)。丢弃一组HRTF的一部分以创建一组中间HRTF。丢弃部分对应于部分地基于佩戴头戴式装置的一个或更多个失真区域。使用一组中间HRTF中的至少一些来生成对应于丢弃部分的一个或更多个HRTF，从而为用户创建一组个体化的HRTF。

Description

补偿头戴式装置对头部相关传递函数的影响
相关申请的交叉引用
本申请要求在2019年1月30日提交的美国临时申请第62/798,813号和2019年9月6日提交的美国非临时申请第16/562,616号的权益和优先权，这些申请通过引用以其整体并入本文。
发明领域
本公开总体上涉及头部相关传递函数(HRTF)，并且具体地涉及补偿头戴式装置(headset)对HRTF的影响。
背景
传统地，在声音阻尼室(sound dampening chamber)中针对相对于人的许多不同源定位(例如，通常超过100个定位)确定头部相关传递函数(HRTF)。所确定的HRTF然后可用于向该人提供空间化音频内容。此外，为了减少误差，通常为每个源定位确定多个HRTF(即，每个扬声器生成多个离散声音)。因此，对于音频内容的高质量空间化，需要相对较长的时间(例如，超过一个小时)来确定HRTF，因为存在针对许多不同扬声器定位确定的多个HRTF。此外，用于测量足以产生优质环绕声的HRTF的基础设施相当复杂(例如，声音阻尼室、一个或更多个扬声器阵列等)。因此，就所需的硬件资源和/或时间而言，用于获取HRTF的常规方法是低效的。
概述
实施例涉及一种用于为用户获取一组个体化的HRTF的***和方法。在一个实施例中，HRTF***确定一组失真区域，这些失真区域是其中声音通常因头戴式装置的存在而失真的部分HRTF。HRTF***为一群测试用户捕获音频测试数据，无论是在打开头戴式装置还是在关闭头戴式装置的情况下。音频测试数据用于确定多组HRTF。针对该群测试用户分析和比较具有头戴式装置的测试用户的多组HRTF和不具有头戴式装置的测试用户的多组HRTF确定测试用户群体常见的失真HRTF的频率相关区域和方向相关区域。
人工现实***的音频***通过考虑失真区域来补偿多组HRTF的失真。用户佩戴配备有用于捕获用户耳道中的声音的装置(即传声器)的头戴式装置。音频***通过外置扬声器播放测试声音，并记录在相对于外置扬声器的不同方向定向上如何在用户耳朵中捕获测试声音的音频数据。对于每个测量方向，计算初始HRTF，从而形成一组初始HRTF。对应于失真区域的该组初始HRTF的部分被丢弃。对丢弃的区域进行内插以计算一组个体化的HRTF，该组HRTF补偿头戴式装置失真。
根据以下权利要求中的至少一项，本发明解决了上述问题。
根据本发明的一些实施方式，一种方法包括以下步骤：通过用户佩戴的头戴式装置的传声器捕获测试声音的音频数据，所述测试声音由外置扬声器播放，并且所述音频数据包括针对所述头戴式装置相对于所述外置扬声器的不同定向捕获的音频数据；至少部分地基于在所述头戴式装置的不同定向处的测试声音的所述音频数据计算一组头部相关传递函数(HRTF)，所述一组HRTF在用户佩戴所述头戴式装置时针对该用户进行个体化；丢弃所述一组HRTF的一部分以创建一组中间HRTF，所述丢弃部分对应于部分地基于佩戴所述头戴式装置的一个或更多个失真区域；并且使用所述一组中间HRTF中的至少一些来生成与所述丢弃部分相对应的一个或更多个HRTF，从而为所述用户创建一组个体化的HRTF。
根据本发明的一种可能的实施方式，使用识别所述一个或更多个失真区域的失真映射(distortion mapping)来确定所述丢弃部分，其中，所述失真映射部分地基于在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF和在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较。
根据本发明的一种可能的实施方式，所述失真映射是多个失真映射中的一个，每个失真映射都与不同的身体特征(physical characteristics)相关，并且其中，所述方法进一步包括：基于所述用户的特征生成查询，其中，所述查询用于基于与所述失真映射相关联的特征对应的所述用户的所述特征来识别所述失真映射。
根据本发明的一种可能的实施方式，所述丢弃部分包括至少一些对应于所述头戴式装置的定向的HRTF，其中来自所述外置扬声器的声音在到达所述用户的耳道之前入射到所述头戴式装置上。
根据本发明的一种可能的实施方式，使用所述一组中间HRTF中的至少一些来生成对应于所述丢弃部分的所述一个或更多个HRTF的所述步骤包括对所述一组中间HRTF中的至少一些进行内插以生成对应于所述丢弃部分的所述一个或更多个HRTF。
根据本发明的一种可能的实施方式，所述针对所述头戴式装置相对于所述外置扬声器的不同定向捕获所述音频数据的步骤进一步包括：在虚拟空间的坐标处生成指示符，所述指示符对应于所述用户佩戴的所述头戴式装置相对于外置扬声器的特定定向；并且在所述头戴式装置的显示器上呈现所述虚拟空间中的所述坐标的所述指示符；确定所述头戴式装置相对于所述外置扬声器的第一定向为特定定向；当所述头戴式装置处于第一定向时，指示所述外置扬声器播放测试声音；从所述传声器获取所述音频数据。
根据本发明的一种可能的实施方式，所述方法进一步包括以下步骤：将所述一组个体化的HRTF上传到HRTF***，所述HRTF***使用所述一组个体化的HRTF中的至少一些来更新失真映射，该失真映射是根据在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF与在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较生成的。
根据本发明的一些实施方式，一种存储可执行计算机程序指令的非暂时性计算机可读存储介质，所述指令可执行以执行包括以下步骤的步骤：通过用户佩戴的头戴式装置的传声器捕获测试声音的音频数据，所述测试声音由外置扬声器播放，并且所述音频数据包括针对所述头戴式装置相对于所述外置扬声器的不同定向捕获的音频数据；至少部分地基于在所述头戴式装置的所述不同定向处的所述测试声音的所述音频数据计算一组头部相关传递函数(HRTF)，该组HRTF在用户佩戴所述头戴式装置时针对该用户进行个体化；丢弃该组HRTF的一部分以创建一组中间HRTF，所述丢弃部分对应于部分地基于佩戴所述头戴式装置的一个或更多个失真区域；并且使用所述一组中间HRTF中的至少一些来生成与所述丢弃部分相对应的一个或更多个HRTF，从而为所述用户创建一组个体化的HRTF。
根据本发明的一种可能的实施方式，使用识别所述一个或更多个失真区域的失真映射来确定所述丢弃部分，其中，所述失真映射部分地基于在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF和在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较。
根据本发明的一种可能的实施方式，所述失真映射是多个失真映射中的一个，每个失真映射都与不同的身体特征相关，并且其中，该方法进一步包括：基于所述用户的特征生成查询，其中，所述查询用于基于与所述失真映射相关联的特征对应的所述用户的所述特征来识别所述失真映射。
根据本发明的一种可能的实施方式，所述丢弃部分包括至少一些对应于所述头戴式装置的定向的HRTF，其中来自所述外置扬声器的声音在到达所述用户的耳道之前入射到所述头戴式装置上。
根据本发明的一种可能的实施方式，使用所述一组中间HRTF中的至少一些来生成对应于所述丢弃部分的所述一个或更多个HRTF的所述步骤包括对所述一组中间HRTF中的至少一些进行内插以生成对应于所述丢弃部分的所述一个或更多个HRTF。
根据本发明的一种可能的实施方式，所述针对所述头戴式装置相对于所述外置扬声器的不同定向捕获所述音频数据的步骤进一步包括：在虚拟空间的坐标处生成指示符，所述指示符对应于所述用户佩戴的头戴式装置相对于外置扬声器的特定定向；并且在所述头戴式装置的显示器上呈现所述虚拟空间中的所述坐标的所述指示符；确定所述头戴式装置相对于所述外置扬声器的第一定向为特定定向；指示所述外置扬声器在所述头戴式装置处于第一定向时播放测试声音；从所述传声器获取所述音频数据。
根据本发明的一种可能的实施方式，所述指令进一步包括以下步骤：将所述一组个体化的HRTF上传到HRTF***，其中，所述HRTF***使用所述一组个体化的HRTF中的至少一些来更新失真映射，失真映射是根据在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF与在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较生成的。
根据本发明的一些实施方式，一种***包括：外置扬声器，该外置扬声器被配置为播放一个或更多个测试声音；传声器组件，该传声器组件被配置为捕获一个或更多个测试声音的音频数据；以及头戴式装置，该头戴式装置被配置为由用户佩戴，并且包括音频控制器，该音频控制器被配置为：至少部分地基于所述测试声音的所述音频数据并且在所述头戴式装置的多个不同定向处计算一组头部相关传递函数(HRTF)，该组HRTF在用户佩戴所述头戴式装置时针对该用户进行个体化；丢弃一组HRTF的一部分以创建一组中间HRTF，该部分对应于部分地基于佩戴所述头戴式装置的一个或更多个失真区域；并且使用所述一组中间HRTF中的至少一些来生成与所述丢弃部分相对应的一个或更多个HRTF，从而为所述用户创建一组个体化的HRTF。
根据本发明的一种可能的实施方式，使用识别所述一个或更多个失真区域的失真映射来确定所述丢弃部分，其中，所述失真映射部分地基于在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF和在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较。
根据本发明的一种可能的实施方式，所述失真映射是多个失真映射中的一个，每个失真映射都与不同的身体特征相关，并且其中，所述头戴式装置的音频***进一步被配置为：基于所述用户的特征向服务器发送查询，其中，所述查询用于基于与所述失真映射相关联的特征对应的所述用户的所述特征来识别所述失真映射；并从所述服务器接收所述失真映射。
根据本发明的一种可能的实施方式，所述丢弃部分包括至少一些对应于所述头戴式装置的定向的HRTF，其中来自所述外置扬声器的声音在到达所述用户的耳道之前入射到所述头戴式装置上。
根据本发明的一种可能的实施方式，所述音频控制器使用所述一组中间HRTF中的至少一些来生成对应于所述丢弃部分的所述一个或更多个HRTF包括：对所述一组中间HRTF中的至少一些进行内插以生成对应于所述丢弃部分的所述一个或更多个HRTF。
根据本发明的一种可能的实施方式，所述头戴式装置进一步被配置为：在虚拟空间的坐标处生成指示符，所述指示符对应于所述用户佩戴的头戴式装置相对于外置扬声器的特定定向；并且在所述头戴式装置的显示器上呈现所述虚拟空间中的所述坐标的所述指示符；确定所述头戴式装置相对于所述外置扬声器的第一定向为所述特定定向；指示所述外置扬声器在所述头戴式装置处于所述第一定向时播放测试声音；从所述传声器获取所述音频数据。
附图简述
图1A是根据一个或更多个实施例的用于获取与佩戴头戴式装置的测试用户相关联的音频数据的声音测量***(SMS)的示图。
图1B是根据一个或更多个实施例的被配置为获取与未佩戴头戴式装置的测试用户相关联的音频数据的图1A的SMS的示图。
图2是根据一个或更多个实施例的HRTF***的框图。
图3是示出根据一个或更多个实施例的用于确定一组失真区域的过程的流程图。
图4A是根据一个或更多个实施例的用于使用外置扬声器和所生成的虚拟空间获取与佩戴头戴式装置的用户相关联的音频数据的示例人工现实***的示图。
图4B是根据一个或更多个实施例的显示器的示图，其中由头戴式装置显示对准提示和指示符并且用户的头部未处于正确定向。
图4C是根据一个或更多个实施例的图4B的显示器的示图，其中用户的头部处于正确的定向。
图5是根据一个或更多个实施例的用于为用户确定个体化的HRTF的***的***环境的框图。
图6是示出根据一个或更多个实施例的为用户获取一组个体化的HRTF的过程的流程图。
图7A是根据一个或更多个实施例的实施为眼部佩戴物(eyewear)装置的头戴式装置的透视图。
图7B是根据一个或更多个实施例的实施为HMD的头戴式装置的透视图。
图8是根据一个或更多个实施例的包括头戴式装置和控制台的***环境的框图。
附图仅出于说明的目的描绘了本公开的实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本文描述的本公开的原理或所推崇的益处的情况下，可以采用本文所示的结构和方法的替代实施例。
详细描述
本公开的实施例可以包括人工现实***或结合人工现实***来实现。人工现实是一种在呈现给用户之前已以某种方式进行调整的现实形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的(例如，现实世界的)内容相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，并且其中的任何一个都可以在单个通道或多个通道中呈现(诸如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式用于人工现实(例如，在其中执行活动)的应用、产品、附件、服务或其某种组合相关联。提供人工现实内容的人工现实***可以在各种平台上实现，包括头戴式装置、连接到主机计算机***的头戴式装置、独立头戴式装置、移动装置或计算***，或任何其他能够向一个或更多个观看者提供人工现实内容的硬件平台。
综述
本文的HRTF***用于收集音频测试数据以确定因头戴式装置的存在而失真的HRTF的公共部分。HRTF***在测试用户佩戴头戴式装置和不佩戴头戴式装置的情况下，在处于声学室(acoustic chamber)中的测试用户的耳道处捕获音频测试数据。分析和比较音频测试数据以确定头戴式装置的存在对个体化的HRTF的影响。为测试用户群体收集音频测试数据并将其用于确定一组失真区域，在失真区域，HRTF通常因头戴式装置的存在而失真。
头戴式装置的音频***使用来自HRTF***的信息为用户计算一组个体化的HRTF，该HRTF补偿头戴式装置对HRTF的影响。用户佩戴头戴式装置，并且音频***捕获从外置扬声器发出的测试声音的音频数据。外置扬声器可以例如与头戴式装置和音频***在物理上分开。音频***至少部分地基于在头戴式装置的不同定向处的测试声音的音频数据来计算一组初始HRTF。音频***丢弃一组初始HRTF的一部分(部分地基于HRTF服务器确定的至少一些失真区域)以创建一组中间HRTF。该组中间HRTF由该组HRTF中未被丢弃的HRTF形成。一组HRTF的丢弃部分对应于由头戴式装置的存在引起的一个或更多个失真区域。音频***(例如，经由内插)生成对应于该组的丢弃部分的一个或更多个HRTF，该HRTF与一组中间HRTF中的至少一些组合来为用户创建一组个体化的HRTF。该组个体化的HRTF是为用户定制的，从而减轻了因佩戴头戴式装置而引起的HRTF中的误差，因而模拟不戴头戴式装置的用户的实际HRTF。音频***可以使用一组个体化的HRTF来向用户呈现空间化的音频内容。空间化音频内容是可以呈现为好像它位于三维空间中的特定点的音频。例如，在虚拟环境中，与头戴式装置显示的虚拟对象相关联的音频可能看起来源自虚拟对象。
须注意，以这种方式，即使用户佩戴头戴式装置，音频***也能够有效地为用户生成一组个体化的HRTF。这比在定制的声音阻尼室中测量用户实际HRTF的常规方法更快、更容易、且更便宜。
示例失真映射***
图1A是根据一个或更多个实施例的用于获取与佩戴头戴式装置120的测试用户110相关联的音频测试数据的声音测量***(SMS)100的示图。声音测量***100是HRTF***的一部分(例如，如下面关于图2所描述的)。SMS 100包括扬声器阵列130和双耳传声器140a、140b。在所示的实施例中，测试用户110在佩戴头戴式装置120(例如，如关于图7A和图7B更详细地描述的)。头戴式装置120可以被称为测试头戴式装置。SMS 100用于测量音频测试数据以确定测试用户110的一组HRTF。SMS100被容纳在经过声学处理的腔室内。在一个特定实施例中，SMS 100在低至约500赫兹(Hz)的频率是消声(anechoic)的。
在一些实施例中，测试用户110是人类。在这些实施例中，收集大量不同人的音频测试数据是有用的。这些人可以具有不同的年龄、不同的体型、不同的性别、具有不同的头发长度等。通过这种方式，可以在大量人群中收集音频测试数据。在其他实施例中，测试用户110是人体模型。人体模型可以例如具有代表普通人的身体特征(例如耳朵形状、大小等)。
扬声器阵列130根据来自SMS 100的控制器的指令发出测试声音。测试声音是扬声器传送的可用于确定HRTF的可听信号。测试声音可能具有一个或更多个指定特性，诸如频率、音量和传输长度。测试声音可以包括例如恒定频率的连续正弦波、啁啾、一些其他音频内容(例如，音乐)或其某种组合。啁啾是在一段时间内向上或向下扫频的信号。扬声器阵列130包括多个扬声器，包括扬声器150，其被定位以将声音投射到目标区域。目标区域是测试用户110在SMS 100操作期间所处的位置。多个扬声器中的每个扬声器相对于目标区域中的测试用户110位于不同的位置。须注意，虽然扬声器阵列130在图1A和图1B中以二维描绘，但应注意扬声器阵列130还可包括处于其他位置和/或维度(例如，跨三维)的扬声器。在一些实施例中，扬声器阵列130中的扬声器被定位成以-66°到+85°的仰角跨度，每个扬声器150之间的间距为9°-10°，并且在整个球体周围以每10°的方位角跨度。也就是说，36个方位角和17个仰角，产生了扬声器150相对于测试用户110的总共612个不同的角度。在一些实施例中，扬声器阵列130的一个或更多个扬声器可以相对于目标区域动态地改变它们的位置(例如，以方位角和/或仰角改变其位置)。须注意，在上面的描述中，测试用户110是静止的(即，目标区域内耳朵的位置基本上保持不变)。
双耳传声器140a、140b(统称为“140”)捕获由扬声器阵列130发出的测试声音。捕获的测试声音被称为音频测试数据。双耳传声器140均放置在测试用户的耳道中。如图所示，双耳传声器140a放置在用户右耳的耳道中，而传声器140b放置在用户左耳的耳道中。在一些实施例中，传声器140嵌入在测试用户110佩戴的泡沫耳塞中。如以下关于图2详细讨论的，音频测试数据可用于确定一组HRTF。例如，由扬声器阵列130的扬声器150发出的测试声音被双耳传声器140捕获以作为音频测试数据。扬声器150具有相对于测试用户110的耳朵的特定位置，因此，可以使用相关联的音频测试数据来确定每只耳朵的特定HRTF。
图1B是根据一个或更多个实施例的被配置为获取与未佩戴头戴式装置的测试用户110相关联的音频测试数据的图1A的SMS 100的示图。在所示出的实施例中，SMS 100以上面关于图1A描述的相同方式收集音频测试数据，除了图1B中的测试用户110没有佩戴头戴式装置之外。因此，所收集的音频测试数据可用于确定测试用户110的实际HRTF，该HRTF不包括因佩戴头戴式装置120而引入的失真。
图2是根据一个或更多个实施例的HRTF***200的框图。HRTF***200捕获音频测试数据并确定HRTF通常因头戴式装置失真的部分。HRTF***200包括声音测量***210和***控制器240。在一些实施例中，***控制器240的一些或所有功能可以由SMS 210共享和/或执行。
SMS 210捕获音频测试数据，该音频测试数据将由HRTF***200使用以确定失真区域的映射。特别地，SMS 210用于捕获用于确定测试用户的HRTF的音频测试数据。SMS 210包括扬声器阵列220和传声器230。在一些实施例中，SMS 210是关于图1A和图1B描述的SMS100。捕获的音频数据存储在HRTF数据储存器245中。
扬声器阵列220根据来自***控制器240的指令发出测试声音。扬声器阵列220所传送的测试声音例如可以包括啁啾(在一段时间内向上或向下扫频的信号)、可以用于HRTF确定的某种其他音频信号或者它们的一些组合。扬声器阵列220包括一个或更多个扬声器，其被定位以将声音投射到目标区域(即，测试用户所在的定位)。在一些实施例中，扬声器阵列220包括多个扬声器并且多个扬声器中的每个扬声器相对于目标区域中的测试用户位于不同的定位。在一些实施例中，多个扬声器中的一个或更多个扬声器可以相对于目标区域动态地改变它们的位置(例如，以方位角和/或仰角改变其位置)。在一些实施例中，多个扬声器中的一个或更多个扬声器可以通过指示测试用户转动他/她的头部来改变它们相对于测试用户的位置(例如，以方位角和/或仰角改变)。扬声器阵列130是扬声器阵列220的一个实施例。
传声器230捕获由扬声器阵列220发出的测试声音。捕获的测试声音被称为音频测试数据。传声器230包括用于每个耳道的双耳传声器，并且可以包括附加的传声器。附加传声器可以放置在例如耳朵周围的区域中、沿着头戴式装置的不同部分等放置。双耳传声器140是传声器230的一个实施例。
***控制器240生成HRTF***200的控制部件。***控制器240包括HRTF数据储存器245、HRTF模块250和失真识别模块255。***控制器240的一些实施例可以包括除了本文描述的那些部件之外的其他部件。类似地，部件的功能的分布可能与本文描述的不同。例如，在一些实施例中，HRTF模块250的一些或全部功能可以是SMS 210的一部分。
HRTF数据储存器245存储与HRTF***200相关的数据。HRTF数据储存器245可以存储例如与测试用户相关联的音频测试数据、佩戴头戴式装置的测试用户的HRTF、未佩戴头戴式装置的测试用户的HRTF、包括一个或更多个测试用户的多组失真区域的失真映射、包括一个或更多个测试用户群体的多组失真区域的失真映射、与测试用户的身体特征相关联的参数、与HRTF***200相关的其他数据、或其某种组合。与测试用户的身体特征相关联的参数可以包括性别、年龄、身高、耳朵几何形状、头部几何形状以及影响用户如何感知音频的其他身体特征。
HRTF模块250为扬声器阵列220生成指令。指令使得扬声器阵列220发出可以在传声器230处捕获的测试声音。在一些实施例中，指令使得扬声器阵列220的每个扬声器播放一个或更多个相应的测试声音。并且每个测试声音可以具有指定时间长度、指定音量、指定开始时间、指定停止时间和指定波形(例如，啁啾、频率音调等)中的一者或更多者。例如，指令可以使得扬声器阵列220的一个或更多个扬声器依次播放1秒对数正弦扫频(logarithmic sine sweep)，其频率范围从200Hz至20kHz、采样频率为48kHz、声级为94分贝的声压级(dB SPL)。在一些实施例中，扬声器阵列220的每个扬声器与相对于目标区域的不同位置相关联，因此，每个扬声器与相对于目标区域的特定方位角和仰角相关联。在一些实施例中，扬声器阵列220的一个或更多个扬声器可以与多个位置相关联。例如，一个或更多个扬声器可以改变相对于目标区域的位置。在这些实施例中，生成的指令还可以控制扬声器阵列220中的一些或所有扬声器的运动。在一些实施例中，扬声器阵列220的一个或更多个扬声器可以与多个位置相关联。例如，一个或更多个扬声器可以通过指示目标用户转动他/她的头部来改变相对于测试用户的位置。在这些实施例中，还可以将生成的指令呈现给测试用户。HRTF模块250将生成的指令提供给扬声器阵列220和/或SMS 210。
HRTF模块250使用经由传声器230捕获的音频测试数据为测试用户确定HRTF。在一些实施例中，对于扬声器阵列220中处于已知的仰角和方位角的扬声器播放的每个测试声音，传声器230捕获右耳的测试声音的音频测试数据和左耳的音频测试数据(例如，使用双耳传声器作为传声器230)。HRTF模块250分别使用右耳的音频测试数据和左耳的音频测试数据来确定右耳HRTF和左耳HRTF。右耳和左耳HRTF是针对多个不同方向(仰角和方位角)确定的，每个方向对应于扬声器阵列220中相应扬声器的不同位置。
每组HRTF都是根据特定测试用户的捕获的音频测试数据计算得出的。在一些实施例中，音频测试数据是头部相关脉冲响应(HRIR)，其中测试声音是脉冲。HRIR将声源(即，扬声器阵列220中的特定扬声器)的位置与测试用户的耳道的位置(即，传声器230的位置)相关联。HRTF是通过对每个对应的HRIR进行傅立叶变换来确定的。在一些实施例中，使用自由场脉冲响应数据减轻HRTF中的误差。自由场脉冲响应数据可以从HRIR中解卷积以移除扬声器阵列220和传声器230的单独频率响应。
在测试用户佩戴头戴式装置120(例如，如图1A所示)和测试用户未佩戴头戴式装置(例如，如图1B所示)的情况下，确定每个方向的HRTF。例如，在测试用户佩戴头戴式装置120(如图1A所示)的情况下在每个仰角和方位角确定HRTF，然后移除头戴式装置120，并且在用户未佩戴头戴式装置120(如图1B所示)的情况下在每个仰角和方位角测量HRTF。在佩戴和未佩戴头戴式装置120的情况下，可以针对测试用户群体(例如，数百、数千等的测试用户)捕获每个扬声器方向的音频测试数据。测试用户群体可以包括不同年龄、大小、性别、头发长度、头部几何形状、耳朵几何形状、可以影响HRTF的某种其他因素或其某种组合的个体。对于每个测试用户，存在在佩戴头戴式装置120的情况下的一组个体化的HRTF和在不戴头戴式装置120的情况下的一组个体化的HRTF。
失真识别模块255将佩戴头戴式装置的测试用户的多组HRTF中的一个或更多个与未佩戴头戴式装置的测试用户的多组HRTF中的一个或更多个进行比较。在一个实施例中，该比较涉及使用频谱差异误差(SDE)分析来评估两组HRTF并确定耳间(interaural)时间差(ITD)中的差异。
对于特定的测试用户，在没有头戴式装置情况下的一组HRTF和在具有头戴式装置的情况下的一组HRTF之间的SDE基于以下公式计算：
Figure GDA0004047468170000131
其中Ω是方向角(方位角和仰角)，f是测试声音的频率，HRTFWO(Ω,f)是针对方向Ω和频率f的没有头戴式装置的HRTF，以及HRTF头戴式装置(Ω,f)是针对方向Ω和频率f的在具有头戴式装置情况下的HRTF。SDE是在特定频率和方向针对在具有和不具有头戴式装置情况下的每对HRTF计算的。以每个频率和方向计算双耳的SDE。
在一个实施例中，还通过确定左右HRIR之间的相关性结果达到最大值的时间来估计ITD误差。对于每个测量的测试用户，ITD误差可以计算为针对每个方向的在没有头戴式装置情况下的HRTF的ITD和具有头戴式装置情况下的HRTF的ITD之差的绝对值。
在一些实施例中，佩戴头戴式装置的测试用户的一组HRTF与未佩戴头戴式装置的测试用户的一组HRTF的比较包括附加的主观分析。在一个实施例中，使其HRTF是在佩戴和不佩戴头戴式装置的情况下测量的每个测试用户都参与具有隐藏参考和锚点的多重刺激(Multiple Stimuli with Hidden Reference and Anchor)(MUSHRA)听力测试以证实客观分析的结果。特别地，MUSHRA测试由没有头戴式装置情况下的一组广义HRTF、具有头戴式装置情况下的一组广义HRTF、没有头戴式装置的测试用户的一组个体化的HRTF和具有头戴式装置的测试用户的一组个体化的HRTF组成，其中，没有头戴式装置情况下的一组个体化的HRTF是隐藏的参考，没有锚点。
失真识别模块255确定跨测试用户群体的平均比较。为了确定平均比较，针对每个测试用户的SDEWO-头戴式装置(Ω,f)在每个频率和方向跨测试用户群体进行平均，表示为
Figure GDA0004047468170000141
Figure GDA0004047468170000142
其中N是用户群体中测试用户的总数。在替代实施例中，
Figure GDA0004047468170000143
可以通过替代计算来确定。
在一个实施例中，该确定进一步包括对测量的频率跨度(例如，0-16kHz)求平均，表示为
Figure GDA0004047468170000144
发现在较高频率下SDE通常较高。也就是说，在较高频率，在具有头戴式装置情况下的HRTF与没有头戴式装置情况下的HRTF差异更为显著，这是因为在高频波长相对于头戴式装置的形状因子较大的事实。由于SDE在较高频率更大的总体趋势，因此对所有频率进行平均允许确定特定的方位角和仰角，在这些方位角和仰角，头戴式装置造成的失真更为严重。
跨测试用户群体平均的ITD误差
Figure GDA0004047468170000151
是基于以下公式计算的：
Figure GDA0004047468170000152
其中N是测试用户群体中的测试用户总数，
Figure GDA0004047468170000153
是用户i在方向Ω的没有头戴式装置的HRTF的最大ITD，以及/>
Figure GDA0004047468170000154
是用户i在方向Ω的具有头戴式装置的HRTF的最大ITD。
失真识别模块255确定失真映射，该失真映射基于跨测试用户群体通常失真的HRTF的部分来识别一组一个或更多个失真区域。使用
Figure GDA0004047468170000155
和
Figure GDA0004047468170000156
可以确定基于头戴式装置存在的HRTF失真的方向依赖性。
Figure GDA0004047468170000157
和/>
Figure GDA0004047468170000158
都可以在二维中绘制，以确定误差幅度最大的特定方位角和仰角。在一个实施例中，具有最大误差的方向由SDE和/或ITD的特定阈值确定。所确定的最大误差方向是一组一个或更多个失真区域。
在一个示例中，阈值是对侧方向(contralateral direction)上SDE大于4dB的高误差。在本例中，基于左侧HRTF的
Figure GDA0004047468170000159
方位角[-80°,-10°]和仰角[-30°,40°]的区域以及方位角[-120°,-100°]和仰角[-30°,0°]的区域高于SDE阈值。这些区域由此被确定为失真区域。
在另一个示例中，阈值是
Figure GDA00040474681700001510
在本例中，方位角[-115°,-100°]和仰角[-15°,0°]、方位角[-60°,-30°]和仰角[0°,30°]、方位角[30°,60°]和仰角[0°,30°]和方位角[100°,-115°]和仰角[-15°,0°]的这些区域所对应的方向高于ITD阈值。这些区域由此被确定为失真区域。
SDE和ITD分析和阈值可以确定不同的失真区域。特别是，ITD分析相比SDE分析可能产生更小的失真区域。在不同的实施例中，SDE和ITD分析可以彼此独立地使用，或者一起使用。
须注意，失真映射基于为测试用户群体确定的HRTF。在一些实施例中，群体可以是单个人体模型。但是在其他实施例中，群体可以包括具有不同身体特征的大横截面的多个测试用户。须注意，在一些实施例中，为具有一个或更多个共同身体特征(例如，年龄、性别、大小等)的群体确定失真图(distortion map)。以此方式，失真识别模块255可确定多个失真映射，每个失真映射被索引为一个或更多个特定身体特征。例如，一个失真映射可以专用于识别第一组失真区域的成人，而单独的失真图可以专用于可以识别不同于第一组失真区域的第二组失真区域的儿童。
HRTF***200可以与一个或更多个头戴式装置和/或控制台通信。在一些实施例中，HRTF***200被配置为从头戴式装置和/或控制台接收对失真区域的查询。在一些实施例中，查询可以包括关于头戴式装置的用户的参数，失真识别模块255使用该参数来确定一组失真区域。例如，查询可以包括关于用户的特定参数，诸如身高、体重、年龄、性别、耳朵的尺寸和/或佩戴的头戴式装置的类型。失真识别模块255可以使用一个或更多个参数来确定一组失真区域。也就是说，失真识别模块255使用由头戴式装置和/或控制台提供的参数来根据从具有相似特征的测试用户捕获的音频测试数据确定一组失真区域。HRTF服务器向发出请求的头戴式装置和/或控制台提供所确定的一组失真区域。在一些实施例中，HRTF服务器(例如经由网络)从头戴式装置接收信息(例如，关于用户的参数、多组个体化的HRTF、当用户佩戴头戴式装置时从头戴式装置和/或控制台测量的HRTF，或其某种组合)。HRTF服务器可以使用该信息来更新一个或更多个失真映射。
在一些实施例中，HRTF***200可以远离声音测量***210和/或与声音测量***210分开。例如，声音测量***210可以经由网络(例如，局域网、因特网等)与HRTF***200通信耦合。类似地，HRTF***200可以经由网络连接到其他部件，如下面参考图5和图8更详细地讨论的。
图3是示出根据一个或更多个实施例的获取一组失真区域的过程300的流程图。在一个实施例中，过程300由HRTF***200执行。在其他实施例中，其他实体(例如，服务器、头戴式装置、其他连接的装置)可以执行过程300的一些或所有步骤。同样，实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。
HRTF***200确定310佩戴头戴式装置的测试用户的一组HRTF和未佩戴头戴式装置的测试用户的一组HRTF。音频测试数据由位于或靠近测试用户的耳道的一个或更多个传声器捕获。在测试用户佩戴头戴式装置和用户不佩戴头戴式装置这两种情况下，为从各种定向播放的测试声音捕获音频测试数据。在具有头戴式装置和不具有头戴式装置的情况下收集每个定向的音频测试数据，使得可以比较针对具有头戴式装置的实例和不具有头戴式装置的实例的音频测试数据。在一个实施例中，这是通过上面关于图1A和图1B所讨论的过程来完成的。
须注意，可以针对测试用户群体捕获音频测试数据，该测试用户群体包括从其测量音频测试数据的一个或更多个测试用户。在一些实施例中，测试用户群体可以是一个或更多个人。可以基于不同的身体特征(诸如性别、年龄、耳朵几何形状、头部尺寸、可能影响测试用户的HRTF的某种其他因素或其某种组合)，来将一个或更多个人进一步划分为群体的子集。在其他实施例中，测试用户可以是人体模型头部。在一些实施例中，第一人体模型头部可具有普通身体特征，而其他人体模型可具有不同身体特征并且基于身体特征类似地细分为子集。
HRTF***200比较320佩戴头戴式装置的测试用户的一组HRTF和未佩戴头戴式装置的测试用户的一组HRTF。在一个实施例中，如先前关于图2的HRTF模块250和公式(1)所讨论的，使用SDE分析和/或ITD来执行比较320。可以针对测试用户群体重复比较320。多组HRTF和相应的音频测试数据可以基于测试用户群体的身体特征进行分组。
HRTF***200基于跨测试用户群体通常失真的HRTF的部分来确定330一组失真区域。在一些实施例中，测试用户群体是先前讨论的测试用户群体的子集。特别地，可以针对测试用户群体确定失真区域，该测试用户群体是测试用户总群体中基于身体特征满足一个或更多个参数的子集。在一个实施例中，HRTF***200使用SDE的平均值和ITD的平均值来确定330，如先前关于图2的失真识别模块255和公式(2)和(3)所讨论的。
用于计算多组个体化的HRTF的示例***
音频***使用来自HRTF***的信息和在头戴式装置的用户佩戴头戴式装置时计算出的HRTF来确定一组个体化的HRTF，该组个体化的HRTF补偿头戴式装置的影响。音频***为佩戴头戴式装置的用户收集音频数据。音频***可以为佩戴头戴式装置的用户确定HRTF和/或将音频数据提供给单独的***(例如，HRTF***和/或控制台)以用于HRTF确定。在一些实施例中，音频***基于先前由HRTF***捕获的音频测试数据请求一组失真区域，并使用该组失真区域来确定用户的一组个体化的HRTF。
图4A是根据一个或更多个实施例的用于使用外置扬声器430和所生成的虚拟空间440获取与佩戴头戴式装置420的用户410相关联的音频数据的示例人工现实***400的示图。由人工现实***400获取的音频数据因头戴式装置420的存在而失真，音频***使用该音频数据来计算补偿失真的用户410的一组个体化的HRTF。人工现实***400使用人工现实来实现在不使用消声室的情况下对用户410的个体化的HRTF的测量，诸如之前在图1A-图3中讨论的SMS 100、210。
用户410是个体，不同于图1A和图1B的测试用户110。用户410是人工现实***400的终端用户。用户410可以使用人工现实***400来创建一组个体化的HRTF，其补偿由头戴式装置420引起的HRTF的失真。用户410佩戴头戴式装置420和一对传声器450a、450b(统称为“450”)。如关于图7A和图7B更详细地描述的，头戴式装置420可以是与头戴式装置120相同的类型、型号或形状。传声器450可以具有与关于图1A所讨论的双耳传声器140相同的特性，或与关于图2所讨论的传声器230相同的特性。特别地，传声器450位于用户410的耳道入口处或附近。
外置扬声器430是被配置为向用户410传送声音(例如，测试声音)的装置。例如，外置扬声器430可以是智能手机、平板电脑、膝上型电脑、台式计算机的扬声器、智能扬声器或任何其他能够播放声音的电子装置。在一些实施例中，外置扬声器430由头戴式装置420经由无线连接驱动。在其他实施例中，外置扬声器430由控制台驱动。一方面，外置扬声器430固定在一个位置并传送传声器450可以接收的用于校准HRTF的测试声音。例如，外置扬声器430可以播放与由SMS 100、210的扬声器阵列130、220播放的那些相同的测试声音。在另一方面，外置扬声器430根据头戴式装置420上呈现的图像来提供用户410基于音频特征配置而可以最佳地听到的频率的测试声音。
虚拟空间440由人工现实***400生成以在测量个体化的HRTF的同时引导用户410的头部定向。用户410通过头戴式装置420的显示器查看虚拟空间440。术语“虚拟空间”440并非旨在进行限制。在一些各种实施例中，虚拟现实空间440可以包括虚拟现实、增强现实、混合现实或某种其他形式的人工现实。
在所示的实施例中，虚拟现实空间440包括指示符460。指示符460呈现在头戴式装置420的显示器上以指示用户410的头部定向。指示符460可以是光的，或者是呈现在头戴式装置420的显示器上的标记。头戴式装置420的位置可以通过成像装置和/或IMU(在图7A和图7B中示出)来追踪以确认指示符460是否与期望的头部定向对准。
在一个示例中，提示用户410查看指示符460。在确认指示符460与头部定向对准后，例如基于显示在HMD 420上的指示符460相对于十字准线(crosshair)的位置，外置扬声器430生成测试声音。对于每只耳朵，相应的传声器450a、450b捕获接收到的测试声音作为音频数据。
在传声器450成功捕获音频数据之后，提示用户410将其定向指向虚拟空间440中不同定位处的新指示符470。重复在指示符460处捕获音频数据的过程以在指示符470处捕获音频数据。在虚拟空间440中的不同定位处生成指示符460、470以捕获音频数据，该音频数据将用于确定在用户410的不同头部定向处的HRTF。虚拟空间440中不同定位处的每个指示符460、470使得能够测量不同方向(仰角和方位角)的HRTF。生成新的指示符并且重复捕获音频数据的过程以充分跨越虚拟空间440内的仰角和方位角。外置扬声器430的使用和虚拟空间440内经由头戴式装置420显示的指示符460、470的显示使得能够相对方便地测量用户410的个体化的HRTF的测量。也就是说，用户410可以在他们自己的家中利用人工现实***400在他们方便时执行这些步骤，而无需消声室。
图4B是根据一个或更多个实施例的显示器480的示图，其中由头戴式装置显示对准提示490和指示符460并且用户的头部未处于正确定向。如图4B所示，显示器480在显示器480的中心或在显示器480的一个或更多个预定像素处呈现对准提示490。在本实施例中，对准提示490为十字准线。但更一般地，对准提示490是任何文本和/或图形界面，其向用户显示用户的头部相对于显示的指示符460是否处于正确的定向。在一方面，对准提示490反映当前头部定向并且指示符460反映目标头部定向。当指示符460位于对准提示490的中心时，出现正确的定向。在图4B中描绘的示例中，指示符460位于显示器480的左上角，而不是在对准提示490上。因此，头部定向不是正确的定向。此外，因为指示符460和对准提示490没有对准，所以很明显用户他/她的头部没有处于正确的定向。
图4C是根据一个或更多个实施例的图4B的显示器的示图，其中用户的头部处于正确的定向。除了指示符460现在显示在十字准线490上之外，图4C上的显示器480基本上类似于图4B的显示器480。因此，确定头部定向与指示符460正确对准，并且针对头部定向测量用户的HRTF。也就是说，测试声音由外置扬声器430播放并且在传声器450处被捕获为音频数据。基于音频数据，在当前定向为每只耳朵确定HRTF。针对用户410的头部相对于外置扬声器430的多个不同定向重复关于图4B和图4C描述的过程。用户410的一组HRTF包括在每个测量的头部定向处的HRTF。
图5是根据一个或更多个实施例的用于为用户确定个体化的HRTF的***的***环境500的框图。***环境500包括外置扬声器505、HRTF***200、网络510和头戴式装置515。外置扬声器505、HRTF***200和头戴式装置515都经由网络510连接。
外置扬声器505是被配置为向用户传送声音的装置。在一个实施例中，根据来自头戴式装置515的命令操作外置扬声器505。在其他实施例中，外置扬声器505由外部控制台操作。外置扬声器505固定在一个位置处并传送测试声音。外置扬声器505传送的测试声音包括例如恒定频率的连续正弦波或啁啾。在一些实施例中，外置扬声器505是图4A的外置扬声器430。
网络510将头戴式装置515和/或外置扬声器505耦合到HRTF***200。网络510可以将附加部件耦合到HRTF***200。网络510可以包括使用无线和/或有线通信***的局域网和/或广域网的任何组合。例如，网络510可以包括因特网以及移动电话网络。在一个实施例中，网络510使用标准通信技术和/或协议。因此，网络510可以包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、2G/3G/4G移动通信协议、数字用户线(DSL)、异步传输模式(ATM)、InfiniBand、PCI Express Advanced Switching等技术的链路。同样，网络510上使用的网络协议可以包括多协议标签交换(MPLS)、传输控制协议/因特网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络510交换的数据可以使用包括二进制形式的图像数据(例如便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外，所有或部分链路都可以使用诸如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、因特网协议安全(IPsec)等常规加密技术进行加密。
头戴式装置515向用户呈现媒体。头戴式装置515呈现的媒体的示例包括一个或更多个图像、视频、音频或其任何组合。头戴式装置515包括显示组件520和音频***525。在一些实施例中，头戴式装置515是图4A的头戴式装置420。头戴式装置515的实施例的具体示例关于图7A和图7B进行描述。
显示组件520向佩戴头戴式装置515的用户显示视觉内容。特别地，显示组件520向用户显示2D或3D图像或视频。显示组件520使用一个或更多个显示元件来显示内容。显示元件可以是例如电子显示器。在各种实施例中，显示组件520包括单个显示元件或多个显示元件(例如，用于用户的每只眼睛的显示器)。显示元件的示例包括：液晶显示器(LCD)、发光二极管(LED)、显示器、微型发光二极管(μLED)显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、波导显示器、某种其他显示器或它们的组合。在一些实施例中，显示组件520至少部分透明。在一些实施例中，显示组件520是图4B和图4C的显示器480。
音频***525为佩戴头戴式装置515的用户确定一组个体化的HRTF。在一个实施例中，音频***525包括硬件，该硬件包括一个或更多个传声器530和扬声器阵列535以及音频控制器540。音频***525的一些实施例具有与结合图5描述的部件不同的部件。类似地，下面进一步描述的功能可以以不同于这里描述的方式分布在音频***525的部件之间。在一些实施例中，下面描述的一些功能可以由其他实体(例如，HRTF***200)来执行。
传声器组件530捕获由外置扬声器505发出的测试声音的音频数据。在一些实施例中，传声器组件530是位于或靠近用户耳道的一个或更多个传声器530。在其他实施例中，传声器组件530在头戴式装置515的外部并且由头戴式装置515经由网络510控制。传声器组件530可以是图4A的一对传声器450。
扬声器阵列535根据来自音频控制器540的指令为用户播放音频。扬声器阵列535为用户播放的音频可以包括促进一个或更多个传声器530捕获测试声音音频的指令。扬声器阵列535不同于外置扬声器505。
音频控制器540控制音频***525的部件。在一些实施例中，音频控制器540还可以控制外置扬声器505。音频控制器540包括多个模块，该模块包括测量模块550、HRTF模块555、失真模块560和内插模块565。须注意，在替代实施例中，音频控制器540的一些或所有模块可由其他实体(例如，HRTF***200)(全部或部分)执行。音频控制器540耦合到音频***525的其他部件。在一些实施例中，音频控制器540还经由通信耦合(例如，有线或无线通信耦合)耦合到外置扬声器505或***环境500的其他部件。音频控制器540可以对从传声器组件530获取的数据或其他接收到的数据执行初始处理。音频控制器540将接收到的数据传送到头戴式装置515和***环境500中的其他部件。
测量模块550配置外置扬声器505播放的测试声音的音频数据的捕获。测量模块550经由头戴式装置515向用户提供将他们的头部定向在特定方向上的指令。测量模块550经由网络510向外置扬声器505发送信号以播放一种或更多种测试声音。测量模块550指示一个或更多个传声器530捕获测试声音的音频数据。测量模块550针对头部定向的预定跨度重复该过程。在一些实施例中，测量模块550使用关于图4A-图4C描述的过程。
在一个实施例中，测量模块550向用户发送指令以使用扬声器阵列535将他们的头部定向在特定方向上。扬声器阵列535可以播放带有口头指令的音频或其他音频以指示特定的头部定向。在其他实施例中，测量模块550使用显示组件520向用户提供视觉线索(visual cues)以定向他/她的头部。测量模块550可以生成带有指示符的虚拟空间，诸如图4A的虚拟空间440和指示符460。经由显示组件520提供给用户的视觉线索可以类似于图4B-4C的显示器480上的提示490。
当测量模块550已经确认用户具有期望的头部定向时，测量模块550指示外置扬声器505播放测试声音。测量模块550指定测试声音的特性，诸如频率、长度、类型(例如，正弦、啁啾等)。为了捕获测试声音，测量模块550指示一个或更多个传声器530记录音频数据。每个传声器在其各自位置处捕获测试声音的音频数据(例如HRIR)。
测量模块550针对跨越多个方位角和仰角的一组预定头部定向迭代通过上述步骤。在一个实施例中，一组预定的定向跨越关于图1A描述的612个方向。在另一个实施例中，一组预定的定向跨越由声音测量***100测量的一组方向的子集。由测量模块550执行的过程使得能够方便且相对容易地测量音频数据以用于确定一组个体化的HRTF。
HRTF模块555为佩戴头戴式装置515的用户针对测量模块550捕获的音频数据计算一组初始HRTF。由HRTF模块555确定的一组初始HRTF包括一个或更多个因头戴式装置515的存在而失真的HRTF。也就是说，一个或更多个特定方向(例如，仰角和方位角的范围)的HRTF因头戴式装置的存在而失真，使得利用HRTF播放的声音提供一种用户正在佩戴头戴式装置的印象(相对于向用户提供他没有佩戴头戴式装置的印象，例如，作为VR体验的一部分)。在测量模块550以HRIR的形式捕获音频数据的实施例中，HRTF模块555通过对每个对应的HRIR进行傅立叶变换来确定一组初始的HRTF。在一些实施例中，一组初始HRTF中的每个HRTF是方向相关的，H(Ω)，其中Ω是方向。该方向进一步包括仰角θ和方位角φ，表示为Ω＝(θ,φ)。也就是说，计算对应于每个测量方向(仰角和方位角)的HRTF。在其他实施例中，每个HRTF是频率和方向相关的，H(Ω,f)，其中f是频率。
在一些实施例中，HRTF模块555利用多组个体化的HRTF或一组广义的HRTF的数据来计算一组初始HRTF。在一些实施例中，数据可以被预加载到头戴式装置515上。在其他实施例中，头戴式装置515可以经由网络510从HRTF***200访问数据。在一些实施例中，HRTF模块555可以使用基本上类似于图2的SMS 210的过程和计算。
失真模块560修改由HRTF模块555计算的一组初始HRTF以移除由于头戴式装置515的存在而失真的部分，从而创建一组中间HRTF。失真模块560生成对失真映射的查询。如上文关于图2所讨论的，失真映射包括一组一个或更多个失真区域。该查询可以包括对应于用户的身体特征的一个或更多个参数，诸如性别、年龄、身高、耳朵几何形状、头部几何形状等。在一些实施例中，失真模块560将查询发送到头戴式装置的本地存储设备(storage)。在其他实施例中，查询经由网络发送到HRTF***200。失真模块560接收识别一组一个或更多个失真区域的失真映射的一些或全部。在一些实施例中，失真映射可以特定于测试用户的群体，这些测试用户具有与查询中的一些或所有参数相同的一个或更多个身体特征。一组一个或更多个失真区域包括通常因头戴式装置而失真的HRTF的方向(例如，相对于头戴式装置的方位角和仰角)。
在一些实施例中，失真模块560丢弃对应于一组一个或更多个失真区域的一组初始HRTF的部分，从而产生一组中间HRTF。在一些实施例中，失真模块560丢弃与一组一个或更多个失真区域的特定方向(即，方位角和仰角)相对应的方向相关HRTF的部分。在其他实施例中，失真模块560丢弃与一组失真区域的特定方向和频率相对应的频率和方向相关HRTF的部分。
例如，一组一个或更多个失真区域包括方位角[-80°,-10°]和仰角[-30°,40°]的区域和方位角[-120°,-100°]和仰角[-30°,0°]的区域。对应于包含在这些区域中的方向的一组初始HRTF中的HRTF被从该组HRTF中移除，从而创建一组中间HRTF。例如，HRTF H(Ω＝(0°,-50°))落入失真区域之一内并且被失真模块560从该组HRTF中移除。HRTF H(Ω＝(0°,50°))落在一组失真区域中包含的方向之外并且包含在一组中间HRTF中。当失真区域进一步包括特定频率时，遵循类似的过程。
内插模块565可以使用一组中间HRTF来生成对头戴式装置515的存在进行补偿的一组个体化的HRTF。内插模块565对中间组中的一些或全部进行内插以生成一组内插HRTF。例如，内插模块565可以从丢弃部分中选择在某个角度范围内的HRTF，并且使用内插和所选择的HRTF来生成一组内插的HRTF。一组内插的HRTF与一组中间HRTF相结合，产生了减轻头戴式装置失真的一组完整的个体化的HRTF。
在一些实施例中，所生成的补偿由头戴式装置引起的失真的一组个体化的HRTF被存储。在一些实施例中，所生成的一组个体化的HRTF被保存在头戴式装置的本地存储设备中并且可以在未来被用户使用。在其他实施例中，生成的一组个体化的HRTF被上传到HRTF***200。
产生补偿头戴式装置引起的失真的一组个体化的HRTF改善了用户的虚拟现实体验。例如，用户佩戴头戴式装置515并体验基于视频的虚拟现实环境。基于视频的虚拟现实环境旨在让用户忘记现实是虚拟的，无论是视频质量还是音频质量方面。头戴式装置515通过移除对用户的关于他们佩戴头戴式装置515的(视觉的和听觉的)线索来做到这一点。头戴式装置515提供了一种简单方便的方式来测量用户的HRTF。然而，利用用户佩戴的头戴式装置515测量的HRTF具有因头戴式装置515的存在而引起的固有失真。使用失真的HRTF播放音频会保持对用户的关于头戴式装置被佩戴的听觉线索，并且不会与VR体验保持一致，VR体验使其看起来像用户没有佩戴头戴式装置一样。并且如以上示例，音频***525使用测量的HRTF和失真映射生成一组个体化的HRTF。音频***525然后可以使用个体化的HRTF向用户呈现音频内容，使得音频体验就像用户没有佩戴头戴式装置一样，从而会与好像用户没有佩戴头戴式装置的VR体验一致。
图6是示出根据一个或更多个实施例的为用户获取一组个体化的HRTF的过程600的流程图。在一个实施例中，过程600由头戴式装置515执行。在其他实施例中，其他实体(例如，外置扬声器505或HRTF服务器)可以执行过程600的一些或全部步骤。同样，实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。
头戴式装置515捕获610在不同定向处的测试声音的音频数据。头戴式装置515提示用户在佩戴头戴式装置515时将他/她的头部定向在特定方向上。头戴式装置515指示扬声器(例如，外置扬声器505)播放测试声音，并且测试声音的音频数据被用户耳道处或附近的一个或更多个传声器(例如，传声器530)捕获610。针对用户的多个不同头部定向重复捕获610。图4A-图4C示出了音频数据的捕获610的一个实施例。根据一些实施例，图5的测量模块550执行捕获610。
头戴式装置515基于不同定向处的音频数据确定620一组HRTF。在一些实施例中，HRTF模块(例如，HRTF模块555)使用音频数据计算一组HRTF。头戴式装置515可以使用常规方法来使用源自相对于头戴式装置的特定位置的音频数据来计算HRTF。在其他实施例中，头戴式装置可以向外部装置(例如，控制台和/或HRTF***)提供音频数据以计算一组HRTF。
头戴式装置515丢弃630对应于一组失真区域的HRTF部分以创建一组中间HRTF。头戴式装置515生成对一组失真区域的查询。在一些实施例中，头戴式装置515向头戴式装置515的本地存储设备发送查询(例如，预加载失真区域)。在其他实施例中，头戴式装置515经由网络510向HRTF***200发送查询，在这种情况下失真区域由外部***(例如HRTF***200)确定。该组失真区域可以基于测试用户群体的HRTF或基于人体模型来确定。响应于该查询，头戴式装置515接收一组失真区域并丢弃该组HRTF中与包含在该组失真区域内的一个或更多个方向相对应的部分。根据一些实施例，图5的失真模块560执行丢弃630。
头戴式装置515使用一组中间HRTF中的至少一些来生成640一组个体化的HRTF。基于一组中间HRTF以及在一些实施例中与失真区域相关联的HRTF的失真映射来内插缺失部分。在一些实施例中，图5的内插模块565执行生成640。在其他实施例中，头戴式装置515生成640一组个体化的HRTF。
在一些实施例中，HRTF***200执行过程的至少一些步骤。也就是说，HRTF***200向头戴式装置515和外置扬声器505提供指令以捕获610不同定向的测试声音的音频数据。HRTF***200向头戴式装置515发送对音频数据的查询并接收音频数据。HRTF***200基于不同定向处的音频数据计算620一组HRTF，并丢弃630对应于失真区域的HRTF部分以创建一组中间HRTF。HRTF***200使用一组中间HRTF中的至少一些来生成640一组个体化的HRTF并且将一组个体化的HRTF提供给头戴式装置515以供使用。
图7A是根据一个或更多个实施例的实施为眼部佩戴物装置的头戴式装置700的透视图。在一些实施例中，眼部佩戴物装置是近眼显示器(NED)。一般而言，头戴式装置700可以佩戴在用户的脸上，使得内容(例如，媒体内容)使用显示组件(诸如图5的显示组件520)和/或音频***(诸如图5的音频***525)来呈现。然而，也可以使用头戴式装置700，从而使媒体内容以不同的方式呈现给用户。头戴式装置700呈现的媒体内容的示例包括一个或更多个图像、视频、音频或其某种组合。头戴式装置700包括框架，并且可以包括显示组件、深度照相机组件(DCA)、音频***和位置传感器790以及其他部件，该显示组件包括一个或更多个显示元件720。虽然图7A在头戴式装置700上的示例位置示出了头戴式装置700的部件，但是这些部件可以位于头戴式装置700上的别处、与头戴式装置700配对的***装置上或者这两种位置的某种组合。类似地，头戴式装置700上的部件可能比图7A中所示的更多或更少。
框架710保持头戴式装置700的其他部件。框架710包括保持一个或更多个显示元件720的前部和附接到用户头部的的末端件(例如，镜腿)。框架710的前部桥接在用户的鼻子的顶部上。末端件的长度可以是可调节的(例如，可调节的镜腿长度)以适合不同的用户。末端件还可包括在用户耳朵后面卷曲的部分(例如，镜腿尖端、耳件)。
一个或更多个显示元件720向佩戴头戴式装置700的用户提供光。一个或更多个显示元件可以是图5的显示组件520的一部分。如图所示，头戴式装置包括用于用户的每只眼睛的显示元件720。在一些实施例中，显示元件720生成提供给头戴式装置700的视窗(eyebox)的图像光。视窗是用户佩戴头戴式装置700时眼睛所占据的空间位置。例如，显示元件720可以是波导显示器。波导显示器包括光源(例如，二维光源、一个或更多个线光源、一个或更多个点光源等)和一个或更多个波导。来自光源的光被向内耦合到一个或更多个波导中，该波导以使得在头戴式装置700的视窗中存在瞳孔复制的方式输出光。来自一个或更多个波导的光的向内耦合和/或向外耦合可以使用一个或更多个衍射光栅来完成。在一些实施例中，波导显示器包括扫描元件(例如，波导、反射镜等)，当来自光源的光向内耦合到一个或更多个波导中时，该扫描元件扫描来自光源的光。须注意，在一些实施例中，显示元件720中的一个或两个是不透明的并且不透射来自头戴式装置700周围的局部区域的光。局部区域是头戴式装置700周围的区域。例如，局部区域可以是佩戴头戴式装置700的用户所在的房间，或者佩戴头戴式装置700的用户可以在外面，并且局部区域是外部区域。在这种情况下，头戴式装置700生成VR内容。可替代地，在一些实施例中，显示元件720中的一者或两者至少部分透明，使得来自局部区域的光可与来自一个或更多个显示元件的光组合以产生AR和/或MR内容。
在一些实施例中，显示元件720不生成图像光，而是透镜将光从局部区域传送到视窗。例如，显示元件720中的一个或两个可以是无矫正的透镜(非处方)，或者是处方透镜(例如，单视力透镜、双焦和三焦透镜或渐进透镜)以帮助矫正用户视力的缺陷。在一些实施例中，显示元件720可以被偏振和/或着色以保护用户的眼睛免受阳光照射。
须注意，在一些实施例中，显示元件720可以包括附加的光学块(未示出)。光学块可包括将光从显示元件720引导至视窗的一个或更多个光学元件(例如，透镜、菲涅耳透镜等)。光学块可以例如校正一些或所有图像内容中的像差、放大一些或所有图像、或其某种组合。
DCA确定头戴式装置700周围局部区域的一部分的深度信息。DCA包括一个或更多个成像装置730和DCA控制器(未在图7A中示出)，并且还可以包括照明器740。在一些实施例中，照明器740用光照亮局部区域的一部分。光可以是例如以红外(IR)形式的结构光(例如，点图案、条等)、用于飞行时间的IR闪光等。在一些实施例中，一个或更多个成像装置730捕获包括来自照明器740的光的局部区域的部分的图像。如图所示，图7A示出了单个照明器740和两个成像装置730。在替代实施例中，没有照明器740和至少两个成像装置730。
DCA控制器使用捕获的图像和一种或更多种深度确定技术计算局部区域的部分的深度信息。深度确定技术可以是例如直接飞行时间(ToF)深度感测、间接ToF深度感测、结构光、被动立体分析、主动立体分析(使用通过来自照明器740的光添加到场景的纹理)、确定场景的深度的某种其他技术或者它们的某种组合。
音频***提供音频内容。音频***可以是图5的音频***525的实施例。在一个实施例中，音频***包括换能器阵列、传感器阵列和音频控制器750。然而，在其他实施例中，音频***可以包括不同的和/或附加的部件。类似地，在一些情况下，参考音频***的部件描述的功能可以以不同于这里描述的方式分布在部件之间。例如，控制器的一些或全部功能可以由远程服务器诸如HRTF***200执行。
换能器阵列向用户呈现声音。换能器阵列包括多个换能器。换能器可以是扬声器760或组织换能器(tissue transducer)770(例如，骨骼传导换能器或软骨传导换能器)。尽管扬声器760被示出在框架710的外部，但是扬声器760可以被封闭在框架710中。在一些实施例中，代替用于每只耳朵的单独扬声器，头戴式装置700包括扬声器阵列，诸如图5的扬声器阵列535，其包括集成到框架710中的多个扬声器以改善呈现的音频内容的方向性。组织换能器770耦合到用户的头部并直接振动用户的组织(例如，骨骼或软骨)以生成声音。换能器的数量和/或位置可以与图7A所示的不同。
传感器阵列检测头戴式装置700的局部区域内的声音。传感器阵列包括多个声学传感器780。声学传感器780捕获从局部区域(例如，房间)中的一个或更多个声源发出的声音。每个声学传感器被配置为检测声音并将检测到的声音转换成电子格式(模拟或数字)。声学传感器780可以是声波传感器、传声器、声音换能器或适用于检测声音的类似传感器。
在一些实施例中，一个或更多个声学传感器780可以放置在每只耳朵的耳道中(例如，充当双耳传声器或图5的传声器组件530)。在一些实施例中，声学传感器780可以放置在头戴式装置700的外表面上、放置在头戴式装置700的内表面上、与头戴式装置700分开(例如，某种其他装置的一部分)或者它们的某种组合。声学传感器780的数量和/或位置可以与图7A所示的不同。例如，可以增加声学检测位置的数量以增加收集的音频信息的量以及信息的灵敏度和/或准确性。声学检测位置可以被定向成使得传声器能够在佩戴头戴式装置700的用户周围的大范围方向上检测声音。
音频控制器750处理来自传感器阵列的描述由传感器阵列检测到的声音的信息。音频控制器750可以包括处理器和计算机可读存储介质。音频控制器750可以被配置为生成到达方向(DOA)估计、生成声学传递函数(例如，阵列传递函数和/或头部相关传递函数)、跟踪声源的位置、在声源方向上形成波束、对声源进行分类、为扬声器760生成声音过滤器，或它们的某种组合。音频控制器750是图5的音频控制器540的实施例。
位置传感器790响应于头戴式装置700的运动生成一个或更多个测量信号。位置传感器790可以位于头戴式装置700的框架710的一部分上。位置传感器790可以包括惯性测量单元(IMU)。位置传感器790的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU的误差校正的一种类型的传感器或其某种组合。位置传感器790可以位于IMU的外部、IMU的内部或者它们的某种组合。
在一些实施例中，头戴式装置700可以提供头戴式装置700的位置的同时定位和映射(SLAM)以及局部区域模型的更新。例如，头戴式装置700可以包括生成彩色图像数据的无源照相机组件(PCA)。PCA可以包括一个或更多个RGB照相机，其用于捕获一些或全部局部区域的图像。在一些实施例中，DCA的一些或所有成像装置730也可以用作PCA。PCA捕获的图像和DCA确定的深度信息可以用于确定局部区域的参数、生成局部区域的模型、更新局部区域的模型或者它们的某种组合。此外，位置传感器790跟踪头戴式装置700在房间内的位置(例如，定位和姿势)。下面结合图8讨论关于头戴式装置700的部件的附加细节。
图7B是根据一个或更多个实施例的实施为HMD的头戴式装置705的透视图。在描述AR***和/或MR***的实施例中，HMD前侧的部分在可见光波段(约380nm至750nm)中至少部分透明，并且在HMD前侧和用户的眼睛之间的HMD的部分至少是部分透明的(例如，部分透明的电子显示器)。HMD包括前刚性主体715和带775。头戴式装置705包括许多与上文参考图7A描述的相同的部件，但这些部件经过修改以与HMD形状因子集成。例如，HMD包括显示组件、DCA、音频***(例如，音频***525的实施例)和位置传感器790。图7B示出了照明器740、多个扬声器760、多个成像装置730、多个声学传感器780和位置传感器790。
图8是根据一个或更多个实施例的包括头戴式装置515的***800。在一些实施例中，头戴式装置515可以是图7A的头戴式装置700或图7B的头戴式装置705。***800可以在人工现实环境(例如，虚拟现实环境、增强现实环境、混合现实环境或其某种组合)中操作。图8所示的***800包括头戴式装置515、耦合到控制台815的输入/输出(I/O)接口810、网络510和HRTF***200。虽然图8示出了包括一个头戴式装置515和一个I/O接口810的示例***800，但在其他实施例中，***800中可以包括任何数量的这些部件。例如，可以有多个头戴式装置，每个头戴式装置具有关联的I/O接口810，每个头戴式装置和I/O接口810与控制台815通信。在替代配置中，***800中可以包括不同的和/或附加的部件。此外，在一些实施例中，结合图8中所示的一个或更多个部件描述的功能可以以与结合图8描述的方式不同的方式分布在部件之间。例如，控制台815的一些或全部功能可由头戴式装置515提供。
头戴式装置515包括显示组件520、音频***525、光学块835、一个或更多个位置传感器840和深度照相机组件(DCA)845。头戴式装置515的一些实施例具有与结合图8描述的部件不同的部件。此外，在其他实施例中，结合图8描述的各种部件提供的功能可以不同地分布在头戴式装置515的部件之间，或者被捕获在远离头戴式装置515的单独组件中。
在一个实施例中，显示组件520根据从控制台815接收的数据向用户显示内容。显示组件520使用一个或更多个显示元件(例如，显示元件720)显示内容。显示元件可以是例如电子显示器。在各种实施例中，显示组件520包括单个显示元件或多个显示元件(例如，用于用户的每只眼睛的显示器)。电子显示器的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、波导显示器、某种其他显示器或其某种组合。须注意，在一些实施例中，显示元件720还可以包括光学块835的一些或全部功能。
光学块835可以放大从电子显示器接收到的图像光，校正与图像光相关联的光学误差，并且将校正后的图像光呈现给头戴式装置515的一个或两个视窗。在各种实施例中，光学块835包括一个或更多个光学元件。光学块835中包括的示例光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外，光学块835可以包括不同光学元件的组合。在一些实施例中，光学块835中的一个或更多个光学元件可具有一个或更多个涂层，诸如部分反射或抗反射涂层。
与较大的显示器相比，光学块835对图像光的放大和聚焦允许电子显示器在物理上更小、重量更轻并且消耗更少的功率。另外，放大可以增加电子显示器呈现的内容的视场。例如，显示的内容的视场使得显示的内容使用几乎所有(例如，约110度对角线)，并且在某些情况下，使用用户的所有视场来呈现。此外，在一些实施例中，可以通过添加或移除光学元件来调整放大的量。
在一些实施例中，光学块835可以被设计为校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可以进一步包括球面像差、色差或由于透镜场曲率而导致的误差、散光或任何其他类型的光学误差。在一些实施例中，提供给电子显示器用于显示的内容被预失真，并且光学块835在其接收来自电子显示器的基于内容生成的图像光时校正失真。
位置传感器840是生成指示头戴式装置515的位置的数据的电子装置。位置传感器840响应于头戴式装置515的运动生成一个或更多个测量信号。位置传感器790是位置传感器840的一个实施例。位置传感器840的示例包括：一个或更多个IMU、一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器或其某种组合。位置传感器840可以包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和用于测量旋转运动(例如，俯仰、偏航、滚动)的多个陀螺仪。在一些实施例中，IMU快速采样测量信号并根据采样数据计算头戴式装置515的估计位置。例如，IMU对从加速度计接收到的测量信号在时间上求积分以估计速度矢量并且对速度矢量在时间上求积分以确定头戴式装置515上的参考点的估计位置。参考点是可以用来描述头戴式装置515的位置的点。虽然参考点通常可以定义为空间中的点，然而实际上参考点被定义为头戴式装置515内的点。
DCA 845为局部区域的一部分生成深度信息。DCA包括一个或更多个成像装置和一个DCA控制器。DCA 845还可以包括照明器。DCA 845的操作和结构在上面关于图7A进行了描述。
音频***525向头戴式装置515的用户提供音频内容。音频***525可以包括一个或更多个声学传感器、一个或更多个换能器和音频控制器540。音频***525可以向用户提供空间化的音频内容。在一些实施例中，音频***525可以通过网络510从HRTF***200请求失真映射。如上文关于图5和图6所述，音频***指示外置扬声器505发出测试声音，并使用传声器组件捕获测试声音的音频数据。音频***525至少部分地基于头戴式装置515的不同定向处的测试声音的音频数据来计算一组初始HRTF。音频***525丢弃一组初始HRTF的一部分(部分地基于HRTF服务器确定的至少一些失真区域)以创建一组中间HRTF。该组中间HRTF由该组HRTF中未被丢弃的HRTF形成。音频***525(例如，经由内插)生成对应于该组丢弃部分的一个或更多个HRTF，该HRTF与一组中间HRTF中的至少一些组合来为用户创建一组个体化的HRTF。该组个体化的HRTF是为用户定制的，从而减轻了因佩戴头戴式装置525而引起的HRTF中的误差，因而模拟没有头戴式装置的用户的实际HRTF。音频***525可以使用个体化的HRTF生成一个或更多个声音过滤器，并且使用声音过滤器向用户提供空间化的音频内容。
I/O接口810是允许用户发送动作请求并从控制台815接收响应的装置。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。I/O接口810可以包括一个或更多个输入装置。示例输入装置包括：键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到控制台815的任何其他合适的装置。由I/O接口810接收到的动作请求被传送到控制台815，控制台815执行与动作请求相对应的动作。在一些实施例中，I/O接口810包括IMU，其捕获指示I/O接口810相对于I/O接口810的初始位置的估计位置的校准数据。在一些实施例中，I/O接口810可以根据从控制台815接收到的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者控制台815将指令传送到I/O接口810，从而使I/O接口810在控制台815执行动作时生成触觉反馈。
控制台815向头戴式装置515提供内容以根据从以下一项或更多项接收到的信息进行处理：DCA 845、头戴式装置515和I/O接口810。在图8所示的示例中，控制台815包括外置扬声器505、应用储存器855、跟踪模块860和引擎865。控制台815的一些实施例具有与结合图8描述的那些不同的模块或部件。特别地，在一些实施例中，外置扬声器505独立于控制台815。类似地，下面进一步描述的功能可以以不同于结合图8描述的方式分布在控制台815的部件之间。在一些实施例中，本文讨论的关于控制台815的功能可以在头戴式装置515或远程***中实现。
外置扬声器505响应来自音频***525的指令播放测试声音。在其他实施例中，外置扬声器505从控制台815接收指令，特别是从引擎865接收指令，如下文更详细描述的。
应用储存器855存储由控制台815执行的一个或更多个应用。应用是一组指令，当由处理器执行时，该指令生成用于呈现给用户的内容。应用生成的内容可以响应于经由头戴式装置515或I/O接口810的移动从用户接收到的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块860使用来自DCA 845、一个或更多个位置传感器840或其某种组合的信息来跟踪头戴式装置515或I/O接口810的移动。例如，跟踪模块860基于来自头戴式装置515的信息来确定头戴式装置515的参考点在局部区域的映射中的位置。跟踪模块860还可以确定对象或虚拟对象的位置。另外，在一些实施例中，跟踪模块860可以使用来自位置传感器840的指示头戴式装置515的位置的数据的部分以及来自DCA 845的局部区域的表示来预测头戴式装置515的未来定位。跟踪模块860向引擎865提供头戴式装置515或I/O接口810的估计或预测的未来位置。
引擎865执行应用并从跟踪模块860接收头戴式装置515的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于接收到的信息，引擎865确定提供给头戴式装置515以呈现给用户的内容。例如，如果接收到的信息指示用户向左看，则引擎865为头戴式装置515生成内容，该内容反映用户在虚拟局部区域中或在用附加内容增强局部区域的局部区域中的移动。此外，在一些实施例中，响应于接收到的指示用户已将他们的头部定位在特定定向的信息，引擎865向外置扬声器505提供指令以播放测试声音。此外，引擎865响应于从I/O接口810接收到的动作请求而在控制台815上执行的应用内执行动作并向用户提供该动作被执行的反馈。所提供的反馈可以是经由头戴式装置515的视觉或听觉反馈或经由I/O接口810的触觉反馈。
网络510将头戴式装置515和/或控制台815耦合到HRTF***200。网络510可以将附加或更少的部件耦合到HRTF***510。关于图5更详细地描述网络510。
附加配置信息
以上对本公开的实施例的描述是为了说明的目的而提出的；它并不旨在详尽无遗或将本公开内容限制为所公开的精确形式。相关领域的技术人员可以理解，根据上述公开内容，许多修改和变化是可能的。
本说明书的某些部分根据对信息的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常被数据处理领域的技术人员用来将他们的工作的实质有效地传达给本领域的其他技术人员。尽管在功能上、计算上或逻辑上描述了这些操作，但应理解为通过计算机程序或等效电路、微代码等来实现。此外，在不失一般性的情况下，有时也证明将这些操作安排称为模块是方便的。所描述的操作及其相关联的模块可以实施在软件、固件、硬件或其任何组合中。
本文描述的任何步骤、操作或过程都可以用一个或更多个硬件或软件模块单独或与其他装置组合来执行或实现。在一个实施例中，软件模块由计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该计算机程序代码可由计算机处理器执行以用于执行所描述的任何或所有步骤、操作或过程。
本公开的实施例还可以涉及用于执行本文的操作的装置。该装置可以为所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。这样的计算机程序可以存储在非暂时性、有形的计算机可读存储介质或适合于存储电子指令的任何类型的介质中，所述介质可以耦合到计算机***总线。此外，本说明书中提及的任何计算***可以包括单个处理器或者可以是采用多处理器设计以增加计算能力的架构。
本公开的实施例还可以涉及通过本文描述的计算过程产生的产品。这样的产品可以包括从计算过程产生的信息，其中该信息存储在非暂时性、有形计算机可读存储介质上并且可以包括计算机程序产品或本文描述的其他数据组合的任何实施例。
最后，说明书中使用的语言主要是出于可读性和教学目的而选择的，并且可能未被选择来描述或限制本发明的主题。因此，本公开的范围旨在不受该详细描述的限制，而是由基于本文的应用发布的任何权利要求限制。因此，实施例的公开内容旨在说明而非限制在所附权利要求中阐述的本公开的范围。

Claims (12)

1.一种涉及补偿头戴式装置对头部相关传递函数HRTF的影响的方法，包括：
通过用户佩戴的所述头戴式装置的传声器捕获测试声音的音频数据，所述测试声音由外置扬声器播放，并且所述音频数据包括针对所述头戴式装置相对于所述外置扬声器的不同定向而捕获的音频数据；
至少部分地基于在所述头戴式装置的不同定向处的所述测试声音的所述音频数据来计算一组HRTF，所述一组HRTF在用户佩戴所述头戴式装置时针对该用户进行个体化；
丢弃所述一组HRTF的一部分以创建一组中间HRTF，丢弃部分对应于部分地基于佩戴所述头戴式装置的一个或更多个失真区域；以及
使用所述一组中间HRTF中的至少一些来生成与所述丢弃部分相对应的一个或更多个HRTF，从而为所述用户创建一组个体化的HRTF，其中，所述丢弃部分包括对应于所述头戴式装置的定向的至少一些HRTF，在所述头戴式装置的所述定向中，来自所述外置扬声器的声音在到达所述用户的耳道之前入射到所述头戴式装置上。
2.根据权利要求1所述的方法，其中，使用识别所述一个或更多个失真区域的失真映射来确定所述丢弃部分，其中，所述失真映射部分地基于在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF和在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较。
3.根据权利要求1所述的方法，其中，所述使用所述一组中间HRTF中的至少一些来生成与所述丢弃部分相对应的所述一个或更多个HRTF包括：
对所述一组中间HRTF中的至少一些进行内插以生成与所述丢弃部分相对应的所述一个或更多个HRTF。
4.根据权利要求1所述的方法，其中，针对所述头戴式装置相对于所述外置扬声器的不同定向捕获所述音频数据进一步包括：
在虚拟空间的坐标处生成指示符，所述指示符对应于所述用户佩戴的所述头戴式装置相对于外置扬声器的特定定向；以及
在所述头戴式装置的显示器上呈现所述虚拟空间中的所述坐标的所述指示符；
确定所述头戴式装置相对于所述外置扬声器的第一定向为所述特定定向；
当所述头戴式装置处于所述第一定向时，指示所述外置扬声器播放测试声音；
从所述传声器获取所述音频数据。
5.根据权利要求1所述的方法，进一步包括：
将所述一组个体化的HRTF上传到HRTF***，其中，所述HRTF***使用所述一组个体化的HRTF中的至少一些来更新失真映射，所述失真映射是根据在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF与在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较生成的。
6.一种非暂时性计算机可读存储介质，其存储可执行计算机程序指令，所述指令能够由计算机处理器执行以执行包括以下项的步骤：
通过用户佩戴的头戴式装置的传声器捕获测试声音的音频数据，所述测试声音由外置扬声器播放，并且所述音频数据包括针对所述头戴式装置相对于所述外置扬声器的不同定向而捕获的音频数据；
至少部分地基于在所述头戴式装置的所述不同定向处的所述测试声音的所述音频数据来计算一组头部相关传递函数HRTF，所述一组HRTF在用户佩戴所述头戴式装置时针对该用户进行个体化；
丢弃所述一组HRTF的一部分以创建一组中间HRTF，丢弃部分对应于部分地基于佩戴所述头戴式装置的一个或更多个失真区域；以及
使用所述一组中间HRTF中的至少一些来生成与所述丢弃部分相对应的一个或更多个HRTF，从而为所述用户创建一组个体化的HRTF，其中，所述丢弃部分包括对应于所述头戴式装置的定向的至少一些HRTF，在所述头戴式装置的所述定向中，来自所述外置扬声器的声音在到达所述用户的耳道之前入射到所述头戴式装置上。
7.根据权利要求6所述的非暂时性计算机可读存储介质，其中，使用识别所述一个或更多个失真区域的失真映射来确定所述丢弃部分，其中，所述失真映射部分地基于在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF和在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较。
8.根据权利要求6所述的非暂时性计算机可读存储介质，其中，所述使用所述一组中间HRTF中的至少一些来生成与所述丢弃部分相对应的所述一个或更多个HRTF包括：
对所述一组中间HRTF中的至少一些进行内插以生成与所述丢弃部分相对应的所述一个或更多个HRTF。
9.根据权利要求6所述的非暂时性计算机可读存储介质，其中，针对所述头戴式装置相对于所述外置扬声器的不同定向捕获所述音频数据进一步包括：
在虚拟空间的坐标处生成指示符，所述指示符对应于所述用户佩戴的头戴式装置相对于外置扬声器的特定定向；以及
在所述头戴式装置的显示器上呈现所述虚拟空间中的所述坐标的所述指示符；
确定所述头戴式装置相对于所述外置扬声器的第一定向为所述特定定向；
当所述头戴式装置处于所述第一定向时，指示所述外置扬声器播放测试声音；
从所述传声器获取所述音频数据。
10.根据权利要求6所述的非暂时性计算机可读存储介质，进一步包括：
将所述一组个体化的HRTF上传到HRTF***，其中，所述HRTF***使用所述一组个体化的HRTF中的至少一些来更新失真映射，所述失真映射是根据在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF与在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较生成的。
11.一种涉及补偿头戴式装置对头部相关传递函数HRTF的影响的***，包括：
外置扬声器，所述外置扬声器被配置为播放一个或更多个测试声音；
传声器组件，所述传声器组件被配置为捕获所述一个或更多个测试声音的音频数据；以及
配置为由用户佩戴的所述头戴式装置，所述头戴式装置包括音频控制器，所述音频控制器被配置为：
至少部分地基于所述测试声音的所述音频数据，计算在所述头戴式装置的多个不同定向处的一组HRTF，所述一组HRTF在用户佩戴所述头戴式装置时针对该用户进行个体化；
丢弃所述一组HRTF的一部分以创建一组中间HRTF，所述部分对应于部分地基于佩戴所述头戴式装置的一个或更多个失真区域；以及
使用所述一组中间HRTF中的至少一些来生成与丢弃部分相对应的一个或更多个HRTF，从而为所述用户创建一组个体化的HRTF，其中，所述丢弃部分包括对应于所述头戴式装置的定向的至少一些HRTF，在所述头戴式装置的所述定向中，来自所述外置扬声器的声音在到达所述用户的耳道之前入射到所述头戴式装置上。
12.根据权利要求11所述的***，其中，使用识别所述一个或更多个失真区域的失真映射来确定所述丢弃部分，其中，所述失真映射部分地基于在至少一个测试用户佩戴测试头戴式装置的情况下测量的一组HRTF和在所述至少一个测试用户未佩戴所述测试头戴式装置的情况下测量的一组HRTF之间的比较。
CN202080012069.XA 2019-01-30 2020-01-14 补偿头戴式装置对头部相关传递函数的影响 Active CN113366863B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962798813P 2019-01-30 2019-01-30
US62/798,813 2019-01-30
US16/562,616 2019-09-06
US16/562,616 US10798515B2 (en) 2019-01-30 2019-09-06 Compensating for effects of headset on head related transfer functions
PCT/US2020/013539 WO2020159697A1 (en) 2019-01-30 2020-01-14 Compensating for effects of headset on head related transfer functions

Publications (2)

Publication Number Publication Date
CN113366863A CN113366863A (zh) 2021-09-07
CN113366863B true CN113366863B (zh) 2023-07-11

Family

ID=71732977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080012069.XA Active CN113366863B (zh) 2019-01-30 2020-01-14 补偿头戴式装置对头部相关传递函数的影响

Country Status (6)

Country Link
US (2) US10798515B2 (zh)
EP (1) EP3918817A1 (zh)
JP (1) JP2022519153A (zh)
KR (1) KR20210119461A (zh)
CN (1) CN113366863B (zh)
WO (1) WO2020159697A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2599428B (en) * 2020-10-01 2024-04-24 Sony Interactive Entertainment Inc Audio personalisation method and system
US20240196151A1 (en) * 2021-04-23 2024-06-13 Telefonaktiebolaget Lm Ericsson (Publ) Error correction of head-related filters
KR102638322B1 (ko) * 2022-05-30 2024-02-19 주식회사 유기지능스튜디오 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법
CN116473754B (zh) * 2023-04-27 2024-03-08 广东蕾特恩科技发展有限公司 一种用于美容仪的骨传导装置及控制方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118875A (en) * 1994-02-25 2000-09-12 Moeller; Henrik Binaural synthesis, head-related transfer functions, and uses thereof
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
EP1547437A2 (en) 2002-09-23 2005-06-29 Koninklijke Philips Electronics N.V. Sound reproduction system, program and data carrier
CN100553373C (zh) * 2004-11-19 2009-10-21 日本胜利株式会社 影像声音记录装置和方法以及影像声音再生装置和方法
FR2880755A1 (fr) * 2005-01-10 2006-07-14 France Telecom Procede et dispositif d'individualisation de hrtfs par modelisation
RU2407226C2 (ru) * 2006-03-24 2010-12-20 Долби Свидн Аб Генерация пространственных сигналов понижающего микширования из параметрических представлений мультиканальных сигналов
JP4780119B2 (ja) * 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US9173032B2 (en) * 2009-05-20 2015-10-27 The United States Of America As Represented By The Secretary Of The Air Force Methods of using head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US8428269B1 (en) * 2009-05-20 2013-04-23 The United States Of America As Represented By The Secretary Of The Air Force Head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US8787584B2 (en) * 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
US9622006B2 (en) * 2012-03-23 2017-04-11 Dolby Laboratories Licensing Corporation Method and system for head-related transfer function generation by linear mixing of head-related transfer functions
US9392366B1 (en) * 2013-11-25 2016-07-12 Meyer Sound Laboratories, Incorporated Magnitude and phase correction of a hearing device
US9426589B2 (en) * 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
WO2015134658A1 (en) * 2014-03-06 2015-09-11 Dolby Laboratories Licensing Corporation Structural modeling of the head related impulse response
US9900722B2 (en) * 2014-04-29 2018-02-20 Microsoft Technology Licensing, Llc HRTF personalization based on anthropometric features
GB2535990A (en) * 2015-02-26 2016-09-07 Univ Antwerpen Computer program and method of determining a personalized head-related transfer function and interaural time difference function
US9544706B1 (en) * 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
US9648438B1 (en) 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
US9918177B2 (en) * 2015-12-29 2018-03-13 Harman International Industries, Incorporated Binaural headphone rendering with head tracking
US10805757B2 (en) * 2015-12-31 2020-10-13 Creative Technology Ltd Method for generating a customized/personalized head related transfer function
WO2017197156A1 (en) 2016-05-11 2017-11-16 Ossic Corporation Systems and methods of calibrating earphones
WO2018041359A1 (en) * 2016-09-01 2018-03-08 Universiteit Antwerpen Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same
US10034092B1 (en) * 2016-09-22 2018-07-24 Apple Inc. Spatial headphone transparency
US9848273B1 (en) * 2016-10-21 2017-12-19 Starkey Laboratories, Inc. Head related transfer function individualization for hearing device
US10028070B1 (en) * 2017-03-06 2018-07-17 Microsoft Technology Licensing, Llc Systems and methods for HRTF personalization
US10306396B2 (en) * 2017-04-19 2019-05-28 United States Of America As Represented By The Secretary Of The Air Force Collaborative personalization of head-related transfer function
US10003905B1 (en) * 2017-11-27 2018-06-19 Sony Corporation Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter
US10609504B2 (en) * 2017-12-21 2020-03-31 Gaudi Audio Lab, Inc. Audio signal processing method and apparatus for binaural rendering using phase response characteristics
US10638251B2 (en) * 2018-08-06 2020-04-28 Facebook Technologies, Llc Customizing head-related transfer functions based on monitored responses to audio content
US10462598B1 (en) * 2019-02-22 2019-10-29 Sony Interactive Entertainment Inc. Transfer function generation system and method

Also Published As

Publication number Publication date
EP3918817A1 (en) 2021-12-08
WO2020159697A1 (en) 2020-08-06
US11082794B2 (en) 2021-08-03
US20200396558A1 (en) 2020-12-17
JP2022519153A (ja) 2022-03-22
CN113366863A (zh) 2021-09-07
US20200245091A1 (en) 2020-07-30
US10798515B2 (en) 2020-10-06
KR20210119461A (ko) 2021-10-05

Similar Documents

Publication Publication Date Title
US11579837B2 (en) Audio profile for personalized audio enhancement
CN113366863B (zh) 补偿头戴式装置对头部相关传递函数的影响
US11523240B2 (en) Selecting spatial locations for audio personalization
JP2022546177A (ja) ユーザの耳の３ｄ再構成を使用した音声出力の個人化された等化
US11843922B1 (en) Calibrating an audio system using a user's auditory steady state response
JP2022546161A (ja) 個別化された空間オーディオを作り出すためにビームフォーミングを介して耳殻情報を推論すること
JP2022546176A (ja) ユーザの耳の識別された特徴を使用した音声出力の個人化された等化
CN117981347A (zh) 用于对虚拟声源进行空间化的音频***
US20220030369A1 (en) Virtual microphone calibration based on displacement of the outer ear
US11171621B2 (en) Personalized equalization of audio output based on ambient noise detection
KR20220162694A (ko) 연골 전도를 사용하는 머리-관련 전달 함수 결정

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

GR01 Patent grant
GR01 Patent grant