CN109691141A - 具有空间化音频的虚拟现实、增强现实和混合现实*** - Google Patents
具有空间化音频的虚拟现实、增强现实和混合现实*** Download PDFInfo
- Publication number
- CN109691141A CN109691141A CN201780056074.9A CN201780056074A CN109691141A CN 109691141 A CN109691141 A CN 109691141A CN 201780056074 A CN201780056074 A CN 201780056074A CN 109691141 A CN109691141 A CN 109691141A
- Authority
- CN
- China
- Prior art keywords
- source
- audio
- audio data
- sources
- listener
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title description 7
- 238000000034 method Methods 0.000 claims description 110
- 238000009877 rendering Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 135
- 238000012545 processing Methods 0.000 description 69
- 230000008859 change Effects 0.000 description 32
- 230000035945 sensitivity Effects 0.000 description 24
- 210000005069 ears Anatomy 0.000 description 11
- 240000006409 Acacia auriculiformis Species 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 241000256856 Vespidae Species 0.000 description 8
- 230000001144 postural effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 206010019233 Headaches Diseases 0.000 description 2
- 206010028813 Nausea Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 231100000869 headache Toxicity 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008693 nausea Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一种空间化音频***,包括传感器,其用于检测收听者的头部姿势。该***还包括处理器,其用于在第一阶段和第二阶段渲染音频数据。第一阶段包括将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据。第二阶段包括基于所检测的收听者的头部姿势,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二多个源由比第一多个源少的源组成。
Description
技术领域
本公开涉及具有空间化音频***的虚拟现实、增强现实和/或混合现实***,以及用于使用该***生成包括空间化音频的虚拟现实、增强现实和/或混合现实体验的方法。
背景技术
现代计算和显示技术促进了用于所谓“混合现实(MR)”、“虚拟现实(VR)”和/或“增强现实(AR)”体验的混合现实***的发展。这可以通过头戴式显示器向用户呈现计算机生成的图像来完成。这种图像产生了使用户沉浸在模拟环境中的感官体验。VR场景通常涉及数字或虚拟图像信息的呈现而对实际的现实世界视觉输入不透明。
AR***通常用模拟元素补充现实世界环境。例如,AR***可以通过头戴式显示器向用户提供周围现实世界环境的视图。然而,计算机生成的图像也可以呈现在该显示器上,以增强现实世界环境。这种计算机生成的图像可以包括与现实世界环境情境相关的元素。这些元素可以包括模拟的文本、图像、对象等。MR***还将模拟的对象引入到现实世界环境中,但这些对象通常具有比AR***更大程度的交互性。模拟的元素经常可以实时交互。可以使用空间化音频来呈现VR/AR/MR场景以改善用户体验。
各种光学***在各种深度处生成图像,用于显示VR/AR/MR场景。2014年11月27日提交的美国实用新型专利申请序号14/738,877(代理人案卷号ML.20019.00)和美国实用新型专利申请序号14/555,585(代理人案卷号ML.20011.00)中描述了一些这样的光学***,其内容先前已通过引用并入本文。
当前空间化音频***可以与3D光学***(诸如3D电影、3D视频游戏、虚拟现实、增强现实和/或混合现实***中的3D光学***)协作,在光学上和声学上渲染虚拟对象。对象是“虚拟的”是因为它们不是位于三维空间中的相应位置处的现实物理对象。相反,当被分别指向观众成员的眼睛和/或耳朵的光束和/或声波刺激时,虚拟对象仅存在于观众和/或收听者的大脑(例如,光学和/或听觉中心)中。不幸的是,当前空间化音频***的收听者位置和方向要求限制了其以现实方式为不在位置上的收听者创建虚拟对象的音频部分的能力。
当前空间化音频***(例如,用于家庭影院和视频游戏的空间化音频***)使用“5.1”和“7.1”格式。5.1空间化音频***包括左前和右前声道、左后和右后声道、中央声道和次低音。7.1空间化音频***包括5.1音频***的声道以及与预期收听者对齐的左和右声道。每个上述声道对应于单独的扬声器。电影音频***和电影级家庭影院***包括杜比全景声(DOLBY ATMOS),其增加了被配置为从预期收听者上方传送的声道,从而使收听者沉浸在声场中并且用声音环绕收听者。
尽管空间化音频***有所改进,但是当前空间化音频***不能考虑收听者的位置和方向,更不用说多个收听者的相应位置和方向。因此,当前空间化音频***在全部收听者都位于声场的中心附近并且面向***的中央声道取向的假设下产生声场,并且具有用于最佳性能的收听者位置和方向要求。因此,在经典的一对多***中,如果收听者恰好面向期望方向的相反侧,则可以将空间化音频传送给收听者,使得声音听起来是向后的。这种未对准的声音可导致感觉和认知的不协调,并且削弱空间化音频体验以及随之呈现的任何VR/AR/MR体验。在严重情况下,感觉和认知的不协调可以引起生理副作用,例如头痛、恶心、不适等,从而可导致用户避免空间化音频体验或随之呈现的VR/AR/MR体验。
在类似的技术空间中,诸如在主题公园游乐设施中发现的混合媒体***(即,迪斯尼之星旅行)可以向3D电影和空间化音频添加诸如灯光和动作的真实生活特效。通常要求3D混合媒体***的用户佩戴便于***生成3D图像的眼镜。这种眼镜可以包含具有不同偏振或滤色器的左透镜和右透镜,如在传统的立体3D***中那样。3D混合媒体***投影具有不同偏振或颜色的重叠图像,使得佩戴立体眼镜的用户将在其左眼和右眼中看到略微不同的图像。利用这些图像中的差异来生成3D光学图像。然而,这种***非常昂贵。而且,这种混合媒体***不能解决当前空间化音频***的固有用户位置和方向要求。
为了解决这些问题,一些VR/AR/MR***包括可操作地耦合到空间化音频***的头戴式扬声器,使得可以使用扬声器和用户/收听者的耳朵之间的“已知”位置和方向关系来渲染空间化音频。在美国临时专利申请序号62/369,561中描述了这种VR/AR/MR***的各种示例,其内容先前已通过引用并入本文。虽然这些VR/AR/MR***解决了上述收听者位置问题,但这些***仍具有与处理时间、滞后和延迟相关的限制,这可能导致与快速的用户头部运动的认知失调。
例如,一些VR/AR/MR***通过头戴式扬声器向用户/收听者传送空间化音频。因此,如果虚拟声源(例如,鸟)实际上以第一姿势(其可以通过VR/AR/MR***检测)位于用户/收听者的右侧,则VR/AR/MR***可以传送与听起来源自用户/收听者的右侧的虚拟声源相对应的所生成的声音(例如,鸟叫声)。VR/AR/MR***可以主要通过安装在用户/收听者右耳附近的一个或多个扬声器传送声音。如果用户/收听者转过头以面对虚拟声源,则VR/AR/MR***可以检测到该第二姿势并且传送与听起来源自用户/收听者前方的虚拟声源相对应的所生成的声音。
然而,如果用户/收听者快速转过头以面对虚拟声源,则VR/AR/MR***将经历与基于用户/收听者的姿势生成虚拟声音的***和方法的各种限制相关的滞后或延迟。示例性的虚拟声音生成方法尤其包括:(1)检测姿势变化,(2)将检测到的姿势变化传递到处理器,(3)基于变化的姿势生成新的音频数据,(4)将新的音频数据传递到扬声器,以及(5)基于新的音频数据生成虚拟声音。检测姿势变化和生成虚拟声音之间的这些步骤可能引起滞后或延迟,当用户/收听者快速变化其姿势时,该滞后或延迟可导致具有相关联的空间化音频的VR/AR/MR体验的认知失调。
与VR/AR/MR体验相关联的空间化音频示出了认知失调,因为虚拟声音(例如,鸟叫声)可能听起来从与虚拟对象(例如,鸟)的图像不同位置处发出。然而,所有空间化音频***(具有或不具有VR/AR/MR***)可导致对快速的姿势变化的认知失调,因为所有的空间化音频***包括具有相对于用户/收听者的虚拟位置和方向的虚拟声源。例如,如果虚拟鸟位于收听者的右侧,则无论用户头部的方向如何,或者该方向的变化如何快速,鸟叫声应该听起来从空间中的相同点发出。
发明内容
在一个实施例中,一种空间化音频***包括传感器,其用于检测收听者的头部姿势。该***还包括处理器,其用于在第一阶段和第二阶段渲染音频数据。第一阶段包括将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据。第二阶段包括基于所检测的收听者的头部姿势,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二多个源由比第一多个源少的源组成。
在另一实施例中,一种空间化音频***包括传感器,其用于在第一时间检测第一头部姿势,在第二时间检测收听者的第二头部姿势,第二时间在第一时间之后。该***还包括处理器,其用于在第一阶段和第二阶段渲染音频数据。第一阶段包括基于所检测的收听者的第一头部姿势,将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据。第二阶段包括基于所检测的收听者的第二头部姿势,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二多个源由比第一多个源少的源组成。
在又一实施例中,一种渲染空间化音频的方法包括将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据。该方法还包括检测收听者的头部姿势。该方法还包括基于所检测的收听者的头部姿势,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二多个源由比第一多个源少的源组成。
在又一实施例中,一种渲染空间化音频的方法包括检测收听者的第一头部姿势。该方法还包括基于所检测的收听者的第一头部姿势,将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据。该方法还包括检测收听者的第二头部姿势。此外,该方法还包括基于所检测的收听者的第二头部姿势,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二多个源由比第一多个源少的源组成。
在又一实施例中,一种计算机程序产品包含在非暂时性计算机可读介质中,计算机可读介质上存储有一系列指令,当由处理器执行时,该指令使处理器执行用于渲染空间化音频的方法。该方法包括将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据。该方法还包括检测收听者的头部姿势。该方法还包括基于所检测的收听者的头部姿势,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二多个源由比第一多个源少的源组成。
在又一实施例中,一种计算机程序产品包含在非暂时性计算机可读介质中,计算机可读介质上存储有一系列指令,当由处理器执行时,该指令使处理器执行用于渲染空间化音频的方法。该方法包括检测收听者的第一头部姿势。该方法还包括基于所检测的收听者的第一头部姿势,将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据。该方法还包括检测收听者的第二头部姿势。此外,该方法包括基于所检测的收听者的第二头部姿势,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二多个源由比第一多个源少的源组成。
在一个或多个实施例中,传感器是惯性测量单元。第一和/或第二多个源可以是虚拟声源。传感器可以在第一阶段之后和第二阶段之前检测收听者的头部姿势。传感器可以在第二阶段之前立即检测收听者的头部姿势。
在一个或多个实施例中,第三多个源由比第二多个源更少的源或者与第二多个源相同数量的源组成。第一音频数据可以是完整的音频流数据集。第二多个源可以由8个或更少的源组成。
在一个或多个实施例中,第一多个源、第二多个源和/或第三多个源中的每一个对应于不同的位置/方向。第一多个源可以对应于第一多个位置。第二多个源可以对应于第二多个位置,并且第二多个位置中的每一个可以比第一多个位置中的每一个更接近收听者。第二多个位置可以不位于单个平面中。
在一个或多个实施例中,该***还包括与第三多个源对应的多个扬声器,以基于第三音频数据产生声音。第三多个源中的每一个可以对应于不同的位置,并且多个扬声器中的每一个可以在相应的不同位置处与第三多个源中的相应源对应。
在一个或多个实施例中,第二阶段可以包括基于所检测的收听者的头部姿势和第二多个源的相应位置/方向,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。第二阶段对收听者的旋转可以比对收听者的平移更敏感。第二阶段可以是仅旋转的音频变换。第二多个源中的每一个位于距收听者的头部大约6英寸至大约12英寸处。
在一个或多个实施例中,传感器在第一阶段之前检测收听者的第一头部姿势。传感器可以在第一阶段之后和第二阶段之前检测收听者的第二头部姿势。传感器可以在第二阶段之前立即检测收听者的第二头部姿势。
在一个或多个实施例中,第二阶段包括基于所检测的收听者的第二头部姿势和第二多个源的相应位置/方向,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。
在一个或多个实施例中,该方法还包括在渲染第一音频数据之后和渲染第二音频数据之前,检测收听者的头部姿势。该方法还可以包括在渲染第二音频数据之前立即检测收听者的头部姿势。该方法还可以包括通过与第三多个源对应的多个扬声器基于第三音频数据产生声音。该方法还可以包括基于所检测的收听者的头部姿势和第二多个源的相应位置/方向,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。
在一个或多个实施例中,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据对收听者的旋转比对收听者的平移更敏感。将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据可以是仅旋转的音频变换。
在一个或多个实施例中,该方法还包括在渲染第一音频数据之前检测收听者的第一头部姿势。该方法还可以包括在渲染第一音频数据之后和渲染第二音频数据之前检测收听者的第二头部姿势。该方法还可以包括在渲染第二音频数据之前立即检测收听者的第二头部姿势。
在一个或多个实施例中,该方法还包括基于所检测的收听者的第二头部姿势和第二多个源的相应位置/方向,将与第二多个源对应的第二音频数据渲染为与第三多个源对应的第三音频数据。
附图说明
附图示出了本发明的各个实施例的设计和实用。应当注意,附图未按比例绘制,并且在所有附图中相似结构或功能的元件以相同的附图标记表示。为了更好地理解如何获得本发明的各个实施例的上述和其它优点及目的,对于上面简要描述的本发明的更具体的描述,将通过参照附图中示出的其特定实施例来提供。应当理解,这些附图仅描绘了本发明的典型实施例,因此不应被认为是对其范围的限制。将通过使用附图,采用附加特征和细节来描述和解释本发明,在附图中:
图1描绘了根据一个实施例的通过可穿戴AR/MR用户设备的增强现实/混合现实的用户视图;
图2是根据一个实施例的佩戴在用户/收听者头部上的空间化音频***的俯视图;
图3是如图2所描绘的佩戴在用户/收听者头部上的空间化音频***的后视图;
图4是如图2所描绘的佩戴在用户/收听者头部上的空间化音频***的更详细的俯视图;
图5至图8是根据各个实施例的佩戴在用户/收听者头部上的空间化音频***的局部透视图和局部示意图;
图9是根据一个实施例的姿势敏感的空间化音频***的详细示意图;
图10是由真实物理音频源生成的空间化声场的示意图;
图11是根据一个实施例的包括各种虚拟声源和虚拟对象的空间化音频体验的后视图;
图12是图11所描绘的空间化音频体验的侧视图;
图13和图14是根据一个实施例的接收姿势敏感的空间化音频体验的用户/收听者的俯视图;在图13中,用户/收听者面向前方,而在图14中,用户/收听者面向左侧;
图15和图17是根据两个实施例的描述利用空间化音频***的后帧时间扭曲、姿势敏感的音频处理的方法的流程图;
图16示意性描绘了根据一个实施例的后帧时间扭曲音频处理。
具体实施方式
本发明的各个实施例涉及用于单个实施例或多个实施例中的空间化音频***的***、方法和制品。在详细说明书、附图和权利要求中描述了本发明的其它目的、特征和优点。
现在将参照附图详细描述各个实施例,其被提供为本发明的说明性示例,以使得本领域技术人员能够实践本发明。值得注意的是,以下附图和示例并不意味着限制本发明的范围。在使用已知部件(或方法或过程)可以部分或完全实现本发明的某些元件的情况下,将仅描述对理解本发明所必需的这些已知部件(或方法或过程)的那些部分,并且将省略对这些已知部件(或方法或过程)的其它部分的详细描述,以免模糊本发明。此外,各个实施例包含通过说明的方式在此提及的部件的当前和未来已知的等同物。
空间化音频***可以独立于AR/MR***来实现,但出于说明目的,下面的许多实施例仅关于AR/MR***进行描述。此外,在此描述的空间化音频***也可以以与VR***相同的方式使用。
问题和解决方案
空间化音频***(诸如与2D/3D影院***、2D/3D视频游戏以及VR/AR/MR***一起使用或形成其部分的空间化音频***)渲染、呈现和发出与在现实世界的物理3D空间中具有虚拟位置的虚拟对象相对应的空间化音频。如在本申请中所使用的那样,“发出”、“生成”或“呈现”音频或声音包括但不限于使得形成可被人类听觉***感知为声音的声波(包括亚音速低频声波)。这些虚拟位置通常使用坐标***(例如,具有在原点处的空间化音频***和相对于空间化音频***的已知方向的坐标***)对(即,记录在空间化音频***中)空间化音频***“已知”。与虚拟对象相关联的虚拟音频源具有内容、位置和方向。虚拟音频源的另一个特征是音量,其随着距收听者的距离的平方而下降。然而,当前空间化音频***(例如,5.1空间化音频***、7.1空间化音频***、电影音频***以及甚至一些头戴式音频***)都具有收听者位置和方向限制,这限制了空间化音频***可以为其生成逼真的空间化音频的收听者的数量和特征。
根据本文描述的一些实施例的头戴式空间化音频***跟踪用户/收听者的姿势(例如,位置和方向)以更准确地渲染空间化音频,使得与各虚拟对象相关联的音频听起来源自与各虚拟对象相对应的虚拟位置。根据本文描述的一些实施例的***还跟踪用户/收听者的头部姿势以更准确地渲染空间化音频,使得与各虚拟对象相关联的定向音频听起来在适合于各虚拟对象的虚拟方向上传播(例如,出自虚拟角色的嘴而不是虚拟角色的头部的后面)。此外,根据本文描述的一些实施例的***在其对空间化音频的渲染中包括其它现实物理对象和虚拟对象,使得与各虚拟对象相关联的音频听起来恰当地被现实物理对象和虚拟对象反射。
然而,即使包括基于姿势跟踪的音频渲染的头戴式空间化音频***也容易受到姿势变化的检测和与其相关联的虚拟声音的呈现之间的***滞后和延迟的影响。这种***滞后和延迟可导致虚拟声源的虚拟位置和与虚拟声源对应的虚拟声音的真实位置之间的认知失调。***滞后和延迟对于快速的姿势变化(例如,快速的头部运动)尤其成问题,其可以增大认知失调的幅度/程度。
本文描述的空间化音频***执行两阶段的音频数据渲染处理。在第一阶段,***将对应于第一多个源的第一音频数据渲染为对应于第二多个源的第二音频数据。第一阶段可以考虑头部姿势估计。与第一多个源相比,第二多个源具有更少的源,从而简化了音频数据。在第二阶段,***将第二音频数据渲染为对应于第三多个源(例如,***扬声器)的第三音频数据。第二阶段考虑用户/收听者的最新可用头部姿势估计,以更准确地渲染第三音频数据。第一阶段中的先前处理减少了渲染第三音频数据所需的处理周期和时间。因此,通过将音频处理分成两个阶段并在第二个更晚且更简单的阶段考虑更新的头部姿势,减少了在头部姿势的估计和基于其的虚拟声音的呈现之间的***滞后和延迟。
空间化音频***
AR/MR场景通常包括与真实世界对象相关的对应于虚拟对象的图像和声音的呈现。例如,参照图1,描绘了增强现实场景100,其中AR/MR技术的用户看到背景中具有人、树、建筑物的现实世界的物理公园式设置102,以及现实世界的物理混凝土平台104。除了这些项目之外,AR/MR技术的用户还感知到他“看到”了站在现实世界的物理平台104上的虚拟机器人雕像106,以及看起来像是大黄蜂化身的飞行的虚拟卡通式阿凡达角色108,即使这些虚拟对象106、108在现实世界中并不存在。
为了呈现可信的或可通行的AR/MR场景100,虚拟对象(例如,机器人雕像106和大黄蜂108)可以具有分别与其相关联的同步的空间化音频。例如,可以生成与机器人雕像106相关联的机械声音,使得其听起来从与机器人雕像106对应的虚拟位置发出。类似地,可以生成与大黄蜂108相关联的嗡嗡声音,使得其听起来从与大黄蜂108对应的虚拟位置发出。
除了位置之外,空间化音频可以具有方向。例如,与大黄蜂108相关联的“卡通式”声音可听起来从大黄蜂108的嘴110发出。虽然大黄蜂108在图1描绘的场景中面向观看者/收听者,但在另一场景中大黄蜂108可以背向观看者/收听者,例如,观看者/收听者已经移动到虚拟大黄蜂108后面。在此情况下,大黄蜂108的声音将被渲染为被场景中其它对象(例如,机器人雕像106)反射的声音。
在一些实施例中,可以生成虚拟声音,使得其听起来从现实物理对象发出。例如,可以生成虚拟鸟声以使其听起来源自AR/MR场景100中的真实树木。类似地,可以生成虚拟语音,使得其听起来源自AR/MR场景100中的真人。在AR/MR会议中,可以生成虚拟语音,使得其听起来是从真人口中发出。虚拟语音可能听起来像真人的声音或完全不同的声音。在一个实施例中,虚拟语音可以听起来从收听者周围的多个声源同时发出。在另一个实施例中,虚拟语音可以听起来从收听者的身体内发出。
通过类似方式,VR场景还可以受益于更精确并且更少侵入(intrusive)的空间化音频的生成和传送,同时最小化心理声学效应。与AR/MR场景一样,VR场景也必须考虑对空间化音频进行渲染的一个或多个移动观看者/收听者单元。根据位置、方向和音量准确地渲染空间化音频可以提高VR场景的沉浸感,或者至少不会影响VR场景。
图2在从收听者头部200上方的俯视图中示意性地描绘了佩戴在收听者头部200上的空间化音频***202。如图2所示,空间化音频***202包括框架204以及附接到框架204的四个扬声器206-1、206-2、206-3、206-4。扬声器206-1附接到框架204,使得当空间化音频***202佩戴在收听者头部200上时,扬声器206-1位于收听者头部200前方F且左侧L。扬声器206-2附接到框架204,使得当空间化音频***202佩戴在收听者头部200上时,扬声器206-2位于收听者头部200前方F且右侧R。扬声器206-3附接到框架204,使得当空间化音频***202佩戴在收听者头部200上时,扬声器206-3位于收听者头部200后方B且左侧L。扬声器206-4附接到框架204,使得当空间化音频***202佩戴在收听者头部200上时,扬声器206-4位于收听者头部200后方B且右侧R。所有的扬声器206-1、206-2、206-3、206-4指向收听者头部200。图2所描绘的扬声器布置有助于生成空间化音频。
如在本申请中所使用的,“扬声器”包括但不限于产生声音的任何装置,该声音包括典型人类听觉范围之外的声音。因为声音基本上是空气分子的运动,所以可以使用许多不同类型的扬声器来产生声音。图2所描绘的扬声器206-1、206-2、206-3、206-4中的一个或多个可以是传统的电动扬声器或振动表面以产生声音的振动换能器。在包括振动换能器的实施例中,换能器可以振动任何表面以产生声音,包括但不限于框架204和收听者的颅骨。扬声器206-1、206-2、206-3、206-4可以可拆卸地(例如,磁性地)附接到框架204,使得扬声器206-1、206-2、206-3、206-4可以更换和/或升级。
图3在从收听者头部200后面的后视图中示意性地描绘了图2所描绘的空间化音频***202。如图3所示,空间化音频***202的框架204可以被配置为使得当空间化音频***202佩戴在收听者头部200上时,框架204的前部位于收听者头部200上方A并且框架204的后部位于收听者头部200下方U。因为空间化音频***202的四个扬声器206-1、206-2、206-3、206-4附接到框架204,所以当空间化音频***202佩戴在收听者头部200上时,扬声器206-1、206-2设置在收听者头部200上方A,扬声器206-3、206-4设置在收听者头部200下方U。图3所描绘的扬声器布置有助于产生空间化音频,尤其是包括位于收听者头部200上方A和下方U的平面中的虚拟音频源的空间化音频。
虽然已经说明扬声器206-1、206-2、206-3、206-4指向收听者头部200,但是如图4所示,更准确地描述扬声器206-1、206-2、206-3、206-4指向收听者耳朵208-L、208-R。图4是类似于图2描述的俯视图。扬声器206-1、206-3指向收听者左耳208-L。扬声器206-2、206-4指向收听者右耳208-R。将扬声器206-1、206-2、206-3、206-4指向收听者耳朵208-L、208-R使得为收听者渲染的空间化音频所需的音量最小化。这反过来减少了从空间化音频***202泄漏的声音量(即,指向非预期收听者)。每个扬声器206-1、206-2、206-3、206-4可以产生主要为圆锥形开花似(bloom)的声波,以将空间化音频聚焦向收听者耳朵208-L、208-R中的一个。框架204还可以被配置为将空间化音频聚焦向收听者耳朵208-L、208-R。例如,框架204可以包括或形成声波导以引导空间化音频。
虽然图2至图4中的***202包括四个扬声器206-1、206-2、206-3、206-4,但是其它空间化音频***可以包括更少或更多的扬声器。在一个实施例中,空间化音频***包括沿着Z轴(相对于用户/收听者)的至少两个平面中彼此移位的六个扬声器(和相应的声道),以更精准且精确地成像相对于用户/收听者头部倾斜的声源。
现在参照图5至图8,示出了一些示例性空间化音频***的组件选项。如图5所示,头部安装的空间化音频***202由收听者佩戴在收听者头部200上,该空间化音频***202包括耦合到多个扬声器206的框架204。以下描述示例性空间化音频***202的可能组件。所描述的组件并不都是实现空间化音频***202所必需的。
尽管未在图5至图8中示出,但另一对扬声器206位于收听者头部206的另一侧上的收听者头部200附近,以提供空间化声音。这样,该空间化音频***202一共包括四个扬声器206,类似于图2至图4所描绘的***。尽管图5、图7和图8所描绘的空间化音频***202中的扬声器206附接到相应的框架204,但空间化音频***202的一些或所有扬声器206可以附接到或嵌入头盔或帽子212中,如图6描绘的实施例中所示。
空间化音频***202的扬声器206可操作地耦合到本地处理和数据模块216,例如通过有线导线和/或无线连接214,本地处理和数据模块216可以通过各种配置被安装,例如固定地附接到框架204,如图6描绘的实施例所示固定地附接到/嵌入头盔或帽子212,如图7的实施例所示以背包式配置可拆卸地附接到收听者的躯干218,或者如图8的实施例所示以皮带耦合式配置可拆卸地附接到收听者的臀部220。
本地处理和数据模块216可以包括一个或多个节能处理器或控制器、以及数字存储器(例如,闪存),两者都可以用于辅助数据的处理、缓存和存储。可以从可操作地耦合到框架204的传感器捕获数据,该传感器诸如为图像捕获设备(诸如,可见光相机和红外光相机)、惯性测量单元(“IMU”,其可以包括加速度计和/或陀螺仪)、指南针、麦克风,GPS单元和/或无线电设备。可替代地或另外地,可以使用远程处理模块222和/或远程数据储存库224来获取和/或处理数据,在这样的处理或检索之后可能会促进/引导通过扬声器206产生声音。本地处理和数据模块216可以例如经由有线或无线通信链路226、228可操作地耦合到远程处理模块222和远程数据储存库224,使得这些远程模块222、224可操作地彼此耦合并且可以用作本地处理和数据模块216的资源。
在一个实施例中,远程处理模块222可以包括一个或多个相对强大的处理器或控制器,其被配置为分析和处理音频数据和/或信息。在一个实施例中,远程数据储存库224可以包括相对大规模的数字数据存储设施,其可以通过因特网或“云”资源配置中的其它联网配置获得。然而,为了最小化***滞后和延迟,虚拟声音渲染(尤其是基于检测到的姿势信息)可以限于本地处理和数据模块216。在一个实施例中,在本地处理和数据模块216中存储所有数据并且执行所有计算,允许来自任何远程模块的完全自主的使用。
在一个或多个实施例中,空间化音频***通常适于特定的收听者头部,并且扬声器与收听者耳朵对齐。可以使用这些配置步骤以确保为收听者提供最佳的空间化音频体验,而不会引起任何生理副作用,例如头痛、恶心、不适等。因此,在一个或多个实施例中,为每个单独的收听者(在物理上和数字上)配置收听者佩戴的空间化音频***,并可专门为收听者校准一组程序。例如,在一些实施例中,收听者佩戴的空间化音频***可以检测或提供有头戴式空间化音频***的扬声器与收听者耳朵之间的相应距离,以及收听者头部的3D映射。所有这些测量可以用于提供定制的头戴式空间化音频***以适合给定的收听者。在其它实施例中,为了执行空间化音频功能,可以不需要这样的测量。例如,尽管虚拟音频源的空间化可能不太精确,但各种收听者可以舒适地使用宽松适合的空间化音频***。
虽然不需要实现空间化音频***,但是显示器230可以耦合到框架204(例如,除了空间音频体验之外,还用于光学AR/MR体验),如图5到图8所示。在美国实用新型专利申请序号14/738,877(代理人案卷号ML.20019.00)和美国实用新型专利申请序号14/555,585(代理人案卷号ML.20011.00)中描述了示例性AR/MR显示器,其内容先前已通过引用并入本文。在包括显示器230的实施例中,除了空间音频数据之外,本地处理和数据模块216、远程处理模块222和远程数据储存库224还可以处理3D视频数据。
图9描绘了根据一个实施例的姿势敏感的空间化音频***802,其包括经由有线导线和/或无线连接814可操作地耦合到本地处理和数据模块816的多个扬声器806-1、806-2。姿势敏感的空间化音频***802还包括经由有线导线和/或无线连接814可操作地耦合到本地处理和数据模块816的头部姿势传感器832。头部姿势传感器832被配置为采集收听者/用户的头部姿势数据。头部姿势传感器832可以包括一个或多个图像捕获设备(诸如可见光相机和红外光相机)、惯性测量单元(IMU,包括加速度计和陀螺仪)、罗盘、麦克风、GPS单元或无线电设备。虽然图9中描绘的姿势敏感的空间化音频***802仅包括两个扬声器806-1、806-2,但是根据其它实施例的空间化音频***可以包括多个扬声器。
姿势敏感的空间化音频***802还包括头部姿势处理器834,以至少基于由头部姿势传感器832采集的头部姿势数据来确定佩戴姿势敏感的空间化音频***802的收听者/用户的头部姿势(例如,位置和方向)。如在本申请中所使用的那样,“头部姿势处理器”包括但不限于计算机的一个或多个单独且独立的软件和/或硬件组件(其必须在通用计算机能够确定头部姿势之前添加到该计算机),以及添加有这些组件的计算机。
姿势敏感的空间化音频***802还包括空间化音频处理器836,以至少基于由头部姿势处理器834确定的头部姿势,生成用于将要传送给佩戴姿势敏感的空间化音频***802的收听者/用户的空间化音频的空间化音频数据。生成的空间化音频数据可以包括对于空间化声场中的每个虚拟音频源的内容、位置、方向和音量数据。如在本申请中所使用的那样,“音频处理器”包括但不限于计算机的一个或多个单独且独立的软件和/或硬件组件(其必须在通用计算机能够生成空间化音频数据之前添加到该计算机),以及添加有这些组件的计算机。空间化音频处理器836还可以基于空间化音频数据生成用于多个扬声器806-1、806-2的音频信号,以将空间化音频传送给收听者/用户。可以以与图5-图8中所描绘的空间化音频***202类似的方式,将图9中示意性描绘的姿势敏感的空间化音频***802分成组件。
图10描绘了由真实物理音频源302生成的空间化声场300。真实物理声源302具有位置和方向。真实物理声源302产生具有许多部分的声波。由于真实物理声源302相对于收听者头部200的位置和方向,声波的第一部分306被引导到收听者的左耳208-L。声波的第二部分306'被引导远离收听者头部200并引导朝向空间化声场300中的对象304。声波的第二部分306’被对象304反射,产生反射的第三部分306”,其被引导到收听者的右耳208-R。由于声波的第一部分306、第二部分306'和第三部分306”的行进距离不同,这些部分将在稍微不同的时间到达收听者的左耳208-L和右耳208-R。此外,对象304可以在声波的反射的第三部分306”的声音到达收听者的右耳208-R之前调制其声音。
即使不存在对象304,收听者的双耳208-L、208-R将听到来自真实物理声源302的声波。如果声源302设置在收听者的左侧(如图10所示),则收听者可以听到从其发出的声波,使得声音可以在左耳208-L中听起来更早并且在右耳208-R中听起来更晚(例如,800微秒)。实际上人类大脑的听觉中心分析这种延时以定位空间化声音的源。与右耳208-R相比,左耳208-L中的声音也可听起来更响亮。
图10所描绘的空间化声场300是相当简单的空间化声场,其仅包括一个真实物理声源302和一个对象304。即使再现这种简单的空间化声场300的空间化音频***202也必须考虑声波的各种反射和调制。具有多余一个的声源和/或与其中的声波相互作用的多余一个的对象的空间化声场的成指数地更为复杂。空间化音频***202必须越来越强以再现这些越来越复杂的空间化声场。虽然图9中所描绘的空间化音频处理器236是本地处理和数据模块216的一部分,但是在其它实施例中更强大的空间化音频处理器236可以是远程处理模块222的一部分,以节省本地处理和数据模块216的空间和功率。
空间化音频体验
图11在从用户/收听者头部200后方的前向透视图中描绘了根据一个实施例的空间化音频体验400。为了实现空间化音频体验400,向空间化音频***提供用户/收听者和多个扬声器的相对位置和方向。例如,用户/收听者可以佩戴具有已知“适合”的头戴式空间化音频***(未示出)。
空间化音频体验400包括第一虚拟音频源402-1和第二虚拟音频源402-2。这些虚拟音频源402-1、402-2可以对应于呈现给用户的视觉信息。例如,第一虚拟音频源402-1可以对应于AR/MR体验中的虚拟角色,第二虚拟音频源402-2可以对应于AR/MR体验中的虚拟喇叭。可以在耦合到空间化音频/AR/MR***的框架的显示器(图11中未示出,参见图5至图8)上向用户显示虚拟角色和虚拟喇叭。在其它实施例中,虚拟音频源402-1、402-2可以不与任何视觉信息对应。
图11还描绘了与第一虚拟音频源402-1(即,虚拟角色)对应的声波的部分406,其引导到收听者的左耳208-L。图11还描绘了与第二虚拟音频源402-2(即,虚拟喇叭)对应的声波的第一部分406',其引导到虚拟对象404。第一部分406'被虚拟对象404反射,形成第二部分406”,其引导到收听者的右耳208-R。
图12在侧视图中描绘了图11中所描绘的空间化音频体验400实施例。图12示出了第一虚拟音频源402-1(即,虚拟角色)虚拟地位于收听者的左耳208-L的略微下方。图12还示出了第二虚拟音频源402-2(即,虚拟喇叭)虚拟地位于收听者的右耳208-R的略微上方,并且虚拟对象404具有收听者的右耳208-R与第二虚拟音频源402-2之间的虚拟高度。
在一些实施例中,使用AR/MR显示器204显示第一虚拟音频源402-1(即,虚拟角色)和第二虚拟音频源402-2(即,虚拟喇叭)。AR/MR显示器可以被配置为在“以世界为中心”的视图中显示第二虚拟音频源402-2(以及任何其它虚拟对象),使得第二虚拟音频源402-2的虚拟位置被设置在虚拟世界中,与观看者的位置或姿势无关。因此,如果观看者将其头部转离第二虚拟音频源402-2,则他们将不再看到虚拟对象。
虽然第一虚拟音频源402-1和第二虚拟音频源402-2不具有实际物理位置,但是它们的虚拟位置对于渲染与第一虚拟音频源402-1和第二虚拟音频源402-2对应的各空间化音频很重要。虽然图11和图12所描绘的空间化音频体验400仅包括两个虚拟音频源402-1、402-2,但是其它空间化音频体验可包括更多或更少的虚拟音频源。例如,典型的电影场景可以包括许多虚拟音频源,诸如背景音乐、背景噪声、与物理动作相关的声音以及对话。再现这些许多虚拟音频源准确地增加收听者对空间化音频体验的乐趣。
已经参照本文中用于生成和传送体验400的AR/MR和空间化音频***的实施例来描述空间化音频体验400。其它视频和音频***可以被配置为传送空间化音频体验400,尽管具有不同的准确度和精度。
虽然上面一般性地描述了空间化音频体验,但是一些空间化音频体验考虑了用户/收听者的姿势。例如,如下所述,可以基于检测到的用户/收听者的姿势来修改音频渲染。
姿势敏感的空间化音频***
图13从俯视图描绘了姿势敏感的空间化音频***802,其被配置为向用户呈现姿势敏感的空间化音频体验700。例如,姿势敏感的空间化音频体验700包括第一虚拟音频源702-1和第二虚拟音频源702-2。第一虚拟音频源702-1可以对应于AR/MR体验中的虚拟角色,第二虚拟音频源702-2可以对应于AR/MR体验中的虚拟喇叭。空间化音频体验700是“以世界为中心”的体验,其中虚拟音频源702-1、702-2在世界中具有独立于用户姿势的相应虚拟位置。
用户佩戴的空间化音频***802包括框架804和附接到框架804的四个扬声器806-1、806-2、806-3、806-4。扬声器806-1附接到框架804,使得当空间化音频***802佩戴在收听者头部200上时,扬声器806-1位于收听者头部200前方F且左侧L。扬声器806-2附接到框架804,使得当空间化音频***802佩戴在收听者头部200上时,扬声器806-2位于收听者头部200前方F且右侧R。扬声器806-3附接到框架804,使得当空间化音频***802佩戴在收听者头部200上时,扬声器806-3位于收听者头部200后方B且左侧L。扬声器806-4附接到框架804,使得当空间化音频***802佩戴在收听者头部200上时,扬声器806-4位于收听者头部200后方B且右侧R。所有的扬声器806-1、806-2、806-3、806-4指向收听者头部200。
用户头部200处于图13所示的姿势,来自第一虚拟音频源702-1和第二虚拟音频源702-2的虚拟声音应当听起来分别从用户头部200的前方F和右侧R发出。因此,与第一虚拟音频源702-1对应的虚拟声音可以从位于用户头部200的前方F的扬声器806-1、806-2发出。类似地,与第二虚拟音频源702-2对应的虚拟声音可以从位于用户头部200的右侧R的扬声器806-2、806-4发出。渲染音频数据,使得从扬声器发出的虚拟声音产生与第一虚拟音频源702-1和第二虚拟音频源702-2的虚拟位置一致的空间化音频体验。
图14从类似于图13的俯视图描绘了姿势敏感的空间化音频***802,其向用户呈现与图13所描绘的相同的姿势敏感的空间化音频体验700。然而,在图14中,用户/收听者头部200以及佩戴在其上的空间化音频***802一起已经向左转90°。在这种配置中,空间化音频***802的参考框架已经向左转90°。因此,用户/收听者头部200的右侧R面向第一虚拟音频源702-1,而用户/收听者头部200的后方B面向第二虚拟音频源702-2。
用户头部200处于图14所示的姿势,来自第一虚拟音频源702-1和第二虚拟音频源702-2的虚拟声音应当听起来分别从用户头部200的右侧R和后方B发出。因此,与第一虚拟音频源702-1对应的虚拟声音可以从位于用户头部200的右侧R的扬声器806-2、806-4发出。类似地,与第二虚拟音频源702-2对应的虚拟声音可以从位于用户头部200的后方B的扬声器806-3、806-4发出。渲染音频数据使得虚拟声音从适当的扬声器发出,同时考虑用户/收听者的姿势,产生与第一虚拟音频源702-1和第二虚拟音频源702-2的虚拟位置一致的空间化音频体验。这种姿势敏感的空间化音频体验通过以世界为中心的方式设置的虚拟对象来促进可信或可通行的虚拟世界。
如上面针对图9所描绘的姿势敏感的空间化音频***802所解释的,空间化音频***802可以访问用户/收听者的头部姿势并利用该头部姿势来渲染音频数据,并且呈现与音频数据对应的音频。呈现的音频与虚拟对象和用户/收听者头部200的位置一致。例如,姿势敏感的空间化音频体验700中的声音,诸如与第二虚拟音频源702-2(虚拟喇叭)对应的声音,应当被呈现,使得用户/收听者感知音频源位于收听者头部200的右侧且略微上方(参见图11和图12)。以这种方式,空间化音频***802可以更准确且精确地针对每个用户/收听者产生空间化音频。
虽然图13和图14所描绘的空间化音频***802包括四个扬声器806-1、806-2、806-3、806-4,但是其它空间化音频***可以包括更少或更多的扬声器806。可以协调扬声器806的数量、类型、位置和方向以优化对用户/收听者的空间化音频的呈现。例如,较大的扬声器(例如,次低音)可用于呈现低频声音,而较小的扬声器可用于呈现高频和中频声音。
已经描述了根据各个实施例的空间化音频***的各个方面,现在将描述使用空间化音频***(例如,202、802)用于呈现空间化音频(例如,在空间化音频体验中)的方法。所描述的方法是姿势敏感的,以产生更准确和精确的空间化音频体验。此外,所描述的方法包括后帧时间扭曲(late-frame time warp)音频处理,以减少与***滞后/延迟相关的伪声(artifact)的数量。
感觉延迟(sensory latency)和音频处理
如上所述,当关于以下的空间化音频***的信息向用户/收听者呈现时,关于用户/收听者的头部姿势在姿势传感器捕获运动(例如,引起头部姿势变化的头部和/或身体的运动)的时间与基于该运动和相应声音而渲染音频数据的时间之间变化,感觉延迟在空间化音频***中造成问题(例如,伪声),其中虚拟声源以世界为中心的方式“卡”到虚拟世界。示例性的感觉延迟伪声是与虚拟对象对应且听起来从与虚拟对象的虚拟位置不同的虚拟位置发出的虚拟声音。由于头部快速改变平移方向的能力与快速改变旋转方向的能力相比有限,因此用户/收听者头部的旋转和倾斜比用户/收听者头部的平移更具感觉延迟问题。由于姿势或运动捕获与虚拟声音呈现之间的典型时间是毫秒级(“ms”),因此方向改变的速度决定了导致感觉延迟问题的改变的类型。
人类大脑善于区分声音(例如,节拍),并且在旋转平面中定位声源(例如,图3中的前、右、后、左)。因此,必须大约每4-10ms生成/更新音频“帧”,以向用户/收听者呈现真实的空间化音频体验。相比之下,可以大约每8-17ms生成/更新被显示以呈现真实的视觉体验(例如,电影)的视觉“帧”。
音频处理与视频处理不同,因为虽然视频处理通常将形状合并到一个或多个平的投影平面中,但音频处理将具有不同位置和方向的多个声源(例如,“扬声器”)合并到声音检测器(例如,“麦克风”)的多个声道中。虽然音频处理被描述为合并声源,但与“合并”的那些声源对应的是音频数据。
后帧时间扭曲音频处理
图15描绘了根据一个实施例的姿势敏感音频处理方法500,其最小化感觉延迟伪声。姿势敏感音频处理方法500利用后帧时间扭曲技术最小化检测姿势变化与基于检测到的姿势变化产生声音之间的滞后/延迟。例如,可以利用上述空间化音频***802来实现方法500。简而言之,方法500将音频处理分为两个阶段:将音频数据部分地处理成中间格式的第一阶段;以及利用姿势数据快速完成处理的计算强度较低/计算较不费力的第二阶段。
在步骤502中,空间化音频***802(例如,其音频处理器236)接收用于(即对应于)第一多个(例如,N个)音频源的第一音频数据。源音频数据对应于旨在经由空间化音频***802的扬声器806传送给用户/收听者的声音。在基本上产生/传送声音的同时,可以经由有线或无线连接从数据库接收源音频数据。或者,可以在产生/传送声音之前接收源音频数据并将其存储在空间化音频***802上。
图16示意性地描绘了根据一个实施例的后帧时间扭曲音频处理方法600。与第一音频数据对应的第一多个音频源602中的每一个均被描绘为星形。如图16所示,第一多个音频源602包括六个音频源602。当然,本实施例中音频源602的数量是任意的而不是限制性的。第一多个音频源602中的每一个可以对应于虚拟声源。
在步骤504中,空间化音频***802(例如,其音频处理器236)将第一音频数据渲染/处理/变换为用于(即,对应于)第二多个(例如,M个)音频源的第二音频数据。步骤504对应于上述的两阶段音频处理的第一阶段。第一阶段也称为该处理的“合并阶段”。第二多个(例如,M个)音频源的数量可以小于或等于第一多个(例如,N个)音频源的数量。减少第二多个音频源的数量可简化第二阶段中的音频处理(如下所述)。从理论上说,第二多个(例如,M个)音频源的数量可以大于第一多个(例如,N个)音频源的数量,但该模型可能不会得到计算强度较低的第二阶段。步骤504中的两阶段音频处理的第一阶段还可以考虑当前佩戴空间化音频***802(参见图17)的用户/收听者的姿势(例如,头部姿势)估计。
在图16中,与第一音频数据对应的第二多个音频源604中的每一个被描绘为圆形。第二多个音频源604中的每一个是虚拟麦克风/扬声器,其用作两阶段音频处理中的中间节点。这些音频源604是虚拟麦克风,因为步骤504中的第一阶段音频处理通过在第二多个音频源604中的每一个的位置处“记录”由第一多个音频源602中的每一个产生的虚拟声音来渲染第二多个音频源604中的每一个。因此,第二多个音频源604中的每一个可以包括来自第一多个音频源602中的每一个的音频数据。这在图16中由虚线描绘,虚线将第一多个音频源602中的每一个连接到第二多个音频源604中的每一个。这些音频源604是虚拟扬声器,因为在第二阶段音频处理中(如下所述),第二多个音频源604用作音频处理的声源。
这些音频源/中间节点604浮动在用户/收听者头部周围的3D空间中,但不一定与其绑定(tie to)。特别地,在第一音频渲染阶段开始时,音频源/中间节点604可以基于用户头部姿势的当时最佳估计而定位在空间中,并且可以在该音频块的持续时间内保持在那里。在第二音频渲染阶段,可以基于用户的新的最佳估计姿势来渲染来自那些位置的声音。在一些实施例中,第二多个音频源/中间节点604设置在多余一个的平面中(即,在多余一个的垂直高度处),以更准确地渲染与3D空间中设置的虚拟声源对应的音频数据。在一些实施例中,第二多个音频源/中间节点604的数量小于8,以降低第二阶段的计算复杂度(如下所述)。在一些实施例中,第二多个音频源/中间节点604设置在距离收听者头部大约6英寸(15.24cm)至大约12英寸(30.48cm)的位置。在一些实施例中,中间节点604固定在局部坐标系中,其原点锁定到用户的头部位置,但方向锁定到与用户环境的惯性参考系对应的公共世界坐标系。
在步骤506中,空间化音频***802(例如,其头部姿势处理器234)确定当前佩戴空间化音频***802的用户/收听者的最新姿势估计(例如,头部姿势)。作为确定最新姿势估计的一部分,空间化音频***802可以采集最近可用的姿势数据(例如,通过头部姿势传感器232的头部姿势数据)。头部姿势传感器232可包括一个或多个图像捕获设备(诸如,可见光相机和红外光相机)、惯性测量单元(包括加速度计和陀螺仪)、罗盘、麦克风、GPS单元和无线电设备。头部姿势传感器232可以以图像、加速度和陀螺仪信息、罗盘信息、声音、GPS信息和无线电传输中的一个或多个的形式来采集头部姿势数据。所有这些数据可用于确定用户/收听者的头部姿势。由头部姿势处理器234执行的计算根据所采集(例如,通过头部姿势传感器232)的姿势数据的类型而变化。
在步骤508中,空间化音频***802(例如,其音频处理器236)将第二音频数据渲染/处理/变换为用于(即对应于)第三多个(例如,K个)音频源的第三音频数据。步骤508对应于上述的两阶段音频处理的第二阶段。第三多个(例如,K个)音频源的数量可以小于或等于第二多个(例如,M个)音频源的数量。从理论上说,第三多个(例如,K个)音频源的数量可以大于第二多个(例如,M个)音频源的数量,但该模型不太常见。
在图16中,与第三音频数据对应的第三多个音频源606中的每一个被描绘为三角形。第三多个音频源606包括四个音频源606。当然,本实施例中音频源602的数量是任意的而不是限制性的。第三多个音频源606中的每一个可以对应于物理扬声器806。在步骤508中的第二阶段期间,音频处理器236可以访问第二多个音频源/中间节点604中的每一个的精确虚拟空间位置。该信息降低了第二阶段音频处理的计算复杂度和***延迟。
为了渲染音频数据,第三多个音频源606中的每一个用作如上所述的虚拟麦克风。这些音频源606用作虚拟麦克风是因为步骤508中的第二阶段音频处理通过在第三多个音频源606中的每一个的位置处“记录”由第二多个音频源604中的每一个产生的虚拟声音来渲染第三多个音频源606中的每一个。因此,第三多个音频源606中的每一个可以包括来自第二多个音频源604中的每一个的音频数据。这在图16中由虚线描绘,虚线将第二多个音频源604中的每一个连接到第三多个音频源606中的每一个。如上所述,这些音频源606对应于用于向用户/收听者呈现虚拟声音的现实世界物理扬声器806。
在步骤508中的第二阶段音频处理期间,空间化音频***802(例如,其音频处理器236)至少部分地基于在步骤506中确定的最新姿势估计来将第二音频数据渲染/处理/变换为第三音频数据。例如,如果用户/收听者头部向左转动,如图14和图16所示,则空间化音频***802将渲染第三音频数据,使得第三多个音频源606略微向右旋转。因此,与用户/收听者左侧的虚拟对象对应的虚拟声音听起来源自用户/收听者头部的前面。还可渲染空间化音频数据以考虑用户/收听者头部除了偏航之外的俯仰和转动。此外,可以渲染空间化音频数据以考虑虚拟声源距用户/收听者头部的虚拟距离。
因为在步骤504中的第一阶段音频处理中已经发生了一些音频处理,所以步骤508中的第二阶段音频处理比第一阶段音频处理的计算强度小。通过减少第一多个音频源602(原始接收的音频数据)和第二多个音频源604(中间节点)之间音频源的数量,尤其降低了计算复杂度。计算复杂度的降低减小了感觉延迟和***滞后。
在一些实施例中,当存在最小的姿势改变时,步骤508中的第二阶段音频处理仅最小地改变第二多个音频源604。在其它实施例中,当存在最小的姿势改变时,步骤508中的第二阶段音频处理可以仅改变第二多个音频源604的数量。
在步骤510中,空间化音频***802(例如,扬声器806-1、806-2、806-3、806-4)基于第三音频数据呈现空间化声音。扬声器806的配置(例如,图2至图8、图13和图14所示的配置)有助于呈现沿三个轴(例如,X、Y和Z轴)可变的声音(例如,空间化音频)。
图17描绘了根据另一个实施例的姿势敏感的音频处理的方法500',其最小化感觉延迟伪声。图17描绘的方法500'中的步骤502和步骤510与图15描绘的方法500中的对应步骤类似。步骤504'、步骤506'和步骤508'类似于图15描绘的方法500中的对应步骤。如在图15描绘的方法500中那样,在步骤502中,空间化音频***802(例如,其音频处理器236)接收用于(即,对应于)第一多个(例如,N个)音频源的第一音频数据。
图17描绘的方法500'包括步骤502和步骤504'之间的步骤503。在步骤503中,空间化音频***802(例如,其头部姿势处理器234)确定当前佩戴空间化音频***802的用户/收听者的第一姿势估计(例如,头部姿势)。作为确定第一姿势估计的一部分,空间化音频***802可以在步骤503中采集对***802可用的姿势数据(例如,通过头部姿势传感器232的头部姿势数据)。头部姿势传感器232可包括图像捕获设备(例如,可见光相机和红外光相机)、惯性测量单元(包括加速度计和陀螺仪)、指南针、麦克风、GPS单元和无线电设备中的一个或多个。头部姿势传感器232可以以图像、加速度和陀螺仪信息、罗盘信息、声音、GPS信息和无线电传输中的一个或多个的形式采集头部姿势数据。所有这些数据可用于确定用户/收听者的第一头部姿势。由头部姿势处理器234执行的计算根据所采集(例如,通过头部姿势传感器232)的姿势数据的类型而变化。
在步骤504'中,空间化音频***802(例如,其音频处理器236)将第一音频数据渲染/处理/变换为用于(即,对应于)第二多个(例如,M个)音频源的第二音频数据,类似于图15描绘的方法500中的步骤504。不同之处在于,在图17所描绘的方法500'中,步骤504'中的两阶段音频处理的第一阶段明确地考虑了来自步骤503的当前佩戴空间化音频***802的用户/收听者的第一姿势(例如,头部姿势)估计。考虑在步骤503中可用的姿势估计提高了第一阶段音频处理/渲染的准确性。
在步骤506'中,空间化音频***802(例如,其头部姿势处理器234)确定当前佩戴空间化音频***802的用户/收听者的第二姿势估计(例如,头部姿势)。第二姿势估计是步骤506'中的最新姿势估计。作为确定最新姿势估计的一部分,空间化音频***802可以采集最近可用的姿势数据(例如,通过头部姿势传感器232的头部姿势数据)。步骤506'非常类似于图15所描绘的方法500中的步骤506。
在步骤508'中,空间化音频***802(例如,其音频处理器236)将第二音频数据渲染/处理/变换为用于(即,对应于)第三多个(例如,K个)音频源的第三音频数据。步骤508'中的第二阶段音频处理考虑了在步骤506'中确定的当前佩戴空间化音频***802的用户/收听者的第二姿势(例如,头部姿势)估计。考虑步骤506'中可用的第二姿势估计,提高了第二阶段音频处理/渲染的准确性。图17所描绘的方法500'中的第二姿势估计类似于图15所描绘的方法500中的最新头部姿势估计。
在步骤510中,空间化音频***802(例如,扬声器806-1、806-2、806-3、806-4)基于第三音频数据呈现空间化声音。步骤510与图15所描绘的方法500中的对应步骤相同。
图15至图17所描绘的并且如上所述的两阶段音频处理可以引入一些次要(minor)伪声。由于来自第一多个的音频源602与来自第二多个的音频源604之间略微未对准,示例性的次要伪声为音频源的表观位置的略微未对准。从概念上说,使声音传递通过来自第二多个的中间节点604可能导致略微未对准。此外,由于与行进至中间节点然后返回到用户/收听者的距离相比,原始距离较短,因此来自虚拟地位于中间节点604的“网络”内部的声源的虚拟声音具有略微延迟的到达时间。然而,与来自上述感觉延迟的主要伪声相比,这些次要伪声对空间化音频体验的影响小得多。
无论用户/收听者的姿势如何改变,上述后帧时间扭曲、姿势敏感的音频处理实现了虚拟空间化音频的更感知准确的渲染。由于要求对被各表面反射的音频进行建模以及由于距离和干扰引起的相位和角度变化,虚拟空间化音频的渲染的计算量可能很大。两阶段音频处理实现了更准确的渲染,其中第一阶段将音频源合并为较少的中间节点/音频源,第二阶段对来自中间节点/音频源的音频数据进行最终渲染以考虑最新获取的姿势信息。上述处理减少了获取姿势信息之后的***延迟。
虽然上述后帧时间扭曲、姿势敏感的音频处理方法500、600包括具有特定位置的特定数量的音频源,但这些数量和位置是示例性的而不是限制性的。此外,处理阶段的数量也是示例性的而不是限制性的。
在此描述了本发明的各种示例实施例。以非限制性意义参考这些示例。提供示例是以说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下,可以对所描述的发明进行各种改变并且可以替换等同物。此外,可以进行很多修改以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、的过程动作或步骤。进一步地,如本领域的技术人员所知道的,在不脱离本发明的范围和精神的情况下,在此描述和示出的每个单独的变形具有独立的组件和特征,其可容易地与其他若干实施例的任意一个的特征分离或组合。所有这些修改意在处于与本公开相关的权利要求的范围之内。
本发明包括可使用主体装置执行的方法。该方法可包括提供这种合适的装置的动作。这种提供可由终端用户执行。换言之,“提供”动作仅需要终端用户的获得、访问、处理、定位、设置、激活、通电或其它动作,以在该方法中提供必要的装置。在此所述的方法可按逻辑上可能的所述事件的任何顺序以及以所述的事件顺序来执行。
以上已经描述了本发明的示例方面以及关于材料选择和制造的细节。对于本发明的其它细节,可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的来理解。这在关于如通常或逻辑上采用的附加动作的方面,关于本发明的基于方法的方面同样成立。
此外,虽然已经参考可选地包括各种特征的若干示例描述了本发明,但是本发明并不限于被描述或表示为针对本发明的每个变形所预期的。在不脱离本发明的实际精神和范围的情况下,可以对所描述的本发明进行各种变化,并且可用等同(无论是本文所陈述的还是为了简洁的目的而未被包括的)来代替。此外,如果提供值的范围,则应当理解,在该范围的上限和下限之间的每个中间值和或者在该说明的范围中的任何其它中间值被包括在本发明之内。
此外,可预期的是,所描述的发明变形的任何可选特征可独立或结合在此描述的任何一个或多个特征来陈述和要求权利。引用单数项包括可能存在相同项的复数。更具体地,如在此和在相关的权利要求中所使用的,只要不具体说明,单数形式“一”、“所述”和“该”包括复数对象。换言之,在以上描述以及与本公开相关的权利要求中,冠词的使用允许“至少一个”目标项。还需要注意的是,可起草这种权利要求以排除任何可选元件。因此,该声明意在结合权利要求要素的表述而用作使用如“单独”、“仅”等这种排他性术语的先行基础,或者使用“否定”限制。
在不使用这种排他性术语的情况下,在与本公开相关的权利要求中的术语“包括”应允许包括任何其它要素,而不考虑给定数量的要素是否列举在这种权利要求中,或者添加特征可被视为变换在权利要求中所述的要素的性质。除了在此特别定义之外,在此所使用的全部科技术语应在维持权利要求有效的同时被提供尽可能款的通常理解的含义。
本发明并不限于所提供的示例和/或本说明书,而仅由与本公开相关的权利要求语言的范围限定。
在前面的说明书中,已经参照其具体实施例描述了本发明。然而,显而易见的是,在不脱离本发明的更广泛的精神和范围的情况下,可以对其进行各种修改和改变。例如,参照过程动作的特定顺序来描述上述过程。然而,在不影响本发明的范围或操作的情况下可以改变许多所描述的过程动作的顺序。因此,说明书和附图应被视为说明性的而非限制性的。
Claims (90)
1.一种空间化音频***,包括:
传感器,用于检测收听者的头部姿势,以及
处理器,用于在第一阶段和第二阶段渲染音频数据;
所述第一阶段包括将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据,以及
所述第二阶段包括基于所检测的所述收听者的所述头部姿势,将与所述第二多个源对应的所述第二音频数据渲染为与第三多个源对应的第三音频数据,
其中,所述第二多个源由比所述第一多个源少的源组成。
2.根据权利要求1所述的***,其中,所述传感器是惯性测量单元。
3.根据权利要求1所述的***,其中,所述第一多个源是虚拟声源。
4.根据权利要求1所述的***,其中,所述第二多个源是虚拟声源。
5.根据权利要求1所述的***,其中,所述传感器在所述第一阶段之后和所述第二阶段之前检测所述收听者的所述头部姿势。
6.根据权利要求5所述的***,其中,所述传感器在所述第二阶段之前立即检测所述收听者的所述头部姿势。
7.根据权利要求1所述的***,其中,所述第三多个源由比所述第二多个源少的源组成。
8.根据权利要求1所述的***,其中,所述第三多个源由与所述第二多个源相同数量的源组成。
9.根据权利要求1所述的***,其中,所述第一音频数据是完整的音频流数据集。
10.根据权利要求1所述的***,其中,所述第二多个源由8个或更少的源组成。
11.根据权利要求1所述的***,其中,所述第一多个源中的每一个对应于不同的位置/方向。
12.根据权利要求1所述的***,其中,所述第二多个源中的每一个对应于不同的位置/方向。
13.根据权利要求1所述的***,其中,所述第三多个源中的每一个对应于不同的位置/方向。
14.根据权利要求1所述的***,其中,所述第一多个源对应于第一多个位置。
15.根据权利要求14所述的***,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置中的每一个比所述第一多个位置中的每一个更接近所述收听者。
16.根据权利要求1所述的***,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置不位于单个平面中。
17.根据权利要求1所述的***,还包括与所述第三多个源对应的多个扬声器,以基于所述第三音频数据产生声音。
18.根据权利要求17所述的***,其中,所述第三多个源中的每一个对应于不同的位置,并且
其中,所述多个扬声器中的每一个在相应的不同位置处与所述第三多个源中的相应源对应。
19.根据权利要求1所述的***,其中,所述第二阶段包括基于所检测的所述收听者的所述头部姿势和所述第二多个源的相应位置/方向,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据。
20.根据权利要求1所述的***,其中,所述第二阶段对所述收听者的旋转比平移更敏感。
21.根据权利要求1所述的***,其中,所述第二阶段是仅旋转的音频变换。
22.一种空间化音频***,包括:
传感器,用于在第一时间检测第一头部姿势,以及在第二时间检测收听者的第二头部姿势,所述第二时间在所述第一时间之后;以及
处理器,用于在第一阶段和第二阶段渲染音频数据;
所述第一阶段包括基于所检测的所述收听者的所述第一头部姿势,将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据,并且
所述第二阶段包括基于所检测的所述收听者的所述第二头部姿势,将与所述第二多个源对应的所述第二音频数据渲染为与第三多个源对应的第三音频数据,
其中,所述第二多个源由比所述第一多个源少的源组成。
23.根据权利要求22所述的***,其中,所述传感器是惯性测量单元。
24.根据权利要求22所述的***,其中,所述第一多个源是虚拟声源。
25.根据权利要求22所述的***,其中,所述第二多个源是虚拟声源。
26.根据权利要求22所述的***,其中,所述传感器在所述第一阶段之前检测所述收听者的所述第一头部姿势。
27.根据权利要求22所述的***,其中,所述传感器在所述第一阶段之后和所述第二阶段之前检测所述收听者的所述第二头部姿势。
28.根据权利要求22所述的***,其中,所述传感器在所述第二阶段之前立即检测所述收听者的所述第二头部姿势。
29.根据权利要求22所述的***,其中,所述第三多个源由比所述第二多个源少的源组成。
30.根据权利要求22所述的***,其中,所述第三多个源由与所述第二多个源相同数量的源组成。
31.根据权利要求22所述的***,其中,所述第一音频数据是完整的音频流数据集。
32.根据权利要求22所述的***,其中,所述第二多个源由8个或更少的源组成。
33.根据权利要求22所述的***,其中,所述第一多个源中的每一个对应于不同的位置/方向。
34.根据权利要求22所述的***,其中,所述第二多个源中的每一个对应于不同的位置/方向。
35.根据权利要求22所述的***,其中,所述第三多个源中的每一个对应于不同的位置/方向。
36.根据权利要求22所述的***,其中,所述第一多个源对应于第一多个位置。
37.根据权利要求36所述的***,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置中的每一个比所述第一多个位置中的每一个更接近所述收听者。
38.根据权利要求22所述的***,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置不位于单个平面中。
39.根据权利要求22所述的***,还包括与所述第三多个源对应的多个扬声器,以基于所述第三音频数据产生声音。
40.根据权利要求39所述的***,其中,所述第三多个源中的每一个对应于不同的位置,并且
其中,所述多个扬声器中的每一个在相应的不同位置处与所述第三多个源中的相应源对应。
41.根据权利要求22所述的***,其中,所述第二阶段包括基于所检测的所述收听者的所述第二头部姿势和所述第二多个源的相应位置/方向,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据。
42.根据权利要求22所述的***,其中,所述第二阶段对所述收听者的旋转比平移更敏感。
43.根据权利要求22所述的***,其中,所述第二阶段是仅旋转的音频变换。
44.一种渲染空间化音频的方法,包括:
将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据;
检测收听者的头部姿势;以及
基于所检测的所述收听者的所述头部姿势,将与所述第二多个源对应的所述第二音频数据渲染为与第三多个源对应的第三音频数据,
其中,所述第二多个源由比所述第一多个源少的源组成。
45.根据权利要求44所述的方法,其中,所述第一多个源是虚拟声源。
46.根据权利要求44所述的方法,其中,所述第二多个源是虚拟声源。
47.根据权利要求44所述的方法,还包括在渲染所述第一音频数据之后和渲染所述第二音频数据之前,检测所述收听者的所述头部姿势。
48.根据权利要求44所述的方法,还包括在渲染所述第二音频数据之前立即检测所述收听者的所述头部姿势。
49.根据权利要求44所述的方法,其中,所述第三多个源由比所述第二多个源少的源组成。
50.根据权利要求44所述的方法,其中,所述第三多个源由与所述第二多个源相同数量的源组成。
51.根据权利要求44所述的方法,其中,所述第一音频数据是完整的音频流数据集。
52.根据权利要求44所述的方法,其中,所述第二多个源由8个或更少的源组成。
53.根据权利要求44所述的方法,其中,所述第一多个源中的每一个对应于不同的位置/方向。
54.根据权利要求44所述的方法,其中,所述第二多个源中的每一个对应于不同的位置/方向。
55.根据权利要求44所述的方法,其中,所述第三多个源中的每一个对应于不同的位置/方向。
56.根据权利要求44所述的方法,其中,所述第一多个源对应于第一多个位置。
57.根据权利要求56所述的方法,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置中的每一个比所述第一多个位置中的每一个更接近所述收听者。
58.根据权利要求44所述的方法,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置不位于单个平面中。
59.根据权利要求44所述的方法,还包括通过与所述第三多个源对应的多个扬声器基于所述第三音频数据产生声音。
60.根据权利要求59所述的方法,其中,所述第三多个源中的每一个对应于不同的位置,并且
其中,所述多个扬声器中的每一个在相应的不同位置处与所述第三多个源中的相应源对应。
61.根据权利要求44所述的方法,还包括基于所检测的所述收听者的所述头部姿势和所述第二多个源的相应位置/方向,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据。
62.根据权利要求44所述的方法,其中,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据对所述收听者的旋转比平移更敏感。
63.根据权利要求44所述的方法,其中,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据是仅旋转的音频变换。
64.一种渲染空间化音频的方法,包括:
检测收听者的第一头部姿势;
基于所检测的所述收听者的所述第一头部姿势,将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据;
检测所述收听者的第二头部姿势;以及
基于所检测的所述收听者的所述第二头部姿势,将与所述第二多个源对应的所述第二音频数据渲染为与第三多个源对应的第三音频数据,
其中,所述第二多个源由比所述第一多个源少的源组成。
65.根据权利要求64所述的方法,其中,所述第一多个源是虚拟声源。
66.根据权利要求64所述的方法,其中,所述第二多个源是虚拟声源。
67.根据权利要求64所述的方法,还包括在渲染所述第一音频数据之前检测所述收听者的所述第一头部姿势。
68.根据权利要求64所述的方法,还包括在渲染所述第一音频数据之后和渲染所述第二音频数据之前检测所述收听者的所述第二头部姿势。
69.根据权利要求64所述的方法,还包括在渲染所述第二音频数据之前立即检测所述收听者的所述第二头部姿势。
70.根据权利要求64所述的方法,其中,所述第三多个源由比所述第二多个源少的源组成。
71.根据权利要求64所述的方法,其中,所述第三多个源由与所述第二多个源相同数量的源组成。
72.根据权利要求64所述的方法,其中,所述第一音频数据是完整的音频流数据集。
73.根据权利要求64所述的方法,其中,所述第二多个源由8个或更少的源组成。
74.根据权利要求64所述的方法,其中,所述第一多个源中的每一个对应于不同的位置/方向。
75.根据权利要求64所述的方法,其中,所述第二多个源中的每一个对应于不同的位置/方向。
76.根据权利要求64所述的方法,其中,所述第三多个源中的每一个对应于不同的位置/方向。
77.根据权利要求64所述的方法,其中,所述第一多个源对应于第一多个位置。
78.根据权利要求77所述的方法,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置中的每一个比所述第一多个位置中的每一个更接近所述收听者。
79.根据权利要求64所述的方法,其中,所述第二多个源对应于第二多个位置,并且
其中,所述第二多个位置不位于单个平面中。
80.根据权利要求64所述的方法,还包括通过与所述第三多个源对应的多个扬声器基于所述第三音频数据产生声音。
81.根据权利要求80所述的方法,其中,所述第三多个源中的每一个对应于不同的位置,并且
其中,所述多个扬声器中的每一个在相应的不同位置处与所述第三多个源中的相应源对应。
82.根据权利要求64所述的方法,还包括基于所检测的所述收听者的所述第二头部姿势和所述第二多个源的相应位置/方向,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据。
83.根据权利要求64所述的方法,其中,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据对所述收听者的旋转比平移更敏感。
84.根据权利要求64所述的方法,其中,将与所述第二多个源对应的所述第二音频数据渲染为与所述第三多个源对应的所述第三音频数据是仅旋转的音频变换。
85.一种计算机程序产品,其包含在非暂时性计算机可读介质中,所述计算机可读介质上存储有一系列指令,当由处理器执行时,所述指令使所述处理器执行用于渲染空间化音频的方法,所述方法包括:
将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据;
检测收听者的头部姿势;以及
基于所检测的所述收听者的所述头部姿势,将与所述第二多个源对应的所述第二音频数据渲染为与第三多个源对应的第三音频数据,
其中,所述第二多个源由比所述第一多个源少的源组成。
86.一种计算机程序产品,其包含在非暂时性计算机可读介质中,所述计算机可读介质上存储有一系列指令,当由处理器执行时,所述指令使所述处理器执行用于渲染空间化音频的方法,所述方法包括:
检测收听者的第一头部姿势;
基于所检测的所述收听者的所述第一头部姿势,将与第一多个源对应的第一音频数据渲染为与第二多个源对应的第二音频数据;
检测所述收听者的第二头部姿势;以及
基于所检测的所述收听者的所述第二头部姿势,将与所述第二多个源对应的所述第二音频数据渲染为与第三多个源对应的第三音频数据,
其中,所述第二多个源由比所述第一多个源少的源组成。
87.根据权利要求1所述的***,其中,所述第二多个源中的每一个位于距所述所述收听者的头部大约6英寸至大约12英寸处。
88.根据权利要求22所述的***,其中,所述第二多个源中的每一个位于距所述收听者的头部大约6英寸至大约12英寸处。
89.根据权利要求44所述的方法,其中,所述第二多个源中的每一个位于距所述收听者的头部大约6英寸至大约12英寸处。
90.根据权利要求64所述的方法,其中,所述第二多个源中的每一个位于距所述收听者的头部大约6英寸至大约12英寸处。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210357688.3A CN114885274B (zh) | 2016-09-14 | 2017-09-13 | 空间化音频***以及渲染空间化音频的方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662394617P | 2016-09-14 | 2016-09-14 | |
US62/394,617 | 2016-09-14 | ||
PCT/US2017/051421 WO2018053047A1 (en) | 2016-09-14 | 2017-09-13 | Virtual reality, augmented reality, and mixed reality systems with spatialized audio |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210357688.3A Division CN114885274B (zh) | 2016-09-14 | 2017-09-13 | 空间化音频***以及渲染空间化音频的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109691141A true CN109691141A (zh) | 2019-04-26 |
CN109691141B CN109691141B (zh) | 2022-04-29 |
Family
ID=61560542
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780056074.9A Active CN109691141B (zh) | 2016-09-14 | 2017-09-13 | 空间化音频***以及渲染空间化音频的方法 |
CN202210357688.3A Active CN114885274B (zh) | 2016-09-14 | 2017-09-13 | 空间化音频***以及渲染空间化音频的方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210357688.3A Active CN114885274B (zh) | 2016-09-14 | 2017-09-13 | 空间化音频***以及渲染空间化音频的方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US10448189B2 (zh) |
EP (2) | EP3513405B1 (zh) |
JP (2) | JP6821795B2 (zh) |
KR (2) | KR102514464B1 (zh) |
CN (2) | CN109691141B (zh) |
AU (2) | AU2017327387B2 (zh) |
CA (1) | CA3034916A1 (zh) |
IL (1) | IL265214B (zh) |
WO (1) | WO2018053047A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017327387B2 (en) * | 2016-09-14 | 2021-12-23 | Magic Leap, Inc. | Virtual reality, augmented reality, and mixed reality systems with spatialized audio |
US10667072B2 (en) | 2018-06-12 | 2020-05-26 | Magic Leap, Inc. | Efficient rendering of virtual soundfields |
JP2021528000A (ja) | 2018-06-18 | 2021-10-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 双方向オーディオ環境のための空間オーディオ |
US10484811B1 (en) | 2018-09-10 | 2019-11-19 | Verizon Patent And Licensing Inc. | Methods and systems for providing a composite audio stream for an extended reality world |
WO2021081035A1 (en) * | 2019-10-22 | 2021-04-29 | Google Llc | Spatial audio for wearable devices |
US10911885B1 (en) | 2020-02-03 | 2021-02-02 | Microsoft Technology Licensing, Llc | Augmented reality virtual audio source enhancement |
US11089427B1 (en) | 2020-03-31 | 2021-08-10 | Snap Inc. | Immersive augmented reality experiences using spatial audio |
US11381797B2 (en) | 2020-07-16 | 2022-07-05 | Apple Inc. | Variable audio for audio-visual content |
EP4256391A1 (en) * | 2020-12-07 | 2023-10-11 | Snap Inc. | Augmented reality spatial audio experience |
US20220319014A1 (en) * | 2021-04-05 | 2022-10-06 | Facebook Technologies, Llc | Systems and methods for dynamic image processing and segmentation |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6182042B1 (en) * | 1998-07-07 | 2001-01-30 | Creative Technology Ltd. | Sound modification employing spectral warping techniques |
EP1175096A2 (en) * | 2000-07-21 | 2002-01-23 | Hughes Electronics Corporation | Secure storage and replay of media programs using a hard-paired receiver and storage device |
US6487526B1 (en) * | 1999-04-14 | 2002-11-26 | Rockwell Collins | Vector correlator for speech VOCODER using optical processor |
US20080025538A1 (en) * | 2006-07-31 | 2008-01-31 | Mohammad Reza Zad-Issa | Sound enhancement for audio devices based on user-specific audio processing parameters |
US20080196575A1 (en) * | 2007-02-16 | 2008-08-21 | Recordare Llc | Process for creating and viewing digital sheet music on a media device |
US20090310802A1 (en) * | 2008-06-17 | 2009-12-17 | Microsoft Corporation | Virtual sound source positioning |
JP2010273175A (ja) * | 2009-05-22 | 2010-12-02 | Panasonic Corp | 音声出力装置 |
CN102150201A (zh) * | 2008-07-11 | 2011-08-10 | 弗劳恩霍夫应用研究促进协会 | 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码 |
JP2013098634A (ja) * | 2011-10-28 | 2013-05-20 | Yamaha Corp | 音響処理装置 |
WO2013149867A1 (en) * | 2012-04-02 | 2013-10-10 | Sonicemotion Ag | Method for high quality efficient 3d sound reproduction |
US20140140417A1 (en) * | 2012-11-16 | 2014-05-22 | Gary K. Shaffer | System and method for providing alignment of multiple transcoders for adaptive bitrate streaming in a network environment |
JP2014140128A (ja) * | 2013-01-21 | 2014-07-31 | Fujitsu Ltd | 音声処理装置、音声処理方法および音声処理プログラム |
US20140241529A1 (en) * | 2013-02-27 | 2014-08-28 | Hewlett-Packard Development Company, L.P. | Obtaining a spatial audio signal based on microphone distances and time delays |
CN104284291A (zh) * | 2014-08-07 | 2015-01-14 | 华南理工大学 | 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置 |
CN104871566A (zh) * | 2012-11-28 | 2015-08-26 | 高通股份有限公司 | 协作式声音*** |
CN105637901A (zh) * | 2013-10-07 | 2016-06-01 | 杜比实验室特许公司 | 空间音频处理***和方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5749073A (en) * | 1996-03-15 | 1998-05-05 | Interval Research Corporation | System for automatically morphing audio information |
AU735333B2 (en) * | 1997-06-17 | 2001-07-05 | British Telecommunications Public Limited Company | Reproduction of spatialised audio |
US7340062B2 (en) | 2000-03-14 | 2008-03-04 | Revit Lawrence J | Sound reproduction method and apparatus for assessing real-world performance of hearing and hearing aids |
JP2001359197A (ja) * | 2000-06-13 | 2001-12-26 | Victor Co Of Japan Ltd | 音像定位信号の生成方法、及び音像定位信号生成装置 |
FR2814891B1 (fr) | 2000-10-04 | 2003-04-04 | Thomson Multimedia Sa | Procede de reglages de niveau audio provenant de plusieurs canaux et dispositif de reglage |
US7472058B2 (en) | 2004-12-28 | 2008-12-30 | Cyberlink Corp. | Automatic audio source detection for capture devices |
US8406439B1 (en) * | 2007-04-04 | 2013-03-26 | At&T Intellectual Property I, L.P. | Methods and systems for synthetic audio placement |
US9037468B2 (en) * | 2008-10-27 | 2015-05-19 | Sony Computer Entertainment Inc. | Sound localization for user in motion |
US20100328419A1 (en) | 2009-06-30 | 2010-12-30 | Walter Etter | Method and apparatus for improved matching of auditory space to visual space in video viewing applications |
US8767968B2 (en) | 2010-10-13 | 2014-07-01 | Microsoft Corporation | System and method for high-precision 3-dimensional audio for augmented reality |
EP2541547A1 (en) * | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
BR112014017279B1 (pt) * | 2012-01-17 | 2020-12-15 | Koninklijke Philips N.V. | Aparelho para determinar uma estimativa de posição para uma fonte de áudio e método para determinar, de um primeiro sinal de microfone de um primeiro microfone e de um segundo sinal de microfone de um segundo microfone, uma estimativa de posição para uma fonte de áudio em um ambiente de áudio |
CN104205880B (zh) * | 2012-03-29 | 2019-06-11 | 英特尔公司 | 基于取向的音频控制 |
GB201211512D0 (en) | 2012-06-28 | 2012-08-08 | Provost Fellows Foundation Scholars And The Other Members Of Board Of The | Method and apparatus for generating an audio output comprising spartial information |
RU2602346C2 (ru) * | 2012-08-31 | 2016-11-20 | Долби Лэборетериз Лайсенсинг Корпорейшн | Рендеринг отраженного звука для объектно-ориентированной аудиоинформации |
US9549253B2 (en) | 2012-09-26 | 2017-01-17 | Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) | Sound source localization and isolation apparatuses, methods and systems |
TWI673707B (zh) * | 2013-07-19 | 2019-10-01 | 瑞典商杜比國際公司 | 將以L<sub>1</sub>個頻道為基礎之輸入聲音訊號產生至L<sub>2</sub>個揚聲器頻道之方法及裝置,以及得到一能量保留混音矩陣之方法及裝置,用以將以輸入頻道為基礎之聲音訊號混音以用於L<sub>1</sub>個聲音頻道至L<sub>2</sub>個揚聲器頻道 |
IL305162A (en) | 2013-11-27 | 2023-10-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
US9285872B1 (en) * | 2013-12-12 | 2016-03-15 | Google Inc. | Using head gesture and eye position to wake a head mounted device |
JP6303519B2 (ja) * | 2014-01-15 | 2018-04-04 | 富士通株式会社 | 音響再生装置および音場補正プログラム |
US9560445B2 (en) * | 2014-01-18 | 2017-01-31 | Microsoft Technology Licensing, Llc | Enhanced spatial impression for home audio |
US9729984B2 (en) * | 2014-01-18 | 2017-08-08 | Microsoft Technology Licensing, Llc | Dynamic calibration of an audio system |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
WO2015161307A1 (en) * | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
CN106134223B (zh) | 2014-11-13 | 2019-04-12 | 华为技术有限公司 | 重现双耳信号的音频信号处理设备和方法 |
US9602947B2 (en) * | 2015-01-30 | 2017-03-21 | Gaudi Audio Lab, Inc. | Apparatus and a method for processing audio signal to perform binaural rendering |
US10979843B2 (en) | 2016-04-08 | 2021-04-13 | Qualcomm Incorporated | Spatialized audio output based on predicted position data |
AU2017327387B2 (en) * | 2016-09-14 | 2021-12-23 | Magic Leap, Inc. | Virtual reality, augmented reality, and mixed reality systems with spatialized audio |
-
2017
- 2017-09-13 AU AU2017327387A patent/AU2017327387B2/en active Active
- 2017-09-13 KR KR1020217007740A patent/KR102514464B1/ko active IP Right Grant
- 2017-09-13 WO PCT/US2017/051421 patent/WO2018053047A1/en unknown
- 2017-09-13 US US15/703,946 patent/US10448189B2/en active Active
- 2017-09-13 JP JP2019513952A patent/JP6821795B2/ja active Active
- 2017-09-13 CA CA3034916A patent/CA3034916A1/en active Pending
- 2017-09-13 EP EP17851481.6A patent/EP3513405B1/en active Active
- 2017-09-13 KR KR1020197010682A patent/KR102230645B1/ko active IP Right Grant
- 2017-09-13 CN CN201780056074.9A patent/CN109691141B/zh active Active
- 2017-09-13 CN CN202210357688.3A patent/CN114885274B/zh active Active
- 2017-09-13 EP EP23182794.0A patent/EP4254403A3/en active Pending
-
2019
- 2019-03-07 IL IL265214A patent/IL265214B/en active IP Right Grant
- 2019-09-04 US US16/560,670 patent/US11310618B2/en active Active
-
2021
- 2021-01-06 JP JP2021000727A patent/JP7165215B2/ja active Active
-
2022
- 2022-03-18 AU AU2022201898A patent/AU2022201898A1/en not_active Abandoned
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6182042B1 (en) * | 1998-07-07 | 2001-01-30 | Creative Technology Ltd. | Sound modification employing spectral warping techniques |
US6487526B1 (en) * | 1999-04-14 | 2002-11-26 | Rockwell Collins | Vector correlator for speech VOCODER using optical processor |
EP1175096A2 (en) * | 2000-07-21 | 2002-01-23 | Hughes Electronics Corporation | Secure storage and replay of media programs using a hard-paired receiver and storage device |
US20080025538A1 (en) * | 2006-07-31 | 2008-01-31 | Mohammad Reza Zad-Issa | Sound enhancement for audio devices based on user-specific audio processing parameters |
US20080196575A1 (en) * | 2007-02-16 | 2008-08-21 | Recordare Llc | Process for creating and viewing digital sheet music on a media device |
US20090310802A1 (en) * | 2008-06-17 | 2009-12-17 | Microsoft Corporation | Virtual sound source positioning |
CN102150201A (zh) * | 2008-07-11 | 2011-08-10 | 弗劳恩霍夫应用研究促进协会 | 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码 |
JP2010273175A (ja) * | 2009-05-22 | 2010-12-02 | Panasonic Corp | 音声出力装置 |
JP2013098634A (ja) * | 2011-10-28 | 2013-05-20 | Yamaha Corp | 音響処理装置 |
WO2013149867A1 (en) * | 2012-04-02 | 2013-10-10 | Sonicemotion Ag | Method for high quality efficient 3d sound reproduction |
US20140140417A1 (en) * | 2012-11-16 | 2014-05-22 | Gary K. Shaffer | System and method for providing alignment of multiple transcoders for adaptive bitrate streaming in a network environment |
CN104871566A (zh) * | 2012-11-28 | 2015-08-26 | 高通股份有限公司 | 协作式声音*** |
JP2014140128A (ja) * | 2013-01-21 | 2014-07-31 | Fujitsu Ltd | 音声処理装置、音声処理方法および音声処理プログラム |
US20140241529A1 (en) * | 2013-02-27 | 2014-08-28 | Hewlett-Packard Development Company, L.P. | Obtaining a spatial audio signal based on microphone distances and time delays |
CN105637901A (zh) * | 2013-10-07 | 2016-06-01 | 杜比实验室特许公司 | 空间音频处理***和方法 |
CN104284291A (zh) * | 2014-08-07 | 2015-01-14 | 华南理工大学 | 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置 |
Non-Patent Citations (3)
Title |
---|
FR_HAN: "一种生成当中帧技术,异步时间扭曲(Asynchronous Timewarp)", 《 HTTPS://BLOG.CSDN.NET/FR_HAN/ARTICLE/DETAILS/50968110?LOCATIONNUM=10&FPS=1》 * |
IAN J. KELLY: "Detecting arrivals in room impulse responses with dynamic time warping", 《ACM TRANSACTIONS ON AUDIO, SPEECH AND LANGUAGE PROCESSING (TASLP)》 * |
JAMES HARLEY: "Waves Audio Restoration and Noise Reduction Toolkit; BIAS SoundSoap Pro Pro-Audio Restoration Software", 《 COMPUTER MUSIC JOURNAL 》 * |
Also Published As
Publication number | Publication date |
---|---|
KR20190052086A (ko) | 2019-05-15 |
CN109691141B (zh) | 2022-04-29 |
IL265214B (en) | 2021-04-29 |
JP6821795B2 (ja) | 2021-01-27 |
KR102514464B1 (ko) | 2023-03-24 |
US10448189B2 (en) | 2019-10-15 |
KR20210031796A (ko) | 2021-03-22 |
JP2021073763A (ja) | 2021-05-13 |
AU2017327387B2 (en) | 2021-12-23 |
EP3513405A1 (en) | 2019-07-24 |
JP2019532569A (ja) | 2019-11-07 |
US20180077513A1 (en) | 2018-03-15 |
WO2018053047A1 (en) | 2018-03-22 |
CN114885274B (zh) | 2023-05-16 |
CA3034916A1 (en) | 2018-03-22 |
AU2017327387A1 (en) | 2019-03-21 |
AU2022201898A1 (en) | 2022-04-07 |
EP3513405B1 (en) | 2023-07-19 |
EP4254403A2 (en) | 2023-10-04 |
US11310618B2 (en) | 2022-04-19 |
US20200008005A1 (en) | 2020-01-02 |
EP4254403A3 (en) | 2023-11-01 |
IL265214A (en) | 2019-05-30 |
JP7165215B2 (ja) | 2022-11-02 |
CN114885274A (zh) | 2022-08-09 |
EP3513405A4 (en) | 2019-09-18 |
KR102230645B1 (ko) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109691141A (zh) | 具有空间化音频的虚拟现实、增强现实和混合现实*** | |
JP7270820B2 (ja) | 空間化オーディオを用いた複合現実システム | |
WO2023234949A1 (en) | Spatial audio processing for speakers on head-mounted displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |