CN107211226A - 具有远程扬声器的空间音频 - Google Patents
具有远程扬声器的空间音频 Download PDFInfo
- Publication number
- CN107211226A CN107211226A CN201580073750.4A CN201580073750A CN107211226A CN 107211226 A CN107211226 A CN 107211226A CN 201580073750 A CN201580073750 A CN 201580073750A CN 107211226 A CN107211226 A CN 107211226A
- Authority
- CN
- China
- Prior art keywords
- remote speaker
- computing device
- remote
- audio signal
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/22—Source localisation; Inverse modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
呈现了涉及经由便携式计算设备来输出空间音频的各实施例。例如,一个公开的实施例提供了一种便携式计算设备,以用于无线地检测便携式计算设备外部的远程扬声器的存在,确定远程扬声器的位置,并且建立与远程扬声器的无线连接。该实施例还包括经由便携式计算设备的显示器来呈现可视内容,可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象,生成对应于该对象的音频信号,以及将音频信号发送到远程扬声器。
Description
背景
娱乐环境可包括各种不同的声源和音频输出设备。例如,家庭娱乐环境可包括电视、立体声音响、台式计算机、视频游戏控制台、一个或多个移动设备(例如智能电话、平板、膝上型计算机等),并且这些设备中的每一个均可通过一个或多个相关联的扬声器输出声音。
概述
呈现了与经由利用外部扬声器的便携式计算设备输出音频相关的示例。例如,一个公开的实施例提供了一种便携式计算设备,该便携式计算设备被配置成无线地检测便携式计算设备外部的远程扬声器的存在,确定该远程扬声器的位置,并建立与该远程扬声器的无线连接。便携式计算设备还被配置成经由便携式计算设备的显示器来呈现可视内容(该可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象),生成对应于该对象的音频信号,并将音频信号发送到远程扬声器。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1-2示出了用于呈现音频内容的示例环境。
图3示意性地示出了头戴式显示设备的示例。
图4示出了例示用于使用一个或多个远程扬声器来提供空间音频的方法的示例的流程图。
图5示出示例计算***。
详细描述
一些计算设备可被配置成为用户提供沉浸式的三维视觉体验。例如,增强现实显示***(诸如透视头戴式显示设备)可显示三维可视内容,使得所显示的内容看起来位于周围的现实世界环境中。这样的计算设备可包括一个或多个本地扬声器以输出与可视内容相关联的音频内容。然而,经由本地扬声器提供的声音可能表现为从同与该声音相关联的增强现实内容的位置不同的位置发出。
因此,公开了涉及经由便携式计算设备在该便携式计算设备周围的现实世界环境中检测位于便携式计算设备外部的一个或多个远程扬声器以及在便携式计算设备与该一个或多个远程扬声器之间建立无线连接的实施例。例如,便携式计算设备可在现实世界环境中确定每个检测到的远程扬声器的位置。此外,便携式计算设备可呈现包括在位置上与现实世界环境中的某个位置相关联的虚拟对象的可视内容,诸如位于相对于现实世界环境的特定位置处的增强现实图像。为了加强增强现实呈现,与虚拟对象对应的音频内容可被发送到位于虚拟对象附近的远程扬声器,使得声音从虚拟对象的方向发出。以这种方式,已经存在于环境中的声音产生设备可由计算设备利用来增强被提供给用户的增强现实体验。
如上所述,在一些实现中,便携式计算设备可以是诸如头戴式显示设备之类的可穿戴计算设备。图1示出了包括头戴式显示(HMD)设备104和多个远程扬声器的示例使用环境100。HMD设备104包括透视显示器,该透视显示器可被配置成向透过透视显示器查看物理环境的用户可视地增强物理环境的外观。关于HMD设备104的附加细节在下面进行描述。
环境100包括当由用户102佩戴时可通过HMD设备104查看的场景106。应当理解,在一些实施例中,通过HMD设备104的透视显示器可查看的场景可基本上与用户的视野共同延伸,而在其他实施例中,通过透视显示器可查看的场景可能占据用户视野的一部分。
HMD设备104可被配置成在环境100内无线地检测HMD设备104外部的一个或多个远程声音产生设备。远程声音产生设备的示例被示出为第一远程扬声器114、第二远程扬声器116、第三远程扬声器118和第四远程扬声器120,每个均被包括作为由接收器112驱动的音频***的一部分。此外,HMD设备104可被配置成检测与电视机108相关联的条形音箱(soundbar)110,和/或未被例示出的其他声音产生设备,诸如移动电话、计算设备等。HMD设备104可经由任何合适的机制(诸如使用数字生活网络联盟(DLNA)协议、通过无线保真(WiFi)网络、蓝牙或近场通信或其他发现机制)来检测环境中的远程声音产生设备的存在。一旦一个或多个远程声音产生设备已被发现,则无线连接可在HMD设备104和每个远程声音产生设备之间被建立。无线连接可被自动地建立或者响应于用户输入来被建立。
HMD设备104还可确定每个远程声音产生设备的现实世界环境中的位置。每个远程声音产生设备的位置可由HMD设备自动地确定(例如,在没有明确的用户输入的情况下),或者每个远程声音产生设备的位置可基于用户输入来被确定。作为一个示例,HMD设备104可收集环境100的图像信息,并且使用该图像信息来确定每个远程扬声器和/或条形音箱的位置。HMD设备104可包括被配置成收集深度和/或可见光图像信息的一个或多个图像传感器。使用该图像信息,对象标识可被执行,以便在HMD设备104周围的物理环境内标识并定位每个远程扬声器。在另一示例中,图像信息可被分析以确定用户102是否正在执行指示远程扬声器和条形音箱中的一者或多者的位置的手势(例如,指向),使得用户可通过朝扬声器打手势经由手势和/或口头地标识扬声器来手动地标识每个扬声器。作为更具体的示例,用户102可将HMD设备104置于检测模式中,其中HMD设备被配置成解释由用户执行的表明扬声器位于或者在手势的方向上的特定手势。在又一示例中,一个或多个扬声器可标有可以由一个或多个图像传感器(例如,可见光或IR/UV光传感器或深度传感器)拾取的特定空间或光学图案。
作为另一示例,HMD设备104可经由HMD设备的一个或多个麦克风来收集环境100的音频信息,并且基于该音频信息来确定一个或多个远程扬声器的位置。在一些示例中,HMD设备的麦克风可包括麦克风阵列,该麦克风阵列包括两个或更多个麦克风。例如,用户102可发出指示远程扬声器和条形音箱中的一者或多者的位置的语音命令,并且该语音命令可由HMD设备的麦克风检测到。在另一示例中,在与远程扬声器建立无线连接之后,HMD设备可向远程扬声器发送测试音频信号。该远程扬声器可在接收到测试音频信号后输出音频。HMD设备可接着基于来自HMD设备的麦克风阵列的反馈来确定远程扬声器的位置。此外,在两个或更多个远程扬声器是多声道音频***的一部分的情况下,HMD设备104可例如通过向每个扬声器顺序地发送测试音频信号和/或通过为每个扬声器发送分开的音频频率来确定多声道音频***的每个远程扬声器的位置。在该测试过程期间,每个远程扬声器正相应地工作的声道可被映射到每个远程扬声器。
如上所述,HMD设备104可包括被配置成显示虚拟对象的图像的透视显示器。虚拟对象可以是基于上述现实世界物理环境的模型构建的虚拟模型的一部分。由此,虚拟对象可被置于与现实世界环境中的某个位置对应的位置处的虚拟模型中。当虚拟对象被显示时,它可能看上去位于用户正在查看的现实世界环境中。
图2示出了由HMD设备104显示的虚拟对象的示例。首先,巫师202被显示定位在电视机108附近,并且另一巫师204位于环境100中的音频***附近。如图2所示,巫师202位于用户的视野之外(例如,不在场景106中)。因此,在一些示例中,即使虚拟对象在HMD设备上未被显示给用户,这些虚拟对象也可能存在于虚拟模型中。
虚拟模型还可包括与虚拟对象相关联的音频内容。例如,巫师204可具有相关联的音频内容(例如,巫师204可能在说话)。尽管HMD设备104可显示巫师204以使得巫师204出现在现实世界对象(例如,第一远程扬声器114)附近,但是扬声器在HMD设备104上的定位(例如,在用户102的耳朵附近)可能不允许与巫师204相关联的音频内容听起来像是其正在与巫师204相同的位置处被生成。
因此,如此处所描述的,HMD设备104可利用现实世界环境中的一个或多个外部声音产生设备来提供对应于虚拟对象的三维布置的空间音频。例如,由于虚拟对象和扬声器的相对位置,与巫师204相关联的音频内容可被发送到第一远程扬声器114,并且与巫师202相关联的音频内容可被发送到第三远程扬声器118和条形音箱110中的一者或多者。这可能有助于创建源自相关联的虚拟对象的声音的效果。尽管外部扬声器被描绘成用于HMD设备104外部的声源的扬声器,但是在其他示例中,外部扬声器可被配置成用于与HMD一起使用作为HMD的周边配件。此外,在一些示例中,便携式计算设备可被配置成无线地检测并建立与位于便携式计算设备外部的一个或多个远程麦克风的连接。
图3示出了一副带有透视显示器302的可穿戴眼镜形式的HMD设备104的非限制性示例。将理解,HMD设备可以采取任何其他合适的形式,其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。此外,本文所描述的各实施例可以与任何其他合适的计算***联用,包括但不限于移动计算设备、膝上型计算机、台式计算机、平板计算机、其他可穿戴计算机等。
HMD设备104包括透视显示器302和控制器304。透视显示器302可使得图像(诸如全息对象)能够被递送到HMD设备的穿戴者的眼睛。透视显示器302可被配置成向透过透明显示器查看物理环境的穿戴者在视觉上增强现实世界物理环境的外观。在一个示例中,该显示器可被配置成在图形用户界面上显示一个或多个UI对象。在一些实施例中,在图形用户界面上呈现的UI对象可以是覆盖在现实世界环境前面的虚拟对象。同样地,在一些实施例中,在图形用户界面上呈现的UI对象可以纳入通过透视显示器302被看到的现实世界环境的现实世界对象的元素。在其他示例中,显示器可被配置成显示一个或多个其他图形对象,诸如与游戏、视频、或其他可视内容相关联的虚拟对象。
任何合适的机制可被用来经由透视显示器302显示图像。例如,透视显示器302可包括位于透镜306内的图像产生元件(诸如举例而言,透视有机发光二极管(OLED)显示器)。作为另一示例,透视显示器302可包括位于HMD设备104的框架内的显示设备(诸如举例而言,硅上液晶(LCOS)设备或OLED微显示器)。在该示例中,透镜306可用作或以其他方式包括用于将光从显示设备递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在查看的物理环境内的3D全息图像,同时还允许穿戴者查看物理环境中的物理对象,因此创建了混合现实环境。
HMD设备104还可包括用于向控制器304提供信息的各种传感器和相关***。这样的传感器可包括但不限于,一个或多个面向内的图像传感器308a和308b、一个或多个面向外的图像传感器310、惯性测量单元(IMU)312以及一个或多个麦克风320。一个或多个面向内的图像传感器308a、308b可被配置成从穿戴者的眼睛获取注视跟踪数据形式的图像数据(例如,传感器308a可获取穿戴者的一只眼睛的图像数据,而传感器308b可获取穿戴者的另一只眼睛的图像数据)。HMD设备可被配置成基于接收自图像传感器308a、308b的信息用任何合适的方式来确定穿戴者眼睛中的每一只眼睛的注视方向。例如,一个或多个光源314a、314b(诸如红外光源)可被配置成促使闪光从穿戴者的每一只眼睛的角膜反射。一个或多个图像传感器308a、308b接着可被配置成捕捉穿戴者眼睛的图像。根据收集自图像传感器308a、308b的图像数据所确定的闪烁和瞳孔的图像可被控制器304用来确定每一只眼睛的光轴。使用该信息,控制器304可被配置成确定穿戴者正在注视方向。控制器304可被配置成附加地确定穿戴者正注视的物理和/或虚拟对象的身份。
一个或多个面向外的图像传感器310可被配置成接收来自HMD设备104所处的物理环境的物理环境数据。来自面向外的图像传感器310的数据可被用来检测显示器302的视野内的移动,诸如视野内的穿戴者或人或物理对象所执行的基于手势的输入或其他移动。在一个示例中,来自面向外的图像传感器310的数据可被用来检测由HMD设备的穿戴者执行的指示对显示设备上显示的UI对象的选择的选择输入,诸如手势(例如,捏合手指、握紧拳头等)。来自面向外的传感器的数据还可被用来确定(例如,来自成像环境特征的)方向/位置和取向数据,这使得能够实现对HMD设备104在现实世界环境中的位置/运动跟踪。
IMU 312可被配置成将HMD设备104的位置和/或取向数据提供给控制器304。在一个实施例中,IMU 312可被配置为三轴或三自由度位置传感器***。这一示例位置传感器***可例如包括用于指示或测量HMD设备104在3D空间内绕三个正交轴(例如,x、y、z)(例如,滚转、俯仰、偏航)的取向变化的三个陀螺仪。从IMU的传感器信号导出的取向可被用于经由透视显示器按三自由度来显示一个或多个虚拟UI对象。
在另一示例中,IMU 312可被配置成六轴或六自由度位置传感器***。这样的配置可包括三个加速度计和三个陀螺仪以指示或测量HMD设备104沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化。在一些实施例中,来自面向外的图像传感器310和IMU312的位置和取向数据可以被结合使用以确定HMD设备104的位置和取向。
HMD设备104还可支持其他合适的定位技术,诸如GPS或其他全球导航***。此外,尽管已描述了位置传感器***的具体示例,但将理解,任何其他合适的位置传感器***都可被使用。例如,头部姿势和/或移动数据可基于来自戴在穿戴者上和/或穿戴者外部的传感器的任何组合的传感器信息来被确定,包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如,可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如,WIFI天线/接口)等。
继续图3,控制器304可被配置成基于由一个或多个面向内的图像传感器308a、308b检测到的信息来随时间记录多个眼睛注视样本。对于每个眼睛注视样本,眼睛跟踪信息以及在一些实施例中的头部跟踪信息(来自图像传感器310和/或IMU 312)可被用来估计该眼睛注视样本的原点和方向向量以产生眼睛注视与透视显示器相交的估计位置。被用来确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的示例可包括眼睛注视方向、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向的角度改变,和/或任何其他合适的跟踪信息。在一些实施例中,眼睛注视跟踪可独立于HMD设备104的穿戴者的两只眼睛来被记录。
如上所述,HMD设备104还可包括捕捉音频数据的一个或多个麦克风,诸如麦克风320。在一些示例中,该一个或多个麦克风320可包括麦克风阵列,该麦克风阵列包括两个或更多个麦克风。例如,麦克风阵列可包括四个麦克风,两个麦克风被定位在HMD设备的右透镜上方,而另外两个麦克风被定位在HMD设备的左透镜上方。此外,音频输出可经由一个或多个扬声器(诸如扬声器322)来呈现给穿戴者。
控制器304可包括与HMD设备的各个传感器和显示器进行通信的逻辑机和存储机,如以下参考图5更详细地讨论的。如本文所描述的,在一个示例中,存储机可包括可由逻辑机执行以将经显示的虚拟对象的声音提供给一个或多个外部扬声器的指令。
图4示出了描绘用于经由远程扬声器提供空间音频内容的示例方法400的流程图。方法400可由被配置成呈现可视内容和相关联的音频内容的计算设备(诸如HMD设备104)来执行。
在402,方法400包括无线地检测计算设备外部的一个或多个远程扬声器的存在。如上所解释的,计算设备可例如根据DLNA协议或其他合适的机制来自动地检测一个或多个远程扬声器的存在。此外,在404,计算设备与每个检测到的远程扬声器建立无线连接。无线连接可以是直接连接,或者可以是经由诸如网络路由器之类的中间设备的连接,并且可包括WiFi连接、WiFi直接连接、蓝牙或其他合适的无线连接。
在406,方法400包括确定每个远程扬声器的位置。位置可被自动地或手动地确定,并且可经由图像信息、音频信息、其组合和/或经由任何其他合适的信息来被确定。在一个示例中,如408所指示的,确定(诸)远程扬声器的位置可包括基于指示扬声器位置的用户输入来确定位置。用户指示可包括由用户执行的手势(诸如指向远程扬声器的位置),其可经由来自计算设备的图像传感器的数据来被检测到。用户指示替代地或附加地可包括由用户发出的语音命令,该语音命令描述由计算设备的一个或多个麦克风检测到的远程扬声器的位置。
在另一示例中,如410所指示的,远程扬声器的位置可基于使用由计算设备的图像传感器捕获的图像数据的对象标识来被确定。例如,对象标识可在计算设备周围的现实世界环境的深度图上被执行,并且远程扬声器的位置可基于对象标识来被确定。在其他示例中,视觉标记可由用户安放在远程扬声器上,并且该视觉标记可使用图像数据来被标识。
在另一示例中,如412所指示的,远程扬声器的位置可通过计算设备将测试音频信号(通过先前建立的无线连接)发送到远程扬声器来被确定。当测试音频信号被远程扬声器接收到时,远程扬声器输出随后由计算设备的麦克风检测到的音频。如果计算设备包括麦克风阵列(例如,两个或更多个麦克风),则接收到的音频输出可被用来确定远程扬声器的位置。
在一些示例中,环境中的两个或更多个远程扬声器可以是多声道音频***的一部分。在这些情况下,音频***的每个远程扬声器的位置以及声道可被确定。例如,计算设备可被配置成发送第一声道测试音频信号,经由计算设备的麦克风阵列接收来自第一远程扬声器的输出,并且基于来自麦克风阵列的信号来确定第一远程扬声器的位置。在这样做时,计算设备还可将第一音频声道映射到第一远程扬声器。对于附加的扬声器,计算设备可被配置成发送第二声道测试音频信号,经由计算设备的麦克风阵列接收来自第二远程扬声器的输出,并且基于来自麦克风阵列的信号来确定第二远程扬声器的位置。在这样做时,计算设备还可将第二音频声道映射到第二远程扬声器。
在又一示例中,每个远程扬声器的位置可能已在先前的扬声器发现会话期间被确定。例如,计算设备正在工作的房间可(例如,经由位置信息和/或图像信息)来被计算设备识别,并且与房间相关的元数据可由计算设备获得。元数据可包括关于房间中存在的扬声器的位置和类型的信息,并且可被本地储存在计算设备上或者可从远程设备获得。以这种方式,扬声器的位置确定和映射过程可被绕过。
在414,可视内容经由计算设备的显示器设备来被呈现。可视内容可包括虚拟现实内容或增强现实内容。可视内容可包括与现实世界环境中的某个位置相关联的对象。例如,可视内容可包括如图2所例示的被定位在现实世界对象(例如,图2的第一远程扬声器)附近的虚拟巫师。对象可位于计算设备的用户的视野中,或者对象可位于用户的视野之外。在416,与对象对应的音频信号被生成。例如,虚拟巫师可具有待与巫师的显示一起输出的相关联的音频内容(例如,巫师可能在说话)。
在418,音频信号被发送到远程扬声器中的一个或多个。在一个示例中,被发送到远程扬声器的音频信号可包括经压缩或未经压缩的呈现的音频数据。在另一示例中,被发送到远程扬声器的音频信号可包括用于在远程扬声器的接收器上呈现音频数据的音频内容信息。例如,被用来生成可视内容和音频内容的虚拟模型的帧可被发送到接收器,并且接收器可呈现音频数据以供在远程扬声器上的输出。在一些示例中,音频信号可被直接地发送到远程扬声器。在其他示例中,音频信号可经由接收器、放大器、呈现器或其他中间组件来被发送以供在远程扬声器处的呈现。当存在多于一个的远程扬声器和/或当计算设备正在输出多个音频信号时,每个音频信号可包括声道信息,以使得音频信号能够由期望的远程扬声器输出。
被选择来接收音频信号的远程扬声器或扬声器可以基于对象相对于计算设备的位置(例如,对象在现实世界环境中与之潜在地相关联的位置)。例如,如果对象比计算设备更靠近远程扬声器,则远程扬声器可被选择来接收音频信号。然而,如果远程扬声器并不比计算设备更靠近对象,则音频信号可替代地由计算设备的本地扬声器输出。在其中存在多于一个的远程扬声器的示例中,最靠近对象的位置的远程扬声器可被选择来接收音频信号。由此,如果存在计算设备已与之建立了连接的多于一个的远程扬声器,则被选择来接收音频信号的远程扬声器可以基于对象的位置、计算设备的位置以及多个远程扬声器中的每一个的位置,如在422所指示的。
被发送到远程扬声器的音频信号在某些情况下可被调整以将计算设备和远程扬声器之间的连接延迟考虑在内并且/或者将计算设备和远程扬声器之间的距离考虑在内,如424所指示的。尽管与以上讨论的对象相关联的音频信号被发送到一个远程扬声器,但是在一些示例中,附加的音频信号可以与所呈现的可视内容相关联。这些附加的音频信号可被发送到现实世界环境中的其他远程扬声器并且/或者被发送到计算设备的本地扬声器。为了确保来自环境中所有各种声音产生设备的音频输出在期望的时间(例如,与所呈现的可视内容同时和/或同步)到达用户,被发送到远程扬声器的音频信号可相对于被发送到其他扬声器的音频信号来被调整。在一个示例中,计算设备和远程扬声器之间的连接中的延迟可被确定,并且被发送到远程扬声器的音频信号可基于该延迟来被调整。调整可包括同被发送到计算设备的本地扬声器的音频信号相比更早地将音频信号发送到远程扬声器。在另一示例中,计算设备和远程扬声器之间的距离可被确定,并且被发送到远程扬声器的音频信号基于该距离来被调整。调整可包括同被发送到计算设备的本地扬声器的音频信号相比更早地将音频信号发送到远程扬声器。在另外的示例中,被发送到远程扬声器的音频信号可随计算设备的位置改变而改变。
在一些实施例中,本文中描述的方法和过程可以与一个或多个计算设备的计算***绑定。具体而言,这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图5示意性地示出了可执行上述方法和过程中的一个或多个的计算***500的非限制性实施例。以简化形式示出了计算***500。计算***500可采取以下形式:一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如,智能电话)和/或其他计算设备。HMD设备104是计算***500的一个非限制性示例。
计算***500包括逻辑机502和存储机504。计算***500可任选地包括显示子***506、输入子***508、通信子***514、扬声器516和/或在图5中未示出的其他组件。
逻辑机502包括被配置成执行指令的一个或多个物理设备。例如,逻辑机可被配置成执行作为以下各项的一部分的指令:一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造。这样的指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或者以其他方式得到期望的结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换,逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核的,并且在其上被执行的指令可被配置成用于串行、并行和/或分布式处理。逻辑机的各个个体组件可任选地分布在两个或更多个分开的设备上,这些设备可以位于远程和/或被配置成用于协同处理。逻辑机的各方面可由按云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机504包括被配置成保持可由逻辑机执行以实现本文所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时,可以变换存储机504的状态(例如,以保持不同的数据)。
存储机504可包括可移动和/或内置设备。存储机504可包括光学存储器(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如,RAM、EPROM、EEPROM等)和/或磁存储器(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机504可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解,存储机504包括一个或多个物理设备。然而,本文所述的指令的各方面可替代地通过不由物理设备在有限时长内保持的通信介质(例如,电磁信号、光信号等)来传播。
逻辑机502和存储机504的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。
显示子***506可被用来呈现由存储机504所保持的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据,并由此变换了存储机的状态,所以同样可以变换显示子***506的状态以视觉地表示底层数据的改变。显示子***506可包括利用实际上任何类型的技术的一个或多个显示设备,诸如图3中所示的HMD设备104的显示器302。可将这样的显示设备与逻辑机502和/或存储机504组合在共享封装中,或者这样的显示设备可以是***显示设备。
输入子***508可包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中,输入子***可包括所选择的自然用户输入(NUI)组件或者与其对接。这样的组件可以是集成的或***的,并且输入动作的转换和/或处理可以在板上或板外被处理。示例NUI组件可包括用于语言和/或话音识别的一个或多个麦克风510;图像传感器512;用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机;用于运动检测和/或意图识别的头部***、眼睛***、加速计和/或陀螺仪;以及用于评估脑部活动的电场感测组件;以上参考图3描述的传感器中的任一者;或者任何其他合适的传感器。
通信子***514可被配置成将计算***500与一个或多个其他计算设备可通信地耦合。通信子***514可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子***可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中,通信子***可允许计算***500经由诸如互联网之类的网络将消息发送至其他设备并且/或者从其他设备接收消息。在一些示例中,通信子***514可被配置成直接或者经由网络518来自动地检测一个或多个远程扬声器520并且/或者与之连接。附加地,计算***500可包括音频输出设备,诸如一个或多个扬声器516。
另一示例提供了一种便携式计算设备上的方法,包括无线地检测便携式计算设备外部的远程扬声器的存在,确定远程扬声器的位置,建立与远程扬声器的无线连接,经由便携式计算设备的显示器来呈现可视内容,可视内容包括在位置上与便携式计算设备周围的现实世界环境中的某个位置相关联的对象,生成对应于该对象的音频信号,以及将音频信号发送到远程扬声器。在这样的示例中,将音频信号发送到远程扬声器附加地或替代地包括基于对象相对于便携式设备的位置将音频信号发送到远程扬声器。在这样的示例中,对象在一些示例中可附加地或替代地在查看所呈现的可视内容的用户的视野之外。在这样的示例中,对象在其他示例中可附加地或替代地在查看所呈现的可视内容的用户的视野中。在这样的示例中,远程扬声器可附加地或替代地为多个远程扬声器中的一个,并且该方法可附加地或替代地进一步包括基于每个远程扬声器的位置、对象的位置以及便携式计算设备的位置来选择要将音频信号发送到的远程扬声器。在这样的示例中,确定远程扬声器的位置可附加地或替代地包括基于来自一个或多个图像传感器的反馈来检测由用户执行的指示远程扬声器的位置的手势。在这样的示例中,确定远程扬声器的位置可附加地或替代地包括对由一个或多个图像传感器收集到的图像数据执行对象标识。在这样的示例中,确定远程扬声器的位置可附加地或替代地包括向远程扬声器发送测试音频信号,经由便携式计算设备上的多个麦克风接收来自远程扬声器的输出,以及基于来自多个麦克风的信号来确定远程扬声器的位置。在这样的示例中,远程扬声器可附加地或替代地是多个远程扬声器中的一个,并且确定多个远程扬声器中的每个远程扬声器的位置可附加地或替代地包括发送第一声道测试音频信号,经由多个麦克风接收来自第一远程扬声器的输出,以及基于来自多个麦克风的信号来确定第一远程扬声器的位置。在这样的示例中,该方法可附加地或替代地包括发送第二声道测试音频信号,经由多个麦克风接收来自第二远程扬声器的输出,以及基于来自多个麦克风的信号来确定第二远程扬声器的位置。在这样的示例中,可视内容在一个示例中可附加地或替代地包括增强现实内容。在这样的示例中,将音频信号发送到远程扬声器可附加地或替代地包括发送经压缩或未经压缩的呈现的音频数据。在这样的示例中,将音频信号发送到远程扬声器可附加地或替代地包括发送内容信息以用于在接收器上呈现音频数据。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种便携式计算设备,包括一个或多个传感器、显示器、逻辑机和保持指令的存储机,该指令可由逻辑机执行以生成包括虚拟对象以及同虚拟对象相关联的音频内容的虚拟环境的模型,基于来自一个或多个传感器的数据来确定便携式计算设备周围的现实世界环境中的多个远程扬声器的位置,标识与每个远程扬声器对应的音频声道,并且基于虚拟对象在模型中相对于现实世界环境中的一个或多个远程扬声器的位置的位置来将音频信号发送到一个或多个远程扬声器。在这样的示例中,一个或多个传感器可附加地或替代地包括图像传感器和麦克风阵列中的一者或多者。为了确定多个远程扬声器的位置并且标识对应于每个远程扬声器的音频声道,指令可附加地或替代地可执行以发送第一声道测试音频信号,经由麦克风阵列接收来自第一远程扬声器的输出,基于来自麦克风阵列的信号来确定第一远程扬声器的位置,并将第一声道映射到第一远程扬声器。在这样的示例中,指令可附加地或替代地进一步可执行以发送第二声道测试音频信号,经由麦克风阵列接收来自第二远程扬声器的输出,基于来自麦克风阵列的信号来确定第二远程扬声器的位置,并将第二声道映射到第二远程扬声器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供了一种可穿戴计算设备,包括一个或多个传感器、透视显示器、一个或多个扬声器、逻辑机和保持指令的存储机,该指令可由逻辑机执行以无线地检测可穿戴计算设备外部的远程扬声器的存在,基于由一个或多个传感器收集到的图像信息来确定远程扬声器的位置,建立与远程扬声器的无线连接,经由透视显示器来呈现增强现实内容,该增强实境内容包括与可穿戴计算设备周围的现实世界环境中的某个位置相关联的对象,生成对应于对象的音频信号,并将音频信号发送到远程扬声器。在这样的示例中,指令可附加地或替代地可执行以确定接收器和可穿戴计算设备之间的连接中的延迟,并且基于延迟来调整被发送到远程扬声器的音频信号。在这样的示例中,指令可附加地或替代地可执行以确定便携式计算设备和远程扬声器之间的距离,并且基于该距离来调整音频信号。在这样的示例中,指令可附加地或替代地可执行以生成对应于与可穿戴计算设备周围的现实世界环境中的第二位置相关联的第二对象的第二音频信号,并将第二音频信号发送到可穿戴计算设备的一个或多个扬声器。在这样的示例中,远程扬声器可附加地或替代地为第一远程扬声器,并且指令可附加地或替代地可执行以生成对应于与可穿戴计算设备周围的现实世界环境中的第二位置相关联的第二对象的第二音频信号,并将第二音频信号发送到第二远程扬声器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解,本文描述的配置和/或方式本质是示例性的,这些具体实施例或本文示例不应被视为限制性的,因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此,所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行,或者被省略。同样,上述过程的次序可以改变。
本公开的主题包括各种过程、***和配置以及本文公开的其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合,以及其任何和所有等同物。
Claims (15)
1.一种在便携式计算设备上的方法,包括:
无线地检测所述便携式计算设备外部的远程扬声器的存在;
确定所述远程扬声器的位置;
建立与所述远程扬声器的无线连接;
经由所述便携式计算设备的显示器来呈现可视内容,所述可视内容包括在位置上与所述便携式计算设备周围的现实世界环境中的某个位置相关联的对象;
生成对应于所述对象的音频信号;以及
将所述音频信号发送到所述远程扬声器。
2.根据权利要求1所述的方法,其特征在于,将所述音频信号发送到所述远程扬声器包括基于所述对象相对于所述便携式设备的位置来将所述音频信号发送到所述远程扬声器。
3.根据权利要求1所述的方法,其特征在于,其中所述对象在查看所呈现的可视内容的用户的视野之外。
4.根据权利要求1所述的方法,其特征在于,其中所述对象在查看所呈现的可视内容的用户的视野中。
5.根据权利要求1所述的方法,其特征在于,其中所述远程扬声器为多个远程扬声器中的一个,并且还包括基于每个远程扬声器的位置、所述对象的位置以及所述便携式计算设备的位置来选择要将所述音频信号发送到的远程扬声器。
6.根据权利要求1所述的方法,其特征在于,确定所述远程扬声器的位置包括基于来自一个或多个图像传感器的反馈来检测由用户执行的指示所述远程扬声器的位置的手势。
7.根据权利要求1所述的方法,其特征在于,确定所述远程扬声器的位置包括对由一个或多个图像传感器收集到的图像数据执行对象标识。
8.根据权利要求1所述的方法,其特征在于,确定所述远程扬声器的位置包括向所述远程扬声器发送测试音频信号,经由所述便携式计算设备上的多个麦克风接收来自所述远程扬声器的输出,以及基于来自所述多个麦克风的信号来确定所述远程扬声器的位置。
9.根据权利要求8所述的方法,其特征在于,其中所述远程扬声器为多个远程扬声器中的一个,并且其中确定所述多个远程扬声器中的每个远程扬声器的位置包括:
发送第一声道测试音频信号,经由所述多个麦克风接收来自第一远程扬声器的输出,并且基于来自所述多个麦克风的信号来确定所述第一远程扬声器的位置;以及
发送第二声道测试音频信号,经由所述多个麦克风接收来自第二远程扬声器的输出,并且基于来自所述多个麦克风的信号来确定所述第二远程扬声器的位置。
10.根据权利要求1所述的方法,其特征在于,其中所述可视内容包括增强现实内容。
11.根据权利要求1所述的方法,其特征在于,将所述音频信号发送到所述远程扬声器包括发送经压缩或未经压缩的被呈现的音频数据。
12.根据权利要求1所述的方法,其特征在于,将所述音频信号发送到所述远程扬声器包括发送内容信息以用于在接收器上呈现音频数据。
13.一种便携式计算设备,包括:
一个或多个传感器;
显示器;
逻辑机;以及
存储机,所述存储机保持能由所述逻辑机执行以进行以下操作的指令:
生成包括虚拟对象以及同所述虚拟对象相关联的音频内容的虚拟环境的模型;
基于来自所述一个或多个传感器的数据来确定所述便携式计算设备周围的现实世界环境中的多个远程扬声器的位置;
标识与每个远程扬声器对应的音频声道;以及
基于所述虚拟对象在所述模型中相对于所述现实世界环境中的所述一个或多个远程扬声器的位置的位置来将所述音频信号发送到所述远程扬声器中的一个或多个。
14.根据权利要求13所述的便携式计算设备,其特征在于,其中所述一个或多个传感器包括图像传感器和麦克风阵列中的一者或多者。
15.根据权利要求14所述的便携式计算设备,其特征在于,为了确定所述多个远程扬声器的位置并且标识对应于每个远程扬声器的所述音频声道,所述指令能够执行
发送第一声道测试音频信号;
经由所述麦克风阵列接收来自第一远程扬声器的输出;
基于来自所述麦克风阵列的信号来确定所述第一远程扬声器的位置;
将所述第一声道映射到所述第一远程扬声器;
发送第二声道测试音频信号;
经由所述麦克风阵列接收来自第二远程扬声器的输出;
基于来自所述麦克风阵列的信号来确定所述第二远程扬声器的位置;以及
将所述第二声道映射到所述第二远程扬声器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/599,957 | 2015-01-19 | ||
US14/599,957 US9584915B2 (en) | 2015-01-19 | 2015-01-19 | Spatial audio with remote speakers |
PCT/US2015/067976 WO2016118294A1 (en) | 2015-01-19 | 2015-12-30 | Spatial audio with remote speakers |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107211226A true CN107211226A (zh) | 2017-09-26 |
Family
ID=55182589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580073750.4A Pending CN107211226A (zh) | 2015-01-19 | 2015-12-30 | 具有远程扬声器的空间音频 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9584915B2 (zh) |
EP (1) | EP3248395A1 (zh) |
CN (1) | CN107211226A (zh) |
WO (1) | WO2016118294A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108882139A (zh) * | 2018-05-31 | 2018-11-23 | 北京橙鑫数据科技有限公司 | 参数配置方法以及*** |
CN110881157A (zh) * | 2018-09-06 | 2020-03-13 | 宏碁股份有限公司 | 正交基底修正的音效控制方法及音效输出装置 |
CN111133411A (zh) * | 2017-09-29 | 2020-05-08 | 苹果公司 | 空间音频上混 |
CN111194561A (zh) * | 2017-09-27 | 2020-05-22 | 苹果公司 | 预测性的头部跟踪的双耳音频渲染 |
CN111480348A (zh) * | 2017-12-21 | 2020-07-31 | 脸谱公司 | 用于基于音频的增强现实的***和方法 |
CN112083379A (zh) * | 2020-09-09 | 2020-12-15 | 成都极米科技股份有限公司 | 基于声源定位的音频播放方法、装置、投影设备及介质 |
CN112689825A (zh) * | 2018-09-11 | 2021-04-20 | 诺基亚技术有限公司 | 实现远程用户访问介导现实内容的装置、方法、计算机程序 |
CN113170250A (zh) * | 2018-11-02 | 2021-07-23 | 伯斯有限公司 | 开放式音频设备中的音量控制 |
CN114303127A (zh) * | 2019-08-12 | 2022-04-08 | 脸谱科技有限责任公司 | 操作***的音频服务设计 |
CN115299026A (zh) * | 2020-06-09 | 2022-11-04 | 元平台技术有限公司 | 基于显示器取向操纵音频数据的***、设备和方法 |
Families Citing this family (127)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
US20160294484A1 (en) * | 2015-03-31 | 2016-10-06 | Qualcomm Technologies International, Ltd. | Embedding codes in an audio signal |
US11356520B2 (en) * | 2015-05-29 | 2022-06-07 | Sound United, Llc. | System and method for selecting and providing zone-specific media |
US10515482B2 (en) | 2015-08-24 | 2019-12-24 | Pcms Holdings, Inc. | Systems and methods for enhancing augmented reality experience with dynamic output mapping |
US9857871B2 (en) | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
WO2017049169A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Facilitating calibration of an audio playback device |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
EP3629136B1 (en) | 2015-10-08 | 2024-04-17 | InterDigital VC Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US10003899B2 (en) * | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
US10142754B2 (en) | 2016-02-22 | 2018-11-27 | Sonos, Inc. | Sensor on moving component of transducer |
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US9772817B2 (en) | 2016-02-22 | 2017-09-26 | Sonos, Inc. | Room-corrected voice detection |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US10401952B2 (en) | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US10169846B2 (en) * | 2016-03-31 | 2019-01-01 | Sony Interactive Entertainment Inc. | Selective peripheral vision filtering in a foveated rendering system |
US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
US10372205B2 (en) | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10334134B1 (en) | 2016-06-20 | 2019-06-25 | Maximillian John Suiter | Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction |
US11044393B1 (en) * | 2016-06-20 | 2021-06-22 | Pipbin, Inc. | System for curation and display of location-dependent augmented reality content in an augmented estate system |
US11876941B1 (en) | 2016-06-20 | 2024-01-16 | Pipbin, Inc. | Clickable augmented reality content manager, system, and network |
US11785161B1 (en) | 2016-06-20 | 2023-10-10 | Pipbin, Inc. | System for user accessibility of tagged curated augmented reality content |
US11201981B1 (en) | 2016-06-20 | 2021-12-14 | Pipbin, Inc. | System for notification of user accessibility of curated location-dependent content in an augmented estate |
US20180014102A1 (en) * | 2016-07-06 | 2018-01-11 | Bragi GmbH | Variable Positioning of Distributed Body Sensors with Single or Dual Wireless Earpiece System and Method |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
US9693164B1 (en) | 2016-08-05 | 2017-06-27 | Sonos, Inc. | Determining direction of networked microphone device relative to audio playback device |
EP3287868B1 (en) * | 2016-08-26 | 2020-10-14 | Nokia Technologies Oy | Content discovery |
US10598506B2 (en) * | 2016-09-12 | 2020-03-24 | Bragi GmbH | Audio navigation using short range bilateral earpieces |
US9794720B1 (en) * | 2016-09-22 | 2017-10-17 | Sonos, Inc. | Acoustic position measurement |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US10754608B2 (en) | 2016-11-29 | 2020-08-25 | Nokia Technologies Oy | Augmented reality mixing for distributed audio capture |
US10771898B2 (en) * | 2017-01-09 | 2020-09-08 | Apple Inc. | Locating wireless devices |
US11183181B2 (en) | 2017-03-27 | 2021-11-23 | Sonos, Inc. | Systems and methods of multiple voice services |
KR101916380B1 (ko) * | 2017-04-05 | 2019-01-30 | 주식회사 에스큐그리고 | 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 |
US10321258B2 (en) * | 2017-04-19 | 2019-06-11 | Microsoft Technology Licensing, Llc | Emulating spatial perception using virtual echolocation |
US10264380B2 (en) * | 2017-05-09 | 2019-04-16 | Microsoft Technology Licensing, Llc | Spatial audio for three-dimensional data sets |
US10405126B2 (en) * | 2017-06-30 | 2019-09-03 | Qualcomm Incorporated | Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
WO2019079523A1 (en) | 2017-10-17 | 2019-04-25 | Magic Leap, Inc. | SPACE AUDIO WITH MIXED REALITY |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
JP2021514081A (ja) * | 2018-02-15 | 2021-06-03 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実仮想反響音 |
US10916066B2 (en) * | 2018-04-20 | 2021-02-09 | Edx Technologies, Inc. | Methods of virtual model modification |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10768426B2 (en) * | 2018-05-21 | 2020-09-08 | Microsoft Technology Licensing, Llc | Head mounted display system receiving three-dimensional push notification |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
EP3595336A1 (en) * | 2018-07-09 | 2020-01-15 | Koninklijke Philips N.V. | Audio apparatus and method of operation therefor |
US11032659B2 (en) * | 2018-08-20 | 2021-06-08 | International Business Machines Corporation | Augmented reality for directional sound |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10878811B2 (en) | 2018-09-14 | 2020-12-29 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US10739726B2 (en) | 2018-10-03 | 2020-08-11 | International Business Machines Corporation | Audio management for holographic objects |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654142A1 (en) * | 2018-11-14 | 2020-05-20 | Nokia Technologies Oy | First-person perspective-mediated reality |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US11503422B2 (en) * | 2019-01-22 | 2022-11-15 | Harman International Industries, Incorporated | Mapping virtual sound sources to physical speakers in extended reality applications |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
EP3957089A1 (en) * | 2019-04-17 | 2022-02-23 | Apple Inc. | Sharing keys for a wireless accessory |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US10708706B1 (en) * | 2019-05-07 | 2020-07-07 | Facebook Technologies, Llc | Audio spatialization and reinforcement between multiple headsets |
EP3977242A1 (en) * | 2019-05-31 | 2022-04-06 | Apple Inc. | Presenting communication data based on environment |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
US10827269B1 (en) * | 2019-08-19 | 2020-11-03 | Creative Technology Ltd | System, method, and device for audio reproduction |
CN112423190A (zh) * | 2019-08-20 | 2021-02-26 | 苹果公司 | 用于头戴式设备的基于音频的反馈 |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11483670B2 (en) * | 2019-10-30 | 2022-10-25 | Sonos, Inc. | Systems and methods of providing spatial audio associated with a simulated environment |
WO2021095330A1 (ja) * | 2019-11-12 | 2021-05-20 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11889302B2 (en) | 2020-08-28 | 2024-01-30 | Apple Inc. | Maintenance of wireless devices |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11750745B2 (en) | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
US11743670B2 (en) | 2020-12-18 | 2023-08-29 | Qualcomm Incorporated | Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
CN113676720B (zh) * | 2021-08-04 | 2023-11-10 | Oppo广东移动通信有限公司 | 多媒体资源的播放方法、装置、计算机设备及存储介质 |
US11914146B2 (en) * | 2022-05-27 | 2024-02-27 | Sony Interactive Entertainment LLC | Methods and systems for adding real-world sounds to virtual reality scenes |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120113224A1 (en) * | 2010-11-09 | 2012-05-10 | Andy Nguyen | Determining Loudspeaker Layout Using Visual Markers |
CN103348700A (zh) * | 2011-02-22 | 2013-10-09 | 蓝博士公司 | 用于无线麦克风和扬声器的声学回音消除的***和方法 |
US20130328762A1 (en) * | 2012-06-12 | 2013-12-12 | Daniel J. McCulloch | Controlling a virtual object with a real controller device |
US20140160001A1 (en) * | 2012-12-06 | 2014-06-12 | Peter Tobias Kinnebrew | Mixed reality presentation |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282541B (zh) * | 2000-11-30 | 2011-04-06 | 因特拉松尼克斯有限公司 | 通信*** |
KR101517592B1 (ko) | 2008-11-11 | 2015-05-04 | 삼성전자 주식회사 | 고분해능을 가진 화면음원 위치장치 및 재생방법 |
US8269902B2 (en) | 2009-06-03 | 2012-09-18 | Transpacific Image, Llc | Multimedia projection management |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US8767968B2 (en) | 2010-10-13 | 2014-07-01 | Microsoft Corporation | System and method for high-precision 3-dimensional audio for augmented reality |
AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US20130083018A1 (en) | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Personal audio/visual system with holographic objects |
US8894484B2 (en) | 2012-01-30 | 2014-11-25 | Microsoft Corporation | Multiplayer game invitation system |
US20140101608A1 (en) | 2012-10-05 | 2014-04-10 | Google Inc. | User Interfaces for Head-Mountable Devices |
KR101989893B1 (ko) | 2012-10-29 | 2019-09-30 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법 |
US9131298B2 (en) | 2012-11-28 | 2015-09-08 | Qualcomm Incorporated | Constrained dynamic amplitude panning in collaborative sound systems |
US9812046B2 (en) | 2013-01-10 | 2017-11-07 | Microsoft Technology Licensing, Llc | Mixed reality display accommodation |
CN105073073B (zh) | 2013-01-25 | 2018-12-07 | 胡海 | 用于声音可视化及声源定位的设备与方法 |
US20150204561A1 (en) * | 2014-01-20 | 2015-07-23 | Innosys, Inc. | Control System With Mobile Sensors |
WO2016037155A1 (en) * | 2014-09-04 | 2016-03-10 | PWV Inc | Speaker discovery and assignment |
-
2015
- 2015-01-19 US US14/599,957 patent/US9584915B2/en active Active
- 2015-12-30 EP EP15826265.9A patent/EP3248395A1/en not_active Withdrawn
- 2015-12-30 CN CN201580073750.4A patent/CN107211226A/zh active Pending
- 2015-12-30 WO PCT/US2015/067976 patent/WO2016118294A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120113224A1 (en) * | 2010-11-09 | 2012-05-10 | Andy Nguyen | Determining Loudspeaker Layout Using Visual Markers |
CN103348700A (zh) * | 2011-02-22 | 2013-10-09 | 蓝博士公司 | 用于无线麦克风和扬声器的声学回音消除的***和方法 |
US20130328762A1 (en) * | 2012-06-12 | 2013-12-12 | Daniel J. McCulloch | Controlling a virtual object with a real controller device |
US20140160001A1 (en) * | 2012-12-06 | 2014-06-12 | Peter Tobias Kinnebrew | Mixed reality presentation |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11202164B2 (en) | 2017-09-27 | 2021-12-14 | Apple Inc. | Predictive head-tracked binaural audio rendering |
CN111194561B (zh) * | 2017-09-27 | 2021-10-29 | 苹果公司 | 预测性的头部跟踪的双耳音频渲染 |
CN111194561A (zh) * | 2017-09-27 | 2020-05-22 | 苹果公司 | 预测性的头部跟踪的双耳音频渲染 |
CN111133411A (zh) * | 2017-09-29 | 2020-05-08 | 苹果公司 | 空间音频上混 |
CN111480348A (zh) * | 2017-12-21 | 2020-07-31 | 脸谱公司 | 用于基于音频的增强现实的***和方法 |
CN108882139A (zh) * | 2018-05-31 | 2018-11-23 | 北京橙鑫数据科技有限公司 | 参数配置方法以及*** |
CN110881157A (zh) * | 2018-09-06 | 2020-03-13 | 宏碁股份有限公司 | 正交基底修正的音效控制方法及音效输出装置 |
CN112689825A (zh) * | 2018-09-11 | 2021-04-20 | 诺基亚技术有限公司 | 实现远程用户访问介导现实内容的装置、方法、计算机程序 |
CN113170250A (zh) * | 2018-11-02 | 2021-07-23 | 伯斯有限公司 | 开放式音频设备中的音量控制 |
US11955107B2 (en) | 2018-11-02 | 2024-04-09 | Bose Corporation | Ambient volume control in open audio device |
CN114303127A (zh) * | 2019-08-12 | 2022-04-08 | 脸谱科技有限责任公司 | 操作***的音频服务设计 |
CN114303127B (zh) * | 2019-08-12 | 2024-05-24 | 元平台技术有限公司 | 操作***的音频服务设计 |
CN115299026A (zh) * | 2020-06-09 | 2022-11-04 | 元平台技术有限公司 | 基于显示器取向操纵音频数据的***、设备和方法 |
CN112083379A (zh) * | 2020-09-09 | 2020-12-15 | 成都极米科技股份有限公司 | 基于声源定位的音频播放方法、装置、投影设备及介质 |
CN112083379B (zh) * | 2020-09-09 | 2023-10-20 | 极米科技股份有限公司 | 基于声源定位的音频播放方法、装置、投影设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2016118294A1 (en) | 2016-07-28 |
EP3248395A1 (en) | 2017-11-29 |
US20160212538A1 (en) | 2016-07-21 |
US9584915B2 (en) | 2017-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107211226A (zh) | 具有远程扬声器的空间音频 | |
US11995774B2 (en) | Augmented reality experiences using speech and text captions | |
US20210405761A1 (en) | Augmented reality experiences with object manipulation | |
CN105009031B (zh) | 增强现实设备以及在其上操作用户界面的方法 | |
CN106462733B (zh) | 一种用于视线检测校准的方法和计算设备 | |
US12008153B2 (en) | Interactive augmented reality experiences using positional tracking | |
CN108475120A (zh) | 用混合现实***的远程设备进行对象运动跟踪的方法及混合现实*** | |
CN109479010A (zh) | 通过注视化身的私有通信 | |
CN105359082B (zh) | 用于用户接口导航的***和方法 | |
CN108027649A (zh) | 定位增强现实环境中的设备 | |
CN107924237A (zh) | 计算设备的增强现实控制 | |
CN106255943A (zh) | 身体锁定增强现实与世界锁定增强现实之间的转换 | |
WO2022005717A1 (en) | Generating ground truth datasets for virtual reality experiences | |
US10521013B2 (en) | High-speed staggered binocular eye tracking systems | |
US11630520B1 (en) | Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems | |
US11741679B2 (en) | Augmented reality environment enhancement | |
US11176375B2 (en) | Smart glasses lost object assistance | |
US20240161759A1 (en) | Utilizing inaudible ultrasonic frequencies to embed additional audio asset channels within existing audio channels | |
US20240115933A1 (en) | Group control of computer game using aggregated area of gaze | |
US20240121569A1 (en) | Altering audio and/or providing non-audio cues according to listener's audio depth perception | |
US20240115937A1 (en) | Haptic asset generation for eccentric rotating mass (erm) from low frequency audio content | |
US20240042308A1 (en) | Fidelity of motion sensor signal by filtering voice and haptic components | |
US20240119928A1 (en) | Media control tools for managing communications between devices | |
US20240077983A1 (en) | Interaction recording tools for creating interactive ar stories | |
US20210349310A1 (en) | Highly interactive display environment for gaming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170926 |
|
RJ01 | Rejection of invention patent application after publication |