CN105681968A - 使用面部识别调节扬声器 - Google Patents
使用面部识别调节扬声器 Download PDFInfo
- Publication number
- CN105681968A CN105681968A CN201510888189.7A CN201510888189A CN105681968A CN 105681968 A CN105681968 A CN 105681968A CN 201510888189 A CN201510888189 A CN 201510888189A CN 105681968 A CN105681968 A CN 105681968A
- Authority
- CN
- China
- Prior art keywords
- loud speaker
- user
- coordinate
- actuator
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/004—Mounting transducers, e.g. provided with mechanical moving or orienting device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
- H04R2201/025—Transducer mountings or cabinet supports enabling variable orientation of transducer of cabinet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Image Analysis (AREA)
Abstract
本发明的实施方案描述了一种基于人的位置进行调节的音频***。即,所述音频***基于用户的位置或基于用户的数量调节一个或多个扬声器的音频输出的方向以优化所述音频***的性能,而不是依赖于固定的扬声器。为此,所述音频***可以包括摄像头和识别在所述摄像头前面的用户的位置和/或用户的数量的跟踪应用。使用这个信息,所述音频***调节耦合到扬声器的一个或多个致动器以改变所述扬声器的音频输出的方向。随着所述用户继续移动或移位,所述音频***可以继续调节所述扬声器以优化所述***的性能。
Description
技术领域
本公开涉及可变向扬声器,且更具体来说,涉及使用面部识别来调节可变向扬声器的方向。
背景技术
固定扬声器通常用于在车辆中输出音频。例如,机动车辆(诸如汽车)通常具有固定布置的多个扬声器以为车辆中的驾驶员和乘客输出音频(例如,音乐、有声书、广播节目等)。然而,固定扬声器不能响应于乘客处于收听环境中的不同位置进行调节。一个特定扬声器布置可能最适合于某一高度的乘客,但并非最适合于更高或更矮的乘客。此外,固定扬声器布置中的音频输出的方向不会根据车辆中的乘客的数量而改变。例如,如果当四名乘客在车辆中时,扬声器布置被设计成提供最佳性能,则当少于四名乘客在车辆中时,这个布置的性能可能不如扬声器的其他布置那么好。
发明内容
根据本公开的一个实施方案,一种方法包括基于由摄像头捕获的图像数据接收用户的位置;以及基于所述用户的位置识别一个或多个空间坐标。所述方法还包括基于所述一个或多个坐标产生用于调节至少一个致动器的控制信号,所述控制信号被配置成改变扬声器的定向,使得所述扬声器的音频输出区域包括所述一个或多个坐标。
本公开的另一实施方案为一种***,其包括可变向扬声器、机械耦合到所述可变向扬声器的致动器,以及计算设备。所述计算设备被配置成基于由摄像头捕获的图像数据接收用户的位置;以及基于所述用户的位置识别一个或多个空间坐标。所述计算设备还被配置成基于所述一个或多个坐标产生用于调节所述致动器的控制信号,所述控制信号被配置成改变所述可变向扬声器的定向,使得所述可变向扬声器的音频输出区域包括所述一个或多个坐标。
本公开的另一实施方案为一种用于调节扬声器的计算机程序产品,其中所述计算机程序产品包括可由一个或多个计算机处理器执行的计算机可读程序代码。所述程序代码被配置成基于由摄像头捕获的图像数据接收用户的位置;以及基于所述用户的位置识别一个或多个空间坐标。此外,所述程序代码被配置成基于所述一个或多个坐标产生用于调节至少一个致动器的控制信号,所述控制信号被配置成改变所述扬声器的定向,使得所述扬声器的音频输出区域包括所述一个或多个坐标。
附图说明
图1是用于基于用户的位置调节可变向扬声器的***;
图2是用于基于面部识别调节扬声器的***的方框图;
图3是用于基于面部识别调节扬声器的方法;
图4A至图4C图示基于面部识别来识别位置以引导扬声器;
图5A和图5B图示基于车辆中的乘客的数量调节扬声器布置;
图6A和图6B图示基于车辆中的乘客的数量调节扬声器布置;
图7是用于识别路径以基于面部识别调节可变向扬声器的***。
为了便于理解,在可能的情况下使用相同的参考数字指定图中所共有的相同的元件。可以预期的是,一个实施方案中所公开的元件可以有利地用于其他实施方案,而无需特别指明。这里所指的附图不应被理解为按比例绘制,除非特别注明。另外,为了清楚地呈现和解释,附图通常被简化并且细节或组件被省略。附图和讨论用来解释下面讨论的原理,其中相同的标号表示相同的元件。
具体实施方式
本文的实施方案描述了一种基于用户的位置调节的音频***。本文所描述的音频***根据用户的位置或数量调节一个或多个扬声器的音频输出的方向,而不是依赖于不能改变其音频输出的方向的固定扬声器。为此,音频***可以包括摄像头;以及面部识别应用,其识别在摄像头前面的用户的位置和/或用户的数量。使用这个信息,音频***调节耦合到扬声器的一个或多个致动器以改变扬声器的音频输出的方向—即,扬声器面向的方向。例如,面部识别应用可以识别用户在3D空间中的位置,并且作为响应,音频***调节扬声器使得其面向该位置。随着用户继续移动或移位,音频***可以继续调节扬声器以优化***的性能。
在一个方面,面部识别应用检测在摄像头前面的多个用户。音频***可以基于用户的各个位置调节扬声器。例如,如果扬声器被移动使得音频输出的方向是在两个用户之间,则可以实现最佳性能。或者,音频***可以包括多个可调式扬声器,并且调节一个扬声器来面向用户中的一个并调节另一个扬声器来面向另一个扬声器。不管用户的数量或位置,音频***可以被预编程来改变扬声器的方向以便优化(即,改进)音频性能。
图1是用于基于用户的位置调节可变向扬声器105的音频***100。***100包括扬声器105、致动器110、摄像头115和用户120。如图所示,扬声器105可以是响应于电信号输入产生声音的任何设备。扬声器105耦合到致动器110,其沿着一个或多个运动轴(例如,上下、左右、对角、圆周运动等)改变扬声器105的音频输出的方向。这里所示的致动器110是可以收缩或延伸以调节扬声器105面向的方向的活塞致动器。通过控制两个致动器110A和110B,***100移动扬声器105来面向特定点或区域。例如,在扬声器105前面的区域可以被分为2D或3D网格,其中通过调节致动器110,***100移动扬声器105来面向2D/3D网格内的点或区域。此外,在一个示例中,摄像头115的定向保持固定,而扬声器105的定向改变成面向点或区域。
这里所示的活塞致动器110只是合适的致动器的一个示例。致动器110可以使用球窝、螺钉、齿轮***、链条等来调节扬声器105的方向。另外,致动器110可以使用用于产生运动的任何类型的驱动***,诸如机械、电气、液压或气动***。尽管图1图示两个致动器110,但是在其他示例中,扬声器105可以仅由一个致动器110移动。在一个方面,致动器110可能不直接附接到扬声器105。例如,电缆可以用于将由远程致动器110产生的力转移到扬声器105。这样做可能会减少扬声器105的形状因数,并且允许扬声器105适应在空间限制区域,诸如在仪表板或在分离车辆的挡风玻璃和门的支柱。
摄像头115可以包括一个或多个传感器,其用于基于接收的电磁信号(例如,红外或可见光信号)捕获图像。例如,摄像头115可以包括用于在约390nm至700nm(即,可见光)下检测电磁信号的可见光传感器、使用红外投影仪和传感器来捕获3D空间的图像的测距***,或两者的组合。由摄像头115捕获的信息可以是2D或3D信息。在一个方面,深度(即,用户120与摄像头115之间的距离)可以是已知的。例如,音频***可以被设计用于一个房间,其中用户120坐在距摄像头115和扬声器105预定义的距离的沙发上。因此,仅使用2D信息,音频***110基于在沙发上的用户120的位置调节扬声器105。或者,深度可能不是已知的,因此,摄像头110捕获3D信息来确定用户120与摄像头115之间的距离。
使用由摄像头115捕获的信息,音频***100跟踪用户120在1D、2D或3D空间中的运动。基于用户120的位置(例如,用户的脸部或耳朵的位置),***100将用于改变扬声器105的方向的指令提供给致动器110以便优化音频***100的性能。例如,如果扬声器105面向用户120的耳朵,则可以获得最佳性能。当用户120移动时,致动器110改变扬声器105的方向以继续指向用户的耳朵在3D空间中的位置。
图2是用于基于面部识别调节扬声器105的***200的方框图。***200包括摄像头115、计算设备210和扬声器***235。摄像头115包括用于收集深度信息的深度传感器205,所述深度信息用于确定摄像头115与用户之间的距离。然而,如上所述,在其他示例中,摄像头115可能不收集深度信息。
摄像头115耦合到计算设备210,计算设备210包括处理器215和存储器220。计算设备210可以是通用计算设备,诸如膝上型计算机、平板计算机、服务器、台式计算机等,或用于执行本文所描述的方面和示例的专用计算设备。处理器215可以是适合于执行本文所描述的功能的任何处理元件。处理器215可以代表单个处理元件或多个处理元件,其可以各自包括一个或多个处理核心。存储器220可以是易失性或非易失性存储器,其可以包括硬盘、RAM、闪速存储器等。如这里所示,存储器220包括面部识别应用225和致动器控制器230。面部识别应用225接收由摄像头115捕获的2D或3D数据,并且识别在摄像头115前面的区域中的用户。面部识别应用225可以产生一个或多个坐标,其识别用户在2D或3D空间中的位置(例如,用户的脸部的位置)。使用这些坐标,致动器控制器230确定致动器110的相应的控制信号,以便移动扬声器105以优化***200的性能。例如,如果在扬声器105面向用户的耳朵的情况下性能得到改进,则致动器控制器240确定致使扬声器105面向在用户的耳朵方向上的控制信号。
在一个方面,致动器控制器230可以包括变换函数或算法,其用于将由面部识别应用225提供的坐标转换成致动器110的控制信号。例如,应用225可以返回一个或多个x、y和z坐标,其识别用户在摄像头115前面的位置。变换函数可以使用x、y和z坐标作为输入,并且输出致动器110的引起扬声器105面向用户的相应的控制信号。可以在配置阶段期间产生变换函数,其中自由空间中的一个或多个点被映射到致动器110的特定设置。这些映射接着可以被一般化以形成变换函数,其可以将自由空间中的一组坐标映射到致动器110的相应的设置中。然而,这仅仅是产生变换函数的一个非限制性方式,所述变换函数用于将2D或3D坐标转换成在所接收坐标的方向上指向扬声器105的致动器信号。
在一个方面,致动器控制器230可以使用由面部识别应用225提供的坐标来识别不同的坐标。例如,面部识别应用225可以返回用户的鼻子在3D空间中的坐标。然而,为了使扬声器105指向用户的耳朵,致动器控制器230可以使用预定义的调节参数来估计用户的耳朵的可能的位置。这个调节参数可以基于用户距摄像头115的距离而变化—例如,当用户更靠近摄像头115时,调节参数可能会更大。通过使用调节参数来改变坐标,致动器控制器230可以接着产生对应于例如用户的耳朵的坐标,其可以用作变换函数的输入以确定致动器控制信号。
在另一示例中,致动器控制器230根据检测到多少用户来改变由面部识别应用225提供的坐标。例如,如果应用225输出三个不同的用户的坐标,则致动器控制器230可以对坐标求平均值以识别用户之间的位置。以这种方式,不管***200中的用户的数量或位置,致动器控制器230可以被设计成改变由面部识别应用225提供的一个(或多个)坐标以便调节扬声器105。
扬声器***235包括图1中所描述的致动器110和扬声器105。扬声器***235可以包括封装这两个组件的单一主体,或这些组件的支撑结构。在一个示例中,致动器110可以远离扬声器105,并且扬声器***235可以包括机械元件,诸如用于将力从致动器110转移到扬声器105的电缆、链条或气动软管。
图3是使用面部识别调节扬声器的方法300。为了改进理解,结合图4A至图4C中所示的***来描述方法300的方框。在方框305,面部识别应用225使用从摄像头115捕获的数据识别脸部。如图4A的***400中所示,面部识别应用225识别围绕用户401的边界框405。本文所提供的示例不限于用于基于从摄像头115捕获的数据识别用户401的特定算法。在这个示例中,应用225识别围绕用户401的头部为中心的边界框405,但在其他示例中,面部识别应用225可以返回识别用户的脸部的几何中间的单个坐标,或各自对应于用户401的不同特征(例如,眼睛、耳朵、嘴等)的多个坐标。
面部识别应用225将边界框405的坐标传输到致动器控制器230。在方法300的方框310,致动器控制器230使用边界框405的坐标来识别点或区域。例如,当只有一个用户401由面部识别应用225识别时,致动器控制器230可以将扬声器105定向到用户的耳朵。在一个示例中,面部识别应用225可以识别用户的耳朵的坐标并且将这些坐标提供到致动器控制器230。然而,在图4A中所示的示例中,致动器控制器230使用边界框405的坐标来计算用户的耳朵的位置。
如图4B的***420中所示,致动器控制器230通过使用调节参数来确定耳朵的位置425,所述调节参数可以根据用户401与摄像头115或扬声器105之间的距离而变化。例如,调节参数可以是从边界框405左侧的中间坐标减去的预定义值,从而产生耳朵的位置425的坐标。当然,调节参数的类型或值可以根据由面部识别应用225提供的坐标而变化。即,如图所示,相比于当应用225输出边界框405时,当应用225输出用户的鼻子的坐标时,需要不同的调节参数。此外,如上所述,当面部识别应用225识别多个用户时,致动器控制器230可以不同方式改变坐标。例如,致动器控制器230可以使用由面部识别应用225提供的坐标来识别多个用户之间的区域或点,而不是估计用户的耳朵的位置425。
在方框315,致动器控制器230将使用来自应用225的坐标识别的点或区域变换成致动器控制信号。控制器230可以使用将点(即,用户的耳朵的位置425)映射到控制信号中的变换函数或算法,所述控制信号将扬声器105的方向改变成面向点。致动器110接收这些信号并且改变扬声器105所面向的方向。区域410图示在扬声器105前面的区域,在这个区域扬声器的音频输出是最大的(例如,包括来自扬声器105的90%的音频输出)。如图所示,用户401在区域410的外部,因此可能比用户401在区域410内部的情况体验更差的音频演示。
在方框320,响应于控制信号,致动器110调节扬声器105所面向的方向,使得由区域410限定的音频输出现在包括用户的耳朵的位置425,如图4C中所示。在一个示例中,扬声器105的方向被调节,使得用户的耳朵的位置425至少在区域410内。即,位置425仅需要在区域410内,而不是移动扬声器105直到扬声器105的方向面向与位置425相交。通过不需要精确对准,当执行可能输出不太准确的坐标的应用225时,***450改进了用户401的体验并且可以能够使用较便宜的摄像头115或节省处理时间。然而,这些坐标可以足够准确足以导出确保位置425在区域410内的控制信号,即使扬声器105不直接面向用户的耳朵。此外,因为摄像头115与扬声器105物理分隔,所以当音频输出区域410改变(即,扬声器105的定向被改变)时,摄像头115的定向可以在其当前定向上保持固定。换句话说,在扬声器105的音频输出区域410改变时,摄像头115继续面向相同的方向。
图5A和图5B图示基于车辆500中的乘客调节扬声器布置。具体来说,图5A和图5B图示车辆500的前半部,而后座或后置扬声器(如果有的话)被省略。如图5A和图5B中的顶视图所示,车辆500包括摄像头115和安装在车辆500的仪表板上或支柱中的两个扬声器505。为了清楚起见,用于移动扬声器505的致动器,以及用于处理由摄像头115捕获的数据并且确定致动器的控制信号的计算设备已被省略。然而,在一个示例中,计算设备可以集成到机载计算机中,所述机载计算机用于操作车辆或集成到车辆500中的信息娱乐***。
基于由摄像头115捕获的数据,计算设备中的面部识别应用确定有多少乘客在车辆500中以及这些乘客在2D或3D空间中处于的位置。在图5A中,计算设备确定只有位于位置510的一名乘客(即,驾驶员)在车辆500中。作为响应,计算设备中的致动器控制器识别用于定向扬声器505的点或区域。
在一个方面,点或区域对于扬声器505A和扬声器505B可能是相同的——例如,两个扬声器均指向同一个3D点。或者,计算设备可以计算扬声器505的不同的点或区域。例如,扬声器505A可以指向驾驶员的左耳,而扬声器505B指向驾驶员的右耳。这样做允许音频***在扬声器505上输出不同的声音,或使用环绕声来为驾驶员提供更身临其境的体验。然而,如果为两个扬声器505输出的声音是相同的,则更优的布置可能是将两个扬声器505定向在用户前面的公共点。由于驾驶员与两个扬声器之间的不同的距离,如果扬声器505A被定向到驾驶员的左耳,而扬声器505B被定向到驾驶员的右耳,则驾驶员可能会听到不同的声级,这可能是不愉快的。当然,在一个示例中,计算设备可能通过在使每个扬声器瞄准不同的耳朵时增加扬声器505B的音频输出(或减小扬声器505A的输出)来补偿这个距离差。无论如何,通过跟踪用户的位置510,音频***能够调节扬声器505以优化音频演示。
在图5B中,计算设备确定有两名乘客在车辆500中——一名乘客在位置510而另一名乘客在位置515。为了识别乘客,摄像头115被定位成驾驶员的座椅和前右乘客的座椅均在其视图内。面部识别应用扫描由摄像头115产生的图像数据以识别乘客在车辆500中的位置。因为在这个示例中有两名乘客而不是如图5A中所示只有一名乘客,所以音频***可以不同方式调节扬声器。例如,计算设备可以将扬声器505A调节成面向驾驶员,而扬声器505B被调节成面向乘客。在一个实施方案中,扬声器505A可以面向驾驶员的脸部的中央位置(诸如她的鼻子),使得在驾驶员的耳朵中同样地听到扬声器505A的音频输出。类似地,扬声器505B可以被调节成面向在位置515处的乘客的脸部的中央位置,使得在她的两个耳朵中同样地听到其输出。然而,另一种优化的解决方案可以是使扬声器505A和505B直接面向驾驶员或乘客的一个耳朵。所使用的特定解决方案可以根据用户的偏好、所使用的扬声器的类型、车辆500的特定音响效果等而变化。
图5A和图5B图示计算设备改变如何基于车辆中的乘客的数量调节扬声器。更一般地说,用于改进音频***的性能的特定技术可以基于有多少用户在摄像头115的视图中而改变。例如,音频***可以是根据存在于房间中的用户的数量使用不同的扬声器布置的家庭娱乐***,而不是车辆。
除了考虑用户的位置和/或识别的用户的数量之外,计算设备可以根据指定的用户偏好优化***的性能。例如,除了识别用户的脸部的位置之外,面部识别应用可以基于她的面部特征识别用户的名称。一旦用户被识别,计算设备可以查找与用户相关联的偏好。例如,用户A可能比用户B更喜欢更多的低音和更少的高音。或者,用户A可能更喜欢立体声,而用户B更喜欢环绕声。计算设备可以在优化性能时考虑这些偏好。例如,当用户A是驾驶员时,计算设备可以改变扬声器505的低音到高音比。在一个方面,***可以对由扬声器505输出的音频进行其他电气变化,诸如修改如何处理音频信号——例如,改变均衡、延迟等。
尽管将车辆500图示为汽车,但是本文所描述的实施方案可以施加到其他类型的车辆,诸如船、摩托车、飞机等。此外,车辆500可以包括用于识别和优化音频***的性能的任何数量的扬声器或摄像头。
图6A和图6B图示基于车辆600中的乘客的数量调节扬声器布置。如由图6A和图6B的顶视图中所示,车辆600包括摄像头115A和115B以及四个扬声器605。扬声器605A和605B安装在车辆600的前面,而扬声器605C和605D安装在车辆600的后面。为了清楚起见,用于移动扬声器605的致动器,以及用于处理由摄像头115捕获的数据并且确定致动器的控制信号的计算设备已被省略。在一个实施方案中,计算设备可以集成到机载计算机中,所述机载计算机用于操作车辆或集成到车辆600中的信息娱乐***。
基于由摄像头115A和115B捕获的数据,计算设备中的面部识别应用确定有多少乘客在车辆600中以及这些乘客在2D或3D空间中处于的位置。为此,摄像头115A位于车辆600的前面,而摄像头115B安装在车辆600的后面。两个摄像头可能是需要的,因为车辆600的后面相对于摄像头115A的视图可能被两个前排座椅遮挡。然而,在其他实施方案中,车辆600可以只使用一个摄像头115以便识别在车辆600的前面和后面的乘客。
在图6A中,计算设备确定只有一名位于位置610(即,驾驶员的座椅)的乘客在车辆600中。即,基于由后置摄像头115B提供的图像数据,面部识别应用确定在车辆600的后排座椅中没有乘客,而由前置摄像头115A提供的图像数据指示驾驶员在位置610。作为响应,计算设备识别用以引导扬声器605的点或区域以优化音频***的性能。在一个实施方案中,四个扬声器605都指向与位置610相关联的同一个3D点。例如,计算设备可以计算相对于用户的中央位置并且产生相应的致动器信号,使得四个扬声器605导向在这个位置。或者,右边的两个扬声器(扬声器605B和605D)可以面向驾驶员的右耳,而左边的两个扬声器(扬声器605A和605C)面向驾驶员的左耳。或者,计算设备可以布置扬声器605以便为驾驶员提供环绕声体验,在这种情况下,扬声器605可以都导向到不同的3D点或区域。
如上所述,计算设备可以通过使用面部识别应用唯一地识别用户来优化音频***。例如,计算设备可以使用面部识别应用考虑用户偏好,诸如用户是否更喜欢更多的低音或更多的高音,并且改变这些音频参数来匹配用户偏好。在一个示例中,计算设备包括I/O接口,其中用户可以为计算设备输入偏好来考虑。或者,计算设备可以耦合到车辆600中的信息娱乐***,其与计算设备共享用户的偏好来改变音频或视频参数。替代地或另外,计算设备可以使用历史信息来了解用户的偏好。例如,当用户A是车上唯一的乘客时,最初计算设备可以将所有四个扬声器605导向在中央位置。使用I/O接口,用户A可以代替地指示计算,当她是唯一的乘客时她更喜欢环绕声。以这种方式,计算设备可以了解和调节特定用户或用户组的音频/视频参数或其他参数(例如,座椅或方向盘调节)。
在图6B中,计算设备确定在车辆600中有坐在位置610、615、620和625的多名乘客。对于在位置620和625的后排乘客,计算设备将右边的后置扬声器605D调节成面向位置625,并且将左边的后置扬声器605C调节成面向位置620。扬声器605C和605D可以指向在这些位置的乘客的一个耳朵。相比之下,对于在位置610和615的前排乘客,计算设备调节右边的前置扬声器605B和左边的前置扬声器605A以指向位置610与位置615之间的位置630。为此,计算设备可以对位置610和615的坐标求平均值以识别位置630。因此,图6B图示在车辆600的前半部的扬声器605的最佳布置可能不同于在车辆600的后半部的扬声器605的最佳布置。换句话说,为了为车辆600中的用户提供最佳性能,计算设备可以根据车辆600中的用户的不同的位置使用不同的扬声器布置。例如,不同的位置可以具有不同的声学性质,因此即使同一用户移动到不同的位置,计算设备仍然可以使用不同的扬声器布置来提供改进的性能。例如,如果用户A在驾驶员的座椅中,则计算设备可以将扬声器605A调节成直接指向用户的耳朵。然而,如果用户A在车辆的后面,则计算设备可以指示扬声器605C指向在用户的头部的背面的中央位置。
本文所描述的不同的示例、实施方案和方面讨论调节扬声器布置以优化一个或多个用户的音频体验。使用“最佳”并不旨在意指扬声器布置必须是最佳的布置,而是相对于其中扬声器保持固定的扬声器布置,最佳或优化的布置改进了用户的体验。换句话说,本文所描述的示例通过使用致动器来改变扬声器所面向的方向并且适应一个或多个用户的当前位置来改进收听体验。
图7是用于识别路径715以基于面部识别引导可变向扬声器105的***700。在一些情况下,可能需要创建沿着路径模拟对象的运动的声音体验。为此,***700包括用户701、摄像头115、面部识别应用225、致动器控制器230和扬声器105。摄像头115捕获包括用户701的图像数据,接着将图像数据传输到面部识别应用225。应用225使用面部识别算法来识别边界框705,边界框705限定用户的脸部在3D或2D空间中的位置。当然,其他面部识别算法可以使用不同于边界框705的方法来识别用户的脸部。
面部识别应用225将边界框705的坐标传输到致动器控制器230。在这个示例中,致动器控制器230确定路径715,而不是使用坐标识别指向扬声器105的点或区域。通过指示扬声器105的音频输出遵循路径715,扬声器105可以被用来模拟从正在移动的源(例如,在用户701上方飞行的鸟或飞机或跑过用户701的人)发出的声音。在一个方面,响应于从音频***接收用于模拟从移动源发出的声音的命令,致动器控制器230可以确定路径715。例如,致动器控制器230可以等待确定路径715,直到音频控制器(例如,电影或视频游戏控制器)将用于确定特定声音的路径715的指令发送到致动器控制器230。在一个示例中,音频控制器和致动器控制器230可以是同步的,使得当控制器230移动扬声器105来跟踪路径715时,音频控制器输出对应于移动源的声音。例如,当扬声器105的输出区域710沿着路径715移动时,扬声器105输出鸟鸣叫的声音。
为了确定路径715,音频控制器可以向致动器控制器230通知音频输出应模拟的声音或运动的类型。尽管图7中的路径715是线性的,但是在其他示例中,路径715可以具有一个或多个曲线、环线等。例如,路径715可以模拟围绕用户701的头部盘旋的鸟或围绕用户的耳朵嗡嗡叫的蚊子。因此,根据这个信息,致动器控制器230使用边界框705的坐标来识别路径715。在所示示例中,致动器控制器230可以使用第一预定义的偏移来识别在3D空间中的第一点(其是边界框705的最左上角的左边),并且使用第二预定义的偏移来识别在3D空间中的第二点(其是边界框705的最右上角的右边)。接着致动器控制器230通过绘制第一点与第二点之间的线来产生路径715。
致动器控制器230可以根据要使用扬声器105模拟的声音以不同方式计算路径715。例如,对于围绕用户701的耳朵嗡嗡叫的蚊子,致动器控制器230可以使用边界框705的坐标估计耳朵的位置,并且使用随机数生成器来确定接近用户的耳朵的随机路径。或者,对于在头顶盘旋的鸟,致动器控制器230可以使用预定义的垂直偏移来识别在用户701的头部上方的点。接着致动器控制器230计算在用户701上方的点为中心的圆以用作路径715。以这种方式,致动器控制器230可以被配置成使用用于计算路径715的不同的技术来模拟声音的不同的移动源。
***700可以用于音频/视频演示,诸如电影、电视节目、视频游戏等。例如,***700可以安装在剧场中以识别一个或多个用户的位置,并且将定制的音频体验提供给每个用户或用户组。在一个示例中,***700包括多个扬声器105(例如,针对剧场中的每个用户的扬声器),其使用相应的致动器来沿着不同的个别路径715移动扬声器105的相应的输出区域710。或者,多个扬声器105可以被用来模拟在用户701附近的不同的声源。一个扬声器105可以遵循模拟在用户701上方飞行的鸟的路径,而不同的扬声器105遵循模拟呼啸经过用户701的抛射体(例如,子弹或箭)的路径。***700还可以用于音频演示,其中没有相应的视频演示。例如,***700可以用于动画/木偶表演或在现场演员的舞台演出期间用于为用户701提供更逼真的环境。
各种实施方案的描述已为了说明的目的被呈现,但不旨在是详尽的或限于所公开的实施方案。在不脱离所描述实施方案的范围和精神的情况下,许多修改和变化对于本领域普通技术人员将是明显的。本文所用的术语被选择以最好地解释实施方案的原理、实际应用或优于在市场上发现的技术的技术改进,或使其他本领域普通技术人员能够理解本文所公开的实施方案。
在前述内容中,参考在本公开中提出的实施方案。然而,本公开的范围不限于具体描述的实施方案。相反,前述特征和元件的任何组合,无论是否涉及不同的实施方案,预期实施和实践预期的实施方案。此外,尽管本文所公开的实施方案可以实现优于其他可能的解决方案或现有技术的优点,但是是否特定优点是通过给定实施方案来实现不限制本公开的范围。因此,前述方面、特征、实施方案和优点仅仅是说明性的,并且除非在权利要求书中明确叙述,否则不被认为是所附权利要求书的要素或限制。
本公开的方面可以采取以下形式:完全硬件实施方案、完全软件实施方案(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施方案(其一般都可以在本文中被称为“电路”、“模块”或“***”)。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括一个或多个计算机可读存储介质,其上具有用于致使处理器执行本公开的各方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如(但不限于)电子存储设备、磁存储设备、光学存储设备、电磁存储设备、半导体存储设备或上述任何合适的组合。计算机可读存储介质的更具体的示例的非详尽清单包括以下各项:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式压缩光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、存储棒、软盘、机械编码设备(诸如具有在上面记录的指令的穿孔卡片或槽中的凸起结构),以及前述任何合适的组合。如本文所用的计算机可读存储介质本身不被视为暂时性信号,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,穿过光纤电缆的光脉冲),或通过导线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质被下载到相应的计算/处理设备,或经由网络(例如,互联网、局域网、广域网和/或无线网络)被下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网间连接计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令,并且转发计算机可读程序指令以用于存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行本公开的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据,或以一个或多个编程语言的任何组合写入的源代码或目标代码,这些编程语言包括面向对象编程语言(诸如Smalltalk、C++等)和常规的程序化编程语言(诸如“C”编程语言或类似的编程语言)。计算机可读程序指令可以完全执行在用户的计算机上、作为独立软件包部分执行在用户的计算机上、部分执行在用户的计算机上并且部分执行在远程计算机上,或完全执行在远程计算机或服务器上。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或可以对外部计算机进行连接(例如,使用互联网服务提供商通过互联网)。在一些实施方案中,包括例如可编程逻辑电路***、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路***可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路***,以便执行本公开的各方面。
本文参照根据本公开的实施方案的方法、装置(***)和计算机程序产品的流程图和/或方框图来描述本公开的各方面。将理解,流程图和/或方框图的每个方框,以及流程图和/或方框图中的方框的组合可以由计算机可读程序指令来实施。
可以将这些计算机可读程序指令提供给通用计算机、专用计算机的处理器,或其他可编程数据处理装置以产生机器,使得经由计算机的处理器或其他可编程数据处理装置执行的指令,创建用于实施在流程图和/或方框图的一个或多个方框中指定的功能/动作的方法。这些计算机可读程序指令也可以存储在可以指导计算机、可编程数据处理装置,和/或以特定方式起作用的其他设备的计算机可读存储介质中,使得具有存储在其中的指令的计算机可读存储介质包括制品,其包括实施在流程图和/或方框图的一个或多个方框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上,以致使在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实施过程,使得执行在计算机、其他可编程装置或其他设备上执行的指令实施在流程图和/或方框图的一个或多个方框中指定的功能/动作。
图中的流程图和方框图图示根据本公开的各种实施方案的***、方法和计算机程序产品的可能的实施方式的架构、功能性和操作。在这方面,流程图或方框图中的每个方框可以表示指令的模块、区段或部分,所述指令包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中,在方框中所述的功能可能不按图中所述的顺序发生。例如,根据所涉及的功能性,连续示出的两个方框实际上可能被大体上同时执行,或方框有时可能以相反的顺序被执行。也应注意,方框图和/或流程图的每个方框,以及方框图和/或流程图中的方框的组合,可以由专用的基于硬件的***来实施,这些***执行指定的功能/动作或执行专用硬件和计算机指令的组合。
尽管前述内容是针对本公开的实施方案,但是在不脱离本公开的基本范围的情况下,可以设计本公开的其他和另外的实施方案,并且其范围由以下权利要求书来确定。
Claims (15)
1.一种方法,其包括:
基于由一个或多个摄像头捕获的图像数据接收用户的位置;
基于所述用户的所述位置在空间中识别一个或多个坐标;以及
基于所述一个或多个坐标,使用一个或多个计算机处理器产生控制信号,所述控制信号调节耦合到扬声器的至少一个致动器以改变所述扬声器的定向,以便相对于所述一个或多个坐标实现所需的声学环境,并且其中所述一个或多个摄像头的定向在空间中保持固定,而所述扬声器的所述定向被改变。
2.根据权利要求1所述的方法,其中所述用户的所述位置识别在二维或三维空间之一中的所述用户的脸部,所述方法还包括:
使用识别出的所述用户的脸部来识别与所述用户相关联的用户偏好;以及
基于所述用户偏好改变所述用户位于其中的车辆的参数。
3.根据权利要求1所述的方法,其中所述用户的所述位置包括基于与所述用户和所述一个或多个摄像头的距离的深度测量。
4.根据权利要求1所述的方法,其中产生控制信号还包括:
使用预定义函数将所述一个或多个坐标变换成所述控制信号。
5.根据权利要求4所述的方法,其中所述控制信号被配置成调节所述扬声器,使得所述扬声器面向所述一个或多个坐标。
6.根据权利要求1所述的方法,其中所述一个或多个坐标定义三维空间中的路径,并且其中所述控制信号被配置成调节所述致动器,使得所述区域的音频输出遵循所述路径。
7.根据权利要求1所述的方法,其还包括:
基于由所述一个或多个摄像头捕获的图像数据接收对应于多个用户的多个位置;
基于所述多个位置产生多个致动器的多个控制信号,所述致动器中的每个被配置成调节多个扬声器中的相应的一个。
8.根据权利要求7所述的方法,其中所述多个扬声器位于车辆中,其中所述多个位置识别所述多个用户在所述车辆中的相应的位置。
9.一种***,其包括:
可变向扬声器;
致动器,其机械耦合到所述可变向扬声器;以及
计算设备,其被配置成:
基于由一个或多个摄像头捕获的图像数据接收用户的位置;
基于所述用户的所述位置识别一个或多个空间坐标;以及
基于所述一个或多个坐标,产生被配置成调节所述致动器的控制信号,所述致动器被耦合以改变所述可变向扬声器的定向以便相对于所述一个或多个坐标实现所需的声学环境,并且其中所述一个或多个摄像头的定向在空间中保持固定,而所述可变向扬声器的所述定向被改变。
10.根据权利要求9所述的***,其中所述用户的所述位置识别在二维或三维空间之一中的所述用户的脸部。
11.根据权利要求9所述的***,其中所述可变向扬声器安装在容纳所述用户的车辆中。
12.根据权利要求9所述的***,其还包括机械耦合到所述可变向扬声器的至少两个致动器,其中所述计算设备被配置成确定所述至少两个致动器的相应的控制信号,使得所述可变向扬声器的音频输出区域包括所述一个或多个坐标。
13.根据权利要求12所述的***,其中所述相应的控制信号被配置成调节所述可变向扬声器,使得所述可移动扬声器面向所述一个或多个坐标。
14.根据权利要求9所述的***,其中所述一个或多个坐标对应于所述用户的身体部分在空间中的估计位置。
15.根据权利要求9所述的***,其还包括多个致动器和多个扬声器,其中所述计算设备被配置成:
基于由所述一个或多个摄像头捕获的图像数据接收对应于多个用户的多个位置;
基于所述多个位置产生所述多个致动器的多个控制信号,所述致动器中的每个被配置成调节所述多个扬声器中的相应的一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/563,599 US9544679B2 (en) | 2014-12-08 | 2014-12-08 | Adjusting speakers using facial recognition |
US14/563,599 | 2014-12-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105681968A true CN105681968A (zh) | 2016-06-15 |
CN105681968B CN105681968B (zh) | 2021-09-28 |
Family
ID=54754520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510888189.7A Active CN105681968B (zh) | 2014-12-08 | 2015-12-07 | 使用面部识别调节扬声器 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9544679B2 (zh) |
EP (1) | EP3032847B1 (zh) |
JP (1) | JP6829541B2 (zh) |
CN (1) | CN105681968B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108271098A (zh) * | 2018-02-06 | 2018-07-10 | 深圳市歌美迪电子技术发展有限公司 | 音响机构以及音响*** |
CN109119060A (zh) * | 2018-08-09 | 2019-01-01 | 广州小鹏汽车科技有限公司 | 一种应用于汽车的有源降噪方法及*** |
CN109640221A (zh) * | 2019-01-18 | 2019-04-16 | 云谷(固安)科技有限公司 | 一种智能音箱及其控制方法 |
CN110072172A (zh) * | 2019-04-25 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种音频信号的输出方法和装置 |
CN110383855A (zh) * | 2016-01-07 | 2019-10-25 | 诺威托***有限公司 | 音频通信***和方法 |
CN110636413A (zh) * | 2018-06-22 | 2019-12-31 | 长城汽车股份有限公司 | 调节车载音响音效的***和方法以及车辆 |
CN110798775A (zh) * | 2018-08-02 | 2020-02-14 | 长城汽车股份有限公司 | 车辆的扬声器角度调节方法、***及车辆 |
CN111252006A (zh) * | 2018-11-30 | 2020-06-09 | 长城汽车股份有限公司 | 中置扬声器的指向性调整方法及装置 |
CN111277931A (zh) * | 2020-01-20 | 2020-06-12 | 东风汽车集团有限公司 | 可实现汽车隐私通话功能的装置 |
CN111782045A (zh) * | 2020-06-30 | 2020-10-16 | 歌尔科技有限公司 | 一种设备角度调节方法、装置、智能音箱及存储介质 |
CN112078498A (zh) * | 2020-09-11 | 2020-12-15 | 广州小鹏汽车科技有限公司 | 一种车辆智能座舱的声音输出控制方法和智能座舱 |
US10952008B2 (en) | 2017-01-05 | 2021-03-16 | Noveto Systems Ltd. | Audio communication system and method |
CN112956211A (zh) * | 2019-07-24 | 2021-06-11 | 谷歌有限责任公司 | 双面板音频致动器以及包括其的移动设备 |
CN113574912A (zh) * | 2019-03-22 | 2021-10-29 | 索尼集团公司 | 声信号处理装置、声信号处理***、声信号处理方法和程序 |
US11388541B2 (en) | 2016-01-07 | 2022-07-12 | Noveto Systems Ltd. | Audio communication system and method |
CN114846821A (zh) * | 2019-12-18 | 2022-08-02 | 杜比实验室特许公司 | 音频设备自动定位 |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10126823B2 (en) * | 2014-01-03 | 2018-11-13 | Harman International Industries, Incorporated | In-vehicle gesture interactive spatial audio system |
US20170164099A1 (en) * | 2015-12-08 | 2017-06-08 | Sony Corporation | Gimbal-mounted ultrasonic speaker for audio spatial effect |
US9924291B2 (en) | 2016-02-16 | 2018-03-20 | Sony Corporation | Distributed wireless speaker system |
US9992580B2 (en) | 2016-03-04 | 2018-06-05 | Avaya Inc. | Signal to noise ratio using decentralized dynamic laser microphones |
CN106162447A (zh) * | 2016-06-24 | 2016-11-23 | 维沃移动通信有限公司 | 一种音频播放的方法和终端 |
KR101793019B1 (ko) * | 2016-07-05 | 2017-11-06 | 문조영 | 음향 전송 장치 |
DE102017100628A1 (de) * | 2017-01-13 | 2018-07-19 | Visteon Global Technologies, Inc. | System und Verfahren zum Bereitstellen einer personenbezogenen Audiowiedergabe |
US11096004B2 (en) | 2017-01-23 | 2021-08-17 | Nokia Technologies Oy | Spatial audio rendering point extension |
US11243293B2 (en) | 2017-02-07 | 2022-02-08 | Samsung Electronics Company, Ltd. | Radar-based system for sensing touch and in-the-air interactions |
US10531219B2 (en) | 2017-03-20 | 2020-01-07 | Nokia Technologies Oy | Smooth rendering of overlapping audio-object interactions |
US10397724B2 (en) | 2017-03-27 | 2019-08-27 | Samsung Electronics Co., Ltd. | Modifying an apparent elevation of a sound source utilizing second-order filter sections |
US11074036B2 (en) | 2017-05-05 | 2021-07-27 | Nokia Technologies Oy | Metadata-free audio-object interactions |
US10165386B2 (en) | 2017-05-16 | 2018-12-25 | Nokia Technologies Oy | VR audio superzoom |
DE112017007713T5 (de) * | 2017-07-31 | 2020-03-19 | Ford Global Technologies, Llc | Systeme und Verfahren zur Fahrzeugbelegungsverwaltung |
US11395087B2 (en) | 2017-09-29 | 2022-07-19 | Nokia Technologies Oy | Level-based audio-object interactions |
US11465631B2 (en) * | 2017-12-08 | 2022-10-11 | Tesla, Inc. | Personalization system and method for a vehicle based on spatial locations of occupants' body portions |
US10306394B1 (en) | 2017-12-29 | 2019-05-28 | Samsung Electronics Co., Ltd. | Method of managing a plurality of devices |
US10225656B1 (en) * | 2018-01-17 | 2019-03-05 | Harman International Industries, Incorporated | Mobile speaker system for virtual reality environments |
CN110278469A (zh) * | 2018-03-16 | 2019-09-24 | 上海博泰悦臻电子设备制造有限公司 | 多媒体播放方法、播放控制***、存储介质及车载终端 |
US10542368B2 (en) | 2018-03-27 | 2020-01-21 | Nokia Technologies Oy | Audio content modification for playback audio |
US10616684B2 (en) | 2018-05-15 | 2020-04-07 | Sony Corporation | Environmental sensing for a unique portable speaker listening experience |
JP6998831B2 (ja) * | 2018-05-22 | 2022-01-18 | 三菱電機株式会社 | 角度制御装置、及び、角度制御プログラム |
DE102018209962A1 (de) * | 2018-06-20 | 2019-12-24 | Faurecia Innenraum Systeme Gmbh | Privataudiosystem für ein 3D-artiges Hörerlebnis bei Fahrzeuginsassen und ein Verfahren zu dessen Erzeugung |
WO2020033595A1 (en) | 2018-08-07 | 2020-02-13 | Pangissimo, LLC | Modular speaker system |
WO2020030304A1 (en) | 2018-08-09 | 2020-02-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An audio processor and a method considering acoustic obstacles and providing loudspeaker signals |
US10567871B1 (en) * | 2018-09-06 | 2020-02-18 | Sony Corporation | Automatically movable speaker to track listener or optimize sound performance |
US10682931B2 (en) | 2018-09-07 | 2020-06-16 | Toyota Motor Engineering & Manufactuing North America, Inc. | On-demand furniture |
US11548261B2 (en) | 2018-10-24 | 2023-01-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Structure with selectively variable stiffness |
US11067200B2 (en) | 2018-10-24 | 2021-07-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Self-healing microvalve |
US11081975B2 (en) | 2018-10-25 | 2021-08-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Somersaulting motion of soft bodied structure |
US10946535B2 (en) | 2018-10-25 | 2021-03-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Earthworm-like motion of soft bodied structure |
US11088635B2 (en) | 2018-10-25 | 2021-08-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Actuator with sealable edge region |
US11041576B2 (en) | 2018-10-25 | 2021-06-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Actuator with static activated position |
KR102675289B1 (ko) | 2018-10-29 | 2024-06-17 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
CN109151659B (zh) * | 2018-10-29 | 2020-06-05 | 歌尔科技有限公司 | 一种音频设备定向发声方法、装置和音频设备 |
US11599329B2 (en) | 2018-10-30 | 2023-03-07 | Sony Corporation | Capacitive environmental sensing for a unique portable speaker listening experience |
US11498270B2 (en) | 2018-11-21 | 2022-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Programmable matter |
CN111566660A (zh) * | 2018-11-28 | 2020-08-21 | 北京嘀嘀无限科技发展有限公司 | 用于检测车辆中的人数的***和方法 |
US11195506B2 (en) | 2018-12-03 | 2021-12-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Sound-modulating windows |
US10859101B2 (en) | 2018-12-10 | 2020-12-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Soft-bodied actuator with pinched configuration |
CN111327990B (zh) * | 2018-12-13 | 2022-04-26 | 宝马股份公司 | 控制多路音频播放的方法、装置、***、车辆及存储介质 |
US10640033B1 (en) | 2018-12-18 | 2020-05-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adjusting vehicle headlights |
US10682903B1 (en) | 2018-12-18 | 2020-06-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Active seals for vehicles |
US10631083B1 (en) * | 2018-12-18 | 2020-04-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adjusting vehicle speakers |
US11066016B2 (en) | 2018-12-18 | 2021-07-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adjusting vehicle mirrors |
US11479308B2 (en) | 2019-01-09 | 2022-10-25 | Toyota Motor Engineering & Manufacturing North America, Inc. | Active vehicle interface for crosswind management |
US11192469B2 (en) | 2019-01-30 | 2021-12-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle seat with morphing bolsters |
EP4005233A1 (en) | 2019-07-30 | 2022-06-01 | Dolby Laboratories Licensing Corporation | Adaptable spatial audio playback |
US11968268B2 (en) | 2019-07-30 | 2024-04-23 | Dolby Laboratories Licensing Corporation | Coordination of audio devices |
JP6767664B1 (ja) * | 2019-10-28 | 2020-10-14 | 富士通クライアントコンピューティング株式会社 | 情報処理システム、情報処理装置およびプログラム |
FR3105549B1 (fr) * | 2019-12-24 | 2022-01-07 | Parrot Faurecia Automotive Sas | Procédé et système audio d’appui-tête de siège |
US11443737B2 (en) | 2020-01-14 | 2022-09-13 | Sony Corporation | Audio video translation into multiple languages for respective listeners |
WO2021157614A1 (ja) * | 2020-02-05 | 2021-08-12 | 豊通ケミプラス株式会社 | 騒音低減装置および騒音低減方法 |
US11343602B2 (en) | 2020-02-21 | 2022-05-24 | Harman International Industries, Incorporated | Passive auto-orienting loudspeaker assembly |
JP7013515B2 (ja) * | 2020-03-31 | 2022-01-31 | 本田技研工業株式会社 | 車両 |
JP7013513B2 (ja) | 2020-03-31 | 2022-01-31 | 本田技研工業株式会社 | 車両 |
JP7518706B2 (ja) | 2020-09-09 | 2024-07-18 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載器制御システム、車載器及び車載器制御方法 |
CN112863473A (zh) * | 2021-01-08 | 2021-05-28 | 中国人民解放军63919部队 | 一种基于耳廓特征位置自动辨识跟踪的主动降噪装置 |
CN113504890A (zh) * | 2021-07-14 | 2021-10-15 | 炬佑智能科技(苏州)有限公司 | 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 |
CN113852892B (zh) * | 2021-09-07 | 2023-02-28 | 歌尔科技有限公司 | 音频***及其控制方法、装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1618662A (zh) * | 2003-11-18 | 2005-05-25 | 现代自动车株式会社 | 通过控制扬声器角度来改进车内扬声器音质的方法 |
CN1656503A (zh) * | 2002-04-05 | 2005-08-17 | 伊登蒂克斯公司 | 基于视觉的操作方法和*** |
CN1774871A (zh) * | 2003-04-15 | 2006-05-17 | 专利创投公司 | 定向扬声器 |
CN201063840Y (zh) * | 2007-06-06 | 2008-05-21 | 深圳Tcl新技术有限公司 | 一种扬声器装置 |
EP2061279A2 (en) * | 2007-11-14 | 2009-05-20 | Yamaha Corporation | Virtual sound source localization apparatus |
CN101491118A (zh) * | 2006-07-14 | 2009-07-22 | 松下电器产业株式会社 | 扬声器*** |
US20100027832A1 (en) * | 2008-08-04 | 2010-02-04 | Seiko Epson Corporation | Audio output control device, audio output control method, and program |
CN101662720A (zh) * | 2008-08-26 | 2010-03-03 | 索尼株式会社 | 声音处理装置、声像定位位置调节方法及视频处理装置 |
CN101673346A (zh) * | 2008-09-09 | 2010-03-17 | 日电(中国)有限公司 | 对图像进行处理的方法、设备和*** |
CN103400106A (zh) * | 2012-06-22 | 2013-11-20 | 微软公司 | 用基于深度的跟踪来生成和更新数据库的自学习面部识别 |
CN104136299A (zh) * | 2011-12-29 | 2014-11-05 | 英特尔公司 | 用于在车内对声音进行导向的***、方法以及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8531952D0 (en) | 1985-12-31 | 1986-02-05 | Sar Plc | Stereo balance adjuster |
JP2983837B2 (ja) | 1994-05-10 | 1999-11-29 | 三菱電機株式会社 | 計算機システム |
JPH0823599A (ja) * | 1994-07-05 | 1996-01-23 | Roland Corp | 音響再生装置 |
WO2002041664A2 (en) | 2000-11-16 | 2002-05-23 | Koninklijke Philips Electronics N.V. | Automatically adjusting audio system |
JP4130900B2 (ja) | 2003-03-28 | 2008-08-06 | 株式会社ノーリツ | 給湯装置およびその操作装置 |
JP2005176221A (ja) * | 2003-12-15 | 2005-06-30 | Mitsubishi Electric Engineering Co Ltd | 音響システム |
US20070183618A1 (en) | 2004-02-10 | 2007-08-09 | Masamitsu Ishii | Moving object equipped with ultra-directional speaker |
US20060140420A1 (en) * | 2004-12-23 | 2006-06-29 | Akihiro Machida | Eye-based control of directed sound generation |
DE102005031338A1 (de) * | 2005-07-05 | 2007-01-11 | Robert Bosch Gmbh | Fahrzeugsystem |
ATE546958T1 (de) * | 2006-03-31 | 2012-03-15 | Koninkl Philips Electronics Nv | Vorrichtung und verfahren zur datenverarbeitung |
JP4561703B2 (ja) * | 2006-07-06 | 2010-10-13 | 株式会社デンソー | 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム |
JP5137200B2 (ja) | 2008-08-26 | 2013-02-06 | 日本電信電話株式会社 | ハイパーテキスト転送プロトコルネットワークおよびデータ転送方法 |
US20120281128A1 (en) | 2011-05-05 | 2012-11-08 | Sony Corporation | Tailoring audio video output for viewer position and needs |
JP5163796B1 (ja) * | 2011-09-22 | 2013-03-13 | パナソニック株式会社 | 音響再生装置 |
JP5488732B1 (ja) * | 2013-03-05 | 2014-05-14 | パナソニック株式会社 | 音響再生装置 |
US20150078595A1 (en) * | 2013-09-13 | 2015-03-19 | Sony Corporation | Audio accessibility |
US20160098040A1 (en) | 2014-10-02 | 2016-04-07 | Harman International Industries, Inc. | Mount for media content presentation device |
-
2014
- 2014-12-08 US US14/563,599 patent/US9544679B2/en active Active
-
2015
- 2015-11-19 JP JP2015226572A patent/JP6829541B2/ja active Active
- 2015-11-30 EP EP15197018.3A patent/EP3032847B1/en active Active
- 2015-12-07 CN CN201510888189.7A patent/CN105681968B/zh active Active
-
2017
- 2017-01-10 US US15/403,142 patent/US9866951B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1656503A (zh) * | 2002-04-05 | 2005-08-17 | 伊登蒂克斯公司 | 基于视觉的操作方法和*** |
CN1774871A (zh) * | 2003-04-15 | 2006-05-17 | 专利创投公司 | 定向扬声器 |
CN1618662A (zh) * | 2003-11-18 | 2005-05-25 | 现代自动车株式会社 | 通过控制扬声器角度来改进车内扬声器音质的方法 |
CN101491118A (zh) * | 2006-07-14 | 2009-07-22 | 松下电器产业株式会社 | 扬声器*** |
CN201063840Y (zh) * | 2007-06-06 | 2008-05-21 | 深圳Tcl新技术有限公司 | 一种扬声器装置 |
EP2061279A2 (en) * | 2007-11-14 | 2009-05-20 | Yamaha Corporation | Virtual sound source localization apparatus |
US20100027832A1 (en) * | 2008-08-04 | 2010-02-04 | Seiko Epson Corporation | Audio output control device, audio output control method, and program |
CN101662720A (zh) * | 2008-08-26 | 2010-03-03 | 索尼株式会社 | 声音处理装置、声像定位位置调节方法及视频处理装置 |
CN101673346A (zh) * | 2008-09-09 | 2010-03-17 | 日电(中国)有限公司 | 对图像进行处理的方法、设备和*** |
CN104136299A (zh) * | 2011-12-29 | 2014-11-05 | 英特尔公司 | 用于在车内对声音进行导向的***、方法以及装置 |
CN103400106A (zh) * | 2012-06-22 | 2013-11-20 | 微软公司 | 用基于深度的跟踪来生成和更新数据库的自学习面部识别 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11388541B2 (en) | 2016-01-07 | 2022-07-12 | Noveto Systems Ltd. | Audio communication system and method |
CN110383855A (zh) * | 2016-01-07 | 2019-10-25 | 诺威托***有限公司 | 音频通信***和方法 |
CN110383855B (zh) * | 2016-01-07 | 2021-07-16 | 诺威托***有限公司 | 音频通信***和方法 |
US10999676B2 (en) | 2016-01-07 | 2021-05-04 | Noveto Systems Ltd. | Audio communication system and method |
US10952008B2 (en) | 2017-01-05 | 2021-03-16 | Noveto Systems Ltd. | Audio communication system and method |
CN108271098A (zh) * | 2018-02-06 | 2018-07-10 | 深圳市歌美迪电子技术发展有限公司 | 音响机构以及音响*** |
CN110636413A (zh) * | 2018-06-22 | 2019-12-31 | 长城汽车股份有限公司 | 调节车载音响音效的***和方法以及车辆 |
CN110798775A (zh) * | 2018-08-02 | 2020-02-14 | 长城汽车股份有限公司 | 车辆的扬声器角度调节方法、***及车辆 |
CN109119060A (zh) * | 2018-08-09 | 2019-01-01 | 广州小鹏汽车科技有限公司 | 一种应用于汽车的有源降噪方法及*** |
CN111252006A (zh) * | 2018-11-30 | 2020-06-09 | 长城汽车股份有限公司 | 中置扬声器的指向性调整方法及装置 |
CN109640221A (zh) * | 2019-01-18 | 2019-04-16 | 云谷(固安)科技有限公司 | 一种智能音箱及其控制方法 |
CN113574912A (zh) * | 2019-03-22 | 2021-10-29 | 索尼集团公司 | 声信号处理装置、声信号处理***、声信号处理方法和程序 |
CN110072172A (zh) * | 2019-04-25 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种音频信号的输出方法和装置 |
CN112956211A (zh) * | 2019-07-24 | 2021-06-11 | 谷歌有限责任公司 | 双面板音频致动器以及包括其的移动设备 |
US11284212B2 (en) | 2019-07-24 | 2022-03-22 | Google Llc | Dual panel audio actuators and mobile devices including the same |
CN112956211B (zh) * | 2019-07-24 | 2022-07-12 | 谷歌有限责任公司 | 双面板音频致动器以及包括其的移动设备 |
CN114846821A (zh) * | 2019-12-18 | 2022-08-02 | 杜比实验室特许公司 | 音频设备自动定位 |
CN111277931A (zh) * | 2020-01-20 | 2020-06-12 | 东风汽车集团有限公司 | 可实现汽车隐私通话功能的装置 |
CN111782045A (zh) * | 2020-06-30 | 2020-10-16 | 歌尔科技有限公司 | 一种设备角度调节方法、装置、智能音箱及存储介质 |
CN112078498A (zh) * | 2020-09-11 | 2020-12-15 | 广州小鹏汽车科技有限公司 | 一种车辆智能座舱的声音输出控制方法和智能座舱 |
Also Published As
Publication number | Publication date |
---|---|
JP6829541B2 (ja) | 2021-02-10 |
CN105681968B (zh) | 2021-09-28 |
JP2016107978A (ja) | 2016-06-20 |
US9866951B2 (en) | 2018-01-09 |
EP3032847B1 (en) | 2020-01-01 |
EP3032847A2 (en) | 2016-06-15 |
US20160165337A1 (en) | 2016-06-09 |
EP3032847A3 (en) | 2016-06-29 |
US20170150252A1 (en) | 2017-05-25 |
US9544679B2 (en) | 2017-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105681968A (zh) | 使用面部识别调节扬声器 | |
US11617050B2 (en) | Systems and methods for sound source virtualization | |
US10088900B2 (en) | Information processing method and information processing system | |
US10068379B2 (en) | Automatic placement of augmented reality models | |
CN103472909B (zh) | 用于头戴式、增强现实显示器的逼真遮挡 | |
US10500496B2 (en) | Physical obstacle avoidance in a virtual reality environment | |
JP2023520463A (ja) | 最適視線弁別のためのアバタカスタマイズ | |
KR102586699B1 (ko) | 오디오 프로세싱 | |
WO2022105519A1 (zh) | 音效调整方法、装置、设备、存储介质及计算机程序产品 | |
US20190221035A1 (en) | Physical obstacle avoidance in a virtual reality environment | |
KR20210137473A (ko) | 홀로그래픽 콘텐츠를 포함한 비디오 통신 | |
US20130218542A1 (en) | Method and system for driving simulated virtual environments with real data | |
US10957103B2 (en) | Dynamic mapping of virtual and physical interactions | |
CN105764581A (zh) | 可变音频参数设置 | |
KR20210088736A (ko) | 환경 데이터를 사용한 오디오 증강 | |
EP3899857A1 (en) | Real-time route configuring of entertainment content | |
US11399143B2 (en) | Artificial intelligence display device | |
KR20210031796A (ko) | 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들 | |
JP2022169548A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020076867A1 (en) | Systems and methods for virtual and augmented reality | |
US11070933B1 (en) | Real-time acoustic simulation of edge diffraction | |
KR20210065099A (ko) | 정보 처리 장치, 정보 처리 방법, 프로그램, 및 정보 처리 시스템 | |
WO2021067183A1 (en) | Systems and methods for sound source virtualization | |
WO2019069743A1 (ja) | オーディオコントローラ、超音波スピーカ、及び、オーディオシステム | |
CN112771891B (zh) | 信息处理设备、信息处理方法、程序和信息处理*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |