CN103026734A - 生成带有可操控零位的波束成形的音频信号的电子装置 - Google Patents

生成带有可操控零位的波束成形的音频信号的电子装置 Download PDF

Info

Publication number
CN103026734A
CN103026734A CN2011800367157A CN201180036715A CN103026734A CN 103026734 A CN103026734 A CN 103026734A CN 2011800367157 A CN2011800367157 A CN 2011800367157A CN 201180036715 A CN201180036715 A CN 201180036715A CN 103026734 A CN103026734 A CN 103026734A
Authority
CN
China
Prior art keywords
zero
signal
bit
jiao
receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800367157A
Other languages
English (en)
Other versions
CN103026734B (zh
Inventor
罗伯特·楚雷克
凯文·巴什迪尔
约耳·克拉克
伊万诺夫·普拉门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google Technology Holdings LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN103026734A publication Critical patent/CN103026734A/zh
Application granted granted Critical
Publication of CN103026734B publication Critical patent/CN103026734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了电子装置(100),电子装置(100)具有沿着第一轴朝向相反方向的前侧和后侧,以及沿着与第一轴垂直的第二轴朝向相反方向的右侧和左侧。基于成像信号(585)来生成零位控制信号(565)。位于电子装置的右侧附近的第一受话器(530)生成第一信号,以及位于电子装置的左侧附近的第二受话器(520)生成第二信号。基于零位控制信号对第一和第二信号进行处理,以生成具有含有至少一个第一零位的第一定向模式的右波束成形的音频信号(552),以及具有含有至少一个第二零位的第二定向模式的左波束成形的音频信号(554)。基于零位控制信号来操控至少一个第一零位的第一角位置(α)和至少一个第二零位的第二角位置(β)。

Description

生成带有可操控零位的波束成形的音频信号的电子装置
技术领域
本发明总体上涉及电子设备,以及更特别地涉及具有选择性地获取立体空间音频信息的能力的电子设备。
背景技术
诸如摄像机的传统多媒体音频/视频记录设备通常将相对昂贵的定向受话器用于音频事件的立体声记录。这样的定向受话器相对于轴具有定向波束形成模式,并且可以改变或操控受话器的波束成形的朝向或定向性,使得波束形成指向或被定向朝向用户想要记录声音事件的特定方向。
尽管有在音频/视频记录设备中的这些发展,然而,可能不切实际的是,在包括音频和视频记录功能性的其他类型的便携式电子设备中实现定向受话器。这样的便携式电子设备的示例包括例如数字无线蜂窝电话和其他类型的无线通信设备、个人数字助理、数码相机、录像机等。
这些便携式电子设备包括可以用来获取和/或记录来自正被记录的一个或多个对象的音频信息的一个或多个受话器。在一些情况下,在设备的相对端上提供两个受话器(例如,位于设备的右侧和左侧附近),使得当设备用于音频/视频获取时,受话器被放置以记录一个或多个对象。
由于这样的设备的物理结构和相对小的尺寸,可以被包括在这样的设备中的受话器的数量可以是有限的。成本是可能使为了多媒体获取和/或记录的唯一目的将另外的受话器集成在这样的设备中不切实际的另一个约束条件。关于定向受话器这尤其如此,因为它们倾向于比全向受话器更昂贵和更难封装。另外,在这些类型的设备中的受话器必须服务于多个使用情况,诸如私人语音呼叫、扬声电话呼叫、环境噪音拾取、多媒体记录等。结果,设备制造商通常将实施不那么昂贵的全向受话器。简而言之,添加另外的受话器元件的空间和/或成本是权衡反对将多于两个受话器包括在设备中的因素。
同时,期望的是,提供可以与这样的便携式电子设备一起使用的立体声记录特征,使得操作者可以记录带有立体声特性的声音事件。
因此,存在提供具有使用位于便携式电子设备的不同端/侧处或附近的两个受话器来获取立体声音频信息的能力的便携式电子设备的机会。还期望的是,提供在这样的设备内的方法和***,以使得能够进行与被获取的视频帧一致的音频源的立体声获取或记录,而不管在那些音频源和设备之间的距离。此外,结合附图和前面技术领域及背景技术,根据随后具体实施方式和所附权利要求,本发明的其他期望的特征和特性将变得显而易见。
附图说明
当结合下面的附图考虑时通过参考具体实施方式和权利要求,可以得到对本发明的更完整的理解,其中在整个附图中相同的参考数字是指相同的元件。
图1A是按照公开的实施例的一个示例性实现的电子装置的前视立体图;
图1B是图1A的电子装置的后视立体图;
图2A是图1A的电子装置的前视图;
图2B是图1A的电子装置的后视图;
图3是按照公开的实施例中的一些的电子装置的受话器和摄影机配置的示意图;
图4是用于受话器输出信号的延迟和求和波束形成处理的示例性***的框图;
图5是按照公开的实施例中的一些的电子装置的音频处理***的框图;
图6是图示按照公开的实施例中的一些的一个实现方式的、关于电子装置和正获取的角视场的右波束成形的音频信号的示例性极坐标图和左波束成形的音频信号的示例性极坐标图的图;
图7是图示按照公开的实施例中的一些的另一个实现方式的、由电子装置生成的右波束成形的音频信号的示例性极坐标图和左波束成形的音频信号的示例性极坐标图的图;
图8A是按照公开的实施例中的一些的一个实现方式的、由音频处理***生成的朝向左侧定向的波束成形的信号的示例性极坐标图;
图8B是按照公开的实施例中的一些的一个实现方式的、由音频处理***生成的朝向右侧定向的波束成形的信号的示例性极坐标图;
图8C是按照公开的实施例中的一些的另一个实现方式的、由音频处理***生成的朝向右侧定向的波束成形的信号的示例性极坐标图;
图9A是按照公开的实施例中的一些的一个实现方式的、由音频处理***生成的朝向右侧定向的波束成形的音频信号和朝向左侧定向的波束成形的音频信号的示例性极坐标图;
图9B是按照公开的实施例中的一些的另一个实现方式的、由音频处理***生成的朝向右侧定向的波束成形的音频信号和朝向左侧定向的波束成形的音频信号的示例性极坐标图;
图9C是按照公开的实施例中的一些的又一个实现方式的、由音频处理***生成的朝向右侧定向的波束成形的音频信号和朝向左侧定向的波束成形的音频信号的示例性极坐标图;以及
图10是可以在公开的实施例的实现中使用的电子装置的框图。
具体实施方式
如在本文中所使用的,词语“示例性”意为“用作示例、实例或例证”。下面的详细描述本质上仅仅是示例性的,并且并不意在限制本发明或应用和对本发明的使用。在本文中描述为“示例性”的任何实施例不一定被解释为优于或优势超过其他实施例。在本具体实施方式中描述的所有实施例均是提供来使本领域技术人员能够制造或使用本发明的示例性实施例,并且并不限制由权利要求限定的本发明的范围。此外,没有受在前面的技术领域、背景技术或下面的详细描述中提供的任何明示或暗示理论约束的意图。
在详细描述按照本发明的实施例之前,应当观察到的是,实施例主要在于电子装置,该电子装置具有沿着第一轴朝向相反方向的前侧和后侧,以及沿着与第一轴垂直的第二轴朝向相反方向的右侧和左侧。该电子装置还包括位于电子装置的右侧附近、生成第一信号的第一受话器,以及位于电子装置的左侧附近、生成第二信号的第二受话器。另外,可以基于成像信号来生成零位控制信号。基于零位控制信号,对第一和第二信号进行处理来生成具有带有至少一个第一零位的第一定向模式的右波束成形的音频信号,以及具有带有至少一个第二零位的第二定向模式的左波束成形的音频信号。如在本文中所使用的,词语“零位”是指幅度接近于零的波束成形的部分。理论上,零位显出对从在零位的角位置入射的角方向发射出的声波不敏感。实际上,带有零敏感度的完美零位很少(难得)被实现,因此零位的替选定义将是“带有进入信号的显著(例如,12db)衰减的波束成形的最小部分或多个部分”。基于零位控制信号来操控至少一个第一零位的第一角位置(α)和至少一个第二零位的第二角位置(β)。如此,可以对受话器的输出进行处理来创建带有具有可操控零位的波束成形的反向、虚拟受话器。这种方式,第一和第二定向模式可以保持截然相反,但是其相应零位的角位置可以***控到期望的位置以供改进的立体声成像和/或对在电子装置的后侧处的音频源的消除。
在参考图3-10描述电子装置之前,将参考图1A-2B描述电子装置和操作环境的一个示例。图1A是按照公开的实施例的一个示例性实现方式的电子装置100的前视立体图。图1B是电子装置100的后视立体图。参考在记录一个或多个对象150、160的电子装置100的操作者140图示了图1A和1B中的立体图。图2A是电子装置100的前视图,以及图2B是电子装置100的后视图。
电子装置100可以是具有多媒体记录能力的任何类型的电子装置。例如,电子装置100可以是具有音频/视频记录能力的任何类型的便携式电子设备,包括摄像机、静物照相机、个人媒体录影机和播放器或便携式无线计算设备。如在本文中所使用的,词语“无线计算设备”是指被设计成通过无线信道在空中接口上与基础设施设备通信的任何便携式计算机或其他硬件。无线计算设备是“便携式的”并且潜在移动或“迁移的”,含义是无线计算设备在物理上可以移来移去,但是在任何给定时间可以是移动或静止的。无线计算设备可以是多个类型中的任何的移动计算设备中的一个,其包括但不限于:移动站(例如,蜂窝电话送受话器、移动无线电装置、移动计算机、手持式或膝上型设备和个人计算机、个人数字助理(PDA)等)、接入终端、订户站、用户设备或被配置成经由无线通信进行通信的任何其他设备。
电子装置100具有外壳102、104、左侧部分101以及在左侧部分101对面的右侧部分103。外壳102、104具有在y方向上延伸的宽度尺寸、在x方向上延伸的长度尺寸以及在z方向上延伸(进入和离开页面)的厚度尺寸。电子装置100具有沿着第一轴朝向相反方向的前侧(图2A中所图示)和后侧(图2B中所图示)。后侧朝向+z方向,以及前侧朝向-z方向。左侧部分101和右侧部分103沿着与z轴垂直的y轴朝向相反方向。当然,随着使电子装置重新取向,可以改变“右”、“左”、“宽度”和“长度”的称呼。为了方便起见,给出了当前称呼。
更具体地,外壳包括在装置100的操作者侧或后侧的后外壳102,以及在装置100的对象侧或前侧的前外壳104。后外壳102和前外壳104被组装来为各种构件形成外罩,所述各种构件包括电路板(未图示)、扬声器(未图示)、天线(未图示)、摄影机110以及包括被耦接到电路板的受话器120、130的用户接口。受话器120位于更靠近左侧101的地方,以及受话器130位于更靠近右侧103的地方。
外壳包括用于摄影机110和受话器120、130的多个端口。具体地,前外壳104具有用于前侧摄影机110的端口和用于前侧受话器120、130的其他端口。受话器120、130被布置在这些端口处/附近,以及在一些实现中,y轴穿过两个受话器端口开口。
摄影机110被放置在前侧,并且因此定向在与前外壳104相同的方向上,与操作者相反,以允许对象的(一幅或多幅)图像在由摄影机110记录期间被获取或捕捉。
左侧部分101由后外壳102和前外壳104限定并且在后外壳102和前外壳104之间共享,以及朝向相对于后外壳102和前外壳104基本上垂直的+y方向。右侧部分103在左侧部分101的对面,以及由后外壳102和前外壳104限定并且在后外壳102和前外壳104之间共享。右侧部分103朝向相对于后外壳102和前外壳104基本上垂直的-y方向。
图3是按照公开的实施例中的一些的电子装置的受话器和摄影机配置300的示意图。参考笛卡尔坐标***图示了配置300,以及配置300包括左侧受话器320相对于右侧受话器330和摄影机310的相对位置。物理受话器元件320、330两者均在电子装置100的对象上或前侧被示出,但是可以分别存在于左侧和右侧101、103。左侧受话器320被布置在电子装置的左侧附近,以及右侧受话器330被布置在电子装置100的右侧附近。如上所述,摄影机310被示出放置在电子装置100的前侧并且被布置在电子装置100的左侧附近,但是可以被布置在电子装置100的前侧的任何地方。替选地,摄影机310可以被布置在电子装置100的后侧或第二摄影机(未示出)可以被布置在电子装置100的后侧以捕捉电子装置100的操作者140的图像或视频(例如,在网络摄影机配置中)。
左侧和右侧受话器320、330沿着共用y轴定位或定向为彼此相对,y轴定向为沿着在零和180度的线。z轴定向为沿着在90和270度的线,以及x轴定向为在向上方向上垂直于y轴和z轴。左侧和右侧受话器320、330沿着y轴以180度分隔或相对于彼此截然相反的。摄影机310也沿着y轴被定位,并且朝位于装置100的前面的对象在-z方向指入页面。这种方式,使左侧和右侧受话器320、330朝向成使得它们可以从拍摄视频的操作者以及从正由摄影机310记录的对象捕捉音频信号或声音。
左侧和右侧受话器320、330可以是任何已知类型的受话器元件,包括全向受话器和定向受话器、声压式受话器、压差式受话器或将声音转变成电音频信号的任何其他等同的声到电换能器或传感器等。在一个实施例中,在左侧和右侧受话器320、330是声压式受话器元件的情况下,它们将具有几乎同等地从所有方向感测/捕捉进入的声音的全向极坐标模式。在一个实现中,左侧和右侧受话器320、330可以是使用诸如延迟和求和(或延迟和求差)的波束形成技术来处理以基于由左侧和右侧受话器320、330生成的电音频信号来建立定向模式的受话器阵列的一部分。延迟可以是经由滤波器实现的在每个频率不同的相位延迟或固定时间延迟。现将参考图4描述延迟和求和波束形成处理的一个示例。
图4是用于受话器输出信号422、412的延迟和求和波束形成处理的示例性***400的框图。可以按照公开的实施例中的一些使用在该***中说明的构思。
***400包括包含左和右受话器320、330的受话器阵列以及波束形成器模块450。受话器330、320中的每一个响应于进入的声音而生成电音频信号412、422。这些电音频信号412、422一般是与在左和右受话器330、320处捕捉到的声音相对应的电压信号。
波束形成器模块450被设计成生成右和左波束成形的信号452、454。在该实施例中,波束形成器模块450包括第一校正滤波器414、第二校正滤波器424、第一求和器模块428和第二求和器模块429。
第一校正滤波器414将相位延迟添加到第一电音频信号412来生成第一延迟信号416,以及第二校正滤波器424将相位延迟添加到第二电音频信号422来生成第二延迟信号426。例如,在一个实现方式中,校正滤波器414、424将相位延迟添加到对应的电音频信号412、422来生成对应的延迟信号416、426。
第一求和器模块428对第一信号412和第二延迟信号426求和来生成第一波束成形的信号452。类似地,第二求和器模块429对第二信号422和第一延迟信号416求和来生成第二波束成形的信号454。
在图4中所图示的一个实现方式中,第一波束成形的信号452是与具有朝向右侧或在-y方向上的波束模式的右通道立体声输出相对应的面向右的一阶定向信号(例如,超心形或过心形)。第二波束成形的信号454是与具有朝向左侧或在+y方向上的波束模式的左通道立体声输出相对应的面向左的一阶定向信号(例如,超心形或过心形)。左通道立体声输出在空间上不同于右通道立体声输出。
因此,在图4的实施例中,第一波束成形的信号452对应于带有位于沿着0度轴的地方具有最大值的主瓣的面向右的虚拟定向受话器,以及第二波束成形的信号454对应于带有位于沿着180度轴的地方具有最大值的主瓣的面向左的虚拟定向受话器。
尽管波束成形的音频信号452、454中的每一个被示出为独立的右和左输出通道,但是在一些实施例中,这些信号452、454可以被组合成可以作为包含独立立体声编码信号的单个文件被传送和/或记录的单个音频输出数据流,但是不一定必须被组合。
尽管图4中所示的波束成形的信号452、454两者均是朝向右侧或朝向左侧的波束成形的一阶过心形定向波束形成模式,但是本领域技术人员将理解的是,波束成形的信号452、454不一定限于具有这些特定类型的一阶过心形定向模式,并且它们被示出来说明一个示例性实现。换句话说,尽管定向模式是过心形形状的,但是这不一定暗示波束成形的信号限于具有过心形形状,并且可以具有与一阶定向波束形成模式相关联的任何其他形状,诸如心形、偶极、超心形等。替选地,替代一阶定向波束形成,可以使用更高阶定向波束形成。此外,尽管波束成形的信号452、454被图示为具有过心形定向模式,但是本领域技术人员将理解的是,这些仅是数学上理想的示例,以及在一些实践实现中,将不一定实现这些理想化的波束形成模式。
如本领域技术人员将理解的,一阶波束形成是在其定向特性中遵循形式A+Bcos(θ)的那些。为了进一步解释,所有一阶定向受话器均具有由等式(1)描述的极坐标响应:
(A+Bcosθ)/(A+B)    (1),
其中A是表示波束成形的信号的定向模式的全向分量的常量,其中B是表示波束成形的信号的定向模式的双向分量的常量,以及其中θ是声波的入射角。使用全向和双向元素,可以创建朝向沿着双向元素的轴的任何一阶元素。可以通过波束形成产生的定向模式范围可以从近心形波束形成到近双向波束形成、或从近心形波束形成到近全向波束形成。对于全向受话器,B是0;以及对于双向受话器,A是零。其他众所周知的配置是:心形,其中A=B=1;过心形,其中A=1,B=3;以及超心形,其中A=0.37,B=0.63。
总的来说,一阶定向模式,其中A<B,导致具有更高方向性以及关于受话器的轴对称的两个零位的模式,其中受话器的轴被定义为波束模式的主瓣通过其180度相反面的峰值的角。当A=B时,零位被并置为一个单个零位,其在到轴的0度的角(以及在峰值对面)。B比A大得越多,角离开受话器的轴越接近+/-90度(以及在峰值的对面)。稍后将更详细描述这个。
恰当定相的全向和双向受话器信号的线性组合将产生期望的一阶定向受话器模式。全向和双向元素可以通过简单的加权加减法来提取。例如,其中其瓣指向右的虚拟心形受话器将是加在一起的全向和双向的相等部分。朝相反方向指向的虚拟心形受话器将是在全向和双向的相等部分间的差。例如,相反心形对于一个方向将具有A=B,以及对于另一个,A=-B。因此,来自相反心形的信号的求和将是单个心形的最大幅度的两倍的全向信号,以及信号差将是单个心形的最大幅度的两倍的双向信号。
图5是按照公开的实施例中的一些的电子装置100的音频处理***500的框图。音频处理***500包括受话器阵列,该受话器阵列包括响应于进入的声音而生成第一信号521的第一或左受话器520,以及响应于进入的声音而生成第二信号531的第二或右受话器530。这些电信号一般是与在受话器处捕捉的声压相对应的电压信号。
第一滤波模块522被设计成对第一信号521进行滤波来生成第一相位延迟的音频信号525(例如,第一信号521的相位延迟版本),以及第二滤波模块532被设计成对第二信号531进行滤波来生成第二相位延迟的音频信号535。尽管第一滤波模块522和第二滤波模块532被图示为与处理器550分离,但是注意的是,在其他实现方式中,第一滤波模块522和第二滤波模块532可以在处理器550内实现,如由虚线矩形540所指示的。
自动零位控制器560基于成像信号585来生成零位控制信号565。如在下面更详细描述的,取决于实现方式,可以从多个不同源中的任何一个提供成像信号585。可以提供成像信号的源可以包括摄影机、用于摄影机的控制器或接近传感器。
处理器550被耦接到第一受话器520、第二受话器530和自动零位控制器560,并且接收多个输入信号,包括第一信号521、第一相位延迟的音频信号525、第二信号531、第二相位延迟的音频信号535以及零位控制信号565。
处理器550执行波束形成处理。由处理器550执行的波束形成处理一般可以包括延迟和求和处理(例如,如在上面参考图4描述的)、延迟和求差处理、或用于基于受话器输入信号来生成定向模式的任何其他已知波束形成处理技术。用于生成这样的一阶波束成形的技术是本领域众所周知的,并且在本文中将不进一步描述。
按照公开的实施例,零位控制信号565可以由处理器550用来在波束形成处理期间控制或操控朝向右侧的波束成形的音频信号552和朝向左侧的波束成形的音频信号554的零位。
在一个实现方式中,处理器550基于零位控制信号565对输入信号521、525、531、535进行处理来生成具有含有至少一个“第一”零位的第一定向模式的右(或“朝向右侧的”)波束成形的音频信号552,以及具有含有至少一个“第二”零位的第二定向模式的左(或“朝向左侧的”)波束成形的音频信号554,其中基于零位控制信号565来操控至少一个第一零位的第一角位置(α)和至少一个第二零位的第二角位置(β)。第一角位置(α)处于相对于+y轴的第一角处,以及第二角位置(β)处于相对于-y轴的第二角处。取决于实现,第一和第二角位置的值可以是相同或不同的。定向模式可以是如在上面参考图4描述的一阶定向模式。如将在下面描述的,在波束形成处理期间,可以使用零位控制信号565来控制或“操控”朝向右侧的波束成形的音频信号552的第一零位的第一角位置(α)和朝向左侧的波束成形的音频信号554的第二零位的第二角位置(β)。如将在下面进一步解释的,这允许控制朝向对象的虚拟受话器的敏感度以及操控那些虚拟受话器的零位。
取决于实现,如将在下面参考图6-9C描述的,波束成形的音频信号552、554的零位可以包括多于一个零位点。例如,在一个实现中,分别地,右波束成形的音频信号552可以包括在角位置+α朝向前侧104的第一零位点和在角位置-α朝向后侧102的第二零位点,以及左波束成形的音频信号554可以包括在角位置+β朝向前侧104的第三零位点和在角位置-β朝向后侧102的第四零位点。
在一个实现中,处理器550可以包括接收输入信号和零位控制信号565,并且生成右波束成形的音频信号552和左波束成形的音频信号554的查找表(LUT)。LUT是取决于零位控制信号565的值来生成不同信号552、554的值的表。
在另一个实现中,处理器550被设计成基于输入信号521、525、531、535和零位控制信号565对一组等式进行处理来生成右波束成形的音频信号552和左波束成形的音频信号554。等式包括用于第一信号521、第一相位延迟的音频信号525、第二信号531和第二相位延迟的音频信号535的系数;以及可以基于零位控制信号565来调整或控制这些系数的值,以生成带有***控到期望的角位置(+α,-α,+β,-β)的零位的右波束成形的音频信号552和/或左波束成形的音频信号554。
现将为各种实现更详细描述可以用来生成零位控制信号565的成像信号585的示例。
零位控制信号和可以用来生成零位控制信号的成像信号的示例
用来确定或生成零位控制信号565的成像信号585可以取决于实现方式而变化。例如,在一些实施例中,自动零位控制器560可以被耦接到提供成像信号585的摄影机310。在其他实施例中,自动零位控制器560被耦接到视频控制器,该视频控制器被耦接到摄影机310并且向自动零位控制器560提供成像信号585。由自动零位控制器560使用来生成零位控制信号565的成像信号585可以是以下的一个或多个(或可以基于以下的一个或多个来确定):(a)摄影机310的视频帧的角视场;(b)用于摄影机310的焦距;或(c)用于摄影机310的变焦控制信号。任何这些参数可以单独或结合其他的被用来生成零位控制信号565。生成成像信号585的视频控制器可以以硬件或软件来实现。其可以是自动控制器或由用户输入驱动的控制器,诸如按钮、滑块、导航控件、任何其他触摸控制器或图形用户界面(GUI)。
基于焦距的零位控制信号
在一个实施例中,成像信号585基于用于摄影机310的焦距。例如,在一个实现方式中,可以从摄影机310、用于摄影机310的视频控制器或在设备中的任何其他距离确定电路获得从摄影机310到对象150、160的焦距信息。在一些实现中,摄影机310的焦距可以由自动零位控制器560使用来生成零位控制信号565。在一个实现中,零位控制信号565可以是由视频控制器发送给自动零位控制器560的摄影机110的计算的焦距。随着焦距被增大,第一角位置(α)和第二角位置(β)相对于y轴增大。随着焦距被减小,第一角位置(α)和第二角位置(β)相对于y轴减小。
在一个实现中,可以从用于焦距的特定值的查找表确定第一角位置(α)和第二角位置(β)。在另一个实现中,可以从将焦距与零位角相关联的函数确定第一角位置(α)和第二角位置(β)。
基于视场的零位控制信号
在另一个实施例中,成像信号585可以基于摄影机310的视频帧的角视场(FOV)。例如,在一些实现中,摄影机310的视频帧的角视场可以被计算并发送给自动零位控制器560,其然后可以使用该信息来生成零位控制信号565。随着角视场被变窄或减小,第一角位置(α)和第二角位置(β)相对于y轴增大。随着角视场被变宽或增大,第一角位置(α)和第二角位置(β)相对于y轴减小。
在一个实现中,可以从用于视场的特定值的查找表确定第一角位置(α)和第二角位置(β)。在另一个实现中,可以从将视场与零位角相关联的函数确定第一角位置(α)和第二角位置(β)。
基于变焦控制的零位控制信号
在其他实施例中,成像信号585基于用于摄影机310的变焦控制信号。在一个实施例中,使用摄影机310的物理视频变焦来生成零位控制信号565。在这些实施例中,窄变焦还可以被称为高变焦值,而宽变焦还可以被称为低变焦值。随着变焦控制信号被增大以使角视场变窄,这将促使第一角位置(α)和第二角位置(β)相对于穿过左和右受话器320、330的y轴增大。相比之下,随着变焦控制信号被减小以使角视场变宽或扩展,这将促使第一角位置(α)和第二角位置(β)相对于穿过左和右受话器320、330的y轴减小。
在一些实施例中,零位控制信号565可以是用于摄影机310的变焦控制信号,而在其他实施例中,可以基于用于摄影机310的变焦控制信号来得到零位控制信号565。在一些实现方式中,用于摄影机310的变焦控制信号可以是控制摄影机的明显视角的数字变焦控制信号,而在其他实现方式中,用于摄影机310的变焦控制信号可以是控制镜头在摄影机中的位置的光学/模拟变焦控制信号。在一个实现中,可以为变焦控制信号的特定值(或值范围)分配预设的零位角值。
在一些实施例中,用于摄影机的变焦控制信号可以由用户接口(UI)控制。可以使用任何已知的视频变焦UI方法来生成变焦控制信号。例如,在一些实施例中,视频变焦可以由操作者经由按钮对、摇杆控件、在设备的显示器上的虚拟控件,包括对区域的拖动选择、通过操作者的眼睛跟踪等来控制。
在一个实现方式中,可以从用于变焦控制信号的特定值的查找表来确定第一角位置(α)和第二角位置(β)。在另一个实现方式中,可以从将变焦控制信号的值与视场相关联的函数来确定第一角位置(α)和第二角位置(β)。
另外,这些实施例允许立体图像按照视频图像放大或缩小来放大或缩小。
基于接近的零位控制信号
在一些实施例中,当电子装置100包括(红外线的、超声波的等)(一个或多个)接近传感器、接近检测电路和/或其他类型的距离测量设备(未示出)时,成像信号585可以包括由接近检测器或传感器生成的接近信息。例如,在一些实施例中,装置100可以包括被耦接到自动零位控制器560的后侧接近传感器。后侧接近传感器生成与在摄影机操作者140和装置100之间的距离相对应的后侧接近传感器信号。然后,可以将后侧接近传感器信号发送给自动零位控制器560,自动零位控制器560可以使用该后侧接近传感器信号来生成零位控制信号565。
在一个实施例中,后侧接近传感器信号对应于在摄影机操作者140和装置100之间的距离。取决于实现,后侧接近传感器信号可以基于在摄影机操作者140和电子装置100之间的估计、测量或感测的距离。
在另一个实施例中,后侧接近传感器信号对应于在摄影机操作者140和装置100之间的预定的距离。例如,在一个实现中,可以将预定的距离设置为(例如,基于平均人类以预测的使用模式持握设备)摄影机110的操作者通常位于此的固定距离。在这样的实施例中,自动零位控制器560假定摄影机操作者处于远离装置预定的距离,并且生成零位控制信号565来反映该预定的距离。
在又一个实施例中,后侧接近传感器信号对应于在摄影机操作者和装置100之间的距离,以及将(右波束成形的音频信号552的)第二零位点和(左波束成形的音频信号554的)第四零位点定向为消除源自在该距离的后侧的声音。如将在下面参考图7进一步描述的,这允许零位的覆盖角被定向成使得可以抑制在装置100后面的声源(例如,诸如操作者)。
现将参考图6提供零位的角位置α,β与被获取的视频帧或角视场如何相关的示例。
操控前侧零位的角位置来控制被获取的(一个或多个)对象的立 体成像
图6是图示按照公开的实施例中的一些的一个实现方式的、关于电子装置600和正获取的角视场的右波束成形的音频信号652的示例性极坐标图和左波束成形的音频信号654的示例性极坐标图的图。在图6中,电子装置600没有按比例绘制,并且在大小上被夸张来说明其与由电子装置600的摄影机(未示出)获取或记录的视场650的关系。在大部分实现方式中,由摄影机(未示出)获取或记录的视场650比装置600大得多,使得装置相对于视场650实际上是点接收器。例如,在图6中,在正记录管弦乐队的情况下,期望的记录将是(a)来自舞台的右侧的音频被记录在右通道;(b)来自舞台的左侧的音频被记录在左通道;以及(c)使在中部的对象在两个通道上出现以为那些对象给予中央音频图像。
使用上述波束形成技术对物理受话器520、530生成的输出信号521、531进行处理来生成具有在-y轴方向上朝向右的第一超心形定向模式的右波束成形的音频信号652,以及具有在+y轴方向上朝向左的第二超心形定向模式的左波束成形的音频信号654。第一超心形定向模式和第二超心形定向模式的主瓣彼此截然相反分别朝向右和左。将在下面分别参考图8A和8B描述关于654和652的进一步细节。
视频帧的视场650经由中心线651被分割成左侧部分和右侧部分。左侧部分贡献于期望的左音频图像625,以及右侧部分贡献于期望的右音频图像645。右波束成形的音频信号652的第一超心形定向模式产生右通道零位区635,以及左波束成形的音频信号654的第二超心形定向模式产生左通道零位区655。
为了进一步解释,期望的左音频图像625与和右波束成形的音频信号652相关联的右通道零位区635(如由矩形阴影区指示)重叠,但是不包括左通道零位区655(如由矩形阴影区指示),以及期望的右音频图像645与和左波束成形的音频信号654相关联的左通道零位区655重叠,但是不包括右通道零位区635。另外,第一零位的第一角位置(α)被定义在从共同起点偏离来定义右通道零位区635的两个零位线636、638之间。第一零位中心线637被定义在零位区边界636、638之间,并且具有相对于+y轴的第一角位置(α)。右通道零位区635是以第一零位中心线637为中心并且由零位区边界636、638界定的零位区。零位区635跨越的角是等于2γ的第一度数。如在本文中所使用的,词语“零位中心线”是指在波束成形的幅度在其最小值的点处穿过波束成形的零位的线。随着第一角位置(α)改变,两个零位区边界636、638的角以及右通道零位区635也改变。类似地,第二零位的第二角位置(β)被定义在从共同起点偏离来定义左通道零位区655的两个零位区边界656、658之间。左通道零位区655还跨越等于2δ的第二度数,其可以等于第一度数2γ。零位中心线657被定义在零位区边界656、658之间,并且具有相对于-y轴的第二角位置(β)。左通道零位区655是以第二零位中心线657为中心的零位区。随着第二角位置(β)改变,两个零位区边界656、658的角以及左通道零位区655也改变。
因此,相对于第一角位置(α),右通道零位区635被图示为覆盖相对于α而±γ度的视场650的一部分,以及左通道零位区655的第二角位置(β)被图示为覆盖相对于β而±δ度的视场650的另一部分。在图6中所图示的特定实现方式中,每一个通道的零位区位于从用于该通道的场的期望边缘跨图像场大约四分之三处,并且大约在被获取的场的对侧的中心。
右波束成形的音频信号652的定向模式将对源自与期望的右音频图像645相对应的区的声波具有更强的敏感度,但是对源自与期望的左音频图像625相对应的区的声波具有显著减少的敏感度。右通道零位区635与期望的左音频图像625一致,并且允许减少源自期望的左音频图像625的一些声音。如此,可以使用与右波束成形的音频信号652相对应的虚拟受话器来获取/记录期望的右音频图像645,其中由于右通道零位区635,最小信号从左音频图像625获取。
在该特定非限制实现方式中,波束成形的右通道零位以舞台的左侧为中心。将被记录在右通道上的信号将包括距右边最远的对象的完整音频水平,其中朝中心移动则音频水平普遍下降,以及其中显著抑制在示出阴影矩形的舞台的左侧的中心处的音频。
类似地,左波束成形的音频信号654的定向模式将对源自与期望的左音频图像625相对应的区的声波具有更强的敏感度,但是对源自与期望的右音频图像645相对应的区的声波具有显著减少的敏感度。左通道零位区655与期望的右音频图像645一致,并且允许减少源自期望的右音频图像645的一些声音。如此,可以使用与左波束成形的音频信号654相对应的虚拟受话器来获取/记录期望的左音频图像625,其中由于左通道零位区655,最小信号从右音频图像645获取。
在该特定非限制实现方式中,波束成形的左通道零位以右侧为中心。将被记录在左通道上的信号将包括距左边最远的对象的完整音频水平,其中朝中心移动则音频水平普遍下降,以及其中显著抑制在示出阴影矩形的舞台的右侧的中心处的音频。
最后,凭借来自被获取的对象的期望的左音频通道625和期望的右音频通道645的适当成像贡献,可以将右波束成形的音频信号652和左波束成形的音频信号654组合来产生立体声信号。
如上所述,可以在波束形成处理期间,基于零位控制信号565来操控右通道零位区635的第一角位置(α)和左通道零位区655的第二角位置(β)。换句话说,可以使用零位控制信号565来控制或“操控”朝向右侧的波束成形的音频信号652的右通道零位区635的第一角位置(α)和朝向左侧的波束成形的音频信号654的左通道零位区655的第二角位置(β)。
这允许基于角视场、焦距或变焦控制信号来操控右通道零位区635和左通道零位区655的角位置(α,β),例如以使立体成像变化以及使立体声信号与正由操作者获取/捕捉的视频帧一致。右通道零位区635和左通道零位区655的角或角位置(α,β)可以***控成不再强调源自与相对于电子装置600所获取的视场650的不同零位区相对应的方向的声波。因此,尽管右通道零位区635和左通道零位区655与被获取的视场650的对侧的中心对齐,但是可以经由零位控制信号改变或控制右通道零位区635和左通道零位区655的位置。例如,随着右通道零位区635的第一角位置(α)减小(例如,通过减小变焦控制信号),右通道零位区635将移动更远离中心线651,并且音频视场将变宽。
将在下面分别参考图8A和8B描述左波束成形的音频信号654和右波束成形的音频信号652的其他特性。
操控后侧零位的角位置来消除后侧声源
图7是图示按照公开的实施例中的一些的另一个实现、由电子装置700生成的右波束成形的音频信号752的示例性极坐标图和左波束成形的音频信号754的示例性极坐标图的图。
该视图与图6中的不同之处在于其示出了相对于电子装置700的操作者700的右通道零位区735和左通道零位区755的角位置(-α,-β),其中虚拟受话器的右通道零位区735和左通道零位区755的角位置(-α,-β)已***控,以消除源自电子装置700的后侧(例如,源自操作者740)的声波。
如上所述,波束成形的音频信号752、754的零位可以包括多于一个零位区。例如,在一个实现中,分别地,右波束成形的音频信号752可以包括朝向前侧704的第一零位点(对应于线737)和朝向后侧702的第二零位点(对应于线741),以及左波束成形的音频信号754可以包括朝向前侧704的第三零位点(对应于线757)和朝向后侧702的第四零位点(对应于线760)。
例如,在一个实现中,耦接到自动零位控制器的后侧接近传感器生成与在摄影机操作者和装置之间的预定的距离相对应的后侧接近传感器信号。成像信号还基于后侧接近传感器信号。例如,可以计算在装置700的操作者侧上的零位,使得(在等式(1)中的)A和B的比率被选择成使得使来自每一侧的零位指向控制装置700的操作者。这可以以多个不同非限制方式来完成。例如,在一个实施例中,可以基于人类因素研究或用户测试假设操作者将在设备的后面的平均位置来计算角。在另一个实施例中,可以从受话器之间的距离的一半和距操作者的测量的距离来计算角。将使用诸如ARCTAN((受话器间距/2)/距离)的函数来计算角。
在另一个实现中,后侧接近传感器(未示出)可以生成与在摄影机操作者740和装置700之间的距离相对应的后侧接近传感器信号。自动零位控制器可以使用该后侧接近传感器信号来生成零位控制信号,使得第二零位点(对应于线741)和第四零位点(对应于线760)***控成使得它们被定向以消除源自后侧702在操作者的接近感测的距离的声音,因此减少或消除源自摄影机操作者740或其他接近感测的后侧声源的声音。
这还允许消除直接从记录设备后面产生的声音,诸如由操作者发出的声音。后侧消除是单独模式,并且不基于被获取的光学帧。
将在下面参考图8A-9C中图示的极坐标图来描述由处理器550生成的波束成形的信号和对那些信号的零位操控的示例。初步地,注意的是,在下述任何极坐标图中,信号幅度被线性地标绘,以示出对特定信号的定向或角响应。进一步,在下面的示例中,出于说明一个示例的目的,可以假设对象一般以大约90°为中心,而操作者位于大约270°处。图8A-9C中所示的定向模式是通过定向响应形成平面的切片,如将由位于图1A和1B的电子装置100上方、向下看的查看者所观察到的,其中图3中的z轴对应于90°-270°线,以及图3中的y轴对应于通过受话器端口开口的0°-180°线。如本领域普通技术人员意识到的,完整定向模式是三维的,以及为了简单起见在此提供了平面切片。此外,为了清晰起见,在图8A-9C中所图示的极坐标图中,特定零位区在此仅由其对应零位中心线表示。
图8A是按照公开的实施例中的一些的一个实现、由音频处理***500生成的朝向左侧的波束成形的信号854的示例性极坐标图。图8A的朝向左侧的波束成形的信号854表示在图6和7中所示的朝向左侧的波束成形的信号654、754。
如图8A中所图示的,朝向左侧的波束成形的信号854具有指向或朝向+y方向并且具有在180度具有最大值的主瓣854-A和朝向-y方向上的副瓣854-B的一阶定向模式。该定向模式指示对朝装置100的左侧行进的声波存在更强定向敏感度。朝向左侧的波束成形的信号854还具有以零位中心线857-A、857-B为中心的零位对。
一个零位的零位中心线857-A朝装置100的右前侧指向角位置(β),并且对应于左前侧通道零位区(参见图6)。另一个零位的另一个零位中心线857-B朝装置100的右后侧指向角或角位置(-β),并且对应于左后通道零位区(参见图7)。在该特定示例中,零位中心线857-A的角位置(β)处于相对于-y轴的大约75度处,以及零位中心线857-B的角位置(-β)处于相对于-y轴的大约-75度处。
图8B是按照公开的实施例中的一些的一个实现、由音频处理***500生成的朝向右侧的波束成形的信号852的示例性极坐标图。图8B的朝向右侧的波束成形的信号852表示在图6和7中所示的朝向右侧的波束成形的信号652、752。
如图8B中所图示,朝向右侧的波束成形的信号852具有在-y方向上指向或朝向右并且具有在零度具有最大值的主瓣852-A和朝向+y方向上的副瓣852-B的一阶定向模式。该定向模式指示对朝装置100的右侧行进的声波存在更强定向敏感度。朝向右侧的波束成形的信号852还具有以零位中心线837-A、837-B为中心的零位对。
一个零位的零位中心线837-A朝装置100的左前侧指向角位置(α),并且对应于右前侧通道零位区(参见图6)。另一个零位的另一个零位中心线837-B朝装置100的左后侧指向角或角位置(-α),并且对应于右后通道零位区(参见图7)。在该特定示例中,零位中心线837-A的角位置(α)处于相对于+y轴的大约-75度处,以及零位中心线837-B的角位置(-α)处于相对于+y轴的大约+75度处。
如在上面参考图5描述的,自动零位控制器560生成零位控制信号565,零位控制信号565可以由处理器550在波束形成处理期间使用来控制或操控朝向右侧的波束成形的音频信号552和朝向左侧的波束成形的音频信号554的零位来改变零位的角位置。例如,当零位中心线837-A的角位置(α)的幅度增大时,这具有增大上述等式(1)中的B:A的比率的效果,以及当零位中心线837-A的角位置(α)的幅度减小时,这具有减小上述等式(1)中的B:A的比率的效果。
随着记录的视场从宽的(未变焦的)角视场转到窄的(高变焦的)角视场,描述一阶波束成形的等式(1)中的B/A的比率和角位置α将增大。随着变焦值从窄的(高变焦的)角视场转到宽的(未变焦的)角视场,等式(1)中的B/A的比率和角位置α将变得更小。现将参考图8C说明一个示例。
图8C是按照公开的实施例中的一些的另一个实现方式的、由音频处理***500生成的朝向右侧的波束成形的信号852的示例性极坐标图。如图8C中所图示,朝向右侧的波束成形的信号852具有与图8B中所图示的相似的一阶定向模式。然而,在该实现中,朝向右侧的波束成形的信号852的零位的角位置已改变。具体地,零位中心线837-1A现在具有相对于+y轴的大约-60度的角位置α,以及零位中心线837-1B现在具有相对于+y轴的大约+60度的角位置-α。因此,与图8B相比,零位的角位置(如由其相应零位中心线837-1A、837-1B表示的)在图8C中已***控来指向不同角位置(即使零位中心线仍然保持在这些角处分别朝向装置100的左前侧和左后侧,并且主瓣仍然具有位于0度处的其最大值)。如此,右前通道零位区(未图示)和右后通道零位区(未图示)的相对位置还将进一步向右改变右音频图像的位置。另外,还注意的是,主瓣852-1A的幅度相对于副瓣852-1B的幅度已增大,导致音频图像进一步向右移位。如前所述,主瓣851-1A的角位置在零度处保持固定。
现将在下面参考图9A-9C描述与可以通过实现这样的零位操控技术来实现的效果有关的进一步细节。
初步地,注意的是,尽管在图8A-8C中没有图示,但是在一些实施例中,可以将波束成形的音频信号852、854组合成可以作为包含单独立体声编码的信号的文件被传送和/或记录的单个音频输出数据流。图9A-9C将通过描述在不同情况下,由处理器550生成的波束成形的信号552、554的不同示例来图示这样的组合的一些示例。在图9A-9C中,将朝向右侧的波束成形的音频信号952和朝向左侧的波束成形的音频信号954的响应两者在一起示出来图示在一些实现中可以对信号进行组合来实现立体声效果。
图9A是按照公开的实施例中的一些的一个实现方式的、由音频处理***500生成的朝向右侧的波束成形的音频信号952和朝向左侧的波束成形的音频信号954的示例性极坐标图。
如图9A中所图示,朝向右侧的波束成形的音频信号952具有带有朝向或指向-y方向上的主瓣952-A的一阶定向模式。该一阶定向模式在0度处具有最大值,并且对朝装置100的右侧行进的声波具有相对较强定向敏感度。朝向右侧的波束成形的音频信号952还具有第一零位,其中零位中心线937在大约150度处或处于相对于+y轴的大约30度的角处。第一零位指向装置100的左前侧,这指示对源自装置100的左前方朝装置100行进的声波有很少或没有定向敏感度。第一零位的第一角位置(α)对应于与右通道零位区相对应的第一零位中心线937。
朝向左侧的波束成形的音频信号954也具有带有朝向+y轴上并且在180度处具有最大值的主瓣954-A的一阶定向模式。这指示对朝装置100的左侧行进的声波有较强定向敏感度。左侧朝向的波束成形的音频信号954还具有第二零位,其中零位中心线在大约30度处。第二零位中心线957处于相对于-y轴的大约30度的角处。第二零位指向装置100的右前侧,这指示对源自装置100的右前方朝装置100行进的声波有很少或没有定向敏感度。第二零位的第二角位置(β)对应于与左通道零位区相对应的第二零位中心线957。第一角位置(α)和第二角位置(β)的和将等于在180度与表示在第二零位中心线957和第一零位中心线937之间的角间距的间距或夹角
Figure BDA00002780085900251
之间的差。间距角
Figure BDA00002780085900252
范围可以在0和180度之间。在一些实现中,α=β,意为两者均等于90度减去1/2
为了参考图9B和9C说明示例,可以假设例如,当通过减小变焦控制信号将零位操控到指定位置来期望相对宽的视场时,可以使用图9A中的零位设置。
图9B是按照公开的实施例中的一些的另一个实现、由音频处理***500生成的朝向右侧的波束成形的音频信号952-1和朝向左侧的波束成形的音频信号954-1的示例性极坐标图。
如图9B中所图示,朝向右侧的波束成形的音频信号952-1具有带有朝向或指向-y方向上的主瓣952-1A的一阶定向模式。该一阶定向模式在0度处具有最大值,并且对朝装置100的右侧行进的声波具有相对较强定向敏感度。朝向右侧的波束成形的音频信号952-1还具有第一零位,其中零位中心线937-1在大约120度处。因此,第一零位中心线937-1处于相对于+y轴的大约60度的角处。第一零位指向装置100的左前侧,这指示对源自装置100的左前方朝装置100行进的声波有很少或没有定向敏感度。第一零位的第一角位置(α)对应于与右通道零位区相对应的第一零位中心线937-1。
朝向左侧的波束成形的音频信号954-1也具有带有朝向+y轴上并且在180度处具有最大值的主瓣954-1A的一阶定向模式。这指示对朝装置100的左侧行进的声波有较强定向敏感度。朝向左侧的波束成形的音频信号954-1还具有第二零位,其中零位中心线957-1在大约60度处。因此,第二零位中心线957-1处于相对于-y轴的大约60度的角处。第二零位指向装置100的右前侧,这指示对源自装置100的右前方朝装置100行进的声波有很少或没有定向敏感度。第二零位的第二角位置(β)对应于与左通道零位区相对应的第二零位中心线957-1。
与图9A相比,在图9B中,增大了α和β值。这可以例如通过增大变焦控制信号而使角视场变窄来实现。变焦控制信号或角视场然后可以在自动零位控制器处用作成像信号来生成将设置在图9B中示出的α和β值的零位控制信号。
图9C是按照公开的实施例中的一些的一个实现、由音频处理***500生成的朝向右侧的波束成形的音频信号952-2和朝向左侧的波束成形的音频信号954-2的示例性极坐标图。
如图9C中所图示,朝向右侧的波束成形的音频信号952-2具有带有朝向或指向-y方向上的主瓣952-2A的一阶定向模式。该一阶定向模式在0度处具有最大值,并且对朝装置100的右侧行进的声波具有相对较强定向敏感度。朝向右侧的波束成形的音频信号952-2还具有第一零位,其中零位中心线937-2在大约105度处。因此,第一零位中心线937-2处于相对于+y轴的大约75度的角处。第一零位指向装置100的左前侧,这指示对源自装置100的左前方朝装置100行进的声波有很少或没有定向敏感度。第一零位的第一角位置(α)对应于与右通道零位区相对应的第一零位中心线937-2。
朝向左侧的波束成形的音频信号954-2也具有带有朝向+y轴上并且在180度处具有最大值的主瓣954-2A的一阶定向模式。这指示对朝装置100的左侧行进的声波有较强定向敏感度。朝向左侧的波束成形的音频信号954-2还具有第二零位,其中零位中心线957-2在大约75度处。因此,第二零位中心线957-2处于相对于-y轴的大约75度的角处。第二零位指向装置100的右前侧,这指示对源自装置100的右前方朝装置100行进的声波有很少或没有定向敏感度。第二零位的第二角位置(β)对应于与左通道零位区相对应的第二零位中心线957-2。
与图9B相比,在图9C中,进一步增大了α和β值。这可以例如通过增大变焦控制信号而使角视场进一步变窄甚至超过图9B中的来实现。
因此,图9A-9C一般图示了可以在波束形成处理期间基于零位控制信号965来操控(即,控制或调整)零位的角位置。这种方式,可以对波束成形的音频信号952、954的零位的角位置进行控制来使能够获取与摄影机操作者所查看的视频帧相对应的音乐会模式立体声记录。
尽管在图9A-9C中所示的波束成形的音频信号952、954两者均是朝向右侧或朝向左侧的波束成形的一阶超心形定向波束形成模式,但是本领域技术人员将理解的是,波束成形的音频信号952、954不一定限于具有这些特定类型的一阶定向模式,并且它们被示出来说明一个示例性实现。换句话说,尽管定向模式是超心形形状的(即,具有在双向模式和心形的之间的定向指数),但是这不一定暗示波束成形的音频信号限于具有该形状,并且可以具有与一阶定向波束成形的模式相关联的任何其他形状,诸如超心形、偶极、过心形等。取决于零位控制信号565,定向模式范围可以从近心形波束形成到近双向波束形成、或从近心形波束形成到仅全向波束形成。替选地,替代一阶定向波束形成,可以使用更高阶定向波束形成。
此外,尽管波束成形的音频信号952、954被图示为具有理想定向模式,但是本领域技术人员将理解的是,这些仅是在数学上理想的示例,并且在一些实践实现中,将不一定实现这些理想化的波束形成模式。
另外,零位中心线的角位置仅是示例性的,并且一般可以***控到在yz平面的任何角位置,以在期望时允许立体声记录被记录或允许后侧声源(例如,操作者讲述)被消除。在不操控零位来消除后侧声源的其他实现中,可以使用波束成形的音频信号952、954的朝向后侧的部分来获取后侧立体声声源。
尽管在上面没有明确描述,但是在本文中图示和描述的所有实施例中,可以同等地应用在上面参考图5描述的零位控制信号的任何实施例或实现。
图10是可以在公开的实施例的一个实现中使用的电子装置1000的框图。在图10中所图示的特定示例中,电子装置被实现为能够经由射频(RF)信道在空中通信的无线计算设备,诸如移动电话。
无线计算设备1000包括处理器1001、存储器1003(包括用于存储由处理器1001执行的操作指令的程序存储器、缓冲存储器和/或可移除存储单元)、基带处理器(BBP)1005、RF前端模块1007、天线1008、摄影机1010、视频控制器1012、音频处理器1014、前和/或后接近传感器1015、音频编码器/解码器(编解码器)1016、显示器1017、包括输入设备(键盘、触摸屏等)的用户接口1018、扬声器1019(即,用于由设备1000的用户收听的扬声器)和两个或多个受话器1020、1030。各个块可以经由总线或其他连接相互耦接,如图10中所图示。无线计算设备1000还可以包含电源,诸如电池(未示出)或有线变压器。无线计算设备1000可以是包含至少图10中描绘的所有元件,以及无线计算设备1000执行其特定功能所必需的任何其他元件的集成单元。
如上所述,受话器1020、1030可以与音频处理器1014协同操作来使得能够获取源自于无线计算设备1000的前侧的音频信息、和/或消除源自于无线计算设备1000的后侧的音频信息。上述自动零位控制器1060可以在音频处理器1014处被实现或对音频处理器1014是外部的。自动零位控制器1060可以使用从处理器1001、摄影机1010、视频控制器1012、接近传感器1015和用户接口1018中的一个或多个提供的成像信号来生成提供给波束形成器1050的零位控制信号。波束形成器1050对来自受话器1020、1030的输出信号进行处理来生成一个或多个波束成形的音频信号,并且基于零位控制信号来在处理期间控制或“操控”波束成形的音频信号中的每一个的一个或多个零位的角位置。
图10中的其他块在该一个示例性操作环境中是常规特征,并且因此为了简洁起见,在此将不详细描述。
如此,可以实现定向立体声获取和记录***。该***的益处中的一个是通过构建定向受话器模式的改进的立体声分离效果和取消来自不希望的方向的噪音和声音的能力,虽然仅使用两个受话器。另外,形成本发明的方面的可变模式可以被耦接到可变焦摄影机来通过操纵受话器模式零位点使拾音场与视频视角成比例。在一些实施例中,操作者消除固有地导致特定对象侧零位配置。
应当理解的是,参考图1-10描述的示例性实施例不是限制性的,并且存在其他变化。还应当理解的是,在不背离在所附权利要求中阐述的本发明的范围及其法定等同物的情况下,可以作出各种改变。可以在多种多样的不同实现和不同类型的便携式电子设备中实现参考图1-10描述的实施例。
在此所示的方法使用全向声压式受话器,但是本领域技术人员将理解的是,用朝向沿着y轴的反向单向受话器、或用单个全向受话器和朝向沿着y轴的单个压差式受话器,可以获得相同结果。在此单向受话器是任何压差式受话器,不包括双向的,诸如心形、超心形、过心形等。对这些其他受话器盒(capsule)的使用将仅需要在处理模块450、550、1014中使用不同的波束形成算法。
本领域技术人员将理解的是,结合在本文中公开的实施例描述的各种说明性逻辑块、模块、电路和步骤可以被实现为电子硬件、计算机软件或两者的组合。在上面根据功能和/或逻辑块构件(或模块)和各种处理步骤描述了一些实施例和实现。然而,应当理解的是,这样的块构件(或模块)可以由被配置成执行指定功能的任何数量的硬件、软件和/或固件构件来实现。如在本文中所使用的,词语“模块”是指用于执行任务的设备、电路、电子构件、和/或基于软件的构件。为了清楚说明硬件和软件的该可替换性,各种说明性构件、块、模块、电路和步骤在上面一般根据其功能性被描述。这样的功能性是被实现为硬件还是软件取决于特定应用和施加于总体***的设计约束。技术人员可以以变化方式为每一个特定应用实现描述的功能性,但是这样的实现决定不应当被解释为造成对本发明的范围的背离。例如,***或构件的实施例可以采用各种集成电路构件,例如,存储器元件、数字信号处理元件、逻辑元件、查找表等等,其可以在一个或多个微处理器或其他控制设备的控制下执行多种功能。另外,本领域技术人员将理解的是,在本文中描述的实施例仅是示例性实现。
可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件构件、或被设计成执行在本文中描述的功能的其任何组合来实现或执行结合在本文中公开的实施例描述的各种说明性逻辑块、模块和电路。通用处理器可以是微处理器,但是在替选中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器或任何其他这样的配置。
结合在本文中公开的实施例描述的方法或算法的步骤可以在硬件、由处理器执行的软件模块或两个的组合中直接体现。软件模块可以驻存于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或本领域已知的任何其他形式的存储介质中。示例性存储介质被耦接到处理器,使得处理器可以从存储介质读取信息以及将信息写到存储介质。在替选中,存储介质对处理器来说可以是必不可少的。处理器和存储介质可以驻存于ASIC中。ASIC可以驻存于用户终端中。在替选中,处理器和存储介质可以作为分立构件驻存于用户终端中。
此外,在包含在本文中的各个附图中示出的连接线或箭头意在表示在各个元件之间的示例功能关系和/或耦接。在实践实施例中,可以提供许多替选或另外功能关系或耦接。
在本文档中,诸如第一和第二等的关系词语可以仅用来区分一个实体或动作与另一个实体或动作,而不一定要求或暗示在这样的实体或动作之间的任何实际这样的关系或顺序。诸如“第一”、“第二”、“第三”等的数字序数仅表示多个中的不同个体,并且不暗示任何顺序或序列,除非通过权利要求语言明确定义。在任何权利要求中的文本序列不暗示必须根据这样的序列按照时间或逻辑顺序执行处理步骤,除非其由权利要求的语言明确定义。在不背离本发明的范围的情况下,可以按照任何顺序互换处理步骤,只要这样的互换不与权利要求语言相悖并且在逻辑上不荒谬的。
此外,取决于语境,在描述不同元素之间的关系时使用的诸如“连接”或“被耦接到”的词不暗示必须在这些元素之间进行直接物理连接。例如,两个元素可以物理上、电子地、逻辑上或以任何其他方式,通过一个或多个另外元素相互连接。
虽然在前面详细描述中提供了至少一个示例性实施例,但是应当理解的是,存在巨大数量的变体。还应当理解的是,一个或多个示例性实施例仅仅是示例,并且并不意在以任何方式限制本发明的范围、适用性或配置。而是,前面详细描述将向本领域技术人员提供便利的线路图以实现一个或多个示例性实施例。应当理解的是,在不背离在所附权利要求中阐述的本发明的范围及其法定等同物的情况下,可以在元素的功能和安排中进行各种改变。

Claims (20)

1.一种具有沿着第一轴朝向相反方向的前侧和后侧以及沿着与所述第一轴垂直的第二轴朝向相反方向的右侧和左侧的装置,所述装置包括:
位于所述右侧附近的第一受话器,所述第一受话器生成第一信号;
位于所述左侧附近的第二受话器,所述第二受话器生成第二信号;
自动零位控制器,所述自动零位控制器基于成像信号来生成零位控制信号;
被耦接到所述第一受话器、所述第二受话器和所述自动零位控制器的波束成形模块,所述波束成形模块基于所述零位控制信号来处理所述第一信号和所述第二信号,以生成:
具有含有至少一个第一零位的第一定向模式的右波束成形的音频
信号,以及
具有含有至少一个第二零位的第二定向模式的左波束成形的音频
信号,
其中基于所述零位控制信号来操控所述至少一个第一零位的第一角位置(α)和所述至少一个第二零位的第二角位置(β)。
2.根据权利要求1所述的装置,进一步包括:
摄影机,所述摄影机被耦接到所述自动零位控制器,用于产生所述成像信号。
3.根据权利要求2所述的装置,其中所述成像信号基于所述摄影机的视频帧的角视场。
4.根据权利要求3所述的装置,其中所述第一角位置(α)和所述第二角位置(β)相对于经过第一受话器端口和第二受话器端口的轴随着所述角视场被减少而增大。
5.根据权利要求3所述的装置,其中所述第一角位置(α)和所述第二角位置(β)相对于经过第一受话器端口和第二受话器端口的轴随着所述角视场被增大而减小。
6.根据权利要求2所述的装置,其中所述成像信号基于用于所述摄影机的焦距。
7.根据权利要求6所述的装置,其中所述第一角位置(α)和所述第二角位置(β)相对于经过第一受话器端口和第二受话器端口的轴随着所述焦距被增大而增大。
8.根据权利要求6所述的装置,其中所述第一角位置(α)和所述第二角位置(β)相对于经过第一受话器端口和第二受话器端口的轴随着所述焦距被减小而减小。
9.根据权利要求2所述的装置,其中所述成像信号基于利用用户接口控制的、用于所述摄影机的变焦控制信号。
10.根据权利要求9所述的装置,其中用于所述摄影机的所述变焦控制信号是数字变焦控制信号。
11.根据权利要求9所述的装置,其中用于所述摄影机的所述变焦控制信号是光学变焦控制信号。
12.根据权利要求9所述的装置,其中所述第一角位置(α)和所述第二角位置(β)相对于经过第一受话器端口和第二受话器端口的轴随着所述变焦控制信号被增大而增大。
13.根据权利要求9所述的装置,其中所述第一角位置(α)和所述第二角位置(β)相对于经过第一受话器端口和第二受话器端口的轴随着所述变焦控制信号被减小而减小。
14.根据权利要求1所述的装置,进一步包括:
被耦接到所述自动零位控制器的后侧接近传感器,所述后侧接近传感器生成与在摄影机操作者和所述装置之间的距离相对应的后侧接近传感器信号,其中所述成像信号基于所述后侧接近传感器信号。
15.根据权利要求1所述的装置,进一步包括:
存储在存储器中的预定的距离值,其中所述零位控制信号基于所述预定的距离值。
16.根据权利要求1所述的装置,其中所述至少一个第一零位包括朝向所述前侧定向的第一零位点以及朝向所述后侧定向的第二零位点,以及其中所述至少一个第二零位包括朝向所述前侧定向的第三零位点以及朝向所述后侧定向的第四零位点。
17.根据权利要求16所述的装置,进一步包括:
被耦接到所述自动零位控制器的后侧接近传感器,所述后侧接近传感器生成与在摄影机操作者和所述装置之间的距离相对应的后侧接近传感器信号,其中所述成像信号基于所述后侧接近传感器信号,使得所述第二零位点和所述第四零位点被定向为消除源自所述后侧在所述距离处的声音。
18.一种方法,包括:
基于成像信号来生成零位控制信号;
基于所述零位控制信号来处理来自第一受话器的第一信号和来自位于所述第一受话器的左边的第二受话器的第二信号;
生成具有含有至少一个第一零位的第一定向模式的右波束成形的音频信号;以及
生成具有含有至少一个第二零位的第二定向模式的左波束成形的音频信号,
其中基于所述零位控制信号来操控所述至少一个第一零位的第一角位置(α)和所述至少一个第二零位的第二角位置(β)。
19.根据权利要求18所述的方法,进一步包括:
在摄影机处生成所述成像信号,其中所述成像信号基于以下的一种或多种:所述摄影机的视频帧的角视场、用于所述摄影机的焦距、以及用于所述摄影机的变焦控制信号。
20.根据权利要求18所述的方法,其中所述生成右波束成形的音频信号包括:
设置所述第一角位置(α)以从音频源到左前边衰减信号,以及
其中所述生成左波束成形的音频信号包括:
设置所述第二角位置(β)以从音频源到右前边衰减信号。
CN201180036715.7A 2010-07-26 2011-06-21 生成带有可操控零位的波束成形的音频信号的电子装置 Active CN103026734B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/843,555 2010-07-26
US12/843,555 US8433076B2 (en) 2010-07-26 2010-07-26 Electronic apparatus for generating beamformed audio signals with steerable nulls
PCT/US2011/041157 WO2012018445A1 (en) 2010-07-26 2011-06-21 Electronic apparatus for generating beamformed audio signals with steerable nulls

Publications (2)

Publication Number Publication Date
CN103026734A true CN103026734A (zh) 2013-04-03
CN103026734B CN103026734B (zh) 2015-07-08

Family

ID=44629081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180036715.7A Active CN103026734B (zh) 2010-07-26 2011-06-21 生成带有可操控零位的波束成形的音频信号的电子装置

Country Status (4)

Country Link
US (1) US8433076B2 (zh)
EP (1) EP2599328B1 (zh)
CN (1) CN103026734B (zh)
WO (1) WO2012018445A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155884A (zh) * 2016-05-02 2019-01-04 美商楼氏电子有限公司 用全向麦克风进行立体声分离和定向抑制

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US9094496B2 (en) * 2010-06-18 2015-07-28 Avaya Inc. System and method for stereophonic acoustic echo cancellation
US9313599B2 (en) * 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US10148903B2 (en) 2012-04-05 2018-12-04 Nokia Technologies Oy Flexible spatial audio capture apparatus
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US20130315402A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
KR101969802B1 (ko) * 2012-06-25 2019-04-17 엘지전자 주식회사 이동 단말기 및 재생 영상의 오디오 줌잉 방법
EP2680615B1 (en) * 2012-06-25 2018-08-08 LG Electronics Inc. Mobile terminal and audio zooming method thereof
KR101951418B1 (ko) * 2012-06-25 2019-02-22 엘지전자 주식회사 이동 단말기 및 그의 오디오 줌잉방법
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9232310B2 (en) 2012-10-15 2016-01-05 Nokia Technologies Oy Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones
US9525938B2 (en) 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
US9338420B2 (en) 2013-02-15 2016-05-10 Qualcomm Incorporated Video analysis assisted generation of multi-channel audio data
US9191736B2 (en) * 2013-03-11 2015-11-17 Fortemedia, Inc. Microphone apparatus
US10635383B2 (en) 2013-04-04 2020-04-28 Nokia Technologies Oy Visual audio processing apparatus
US9781507B2 (en) * 2013-04-08 2017-10-03 Nokia Technologies Oy Audio apparatus
WO2014184618A1 (en) 2013-05-17 2014-11-20 Nokia Corporation Spatial object oriented audio apparatus
US9888317B2 (en) * 2013-10-22 2018-02-06 Nokia Technologies Oy Audio capture with multiple microphones
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9516412B2 (en) 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
JP2015194753A (ja) * 2014-03-28 2015-11-05 船井電機株式会社 マイクロホン装置
EP2928206B1 (en) * 2014-03-31 2017-08-30 Panasonic Corporation Directivity control apparatus, directivity control method, storage medium and directivity control system
US9961456B2 (en) * 2014-06-23 2018-05-01 Gn Hearing A/S Omni-directional perception in a binaural hearing aid system
US8995240B1 (en) 2014-07-22 2015-03-31 Sonos, Inc. Playback using positioning information
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
CA2961090A1 (en) 2016-04-11 2017-10-11 Tti (Macao Commercial Offshore) Limited Modular garage door opener
US9978265B2 (en) 2016-04-11 2018-05-22 Tti (Macao Commercial Offshore) Limited Modular garage door opener
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10349169B2 (en) 2017-10-31 2019-07-09 Bose Corporation Asymmetric microphone array for speaker system
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1940196A1 (en) * 2006-12-25 2008-07-02 Sony Corporation Audio signal processing apparatus, audio signal processing method and imaging apparatus
JP2010074592A (ja) * 2008-09-19 2010-04-02 Victor Co Of Japan Ltd 電子機器の制御装置及び電子機器の制御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985874A (en) 1971-04-26 1991-01-15 The United States Of America, As Represented By The Secretary Of The Navy Solid state sequencing switch
US4334740A (en) 1978-09-12 1982-06-15 Polaroid Corporation Receiving system having pre-selected directional response
AT386504B (de) 1986-10-06 1988-09-12 Akg Akustische Kino Geraete Einrichtung zur stereophonen aufnahme von schallereignissen
US6041127A (en) 1997-04-03 2000-03-21 Lucent Technologies Inc. Steerable and variable first-order differential microphone array
US6031216A (en) 1998-06-17 2000-02-29 National Semiconductor Corporation Wire bonding methods and apparatus for heat sensitive metallization using a thermally insulated support portion
US6507659B1 (en) 1999-01-25 2003-01-14 Cascade Audio, Inc. Microphone apparatus for producing signals for surround reproduction
ATE230917T1 (de) 1999-10-07 2003-01-15 Zlatan Ribic Verfahren und anordnung zur aufnahme von schallsignalen
US7206421B1 (en) 2000-07-14 2007-04-17 Gn Resound North America Corporation Hearing system beamformer
US7206418B2 (en) * 2001-02-12 2007-04-17 Fortemedia, Inc. Noise suppression for a wireless communication device
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
GB0415738D0 (en) 2004-07-14 2004-08-18 1 Ltd Stereo array loudspeaker with steered nulls
US7970151B2 (en) 2004-10-15 2011-06-28 Lifesize Communications, Inc. Hybrid beamforming
US8873768B2 (en) 2004-12-23 2014-10-28 Motorola Mobility Llc Method and apparatus for audio signal enhancement
US7646876B2 (en) 2005-03-30 2010-01-12 Polycom, Inc. System and method for stereo operation of microphones for video conferencing system
WO2007018293A1 (ja) * 2005-08-11 2007-02-15 Asahi Kasei Kabushiki Kaisha 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム
US7606377B2 (en) 2006-05-12 2009-10-20 Cirrus Logic, Inc. Method and system for surround sound beam-forming using vertically displaced drivers
US8213623B2 (en) 2007-01-12 2012-07-03 Illusonic Gmbh Method to generate an output audio signal from two or more input audio signals
US20090010453A1 (en) 2007-07-02 2009-01-08 Motorola, Inc. Intelligent gradient noise reduction system
US8319858B2 (en) 2008-10-31 2012-11-27 Fortemedia, Inc. Electronic apparatus and method for receiving sounds with auxiliary information from camera system
US20110275434A1 (en) * 2010-05-04 2011-11-10 Mediatek Inc. Methods for controlling a process of a game and electronic devices utilizing the same
US8638951B2 (en) * 2010-07-15 2014-01-28 Motorola Mobility Llc Electronic apparatus for generating modified wideband audio signals based on two or more wideband microphone signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1940196A1 (en) * 2006-12-25 2008-07-02 Sony Corporation Audio signal processing apparatus, audio signal processing method and imaging apparatus
JP2010074592A (ja) * 2008-09-19 2010-04-02 Victor Co Of Japan Ltd 電子機器の制御装置及び電子機器の制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155884A (zh) * 2016-05-02 2019-01-04 美商楼氏电子有限公司 用全向麦克风进行立体声分离和定向抑制
US10257611B2 (en) 2016-05-02 2019-04-09 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
CN109155884B (zh) * 2016-05-02 2021-01-12 美商楼氏电子有限公司 用于立体声分离和定向抑制的***和方法

Also Published As

Publication number Publication date
CN103026734B (zh) 2015-07-08
EP2599328B1 (en) 2016-01-06
EP2599328A1 (en) 2013-06-05
WO2012018445A1 (en) 2012-02-09
US20120019689A1 (en) 2012-01-26
US8433076B2 (en) 2013-04-30

Similar Documents

Publication Publication Date Title
CN103026734A (zh) 生成带有可操控零位的波束成形的音频信号的电子装置
US10397722B2 (en) Distributed audio capture and mixing
EP2823631B1 (en) Portable electronic device with directional microphones for stereo recording
CN103004233B (zh) 基于两个或更多宽带麦克风信号生成修改宽带音频信号的电子设备
US9641929B2 (en) Audio signal processing method and apparatus and differential beamforming method and apparatus
CN102948168B (zh) 具有可控制前侧增益和后侧增益的麦克风的电子装置
US9247334B2 (en) Portable electronic device
US9641951B2 (en) System and method for fast binaural rendering of complex acoustic scenes
US9781507B2 (en) Audio apparatus
CN110379439B (zh) 一种音频处理的方法以及相关装置
US8041043B2 (en) Processing microphone generated signals to generate surround sound
Merimaa Applications of a 3-D microphone array
CN110133595A (zh) 一种声源测向方法、装置和用于声源测向的装置
CN111010649A (zh) 拾音器和麦克风阵列
KR102306066B1 (ko) 집음 방법, 장치 및 매체
CN115884038A (zh) 音频采集方法、电子设备及存储介质
US20220214211A1 (en) Acoustic sensor assembly and method of sensing sound using the same
Kratschmer et al. Envelope-based spatial parameter estimation in Directional Audio Coding
Tsingos et al. XY-stereo Capture and Up-conversion for Virtual Reality
KR20180003384A (ko) 입체 음향 캡처링 시스템 및 방법
Bai et al. An Application of Miniature Microphone Arrays to Stereophonic Recording Compatible to Conventional Practice

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171120

Address after: American California

Patentee after: Technology Holdings Co., Ltd of Google

Address before: Illinois State

Patentee before: Motorola Mobility, Inc.