CN102948168B - 具有可控制前侧增益和后侧增益的麦克风的电子装置 - Google Patents

具有可控制前侧增益和后侧增益的麦克风的电子装置 Download PDF

Info

Publication number
CN102948168B
CN102948168B CN201180031070.8A CN201180031070A CN102948168B CN 102948168 B CN102948168 B CN 102948168B CN 201180031070 A CN201180031070 A CN 201180031070A CN 102948168 B CN102948168 B CN 102948168B
Authority
CN
China
Prior art keywords
signal
beam forming
audio signal
gain
rear side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180031070.8A
Other languages
English (en)
Other versions
CN102948168A (zh
Inventor
罗伯特·楚雷克
凯文·巴什迪尔
约耳·克拉克
普拉门·伊万诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google Technology Holdings LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN102948168A publication Critical patent/CN102948168A/zh
Application granted granted Critical
Publication of CN102948168B publication Critical patent/CN102948168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

提供了一种电子装置，该电子装置具有后侧和前侧、生成第一信号(421)的第一麦克风(420)和生成第二信号(431)的第二麦克风(430)。自动均衡控制器(480)基于成像信号(485)来生成均衡化信号(464)。处理器(450)处理第一和第二信号(421,431)，以生成至少一个波束成形音频信号(452,454)，其中，基于该均衡化信号而在处理期间控制波束成形音频信号的前侧增益和后侧增益之间的音频水平差。

Description

具有可控制前侧增益和后侧增益的麦克风的电子装置
技术领域
本发明涉及电子设备，并且更具体地，涉及具有获取空间音频信息的能力的电子设备。
背景技术
近来，具有多媒体能力的便携式电子设备越来越普遍。许多这样的设备包括允许其作为手持式、便携式视听(AV)***进行操作的音频和视频记录功能。例如，具有这样的能力的便携式电子设备的示例包括数字无线蜂窝电话和其他类型的无线通信设备、个人数字助理、数字相机、视频记录器等。
一些便携式电子设备包括能够用于从设备的操作者和/或从记录的对象获取音频信息的一个或多个麦克风。在一些情况下，在设备的不同侧提供两个或更多个麦克风，其中一个麦克风被定位用于记录对象，并且另一麦克风被定为用于记录操作者。然而，因为操作者通常比对象更接近该设备的麦克风，因此从操作者接收到的音频输入的音频水平将经常超过记录的对象的音频水平。结果，操作者将经常以远高于对象的音频水平被记录，除非操作自行调整其音量(例如，非常安静地说话，以避免压过对象音频水平)。该问题在使用全向麦克风碳胶囊(microphone capsule)的设备中尤其严重。
因此，期望提供改善的电子设备，该改善的电子设备具有从可以位于设备的不同侧的超过一个的源(例如，对象和操作者)获取音频信息的能力。还期望提供在这样的设备内的方法和***，该方法和***用于不论两个源与设备的距离如何都以适当的音频水平均衡两个源的音频水平。此外，结合符合以及前述的技术领域和背景，本发明的其他特征和特点从随后的具体描述和随附的权利要求中将是显而易见的。
附图说明
当结合下列附图进行考虑时，可以通过参考具体实施方式和权利要求来得到对本发明的更全面的理解，在附图中，相同的附图标记指代类似的元件。
图1A是根据公开的实施例的一个示例性实施方式的电子装置的前立体图；
图1B是图1A的电子装置的后立体图；
图2A是图1A的电子装置的前视图；
图2B是图1A的电子装置的后视图；
图3是根据所公开的实施例中的一些的电子装置的麦克风和视频相机配置的示意图；
图4是根据所公开的实施例中的一些的电子装置的音频处理***的框图；
图5A是根据所公开的实施例中一些的一种实施方式的由音频处理***所生成的前侧取向的波束成形音频信号的示例性极图；
图5B是根据所公开的实施例中的一些的一个实施方式的由音频处理***生成的后侧取向的波束成形音频信号的示例性极图；
图5C是根据所公开的实施例中的一些的一个实施方式的由音频处理***生成的前侧取向的波束成形音频信号和后侧取向的波束成形音频信号的示例性极图；
图5D是根据所公开的实施例中的一些的另一实施方式的由音频处理***生成的前侧取向的波束成形音频信号和后侧取向的波束成形音频信号的示例性极图；
图5E是根据所公开的实施例中的一些的又一实施方式的由音频处理***生成的前侧取向的波束成形音频信号和后侧取向的波束成形音频信号的示例性极图；
图6是根据其他公开的实施例中的一些的电子装置的音频处理***的框图；
图7A是根据所公开的实施例中的一些的一个实施方式的由音频处理***生成的前侧和后侧取向的波束成形音频信号的示例性极图；
图7B是根据所公开的实施例中的一些的另一实施方式的由音频处理***生成的前侧和后侧取向的波束成形音频信号的示例性极图；
图7C是根据所公开的实施例中的一些的又一实施方式的由音频处理***生成的前侧和后侧取向的波束成形音频信号的示例性极图；
图8是根据其他公开的实施例中的一些的电子装置的麦克风和视频相机配置的示意图；
图9是根据其他公开的实施例中的一些的电子装置的音频处理***的框图；
图10A是根据所公开的实施例中的一些的一个实施方式的由音频处理***生成的左前侧取向的波束成形信号的示例性极图；
图10B是根据其他公开的实施例中的一些的一个实施方式的由音频处理***生成的右前侧取向的波束音频信号的示例性极图；
图10C是根据其他公开的实施例中的一些的一个实施方式的由音频处理***生成的后侧取向的波束成形音频信号的示例性极图；
图10D是根据所公开的实施例中的实施例的一个实施方式的当进行合并以生成立体声输出时由音频处理***生成的前侧取向的波束成形音频信号、右前侧取向的波束成形音频信号以及后侧取向的波束成形音频信号的示例性极图；
图11是根据一些其他实施例的电子装置的音频处理***的框图；
图12A是根据所公开的实施例中的一些的一个实施方式的由音频处理***生成的左前侧取向的波束成形音频信号的示例性极图；
图12B是根据所公开的实施例中的一些的一个实施方式的由音频处理***生成的右前侧取向的波束成形音频信号的示例性极图；
图12C是根据所公开的实施例中的一些的一个实施方式的当合并成立体声信号时的前侧取向的波束成形音频信号和右前侧取向的波束成形音频信号的示例性极图；以及
图13是能够在所公开的实施例的一个实施方式中使用的电子装置的框图。
具体实施方式
本文所使用的词语“示例性”指“作为示例、实例或例证”。下文具体实施方式本质上仅是示例性的，并且并非旨在限定本发明或本发明的应用或使用。此处描述为“示例性”的任何实施例不必被解释为比其他实施例更优选或有利。在具体实施方式中描述的所有实施例是示例性实施例，提供这些实施例，以使得本领域的技术人员能够作出或使用本发明，而并非是为限定由权利要求所限定的本发明的范围。此外，并不意在受前述技术领域、背景、发明内容或下文具体实施方式中所提出的任何明确或隐含理论所限定。
在具体描述根据本发明的实施例之前，应明白的是，实施例主要在于一种具有后侧或前侧、生成第一输出信号的第一麦克风和生成第二输出信号的第二麦克风的电子装置。提供了一种自动均衡控制器，该自动均衡控制器基于成像信号来生成均衡化信号。处理器对第一和第二输出信号进行处理，以生成至少一个波束成形音频信号，其中，基于该均衡化信号，在处理期间控制波束成形音频信号的前侧增益和后侧增益之间的音频水平差。
在参考图3-13描述电子装置之前，将参考图1A-2B来描述电子装置和操作环境的一个示例。图1A是根据所公开的实施例的一个示例性实施方式的电子装置100的前立体图。图1B是电子装置100的后立体图。相对于正在记录对象150的电子装置100的操作者140来说明图1A和图1B中的立体图。图2A是电子装置100的前视图，并且图2B是电子装置100的后视图。
电子装置100可以是具有多媒体记录能力的任何类型的电子装置。例如，电子装置100可以是具有音频/视频记录能力的任何类型的便携式电子装置，包括摄录机、静物相机、个人媒体记录器和播放器或者便携式无线计算设备。本文所使用的术语“无线计算设备”指设计成通过无线信道经由空中接口与基础设施设备进行通信的任何便携式计算机或其他硬件。无线计算设备是“便携式的”并且可能是移动的或“漫游”的，这意味着无线计算设备能够在物理上到处移动，但是在任何给定时间可以是移动或静止的。无线计算设备可以是多种类型的移动计算设备的任何一种，其包括但不限于，移动站(例如，蜂窝电话手机、移动无线电装置、移动计算机、手持方或膝上型设备以及个人计算机、个人数字助理(PDA)等)、接入终端、订户站、用户装置或配置成经由无线通信进行通信的任何其他设备。
电子装置100具有壳体102、104、左侧部分101和与左侧部分101相对的右侧部分103。壳体102、104具有在y方向上扩展的宽度尺寸、在x方向上扩展的长度尺寸、以及在z方向(进入和离开页面)上扩展的厚度尺寸。后侧以+z方向进行取向，并且前侧以-z方向进行取向。当然，如当电子装置被重新取向时，可以改变“右”“左”“宽”和“长”的指定。为了方便而给出当前指定。
更具体地，壳体包括在装置100的操作者侧或后侧上的后壳体102以及在装置100的对象侧或前侧的前壳体104。对后壳体102和前壳体104进行装配以形成用于各种组件的附件，各种组件包括电路板(未示出)、耳机扬声器(未示出)、天线(未示出)、视频相机110以及包括耦合到电路板的麦克风120、130、170的用户接口107。
壳体包括用于视频相机110以及麦克风120、130、170的多个端口。具体地，后壳体102包括用于后侧麦克风120的第一端口，并且前壳体104具有用于前侧麦克风130的第二端口。第一端口和第二端口共享轴。第一麦克风120沿着该轴布置并且在后壳体102的第一端口处/附近，并且第二麦克风130沿着与第一麦克风120相对的轴布置并且在前壳体104的第二端口处/附近。
可选地，在一些实施例中，装置100的前壳体104可以包括在用于另一麦克风170的前壳体104中的第三部分以及用于视频相机110的第四部分。第三麦克风170布置在第三端口处/附近。视频相机110位于前侧上并且因此以前壳体104的相同方向进行取向，与操作者相对，以允许当相机正在记录对象时获取对象的图像。通过第一端口和第二端口的轴与位于前壳体上的视频相机110的视频框的中心对齐。
左侧部分101由后壳体102和前壳体104来限定并且在后壳体102和前壳体104之间进行共享，并且以与后壳体102和前壳体104基本上垂直的+y方向进行取向。右侧部分103与左侧部分101相对，并且由后壳体102和前壳体104来限定并且在后壳体102和前壳体104之间进行共享。右侧部分103以与后壳体102和前壳体104基本上垂直的-y方向进行取向。
图3是根据所公开的实施例中的一些的电子装置的麦克风和视频相机配置300的示意图。配置300参考笛卡尔坐标系被示出并且包括关于前侧麦克风230和视频相机210的后侧麦克风220的相对位置。麦克风220、230位于公共z轴或者沿着公共z轴取向，并且沿着90度和270度的线以180度分离。第一物理麦克风元件220处于便携式电子装置100的操作者或后侧上。y轴沿着0度和180度的线取向，并且x轴垂直于向上方向的y轴和z轴取向。相机210位于沿着y轴定位，并且以朝着如前侧麦克风230的设备前方的对象的–z方向指向页面里。对象(未示出)应该位于前侧麦克风230的前方，并且操作者(未示出)应该位于后侧麦克风220的后方。这些麦克风进行取向的该方式使得它们能够从拍摄视频的操作者以及从视频相机210正在记录的对象捕捉音频信号或声音。
物理麦克风220、230能够是任何已知类型的物理麦克风元件，包括全向麦克风、定向麦克风、压强式麦克风、压差式麦克风或者将声音转换成电音频信号等的任何其他声至电转换器或传感器等。在一个实施例中，在该实施例中物理麦克风元件220、230是全向物理麦克风元件(OPME)，它们将或多或少具有从所有方向同等地感测/获取进入声音的全向极向模式。在一个实施例中，物理麦克风220、230可以是使用诸如延迟和加总(或者延迟和差分)的波束成形技术进行处理的麦克风阵列的一部分，以基于由物理麦克风220、230生成的输出来建立指向模式。
现在将参考图4-5E，与操作者相对应的后侧增益能够被控制，并且相对于对象的前侧增益而衰减，使得操作者音频水平不压过对象音频水平。
图4是根据所公开的实施例中的一些的电子装置100的音频处理***400的框图。
音频处理***400包括麦克风阵列，该麦克风阵列包括响应于进入声音而生成第一信号421的第一麦克风420、以及响应进入声音而生成第二信号431的第二麦克风430。这些电子信号通常是与在麦克风处捕捉到的声压相对应的电压信号。
第一滤波模块422被设计成对第一信号421进行滤波，以生成第一相位延迟的音频信号425(例如，第一信号421的相位延迟的版本)，并且第二滤波模块432被设计成对第二信号431进行滤波，以生成第二相位延迟的音频信号435。虽然第一滤波模块422和第二滤波模块432被示出为与处理器450分离，但是应该注意，在其他实施方式中，第一滤波模块422和第二滤波模块432可以按照由虚线矩形440所指示的在处理器450内被实现。
自动均衡控制器480基于成像信号485来生成均衡化信号464。根据该实施方式，能够从多个不同源中的任何一个提供成像信号485，如下文更加详细地描述。在一个实施方式中，视频相机110耦合到自动均衡控制器480。
处理器450接收多个输入信号，包括第一信号421、第一相位延迟音频信号425、第二信号431以及第二相位延迟音频信号435。处理器450基于均衡化信号464(并且可能基于诸如均衡化选择信号465或AGC信号462的其他信号)来处理这些输入信号421、425、431和435，以生成前侧取向的波束成形音频信号452以及后侧取向的波束成形音频信号454。如下文所描述，能够使用均衡化信号464来在波束成形处理期间，控制在前侧取向的波束成形音频信号452的前侧增益和后侧取向的波束成形音频信号454的后侧增益之间的音频水平差。这允许关于操作者取向的虚拟麦克风的对象取向的虚拟麦克风的音频水平的控制。由处理器450执行的波束成形处理可以是延迟和加总处理、延迟和差分处理或者用于基于麦克风输入信号生成方向模式的任何其他已知波束成形处理技术。用于生成这样的一阶波束成形的技术在现有技术是已知的，并且在此不描述。一阶波束成形是以其方向特性遵循形式A+Bcos(θ)的那些，其中A和B是表示波束成形信号的全向和双向分量，并且θ是声波入射角度。
在一个实施方式中，均衡化信号464可以用于确定后侧取向的波束成形音频信号454的第一增益相对于前侧取向的波束成形音频信号452的第二增益的比率。换言之，均衡化信号464将确定第一增益相对于第二增益的相对权重，使得在波束成形音频信号452、454的回放期间，从前侧音频输出发出的声波相对于从后侧音频输出发出的其他声波被增强。在处理期间，可以基于均衡化信号464来控制后侧取向的波束成形音频信号454相对于前侧取向的波束成形音频信号452的相对增益。这样做，在一个实施方式中，后侧取向的波束成形音频信号454的增益和/或前侧取向的波束成形音频信号452的增益可能是变化的。例如，在一个实施方式中，调整后部或前部，使得它们基本上被均衡，使得操作者音频将不会相对于对象音频占主要地位。
在一个实施方式中，处理器450可以包括接收输入信号和均衡化信号464的查找表(LUT)，并且生成前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号454。LUT是根据均衡化信号464的这些值生成不同信号452、454的值的表。
在另一实施方式中，处理器450被设计成基于输入信号421、425、431、435和均衡化信号464来处理等式，以生成前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号454。该等式包括用于第一信号421、第一相位延迟音频信号425、第二信号431和第二相位延迟音频信号435的系数，并且可以基于均衡化信号454来调整或控制这些系数的值，以生成增益调整的前侧取向的波束成形音频信号452和/或增益调整的后侧取向的波束成形音频信号454。
现将参考图5A至图5E来描述增益控制的示例。初步地，应该注意的是，在下文描述的这些极图的任何一个中，信号量级被线性地标绘，以示出具体信号的方向或角度响应。此外，在下文示例中，为了说明一个示例，可以假定对象通常位于大约90°处而操作者位于大约270°处。图5A-5E中所示的方向图案是通过形成平面的方向响应的切片，如位于图1的电子装置100的上方正在俯视的观测者所观察到的，其中图3中的z轴与90°-270°线相对应，并且图3中的y轴与0°-180°线相对应。
图5A是根据所公开的实施例中的一些的一个实施方式的由音频处理***400生成的前侧取向的波束成形音频信号452的示例性极图。如图5A中所示，前侧取向的波束成形音频信号452具有一阶心型方向图案，其以-z方向取向或在-z方向取向上指向对象或者在该设备前方。该一阶方向图案具有最多90度并且具有对来源于对象方向的声音相对强的方向敏感性。前侧取向的波束成形音频信号452在指向正在记录该对象的操作者(在+z方向上)的270度处具有零值，这指示对来源于操作者方向的声音几乎没有或者没有方向敏感性。换言之，前侧取向的波束成形音频信号452加强从设备前方发出的声波，而对朝着设备后方取向具有零值。
图5B是根据所公开的实施例中的一些的一个实施方式的由音频处理***400生成的后侧取向的波束成形音频信号454的示例性极图。如图5B中所示，后侧取向的波束成形音频信号454也具有一阶心型方向图案，但是其指向或者朝着在该设备后面的+z方向上的操作者进行取向，并且具有最大270度。这指示了存在对来源于操作者方向的声音的强方向敏感性。后侧取向的波束成形音频信号454也具有指向对象(在-z方向)的零值(在90度)，这指示了对来源于对象的方向的声音具有几乎没有或没有方向敏感性。换言之，后侧取向的波束成形音频信号454加强从设备后方发出的声波，并且具有朝着设备前方取向的零值。
虽然在图4中未示出，但是在一些实施例中，能够将波束成形音频信号452、454合并成能够被发射和/或记录的单声道音频输出信号。为了便于说明，将前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号454的响应一起示出，但是应该注意的是，并不意在必需暗示必须合并波束成形音频信号452、454。
图5C是根据所公开的实施例中的一些的一个实施例的由音频处理***400生成的前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号454-1的示例性极图。与图5B相比，图5C中示出的操作者的虚拟麦克风的方向响应相对于对象的虚拟麦克风的方向响应已经衰减，以避免操作者音频水平压过对象音频水平。这些设置可以在对象可以位于如均衡化信号464所指示的电子装置100相对近距离的情况中使用。
图5D是根据一些公开实施例的另一实施方式的由音频处理***400生成的前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号452-2的示例性极图。与图5C相比，图5D中示出的操作者的虚拟麦克风的方向响应相对于对象的虚拟麦克风的方向响应衰减得甚至更多，以避免操作者音频水平压过对象音频水平。这些设置能够在对象位于如均衡化信号464所指示的距电子装置100相对中间距离处的情况中进行使用。
图5E是根据所公开的实施例中的又一实施例的由音频处理***400生成的前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号454-3的示例性极图。与图5D相比，在图5E中示出的操作者虚拟麦克风的方向响应相对于对象的虚拟麦克风的方向响应设置衰减得甚至更多，以避免操作者音频水平压过对象音频水平。这些设置可以在对象位于如均衡化信号464指示的距电子装置100相对远的距离处的情况中进行使用。
因此，图5C-5E通常示出了在处理期间均衡化信号464来控制或调整后侧取向的波束成形音频信号454相对于前侧取向的波束成形音频信号452的相对增益。控制第一和第二波束成形音频信号452、454的增益的比率的方式使得一方不会相对于另一方占主要地位。
在一个实施方式中，可以相对于第二波束成形音频信号454的增益增加第一波束成形音频信号452的相对增益，使得与操作者相对应的音频水平小于或等于与对象相对应的音频水平(例如，对象音频水平与操作者音频水平的比率大于或等于一)。这是用于调整该处理使得操作者的音频水平将不压过对象的另一方式。
虽然图5A至图5E示出的波束成形音频信号452、454都是波束成形是一阶心型方向波束成形图案，该一阶心型方向波束成形图案是后侧取向的或前侧取向的，但是本领域的技术人员应该理解的是，波束成形音频信号452、454没有必要限于具有这些具体类型的一阶心型方向图案，并且它们被示出以说明一个示例性的实施方式。换言之，虽然方向图案是心型的，但是并不必暗示波束成形音频信号限于具有心型形状，而是可以具有与诸如偶极、超心型、超级心型等的一阶方向波束成形图案相关联的任何其他形状。根据均衡化信号464，方向图案能够从接近心型波束成形至接近双向波束成形、或者从接近心型波束成形至接近全方向波束成形的范围。替代地，可以代替一阶方向波束成形而是用更高阶方向波束成形。
此外，虽然将波束成形音频信号452、454示出为具有心型方向图案，本领域的技术人员应该理解的是，这些仅是数学上的理想示例，并且在一些实际实施方式中，没有必要实现这些理想的波束成形图案。
如上所述，均衡化信号464、均衡选择信号465和/或AGC信号462可以用于在波束成形处理期间控制在前侧取向的波束成形音频信号452的前侧增益与后侧取向的波束成形音频信号454的后侧增益之间的音频水平差。对于各种实施方式，将在下文更加详细地描述这些信号中的每一个。
均衡化信号和可以用于生成该均衡化信号的成像控制信号的示例
用于确定均衡化信号464的成像信号485可以根据实施方式而变化。例如，在一些实施例中，自动均衡控制器480可以是耦合到视频相机110的视频控制器(未示出)，或者能够耦合到视频控制器，该视频控制器耦合到视频相机110。将成像信号485发送到自动均衡控制器480，以生成可以根据(或者基于)(1)用于视频相机110的变焦控制信号、(2)用于视频相机110的焦距、或者(3)视频相机110的视频帧的视野中的一个或多个确定的均衡化信号464。这些参数中的任何一个都能够单独使用或者与其他合并，以生成均衡化信号464。
基于变焦控制的均衡化信号
在一些实施方式中，使用视频相机110的物理视频变焦来确定或设置在前侧增益和后侧增益之间的音频水平差。以这种方式，视频变焦控制能够与相对应的“音频变焦”关联。在多数实施例中，能够假定窄变焦(或高变焦值)与对象和操作者之间的远距离相关，而能够假定宽变焦(或低变焦值)与对象和操作者之间的更近距离相关。这样，在前侧增益和后侧增益之间的音频水平差随着变焦控制信号增加或者随着视野角度变窄而增加。通过比较，在前侧增益和后侧增益之间的音频水平差随着变焦控制信号减少或者随着视野角度变宽而减小。在一个实施方式中，在前侧增益和后侧增益之间的音频水平差能够根于变焦控制信号的具体值的查找表来确定。在另一实施方式中，在前侧增益和后侧增益之间的音频水平差能够根据将变焦控制信号的值与距离相关的函数来确定。
在一些实施例中，均衡化信号464可以是用于视频相机110的变焦控制信号(或者能够基于用于发送到自动均衡控制器480的视频相机110的变焦控制信号而得到)。变焦控制信号可以是控制视频相机明显的视角的数字变焦控制信号、或者控制相机中的镜头位置的光学/模拟变焦控制信号。在一个实施方式中，可以对变焦控制信号的具体值(或者值的范围)指定预先设置的一阶波束成形值，以确定适当的对象至操作者音频混合。
在一些实施例中，可以通过用户界面(UI)来控制用于视频相机的变焦控制信号。使用任何已知的视频变焦UI方法都可以用于生成变焦控制信号。例如，在一些实施例中，操作者可以通过操作者的眼睛跟踪，经由一对按钮、摇杆控制、虚拟控制等来在包括拖动的选择区域的设备的显示器上控制视频变焦。
基于焦距和基于视野的均衡化信号
能够从用于视频相机110的视频控制器或该设备中的任何其他距离确定电路获取从相机110至对象150的焦距信息。这样，在其他实施方式中，视频相机110的焦距可以用于设置在前侧增益和后侧增益之间的音频水平差。在一个实施方式中，均衡化信号464可以是由视频控制器发送到自动均衡控制器480的视频相机110的计算的焦距。
在其他实施方式中，可以基于计算并且发送到自动均衡控制器480的视频相机110的视频帧的视场来设置在前侧增益和后侧增益之间的音频水平差。
接近基于均衡化信号
在其他实施方式中，均衡化信号464能够基于估计、测量或感测的在操作者和电子装置100之间的距离，和/或基于估计、测量或感测的在对象和电子装置100之间的距离。
在一些实施例中，电子装置100包括接近传感器(红外线、超声波等)、接近检测电路或者能够是作为成像信号485提供的接近信息的源的其他类型距离测量设备(未示出)。例如，前侧接近传感器能够生成与在视频对象150和装置100之间的第一距离相对应的前侧接近传感器信号，并且后侧接近传感器能够生成与在相机110操作者140和装置100之间的第二距离相对应的后侧接近传感器信号。发送到自动均衡控制器480以生成均衡化信号464的成像信号485基于前侧接近传感器信号和/或后侧接近传感器信号。
在一个实施例中，均衡化信号464能够根据估计、测量或感测的距离信息来确定，该距离信息指示在电子装置100和由视频相机110正在记录的对象之间的距离。在另一实施例中，均衡化信号464能够根据第一距离信息与第二距离信息的比率来确定，其中，第一距离信息指示估计、测量或感测的在电子装置100和由视频相机110正在记录的对象150之间的距离，并且其中，第二距离信息指示估计、测量或感测的在电子装置100和视频相机110的操作者140之间的距离。
在一个实施方式中，能够将第二(操作者)距离信息设置为相机的操作者通常位于的固定距离(例如，基于普通人以预测的使用模式手持该设备)。在这样的实施例中，自动均衡控制器480假定相机操作者与这些装置相距预定距离，并且生成均衡化信号464以反映该预定距离。基本上，因为她的距离应该保持相对恒定，并且然后前侧增益能够按照需要增加或减小，所以这允许将固定增益指派给操作者。如果对象音频水平超过音频***的可用水平，则对象音频水平将被设置为接近最大值，并且操作者音频水平应该被衰减。
在其他实施方式中，可以将预先设置的一阶波束成形值指派给距离信息的具体值。
均衡选择信号
如上所述，在一些实施方式中，自动均衡控制器480生成由处理器450处理的均衡选择信号465以及输入信号421、425、431、435，以生成前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号454。换言之，均衡化选择信号465还能够在波束成形处理期间使用，以控制在前侧取向的波束成形音频信号452的前侧增益和后侧取向的波束成形音频信号454的后侧增益之间的音频水平差。均衡化选择信号465可以引导处理器450以相对方式(例如，前侧增益和后侧增益之间的比率)或直接方式(例如，使后侧增益衰减所给值，或者使前侧增益增加到所给值)来设置音频水平差。
在一个实施方式中，均衡化选择信号465用于将在前侧增益和后侧增益之间的音频水平差设置成预定值(例如，在前侧增益和后侧增益之间的X dB差)。在另一实施方式中，可以基于均衡化选择信号465来在处理期间将前侧增益和/或后侧增益设置成预定值。
自动增益控制反馈信号
自动增益控制(AGC)模块460是可选的。AGC模块460接收前侧取向的波束成形音频信号452和后侧取向的波束成形音频信号454，并且基于信号452、454来生成AGC反馈信号462。根据实施方式，AGC反馈信号462可以用于调整或修改均衡化信号464本身，或者替代地，可以结合均衡化信号464和/或均衡选择信号465使用来调整由处理器450生成的前侧取向的波束成形音频信号452和/或后侧取向的波束成形音频信号454的增益。
不论在对象/操作者和电子装置100之间的距离变化或者对象和操作者的实际音频水平的变化如何(例如，如果对象或操作者开始尖叫或低语)，AGC反馈信号462用于保持对象音频水平与基本恒定的操作者音频水平的时间平均比率。在一个具体实施方式中，对象和操作者的时间平均比率随着视频被放大而增加(例如，随着变焦控制信号的值的变化)。在另一实施方式中，后侧取向的波束成形音频信号454的音频水平独立于前侧取向的波束成形音频信号452的音频水平而被保持在恒定时间平均水平独立。
图6是根据所公开的实施例中的一些的电子装置100的音频处理***600的框图。图6与图4相似，并且因为为了简洁，图4的这种公共特征将不再进行描述。
该实施例与图4的不同之处在于***600输出包括对象和操作者音频的单个波束成形音频信号652。
更具体地，在图6中示出的实施例中，基于均衡化信号664来处理提供给处理器650的各种输入信号，以生成单个波束成形音频信号652，其中基于均衡化信号664(并且可能基于诸如均衡化选择信号665和/或AGC信号662的其他信号)在处理期间控制波束成形音频信号652的前侧取向瓣652-A的前侧增益(图7)和后侧取向瓣652-B的后侧增益(图7)之间的音频水平差。可以基于均衡化信号664来在处理期间控制或调整后侧取向瓣652-B相对于前侧取向瓣652-A的相对增益，以设置在每个瓣的增益之间的比率。换言之，主瓣652-A的最大增益值和旁瓣652-B的最大增益值形成将对象音频水平的期望比率反应到操作者音频水平的比率。以该方式，能够控制波束成形音频信号652，以相对于从该设备后方发出的声波来加强该设备前方发出的声波。在一个实施方式中，波束成形音频信号652的波束成形加强前侧音频水平和/或不加强后侧音频水平，使得前侧音频水平的处理版本至少等于后侧音频水平的处理版本。在该实施例中还可以利用上述均衡化信号664中的任何一个。
现在将参考图7A至图7C来描述增益控制的示例。图7A-7C中示出的方向图案是位于图1的电子装置100的上方的正在俯视的观察者所观测到的方向响应的水平平面切片，其中，图3中的z轴与90°-270°线相对应，图3中的y轴与0°-180°线相对应。
图7A是根据所公开的实施例中的一些的一个实施方式的由音频处理***600生成的前侧至后侧取向的波束成形音频信号652-1的示例性极图。如图7A中所示，前侧和后侧取向的波束成形音频信号652-1具有一阶方向图案，一阶方向图案具有取向为或者指向在–z方向上或设备前方的对象的前侧取向的主瓣652-1A并且具有指向或取向为该设备的+z方向的后侧取向的旁瓣652-1B，并且具有最大270度。一阶方向图案具有最大90度，并且对于从对象方向源发的声音具有相对强的方向敏感性、以及对从操作者的方向源发的声音的减少方向敏感性。换言之，前侧和后侧取向的波束成形音频信号652-1加强从设备前方发出的声波。
图7B是根据所公开的实施例中的一些的另一实施方式的由音频处理***600生成的前侧和后侧取向的波束成形音频信号652-2的示例性极图。与图7A相比，取向为或指向对象的前侧取向的主瓣652-2A在宽度上增加，并且指向或取向为操作者的后侧取向的旁瓣652-2B的增益减少。这指示图7B中示出的操作者虚拟麦克风的方向响应相对于对象的虚拟麦克风的方向响应已经被衰减，以避免操作者音频水平压过对象音频水平。这些设置能够用于对象位于比图7A中距电子装置100相对更远距离的情况使用，如在均衡化信号664中所反映的。
图7C是仍根据所公开的实施例中的一些的又一实施方式的由音频处理***600生成的前侧和后侧取向的波束成形音频信号652-3的示例性极图。与图7B相比，取向为或指向对象的前侧取向的主瓣652-3A在宽度上增加了更多，并且朝着操作者取向的后侧取向的旁瓣652-3B的增益更进一步减少。这指示图7C中示出的操作者的虚拟麦克风的方向响应相对于对象的虚拟麦克风的方向响应变得更弱，以避免操作者音频水平压过对象音频水平。这些设置能够用于对象位于比图7B中距电子装置100相对更远的距离的情况，如均衡化信号664中所放映的。
图7A-7C所示的示例示出了随着对象进一步远离装置100时，如在均衡化信号664中所反映的，前侧和后侧取向的波束成形音频信号652的波束成形响应。随着对象进一步远离，前侧取向的主瓣652-1A相对于后侧取向的旁瓣652-1B增加，并且前侧取向的主瓣652-1A的宽度随着前侧取向的主瓣652-1A和后侧取向的旁瓣652-1B之间的相对增益差增加而增加。
此外，图7A-7C通常还示出了可以基于均衡化信号664而在处理期间控制或调整前侧取向的主瓣652-1A相对于后侧取向的旁瓣652-1B的相对增益。以该方式，能够控制前侧取向的主瓣652-1A相对于于后侧取向的旁瓣652-1B的增益的比率，使得一个相对于另一个不占主要地位。
如上述，在一个实施方式中，可以增加前侧取向的主瓣652-1A相对于后侧取向的旁瓣652-1B的相对增益能够，使得与操作者相对应的音频水平小于或等于与对象相对应的音频水平(例如，对象音频水平与操作者音频水平的比率大于或等于一)。以该方式，操作者的音频水平不压过对象的音频水平。
虽然利用一阶方向波束成形图案来波束成形图7A至7C所示的波束成形音频信号652，但本领域的技术人员将理解的是，波束成形音频信号652不必限于一阶方向图案，并且它们被示出为图示一个示例性实施方式。而且，这里示出的一阶方向波束成形图案在侧面具有零值并且在双向和心型的波束成形图案之间具有指向性索引，但是一阶方向波束成形能够具有相同前后增益比率，并且在心型和全向波束成形图案的一阶方向波束成形之间具有指向性索引，导致在侧面没有零值。而且，虽然波束成形音频信号652被示出为具有数学上理想的方向图案，但是本领域的技术人员将理解的是，这些仅是示例，并且在实际实施方式中，不必实现这些理想化的波束成形图案。
图8是根据其他公开实施例中的一些的电子装置的麦克风和视频相机配置800的示意图。在图3中，参考笛卡尔坐标系示出了配置800。在图8中，示出了后侧麦克风820、前侧麦克风830、第三麦克风870和前侧视频相机810的相对位置。麦克风820、830沿着公共z轴进行定位或取向，并且沿着在90度和270度的线被分开180度。第一物理麦克风元件820在便携式电子装置100的操作者或后侧上，并且第二物理麦克风元件830在电子装置100的对象或前侧上。第三麦克风870沿着y轴进行定位，并且沿着大约180度的线进行取向，并且x轴被取向为与y轴垂直，并且z轴处于向上方向上。视频相机810还定沿着y轴进行定位，并且与麦克风830相同，朝着设备前方的对象的-z方向指向页面中。对象(未示出)可以位于前侧麦克风830的前方，并且操作者(未示出)可以位于后侧麦克风820的后方。以该方式对麦克风进行取向，使得其能够从拍摄视频的操作者以及从由视频相机810正在记录的对象捕捉音频信号或声音。
如图3中所示，这里描述的物理麦克风820、830、870可以是任何类型的物理麦克风元件，包含全向麦克风、定向麦克风、压强式麦克风、压差式麦克风等。物理麦克风820、830、870可以是麦克风阵列的一部分，使用诸如延迟和加总(或者延迟和差分)的波束成形技术来进行处理，以基于由物理麦克风820、830、870生成的输入来建立方向图案。
如现在将参考图9-10D来进行描述，可以相对于与对象相对应的虚拟麦克风元件的左前侧和右前侧增益来控制和衰减与操作者相对应的虚拟麦克风元件的后侧增益，使得操作者音频水平不压过对象音频水平。此外，由于这三个麦克风允许方向图案在yz平面中以任何角度被创建，所以左前侧和右前侧虚拟麦克风元件以及后侧虚拟麦克风元件能够允许创建对象的立体声或环绕记录，同时允许记录操作者的旁白。
图9是根据所公开的实施例中的一些的电子装置100的音频处理***900的框图。
音频处理***900包含麦克风阵列，麦克风阵列包括响应于进入声音而生成第一信号921的第一麦克风920、响应于进入声音而生成第二信号931的第二麦克风930以及响应于进入声音而生成第三信号971的第三麦克风970。这些输出信号通常是与在麦克风处捕捉到的声压相对应的电(例如，电压)信号。
第一滤波模块922被设计成对第一信号921进行滤波，以生成第一相位延迟音频信号925(例如，第一信号921的相位延迟版本)、第二滤波模块932被设计成对第二电信号931进行滤波，以生成第二相位延迟音频信号935，并且第三滤波模块972被设计成对第三电信号971进行滤波以生成第三相位延迟音频信号975。如上文参考图4所描述的，虽然第一滤波模块922、第二滤波模块932和第三滤波模块972被示作与处理器950分离，应当注意，在其他实施方式中，可以在处理器950内实现第一滤波模块922、第二滤波模块932和第三滤波模块972，如虚线矩形940所指示的。
自动均衡控制器980使用上文参考图4所描述的任何一项技术基于成像信号985来生成均衡化信号964。这样，根据该实施方式，可以从多个不同源中的任何一个提供成像信号985，如上文将更具体描述的。在一个实施方式中，视频相机810耦合到自动均衡控制器980。
处理器950接收多个输入信号，包括第一信号921、第一相位延迟音频信号925、第二信号931、第二相位延迟音频信号935、第三信号971以及第三相位延迟音频信号975。处理器950基于均衡化信号964(并且可能基于诸如均衡化选择信号965或AGC信号926的其他信号)来处理这些输入信号921、925、931、935、971、975，以生成分别与左“对象”声道、右“对象”声道和后“操作者”声道相对应的左前侧取向的波束成形音频信号952、右前侧取向的波束成形音频信号954以及后侧取向的波束成形音频信号956。如下文将描述的，均衡化信号964可以用于在波束成形处理期间控制在前侧取向的波束成形音频信号952的左前侧增益、右前侧取向的波束成形音频信号954的右前侧增益以及后侧取向的波束成形音频信号956的后侧增益之间的音频水平差。这允许控制对象虚拟麦克风相对于操作者虚拟麦克风的音频水平。可以基于麦克风输入信号，使用用于生成方向图案的任何已知的波束成形处理技术来执行由处理器950执行的波束成形处理。在图10A-B提供了下述示例，其中主瓣不再以90度取向，而是在大约90度的对称角度进行取向。当然，可以基于标准波束成形技术来将主瓣可以引导为其他角度。在该示例中，每个虚拟麦克风的零值集中在270度，以抑制来自在设备后侧的操作者的信号。
在一个实施方式中，均衡化信号964可以用于确定后侧取向的波束成形音频信号956的第一增益相对于左前侧取向的波束成形音频信号952的主瓣952-A(图10)的第二增益以及右前侧取向的波束成形音频信号954的主瓣954-A(图10)的第三增益的比率。换言之，均衡化信号964将确定第一增益相对于第二增益和第三增益的相对权重，使得相对于从后侧发出的其他声波而加强从左前侧和右前侧发出的声波。可以基于均衡化信号964而在处理期间控制后侧取向的波束成形音频信号956相对于左前侧取向的波束成形音频信号952和右前侧取向的波束成形音频信号954的相对增益。为此，在一个实施方式中，后侧取向的波束成形音频信号的第一增益和/或左前侧取向的波束成形音频信号952的第二增益和/或左前侧取向的波束成形音频信号954的第三增益可以改变。例如，在一个实施方式中，调整后增益和前增益，使得它们基本被均衡，从而操作者音频将不会相对于对象的音频占主要地位。
在一个实施方式中，处理器950能够包括查找表(LUT)，该查找表(LUT)接收收入信号921、925、931、935、971、975和均衡化信号964，并且生成左前侧取向的波束成形音频信号952、右前侧取向的波束成形音频信号954和后侧取向的波束成形音频信号956。在另一实施方式中，处理器950被设计成基于输入信号921、925、931、935、971、975和均衡化信号964来处理等式，以生成左前侧取向的波束成形音频信号952、右前侧取向的波束成形音频信号954以及后侧取向的的波束成形音频信号956。该等式包括用于第一信号921、第一相位延迟音频信号925、第二信号931、第二相位延迟音频信号935、第三信号971和第三相位延迟音频信号975的系数，并且能够基于均衡化信号964来调整或控制这些系数的值，以生成增益调整的左前侧取向的波束成形音频信号952、增益调整的右前侧取向的波束成形音频信号954和/或增益调整的右侧取向的波束成形音频信号956。
现在将参考图10A-10D来描述增益控制的示例。与上文的其他示例性示图类似，图10A-10D中示出的方向图案是位于图1的电子装置100的上方的正在俯视的观察者所观测到的方向响应的水平平面表示，其中图8中的z轴与90°-270°线相对应，并且图8中的y轴与0°-180°线相对应。
图10A是根据所公开的实施例中的一些的一个实施方式由音频处理***900生成的左前侧取向的波束成形音频信号952的示例性极图。如图10A中所示，左前侧取向的波束成形音频信号952具有一阶方向图案，该一阶方向图案取向为或指向在+y方向和-z方向之间的设备的前方的角度的对象。在该具体示例中，左前侧取向的波束成形的音频信号952具有第一主瓣952-A以及第一旁瓣952-B。第一主瓣952-A被取向为所记录的对象的左侧，并且具有左前侧增益。该一阶方向图案在大约150度处具有最大值，并且对于从朝着装置100的对象的左侧方向源发的声音具有相对强的方向敏感性。左前侧取向的波束成形音频信号952也在指向操作者(在+z方向上)的270度处具有零值，这指示对于从操作者的方向源发的声音具有降低的方向敏感性。左前侧取向的波束成形音频信号952也其指向或取向为正在所记录的对象的右侧的90度处的右侧具有零值，这指示对于从对象的右侧的方向源发的声音具有减少的方向敏感性。换言之，左前侧取向的波束成形音频信号952加强从左前发出的声波，并且包括朝着后壳体和操作者取向的零值。
图10B是根据所公开的实施例中的一些的一个实施方式的由音频处理***900生成右前侧取向的波束成形音频信号954的示例性极图。如图10B中所示，右前侧取向的波束成形音频信号954具有一阶方向图案，该一阶方向图案被取向为或指向在-y方向和-z方向之间的设备的前方的角度处的对象。在该具体示例中，右前侧取向的波束成形音频信号954具有第二主瓣954A和第二旁瓣954-B。第二主瓣954-A具有右前侧增益。具体地，该一阶方向图案在大约30度具有最大值，并且从朝着装置100的对象的右侧的方向源发的声音具有相对强的方向敏感性。右前侧取向的波束成形音频信号954在指向记录对象的操作者(在+z方向上)的270度处具有零值，这指示对于从操作者的方向源发的声音存在减少的方向敏感性。右前侧取向的波束成形音频信号954在朝着所记录的对象的左侧取向的90度的左侧也具有零值，这指示对于从对象的左侧的方向源发的声音存在减少的方向敏感性。换言之，右前侧取向的波束成形音频信号954加强从前右发出的声波，并且包括朝着后壳体和操作者取向的零值。本领域的技术人员应理解，这些仅是示例性的，并且主瓣的最大值的角度可以基于视频框的角宽度而改变，然而，在270度处保持的零值有助于抵消从设备后的操作者发出的声音。
图10C是根据所公开的实施例中的一些的一个实施方式的由音频处理***900生成的后侧取向的波束成形音频信号956的示例性极图。如在图10C中所示，后侧取向的波束成形音频信号956具有一阶心型方向图案，该一阶心型方向图案在装置100后方在+z方向上指向操作者或者朝着操作者取向，并且在270度处具有最大值。后侧取向的波束成形音频信号956具有后侧增益，并且对于从操作者的方向源发的声音具有相对强的方向敏感性。后侧取向的波束成形音频信号956也具有指向对象(在z方向上)的零值9(在90度)，这指示对于从对象的方向源发的声几乎没有或没有方向敏感性。换言之，后侧取向的波束成形音频信号956加强从壳体的后面发出的声波，并且朝向壳体的前方具有零值。
虽然在图9中未示出，但是在一些实施例中，波束成形音频信号952、954、956能够被合并成能够被发射和/或记录的单个输出信号。替代地，该输出信号可以是双声道立体声信号或者多声道环绕信号。
图10D是当合并以生成多声道环绕信号输出时左前侧取向的波束成形音频信号952、右前侧取向的波束成形音频信号954和后侧取向的波束成形音频信号956-1的示例性极图。虽然在图10D中一起示出了左前侧取向的波束成形音频信号952、右前侧取向的波束成形音频信号954和后侧取向的波束成形音频信号956-1的响应，应当注意，这并不意在有必要暗示波束成形音频信号952、954、956-1在所有实施方式中必须被组合。与图10C相比，后侧取向的波束成形音频信号956-1的增益已经降低。
如图10D中所示，图10C中所示的操作者的虚拟麦克风的方向响应可以相对于对象的虚拟麦克风的方向响应而被减少，以避免操作者的音频水平压过对象的音频水平。可以基于均衡化信号964而在处理期间控制或调整后侧取向的波束成形音频信号956-1相对于前侧取向的波束成形音频信号952、954的相对增益能够被控制或调整，以考虑对象或操作者距电子装置100的距离。在一个实施方式中，基于均衡化信号964而在处理期间控制在右前侧增益、左前侧增益和后侧增益之间的音频水平。通过基于均衡化信号964来改变虚拟麦克风的增益，可以控制波束成形音频信号952、954、956的增益比率，使得一个不压过另一个。
在左前侧取向的波束成形音频信号952和右前侧取向的波束成形音频信号954的每一个中，零值可以集中于后侧(或操作者)，以取消操作者的音频。对于立体声输出实施方式，朝着操作者取向的后侧取向的波束成形音频信号956能够与每个输出声道(与左前侧取向的波束成形音频信号952和右前侧取向的波束成形音频信号954相对应)混合，以捕捉操作者的旁白。
虽然图10A和10B中所示的波束成形音频信号952、954具有具体的一阶方向图案，并且虽然波束成形音频信号956根据后侧取向的心型方向波束成形图案而进行波束成形，本领域的技术人员应理解的是，波束成形音频信号952、954、956不一定限于具有图10A-10D中所示的具体类型的一阶方向图案，并且者为了说明一个示例性实施方式而进行图示。方向图案通常可能具有任何一阶方向波束成形图案，诸如心型、双极、高心型、超心型等。替代地，可以使用高阶方向波束成形图案。而且，虽然波束成形音频信号952、954、956被示出为具有数学上理想的一阶方向图案，本领域的技术人员将理解的是，这些仅是示例，并且在实际实施方式中，没有必要实现这些理想化的波束成形图案。
图11是根据所公开的实施例中的一些的电子装置100的音频处理***1100的框图。图11的音频处理***1100与图9中的几乎相同，除了不生成三个波束成形音频信号，仅生成两个波束成形音频信号。为了简明起见，图9的共同特征将不被描述。
更具体地，处理器1150基于均衡化信号1164(并且可能基于诸如均衡化选择信号1165或AGC信号1162的其他信号)来处理输入信号1121、1125、1131、1135、1171、1175，以生成左前侧取向的波束成形音频信号1152和右前侧取向的波束成形音频信号1154，而不生成独立的后侧取向的波束成形音频信号(如图9中)。这消除了将左前侧取向的波束成形音频信号1152与独立的后侧取向的波束成形音频信号加总/混合的需要、以及将右前侧取向的波束成形音频信号1154与独立的后侧取向的波束成形音频信号加总/混合的需要。能够在yz平面中以任何角度创建与信号1152、1154相对应的左和右前侧虚拟麦克风元件的方向图案，以允许创建对象的立体声录音，同时仍然允许记录操作者的旁白。例如，替代创建并将独立操作者波束成形与每个对象声道混合，左前侧取向的波束成形音频信号1152和右前侧取向的波束成形音频信号1154中的每一个捕捉操作者的期望视频水平的一半，并且在立体声回放中进行收听时可以导致具有中央图像的操作者的适当音频水平表示。
在这个实施例中，左前侧取向的波束成形音频信号1152(图12A)在270度处具有拥有左前侧增益的第一主瓣1152-A和拥有后侧增益的第一旁瓣1152-B，并且右前侧取向的波束成形音频信号1154(图12B)在270度处具有拥有左前侧增益的第二主瓣1154-A和拥有后侧增益1154-B的第二旁瓣。现在主瓣和在270度处进行增益比较的原因在于，270度的点涉及操作者位置。因为主要对于前对象信号和后操作者信号之间的均衡感兴趣，所以观察主瓣和操作者的定位(假定其在270度)。在这种情形下，与图9中的不同，在270度将不存在零值。
如下文将描述的，在波束成形处理期间，可以使用均衡化信号1164来控制在270度的第一主瓣的左前侧增益和第一旁瓣的后侧增益之间的音频水平差，并且控制在270度处的第二主瓣的右前侧增益和第二旁瓣的后侧增益之间的音频水平差。以这种方式，每个虚拟麦克风元件的前侧增益和后侧增益可以被控制，并且相对于彼此被衰减。
归因于第一旁瓣1152-B的左前侧波束成形音频信号1152的一部分以及归因于第二旁瓣1154-B的右前侧波束成形视频信号的一部分将由用户通过正常收听而感知地加总。这允许控制对象虚拟麦克风相对于操作者虚拟麦克风的音频水平。可以使用用于基于麦克风输入信号生成方向图案的任何已知波束成形处理技术来执行由处理器1150执行的波束成形处理。用于控制音频水平差的上述技术的任何一个能够被适配用于该实施例中。在一个实施方式中，均衡化信号1164可以用于控制信号1152、1154的具体一个在270度处的前侧增益和后侧增益的比率和相对权重，并且为了简明起见，将不再描述那些技术。
现在将参考图12A-12C来描述增益控制的示例。与上文其他示例图类似，图12A-12C中所示的方向图案是位于图1的电子装置100上方正在俯视的观测者将观测到的平面表示，其中，图8中的z轴对应于90°-270°线，并且图8中的y轴对应于0°-180°线。
图12A是根据所公开的实施例中的一些的一个实施方式的由音频处理***1100生成的左前侧取向的波束成形音频信号1152的示例性极图。
如图12A中所示的，左前侧取向的波束成形音频信号1152具有一阶方向图案，该一阶方向图案朝向或指向在y方向和z方向之间的设备前方的角度的对象。在该具体示例中，左前侧取向的波束成形音频信号1152具有主瓣1152-A和旁瓣1152-B。主瓣1152-A取向为记录的对象的左侧并且具有左前侧增益，而旁瓣1152-B具有后侧增益。该一阶方向图案在大约137.5度处具有最大值，并且对于从朝着装置100的对象的左侧的方向源发的声音具有相对强的方向敏感性。左前侧取向的波束成形音频信号1152还在指向或取向为记录的对象右侧的30度处具有零值，其指示对于从对象的右侧方向源发的声音存在降低的方向敏感性。旁瓣1152-B在270度处正好具有期望的操作者敏感性的一半，以便于从该操作者拾取适当的信号量。
图12B是根据所公开的实施例中的一些的一个实施方式由音频处理***1100生成的右前侧取向的波束成形音频信号1154的示例性极图。如在图12B中所示，右前侧取向的波束成形音频信号1154具有一阶方向图案，其取向为或指向-y方向和-z方向之间的设备前方的一个角度的对象。在该具体示例中，右前侧取向的波束成形音频信号1154具有主瓣1154-A和旁瓣1154B。主瓣1154A具有右前侧增益，并且旁瓣1154-B具有后侧增益。具体地，该一阶方向图案在大约45度处具有最大值，并且对于从朝向装置100的对象右侧方向源发的声音具有相对强的敏感性。右前侧取向的波束成形音频信号1154在取向为所记录的对象的左侧的150度处具有零值，这指示对于从对象的左侧方向源发的声音存在降低的方向敏感性。旁瓣1154-B在270度处正好具有期望的操作者敏感性的一半，以从该操作者拾取适当的信号量。
虽然未在图11中示出，但是在一些实施例中，波束成形音频信号1152、1154可以被合并成可以作为立体声信号进行发射和/或记录的单个音频流或输出信号。图12C是根据所公开的实施例中的一些的当合并为立体声信号时由音频处理***1100生成的左前侧取向的波束成形音频信号1152和右前侧取向的波束成形音频信号的示例性角或“方向”响应的极图。虽然在图12C中一起示出了左前侧取向的波束成形音频信号1152和右前侧取向的波束成形音频信号1154的响应，应当诸如，这并不必意在暗示在所有实施方式中，波束成形音频信号1152、1154必须被合并。
通过基于均衡化信号1164来改变虚拟麦克风的瓣增益，可以控制波束成形音频信号1152、1154的前侧增益和后侧增益的比率，使得一个不压过另一外一个。
如上文所述，虽然图12A和图12B中所示的波束成形音频信号1152、1154具有具体一阶方向图案，本领域的技术人员应理解的是，为了说明一个示例性实施方式的目的，图12A-12C中所示的具体类型的方向图案并不意在是限制性的。方向图案通常能够具有任何一阶(或更高阶)方向波束成形图案，并且在一些实际实施方式中，可以不必实现这些示意性的理想化波束成形图案。
虽然上文没有明确描述，上文参考图3-5E所描述的均衡化信号、均衡化选择信号和AGC信号的任何实施例或实施方式均可以同样应用于参考图6-7C、图8-18D以及图11-12C所示出和描述的实施例中。
图13是能够在所公开的实施例的一个实施方式中使用的电子装置1300的框图。在图13所示的具体示例中，电子装置被实现为无线能够经由射频(RF)信道通过空中进行通信的计算设备，诸如移动电话。
无线计算设备1300包括处理器1301、存储器1303(包括用于存储由处理器1301执行的操作指令的程序存储器、缓冲存储器和/或移动存储单元)、基带处理器(BBP)1305、RF前端模块1307、天线1308、视频相机1310、视频控制器1312、音频处理器1314、前和/或后接近传感器1315、音频编码器/解码器(CODEC)1316、显示器1317、包含输入设备(键盘、触摸屏等)的用户接口1318、扬声器1319(即用于设备1300的用户收听的扬声器)以及两个或多个麦克风1320、1330、1370。各个块能够经由总线或其他连接而彼此耦合，如图13所示。无线计算设备1300还能够包含有诸如电池(未示出)或有线变压器的电源。无线计算设备1300可以是集成单元，包含至少图13中所描述的所有元件、以及使计算设备1300执行其具体功能所需要的任何其他元件。
如上所述，麦克风1320、1330、1370能够与音频处理器1314联相结合地进行操作，以使得能够获取在无线计算设备1300的前侧和后侧源发的音频声音。上述自动均衡控制器(图13中未示出)可以在音频处理器1314上或者在音频处理器1314的外部实现。自动均衡控制器可以使用从处理器1301、视频控制器1312、接近传感器1315和用户接口1318提供的成像信号来生成一个或多个波束成形音频信号，并且基于该均衡化信号，在处理器期间控制该一个或多个波束成形音频信号的前侧增益和后侧增益之间的音频水平差。
在该示例性操作环境中，图13中的其他块具有传统特征，为了简明起见，此处不做具体描述。
应理解的是，参考图1-13所描述的示例性实施例不是限制性的，并且存在其他变化的实施方式。还应理解的是，在不脱离如所附的权利要求和其法律等效内容中所阐述的本发明的范围的条件下，可以做出各种改变。参考图1-13所描述的实施例可以被实现为多种不同实施方式以及不同类型的便携式电子设备。虽然已经假定后侧增益相对于前侧增益应被减少(或者前侧相对于后侧增益应被增加)，不同实施方式能够相对于前侧增益而增加后侧增益(或者相对于后侧增益减少前侧增益)。
本领域的技术人员应理解的是，与所描述的这里公开的实施例相关的各种图示逻辑块、模块、电路和步骤可以被实现为电子硬件、计算机软件或二者的组合。描述了一些实施例和实施方式的功能性和/或逻辑块构件(或模块)以及各个处理步骤。然而，应理解的是，这些块构件(或模块)可以通过任何数目的硬件、软件和/或被配置成执行指定功能的固件组件。这里所使用的术语“模块”指设备、电路、电构件和/或用于执行任务的基于软件的构件。为了清楚地示出这种硬件和软件的可互换性，上文总体上已经描述了各个图示构件、块、模块、电路和步骤的功能性。这种功能性是否被实现为硬件或软件取决于施加在整体***上的具体应用和设计约束。针对每个特定应用，本领域的技术人员可以通过不同方式来实现所描述的功能性，但这种实施决策不应被解释为导致背离本发明的范围。例如，***或构件的实施例可以采用各种集成电路构件，例如，存储元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下，执行多种功能。此外，本来领域的技术人员应理解的是，此处所描述的实施例仅是示例性实施方式。
利用通用处理器、数字信号处理器(DSP)、特定应用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、离散硬件构建或设计成执行此处所描述功能的前述的任意组合，可以实现或执行结合这里所公开的实施例所描述的各种图示逻辑块、模块和电路。通用处理器可以是微处理器，但替代地，该处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如，DSP和微处理器、多个微处理器、与DSP核连接的一个或任何其他这种配置的组合。
所描述的与这里公开的实施例有关的方法或算法的步骤可以直接通过硬件、通过由处理器执行的软件模块或通过二者的组合来实现。软件模块可以存在于RMA存储器、存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或本技术中已知的任何其他形式的存储介质中。将示例性存储介质耦合到处理器，从而处理器能够从存储介质中读取或向其写入信息。在替代实施方式中，存储介质可以被集成到处理器中。处理器和存储介质可以存在于ASIC中。ASIC可以存在于用户终端中。在可选实施方式中，处理器和存储介质可以作为分散构件存在于用户终端中。
此外，在这里所包含的各个附图中所示的连线或箭头旨在表示各个元件之间的示例功能性关系和/或耦合。在实际实施例中，可能存在许多可选或另外的功能性关系或耦合。
在本文中，诸如第一和第二等的关系术语仅用于使一个实体或动作与另一实体或动作相区分，而不必要求或暗示在这些实体或动作之间的任何实际这种关系或顺序。诸如“第一”、“第二”、“第三”等的数值序数仅指多个中的不同个体，除非通过权利要求语音进行具体限定，否则不暗示任何次序或顺序。除非通过权利要求的语言具体定义，否则在权利要求的任何一下中的文本顺序不暗示必须以根据这种顺序的时间或逻辑次序执行处理步骤。只要这种互换不与权利要求语言矛盾，并且不是逻辑上无意义的，则这些处理步骤可以以任何次序互换，而不脱离本发明的范围。
此外，根据上下文，诸如描述不同元件之间关系中所使用的“连接”或“耦合至”的词语不意味着必须在这些元件之间建立直接的物理连接。例如，两个元件可以通过一个或多个另外的元件，物理地、电子地、逻辑地或以任何其他方式，彼此连接。
虽然在前述具体描述中已经示出了至少一个示例性实施例，应理解的是，存在大量的变化实施方式。还应理解的是，该一个或多个示例性实施例仅是示例性的，并非旨在以任何方式限定本发明的范围、应用性或配置。相反，前述具体描述将为本领域的技术人员提供用于实施该一个或多个示例性实施例的方便的路线图。应理解的是，在不脱离如随附的权利要求和其法律上等效内容所说明的本发明的范围的条件下，可以对元件的功能或布置做出各种改变。

Claims (19)

1.一种具有后侧和前侧的电子装置，所述电子装置包括：
第一麦克风，所述第一麦克风生成第一信号；
第二麦克风，所述第二麦克风生成第二信号；
第三麦克风，所述第三麦克风生成第三信号；
自动均衡控制器，所述自动均衡控制器基于成像信号来生成均衡化信号；以及
处理器，所述处理器耦合至所述第一麦克风、所述第二麦克风、所述第三麦克风以及所述自动均衡控制器，所述处理器对所述第一信号、所述第二信号和所述第三信号进行处理，以生成：
左前侧波束成形音频信号，所述左前侧波束成形音频信号具有拥有左前侧增益的第一主瓣，
右前侧波束成形音频信号，所述右前侧波束成形音频信号具有拥有右前侧增益的第二主瓣，以及
第三波束成形音频信号，所述第三波束成形音频信号具有第三后侧增益，
其中，基于所述均衡化信号来控制在所述右前侧增益、所述左前侧增益和所述第三后侧增益之间的音频水平差。
2.根据权利要求1所述的电子装置，进一步包括：
视频相机，所述视频相机位于所述前侧并且耦合至所述自动均衡控制器。
3.根据权利要求2所述的电子装置，其中，所述自动均衡控制器包括：
视频控制器，所述视频控制器耦合至所述视频相机。
4.根据权利要求3所述的电子装置，其中，所述成像信号是基于所述视频相机的视频框的角视场。
5.根据权利要求3所述的电子装置，其中，所述成像信号基于所述视频相机的焦距。
6.根据权利要求3所述的电子装置，其中，所述成像信号是用于通过用户接口控制的所述视频相机的变焦控制信号。
7.根据权利要求6所述的电子装置，其中，用于所述视频相机的所述变焦控制信号是数字变焦控制信号。
8.根据权利要求6所述的电子装置，其中，用于所述视频相机的所述变焦控制信号是光学变焦控制信号。
9.根据权利要求1所述的电子装置，进一步包括：
前侧接近传感器，所述前侧接近传感器生成前侧接近传感器信号，所述前侧接近传感器信号与在视频对象和所述电子装置之间的第一距离相对应，其中，所述成像信号基于所述前侧接近传感器信号。
10.根据权利要求1所述的电子装置，进一步包括：
后侧接近传感器，所述后侧接近传感器生成后侧接近传感器信号，所述后侧接近传感器信号与在相机操作者和所述电子装置之间的第二距离相对应，其中，所述成像信号基于所述后侧接近传感器信号。
11.根据权利要求1所述的电子装置，进一步包括：
前侧接近传感器，所述前侧接近传感器生成前侧接近传感器信号，所述前侧接近传感器信号与在视频对象和所述电子装置之间的第一距离相对应；以及
后侧接近传感器，所述后侧接近传感器生成后侧接近传感器信号，所述后侧接近传感器信号与在相机操作者和所述电子装置之间的第二距离相对应，
其中，所述成像信号基于所述前侧接近传感器信号和所述后侧接近传感器信号。
12.根据权利要求1所述的电子装置，其中，所述自动均衡控制器生成均衡化选择信号，其中，基于所述均衡化选择信号来将所述左前侧增益、所述右前侧增益和所述第三后侧增益中的至少一个设置为预定值。
13.根据权利要求1所述的电子装置，其中，所述第一麦克风或所述第二麦克风是全向麦克风。
14.根据权利要求1所述的电子装置，其中，所述第一麦克风或所述第二麦克风是定向麦克风。
15.根据权利要求1所述的电子装置，
其中，所述右前侧波束成形音频信号还具有拥有第一旁瓣后侧增益的第一旁瓣，其中，基于所述均衡化信号来控制在所述第二主瓣的所述右前侧增益与所述第一旁瓣后侧增益之间的音频水平差，
其中，所述左前侧波束成形音频信号还具有拥有其他后侧增益的第二旁瓣，其中，基于所述均衡化信号来控制在所述第一主瓣的所述左前侧增益与所述第二旁瓣的所述其他后侧增益之间的音频水平差，
以及其中，所述第一旁瓣和所述第二旁瓣形成所述第三波束成形音频信号。
16.根据权利要求1所述的电子装置，进一步包括：
自动增益控制(AGC)模块，所述自动增益控制(AGC)模块耦合至所述处理器，所述自动增益控制(AGC)模块接收所述左前侧波束成形音频信号、所述右前侧波束成形音频信号和所述第三波束成形音频信号中的至少一个，并且基于所述左前侧波束成形音频信号、所述右前侧波束成形音频信号和所述第三波束成形音频信号中的至少一个来生成AGC反馈信号，其中，所述AGC反馈信号用于调整所述均衡化信号。
17.根据权利要求1所述的电子装置，其中，所述处理器包括：
查找表。
18.一种用于处理第一麦克风信号、第二麦克风信号和第三麦克风信号的方法，所述方法包括：
基于成像信号来生成均衡化信号；以及
对所述第一麦克风信号、所述第二麦克风信号以及所述第三麦克风信号进行处理以生成：
左前侧波束成形音频信号，所述左前侧波束成形音频信号具有拥有左前侧增益的第一主瓣，
右前侧波束成形音频信号，所述右前侧波束成形音频信号具有拥有右前侧增益的第二主瓣，以及
第三波束成形音频信号，所述第三波束成形音频信号具有第三后侧增益，
其中，基于所述均衡化信号来控制在所述右前侧增益、所述左前侧增益和所述第三后侧增益之间的音频水平差。
19.一种具有后侧和前侧的电子装置，所述电子装置包括：
第一麦克风，所述第一麦克风生成第一信号；
第二麦克风，所述第二麦克风生成第二信号；
后侧接近传感器，所述后侧接近传感器生成后侧接近传感器信号，所述后侧接近传感器信号与在相机操作者和所述电子装置之间的距离相对应；
自动均衡控制器，所述自动均衡控制器至少部分地基于所述后侧接近传感器信号来生成均衡化信号；以及
处理器，所述处理器耦合至所述第一麦克风、所述第二麦克风以及所述自动均衡控制器，所述处理器对所述第一信号和所述第二信号进行处理以生成：
至少一个波束成形音频信号，其中，基于所述均衡化信号来控制在所述至少一个波束成形音频信号的前侧增益和后侧增益之间的音频水平差。
CN201180031070.8A 2010-06-23 2011-05-24 具有可控制前侧增益和后侧增益的麦克风的电子装置 Active CN102948168B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/822,081 2010-06-23
US12/822,081 US8300845B2 (en) 2010-06-23 2010-06-23 Electronic apparatus having microphones with controllable front-side gain and rear-side gain
PCT/US2011/037632 WO2011162898A1 (en) 2010-06-23 2011-05-24 Electronic apparatus having microphones with controllable front-side gain and rear-side gain

Publications (2)

Publication Number Publication Date
CN102948168A CN102948168A (zh) 2013-02-27
CN102948168B true CN102948168B (zh) 2015-06-17

Family

ID=44318494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180031070.8A Active CN102948168B (zh) 2010-06-23 2011-05-24 具有可控制前侧增益和后侧增益的麦克风的电子装置

Country Status (6)

Country Link
US (2) US8300845B2 (zh)
EP (1) EP2586217B1 (zh)
KR (1) KR101490007B1 (zh)
CN (1) CN102948168B (zh)
BR (1) BR112012033220B1 (zh)
WO (1) WO2011162898A1 (zh)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US9007871B2 (en) * 2011-04-18 2015-04-14 Apple Inc. Passive proximity detection
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US8879761B2 (en) 2011-11-22 2014-11-04 Apple Inc. Orientation-based audio
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9184791B2 (en) 2012-03-15 2015-11-10 Blackberry Limited Selective adaptive audio cancellation algorithm configuration
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US10075801B2 (en) * 2012-07-13 2018-09-11 Sony Corporation Information processing system and storage medium
US9258644B2 (en) * 2012-07-27 2016-02-09 Nokia Technologies Oy Method and apparatus for microphone beamforming
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
KR20140029931A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 스피커에서 출력되는 음성을 소멸시켜 에코 발생을 차단하는 전자 장치 및 방법
US8988480B2 (en) 2012-09-10 2015-03-24 Apple Inc. Use of an earpiece acoustic opening as a microphone port for beamforming applications
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
KR101967917B1 (ko) * 2012-10-30 2019-08-13 삼성전자주식회사 음성을 인식하는 전자 장치 및 방법
US9525938B2 (en) * 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
US9781507B2 (en) * 2013-04-08 2017-10-03 Nokia Technologies Oy Audio apparatus
US9083782B2 (en) 2013-05-08 2015-07-14 Blackberry Limited Dual beamform audio echo reduction
US9984675B2 (en) 2013-05-24 2018-05-29 Google Technology Holdings LLC Voice controlled audio recording system with adjustable beamforming
US9269350B2 (en) 2013-05-24 2016-02-23 Google Technology Holdings LLC Voice controlled audio recording or transmission apparatus with keyword filtering
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
CN104699445A (zh) * 2013-12-06 2015-06-10 华为技术有限公司 一种音频信息处理方法及装置
KR102225031B1 (ko) * 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9516412B2 (en) * 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
US8995240B1 (en) 2014-07-22 2015-03-31 Sonos, Inc. Playback using positioning information
US9800981B2 (en) * 2014-09-05 2017-10-24 Bernafon Ag Hearing device comprising a directional system
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
KR102339798B1 (ko) * 2015-08-21 2021-12-15 삼성전자주식회사 전자 장치의 음향 처리 방법 및 그 전자 장치
US9788109B2 (en) 2015-09-09 2017-10-10 Microsoft Technology Licensing, Llc Microphone placement for sound source direction estimation
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
JP6437695B2 (ja) 2015-09-17 2018-12-12 ソノズ インコーポレイテッド オーディオ再生デバイスのキャリブレーションを容易にする方法
EP3151534A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
US9858948B2 (en) 2015-09-29 2018-01-02 Apple Inc. Electronic equipment with ambient noise sensing input circuitry
USD799502S1 (en) 2015-12-23 2017-10-10 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11722821B2 (en) 2016-02-19 2023-08-08 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
WO2017143067A1 (en) * 2016-02-19 2017-08-24 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
AU2017101838A4 (en) 2016-04-11 2019-05-02 Tti (Macao Commercial Offshore) Limited Modular garage door opener
CA2961090A1 (en) 2016-04-11 2017-10-11 Tti (Macao Commercial Offshore) Limited Modular garage door opener
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
GB2556093A (en) 2016-11-18 2018-05-23 Nokia Technologies Oy Analysis of spatial metadata from multi-microphones having asymmetric geometry in devices
US10701483B2 (en) 2017-01-03 2020-06-30 Dolby Laboratories Licensing Corporation Sound leveling in multi-channel sound capture system
CN109036448B (zh) * 2017-06-12 2020-04-14 华为技术有限公司 一种声音处理方法和装置
CN109712629B (zh) * 2017-10-25 2021-05-14 北京小米移动软件有限公司 音频文件的合成方法及装置
US10778900B2 (en) 2018-03-06 2020-09-15 Eikon Technologies LLC Method and system for dynamically adjusting camera shots
US11245840B2 (en) 2018-03-06 2022-02-08 Eikon Technologies LLC Method and system for dynamically adjusting camera shots
WO2020035778A2 (en) * 2018-08-17 2020-02-20 Cochlear Limited Spatial pre-filtering in hearing prostheses
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US10942548B2 (en) * 2018-09-24 2021-03-09 Apple Inc. Method for porting microphone through keyboard
US10595129B1 (en) * 2018-12-26 2020-03-17 Motorola Solutions, Inc. Methods and apparatus for configuring multiple microphones in an electronic communication device
US10966017B2 (en) 2019-01-04 2021-03-30 Gopro, Inc. Microphone pattern based on selected image of dual lens image capture device
KR20210017229A (ko) 2019-08-07 2021-02-17 삼성전자주식회사 오디오 줌 기능을 갖는 전자 장치 및 이의 동작 방법
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
GB2608823A (en) * 2021-07-13 2023-01-18 Nokia Technologies Oy An apparatus, method and computer program for enabling audio zooming
US11832059B2 (en) 2022-02-10 2023-11-28 Semiconductor Components Industries, Llc Hearables and hearing aids with proximity-based adaptation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4308425A (en) * 1979-04-26 1981-12-29 Victor Company Of Japan, Ltd. Variable-directivity microphone device
CN1437068A (zh) * 2002-02-09 2003-08-20 三星电子株式会社 可与多个声音获取单元组合的便携式摄像机
CN1691765A (zh) * 2004-04-20 2005-11-02 索尼株式会社 信息处理设备、成像设备、信息处理方法及程序
CN101189913A (zh) * 2005-06-01 2008-05-28 松下电器产业株式会社 多声道拾音装置、多声道声音再现装置以及多声道拾音再现装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4334740A (en) 1978-09-12 1982-06-15 Polaroid Corporation Receiving system having pre-selected directional response
AT386504B (de) 1986-10-06 1988-09-12 Akg Akustische Kino Geraete Einrichtung zur stereophonen aufnahme von schallereignissen
JPH02206975A (ja) 1989-02-07 1990-08-16 Fuji Photo Film Co Ltd マイク付撮影装置
JP2687712B2 (ja) 1990-07-26 1997-12-08 三菱電機株式会社 一体型ビデオカメラ
JP2500888B2 (ja) * 1992-03-16 1996-05-29 松下電器産業株式会社 マイクロホン装置
US6041127A (en) 1997-04-03 2000-03-21 Lucent Technologies Inc. Steerable and variable first-order differential microphone array
US6507659B1 (en) 1999-01-25 2003-01-14 Cascade Audio, Inc. Microphone apparatus for producing signals for surround reproduction
DE69904822T2 (de) 1999-10-07 2003-11-06 Zlatan Ribic Verfahren und Anordnung zur Aufnahme von Schallsignalen
EP1202602B1 (en) * 2000-10-25 2013-05-15 Panasonic Corporation Zoom microphone device
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
JP4292795B2 (ja) 2002-12-13 2009-07-08 富士フイルム株式会社 カメラ付き携帯端末
JP4269883B2 (ja) 2003-10-20 2009-05-27 ソニー株式会社 マイクロホン装置、再生装置及び撮像装置
US7970151B2 (en) 2004-10-15 2011-06-28 Lifesize Communications, Inc. Hybrid beamforming
US8873768B2 (en) 2004-12-23 2014-10-28 Motorola Mobility Llc Method and apparatus for audio signal enhancement
WO2007037700A1 (en) * 2005-09-30 2007-04-05 Squarehead Technology As Directional audio capturing
JP4931198B2 (ja) 2006-09-27 2012-05-16 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8213623B2 (en) 2007-01-12 2012-07-03 Illusonic Gmbh Method to generate an output audio signal from two or more input audio signals
US20090010453A1 (en) 2007-07-02 2009-01-08 Motorola, Inc. Intelligent gradient noise reduction system
US8319858B2 (en) 2008-10-31 2012-11-27 Fortemedia, Inc. Electronic apparatus and method for receiving sounds with auxiliary information from camera system
US20100123785A1 (en) 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4308425A (en) * 1979-04-26 1981-12-29 Victor Company Of Japan, Ltd. Variable-directivity microphone device
CN1437068A (zh) * 2002-02-09 2003-08-20 三星电子株式会社 可与多个声音获取单元组合的便携式摄像机
CN1691765A (zh) * 2004-04-20 2005-11-02 索尼株式会社 信息处理设备、成像设备、信息处理方法及程序
CN101189913A (zh) * 2005-06-01 2008-05-28 松下电器产业株式会社 多声道拾音装置、多声道声音再现装置以及多声道拾音再现装置

Also Published As

Publication number Publication date
US8908880B2 (en) 2014-12-09
WO2011162898A1 (en) 2011-12-29
KR101490007B1 (ko) 2015-02-04
BR112012033220A2 (pt) 2016-11-16
BR112012033220B1 (pt) 2022-01-11
KR20130040929A (ko) 2013-04-24
CN102948168A (zh) 2013-02-27
US20130021503A1 (en) 2013-01-24
US8300845B2 (en) 2012-10-30
EP2586217B1 (en) 2020-04-22
EP2586217A1 (en) 2013-05-01
US20110317041A1 (en) 2011-12-29

Similar Documents

Publication Publication Date Title
CN102948168B (zh) 具有可控制前侧增益和后侧增益的麦克风的电子装置
CN106941645B (zh) 大量听众的声音再现的***和方法
US8433076B2 (en) Electronic apparatus for generating beamformed audio signals with steerable nulls
US11375329B2 (en) Systems and methods for equalizing audio for playback on an electronic device
CN103004233B (zh) 基于两个或更多宽带麦克风信号生成修改宽带音频信号的电子设备
EP2589231B1 (en) Facilitating communications using a portable communication device and directed sound output
US20150078555A1 (en) Portable electronic device with directional microphones for stereo recording
EP2320676A1 (en) Method, communication device and communication system for controlling sound focusing
CN112866894B (zh) 声场控制方法及装置、移动终端、存储介质
CN102045617A (zh) 具有辅助听力的麦克风平面阵列的眼镜
WO2016131266A1 (zh) 一种调整耳机声场的方法、装置、终端及耳机
US20140198934A1 (en) Customization of adaptive directionality for hearing aids using a portable device
US20230239650A1 (en) Non-transitory computer-readable medium having computer-readable instructions and system
CN113301294B (zh) 一种通话控制方法、装置及智能终端
US11425497B2 (en) Spatial audio zoom
CN115884038A (zh) 音频采集方法、电子设备及存储介质
US20230109140A1 (en) Method for determining a head related transfer function and hearing device
CN113660593A (zh) 一种消除头影效应的助听方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171117

Address after: American California

Patentee after: Technology Holdings Co., Ltd of Google

Address before: Illinois State

Patentee before: Motorola Mobility, Inc.

TR01 Transfer of patent right