CN103999488A - 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能 - Google Patents

自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能 Download PDF

Info

Publication number
CN103999488A
CN103999488A CN201280062049.9A CN201280062049A CN103999488A CN 103999488 A CN103999488 A CN 103999488A CN 201280062049 A CN201280062049 A CN 201280062049A CN 103999488 A CN103999488 A CN 103999488A
Authority
CN
China
Prior art keywords
external
wireless device
audio signal
targeted customer
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280062049.9A
Other languages
English (en)
Other versions
CN103999488B (zh
Inventor
金莱轩
向佩
埃里克·维瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201610812840.7A priority Critical patent/CN107018475B/zh
Publication of CN103999488A publication Critical patent/CN103999488A/zh
Application granted granted Critical
Publication of CN103999488B publication Critical patent/CN103999488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

提供一种无线装置，所述无线装置利用其它附近的音频换能器装置以产生用于目标用户的环绕声音效果。为此，所述无线装置首先断定是否存在任何附近的外部麦克风和/或扩音器装置。所述无线装置的内部麦克风以及任何其它附近的外部麦克风可用于断定所要/目标用户以及所述附近的扩音器装置的定位。随后使用此信息通过使所述无线装置将音频信号导引到其内部扩音器和/或所述附近的外部扩音器装置来产生用于所述所要/目标用户的环绕声音效果。

Description

自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能
根据35U.S.C.§119主张优先权
本专利申请案主张2011年12与19日申请的标题为“用于多扬声器环境中的增强的音频性能的自动化用户定位辨识(Automated User Location Recognition To EnhancedAudio Performance In A Multi-Speaker Environment)”的第61/577,483号美国临时申请案的优先权，且所述申请案转让给本受让人且在此明确以引用的方式并入本文中。
技术领域
一个特征一般涉及无线装置、多麦克风以及多扬声器音频***。在一个实例中，无线装置适于自动地执行麦克风、扩音器和/或用户检测和定位以为用户提供定制的三维浸入声音体验。
背景技术
无线装置(例如，移动装置、移动电话、移动通信装置、智能电话、个人/移动计算装置等)常常包含一或多个麦克风以从所要/目标用户俘获音频信号。另外，此类无线装置常常还包含一或多个扩音器，通过所述一或多个扩音器将音频信号发射到目标用户。然而，一些无线装置(例如，移动装置)的典型较小的大小使得难以通过产生环绕声音效果来提高用户的体验。可通过对音频信号进行整形，使得从两个或更多不同的外部和/或内部扩音器装置发射音频信号来为目标用户产生环绕声音感觉，而产生环绕声音效果。
使用外部扩音器来产生此类整形的音频信号的一个挑战是相对于所要/目标用户识别外部扩音器的定位、位置和/或距离。也就是说，不同于集成式扩音器，无线装置不知晓目标用户(和/或无线装置)与外部扬声器之间的位置、定位和/或距离。
因此，需要一种准许无线装置充分利用附近的麦克风和/或扩音器装置来提高目标用户的声音体验的方式。
发明内容
根据第一方面，提供一种用于自动地检测目标用户/听众定位且定制音频性能的在无线装置中操作的方法。断定目标用户相对于所述无线装置和一或多个外部扩音器的相对定位，其中所述目标用户相对于所述无线装置的定位是任意的。将扬声器专有音频信号从所述无线装置无线地发送到所述一或多个外部扩音器，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准目标用户的环绕声音体验。断定一或多个外部装置相对于所述无线装置的定位，所述外部装置包含所述一或多个外部麦克风和/或所述一或多个扩音器。随后从所述一或多个外部装置选择一或多个外部麦克风。在所述一或多个选定外部麦克风和/或一或多个内部麦克风上从所述目标用户俘获音频信号以断定所述目标用户相对于所述无线装置的所述相对定位。可将来自所述一或多个外部麦克风中的每一者的所述所俘获的音频彼此进行比较以断定距离和相对定向来断定所述目标用户定位。可指令所述一或多个选定外部麦克风从所述目标用户俘获所述音频信号以断定所述所俘获的音频信号的到达方向。断定所述一或多个外部装置相对于所述无线装置的定位可包含指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获音频信号以断定所述所俘获的音频信号的一或多个对应到达方向。断定所述目标用户相对于所述无线装置的所述相对定位可包含(a)断定外部装置相对于外部装置的定位，和/或(b)断定所述目标用户相对于所述外部装置的位置。可经由无线通信接口以不可听的形式发送从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号。根据一个方面，所述无线装置可为移动电话装置。
根据第二方面，提供一种用于自动地定制音频性能的在无线装置中操作的方法。所述无线装置可自动地断定一或多个外部扩音器的存在且/或自动地断定目标用户相对于所述一或多个外部扩音器的相对定位。随后，所述无线装置可将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验。所述无线装置还可(a)自动地断定一或多个外部麦克风的存在；(b)指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所述所俘获的第二音频信号的一或多个对应到达方向；和/或(c)指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所述所俘获的第三音频信号的到达方向，其中所述目标用户相对于所述一或多个外部麦克风的所述相对定位是基于所述到达方向来断定。所述无线装置可将第一音频信号导引到一或多个内部扩音器以实现瞄准所述目标用户的环绕声音体验。可经由无线通信接口以不可听的形式将所述第一音频信号从所述无线装置发送到所述一或多个外部扩音器。
根据第三方面，提供一种在外部装置中操作的方法。所述外部装置可(a)从无线装置接收第一指令以激活麦克风且将由所述麦克风俘获的第一音频信号提供给所述无线装置以便相对于所述无线装置来定位所述外部装置，(b)从所述无线装置接收第二指令以通过外部扩音器回放第二音频信号，从而辅助相对于所述无线装置来定位所述外部装置，和/或(c)从无线装置接收第三指令以激活所述麦克风且将由所述麦克风俘获的第三音频信号发送到所述无线装置以便断定目标用户相对于所述无线装置的定位。所述外部装置可进一步适于(a)从所述无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号；和/或(b)将所述扬声器专有音频信号发送到所述一或多个对应外部扩音器，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验。可经由无线通信接口以不可听的形式接收从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号。
附图说明
图1说明其中无线装置可利用一或多个附近的外部装置来提高到所要用户(或既定听众/扬声器)的音频递送的示范性环境。
图2到6说明其中可使用多个麦克风来为所要目标用户产生焦点音频拾取区的音频/声音俘获的各种情形。
图7是说明无线装置可如何检测且可利用一或多个附近的外部麦克风来提高来自所要用户/扬声器的音频/声音俘获的流程图。
图8说明如何断定来自外部扩音器和目标用户/听众的到达方向以便找出扩音器和目标用户的相对定位且将扩音器束导引到目标用户的实例。
图9说明可如何断定用于分布式音频换能器和目标用户定位的映射。
图10说明识别外部装置相对于无线装置的相对位置/定位的此问题。
图11到14说明用以断定相对于无线装置的到达方向的各种解决方案。
图15说明可如何获得分布式换能器和/或目标用户相对于无线装置的定位。
图16是说明适于断定一或多个外部装置和/或目标用户的相对定位以为目标用户提供聚焦音频分布和/或俘获的无线装置的框图。
图17说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的方法。
图18说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的又一方法。
图19说明适于辅助无线装置断定目标用户的相对定位以为目标用户提供聚焦音频分布和/或俘获的外部装置的框图。
图20说明用以辅助无线装置定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在外部装置中操作的方法。
具体实施方式
在以下描述中，参考附图，在附图中通过说明的方式展示其中可实践本发明的特定实施例。所述实施例意欲充分详细地对本发明的各个方面进行描述，以使得所属领域的技术人员能够实践本发明。在不脱离本发明的范围的情况下可以利用其它实施例且可对所揭示的实施例做出改变。以下详细描述将不被视为限制性意义，且本发明的范围仅由所附权利要求书界定。
术语“无线装置”在本文中可用于指代“移动装置”、“移动电话”、“移动通信装置”、“移动计算装置”、“数字平板计算机”、“智能电话”以及其它。术语“扩音器”和/或“扬声器”可在本文中互换地使用以指代将电信号转换为音频声音的音频换能器。术语“麦克风”可在本文中用于指代将音频转换为电信号的音频换能器。
概述
本发明涉及用于检测外部扩音器相对于无线装置的定位、位置和/或距离以允许向目标用户提供定制的三维浸入声音体验的设备、方法和包含指令的计算机可读媒体。一般来说，一种装置可适于自动地在(例如，装置的)坐标系中估计扩音器、麦克风和目标用户的定位以用于使用所有可用的声学装置以最佳且无缝的方式的用于目标用户的定制的空间声音重现。
为无线装置提供一个特征，其利用其它附近的音频换能器装置以产生用于目标用户的环绕声音效果。为此，所述无线装置首先断定是否存在任何附近的外部麦克风和/或扩音器装置。所述无线装置的内部麦克风以及任何其它附近的外部麦克风可用于断定所要/目标用户以及所述附近的扩音器装置的定位。此信息可随后用于通过使所述无线装置将音频信号导引到其内部扩音器和/或所述附近的外部扩音器装置来产生用于所述所要/目标用户的环绕声音效果。
示范性操作环境
图1说明其中无线装置102可利用一或多个附近的外部装置106来提高到所要用户(或既定听众/扬声器)的音频递送的示范性环境100。在此实例中，示范性环境100可包含无线装置102和一或多个外部装置106。无线装置102可包含一或多个扩音器112和114、通信接口122以及一或多个麦克风116。外部装置106可包含一或多个麦克风118和120以及一或多个扩音器108和110(例如，扬声器、音频换能器等)，其与外部装置106分离、耦合到所述外部装置且/或与所述外部装置集成。无线装置102和外部装置106可各自分别包含无线通信接口122和124。无线通信接口122和124可允许无线装置102经由无线链路126(例如，红外线链路、蓝牙链路、对等链路等)将命令和/或指令发送到外部装置106且从外部装置106接收信号和/或数据。举例来说，无线装置102可引导外部装置106激活其麦克风118和120以在特定时间处且/或在特定时间间隔内俘获音频。无线通信接口122还可允许无线装置102选择性地请求一或多个内部扩音器112和114和/或外部扩音器108和110中的一或多者发射音频信号。根据各种实例，无线通信接口122可用于经由无线链路126将无线装置102通信地耦合到一或多个外部装置106，所述无线链路可为无线通信网络(例如，WiFi、蜂窝式网络等)和/或对等链路(蓝牙、近场通信等)中的至少一者。无线通信接口122还可准许无线装置102以不可听的形式(例如，数字化、包化为有效负载等)发射和/或接收音频信号。在各种实例中，无线装置102可直接地、经由直接点到点通信链路，或间接地经由外部装置106来与一或多个外部扩音器108和110通信。
在一个示范性实施方案中，无线装置102可适于利用外部装置106和/或外部麦克风118和120中的一或多者(连同集成麦克风116一起)来增强来自目标用户104的音频/声音俘获。在示范性操作环境100内，可基于目标用户的声音的所检测到的到达方向通过使用选定麦克风来增强来自目标用户104的音频/声音的俘获。
根据一个方面，可使用多个麦克风来估计、断定和/或获得用户104相对于无线装置102和/或外部装置106的位置或定位。假设由集成麦克风116和外部麦克风118和120俘获的所有音频信号可通过有线链路或无线通信链路被路由到(例如，以不可听的形式，例如数字包、模拟经编码信号等)无线装置102。举例来说，在于外部麦克风118和120处俘获音频信号后，可即刻将所述音频信号转换为电形式(例如，模拟、数字等)，所述电形式经由无线通信链路126被发射到(例如，以不可听的形式)无线装置。通过使用外部麦克风，无线装置102可能够相对于无线装置102来检测和/或定位外部扩音器108和110和/或目标用户104用户定位检测可涉及使用附近的音频装置(例如，外部麦克风118和/或120和/或扩音器108和/或110)和无线装置102的集成音频装置(例如，一或多个麦克风116和/或扩音器112和114)在操作环境100(例如，汽车或家庭环境)内的空间声音区别。
在一个示范性实施方案中，无线装置102可适于利用外部装置106和/或外部扩音器108和110中的一或多者(连同集成扩音器112和114一起)来将音频发射到目标用户104。在此类示范性操作环境100内，用户104可为从扩音器108、110、112和/或114发射的音频/声音的既定目标。为了增强到用户104的音频/声音递送，可能需要将音频/声音引导到用户104且/或提供环绕声音体验。
根据另一方面，可通过无线装置102利用附近的外部扩音器108和110来执行自动声音场定制。也就是说，在已经相对于无线装置102和/或外部扩音器108和110定位了目标用户104之后，无线装置102可执行(直接地或间接地)到各种扩音器108、110、112和/或114的音频信号导引，其可用于实现到目标用户104的环绕声音音频。此过程还可涉及自动扩音器间水平/延迟均衡化和房间/环境均衡化(尤其用于低频范围中的更好重现)。
组合分布式麦克风以增强所俘获的声音质量
根据第一方面，无线装置可能尝试自动地或者自主地识别附近的外部装置中的环绕麦克风且利用此些麦克风来增强音频/声音俘获质量。此过程可涉及确定此些麦克风在附近的外部装置中是否可用且随后断定它们相对于无线装置麦克风的定位是否有用。
图2到5说明其中可使用多个麦克风来为所要目标用户产生焦点音频拾取区的音频/声音俘获的各种情形。无线装置102可包含一或多个麦克风116，但还可利用外部装置的其它外部麦克风118和120以增加空间分集，进而允许对所要目标用户/扬声器的三角测量。在这些情形中，到达方向(DOA)是相对于外部装置106处的麦克风。来自目标用户104的第一音频/声音信号202是由外部装置106处的一或多个麦克风俘获。类似地，来自无线装置102的第二音频/声音信号204是由外部装置106处的一或多个麦克风俘获。第一与第二音频/声音信号202和204之间的角度通过α标示。其中角度α小于45度的情形需要在断定目标用户104定位方面的较少模糊性，这是因为附近的外部装置106和无线装置102中的俘获麦克风充分分开以获得关于目标用户104定位的有意义信息。也就是说，麦克风分开地越远，断定目标用户104定位就越容易。由于无线装置102和外部装置106的麦克风到嘴的轴线(例如，在麦克风与所要用户104之间)不相同，所以可以使用它们来成三角形到(目标用户104的)嘴区域中，而不从背后、侧面和/或前方方向拾取音频/声音。通过第一束208来说明来自无线装置102麦克风的此聚焦声音拾取区，而通过第二束206来说明来自外部装置106麦克风的聚焦声音拾取区。
同时，其中角度α大于45度的情形需要在断定所要用户104定位方面的较大模糊性，因为随着到达方向(DOA)变得更对准，会存在较少的动机来组合用于所要用户定位的它们的信息。也就是说，DOA越变得更加对准，多个麦克风在执行所要用户定位方面提供越少的益处。在此情形中，可使用最靠近所要用户104的麦克风。
图2说明其中在外部装置106处断定声音信号的到达方向的第一情形。举例来说，来自目标用户104的第一声音/音频信号202在外部装置106处的麦克风处被接收。第二声音/音频信号204可在外部装置106处的麦克风处被接收。第一和第二声音/音频信号202和204的到达方向形成角度α，其中在此实例中α＜45度。在此情形中，由于α＜45度，所以无线装置102可以较少的模糊性来定位目标用户104。
图3说明其中第一和第二声音/音频信号202和204的到达方向在外部装置106处形成角度α的第二情形，其中。在此情形中，由于角度α≈45度，所以在断定目标用户104的定位方面可存在一些模糊性。也就是说，随着无线装置102和外部装置106变得彼此较靠近，会变得更加难以获得充分不同的信号测量值来执行三角测量且获得目标用户定位。
图4说明其中第一和第二声音/音频信号202和204的到达方向在外部装置106处形成角度α的第三情形，其中α＞45度。在此情形中，由于α＞45度，所以在断定目标用户104的定位方面可存在显著的模糊性，或者可能不可能断定此定位。由于无线装置102和外部装置106已变得彼此较靠近，所以更加难以获得充分不同的信号测量值来执行三角测量且获得目标用户定位。
图5说明其中第一和第二声音/音频信号的到达方向形成角度α的第四情形，其中α≈180度。在此情形中，无线装置102在外部装置106与所要用户104之间(例如，α≈180度)，无法使用麦克风的分集来断定所要用户104的定位。因此，存在较少的动机来组合到达方向或无线装置102使用外部装置106处的麦克风。由于无线装置102最靠近目标用户104，所以可使用其麦克风来俘获来自目标用户104的音频/声音，同时可能忽略或者停用由外部装置106麦克风俘获的任何音频/声音。
图6说明其中第一和第二声音/音频信号的到达方向形成角度α的第五情形，其中α≈180度。在此情形中，外部装置104在无线装置102与所要用户104之间(例如，α≈180度)，无法使用麦克风的分集来断定所要用户104的定位。因此，存在较少的动机来组合到达方向或无线装置102使用外部装置106处的麦克风。由于外部装置106最靠近目标用户104，所以可使用其麦克风来俘获来自目标用户104的音频/声音，同时可能忽略或者停用由外部装置106麦克风俘获的任何音频/声音。
因此可使用组合集成和/或外部麦克风来增强音频/声音俘获质量。多个麦克风的使用也可用于跟踪(例如，断定相对位置/定位)目标用户的定位。使用多个麦克风的此用户定位/跟踪可准许具有增加的自由度(DOF)的波束成形、零限波束成形和/或遮蔽，以便聚焦来自聚焦区域(即，所要用户)的音频/声音的俘获。
然而，在组合多个麦克风之前，无线装置102可首先断定此组合实际上是否增加DOF。另外，在存在多个麦克风的情况下，可使这些麦克风同步。举例来说，无线装置102可出于此目的来实施自动语音/扬声器辨识(ASR)引擎。由ASR引擎提供的时间戳信息可用于使目标语音的所有麦克风信号同步。
另外，还可使用ASR以用于通过仅接受一定激活口头代码(例如，除了此特定目的之外通常不会发出的句子或词)来起始同步过程。ASR还可用于实施目标用户相依***，所述目标用户相依***仅在目标用户起始所述过程时才启用一定功能性。
在一个实例中，可在无线装置102上实施ASR，所述无线装置可使用其集成麦克风来俘获参考音频/声音。ASR可随后使此参考音频/声音与从外部麦克风(例如，外部装置的麦克风)接收到的音频/声音串流的片段或部分相关，从而实现同步。
图7是说明无线装置可如何检测且可利用一或多个附近的外部麦克风来提高来自所要用户/扬声器的音频/声音俘获的流程图。可开启无线装置(即，通电)，从而致使所述无线装置通过使用无线通信来识别一或多个外部装置702。举例来说，可实施无线通信方案，其中装置可广播其识别符、通道、配置信息等，从而允许其它装置找到它们。一旦无线装置定位一或多个外部装置，其可任选地询问所述一或多个外部装置以断定它们的能力(例如，其是否具有一或多个麦克风、扬声器等)。无线装置可随后使用无线装置上的一或多个麦克风和/或所识别的外部装置上的一或多个麦克风来开始记录704。可将由外部装置上的一或多个麦克风(俘获的)音频/声音记录串流传输到无线装置706。在一个实例中，所述无线装置可使用语音辨识来检测来自外部装置的所有麦克风串流中的目标用户语音和/或时间戳语音活动708。
无线装置可使用(a)位于无线装置上的一或多个麦克风和/或(b)位于外部装置上的一或多个麦克风来估计所记录的所要用户音频的到达时间延迟(TDOA)710。声音/音频随后从无线装置扩音器回放(以通过外部装置俘获)，且无线装置从外部装置检索对应的到达方向(DOA)712。随后由无线装置使用外部装置麦克风来比较无线装置DOA和目标用户DOA714。
无线装置随后断定到达方向(DOA)角度上的差异是否小于阈值(例如，最大角度α)716。如果是，那么组合无线装置和外部装置到达方向信息以对准目标用户718。否则，使用无线装置到达方向信息来跟踪所要用户720。无线装置可随后根据对准和/或跟踪是否可能来调谐或调整噪声减少(NR)和其它模块722。
组合分布式扩音器以增强所重现的声音质量
在组合来自多个扩音器的音频输出以增强重现的声音质量(例如，向目标用户提供环绕声音效果)之前，无线装置可断定扩音器相对于目标用户/听众的一或多个定位。随后，可调整扩音器间增益和/或扩音器的延迟以实现用于目标用户/听众的增强的重现的声音质量，且/或可实施串音消除器以用于双声道3D音频重现。
虽然组合麦克风不需要指定所有可用的声学资源的定位，但在组合扩音器中，无线装置可通过估计来自外部扩音器和所要用户/听众的音频/声音的到达方向DOA来估计无线装置与外部扩音器与所要用户/听众之间的角度。然而，一个问题是仅使用其集成麦克风的无线装置仅可以确定这些外部扩音器和所要用户/听众的角度，而不是其之间的距离。因此，无线装置可利用具有麦克风且足够远以使声音源(即，扩音器和/或所要用户/听众)成三角形的另一装置(即，一或多个外部装置)。
用于断定扩音器的相对定位/位置的方法可假设先前不知晓关于分布式麦克风的几何信息。在一个实例中，在无线装置可为移动电话的情况下，可假设目标用户/听众和无线装置处于相同位置。揭示用于产生麦克风(例如，声学换能器)和声音源(例如，扩音器、所要或目标用户/扬声器/听众)的映射的若干方法。
图8说明如何断定来自外部扩音器和目标用户/听众的到达方向以便找出扩音器和目标用户的相对定位且将扩音器束导引到目标用户的实例。一般来说，作出外部扩音器118和120是否与外部扩音器108和110对准的确定。举例来说，可断定从第一扩音器108到外部装置106的第一到达方向(DOA1)802。类似地，还可断定从第二扩音器110到外部装置106的第二到达方向(DOA2)804。如果第一和第二到达方向彼此是约180度，那么目标用户/听众104到外部装置106的第三到达方向(DOA3)806可用于将扩音器束808和810导引到所要/目标用户/听众104。然而，一个挑战是如何相对于无线装置102来映射外部装置(例如，外部麦克风118和120和/或扩音器108和110)。
图9说明可如何断定用于分布式音频换能器和目标用户定位的映射。无线装置102寻求找出相对于针对无线装置102给定的坐标系的麦克风118和120、扩音器108和110以及目标用户104的定位。无线装置扩音器112可发射由外部装置106的麦克风118和120俘获的音频/声音信号。此处，可将到第一麦克风118的距离标示为D′，且将到第二麦克风120的距离标示为D″。无线装置102和外部装置106可经时间同步，使得可针对声音信号断定从扬声器112到麦克风118或120的传播时间。知晓了传播时间和声音速度，可断定从扬声器112到每一麦克风118和120的距离D1′和D1″。外部装置106处的麦克风118和120之间的距离d可让外部装置106知晓或可为所述外部装置已知的。举例来说，由于可将麦克风118和120固定到外部装置106，所以外部装置106可知晓距离d且可将所述距离提供给无线装置102。或者，可通过噪声相干来估计或断定距离d，所述噪声相干取决于距离d和频率。对于定义为的扩散噪声场，其中φi，j是使用麦克风i和j测量的信号之间的交叉谱密度，可将相干估计为其中f是频率，d是麦克风之间的距离，且c是光速。因此，使用环境噪声和以上噪声相干函数，可估计出距离d。应注意，无线装置102可控制麦克风118和120的操作以便断定距离d。
知晓了麦克风118与120之间的距离d，可从所接收的所俘获音频/声音信号的时间戳断定无线装置102与外部装置106之间的距离D以及到达方向(通过角度θ1标示)。也就是说，在一个实例中，无线装置102和外部装置106可经由(例如)无线通信接口时间同步。外部装置106处的每一外部麦克风118和120可俘获由外部装置102处的扩音器112发射的音频信号。由于每一所俘获的音频信号可被加时间戳(例如，通过外部装置106且/或通过无线装置102)且穿过空气的声音传播速度是已知的，所以可从一个或两个所俘获的音频信号的时间戳(例如，传播时间)以及声音传播速度断定距离D(即，D＝声音速度×传播时间)。举例来说，可以若干方式断定由扩音器112发射音频信号的时间与由麦克风118和/或120俘获音频信号的时间之间的行进时间(即，传播时间)。在第一实例中，无线装置102和外部装置106可具有同步的时钟。在第二实例中，外部装置106可具有已知的固定应答时间，使得当射频信号被麦克风118和120中的一者俘获时，外部装置106将其到达报告给无线装置102(经由通信接口124)，进而允许无线装置断定到达时间(即，传播时间)。在任一第一和/或第二实例中，无线装置102可获得所发射的音频/声音信号的行进时间。无线装置102与外部装置106之间的距离D可随后被断定为：距离D≈光速×行进时间。另外，知晓了外部麦克风118与120之间的固定距离d且具有由麦克风118和120俘获的对应音频/声音信号的时间戳，可断定麦克风(和轴线902)的相对定向以及相对于外部装置106的角度θ1。应注意，外部装置的轴线可与无线装置102的轴线处于各种角度。举例来说，外部装置106的第一轴线902可与无线装置102的第二轴线904处于一角度。
然而，使用无线装置102处的扩音器112不足以断定外部装置106相对于无线装置102的位置/定位。图10说明识别外部装置106相对于无线装置102的相对位置/定位的此问题。也就是说，虽然可断定距离D和角度θ1(相对于外部装置106)(如上文参考图9所论述，例如，通过使无线装置102和外部装置106时间同步且使用时间戳来断定传播时间)，但相对于无线装置102的到达方向(通过角度θ2标示)是未知的。因此，如此处所说明，外部装置106可处于与无线装置106相关的各种位置(在距离D下)。
为了解决此问题，可利用额外的扩音器或其它方向性装置，如图11到14的各种实例中所说明。
图11说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的解决方案。在此实例中，可使用附接到(或与其集成)外部装置106的扩音器1102来获得相对于无线装置102的到达方向(通过角度θ2标示)。无线装置扩音器112可产生或发射声音/音频信号，所述声音/音频信号由外部装置麦克风118和120俘获，以获得相对于外部装置106的第一到达方向1104(通过角度θ1标示)。类似地，外部装置扩音器1102产生声音/音频信号，所述声音/音频信号由无线装置麦克风116a、116b和/或116c俘获，以获得相对于无线装置102的第二到达方向1106(通过角度θ2标示)。因此，一旦在相同房间检测到具有多个麦克风和扩音器的两个装置，可使用这些来定位麦克风和扩音器以及甚至目标用户的所有定位/位置。也就是说，以如关于图9所论述类似的方式，从外部装置106到无线装置102的音频/声音信号用于获得距离D和角度θ2。
图12说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的另一解决方案。此解决方案使用连线到外部装置106的外部扩音器108(不具有延迟或具有已知的/可估计的延迟)来获得第二到达方向(通过角度θ2标示)。在此解决方案中，第一声音/音频信号从内部扩音器112发射且由外部麦克风118和120俘获。也就是说，无线装置102和外部装置106可时间同步，使得给音频传输加时间戳且可断定传播或行进的时间。可以可基于由麦克风118和120俘获的音频的时间戳来断定扩音器112与外部装置106之间的距离D1。由于声音的速度是已知的，所以可断定距离D1(即，D1＝声音速度×传播时间)。此处，可将到第一麦克风的距离标示为D1′，且将到第二麦克风的距离标示为D1″。类似地，可断定相对于外部装置106的第一到达方向1204(通过角度θ1标示)。知晓距离d且断定到每一麦克风118和120的距离D1′和D1″准许断定第一到达方向(即，角度θ1)，例如，θ1＝θ5/2＝arccos((D1′2+D1″2-d2)/2×D1′×D1″)。可获得距离D1作为距离D1′与D1″之间的平均值(即，D1＝((D1′+D1″)/2)。无线装置102可通过将消息、命令和/或第二声音/音频信号发送到第二扩音器108(例如，经由到外部装置106且随后到外部扩音器108的通信接口122)而致使第二扩音器108发射第二声音/音频信号。由于外部扩音器108物理地耦合到外部装置106(经由电线1208)，所以可假设从外部装置106经由电线1208发送第二声音/音频信号的时间与第二声音/音频信号被扩音器108发射的时间不存在时间延迟(或此延迟是相对无关紧要的)。因此，可以可通过测量从第二声音/音频信号被发射的时间到其被麦克风118和120俘获的时间的延迟来断定扩音器108与外部装置106之间的距离D2(类似于断定距离D1的方式)。可通过使用麦克风118和120获得从外部扩音器108到外部装置106的第二到达方向且知晓所述麦克风之间的距离d，来断定角度θ3(标示第二到达方向相对于外部装置106的角度)(类似于断定角度θ1的方式)。类似地，可以可通过获得从外部扩音器108到无线装置102的第三到达方向1208来断定角度θ4(例如，第二音频/声音信号被外部扩音器108发射且被无线装置麦克风116a、116b和/或116c俘获)知晓距离D1和D2，以及角度θ3-θ1和θ4，可获得距离D3(在扩音器112与扩音器108之间)和角度θ2，其提供外部装置106相对于无线装置102的定位。具体来说，距离D3可被断定为：
D 3 = D 1 2 + D 2 2 - 2 * D 1 * D 2 cos ( θ 3 - θ 1 ) .
随后，角度θ2可被断定为：
θ 2 = arccos ( D 3 2 + D 1 2 - D 2 2 2 * D 1 * D 3 ) - θ 4 .
图13说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的另一解决方案。此处，无线装置扩音器102可使用其多个扩音器112和114来产生/发射波束化(聚焦)音频信号，所述音频信号可由外部装置106的麦克风118和120俘获。无线装置102可以各种角度(例如，扫过不同角度)发射聚焦/波束化音频/声音信号(使用多个扩音器112和114)。选择在外部麦克风118和120处递送最大能量(如从所俘获的波束化/聚焦音频/声音信号断定)的角度。将选定的具有最大能量的波束化/聚焦音频信号的角度标示为角度θ2。在此实例中，可如关于图12所论述来断定距离D1和角度θ1。由于无线装置102知晓其相对于其自身的轴线所产生的每一波束化(聚焦)音频信号的角度，所以其知晓从由外部装置106报告的所接收信号能量的角度θ2。
在替代性实施方案中，可使用无线装置102上的立体摄像机来识别外部装置的定位(例如，经由物体辨识)且进而获得角度θ2。
图14说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的另一解决方案。在此实例中，无线装置和/或外部装置106可具备方向性发射器/接收器对1402和1404，使用所述方向性发射器/接收器对来替代扩音器和麦克风以断定外部装置106相对于无线装置102的定位/位置。举例来说，方向性发射器104可产生以各种角度(例如，扫过各种角度)发射的方向性信号(例如，红外、超声、电磁等)。接收器1404针对所述方向性信号检测在哪一角度感测到最大能量且选择此角度θ2。
断定了外部装置106相对于无线装置102的定位，可通过一起使用无线装置102和外部装置106两者来获得分布式换能器(例如，扩音器和/或麦克风)和目标用户的定位。
图15说明可如何获得分布式换能器和/或目标用户相对于无线装置的定位。举例来说，可通过让每一扩音器发射由无线装置102和/或外部装置106上的一或多个麦克风俘获的声音/音频信号且进行三角测量以估计或获得定位，来断定外部扩音器108和110的定位。举例来说，第一外部扩音器108可产生第一到达方向1502(到无线装置102)和第二到达方向(到外部装置106)。类似地，第二外部扩音器110可产生第三到达方向1506(到无线装置102)和第四到达方向(到外部装置106)。因为外部装置106相对于无线装置102的定位已确定，所以扩音器108和/或110相对于无线装置102的定位是可断定的。类似地，可通过在无线装置102(第五到达方向1510)和外部装置106(第六到达方向1512)处俘获来自目标用户104的音频/声音信号来断定目标用户104的定位。
示范性无线装置
图16是说明适于断定一或多个外部装置和/或目标用户的相对定位以为目标用户提供聚焦音频分布和/或俘获的无线装置的框图。在一个实例中，无线装置1602可包含耦合到通信接口1606和一或多个音频换能器的处理电路1604。通信接口1606可包含发射器电路1616和/或接收器电路1618，所述发射器电路和/或接收器电路准许发送和/或接收去往一或多个外部装置(例如，从外部麦克风、到外部扩音器等)的非可听的信号，例如数字/模拟消息、命令、经编码音频等。所述音频换能器可包含(例如)一或多个集成/外部麦克风1608和1610和/或扩音器1612和1614。
处理电路1604可包含或实施一或多个处理器、专用处理器、硬件和/或软件模块等，其适于执行音频俘获和/或到目标用户的递送的增强。举例来说，时间同步模块1620可适于使用于一或多个外部装置(例如，麦克风、扩音器)的时钟与来自无线装置1602的时钟同步。此可允许外部装置给无线装置1602所发送(例如，由一或多个扩音器1612和1614发射)的所俘获的音频信号(例如，由外部麦克风俘获)加时间戳，进而允许无线装置1602断定音频信号的传播时间，且因此断定无线装置1602与外部装置之间的距离。外部装置识别模块1624可允许无线装置1602经由通信接口1606搜索和/或询问外部装置(例如，扩音器和/或麦克风)，以断定其附近的此些外部装置的存在。定位模块1622可适于相对于无线装置1602定位和/或映射一或多个外部装置和/或一或多个目标用户。举例来说，一旦已识别一或多个外部装置(例如，麦克风和/或扩音器)(例如，通过外部装置识别模块1624)，定位模块1602便可执行一或多个算法(如图2到15所说明)以相对于无线装置1602来定位外部装置和/或目标用户。增强声音俘获和/或分布模块1626可适于使用由定位模块1622获得的外部装置和/或目标用户定位信息来随后将增强的音频/声音俘获和/或音频/声音分布提供给一或多个目标用户。举例来说，在已定位了目标用户和一或多个外部麦克风之后，增强声音俘获和/或分布模块1622可选择最佳地俘获目标用户的话音的一或多个麦克风。举例来说，可选择位于目标用户前方的麦克风。类似地，为了增强到目标用户的音频递送，可选择最靠近目标用户和/或在目标用户周围定位的扩音器向目标用户回放音频/声音。应注意，无线装置1602适于(例如，经由增强声音俘获和/或分布模块1622)从一或多个内部和/或外部麦克风选择性地接收所俘获的音频。举例来说，可由无线装置1602经由通信接口1606来接收由外部麦克风俘获的音频/声音。可给此类所俘获的音频/声音加时间戳(通过发送音频/声音的外部装置或通过无线装置)且/或与俘获麦克风相关联。类似地，可由无线装置1602经由通信接口1606将音频/声音信号发射到一或多个外部扩音器，使得可将音频/声音聚焦或波束化到目标用户。知晓了目标用户的相对位置，增强声音俘获和/或分布模块1622可选择一或多个内部和/或外部扩音器来将聚焦/波束化的音频发射到目标用户。
在一个任选的实施方案中，无线装置1602还可包含无线方向性收发器1628，所述无线方向性收发器可用于定位外部装置，例如，如图14中所说明。
图17说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的方法。应注意，在一个实例中，无线装置可动态地、自动地和/或自主地执行外部装置定位和/或增强的音频/声音俘获和/或递送，而不需要用户起始此些动作，不需要用户交互，且/或不需要外部装置和/或目标用户定位的先前知识。
无线装置可断定一或多个外部装置相对于无线装置的定位，所述外部装置包含一或多个麦克风和/或一或多个扩音器1702。所述无线装置可随后断定目标用户相对于无线装置和所述一或多个外部扩音器的相对定位，其中目标用户相对于无线装置的定位是任意的(或先前未知的)1704。举例来说，所述无线装置可从一或多个外部装置选择一或多个选定外部麦克风且利用它们(连同可能的一或多个内部麦克风一起)从目标用户俘获音频以断定所述目标用户相对于所述无线装置的相对定位。在断定了目标用户定位之后，无线装置可将扬声器专有音频信号无线地发送到所述一或多个外部扩音器，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准目标用户的环绕声音体验1706。
图18说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的又一方法。
无线装置可经配置以自动地断定一或多个外部扩音器的存在1802。随后，所述无线装置可自动地断定目标用户相对于所述一或多个外部扩音器和无线装置的相对定位1804。在此相对信息可用的情况下，所述无线装置可将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验1806。
无线装置还可自动地断定一或多个外部麦克风的存在。无线装置可随后(a)指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所俘获的第二音频信号的一或多个对应到达方向；和/或(b)指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所俘获的第三音频信号的到达方向。所述目标用户相对于所述一或多个外部扩音器的相对定位可基于所述到达方向来断定。
示范性外部装置
图19说明适于辅助无线装置断定目标用户的相对定位且为目标用户提供聚焦音频分布和/或俘获的外部装置的框图。在一个实例中，外部装置1902可包含耦合到通信接口1906和一或多个音频换能器的处理电路1904。通信接口1906可包含发射器电路1916和/或接收器电路1918，所述发射器电路和/或接收器电路准许发送和/或接收去往无线装置(例如，从外部麦克风、到外部扩音器等)的非可听的信号，例如数字/模拟消息、命令、经编码音频等。所述音频换能器可包含(例如)一或多个集成/外部麦克风1908和1910和/或扩音器1912和1914。
处理电路1904可包含或实施一或多个处理器、专用处理器、硬件和/或软件模块等，其适于辅助无线装置增强音频俘获和/或到目标用户的递送。举例来说，时间同步模块1920可适于使用于外部装置1902的时钟与来自无线装置的时钟同步。此可允许外部装置给由无线装置发送的(例如，由麦克风1908和/或1910俘获的)所俘获的音频信号加时间戳，进而允许无线装置断定音频信号的传播时间，且因此断定无线装置与外部装置1902之间的距离。外部装置识别模块1924可允许无线装置经由通信接口1906搜索和/或询问外部装置1902(例如，扩音器和/或麦克风)，以断定其附近的此些外部装置1902的存在。音频信号转发模块1922可适于将所俘获的音频信号从麦克风1908和/或1910转发到无线装置。另外，音频信号转发模块1922还可适于将音频信号从无线装置转发到内部/外部扩音器1912和1914。
在一个任选的实施方案中，外部装置1902还可包含无线方向性收发器1928，所述无线方向性收发器可用于相对于无线装置定位外部装置，例如，如图14中所说明。
图20说明用以辅助无线装置定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在外部装置中操作的方法。外部装置可从无线装置接收第一指令以激活麦克风且将由麦克风俘获的第一音频信号提供给无线装置，以便相对于无线装置定位外部装置2002。其还可从无线装置接收第二指令以通过外部扩音器回放第二音频信号，从而辅助相对于无线装置定位外部装置2004。另外，所述外部装置可从无线装置接收第三指令以激活麦克风且将由麦克风俘获的第三音频信号发送到无线装置，以便断定目标用户相对于无线装置的定位2006。
随后，外部装置可从无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号2008。因此，外部装置可将扬声器专有音频信号发送到所述一或多个对应外部扩音器，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验2010。
所展示和所描述的特定实施方案仅为实例且不应被解释为用以实施本发明的唯一方式，除非本文中另有指定。所属领域的技术人员将容易明白，可通过众多其它分割解决方案来实践本发明中的各种实例。
本文中所描述且在图式中所说明的组件、动作、特征和/或功能中的一或多者可重新布置且/或组合为单个组件、动作、特征或功能，或者在若干组件、动作、特征或功能中体现。在不脱离本发明的情况下，还可添加额外的元件、组件、动作、特征和/或功能。本文中所描述的算法还可有效地实施于软件中和/或嵌入在硬件中。
在描述中，可能以框图形式展示元件、电路和功能以便不以不必要的细节混淆本发明。相反，所展示和所描述的特定实施方案仅为示范性的且不应被解释为用以实施本发明的唯一方式，除非本文中另有指定。另外，块定义以及各种块之间的逻辑分割示范了特定实施方案。所属领域的技术人员将容易明白，可通过众多其它分割解决方案来实践本发明。对于大部分来说，已经省略了关于计时考虑和类似物的细节，其中此些细节不是必要的，从而获得对本发明的完整理解且处于所属领域的技术人员的能力范围内。
而且，应注意，可将实施例描述为过程，所述过程被描绘为流程图、操作程序图、结构图或框图。尽管流程图可将操作描述为顺序过程，但可并行或同时执行许多操作。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于功能时，其终止对应于所述功能到调用功能或主功能的返回。
所属领域的技术人员将理解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。一些图式可将多个信号说明为单个信号以用于呈现和描述的清楚。所属领域的技术人员将理解，所述信号可表示信号总线，其中所述总线可具有多种位宽度，且本发明可实施于任何数目的数据信号上，包含单个数据信号。
应理解，使用例如“第一”、“第二”等等标示对本文中的元件的任何参考不限制那些元件的数量或次序，除非明确规定此类限制。而是，可在本文中将这些标示用作在两个或更多元件或元件的实例之间进行区分的便利方法。因此，对第一和第二元件的参考不意味着在那里仅可使用两个元件或第一元件必须以某一方式在第二元件前面。另外，除非另有规定，否则一组元件可包括一或多个元件。
另外，存储媒体可表示用于存储数据的一或多个装置，包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置和/或其它机器可读媒体，以及用于存储信息的处理器可读媒体和/或计算机可读媒体。术语“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”可包含(但不限于)非暂时性媒体，例如便携式或固定存储装置、光线存储装置以及能够存储、容纳或携载指令和/或数据的各种其它媒体。因此，本文中所描述的各种方法可由可存储于“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”中且由一或多个处理器、机器和/或装置执行的指令和/或数据完全或部分实施。
此外，实施例可由硬件、软件、固件、中间件、微码或其任何组合来实施。当实施于软件、固件、中间件或微码中时，用以执行必要的任务的程序代码或代码段可存储在例如存储媒体等机器可读媒体或其它存储装置中。处理器可执行必要任务。代码段可表示规程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任一组合。代码段可通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可经由包括存储器共享、消息传递、权标传递、网络传输等的任何适当手段来传递、转发或传输。
可通过通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文中所描述的功能的任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑区块、模块、电路、元件和/或组件。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器结合一DSP核心，或任何其它此类配置。经配置以用于执行本文中所描述的实施例的通用处理器被视为用于实行此些实施例的专用处理器。类似地，通用计算机当经配置以用于实行本文中所描述的实施例时会被视为专用计算机。
结合本文中所揭示的实例而描述的方法或算法可以处理单元、编程指令或其它方向的形式直接体现于硬件中、由处理器执行的软件模块中或以上两者的组合中，且可容纳在单个装置中或跨多个装置而分布。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息，且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。
所属领域的技术人员应了解，可将结合本文中所揭示的实施例而描述的各种说明性逻辑区块、模块、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件、软件还是其组合取决于特定应用及强加于整个***的设计选择。
在不脱离本发明的情况下，可在不同的***中实施本文中所描述的本发明的各种特征。应注意，前述实施例仅为实例且将不被解释为限制本发明。对实施例的描述既定是说明性的且不限制权利要求书的范围。因而，本教示可容易地应用于其它类型的设备，且许多替代方案、修改及变化对于所属领域的技术人员来说将为显而易见的。

Claims (43)

1.一种在无线装置中操作的方法，其包括：
断定目标用户相对于所述无线装置和一或多个外部扩音器的相对定位，其中所述目标用户相对于所述无线装置的所述定位是任意的；以及
将扬声器专有音频信号从所述无线装置无线地发送到所述一或多个外部扩音器，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准所述目标用户的环绕声音体验。
2.根据权利要求1所述的方法，其进一步包括：
断定一或多个外部装置相对于所述无线装置的定位，所述外部装置包含所述一或多个外部麦克风和/或所述一或多个扩音器。
3.根据权利要求2所述的方法，其进一步包括：
从所述一或多个外部装置选择一或多个外部麦克风；以及
在所述一或多个选定外部麦克风和/或一或多个内部麦克风上从所述目标用户俘获音频信号以断定所述目标用户相对于所述无线装置的所述相对定位。
4.根据权利要求3所述的方法，其中将来自所述一或多个外部麦克风中的每一者的所述所俘获的音频彼此进行比较以断定距离和相对定向来断定所述目标用户定位。
5.根据权利要求3所述的方法，其进一步包括：
指令所述一或多个选定外部麦克风从所述目标用户俘获所述音频信号以断定所述所俘获的音频信号的到达方向。
6.根据权利要求2所述的方法，其中断定所述一或多个外部装置相对于所述无线装置的所述定位包含
指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获音频信号以断定所述所俘获的音频信号的一或多个对应到达方向。
7.根据权利要求1所述的方法，其中断定所述目标用户相对于所述无线装置的所述相对定位包含
断定外部装置相对于外部装置的定位；以及
断定所述目标用户相对于所述外部装置的所述定位。
8.根据权利要求1所述的方法，其中所述无线装置为移动电话装置。
9.根据权利要求1所述的方法，其中经由无线通信接口以不可听的形式发送从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号。
10.一种无线装置，其包括：
通信接口，其用以与一或多个本地外部装置通信；以及
处理电路，其耦合到所述通信接口，所述处理电路适于
断定目标用户相对于所述无线装置和一或多个外部扩音器的相对定位，其中所述目标用户相对于所述无线装置的所述定位是任意的；以及
将扬声器专有音频信号从所述无线装置无线地发送到所述一或多个外部扩音器，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准所述目标用户的环绕声音体验。
11.根据权利要求10所述的无线装置，其进一步包括：
一或多个内部麦克风，其也用于相对于所述无线装置定位所述目标用户；以及
一或多个内部扩音器，其也用于提供瞄准所述目标用户的扬声器专有音频信号。
12.根据权利要求10所述的无线装置，其中所述处理电路进一步适于
断定一或多个外部装置相对于所述无线装置的定位，所述外部装置包含所述一或多个外部麦克风和/或所述一或多个扩音器。
13.根据权利要求12所述的无线装置，其中所述处理电路进一步适于
从所述一或多个外部装置选择一或多个外部麦克风；以及
在所述一或多个选定外部麦克风和/或一或多个内部麦克风上从所述目标用户俘获音频信号以断定所述目标用户相对于所述无线装置的所述相对定位。
14.根据权利要求10所述的无线装置，其中断定所述目标用户相对于所述无线装置的所述相对定位包含
断定外部装置相对于外部装置的定位；以及
断定所述目标用户相对于所述外部装置的所述定位。
15.根据权利要求10所述的无线装置，其中所述无线装置为移动电话装置。
16.根据权利要求10所述的无线装置，其中从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号是经由无线通信接口以不可听的形式来发送。
17.一种无线装置，其包括：
用于与一或多个本地外部装置通信的装置；
用于断定目标用户相对于所述无线装置和一或多个外部扩音器的相对定位的装置，其中所述目标用户相对于所述无线装置的所述定位是任意；以及
用于将扬声器专有音频信号从所述无线装置无线地发送到所述一或多个外部扩音器的装置，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准所述目标用户的环绕声音体验。
18.根据权利要求17所述的无线装置，其进一步包括：
用于断定一或多个外部装置相对于所述无线装置的定位的装置，所述外部装置包含所述一或多个外部麦克风和/或所述一或多个扩音器。
19.一种其上存储有指令的处理器可读媒体，所述指令在被一或多个处理器执行时致使所述一个或一个以上处理器：
断定目标用户相对于所述无线装置和一或多个外部扩音器的相对定位，其中所述目标用户相对于所述无线装置的所述定位是任意的；以及
将扬声器专有音频信号从所述无线装置无线地发送到所述一或多个外部扩音器，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准所述目标用户的环绕声音体验。
20.根据权利要求19所述的处理器可读媒体，其上进一步存储有在被一或多个处理器执行时致使所述一个或一个以上处理器进行以下操作的指令：
断定一或多个外部装置相对于所述无线装置的定位，所述外部装置包含所述一或多个外部麦克风和/或所述一或多个扩音器。
21.一种在无线装置中操作的方法，其包括：
自动地断定一或多个外部扩音器的存在；
自动地断定目标用户相对于所述一或多个外部扩音器的相对定位；以及
将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验。
22.根据权利要求21所述的方法，其进一步包括：
自动地断定一或多个外部麦克风的存在；
指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所述所俘获的第二音频信号的一或多个对应到达方向；
指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所述所俘获的第三音频信号的到达方向；
其中基于所述到达方向来断定所述目标用户相对于所述一或多个外部扩音器的所述相对定位。
23.根据权利要求21所述的方法，其进一步包括：
将所述第一音频信号导引到一或多个内部扩音器以实现瞄准所述目标用户的所述环绕声音体验。
24.根据权利要求21所述的方法，其中经由无线通信接口以不可听的形式发送从所述无线装置到所述一或多个外部扩音器的所述第一音频信号。
25.一种无线装置，其包括：
通信接口，其用以与一或多个本地外部装置通信；以及
处理电路，其耦合到所述通信接口，所述处理电路适于
自动地断定一或多个外部扩音器的存在；
自动地断定目标用户相对于所述一或多个外部扩音器的相对定位；以及
将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验。
26.根据权利要求25所述的无线装置，其中所述处理电路进一步适于
自动地断定一或多个外部麦克风的存在；
指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所述所俘获的第二音频信号的一或多个对应到达方向；
指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所述所俘获的第三音频信号的到达方向；
其中基于所述到达方向来断定所述目标用户相对于所述一或多个外部扩音器的所述相对定位。
27.根据权利要求25所述的无线装置，其进一步包括：
一或多个内部麦克风，其也用于相对于所述无线装置定位所述目标用户；以及
一或多个内部扩音器，其也用于导引瞄准所述目标用户的所述第一音频信号。
28.根据权利要求25所述的无线装置，其中所述处理电路进一步适于
将所述第一音频信号导引到一或多个内部扩音器以实现瞄准所述目标用户的所述环绕声音体验。
29.一种无线装置，其包括：
用于自动地断定一或多个外部扩音器的存在的装置；
用于自动地断定目标用户相对于所述一或多个外部扩音器的相对定位的装置；以及
用于将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验的装置。
30.根据权利要求29所述的无线装置，其进一步包括：
用于自动地断定一或多个外部麦克风的存在的装置；
用于指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所述所俘获的第二音频信号的一或多个对应到达方向的装置；
用于指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所述所俘获的第三音频信号的到达方向的装置；
其中基于所述到达方向来断定所述目标用户相对于所述一或多个外部扩音器的所述相对定位。
31.一种其上存储有指令的处理器可读媒体，所述指令在被一或多个处理器执行时致使所述一个或一个以上处理器：
自动地断定一或多个外部扩音器的存在；
自动地断定目标用户相对于所述一或多个外部扩音器的相对定位；以及
将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验。
32.根据权利要求31所述的处理器可读媒体，其上进一步存储有在被一或多个处理器执行时致使所述一个或一个以上处理器进行以下操作的指令：
自动地断定一或多个外部麦克风的存在；
指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所述所俘获的第二音频信号的一或多个对应到达方向；
指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所述所俘获的第三音频信号的到达方向；
其中基于所述到达方向来断定所述目标用户相对于所述一或多个外部扩音器的所述相对定位。
33.一种在外部装置中操作的方法，其包括：
从无线装置接收第一指令以激活麦克风且将由所述麦克风俘获的第一音频信号提供给所述无线装置，以便相对于所述无线装置定位所述外部装置；
从所述无线装置接收第二指令以通过外部扩音器回放第二音频信号，从而辅助相对于所述无线装置定位所述外部装置；以及
从所述无线装置接收第三指令以激活所述麦克风且将由所述麦克风俘获的第三音频信号发送到所述无线装置，以便断定目标用户相对于所述无线装置的定位。
34.根据权利要求33所述的方法，其进一步包括：
从所述无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号；以及
将所述扬声器专有音频信号发送到所述一或多个对应外部扩音器，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验。
35.根据权利要求33所述的方法，其中经由无线通信接口以不可听的形式接收从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号。
36.一种外部装置，其包括：
通信接口，其用以与无线装置无线地通信；
处理电路，其耦合到所述通信接口，所述处理电路适于
从无线装置接收第一指令以激活麦克风且将由所述麦克风俘获的第一音频信号提供给所述无线装置，以便相对于所述无线装置定位所述外部装置；
从所述无线装置接收第二指令以通过外部扩音器回放第二音频信号，从而辅助相对于所述无线装置定位所述外部装置；以及
从所述无线装置接收第三指令以激活所述麦克风且将由所述麦克风俘获的第三音频信号发送到所述无线装置，以便断定目标用户相对于所述无线装置的定位。
37.根据权利要求36所述的外部装置，其中所述处理电路进一步适于
从所述无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号；以及
将所述扬声器专有音频信号发送到所述一或多个对应外部扩音器，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验。
38.根据权利要求36所述的外部装置，其中从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号是经由无线通信接口以不可听的形式来接收。
39.一种外部装置，其包括：
用于从无线装置接收第一指令以激活麦克风且将由所述麦克风俘获的第一音频信号提供给所述无线装置以便相对于所述无线装置定位所述外部装置的装置；
用于从所述无线装置接收第二指令以通过外部扩音器回放第二音频信号从而辅助相对于所述无线装置定位所述外部装置的装置；以及
用于从所述无线装置接收第三指令以激活所述麦克风且将由所述麦克风俘获的第三音频信号发送到所述无线装置以便断定目标用户相对于所述无线装置的定位的装置。
40.根据权利要求39所述的外部装置，其进一步包括：
用于从所述无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号的装置；以及
用于将所述扬声器专有音频信号发送到所述一或多个对应外部扩音器的装置，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验。
41.根据权利要求39所述的外部装置，其中从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号是经由无线通信接口以不可听的形式来接收。
42.一种其上存储有指令的处理器可读媒体，所述指令在被一或多个处理器执行时致使所述一个或一个以上处理器：
从无线装置接收第一指令以激活麦克风且将由所述麦克风俘获的第一音频信号提供给所述无线装置，以便相对于所述无线装置定位所述外部装置；
从所述无线装置接收第二指令以通过外部扩音器回放第二音频信号，从而辅助相对于所述无线装置定位所述外部装置；以及
从所述无线装置接收第三指令以激活所述麦克风且将由所述麦克风俘获的第三音频信号发送到所述无线装置，以便断定目标用户相对于所述无线装置的定位。
43.根据权利要求42所述的处理器可读媒体，其上进一步存储有在被一或多个处理器执行时致使所述一个或一个以上处理器进行以下操作的指令：
从所述无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号；以及
将所述扬声器专有音频信号发送到所述一或多个对应外部扩音器，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验。
CN201280062049.9A 2011-12-19 2012-12-05 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能 Active CN103999488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610812840.7A CN107018475B (zh) 2011-12-19 2012-12-05 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161577483P 2011-12-19 2011-12-19
US61/577,483 2011-12-19
US13/476,815 US9408011B2 (en) 2011-12-19 2012-05-21 Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
US13/476,815 2012-05-21
PCT/US2012/067874 WO2013095920A1 (en) 2011-12-19 2012-12-05 Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610812840.7A Division CN107018475B (zh) 2011-12-19 2012-12-05 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能

Publications (2)

Publication Number Publication Date
CN103999488A true CN103999488A (zh) 2014-08-20
CN103999488B CN103999488B (zh) 2016-10-05

Family

ID=48610150

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610812840.7A Active CN107018475B (zh) 2011-12-19 2012-12-05 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能
CN201280062049.9A Active CN103999488B (zh) 2011-12-19 2012-12-05 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610812840.7A Active CN107018475B (zh) 2011-12-19 2012-12-05 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能

Country Status (7)

Country Link
US (2) US9408011B2 (zh)
EP (2) EP3470870B1 (zh)
JP (1) JP6158216B2 (zh)
KR (2) KR101714134B1 (zh)
CN (2) CN107018475B (zh)
IN (1) IN2014MN00985A (zh)
WO (1) WO2013095920A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554640A (zh) * 2015-12-22 2016-05-04 广东欧珀移动通信有限公司 音响设备及环绕声音响***
CN107211213A (zh) * 2014-12-01 2017-09-26 三星电子株式会社 基于扬声器的位置信息输出音频信号的方法和设备
CN110537101A (zh) * 2017-04-14 2019-12-03 昕诺飞控股有限公司 用于确定物***置的定位***
CN111076768A (zh) * 2018-10-22 2020-04-28 株式会社日立制作所 整体感测方法及***
CN114513715A (zh) * 2020-11-17 2022-05-17 Oppo广东移动通信有限公司 电子设备中执行语音处理的方法、装置、电子设备及芯片

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9408011B2 (en) 2011-12-19 2016-08-02 Qualcomm Incorporated Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8712328B1 (en) 2012-09-27 2014-04-29 Google Inc. Surround sound effects provided by cell phones
CN104823070B (zh) * 2012-10-02 2017-12-26 诺基亚技术有限公司 配置音响***
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
WO2014137341A1 (en) * 2013-03-07 2014-09-12 Nuance Communications, Inc. Method for training an automatic speech recognition system
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9431014B2 (en) * 2013-07-25 2016-08-30 Haier Us Appliance Solutions, Inc. Intelligent placement of appliance response to voice command
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
JP6430506B2 (ja) * 2013-11-22 2018-11-28 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ハンズフリー・ビームパターン構成
KR102121748B1 (ko) * 2014-02-25 2020-06-11 삼성전자주식회사 입체 사운드를 재생하는 방법 및 장치
CN103928025B (zh) * 2014-04-08 2017-06-27 华为技术有限公司 一种语音识别的方法及移动终端
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10542365B2 (en) * 2014-08-18 2020-01-21 Apple Inc. Optimizing the performance of an audio playback system with a linked audio/video feed
TWI590666B (zh) * 2015-02-12 2017-07-01 絡達科技股份有限公司 分散式系統之音效增益方法
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9984686B1 (en) 2015-03-17 2018-05-29 Amazon Technologies, Inc. Mapping device capabilities to a predefined set
JP6592940B2 (ja) * 2015-04-07 2019-10-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
WO2016182184A1 (ko) * 2015-05-08 2016-11-17 삼성전자 주식회사 입체 음향 재생 방법 및 장치
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10655951B1 (en) * 2015-06-25 2020-05-19 Amazon Technologies, Inc. Determining relative positions of user devices
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10365620B1 (en) 2015-06-30 2019-07-30 Amazon Technologies, Inc. Interoperability of secondary-device hubs
EP3139639A1 (en) 2015-09-04 2017-03-08 Music Group IP Ltd. Method for determining a connection order of nodes on a powered audio bus
EP3148224A3 (en) * 2015-09-04 2017-06-21 Music Group IP Ltd. Method for determining or verifying spatial relations in a loudspeaker system
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9870762B2 (en) * 2015-09-11 2018-01-16 Plantronics, Inc. Steerable loudspeaker system for individualized sound masking
US9706300B2 (en) 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US10013996B2 (en) * 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9949054B2 (en) * 2015-09-30 2018-04-17 Sonos, Inc. Spatial mapping of audio playback devices in a listening environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10048929B2 (en) * 2016-03-24 2018-08-14 Lenovo (Singapore) Pte. Ltd. Adjusting volume settings based on proximity and activity data
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN106898348B (zh) * 2016-12-29 2020-02-07 北京小鸟听听科技有限公司 一种出声设备的去混响控制方法和装置
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US9980076B1 (en) 2017-02-21 2018-05-22 At&T Intellectual Property I, L.P. Audio adjustment and profile system
JP6904031B2 (ja) * 2017-04-13 2021-07-14 ヤマハ株式会社 スピーカ位置検出システム、スピーカ位置検出装置、及びスピーカ位置検出方法
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180338214A1 (en) * 2017-05-18 2018-11-22 Raytheon BBN Technologies, Corp. Personal Speaker System
GB2563670A (en) * 2017-06-23 2018-12-26 Nokia Technologies Oy Sound source distance estimation
KR102443651B1 (ko) * 2017-11-16 2022-09-15 삼성전자주식회사 전자 장치, 외부 전자 장치 및 이를 포함하는 음향 시스템
JP7176194B2 (ja) * 2018-02-09 2022-11-22 ヤマハ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US20190387088A1 (en) * 2018-06-14 2019-12-19 Qualcomm Incorporated Smart ringtone control
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN108898980A (zh) * 2018-07-31 2018-11-27 杭州浙启品牌管理有限公司 一种楼宇广告的方法
US20200068310A1 (en) * 2018-08-22 2020-02-27 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Brought-in devices ad hoc microphone network
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
US11451931B1 (en) 2018-09-28 2022-09-20 Apple Inc. Multi device clock synchronization for sensor data fusion
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP7251200B2 (ja) * 2019-02-19 2023-04-04 株式会社リコー スピーカ装置、ビデオ会議装置及び電子黒板
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
KR102650488B1 (ko) * 2019-11-29 2024-03-25 삼성전자주식회사 전자장치와 그의 제어방법
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11758360B2 (en) * 2020-02-28 2023-09-12 Comcast Cable Communications, Llc Methods, systems, and apparatuses for presence detection
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11582554B1 (en) * 2020-09-22 2023-02-14 Apple Inc. Home sound loacalization and identification
US11657814B2 (en) * 2020-10-08 2023-05-23 Harman International Industries, Incorporated Techniques for dynamic auditory phrase completion
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
EP4231663A4 (en) * 2021-03-12 2024-05-08 Samsung Electronics Co., Ltd. ELECTRONIC AUDIO INPUT DEVICE AND OPERATING METHOD THEREFOR
US12021806B1 (en) 2021-09-21 2024-06-25 Apple Inc. Intelligent message delivery
EP4329337A1 (en) 2022-08-22 2024-02-28 Bang & Olufsen A/S Method and system for surround sound setup using microphone and speaker localization

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023331A1 (en) * 2001-07-27 2003-01-30 Nec Corporation Portable terminal unit and sound reproducing system using at least one portable terminal unit
CN1627862A (zh) * 2003-12-10 2005-06-15 索尼株式会社 多个扬声器的音响***以及自动控制方法
CN1747533A (zh) * 2004-09-06 2006-03-15 三星电子株式会社 视听***及其调谐方法
CN1774871A (zh) * 2003-04-15 2006-05-17 专利创投公司 定向扬声器
CN1835648A (zh) * 2005-03-15 2006-09-20 雅马哈株式会社 位置检测***、扬声器***，以及用户终端装置
CN101438604A (zh) * 2004-12-02 2009-05-20 皇家飞利浦电子股份有限公司 使用扬声器作为麦克风的位置感知
US20090304205A1 (en) * 2008-06-10 2009-12-10 Sony Corporation Of Japan Techniques for personalizing audio levels
US20100329489A1 (en) * 2009-06-30 2010-12-30 Jeyhan Karaoguz Adaptive beamforming for audio and data applications

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386478A (en) 1993-09-07 1995-01-31 Harman International Industries, Inc. Sound system remote control with acoustic sensor
US6154549A (en) * 1996-06-18 2000-11-28 Extreme Audio Reality, Inc. Method and apparatus for providing sound in a spatial environment
DE19943872A1 (de) * 1999-09-14 2001-03-15 Thomson Brandt Gmbh Vorrichtung zur Anpassung der Richtcharakteristik von Mikrofonen für die Sprachsteuerung
CN1401203A (zh) 2000-04-28 2003-03-05 皇家菲利浦电子有限公司 音频***
US7617099B2 (en) * 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
US6937980B2 (en) * 2001-10-02 2005-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Speech recognition using microphone antenna array
US20030119523A1 (en) 2001-12-20 2003-06-26 Willem Bulthuis Peer-based location determination
CN1682567B (zh) 2002-09-09 2014-06-11 皇家飞利浦电子股份有限公司 智能扬声器
US7586812B2 (en) * 2003-01-24 2009-09-08 Shotspotter, Inc. Systems and methods of identifying/locating weapon fire including return fire, targeting, laser sighting, and/or guided weapon features
JP2004304778A (ja) * 2003-03-20 2004-10-28 Victor Co Of Japan Ltd 音場設定方法、音場設定プログラム、及びオーディオ信号再生装置
JP2005057545A (ja) * 2003-08-05 2005-03-03 Matsushita Electric Ind Co Ltd 音場制御装置及び音響システム
EP1596220B1 (en) * 2004-05-13 2008-11-05 Mitsubishi Electric Information Technology Centre Europe B.V. Determination of time-difference of arrival and angle of arrival
US7630501B2 (en) 2004-05-14 2009-12-08 Microsoft Corporation System and method for calibration of an acoustic system
US20060088174A1 (en) * 2004-10-26 2006-04-27 Deleeuw William C System and method for optimizing media center audio through microphones embedded in a remote control
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2007124380A (ja) * 2005-10-28 2007-05-17 Nec Corp 立体音響出力システム、立体音響出力方法及び立体音響出力用プログラム
US8345890B2 (en) * 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US9697844B2 (en) 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US20080077261A1 (en) 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
JP2009135750A (ja) * 2007-11-30 2009-06-18 Kyocera Corp 再生システム、再生制御装置、再生制御方法および再生制御プログラム
JP5332243B2 (ja) * 2008-03-11 2013-11-06 ヤマハ株式会社 放音システム
US8170222B2 (en) 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
DK2449798T4 (da) * 2009-08-11 2020-12-21 Sivantos Pte Ltd System og fremgangsmåde til estimering af en lyds ankomstretning
US20110091055A1 (en) 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
US9408011B2 (en) 2011-12-19 2016-08-02 Qualcomm Incorporated Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023331A1 (en) * 2001-07-27 2003-01-30 Nec Corporation Portable terminal unit and sound reproducing system using at least one portable terminal unit
CN1774871A (zh) * 2003-04-15 2006-05-17 专利创投公司 定向扬声器
CN1627862A (zh) * 2003-12-10 2005-06-15 索尼株式会社 多个扬声器的音响***以及自动控制方法
CN1747533A (zh) * 2004-09-06 2006-03-15 三星电子株式会社 视听***及其调谐方法
CN101438604A (zh) * 2004-12-02 2009-05-20 皇家飞利浦电子股份有限公司 使用扬声器作为麦克风的位置感知
CN1835648A (zh) * 2005-03-15 2006-09-20 雅马哈株式会社 位置检测***、扬声器***，以及用户终端装置
US20090304205A1 (en) * 2008-06-10 2009-12-10 Sony Corporation Of Japan Techniques for personalizing audio levels
US20100329489A1 (en) * 2009-06-30 2010-12-30 Jeyhan Karaoguz Adaptive beamforming for audio and data applications

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211213A (zh) * 2014-12-01 2017-09-26 三星电子株式会社 基于扬声器的位置信息输出音频信号的方法和设备
US10171911B2 (en) 2014-12-01 2019-01-01 Samsung Electronics Co., Ltd. Method and device for outputting audio signal on basis of location information of speaker
CN107211213B (zh) * 2014-12-01 2019-06-14 三星电子株式会社 基于扬声器的位置信息输出音频信号的方法和设备
CN105554640A (zh) * 2015-12-22 2016-05-04 广东欧珀移动通信有限公司 音响设备及环绕声音响***
CN105554640B (zh) * 2015-12-22 2018-09-14 广东欧珀移动通信有限公司 音响设备及环绕声音响***
CN110537101A (zh) * 2017-04-14 2019-12-03 昕诺飞控股有限公司 用于确定物***置的定位***
CN110537101B (zh) * 2017-04-14 2023-12-05 昕诺飞控股有限公司 用于确定物***置的定位***
CN111076768A (zh) * 2018-10-22 2020-04-28 株式会社日立制作所 整体感测方法及***
CN111076768B (zh) * 2018-10-22 2022-03-11 株式会社日立制作所 整体感测方法及***
CN114513715A (zh) * 2020-11-17 2022-05-17 Oppo广东移动通信有限公司 电子设备中执行语音处理的方法、装置、电子设备及芯片
WO2022105392A1 (zh) * 2020-11-17 2022-05-27 Oppo广东移动通信有限公司 电子设备中执行语音处理的方法、装置、电子设备及芯片

Also Published As

Publication number Publication date
CN107018475A (zh) 2017-08-04
EP2795930B1 (en) 2020-01-15
EP3470870A1 (en) 2019-04-17
KR101714134B1 (ko) 2017-03-08
US20130156198A1 (en) 2013-06-20
KR20140107512A (ko) 2014-09-04
JP2015507864A (ja) 2015-03-12
IN2014MN00985A (zh) 2015-04-24
US9408011B2 (en) 2016-08-02
US20160309279A1 (en) 2016-10-20
WO2013095920A1 (en) 2013-06-27
EP2795930A1 (en) 2014-10-29
JP6158216B2 (ja) 2017-07-05
KR20150103308A (ko) 2015-09-09
KR101928137B1 (ko) 2018-12-11
CN103999488B (zh) 2016-10-05
EP3470870B1 (en) 2023-03-29
CN107018475B (zh) 2019-11-22
US10492015B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
CN103999488A (zh) 自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能
CN110972033B (zh) 修改音频数据的***和方法
CN103229518B (zh) 听力辅助***和方法
CN108600907A (zh) 定位声源的方法、听力装置及听力***
JP2021505078A (ja) 待ち時間の少ない無線による音声コンテンツ共有
JP2019518985A (ja) 分散したマイクロホンからの音声の処理
CN104717585A (zh) 位置感知自配置扬声器
US20050129254A1 (en) Location aware directed audio
CN113015065B (zh) 一种连接方法、装置、设备及计算机存储介质
CN107211213B (zh) 基于扬声器的位置信息输出音频信号的方法和设备
WO2021227571A1 (zh) 一种智能设备、控制智能音箱的方法和***
EP3179744B1 (en) Method, device and system for controlling a sound image in an audio zone
US20140314250A1 (en) Position estimation system using an audio-embedded time-synchronization signal and position estimation method using the system
US20230344535A1 (en) Robust broadcast via relayed retransmission
CN105992099A (zh) 终端及其定向播放音频信号的方法
US20230297320A1 (en) Location-based systems and methods for initiating wireless device action
JP2013532919A (ja) 移動通信のための方法
Cavalcante et al. Audio beacon providing location-aware content for low-end mobile devices
US9455678B2 (en) Location and orientation based volume control
CN109407053A (zh) 用于播放导频音来定位移动终端设备的方法以及定位方法
CN112098950B (zh) 一种定位智能设备的方法和装置
CN116203504A (zh) 一种寻找耳机的方法、装置、电子设备及存储介质
CN109788384A (zh) 一种蓝牙耳机
JP2006054515A (ja) 音響システム、音声信号処理装置およびスピーカ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant