CN103841491B - 用于管理多个麦克风和扬声器的自适应*** - Google Patents
用于管理多个麦克风和扬声器的自适应*** Download PDFInfo
- Publication number
- CN103841491B CN103841491B CN201310554354.6A CN201310554354A CN103841491B CN 103841491 B CN103841491 B CN 103841491B CN 201310554354 A CN201310554354 A CN 201310554354A CN 103841491 B CN103841491 B CN 103841491B
- Authority
- CN
- China
- Prior art keywords
- loud speaker
- electronic equipment
- speaker
- microphone
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 63
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 230000005611 electricity Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 2
- 238000005314 correlation function Methods 0.000 abstract description 9
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 22
- 238000010295 mobile communication Methods 0.000 description 13
- 238000001914 filtration Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2400/00—Loudspeakers
- H04R2400/01—Transducers used as a loudspeaker to generate sound aswell as a microphone to detect sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请涉及用于管理多个麦克风和扬声器的自适应***。提供了用于自适应地管理电子设备中的多个麦克风和扬声器的方法和***。可确定电子设备的操作模式，并且可基于所确定的操作模式来管理至少一个扬声器的操作。管理可包括自适应地切换或修改至少一个扬声器的功能。例如，至少一个扬声器可被配置为充当麦克风或振动检测器。利用至少一个扬声器获得的输入可被利用来优化音频相关功能，例如噪声降低和/或声学回声消除。
Description
要求优先权
本专利申请参照2012年11月8日递交的标题为“Adaptive System for Managinga Plurality of Microphones and Speakers”的61/723,856号美国临时专利申请、要求其优先权并要求享有其权益。特此通过引用将上述申请全部并入。
技术领域
本申请的各方面涉及音频处理。更具体而言，本公开的某些实现方式涉及用于管理多个麦克风和扬声器的自适应***。
背景技术
用于管理电子设备中的音频输入和输出组件（例如扬声器和麦克风）的现有方法和***可能是低效和/或昂贵的。本领域技术人员通过将常规和传统方案与本公开的以下部分参照附图阐述的本方法和装置的一些方面相比较，将清楚这种方案的更多限制和缺点。
发明内容
提供了一种***和/或方法，用于管理多个麦克风和扬声器的自适应***，基本上如至少一幅附图中所示和/或联系至少一幅附图所描述，如权利要求中更完整阐述。
通过以下描述和附图将更充分理解本公开的这些和其他优点、方面和新颖特征以及所例示的其（一个或多个）实现方式的细节。
附图说明
图1示出了具有多个麦克风和扬声器的示例性电子设备。
图2示出了具有多个麦克风和扬声器的示例性电子设备的体系架构。
图3示出了具有多个麦克风和扬声器的示例性电子设备的体系架构，其被修改来使得能够使用扬声器作为音频输入组件。
图4示出了具有多个麦克风和扬声器的示例性电子设备的体系架构，其被以替换方式修改来使得能够使用扬声器作为音频输入组件。
图5示出了用于转换从扬声器获得的信号以匹配来自标准麦克风的信号，从而结合经由麦克风获得的标准音频信号使用的预处理的示例。
图6是示出用于管理电子设备中的多个麦克风和扬声器的示例性过程的流程图。
图7是示出用于利用经由扬声器捕捉的振动来生成音频输入的示例性过程的流程图。
具体实施方式
在用于自适应地管理、控制和切换电子设备（例如移动通信***，比如移动电话或平板电脑）中的多个麦克风和扬声器的操作的方法和***中可找到某些实现方式。在这点上，根据本公开可利用电子设备的内置麦克风和扬声器，而无需改变这些麦克风和扬声器在设备的原始结构中的位置。而是可以管理、控制和切换电子设备的麦克风和扬声器的操作以在电子设备内支持增强和/或优化的功能。例如，标准移动设备的内置扬声器可以结合该设备的信号处理能力——包括硬件和软件——被用来提供在设备内使用的输入。内置扬声器可被配置并使用作为麦克风和/或振动检测器，从而例如提供对于设备用户是否在说话的可靠判定，和/或用于生成有用的输入和/或指示来执行各种自适应过程。例如，在改善噪声降低或声学回声消除过程时，可以使用由扬声器生成的输入或指示。对要使用的扬声器和/或麦克风的选择可自动且自适应的进行，例如基于***的操作模式进行。
这里使用的术语“电路”指的是物理电子组件（即硬件）和可配置硬件、被硬件执行和/或以其他方式与硬件相关联的任何软件和/或固件（“代码”）。例如，就这里使用的而言，特定处理器和存储器在执行第一多行代码时可包括第一“电路”，并且在执行第二多行代码时可包括第二“电路”。这里使用的“和/或”指的是由“和/或”联接的列表中的项目中的任何一个或多个。作为示例，“x和/或y”指的是三元素集合{(x),(y),(x,y)}的任何元素。作为另一示例，“x、y和/或z”指的是七元素集合{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}的任何元素。这里使用的术语“方框”和“模块”指的是可由一个或多个电路执行的功能。这里使用的术语“示例”指的是用作非限制性示例、实例或例示。这里使用的术语“例如”和“比如”引出一个或多个非限制性示例、实例或例示的列表。就这里使用的而言，每当电路包括执行一功能所必要的硬件和代码（如果必需任何代码的话）时，该电路就“可操作来”执行该功能，无论该功能的执行是否被某种用户可配置设定所禁止或未使能。
图1示出了具有多个麦克风和扬声器的示例性电子设备。参考图1，示出了电子设备100。
电子设备100可包括用于执行或支持各种功能、操作、应用和/或服务的适当电路。电子设备100所执行或支持的功能、操作、应用和/或服务可基于用户指令和/或预配置的指令来运行或被控制。在一些实例中，电子设备100可根据一个或多个支持的无线和/或有线协议或标准支持数据的通信，例如经由有线和/或无线连接。在一些实例中，电子设备100可以是手持式移动设备——即，打算在移动中使用和/或在不同位置使用。在这点上，电子设备100可被设计和/或配置为考虑到移动的容易，以例如允许它在被移动中的用户握持着时易于移动，并且电子设备100可被配置为应对移动中的电子设备100所执行或支持的功能、操作、应用和/或服务中的至少一些。电子设备的示例可包括移动通信设备（例如蜂窝电话、智能电话和平板电脑）、个人计算机（例如膝上型计算机或桌面型计算机），等等。然而，本公开不限于任何特定类型的电子设备。
在示例性实现方式中，电子设备100可支持音频的输入和/或输出。电子设备100可包含例如多个扬声器和麦克风，用来输出和/或输入（捕捉）音频，并且还包含用于驱动、控制和/或利用扬声器和麦克风的适当电路。例如，电子设备100可包括第一扬声器110、第一麦克风120、第二扬声器130和第二麦克风140。利用第一扬声器110、第一麦克风120、第二扬声器130和/或第二麦克风140的方式可基于电子设备100的操作。另外，电子设备100可支持多个操作模式，这些操作模式具有相应的（并且通常不同的）扬声器和/或麦克风使用概况。例如，在电子设备100是（或者被用作）移动通信设备（例如智能电话）的情况下，电子设备100可支持（就音频输入/输出而言）诸如“听筒模式”（Handset Mode）和“扬声器模式”（Speaker Mode）这样的模式。
在这点上，听筒模式可对应于在语音呼叫期间使用电子设备100，其中用户可将电子设备握在用户的脸庞边（即，电子设备100被用作以典型方式握持的“电话”）。例如，在听筒模式期间，第一扬声器110和第一麦克风120可被利用来支持语音呼叫服务——即，第一扬声器110可以是耳机扬声器，而第一麦克风120被利用（放在用户嘴部附近）来捕捉话音/音频输入。在扬声器模式中，第二扬声器130（即非耳机扬声器）可被用于输出音频。扬声器模式可例如对应于在语音呼叫期间使用电子设备100，但是在用户可能没有握持着电子设备（例如，电子设备100被用作免提或扬声器“电话”）的场景中。在这点上，当电子设备100在免提语音呼叫期间在扬声器模式中操作时，第二扬声器130（即，非耳机扬声器）可被用于输出音频并且第二麦克风140（更适合于捕捉来自一段距离处的周围语音）可用于捕捉话音/音频输入。扬声器模式也可对应于使用电子设备100来提供与非语音呼叫无关的音频服务。例如，当在电子设备100中播放输出音乐时，第二扬声器130可在扬声器模式中操作。扬声器110和130可能不同时工作——例如在听筒模式中，主（耳机）扬声器110可被激活并使用，而第二扬声器130可能不活动和/或未使用；而在扬声器模式中，主（耳机）扬声器110可能不是活动的，而通常可产生更高话音功率的第二扬声器130是活动的。
在本公开的各种实现方式中，在电子设备（例如电子设备100）中可优化现有的多个麦克风和扬声器的使用和/或配置来增强各种音频相关功能，例如通过利用在某些模式中可能通常不活动的扬声器来捕捉或获得输入信号。通过以这种方式最优地利用设备中存在的现有的多个麦克风和扬声器可增强的音频相关功能的示例可包括噪声降低和/或回声消除。
例如，可以应用不同的技术来改善语音质量，因为通常是想要提供高质量语音通信的。改善语音质量时使用的技术之一是噪声降低（NR），其可允许为了用户（尤其是另一端的用户）的利益而降低周围噪声。在一些实例中，可基于对多个麦克风的使用来实现噪声降低技术。例如，在设备中使用了两个麦克风，其中一个麦克风靠近用户的嘴部（并用于捕捉用户的语音）并且另一麦克风被放置在设备上别的某处（例如，靠近耳朵和/或在设备的另一侧）的情况下，第一麦克风可用于拾取用户的语音和周围噪声，而第二麦克风可主要用于拾取周围噪声。（来自两个麦克风的）两个信号可被处理以便生成清晰的语音来发送到另一方。在这种布置中，如果噪声是相干的并且在次麦克风处拾取的噪声和由主麦克风拾取的噪声是相关的，则噪声降低可表现良好。然而，当存在在诸如办公室之类的封闭场所中通常存在的非相干噪声——比如混响噪声——时，两个麦克风拾取的噪声可能不是高度相关的，这可降低噪声降低性能。然而，当使用彼此靠近（例如彼此距离1-2cm）的麦克风时，噪声降低性能可能会好很多，因为两个麦克风中拾取的噪声的相关性可能高得多。
在一些实例中，还使用不同的回声消除技术来降低回声并且防止接收方听到用户自己的语音的回声。声学回声消除（AEC）技术可基于对设备的环境中的噪声和回声的估计。另外，这些估计可连续地进行——例如在呼叫期间，比如通过使用各种自适应技术。自适应技术可基于各种考虑，例如用户是否在说话，因为如果在用户说话时进行自适应则用户的语音可能被解读为噪声。估计用户是否在说话以增强自适应可利用各种技术来完成。例如，利用语音激活检测器（VAD），可以分析捕捉到的信号以判定或估计用户是否在说话。这些技术中的大多数在周围噪声水平较低——例如在信号噪声比（SNR）较高——的情况下工作良好。然而，当SNR较低时（即，当环境噪声水平与用户的语音水平相比较高时），估计过程可能不能检测到用户是否在说话，结果NR和AEC的性能大幅降低。
对于限定的操作模式而言可能最优的麦克风和/或扬声器的放置对于其他音频相关功能而言可能不是最优的。例如，麦克风120和140可能通常被放置得彼此相对较远（尤其是在移动通信设备中）——例如放置在顶部和底部距离10-15cm处，和/或可被放置在设备的相反侧。然而，这种放置对于诸如噪声降低（NR）和声学回声消除（AEC）之类的音频相关功能可能不是最优的。此问题的一个解决方案可通过添加被定位得相对靠近已经存在的（一个或多个）麦克风的更多的（一个或多个）麦克风来提供。然而，添加更多的（一个或多个）麦克风可能由于各种原因而不是合乎需要的——例如，成本的增加、设备设计的局限或限制，等等。另一个解决方案可以是调整麦克风和扬声器的放置以特别地改善关于这些音频相关功能的性能。然而，这种调整可能不利地影响这些麦克风和/或扬声器的主要用途和/或可能是不实际的。
因此，在各种实现方式中，现有的多个麦克风和扬声器（例如，电子设备100的扬声器110和130以及麦克风120和140）可被配置为提供增强的噪声降低（NR）和声学回声消除（AEC）性能，而不会影响现有麦克风和/或扬声器的使用，并且不会要求修改其放置，这种放置可能是针对其他（主要）使用目的——例如语音呼叫、背景音频重放和/或立体声记录能力——而优化的。例如，现有的多个麦克风（被放置得远离）和扬声器可被配置为例如在特定的操作模式（例如听筒模式）中作为基于两个靠近的麦克风的布置而操作，以使得能够提供增强的噪声降低性能和/或声学回声消除。基于两个靠近的麦克风的布置可通过使用一个或多个扬声器提供所需的基于麦克风的功能来实现。换言之，扬声器可被用作“麦克风”——即，用来捕捉音频和/或生成输入信号。
所使用的扬声器可自动选择，例如根据操作模式来选择。例如，所选扬声器可包括在该操作模式中否则就不活动的扬声器。所选扬声器可用作振动检测器——以例如提供对于用户是否在说话的可靠指示。所选扬声器可同时作为扬声器和作为振动检测器来操作。根据本公开实现的***可以是模块化的和/或可对任何体系架构都有效。可以管理扬声器和麦克风的操作以便最优地执行诸如噪声降低和/或回声消除之类的音频相关功能。该管理可包括识别操作模式；指示出用户是否在说话；根据所识别的操作模式和/或根据关于用户是否在说话的指示来自动地选择扬声器；根据所识别的移动通信***的操作模式并且根据关于用户是否在说话的指示来切换所选扬声器的操作以充当麦克风或充当振动检测器。
虽然某些示例可涉及移动电话，但也可使用其他移动通信***以及任何适当的电子***。另外，虽然所描述的一些示例可公开特定体系架构，具有特定数目的扬声器和麦克风，其具有特定布置，以及特定的其他组件用于以特定方式管理其操作，但应当理解这些示例只是为了提供对本公开的透彻理解而阐述的，而并不打算限制本公开的范围。
虽然某些示例可涉及移动电话，但也可使用其他移动通信***以及任何适当的电子***。另外，虽然所描述的一些示例可公开特定体系架构，具有特定数目的扬声器和麦克风，其具有特定布置，以及特定的其他组件用于以特定方式管理其操作，但应当理解这些示例只是为了提供对本公开的透彻理解而阐述的，而并不打算限制本公开的范围。
图2示出了具有多个麦克风和扬声器的示例性电子设备的体系架构。参考图2，示出了电子设备200。
电子设备200例如可与图1的电子设备100类似。在这点上，电子设备200可包含多个音频输出组件（例如扬声器2301和2302）和音频输入组件（例如麦克风2401和2402）。电子设备200还可包含用于支持音频相关处理和/或操作的电路。例如，电子设备200可包括处理器210和语音编解码器220。
处理器210可包括可配置为处理数据、控制或管理操作（例如电子设备200或其组件的操作）、执行任务和/或功能（或控制任何这种任务/功能）的适当电路。处理器210可运行和/或执行应用、程序和/或代码，这些应用、程序和/或代码可被存储在例如处理器210内部或外部的存储器（未示出）中。另外，处理器210可利用一个或多个控制信号来控制电子设备200（或其组件或子***）的操作。处理器210可包括通用处理器，该通用处理器可被配置为执行或支持特定类型的操作（例如音频相关操作）。处理器210还可包括专用处理器。例如，处理器210可包括数字信号处理器（DSP）、基带处理器和/或应用处理器（例如ASIC）。
语音编解码器220可包括可配置为执行语音编码/解码操作的适当电路。例如，语音编解码器220可包括一个或多个模拟到数字转换器（ADC）、一个或多个数字到模拟转换器（DAC）以及至少一个多路复用器（MUX），该多路复用器可用于将在语音编解码器220中处理的信号指引到其适当的输入和输出端口。
在操作中，电子设备200可支持语音信号的输入和/或输出。例如，麦克风2401和2402可接收模拟语音输入，该模拟语音输入随后可（作为模拟信号242和244）被转发到语音编解码器220。语音编解码器220可将模拟语音输入（例如经由ADC）转换成数字语音流，该数字语音流可被传送到处理器210（经由数字信号216——例如通过I2S连接）。处理器210随后可向数字语音信号应用数字处理。在输出侧，处理器210可生成数字语音信号，同时相应的数字语音流被传送到语音编解码器220（经由数字信号214——例如通过I2S连接）。语音编解码器220可处理数字语音流，将其（经由DAC）转换为模拟信号，该模拟信号可被馈送到扬声器2301和2302（经由模拟连接222和224）。
在示例性实施例中，语音输出信号可仅被馈送到扬声器之一。例如，电子设备200可支持多种模式，包括听筒模式和扬声器模式。因此，语音输出信号当电子设备200在听筒模式中操作时可仅被馈送到扬声器2301（其可被用作“主扬声器”）；而当电子设备200在扬声器模式中操作时可仅被馈送到扬声器2302（其可被用作“次扬声器”）。两个扬声器之间的切换可利用语音编解码器220的MUX来完成。另外，切换可利用控制信号212来控制（控制信号212可基于操作模式来设定）。
在一些实例中，可能希望利用音频输出组件（例如电子设备200的扬声器2301和2302）来获得或生成音频输入，该音频输入可用于优化或增强音频相关功能，例如噪声降低和/或声学回声消除。例如，在用户在某些语音相关服务中使用电子设备的实例中（例如，设备可以是移动电话，用户可在语音呼叫期间使用它），设备（或设备的外壳）可与用户的脸颊接触。用户的话音（即语音）可使得用户的骨骼振动，这进而也可使得设备的外壳振动，因为其与用户的脸颊接触。因为设备的（一个或多个）扬声器通常可被附着于外壳，所以扬声器可被用作振动检测器（VSensor），以感测外壳中的振动，包括由用户的语音引起的振动——即，扬声器可用于生成VSensor信号。分析VSensor信号，可判定用户是否在说话。另外，VSensor信号（在一些实例中与经由标准麦克风获得的信号相结合）可被处理，以例如改善噪声降低和/或声学回声消除过程。虽然以这种方式对扬声器的使用在某些操作模式中（例如听筒模式中）可能是更恰当的，但本公开不限于此，而扬声器也可以以类似的方式被用在可能通常不与用户说话相关联的其他操作模式中（例如用在扬声器模式中）。例如，即使在扬声器模式中，如果设备靠近用户的嘴部，当用户说话时，用户的语音仍可引起设备的外壳振动。这种振动可被通常在当前操作模式期间不活动的扬声器检测到——例如“耳机”扬声器，其通常在诸如扬声器模式这样的模式期间可能不被使用，可被配置为和/或充当捕捉这些振动的振动检测器（VSensor）。
支持使用扬声器来获得音频输入（例如作为麦克风或振动检测器）可要求在电子设备中添加或修改现有组件（电路和/或软件）。然而，这些改变可能是最低限度的，并且比添加更多专用的音频输入组件要划算得多。支持对扬声器的这种使用的实现方式的示例在至少图3、图4和图5中提供。
图3示出了具有多个麦克风和扬声器的示例性电子设备的体系架构，其被修改来使得能够使用扬声器作为音频输入组件。参考图3，其中示出了电子设备300。
电子设备300例如可与图2的电子设备200基本类似。然而，电子设备300可被配置为支持利用音频输出组件（例如扬声器）作为音频输入组件（例如麦克风或振动检测器），来例如增强某些音频相关功能（例如噪声降低和/或声学回声消除）。电子设备300可包括额外的电路和/或组件——即，除了针对电子设备200描述的电路和/或组件以外——来支持对扬声器的这种优化使用。例如，在图3中所示的实现方式中，电子设备可包括多路复用器（MUX）330和一对放大器310和320。MUX330和放大器310和320可用来获得来自扬声器2301和2302的输入（经由连接312和322），并且将（一个或多个）输入馈送到语音编解码器220。来自扬声器2301和2302的（一个或多个）输入可用来增强和/或优化诸如噪声降低和/或声学回声消除之类的音频相关功能。在这点上，对来自扬声器2301和2302的输入的使用可能因为其在电子设备300中的放置而是合乎需要的——例如，在捕捉输入时间隔开优选的距离（例如靠近麦克风2401和2402之一），或者附着到电子设备300的外壳，从而提供了用作振动检测器的理想定位。
在操作中，扬声器2301和2302可被配置和/或利用为输入设备（即，用于获得音频或振动输入）。在示例性的使用场景中，扬声器2301和2302中的一个可被选择用来获得“麦克风”输入，该输入可在噪声降低和/或声学回声消除过程期间例如结合来自标准麦克风（即，麦克风2401和2402中的一个或两个）的输入而被处理。处理器210可指令MUX330（例如经由控制信号336）选择来自扬声器2301和2302之一和麦克风2401和2402中的一个或多个的输入来作为两个靠近的麦克风操作。要以这种方式利用的特定一对扬声器/麦克风可自动地和/或自适应地选择，例如基于电子设备300的操作模式来选择。
例如，在扬声器2301可被利用（例如作为“耳机”扬声器）的听筒模式中，处理器210可经由控制信号336指令MUX330选择来自麦克风2401（被用作主麦克风）和来自扬声器2302的输入。另外，处理器210可配置在听筒模式期间不作为扬声器活动的扬声器2302用作麦克风——例如提供支持NR和/或AEC过程的输入。例如，扬声器2302可被配置为例如利用否则会用于生成输出音频、但却被配置为以相反方式工作的同样那些组件来生成输入信号。另外，所生成的信号在被馈送到MUX330中之前可经由放大器320被放大。因此，来自充当靠近的麦克风（即，麦克风2401和扬声器2302）的组件的所选信号可（经由模拟连接332和334）被馈送到语音编解码器220，以便对其进行数字化。相应的数字信号随后可（作为数字信号216）被馈送到处理器210以便进行进一步处理。
在扬声器2302可被利用（例如作为“非耳机”扬声器）的扬声器模式中，处理器210可经由控制信号336指令MUX330选择来自麦克风2402（被用作主麦克风）和来自扬声器2301的输入。处理器210可配置在扬声器模式期间不作为扬声器活动的扬声器2301用作麦克风，如上所述。从而，麦克风2402和扬声器2301可充当靠近的麦克风，并且从其输入到MUX330中的信号（在经由放大器310对由扬声器2301生成的信号进行放大之后）可被MUX330（经由连接332和334）馈送到语音编解码器220中以便进行数字化，并且相应的数字结果被馈送到处理器210以便进行进一步处理。
处理器210可被配置为在处理输入信号时执行额外的步骤，以便考虑到输入信号的来源。例如，因为标准麦克风（例如麦克风2401和2402）的频率响应通常不同于充当麦克风的扬声器（例如扬声器2301和2302）的频率响应，所以处理器210可对来自充当麦克风的扬声器的信号进行预处理以使之更好地匹配源自标准麦克风的输入信号。用于使来自扬声器的信号匹配标准麦克风的信号的预处理路径的示例在图5中更详细描述。
图4示出了具有多个麦克风和扬声器的示例性电子设备的体系架构，其被以替换方式修改来使得能够使用扬声器作为音频输入组件。参考图4，其中示出了电子设备400。
电子设备400例如可与图2的电子设备200基本类似。然而，与图3的电子设备300一样，电子设备400也可被配置为支持利用音频输出组件（例如扬声器）作为音频输入组件（例如麦克风或振动检测器），来例如增强某些音频相关功能（例如噪声降低和/或声学回声消除）。电子设备400可包括额外的电路和/或组件——即，除了针对电子设备200描述的电路和/或组件以外——来支持对扬声器的这种优化使用。例如，在图4中所示的实现方式中，电子设备可包括一对切换装置410和420以及一对放大器430和440。切换装置410和420中的每一个可包括用于允许例如基于接收到信号的输入端口来对信号进行自适应路由的电路。例如，切换装置410和420可被配置为将来自语音编解码器220的信号（即，“输出”信号）转发到扬声器2301和2302，并且将从扬声器2301和2302获得的信号（即，“输入”信号）转发到放大器430和440。切换装置410和420以及放大器430和440可被利用来获得来自扬声器2301和2302的输入，并将（一个或多个）馈送到语音编解码器220。如上所述，来自扬声器2301和2302的（一个或多个）输入可被利用来增强和/或优化诸如噪声降低和/或声学回声消除之类的音频相关功能。
在操作中，扬声器2301和2302可被配置和/或利用为输入设备（即，用于获得音频或振动输入）。在示例性的使用场景中，扬声器2301和2302中的一个（或两个）可被选择并配置为VSensor，以用来感测振动并生成相应的“振动”输入，该输入可在噪声降低和/或声学回声消除过程期间例如结合来自标准麦克风（即，麦克风2401和2402之一）的输入而被处理。要被用作VSensor的特定扬声器可自动地和/或自适应地选择，例如基于电子设备400的操作模式来选择。
例如，在听筒模式中，扬声器2301可被激活并用作主扬声器，而扬声器2302可能通常既不被激活也不被用于支持语音呼叫服务。从而，扬声器2302在电子设备400处于听筒模式中时可被选择并且可被配置为VSensor。扬声器2302可生成（例如当电子设备400经历一些振动时）VSensor信号，这些VSensor信号可经由切换装置420被路由到放大器440（通过连接422），放大器440可放大这些信号，并随后将这些信号馈送到语音编解码器220（经由连接442）。语音编解码器220可对信号进行处理（例如，经由其ADC应用转换），并且所得到的数字信号（作为数字信号216）被馈送到处理器210，以便对其进行处理。在一些实例中，处理器210可包含专用的应用模块450（例如软件模块），其可被配置为分析传入的VSensor信号。例如，对VSensor信号的分析可使得能够检测相应的振动是否指示设备的用户在说话。
在扬声器模式中，扬声器2302可被激活并用作主扬声器，而扬声器2301可能通常既不被激活也不被使用，此时扬声器2301可改为被选择并且可被配置为VSensor。切换装置410随后可把由扬声器2301生成的任何VSensor信号路由到放大器430（通过连接412），放大器430可放大这些信号，然后将这些信号馈送到语音编解码器220（经由连接432）。随后可按与以上针对听筒模式所述类似的方式来处理这些信号。
在一些实现方式中，扬声器可在活动且被用作扬声器时被配置为VSensor并同时被用作VSensor（即用于生成VSensor信号）。例如，在扬声器模式中，扬声器2302可能通常被激活并用作主扬声器，此时扬声器2301仍可被被配置为VSensor。切换装置420于是可被配置为如果必要的话在两个方向上路由信号——即，把从语音编解码器220接收的“输出”信号路由到扬声器2302，同时还把从扬声器2301接收的“输入”VSensor信号路由到放大器440。
图5示出了用于转换从扬声器获得的信号以匹配来自标准麦克风的信号，从而结合经由麦克风获得的标准音频信号使用的示例性预处理。参考图5，示出了预处理路径500。
预处理路径500可以是电子设备（例如处理器210）中的处理电路的一部分，被配置为负责电子设备中音频的处理。具体而言，预处理路径500可被配置为支持对从音频输出组件（例如扬声器等）获得的音频输入信号的处理，以使得其能够结合来自标准音频输入组件（例如标准麦克风）的音频输入使用。
在图5中所示的示例性实现方式中，预处理路径500可处理从标准麦克风（例如，麦克风2401和2402之一）接收的（标准）输入信号520和从被配置为充当麦克风的扬声器（例如，扬声器2301和2302之一）接收的输入音频信号530。预处理路径500随后可处理扬声器输入信号530，从而以确保相应的（经修改的）信号540可适当地匹配（标准）输入信号520的方式生成相应的（经修改的）信号540。例如，扬声器输入信号530可在预处理路径500内经历滤波（例如经由滤波器510）以保证信号520和540的频率相似。在这点上，滤波器510可包括用于提供信号滤波的适当电路。滤波器510可被配置为确保信号被以如下方式适当地转换：该方式可确保与扬声器输入相对应的信号匹配标准麦克风输入。
例如，滤波器510可实现为有限冲击响应（FIR）滤波器，其相位是线性的，以免破坏经滤波的信号的相位。另外，FIR滤波器可被设计成使得经处理的扬声器信号（即，经滤波的信号540）的频谱将接近麦克风信号（即，信号520）的频谱。例如，假定S(f)对应于作为麦克风的扬声器的频谱，并且SM(f)是标准麦克风的频谱，则滤波器510可被配置成使得由其执行的滤波将确保经处理的信号的频谱——即S(f)*FIR(f)——将接近麦克风频谱的频谱SM(f)。从而，滤波器510的频率响应可被配置为FIR(f)=SM(f)/S(f)。因此，以这种方式配置的（FIR）滤波器510可以以固定方式提供信号滤波，从而产生标准麦克风和充当麦克风的扬声器的转移函数之间的差异。
滤波器510的滤波功能可利用滤波参数来控制，滤波参数可基于例如校准过程来确定。校准过程可被进行一次以限定滤波参数——这些滤波参数随后可被存储并在以后被再使用。校准过程也可被重复地和/或动态地（例如实时地）执行。滤波函数（并且从而相应的滤波参数）可基于信号的来源而不同。例如，当待滤波信号源自于扬声器2301而不是源自于扬声器2302时，滤波参数可不同。从而，对于不同的（可用）扬声器可预定不同组滤波参数，同时基于每种使用场景中的来源来选择适当的扬声器。信号520和540随后可被利用作为两个“麦克风”信号——例如在任何的两麦克风噪声降低（NR）操作中。
图6是示出用于管理电子设备中的多个麦克风和扬声器的示例性过程的流程图。参考图6，示出了流程图600，其包括多个示例性步骤，这些步骤可在电子***（例如，图3和图4的电子设备300或400）中执行，以促进对其中包含的扬声器和麦克风的最优管理。
在启动步骤602中，电子设备（例如，电子设备300）可被加电并初始化。这可包括对电子设备的各种组件进行加电、激活和/或初始化，以使得电子设备可准备好执行或运行其支持的功能或应用。
在步骤604中，可例如基于用户命令/输入或先前配置的（一个或多个）执行指令来设定（或切换到）电子设备的操作模式。例如，在电子设备可支持通信（特别是语音呼叫）服务的实例中，操作模式可包括听筒模式和/或扬声器模式。因此，当设备的用户发起（或接受）语音呼叫并且将电子设备放到用户的脸庞边时，电子设备可切换到听筒模式。
在步骤606中，可基于当前操作模式判定是否有任何非活动扬声器。例如，在具有多个扬声器的移动通信设备（例如移动电话）中，在特定的操作模式中可能只利用特定的（一个或多个）扬声器——例如，在听筒模式中只利用“耳机”扬声器。在判定没有扬声器是不活动的（未使用的）扬声器的实例中，过程可前进到步骤612；否则过程前进到步骤608。
在步骤608中，可判定是否需要配置不活动的（或未使用的）扬声器来提供输入。例如，在具有多个麦克风的电子设备中，有时麦克风可用于获得输入来支持诸如噪声降低和声学回声消除这样的功能。然而，如果使用的麦克风未被最优地放置（例如，离得太远），则这些功能的性能可降低。从而，在扬声器相对于麦克风之一被更优地放置的情况下，可能更希望使用该扬声器作为“麦克风”。此外，可能希望利用扬声器作为振动检测器（VSensor）——例如，当其被理想地放置来接收传播经过用户的骨骼并进入到电子设备（或其外壳）中的振动时。在判定不需要配置不活动的（或未使用的）扬声器来提供输入的实例中，过程可前进到步骤612；否则过程前进到步骤610。
在步骤610中，一个或多个所选扬声器（例如基于不活动/未使用，这是基于当前操作模式确定的，和/或基于最适合于提供期望的输入）可被配置为提供期望的输入（例如，作为捕捉周围音频的“麦克风”或作为捕捉传播到电子设备上的振动的VSensor）。另外，电子设备整体上可被配置为支持使用所选的（一个或多个）扬声器来提供输入——例如激活必要的组件（放大器、MUX、切换元件等等）以路由和处理所生成的输入。
在步骤612中，电子设备可根据当前操作模式来操作。这可包括利用经由任何所选的（一个或多个）扬声器获得的输入——例如来增强噪声降低和/或声学回声消除过程。
图7是示出用于利用经由扬声器捕捉的振动来生成音频输入的示例性过程的流程图。参考图7，示出了流程图700，包括多个示例性步骤。这些多个示例性步骤可对应于——例如经由应用模块450实现的——算法和/或根据该算法来执行。
在启动步骤702中，可经由扬声器捕捉信号。信号V(t)例如可对应于经由扬声器捕捉的振动。在步骤704中，信号可被预处理——以例如生成相应的离散信号V(n)，其中“n”对应于信号V(t)在离散时间nT的采样。这种信号V(n)可对话音振动敏感，但可能对周围噪声要不太敏感，尤其对于低频（例如最高到约1kHz）更是如此。从而，即使在有噪声环境中，信号噪声比（SNR）可能仍相对较高。
在步骤706中，可对信号进行处理以使之适于分析。例如，信号V(n)可被滤波（例如，利用带通滤波器或BPF）。
在步骤708中，可对信号进行处理。例如，可利用一个或多个分析技术来逐采样地处理VBP(n)信号（通过对V(n)信号滤波而得到）。可利用标准技术来分析VBP(n)信号，例如利用自相关来计算（例如说话的人的）音高。也可通过计算信号的包络VEN(n)来分析VBP(n)信号。
在步骤710中，可检查分析的结果以判定是否满足匹配标准。在可判定不满足匹配标准的实例中，过程可循环回到步骤708——以分析下一采样。在可判定满足至少一个匹配标准的实例中——即指示出人在说话，过程可前进到步骤712，在该步骤中信号可被利用作为输入音频信号——例如作为语音激活检测器（VAD）。
例如，步骤710中执行的检查可包括判定是否检测到了音高，和/或信号的包络是否高于预定的阈值——例如，VEN(n)>TH_env。
音高检测可通过分析输入信号的自相关并对照预定的阈值检查其最大值，而基于对音高值的计算来完成。从而，如果计算出的最大值（Auto_max）高于预定的阈值（TH_pitch），则信号可被宣告为语音信号。
从而，在Auto_max>TH_pitch或者Auto_max<TH_pitch但VEN(n)>TH_env的实例中，信号可被宣告为语音帧，并且VAD标志可被开启。然而，在其他情况下，VAD标志将被关闭。
在图7中所示的示例性过程中，对信号的处理（计算和/或分析）是每个采样地进行的。然而，作为替换，处理可对采样组进行。例如，每N个采样（“N”是整数）可被分组成一帧，并且计算对每帧进行。帧大小可被调整以获得最优性能。例如，每个帧可为10ms（从而N将被设定成使得每N个采样的持续时间是10ms）。
在一些实现方式中，一种用于自适应地管理扬声器和/或麦克风的方法可被利用在一种包括电子设备（例如电子设备300或400）的***中，该电子设备可包括一个或多个电路（例如，处理器210、语音编解码器220、切换装置410和420以及放大器310、320、430和440）以及第一扬声器和第二扬声器（例如扬声器2301和2302）。该一个或多个电路可操作来确定电子设备的操作模式；并且基于所确定的操作模式来管理第一扬声器和第二扬声器中的一者或两者的操作，其中管理可包括自适应地切换或修改第一扬声器和第二扬声器中的一者或两者的功能。对第一扬声器和第二扬声器中的一者或两者的功能的切换或修改可包括配置第一扬声器和第二扬声器之一用作麦克风或用作振动检测器（VSensor）。该一个或多个电路可配置第一扬声器和第二扬声器之一在被用作麦克风或振动检测器时也同时继续充当扬声器。该一个或多个电路可操作来利用来自被配置用作麦克风或振动检测器的第一扬声器和第二扬声器之一的输入来支持电子设备中的音频增强功能。音频增强功能可包括噪声降低和/或声学回声消除。第一扬声器和第二扬声器之一可被配置为振动检测器来指示出电子设备的用户是否在说话。第一扬声器和第二扬声器之一可被配置为振动检测器来检测电子设备的外壳中的振动。该一个或多个电路可操作来根据电子设备的不同操作模式选择第一扬声器和第二扬声器中的不同的一个。
在一些实现方式中，一种用于自适应地管理扬声器和麦克风的方法可用在移动通信设备中，该移动通信设备包括第一扬声器和第二扬声器（例如扬声器2301和2302）以及第一麦克风和第二麦克风（例如麦克风2401和2402）。该方法可包括确定移动通信设备的操作模式；生成对于移动通信设备的用户何时在说话的指示；基于移动通信设备的操作模式和对于用户在说话的指示，选择第一扬声器和第二扬声器之一；以及基于所确定的操作模式来管理所选扬声器的操作。该管理可包括判定来自第一麦克风和第二麦克风的输入何时不足以支持移动通信设备中的音频增强功能；以及自适应地切换或修改所选扬声器的功能，以通过所选扬声器获得输入。音频增强功能可包括噪声降低或声学回声消除。可基于第一麦克风和第二麦克风的放置和/或其间的间距来判定来自第一麦克风和第二麦克风的输入不足以支持移动通信设备中的音频增强功能。可基于相对于第一麦克风和第二麦克风中的一者或两者的放置和/或间距来选择第一扬声器和第二扬声器之一。
其他实现方式可提供非暂态计算机可读介质和/或存储介质，和/或非暂态机器可读介质和/或存储介质，其上存储有具有可由机器和/或计算机执行的至少一个代码段的机器代码和/或计算机程序，从而使得机器和/或计算机执行如这里描述的用于管理多个麦克风和扬声器的自适应***的步骤。
因此，本方法和/或***可以用硬件、软件或者硬件和软件的组合来实现。本方法和/或***可以以集中方式实现在至少一个计算机***中，或者以分布方式实现，其中不同的元件散布在若干个互连的计算机***上。任何种类的适用于执行这里描述的方法的计算机***或其他***都是合适的。硬件和软件的典型组合可以是通用计算机***，该通用计算机***具有计算机程序，该计算机程序当被加载和执行时控制计算机***，以使其执行这里描述的方法。另一种典型实现方式可包括专用集成电路或芯片。
本方法和/或***也可被嵌入在计算机程序产品中，该计算机程序产品包括使能实现这里描述的方法的所有特征，并且当在计算机***中加载时能够执行这些方法。本上下文中的计算机程序指的是打算直接地或者在以下的任一者或两者之后使得具有信息处理能力的***执行特定功能的一组指令的采取任何语言、代码或符号的任何表达：a）转换成另一种语言、代码或符号；b）以不同的材料形式再现。因此，一些实现方式可包括非暂态机器可读（例如计算机可读）介质（例如，闪存、光盘、磁存储盘等），其中存储有一行或多行可由机器执行的代码，从而使得机器执行这里描述的过程。
虽然已参照某些实现方式描述了本方法和/或***，但本领域技术人员将会理解，在不脱离本方法和/或***的范围的情况下，可作出各种改变，并且可进行等同替换。此外，在不脱离本公开的范围的情况下，可作出许多修改来使特定情形或材料适应于本公开的教导。因此，希望本方法和/或***不限于所公开的特定实现方式，而是本方法和/或***将包括落在所附权利要求的范围内的所有实现方式。
Claims (16)
1.一种用于管理多个扬声器的自适应***，包括：
电子设备，该电子设备包括一个或多个电路以及属于所述多个扬声器的第一扬声器和第二扬声器，所述一个或多个电路可操作来：
基于所述电子设备的操作模式，确定在所述第一扬声器和所述第二扬声器当中是否存在在所述电子设备的所述操作模式期间未使用的某个扬声器，并且确定是否需要将所述某个扬声器配置为提供输入；以及
如果确定需要将所述某个扬声器配置为提供输入，则将所述某个扬声器配置为提供输入。
2.如权利要求1所述的***，其中，所述一个或多个电路将所述某个扬声器配置为当操作为麦克风或操作为振动检测器时提供所述输入。
3.如权利要求1所述的***，其中，所述一个或多个电路配置所述某个扬声器在被用作麦克风或用作振动检测器时也同时继续充当扬声器。
4.如权利要求1所述的***，其中，所述一个或多个电路能够操作以利用来自被配置用作麦克风或用作振动检测器的所述某个扬声器的输入来支持所述电子设备中的音频增强功能。
5.如权利要求4所述的***，其中，所述音频增强功能包括噪声降低和声学回声消除当中的至少一者。
6.如权利要求1所述的***，其中，所述某个扬声器被配置为振动检测器来指示出所述电子设备的用户是否在说话。
7.如权利要求1所述的***，其中，所述某个扬声器被配置为振动检测器来检测所述电子设备的外壳中的振动。
8.如权利要求1所述的***，其中，所述电子设备被布置为以第一操作模式进行操作以及以第二操作模式进行操作；
其中，所述一个或多个电路能够操作来在所述电子设备被设置为以其中所述第一扬声器未被使用的第一操作模式进行操作时，确定是否需要将所述第一扬声器配置为提供输入；以及
其中，所述一个或多个电路能够操作来在所述电子设备被设置为以其中所述第二扬声器未被使用的第二操作模式进行操作时，确定是否需要将所述第二扬声器配置为提供输入。
9.一种用于自适应地管理多个扬声器的方法，所述方法包括：
在包括属于所述多个扬声器的第一扬声器和第二扬声器的电子设备中：
基于所述电子设备的操作模式，确定在所述第一扬声器和所述第二扬声器当中是否存在在所述电子设备的所述操作模式期间未使用的某个扬声器，并且确定是否需要将所述某个扬声器配置为提供输入；以及
如果确定需要将所述某个扬声器配置为提供输入，则将所述某个扬声器配置为提供输入。
10.如权利要求9所述的方法，包括配置所述某个扬声器来用作麦克风或用作振动检测器。
11.如权利要求9所述的方法，包括配置所述某个扬声器在被用作麦克风或用作振动检测器时也同时继续充当扬声器。
12.如权利要求10所述的方法，包括利用来自被配置用作麦克风或用作振动检测器的所述某个扬声器的输入来支持所述电子设备中的音频增强功能。
13.如权利要求12所述的方法，其中，所述音频增强功能包括噪声降低和声学回声消除当中的至少一者。
14.如权利要求9所述的方法，包括配置所述某个扬声器作为振动检测器来指示出所述电子设备的用户是否在说话。
15.如权利要求9所述的方法，包括配置所述某个扬声器作为振动检测器来检测所述电子设备的外壳中的振动。
16.如权利要求9所述的方法，其中，所述电子设备被布置为以第一操作模式进行操作以及以第二操作模式进行操作；
其中，所述方法包括：当所述电子设备被设置为以其中所述第一扬声器未被使用的第一操作模式进行操作时，确定是否需要将所述第一扬声器配置为提供输入；以及
当所述电子设备被设置为以其中所述第二扬声器未被使用的第二操作模式进行操作时，确定是否需要将所述第二扬声器配置为提供输入。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261723856P | 2012-11-08 | 2012-11-08 | |
| US61/723,856 | 2012-11-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103841491A CN103841491A (zh) | 2014-06-04 |
| CN103841491B true CN103841491B (zh) | 2018-10-23 |
Family
ID=49553594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310554354.6A Active CN103841491B (zh) | 2012-11-08 | 2013-11-08 | 用于管理多个麦克风和扬声器的自适应*** |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9124965B2 (zh) |
| EP (1) | EP2731351A2 (zh) |
| JP (1) | JP2014112831A (zh) |
| KR (1) | KR20140061255A (zh) |
| CN (1) | CN103841491B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150365762A1 (en) * | 2012-11-24 | 2015-12-17 | Polycom, Inc. | Acoustic perimeter for reducing noise transmitted by a communication device in an open-plan environment |
| US9747899B2 (en) * | 2013-06-27 | 2017-08-29 | Amazon Technologies, Inc. | Detecting self-generated wake expressions |
| US20150139428A1 (en) * | 2013-11-20 | 2015-05-21 | Knowles IPC (M) Snd. Bhd. | Apparatus with a speaker used as second microphone |
| US9398130B2 (en) * | 2014-08-15 | 2016-07-19 | Htc Corporation | Mobile terminal and method for controlling answer mode of the mobile terminal and non-transitory computer-readable storage medium |
| EP2999199B1 (en) * | 2014-09-16 | 2018-03-07 | Nxp B.V. | Mobile device |
| EP3202162B1 (en) * | 2014-09-30 | 2020-11-25 | Apple Inc. | Method to determine loudspeaker change of placement |
| US9648419B2 (en) * | 2014-11-12 | 2017-05-09 | Motorola Solutions, Inc. | Apparatus and method for coordinating use of different microphones in a communication device |
| CN104935742B (zh) * | 2015-06-10 | 2017-11-24 | 瑞声科技（南京）有限公司 | 移动通讯终端及改善其在听筒模式下的音质的方法 |
| KR102296174B1 (ko) * | 2015-06-26 | 2021-08-31 | 삼성전자주식회사 | 전자 장치 및 그의 오디오 변환 방법 |
| EP3145216B1 (en) * | 2015-09-17 | 2018-11-14 | Nxp B.V. | Amplifier system |
| CN105635378A (zh) * | 2015-12-28 | 2016-06-01 | 小米科技有限责任公司 | 通话质量调整方法、装置及移动终端 |
| CN106255000A (zh) * | 2016-07-29 | 2016-12-21 | 维沃移动通信有限公司 | 一种音频信号采集方法及移动终端 |
| US10462567B2 (en) * | 2016-10-11 | 2019-10-29 | Ford Global Technologies, Llc | Responding to HVAC-induced vehicle microphone buffeting |
| CN106507242A (zh) * | 2016-12-12 | 2017-03-15 | 捷开通讯(深圳)有限公司 | 一种音频装置及终端 |
| US10366708B2 (en) | 2017-03-20 | 2019-07-30 | Bose Corporation | Systems and methods of detecting speech activity of headphone user |
| WO2018207478A1 (ja) * | 2017-05-09 | 2018-11-15 | 株式会社ソシオネクスト | 音声処理装置及び音声処理方法 |
| CN107155143A (zh) * | 2017-06-07 | 2017-09-12 | 太仓埃特奥数据科技有限公司 | 一种用于管理会议麦克风的智能控制*** |
| TWI656525B (zh) * | 2017-07-20 | 2019-04-11 | 美律實業股份有限公司 | 高保真語音裝置 |
| KR102388246B1 (ko) * | 2017-12-19 | 2022-04-19 | 엘지디스플레이 주식회사 | 표시장치와 이를 이용한 모바일 기기 |
| US10438605B1 (en) * | 2018-03-19 | 2019-10-08 | Bose Corporation | Echo control in binaural adaptive noise cancellation systems in headsets |
| US10455340B1 (en) * | 2018-05-11 | 2019-10-22 | Motorola Solutions, Inc. | Validating the operation of a transducer and an audio signal path |
| US10491998B1 (en) * | 2018-08-27 | 2019-11-26 | Blackberry Limited | Vehicle communication systems and methods of operating vehicle communication systems |
| CN109040378A (zh) * | 2018-09-21 | 2018-12-18 | 深圳市万普拉斯科技有限公司 | 基于声音输出元件采集外界声波的方法、装置和移动终端 |
| CN113348673A (zh) | 2018-10-31 | 2021-09-03 | 美国斯耐普公司 | 多扬声器和麦克风可穿戴设备中非回声双工会话的交替采样方法 |
| US10952002B2 (en) | 2018-11-27 | 2021-03-16 | Google Llc | Automatically switching active microphone for wireless headsets |
| JP7116317B2 (ja) * | 2019-01-30 | 2022-08-10 | アイコム株式会社 | 無線通信機 |
| US11304001B2 (en) | 2019-06-13 | 2022-04-12 | Apple Inc. | Speaker emulation of a microphone for wind detection |
| US11659332B2 (en) | 2019-07-30 | 2023-05-23 | Dolby Laboratories Licensing Corporation | Estimating user location in a system including smart audio devices |
| US11968268B2 (en) | 2019-07-30 | 2024-04-23 | Dolby Laboratories Licensing Corporation | Coordination of audio devices |
| US11158300B2 (en) * | 2019-09-16 | 2021-10-26 | Crestron Electronics, Inc. | Speakerphone system that corrects for mechanical vibrations on an enclosure of the speakerphone using an output of a mechanical vibration sensor and an output of a microphone generated by acoustic signals and mechanical vibrations |
| CN110769354B (zh) * | 2019-10-25 | 2021-11-30 | 歌尔股份有限公司 | 一种用户语音检测装置、方法及耳机 |
| EP4111706A4 (en) * | 2020-04-29 | 2023-11-22 | Hewlett-Packard Development Company, L.P. | MODIFYING AUDIO SIGNALS BASED ON AMBIENT NOISE COLLECTED BY SPEAKERS |
| FR3121259A1 (fr) * | 2021-03-26 | 2022-09-30 | Sagemcom Broadband Sas | Equipement de restitution audio modulaire |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7072476B2 (en) * | 1997-02-18 | 2006-07-04 | Matech, Inc. | Audio headset |
| CN102318325A (zh) * | 2009-02-11 | 2012-01-11 | Nxp股份有限公司 | 使音频设备的行为适配当前声学环境条件的控制 |
| US8160263B2 (en) * | 2006-05-31 | 2012-04-17 | Agere Systems Inc. | Noise reduction by mobile communication devices in non-call situations |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5125032A (en) * | 1988-12-02 | 1992-06-23 | Erwin Meister | Talk/listen headset |
| JP3267556B2 (ja) * | 1998-02-18 | 2002-03-18 | 沖電気工業株式会社 | エコー除去装置および送話器 |
| US7953456B2 (en) * | 2007-07-12 | 2011-05-31 | Sony Ericsson Mobile Communication Ab | Acoustic echo reduction in mobile terminals |
| US9202455B2 (en) * | 2008-11-24 | 2015-12-01 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for enhanced active noise cancellation |
| KR101694420B1 (ko) * | 2009-09-03 | 2017-01-09 | 삼성전자주식회사 | 이동단말의 통신 품질 개선 방법 및 장치 |
| US20140037100A1 (en) * | 2012-08-03 | 2014-02-06 | Qsound Labs, Inc. | Multi-microphone noise reduction using enhanced reference noise signal |
-
2013
- 2013-11-07 US US14/074,365 patent/US9124965B2/en active Active
- 2013-11-08 KR KR20130135893A patent/KR20140061255A/ko not_active Application Discontinuation
- 2013-11-08 JP JP2013232095A patent/JP2014112831A/ja active Pending
- 2013-11-08 CN CN201310554354.6A patent/CN103841491B/zh active Active
- 2013-11-08 EP EP20130192116 patent/EP2731351A2/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7072476B2 (en) * | 1997-02-18 | 2006-07-04 | Matech, Inc. | Audio headset |
| US8160263B2 (en) * | 2006-05-31 | 2012-04-17 | Agere Systems Inc. | Noise reduction by mobile communication devices in non-call situations |
| CN102318325A (zh) * | 2009-02-11 | 2012-01-11 | Nxp股份有限公司 | 使音频设备的行为适配当前声学环境条件的控制 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2731351A2 (en) | 2014-05-14 |
| KR20140061255A (ko) | 2014-05-21 |
| US9124965B2 (en) | 2015-09-01 |
| JP2014112831A (ja) | 2014-06-19 |
| US20140126729A1 (en) | 2014-05-08 |
| CN103841491A (zh) | 2014-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103841491B (zh) | 用于管理多个麦克风和扬声器的自适应*** | |
| US8792648B2 (en) | Apparatus and method for transmitting/receiving voice signal through headset | |
| US20140363008A1 (en) | Use of vibration sensor in acoustic echo cancellation | |
| US20110181452A1 (en) | Usage of Speaker Microphone for Sound Enhancement | |
| US20100022280A1 (en) | Method and apparatus for providing sidetone feedback notification to a user of a communication device with multiple microphones | |
| US20140364171A1 (en) | Method and system for improving voice communication experience in mobile communication devices | |
| CN103238182A (zh) | 具有远程噪声检测器的降噪*** | |
| JP2011511571A (ja) | 複数のマイクからの信号間で知的に選択することによって音質を改善すること | |
| EP2996352B1 (en) | Audio system and method using a loudspeaker output signal for wind noise reduction | |
| US20150010156A1 (en) | Speech intelligibility detection | |
| WO2017166495A1 (zh) | 一种语音信号处理方法及装置 | |
| JPWO2020017518A1 (ja) | 音声信号処理装置 | |
| JP5167706B2 (ja) | 放収音装置 | |
| JP2013540379A (ja) | プライバシー及び個人使用のための背景音除去 | |
| CN107370898B (zh) | 铃音播放方法、终端及其存储介质 | |
| JP6476938B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
| CN104254041B (zh) | 近端收听清晰度增强中的改进 | |
| US20230074554A1 (en) | Hearing aid comprising a user interface | |
| CN112585993B (zh) | 声音信号处理***和声音信号处理装置 | |
| EP4184507A1 (en) | Headset apparatus, teleconference system, user device and teleconferencing method | |
| US20240064478A1 (en) | Mehod of reducing wind noise in a hearing device | |
| US20120106756A1 (en) | System and method for a noise reduction switch in a communication device | |
| JP2015220482A (ja) | 送受話端末、エコー消去システム、エコー消去方法、プログラム | |
| CN105656441A (zh) | 声音调节方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |