CN113170261B - 自动切换活动麦克风的***、方法和计算机可读介质 - Google Patents

自动切换活动麦克风的***、方法和计算机可读介质 Download PDF

Info

Publication number
CN113170261B
CN113170261B CN201980077007.4A CN201980077007A CN113170261B CN 113170261 B CN113170261 B CN 113170261B CN 201980077007 A CN201980077007 A CN 201980077007A CN 113170261 B CN113170261 B CN 113170261B
Authority
CN
China
Prior art keywords
microphone
mode
active
inactive
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980077007.4A
Other languages
English (en)
Other versions
CN113170261A (zh
Inventor
维塔利·洛维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210589911.7A priority Critical patent/CN115150705A/zh
Publication of CN113170261A publication Critical patent/CN113170261A/zh
Application granted granted Critical
Publication of CN113170261B publication Critical patent/CN113170261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • G10L15/05Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/87Detection of discrete points within a voice signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/109Arrangements to adapt hands free headphones for use on both ears
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开提供了一种适用于在两个或多个设备之间自动地来回切换活动麦克风的音频回放***。例如,在所述***是一对耳塞式耳机的情况下,在每个耳塞式耳机由分开的用户佩戴时,所述***可以将所述活动麦克风切换到由在给定时间正在说话的所述用户佩戴的所述设备。尽管该设备保持所述活动麦克风,但是所述另一设备可以等待直到使所述麦克风空闲的特定事件为止,诸如如果佩戴具有所述活动麦克风的所述设备的所述用户停止说话。根据一些示例,可以通过所述***中的所述设备中的一个或多个来提供通知,以让所述用户知道例如他不具有所述活动麦克风、所述活动麦克风是空闲的、所述活动麦克风已经被切换等。

Description

自动切换活动麦克风的***、方法和计算机可读介质
相关申请的交叉引用
本申请要求提交日期为2018年11月27日的美国临时专利申请 No.62/771,747的权益,该申请的公开内容通过引用并入本文。
背景技术
由于短程无线通信标准的限制,无线耳塞式耳机仅支持在电话呼叫期间充当活动麦克风的耳塞式耳机中的一个耳塞式耳机。这给用户带来了用户体验问题,因为他们在电话呼叫时不能轻松地与朋友共享他们的耳塞式耳机以进行应当无缝工作的“三向”呼叫。一种可能的解决方案是用户可以手动指定要在哪个耳塞式耳机上使用麦克风。无论是否被佩戴在用户的头部上,手动指定的耳塞式耳机都充当活动麦克风。在这种模式下,在用户发现话音数据没有被所佩戴的另一耳塞式耳机捕获之前,具有活动麦克风的耳塞式耳机可以在这种情况下保存一段时间。
发明内容
本公开提供了一种***,特别是适用于在两个或多个设备之间自动地来回切换活动麦克风的音频回放***。例如,在***包括一对耳塞式耳机的情况下,在每个耳塞式耳机由分开的用户佩戴时,该***可以将活动麦克风切换到由在给定时间正在说话的用户佩戴的设备。尽管该设备保持活动麦克风,但是另一设备可以等待直到使所述麦克风空闲的特定事件为止,诸如如果佩戴具有活动麦克风的设备的用户停止说话。这种事件可以触发活动麦克风变得空闲,这时另一设备可以固定活动麦克风。根据一些示例,侧音或舒适噪声或另一通知可以通过***中的设备中的一个或多个来提供,以让用户知道例如他不具有活动麦克风、活动麦克风是空闲的、活动麦克风已经被切换等。
本公开的一个方面提供了一种***,包括与第二设备无线通信的第一设备,该第一设备包括:扬声器,被配置为在其中它捕获音频输入以发送给计算设备的活动模式以及在其中它不捕获音频输入的非活动模式下操作;以及一个或多个处理器。当第一设备的麦克风处于活动模式并且第二设备的麦克风处于非活动模式时,第一设备的一个或多个处理器被配置为通过第一设备的麦克风接收语音输入,检测接收到的语音输入中的端点,以及想第二设备的麦克风提供切换到活动模式的机会。检测端点可以包括例如检测以下至少一个:停顿、关键字或词尾变化(inflection)。第一设备和第二设备可以是音频回放设备,诸如耳塞式耳机。然而,在其他示例中,第一设备和第二设备可以是其他类型的设备,可以是相同类型或不同类型的。例如,第一设备可以是入耳式扬声器/麦克风,而第二设备是智能手表或头戴式显示装置。
向第二设备的麦克风提供切换到活动模式的机会可以包括例如将第一设备的麦克风切换到非活动模式。根据一些示例,当第一设备的麦克风处于非活动模式时,它监听音频输入而不捕获音频以进行发送。当第一设备处于非活动模式时,第一设备的一个或多个处理器还可以至少基于所述监听来确定是否将第一设备的麦克风切换到活动模式。在一些示例中,第一设备和第二设备中的每个设备可以具有麦克风,所述麦克风中仅一个麦克风在给定时间处于活动模式。第一设备和/或第二设备然后可以被配置为确定在接收到的语音输入中的端点,例如当用户停止说话时。例如,具有活动麦克风的设备因此可以检测用户是否已经到达由活动麦克风所接收的语音中的端点,并且响应于检测到这种端点,可以自动释放所述活动麦克风,从而向另一设备的麦克风提供切换到活动模式的机会。
根据一些示例,第一设备的一个或多个处理器还可以被配置为当第二设备的麦克风切换到活动模式时接收通知。例如,所述通知可以是从第二设备的扬声器发出的声音,诸如侧音或舒适噪声。
第一设备的一个或多个处理器还可以被配置为确定第一设备的麦克风是否处于活动模式,检测第一设备的用户是否正在提供音频输入,以及当第一设备的麦克风处于非活动模式并且音频输入被检测到时,将通知提供给第一设备的用户。
根据一些示例,第二设备的一个或多个处理器可以被配置为确定第二设备切换到活动模式的机会,因此确定例如活动麦克风已经变得可用。一个或多个处理器还可以被配置为然后通过将第二设备的麦克风切换到非活动模式来固定活动麦克风。
本公开的另一方面提供了一种方法,包括:通过第一无线设备的第一设备麦克风接收语音输入,其中第一无线设备在活动麦克风模式下操作并且与在非活动麦克风模式下操作的第二无线设备通信;通过第一设备的一个或多个处理器,检测接收到的语音输入中的端点;以及通过第一设备的一个或多个处理器,向第二设备的麦克风提供切换到活动模式的机会。向第二设备麦克风提供切换到活动模式的机会可以包括将第一设备的麦克风切换到非活动模式。
根据一些示例,该方法还可以包括:确定第一设备的麦克风是否处于活动模式;检测第一设备的用户是否正在提供音频输入;以及当第一设备的麦克风处于非活动模式并且音频输入被检测到时,通过第一设备提供通知。
本公开的再一方面提供了一种存储指令的计算机可读介质,该指令由第二设备无线通信的第一设备的一个或多个处理器可执行以执行包括以下步骤的方法:通过第一设备的第一设备麦克风接收语音输入,其中第一设备在活动麦克风模式下操作并且与在非活动麦克风模式下操作的第二无线设备通信;检测接收到的语音输入中的端点;以及向第二设备的麦克风提供切换到活动模式的机会。
附图说明
图1是图示了根据本公开的各个方面的辅助设备的示例使用的示意图。
图2是图示了根据本公开的各个方面的辅助设备的另一示例使用的示意图。
图3是图示了根据本公开的各个方面的示例***的功能框图。
图4是用于指示根据本公开的各个方面的辅助设备的各种可能操作模式的表格。
图5是图示了根据本公开的各个方面的由具有活动麦克风的音频设备执行的示例方法的流程图。
具体实施方式
概述:
本公开提供了在多个用户设备之间无缝共享一个活动麦克风源,诸如由两个不同的人佩戴的耳塞式耳机,而无需用户输入。每个用户设备可以被配置为确定哪个设备可能需要活动麦克风。例如,所述***可以检测用户的语音输入中的端点,从而检测另一用户何时可能输入响应语音。这种端点的示例可以是停顿、关键字、词尾变化或另一因素。有可能需要活动麦克风的设备可以被切换到活动麦克风。在一些示例中,特定设备可以请求或以其他方式固定活动麦克风。这种设备可以继续保持活动麦克风,直到其用户暂时停止提供音频输入为止。
在一些示例中,每个设备可以检测佩戴该设备的用户是否正在说话。如果用户正在说话,但设备没有活动麦克风,则可以提供通知。例如,可以提供侧音、舒适声音或另一可听通知。在其他示例中,通知可以是触觉的,诸如所述设备的振动。
在一些示例中,向***的用户指示他们正在使用的设备是否具有活动麦克风可能是有益的。这种指示可以例如通过处于非活动模式的设备的扬声器由来自活动麦克风的侧音来提供。在这方面,当用户听到侧音时,他们将知道他们不具有活动麦克风。作为另一示例,当活动麦克风空闲并且任一设备都可以固定它时,可以提供舒适噪声。在再一示例中,可以以指示该设备是活动还是非活动的方式来调整所述活动和/或非活动设备中的音量。各种其他可能的指示中的任何一个都可以实施。
与明确的手动切换相比,活动麦克风的这种自动切换的一个优点是它是无缝的,并且不需要任何用户交互。它无需任何训练即可为设备提供“预期”行为,从而提供改善的用户体验。而且,该解决方案无需显著消耗带宽和其他资源。
示例***
图1图示了佩戴第一音频回放设备180的用户101和佩戴第二音频回放设备190的第二用户102的示例。在该示例中,第一设备180 和第二设备190是耳塞式耳机。然而,在其他示例中,第一设备和第二设备可以是其他类型的设备,可以是相同类型或不同类型的。例如,第一设备可以是入耳式扬声器/麦克风,而第二设备是智能手表或头戴式显示装置。
如图1所示,第一设备180经由连接185耦合至第二设备190。连接185可以包括标准的短程无线耦合,诸如蓝牙连接。
第一设备180和第二设备190中的每个设备都具有麦克风,其中在给定时间仅所述麦克风中的一个麦克风是“活动的”。活动麦克风可以捕获用户的话音并将其发送给计算设备170,该计算设备170可以是例如移动电话或其他移动计算设备。在图1的示例中,由第二用户 102佩戴的第二设备180保持活动麦克风,并因此捕获第二用户102的话音输入。
例如在第一设备180上的非活动麦克风可以捕获用户的话音,以便确定是否尝试固定活动麦克风、或通知用户没有捕获话音以发送给计算设备170。
第一设备180和第二设备190中的每个设备可以被配置为确定用户何时开始说话或停止说话。例如,具有活动麦克风的设备可以确定其用户是否已经到达由活动麦克风所接收的语音中的端点。所述端点可以基于例如词尾变化、语速、关键字、停顿、或音频输入的其他特征。根据一些示例,在所述确定中还可以使用其他信息,诸如话音识别、设备的移动、干扰水平的变化等。例如,所述设备可以基于话音识别、检测到的移动与用户的下颚移动一致、接收到的音频的音量等,来确定是否从佩戴活动麦克风的用户或从另一用户通过活动麦克风接收到音频。
所述端点可以充当非活动设备的用户接下来将可能提供音频输入的指示。类似地,具有非活动麦克风的设备可以监听音频,而无需捕获音频进行发送。因此,具有非活动麦克风的设备可以确定其用户是否正在说话。如果是,则它可以尝试固定活动麦克风和/或通知其用户其麦克风是非活动的。具有非活动麦克风的设备可以基于加速度计移动或其他传感器信息而做出类似的确定。
当具有活动麦克风的设备的用户停止说话时,活动麦克风可以被释放。例如,第一设备180和第二设备190两者都可以进入活动麦克风可用的模式。根据一些示例,释放活动麦克风可以包括向计算设备 170指示该麦克风正在进入非活动模式。例如,释放活动麦克风的设备可以发送用于指示其释放活动麦克风的信号。在这种模式下,任一设备都可以固定活动麦克风。例如,有可能需要麦克风的设备可以固定它。有可能需要麦克风的设备可以是例如以特定方式移动的设备、先前非活动的设备、用户开始对其说话的设备、或这些因素或其他因素的任何组合。
根据一些示例,可以实施机器学习算法以确定哪个设备应该切换到活动模式。例如,机器学习算法可以使用训练数据集,其包括话音输入参数,诸如说话时间、停顿时间、关键字(诸如专有名词或代词)、音量等。训练数据中的其他参数可以包括诸如由加速度计或其他设备测量的移动、信号强度、电池电量、干扰、或任何其他信息。基于这种参数中的一个或多个,所述***可以确定哪个设备应该切换到活动模式以捕获用户话音输入。
根据一些示例,可以使用该设备上的一个或多个传感器来确定具有活动麦克风的设备的用户是否停止说话,或者具有非活动麦克风的设备的用户是否开始说话。例如,除了麦克风之外,所述设备可以包括电容传感器、热传感器或其他传感器,以检测电子设备180是否与皮肤接触,从而指示电子设备180是否被佩戴。在其他示例中,传感器可以包括用于检测与用户说话一致的用户移动的加速度计。例如,当佩戴电子设备180的用户开始说话时,他的嘴巴、下颚和他身体的其他部分移动。这种移动可以指示正在说话。
图2图示了另一示例,其中第一设备180已经被切换模式以作为活动麦克风操作,并且第二设备190已经被切换模式以作为非活动麦克风操作。因此,第一设备180可以捕获第一用户101的话音并将其发送给计算设备170。第二设备190可以等待活动麦克风变得可用,诸如当第一用户101停止说话时。如果第二用户102在活动麦克风变得可用之前开始说话,则可以通过第二设备190提供通知。例如,第二设备可以播放声音,诸如钟声,它可以播放侧音或舒适音调,它可以振动、照亮发光二极管、或提供某种其他类型的通知。
图3提供了第一(辅助)设备180和(第二)辅助设备190的示例框图。辅助设备180、190可以是各种类型的设备中的任何一种,诸如耳塞式耳机、头戴式设备、智能手表等。每个设备包括一个或多个处理器391、381、存储器392、382以及通常存在于音频回放设备和辅助设备中的其他组件。尽管示出了多个组件,但是应该理解的是,这种组件仅是非限制性示例,并且可以附加地或替换地包括其他组件。
一个或多个处理器391、381可以是任何常规处理器,诸如可商购的微处理器。替换地,一个或多个处理器可以是专用设备,诸如专用集成电路(ASIC)或者其他基于硬件的处理器。尽管图3在功能上将处理器、存储器以及辅助设备180、190的其他元件图示为在相同的相应框内,但是本领域的普通技术人员可以理解,所述处理器或存储器实际上可以包括多个处理器或存储器,其可以或者可以不存储在同一物理外壳内。类似地,存储器可以是硬盘驱动器或者其他存储介质,其位于与辅助设备180、190不同的外壳中。因此,对处理器或计算设备的引用将被理解为包括对处理器或计算设备或存储器的集合的引用,其可以或者可以不并行操作。
存储器382可以存储由处理器381可访问的信息,包括可以由处理器381执行的指令383和数据384。存储器382可以是可操作以存储由处理器381可访问的信息的一种存储器,包括非暂时性计算机可读介质,或者用于存储可以借助电子设备读取的数据的其他介质,诸如硬盘驱动器、存储卡、只读存储器(“ROM”)、随机存取存储器 (“RAM”)、光盘以及其他可写和只读存储器。本文公开的主题可以包括前述的不同组合,由此将指令383和数据384的不同部分存储在不同类型的介质上。
根据指令384,可以通过处理器381取回、存储或者修改数据384。例如,尽管本公开不受特定数据结构的限制,但是数据384可以存储在计算寄存器中、存储在关系数据库中作为具有多个不同字段以及记录的表格、XML文档或者平面文件。数据384也可以以计算机可读格式来格式化,诸如但不限于二进制值、ASCII或统一码。进一步仅通过示例,数据384可以被存储为包括像素的以压缩或未压缩存储的位图,或者存储为各种图像格式(例如JPEG)、基于向量的格式(例如SVG) 或用于绘制图形的计算机指令。而且,数据384可以包括足以标识相关信息的信息,诸如数字、描述性文本、专有代码、指针、对存储在其他存储器中的数据的引用(包括其他网络位置)或者由用于计算相关数据的函数所使用的信息。
指令383可以被执行以改善在三向呼叫期间的用户体验,其中一个用户佩戴第一辅助设备180,并且另一用户佩戴第二辅助设备190。例如,指令383可以提供用于等待活动设备的用户的语音中的端点,确定活动麦克风已经变得可用,并固定活动麦克风。
当第一辅助设备180正在执行指令383时,第二辅助设备190还可以正在执行与数据394一起存储在存储器392中的指令393。例如,类似于辅助设备180,辅助设备190还可以包括用于存储数据394和由一个或多个处理器391可执行的指令393的存储器392。存储器392可以是各种类型中的任何一种,并且数据394可以是各种格式中的任何一种,类似于辅助设备180的存储器382和数据384。当辅助设备180 正在接收和编码来自佩戴辅助设备180的用户的语音时,第二辅助设备190也可以通过麦克风398监听和接收语音。指令393可以提供用于保持活动麦克风,捕获和发送第二设备190的用户的话音,检测第二用户的语音中的端点,并且当检测到所述端点时自动释放所述活动麦克风。因此,第一设备180和第二设备190可以被配置为在作为非活动麦克风设备和活动麦克风设备操作之间来回切换。因此,尽管图3 的示例图示了每个指令集中的特定操作集合,但是应该理解的是,任一设备可能都能够执行任一指令集以及附加或其他指令。仅作为示例,指令383、393可以被执行以确定第一设备180和第二设备190是否由同一用户佩戴,确定哪个用户正在提供音频输入等。
可以通过输出387、397播放可听通知或其他音频,诸如来自电话呼叫另一端的用户的语音。输出387、397可以分别包括例如适用于提供可听输出的一个或多个扬声器。在一些示例中,输出387、397还可以包括一种或多种其他类型,诸如显示器、触觉反馈等。
应该理解的是,辅助设备180和移动设备190可以分别包括未示出的其他组件,诸如电池的充电输入、信号处理组件等。这种组件也可以用于执行指令383、393。
图4提供了用于图示第一辅助设备180和第二辅助设备190的一些示例操作模式的图表。在第一示例模式下,第一设备保持活动麦克风,并且第二设备等待活动麦克风被释放。例如,第二设备可以等待第一设备的第一用户的语音中的端点。
在第二示例模式下,活动麦克风是可用的。在这种模式下,活动麦克风已从其先前的设备释放,但尚未由其他设备固定。实际上,所述设备通常只会在这个模式下操作非常短的时间,诸如几分之一秒或毫秒。在这方面,当两个设备都未捕获话音输入时,将不会有令人不快的停滞时间。
在第三示例模式下,第二设备已经固定了活动麦克风,并且第一设备等待端点。在一些示例中,如果例如非活动设备的用户以特定方式(诸如高于阈值分贝水平或高于特定速率)提供话音输入,则活动麦克风可以切换设备,而不是等待端点。
示例方法
除了上述和附图中图示的操作之外,现在将描述各种操作。应该理解的是,不必以下面描述的精确顺序执行以下操作。而是,可以以不同顺序或同时地处置各种步骤,并且还可以添加或省略步骤。
图5是图示了由诸如一对耳塞式耳机的音频***执行的示例方法的流程图,其中所述***中的一个设备是“活动”设备并保持活动麦克风,而所述***中的一个或多个其他设备作为“非活动”设备操作,使得它们的麦克风不会捕获音频输入。
在框410中,非活动设备等待活动麦克风变得可用。同时,在框 510中,活动设备捕获用户的话音输入,并且在框520中将话音发送给计算设备。
在框530中,活动设备确定是否已到达端点,诸如活动设备的用户是否已停止说话。所述端点可以充当非活动设备的用户接下来将可能提供音频输入的指示。所述端点可以基于例如音频输入的词尾变化、语速、关键字、停顿、或其他特征。根据一些示例,在所述确定中还可以使用其他信息,诸如话音识别、设备的移动、干扰水平的变化等。如果尚未到达端点,则所述设备继续在框510中捕获输入。然而,如果到达端点,则在框540中,活动设备可以释放活动麦克风。
在框420中,非活动设备确定活动麦克风是否可用。在直到可用之前,非活动设备将继续等待。如果在框425中非活动设备检测到其用户正在说话,则非活动设备可以提供该设备不具有活动麦克风的通知。然而,如果活动麦克风是可用的,则非活动设备固定活动麦克风 (框430),从而切换模式。因此,它将捕获用户话音(框440)并将其发送给计算设备(框450)。同时,也已经被切换模式并且现在作为非活动设备操作的活动设备等待活动麦克风变得可用(框550)。
尽管以上示例主要描述了共享活动麦克风的两个设备,但在其他示例中,三个或多个设备可以共享活动麦克风。例如,两个非活动设备将等待活动麦克风变得可用。当它变得可用时,它可以由非活动设备中的一个非活动设备固定,诸如无论哪个设备首先检测到来自其用户的音频输入或该用户的移动,诸如其用户下颚或嘴巴的与用户说话一致的移动。
除非另有规定,否则前述替代示例不是相互排斥的,而是可以以各种组合实施以实现独特的优点。由于可以在不脱离权利要求所限定的主题的情况下利用上面讨论的特征的这些和其他变型以及组合,因此,对实施例的前述描述应该通过说明的方式而不是通过限制权利要求所限定的主题的方式来进行。另外,本文描述的示例的提供以及用短语表达为“诸如”、“包括”等的条款不应被解释为将权利要求的主题限制于特定示例;相反,所述示例不旨在说明许多可能实施例中的仅一个实施例。进一步地,不同附图中的相同附图标记可以标识相同或类似的元件。

Claims (20)

1.一种***,包括:
与第二设备无线通信的第一设备,所述第一设备和所述第二设备中的每一个包括:
扬声器;
麦克风,所述麦克风被配置为在活动模式和非活动模式下操作,在所述活动模式中所述麦克风捕获音频输入以发送给计算设备,在所述非活动模式中所述麦克风不捕获音频输入;以及
一个或多个处理器;
其中,当所述第一设备的麦克风处于所述活动模式并且所述第二设备的麦克风处于所述非活动模式时,所述第一设备的所述一个或多个处理器被配置为:
通过所述第一设备的麦克风接收语音输入;
检测接收到的语音输入中的端点;以及
向所述第二设备的麦克风提供切换到所述活动模式的机会。
2.根据权利要求1所述的***,其中向所述第二设备的麦克风提供切换到所述活动模式的机会包括将所述第一设备的麦克风切换到所述非活动模式。
3.根据权利要求2所述的***,其中当所述第一设备的麦克风处于所述非活动模式时,所述第一设备的麦克风监听音频输入而不捕获所述音频以进行发送。
4.根据权利要求3所述的***,其中所述第一设备的所述一个或多个处理器还被配置为当所述第一设备处于所述非活动模式时,至少基于所述监听来确定是否将所述第一设备的麦克风切换到所述活动模式。
5.根据权利要求1所述的***,其中所述第一设备的所述一个或多个处理器还被配置为当所述第二设备的麦克风切换到所述活动模式时接收通知。
6.根据权利要求5所述的***,其中所述通知包括从所述第二设备的所述扬声器发出的声音。
7.根据权利要求6所述的***,其中所述声音是侧音或舒适噪声。
8.根据权利要求1所述的***,其中所述第一设备的所述一个或多个处理器还被配置为:
确定所述第一设备的麦克风是否处于所述活动模式;
检测所述第一设备的用户是否正在提供音频输入;以及
当所述第一设备的麦克风处于所述非活动模式并且音频输入被检测到时,将通知提供给所述第一设备的所述用户。
9.根据权利要求8所述的***,其中所述通知包括从所述第一设备的所述扬声器发出的声音。
10.根据权利要求1-9中的任一项所述的***,其中检测所述端点包括检测以下中的至少一个:停顿、关键字和词尾变化。
11.一种方法,包括:
通过第一设备的麦克风接收语音输入,其中所述第一设备在活动麦克风模式下操作并且与在非活动麦克风模式下操作的第二设备通信,所述第一设备和所述第二设备两者为无线设备;
通过所述第一设备的一个或多个处理器,检测接收到的语音输入中的端点;以及
通过所述第一设备的所述一个或多个处理器,向所述第二设备的麦克风提供切换到所述活动麦克风模式的机会。
12.根据权利要求11所述的方法,其中向所述第二设备的麦克风提供切换到所述活动麦克风模式的机会包括将所述第一设备的麦克风切换到所述非活动麦克风模式。
13.根据权利要求12所述的方法,其中当所述第一设备的麦克风处于所述非活动麦克风模式时,所述第一设备的麦克风监听音频输入而不捕获所述音频以进行发送。
14.根据权利要求13所述的方法,还包括当所述第一设备处于所述非活动麦克风模式时,至少基于所述监听来确定是否将所述第一设备的麦克风切换到所述活动麦克风模式。
15.根据权利要求11所述的方法,还包括当所述第二设备的麦克风切换到所述活动麦克风模式时接收通知。
16.根据权利要求15所述的方法,其中所述通知包括从所述第二设备的扬声器发出的声音。
17.根据权利要求11所述的方法,还包括:
确定所述第一设备的麦克风是否处于所述活动麦克风模式;
检测所述第一设备的用户是否正在提供音频输入;以及
当所述第一设备的麦克风处于所述非活动麦克风模式并且音频输入被检测到时,通过所述第一设备提供通知。
18.根据权利要求17所述的方法,其中所述通知包括从所述第一设备的扬声器发出的声音。
19.根据权利要求11至18中的任一项所述的方法,其中检测所述端点包括检测以下中的至少一个:停顿、关键字和词尾变化。
20.一种存储指令的非易失性计算机可读存储介质,所述指令能够由与第二设备无线通信的第一设备的一个或多个处理器执行以执行方法,所述方法包括:
通过所述第一设备的麦克风接收语音输入,其中所述第一设备在活动麦克风模式下操作并且与在非活动麦克风模式下操作的所述第二设备通信;
检测接收到的语音输入中的端点;以及
向所述第二设备的麦克风提供切换到所述活动麦克风模式的机会。
CN201980077007.4A 2018-11-27 2019-11-27 自动切换活动麦克风的***、方法和计算机可读介质 Active CN113170261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210589911.7A CN115150705A (zh) 2018-11-27 2019-11-27 自动切换活动麦克风的***、方法和计算机可读介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862771747P 2018-11-27 2018-11-27
US62/771,747 2018-11-27
PCT/US2019/063628 WO2020113017A1 (en) 2018-11-27 2019-11-27 Automatically switching active microphone

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210589911.7A Division CN115150705A (zh) 2018-11-27 2019-11-27 自动切换活动麦克风的***、方法和计算机可读介质

Publications (2)

Publication Number Publication Date
CN113170261A CN113170261A (zh) 2021-07-23
CN113170261B true CN113170261B (zh) 2022-06-07

Family

ID=69005887

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980077007.4A Active CN113170261B (zh) 2018-11-27 2019-11-27 自动切换活动麦克风的***、方法和计算机可读介质
CN202210589911.7A Pending CN115150705A (zh) 2018-11-27 2019-11-27 自动切换活动麦克风的***、方法和计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210589911.7A Pending CN115150705A (zh) 2018-11-27 2019-11-27 自动切换活动麦克风的***、方法和计算机可读介质

Country Status (3)

Country Link
US (2) US10952002B2 (zh)
CN (2) CN113170261B (zh)
WO (1) WO2020113017A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11523236B2 (en) * 2021-03-18 2022-12-06 Lenovo (Singapore) Pte. Ltd. Techniques for active microphone use

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841491A (zh) * 2012-11-08 2014-06-04 Dsp集团有限公司 用于管理多个麦克风和扬声器的自适应***
CN106302905A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 麦克风模式切换方法及移动终端
US9554091B1 (en) * 2015-12-15 2017-01-24 Cisco Technology, Inc. Identifying conference participants and active talkers at a video conference endpoint using user devices
CN106937194A (zh) * 2015-12-30 2017-07-07 Gn奥迪欧有限公司 具有听通模式的头戴式耳机及其操作方法
WO2018183636A1 (en) * 2017-03-31 2018-10-04 Bose Corporation Directional capture of audio based on voice-activity detection
WO2018183020A1 (en) * 2017-03-28 2018-10-04 Microsoft Technology Licensing, Llc Headset with multiple microphone booms

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090017868A1 (en) * 2007-07-13 2009-01-15 Joji Ueda Point-to-Point Wireless Audio Transmission
US20090023417A1 (en) * 2007-07-19 2009-01-22 Motorola, Inc. Multiple interactive modes for using multiple earpieces linked to a common mobile handset
US8620653B2 (en) * 2009-06-18 2013-12-31 Microsoft Corporation Mute control in audio endpoints
US8878678B2 (en) * 2012-05-29 2014-11-04 Cisco Technology, Inc. Method and apparatus for providing an intelligent mute status reminder for an active speaker in a conference
US9516442B1 (en) * 2012-09-28 2016-12-06 Apple Inc. Detecting the positions of earbuds and use of these positions for selecting the optimum microphones in a headset
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
US9532131B2 (en) * 2014-02-21 2016-12-27 Apple Inc. System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
US9542603B2 (en) * 2014-11-17 2017-01-10 Polycom, Inc. System and method for localizing a talker using audio and video information
US9924010B2 (en) 2015-06-05 2018-03-20 Apple Inc. Audio data routing between multiple wirelessly connected devices
US9838775B2 (en) * 2015-09-16 2017-12-05 Apple Inc. Earbuds with biometric sensing
US9996316B2 (en) * 2015-09-28 2018-06-12 Amazon Technologies, Inc. Mediation of wakeword response for multiple devices
US10117012B2 (en) 2015-09-28 2018-10-30 Apple Inc. Wireless ear buds with proximity sensors
US10142750B2 (en) 2016-04-22 2018-11-27 Apple Inc. Swapping roles between untethered wirelessly connected devices
US10079027B2 (en) * 2016-06-03 2018-09-18 Nxp B.V. Sound signal detector
US10692485B1 (en) * 2016-12-23 2020-06-23 Amazon Technologies, Inc. Non-speech input to speech processing system
US10575086B2 (en) * 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
CN107894881A (zh) * 2017-10-18 2018-04-10 恒玄科技(上海)有限公司 蓝牙耳机的主从连接切换、通话监听和麦克切换的方法
US10524300B2 (en) * 2017-12-01 2019-12-31 Bose Corporation Wireless low-latency audio content sharing
US10356232B1 (en) * 2018-03-22 2019-07-16 Bose Corporation Dual-transceiver wireless calling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841491A (zh) * 2012-11-08 2014-06-04 Dsp集团有限公司 用于管理多个麦克风和扬声器的自适应***
US9554091B1 (en) * 2015-12-15 2017-01-24 Cisco Technology, Inc. Identifying conference participants and active talkers at a video conference endpoint using user devices
CN106937194A (zh) * 2015-12-30 2017-07-07 Gn奥迪欧有限公司 具有听通模式的头戴式耳机及其操作方法
CN106302905A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 麦克风模式切换方法及移动终端
WO2018183020A1 (en) * 2017-03-28 2018-10-04 Microsoft Technology Licensing, Llc Headset with multiple microphone booms
WO2018183636A1 (en) * 2017-03-31 2018-10-04 Bose Corporation Directional capture of audio based on voice-activity detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于麦克风阵列声源定位的发展历程及关键技术;蒋婷等;《科技资讯》;20111213(第35期);全文 *

Also Published As

Publication number Publication date
US20210185467A1 (en) 2021-06-17
US10952002B2 (en) 2021-03-16
US20200169822A1 (en) 2020-05-28
CN113170261A (zh) 2021-07-23
WO2020113017A1 (en) 2020-06-04
CN115150705A (zh) 2022-10-04
WO2020113017A9 (en) 2021-04-29
US11363396B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
US11605456B2 (en) Method and device for audio recording
WO2020019847A1 (zh) 主耳机切换方法及相关设备
WO2020228095A1 (zh) 实时语音唤醒的音频设备、运行方法、装置及存储介质
CN113647083B (zh) 用于电子设备的个性化说话检测器
US20150036835A1 (en) Earpieces with gesture control
WO2018201944A1 (zh) 一种设备控制方法及装置
JP2014165925A (ja) 端末機のアプリケーション制御方法及び装置、イヤホン装置及びアプリケーション制御システム
CN109062535B (zh) 发声控制方法、装置、电子装置及计算机可读介质
CN107371102B (zh) 音频播放音量的控制方法、装置及存储介质和移动终端
CN113170261B (zh) 自动切换活动麦克风的***、方法和计算机可读介质
KR20200045311A (ko) 상황에 따라 볼륨을 자동으로 조절하는 장치 및 그 제어방법
JP6727921B2 (ja) 情報処理装置、情報処理システム、情報処理方法
US8774776B1 (en) Alert device for mobile communications devices
US11089429B1 (en) Indication for correct audio device orientation
WO2018201943A1 (zh) 一种设备控制方法、装置及***
US11134331B2 (en) Mixing microphones for wireless headsets
WO2022070975A1 (ja) 通信装置、および通信方法、通信システム、並びにプログラム
US20130039154A1 (en) Remote control of a portable electronic device and method therefor
CN111739493A (zh) 音频处理方法、装置及存储介质
JP6097552B2 (ja) 音声再生装置
US20230260537A1 (en) Single Vector Digital Voice Accelerometer
CN111277930B (zh) 多耳蓝牙耳机的单耳远离检测方法以及蓝牙耳机
CN115580803A (zh) 一种耳机控制方法、智能耳机及存储介质
JP2023176560A (ja) 聴音装置及び聴音装置の制御方法
JP2015128209A (ja) 電子機器、切替方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant