CN111095405B - 用于话音检测的多模式噪声消除 - Google Patents

用于话音检测的多模式噪声消除 Download PDF

Info

Publication number
CN111095405B
CN111095405B CN201880057819.8A CN201880057819A CN111095405B CN 111095405 B CN111095405 B CN 111095405B CN 201880057819 A CN201880057819 A CN 201880057819A CN 111095405 B CN111095405 B CN 111095405B
Authority
CN
China
Prior art keywords
noise
microphone
voice
microphones
detection microphones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880057819.8A
Other languages
English (en)
Other versions
CN111095405A (zh
Inventor
桑杰·苏比尔·贾瓦尔
克里斯托弗·莱恩·帕金森
肯尼思·卢斯汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riowell
Original Assignee
Riowell
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riowell filed Critical Riowell
Publication of CN111095405A publication Critical patent/CN111095405A/zh
Application granted granted Critical
Publication of CN111095405B publication Critical patent/CN111095405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

方法和***提供了噪声消除算法的动态选择以及麦克风的动态激活和去激活，以在环境噪声阻止话音导航准确地解释话音命令的情况下为话音检测装置提供多模式噪声消除。为此，当检测到超过阈值的环境噪声时，选择最适合于该情况的特定噪声消除算法，并且激活一个或多个噪声检测麦克风。接收到最高水平的环境噪声的(多个)噪声检测麦克风可以保持激活，而其余噪声检测麦克风可以被去激活。然后，可以通过使用所选噪声消除算法消除从已激活的(多个)噪声检测麦克风接收的环境噪声信号来优化由语音麦克风接收的语音信号。在优化该语音信号后，可以将该语音信号传送到该话音检测装置进行解释。

Description

用于话音检测的多模式噪声消除
背景技术
在工业环境中，用户可能需要提供维护或执行与复杂设备相关联的其他任务，并且需要查阅大量技术文档，这些文档通常经由活页夹、平板计算机或膝上型计算机提供给用户。然而，存在与涉及必须以这种方式导航和查找期望信息的方法相关联的固有的低效率。通过手动导航或通过基于触摸的***查找所需内容可能会浪费时间，并且为此，需要用户停止并重新启动任务。如今，在许多设备中越来越流行的话音导航提供了手动导航或基于触摸的***的替代方案。然而，在许多环境下，环境噪声可能会使话音导航变得困难，这不是不可能的。结果，解释话音命令的准确性受到很大影响，并且用户无法利用话音导航能力。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容既不旨在标识所要求保护的主题的关键或重要特征，也不旨在用作确定所要求保护的主题的范围的辅助手段。
在较高级别上，本发明的实施例总体上涉及通过免手持操作促进可穿戴设备上电子内容的访问和使用。更具体地，在环境噪声阻止话音导航准确地解释话音命令的情况下，本文描述的方法和***提供麦克风的动态激活和去激活，以为话音检测装置提供多模式噪声消除。为此，当检测到超过阈值的环境噪声时，激活多个噪声检测麦克风。接收到最高水平的环境噪声的(多个)噪声检测麦克风保持激活，而其余噪声检测麦克风可以被去激活。然后，可以通过消除从已激活的(多个)噪声检测麦克风接收的环境噪声信号来优化由语音麦克风接收的语音信号。在优化该语音信号后，可以将该语音信号传送到该话音检测装置进行解释。
本发明的附加目的、优点和新颖性特征将部分地在下面的描述中阐述，并且在阅读以下内容之后对于本领域技术人员将部分地变得明显，或者可以通过实践本发明而了解。
附图说明
参考附图(其中相同的附图标记表示相同的元件)中展示的实施例更详细地解释了上述本发明的特征，其中图1至图6展示了本发明的实施例，在附图中：
图1提供了示出根据本发明内容的一些实施方式的用于噪声消除***的示例性操作环境的示意图；
图2A至图2B提供了根据本发明内容的一些实施方式的示例性可穿戴设备的透视图；
图3提供了描绘根据本发明内容的一些实施方式的用于动态地激活多个噪声检测麦克风的方法的说明性处理流程；
图4提供了描绘根据本发明内容的一些实施方式的用于选择噪声检测麦克风之一进行噪声消除的方法的说明性处理流程；
图5提供了描绘根据本发明内容的一些实施方式的用于优化话音信号的方法的说明性处理流程；并且
图6提供了可以在其中采用本发明内容的一些实施方式的示例性计算设备的框图。
具体实施方式
本文以特异性描述了本发明内容的主题，以满足法定要求。然而，说明书本身并不旨在限制本专利的范围。相反，发明人已经设想到，所要求保护的主题还可以结合其他当前或未来技术以其他方式体现，以包括与本文档中描述的步骤不同的步骤或步骤的组合。例如，尽管本发明内容在说明性示例中涉及环境噪声阻止话音导航准确地解释话音命令的情况，但是本披露内容的各方面可以应用于环境噪声阻止话音通信被清楚地传送给其他(多个)用户的情况(例如，蜂窝通信、SKYPE通信或可以使用话音检测装置完成的用户之间的通信的任何其他应用或方法)。
此外，尽管本文中可能使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是除非明确描述了各个步骤的顺序并且除此之外，这些术语不应解释为暗示本文所发明的各步骤之中或之间的任何特定顺序。如本文所使用的，单数形式“一”、“一个”和“该”旨在包括复数形式，除非上下文清楚地另外指明。
如在背景技术中说明的，用户可能需要提供维护或执行与复杂设备相关联的其他任务，并且需要查阅大量技术文档，这些文档通常经由活页夹、平板计算机或膝上型计算机提供给用户。与涉及查阅此类资源的方法相关联的固有的低效率是不切实际的。例如，通过手动导航或通过基于触摸的***查找所需内容可能会浪费时间，并且为此，需要用户停止并重新启动任务。如今，话音导航的使用已经在许多设备中变得越来越流行并且提供了手动导航或基于触摸的***的替代方案。然而，在许多环境下，环境噪声可能会阻止话音导航成为可行的替代方案。例如，当环境噪声达到特定阈值时，解释话音命令的准确性受到很大影响，并且用户无法利用话音导航能力。
本发明内容的实施例总体上涉及为包括语音麦克风和多个噪声检测麦克风的话音检测装置提供多模式噪声消除。在一些实施例中，当检测到环境噪声时，将该环境噪声的所感测能量水平与阈值(例如，85dB)进行比较。在一方面，基于感测到的能量水平相对于阈值的位置(例如，低于或高于)，可以由处理器选择特定的噪声消除算法，并且采用该算法来促进噪声消除。例如，如果感测到的能量水平低于阈值，则可以由处理器选择经优化以滤除附近扬声器的话音的第一噪声消除算法，并且采用该算法来优化由语音麦克风接收的音频输入。在另一实例中，如果感测到的能量水平高于阈值，则可以由该处理器选择经优化以滤除高噪声环境的第二噪声消除算法，并且采用该算法来优化由该语音麦克风接收的音频输入。
在另一方面，当环境噪声的所感测能量水平超过阈值(例如，85dB)时，可以激活多个噪声检测麦克风。接收到最高水平的环境噪声的(多个)噪声检测麦克风可以保持激活，而(多个)其余噪声检测麦克风可以被去激活。然后，可以通过消除从已激活的(多个)噪声检测麦克风接收的环境噪声信号来优化由语音麦克风接收的语音信号。在优化该语音信号后，可以将该语音信号传送到话音检测装置进行解释(下文关于图6更详细地描述)。
通过使用话音检测装置来准确地导航相关内容的能力是特定场景中用户工作流程和操作的重要方面。例如，在工业应用中可能是这样，其中环境噪声可能会阻止用户将话音命令准确地传送至话音检测装置。因此，本发明内容的实施例使得用户能够快速准确地导航潜在的大量内容，并且在同时从事其他任务的同时保持与技术的交互。
利用根据本发明内容的实施例的包括话音检测装置的可穿戴设备(诸如例如包括显示器的头戴式计算设备)，用户可以使用显示器作为查看器查看并且准确地导航大量文档或其他内容，即使在环境噪声可能会以其他方式阻止用户将话音命令准确地传送到话音检测装置的情况下也是如此。根据本发明内容的一些实施例，显示器充当到较大虚拟空间上的窗口，从而允许用户准确地导航到特定文档中的指定页面(页面的放大和缩小实现了各种放大级别)，并且利用免手持移动在页面上纵向或垂直平移，以到达较大虚拟空间中固定文档的期望XY坐标。
在本发明内容的一些实施例中，可以通过话音检测装置的噪声消除特征来增强与其他设备和/或应用程序的通信。例如，处于相同工业环境中的用户可能需要与处于相同工业环境中或也具有环境噪声的另一环境中的另一用户进行通信。本文描述的噪声消除特征在从一个用户传送至另一用户的话音信号中提供了更高的准确性，即使在环境噪声可能会以其他方式阻止用户将话音信号准确地传送至话音检测装置的情况下也是如此。
如此，本发明的实施例针对使用包括话音检测装置的可穿戴设备(例如，头戴式计算设备)的话音检测的多模式噪声消除。以这种方式，本发明内容的各方面涉及促进更准确的话音检测以与其他用户通信并且导航各种内容和用户界面的设备、方法和***。
图1描绘了根据本发明内容的各实施例的用于噪声消除***的操作环境100的各方面。除其他部件外，操作环境100可以包括(多个)可穿戴设备110、(多个)移动设备140a至140n和(多个)服务器150a至150n。这些部件可以被配置为经由网络120彼此可操作的通信。
可穿戴设备110包括任何计算设备，更具体地，任何头戴式计算设备(例如，安装的平板计算机、显示***、智能眼镜、全息图设备)。可穿戴设备120可以包括显示部件，例如可以通过视觉、听觉和/或其他触觉提示呈现信息的显示器(例如，显示器、屏幕、灯、发光二极管(LED)、图形用户界面(GUI)等)。显示部件可以例如向用户呈现增强现实(AR)视图，即由计算机生成的感觉输入补充的物理现实世界环境的实时直接或间接视图。在一些实施例中，可穿戴设备120可以具有成像部件或光学输入部件。
如图1和图2A至图2B所示，可穿戴设备110还包括语音麦克风114和多个噪声检测麦克风112。如以下更详细解释的，噪声检测麦克风112检测环境噪声信号。可以通过从由语音麦克风114接收的语音信号中消除环境噪声信号来优化该语音信号。这使得可穿戴设备110的用户能够经由该可穿戴设备更有效地通信。例如，用户可以利用话音命令来控制头戴式计算设备的功能。或者用户可以与其他用户通信，这些其他用户可能正在利用(多个)移动设备140a至140n、或在(多个)服务器150a至150n上运行的服务。如可以了解的，当从语音信号中消除了环境噪声信号时，其他用户能够更清楚地听到用户和/或话音命令被更准确地解释。
在实践中并且返回参考图1，用户可以初始化可穿戴设备110。例如，用户可以给可穿戴设备通电。当可穿戴设备通电时，语音麦克风114也可以被初始化。一旦语音麦克风已经被初始化，其就准备好检测语音信号。例如，如果用户正在依赖于话音导航，则语音麦克风检测可以被可穿戴设备110解释为话音命令的语音信号。如果用户与可能正在利用(多个)移动设备140a至140n、或在(多个)服务器150a至150n上运行的服务的其他用户进行尝试，则可以将语音信号经由可穿戴设备110传送至(多个)移动设备140a至140n或(多个)服务器150a至150n。
当可穿戴设备110被通电时，语音麦克风113还可以检测噪声信号(例如，环境噪声)。如果环境噪声的声级达到可配置的阈值(例如，85dB)，则可穿戴设备110可以选择对于滤除高水平噪声而言是最佳的特定噪声消除算法和/或初始化多个噪声检测麦克风112以促进噪声消除。例如，可穿戴设备110可以在可穿戴设备110的头带上包括一个或多个噪声检测麦克风112(例如，以阵列的方式)。然后，可穿戴设备110的处理器可以确定正在检测最高声级的环境噪声的一个或多个噪声检测麦克风112，并且可以将(多个)其余噪声检测麦克风断电。
类似地，如果环境噪声的声级未达到可配置的阈值，则可穿戴设备110可以选择或默认为对于滤除附近扬声器的音频信号而言是最佳的不同噪声消除算法和/或初始化一个或多个噪声检测麦克风112以促进噪声消除。例如，可穿戴设备110可以在可穿戴设备110的头带上包括一个或多个噪声检测麦克风112(例如，以阵列的方式)。然后，可穿戴设备110的处理器可以确定正在检测最高声级的环境噪声的一个或多个噪声检测麦克风112，并且可以将(多个)其余噪声检测麦克风断电。
在一些实施例中，可穿戴设备110可以基于各种因素动态地改变噪声消除算法和/或将各个噪声检测麦克风通电和断电。例如，如果噪声检测麦克风经历了环境噪声的声级的突然变化，则可穿戴设备110可以将所有噪声检测麦克风通电，并且确定是否有不同的噪声检测麦克风正在检测最高声级的环境噪声。或者，可穿戴设备可能检测到用户已经改变了方向、取向或位置，使得不同的噪声检测麦克风可以是进行噪声消除的更好候选项。在一些实施例中，如果话音信号没有被正确地解释为话音命令，则可穿戴设备可以选择新的噪声消除算法和/或重新初始化多个噪声检测麦克风112以确定是否有不同的噪声消除算法或不同的噪声检测麦克风可以为环境提供更好的噪声消除。
在一些实施例中，在可穿戴设备110已经选择了检测到最高声级的环境噪声的噪声检测麦克风之后，可穿戴设备110可以利用任何噪声消除方法。通过非限制性示例，可穿戴设备110可以生成与环境噪声异相一百八十度的噪声消除波。该噪声消除波抵消了环境噪声，并且使得可穿戴设备110能够以更高的准确性和清晰度接收、解释和传送语音信号。在另一个非限制性示例中，由(多个)活跃噪声检测麦克风接收的信号可以由处理器用于在本质上从由语音麦克风接收的音频信号中减去接收到的环境噪声信号。
已经描述了本发明内容的各方面，下面描述了根据本发明内容的一些实施方式的用于为话音检测提供多模式噪声消除的示例性方法。首先参考根据图1至图2的图3，流程图展示了根据本发明内容的一些实施方式的用于动态地激活多个噪声检测麦克风的方法300。方法300的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行存储在存储器中的指令的处理器来执行。这些方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立的应用程序、服务或托管服务(独立的或与另一托管服务组合)或另一产品的插件提供，仅举几例。
最初，在框310处，将话音检测装置的语音麦克风初始化。话音检测装置还可以包括多个噪声检测麦克风。这些噪声检测麦克风可以以阵列方式布置在话音检测装置的头带周围。
在框320处，在语音麦克风或多个噪声检测麦克风之一中检测环境噪声。在一些实施例中，该语音麦克风是骨传导麦克风。在一些实施例中，该语音麦克风是面颊式麦克风。在一些实施例中，噪声检测麦克风中的至少一个是第三方麦克风。在此示例中，话音检测装置可以动态地去激活这些噪声检测麦克风并且激活第三方麦克风。然后，该第三方麦克风可以接收环境噪声信号。
在框330处，在确定环境噪声超过阈值时，激活多个噪声检测麦克风。在一些实施例中，噪声检测麦克风中的至少一个是话音检测装置附近的独立麦克风。
接下来参考根据图1至图2的图4，流程图展示了根据本发明内容的一些实施方式的用于选择噪声检测麦克风之一进行噪声消除的方法400。方法400的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行存储在存储器中的指令的处理器来执行。这些方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立的应用程序、服务或托管服务(独立的或与另一托管服务组合)或另一产品的插件提供，仅举几例。
最初，在框410处，确定多个噪声检测麦克风中的一个或多个正在检测与多个噪声检测麦克风中的其余噪声检测麦克风所检测到的能量水平相比更高能量水平的环境噪声。在框420处，去激活其余噪声检测麦克风。
现在转向参考根据图1至图2的图5，流程图展示了根据本发明内容的一些实施方式的用于优化话音信号的方法500。方法500的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行存储在存储器中的指令的处理器来执行。这些方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立的应用程序、服务或托管服务(独立的或与另一托管服务组合)或另一产品的插件提供，仅举几例。
在框510处，通过从由语音麦克风接收的语音信号中消除环境噪声信号来优化该语音信号。由语音麦克风和其余噪声检测麦克风接收环境噪声信号。在框520处，将该语音信号传送到话音检测装置以进行解释。
示例计算***
可穿戴设备110可以包含本文中其他地方列出的电子部件中的一个或多个，包括计算***。图6中展示了这种计算***600的示例框图。在此示例中，电子设备652是具有话音和数据通信能力的无线双向通信设备。这种电子设备使用合适的无线通信协议与无线话音或数据网络650通信。使用模拟或数字无线通信信道执行无线话音通信。数据通信允许电子设备652经由互联网与其他计算机***通信。能够结合上述***和方法的电子设备的示例包括例如数据消息传送设备、双向寻呼机、具有数据消息传送能力的蜂窝电话、无线互联网设备、或者可以包括或可以不包含电话能力的数据通信设备。
所展示的电子设备652是包括双向无线通信功能的示例性电子设备。这类电子设备结合了通信子***元件，诸如无线发射器610、无线接收器612、以及诸如一个或多个天线元件614和616等相关联的部件。数字信号处理器(DSP)608执行处理以从所接收的无线信号中提取数据并且生成要发射的信号。通信子***的特定设计取决于设备操作要使用的通信网络和相关联的无线通信协议。
电子设备652包括控制电子设备652的整体操作的微处理器602。微处理器602与上述通信子***元件交互，并且还与其他设备子***(诸如闪存606、随机存取存储器(RAM)604、辅助输入/输出(I/O)设备638、数据端口628、显示器634、键盘636、扬声器632、麦克风630、短距离通信子***620、电源子***622和任何其他设备子***)交互。
电池624连接到电源子***622，以向电子设备652的电路提供电力。电源子***622包括用于向电子设备652提供电力的电力分配电路***，并且还包含电池充电电路***以管理对电池624的充电。电源子***622包括电池监测电路，该电池监测电路可操作用于向电子设备652的各部件提供一个或多个电池状态指示符(诸如剩余容量、温度、电压、电流消耗等)的状态。
数据端口628能够通过各种数据通信模式(诸如光通信电路或电数据通信电路上的高速数据传输(诸如在一些示例中，合并到数据端口628中的USB连接))来支持电子设备652与其他设备之间的数据通信。数据端口628能够支持与例如外部计算机或其他设备的通信。
通过数据端口628的数据通信使得用户能够通过外部设备或通过软件应用程序来设置偏好，并且通过电子设备652与外部数据源之间的直接连接而不是经由无线数据通信网络实现信息或软件交换来扩展设备的能力。除了数据通信外，数据端口628还向电源子***622提供电力，以对电池624进行充电或向电子设备652的电子电路(诸如微处理器602)供电。
微处理器602使用的操作***软件存储在闪存606中。进一步的示例能够使用电池备份RAM或其他非易失性存储数据元件来存储操作***、其他可执行程序或两者。操作***软件、设备应用程序软件或其部分能够暂时地加载到易失性数据存储装置(诸如RAM 604)中。经由无线通信信号或通过有线通信接收的数据也能够被存储到RAM 604。
除了其操作***功能外，微处理器602还能够执行电子设备652上的软件应用程序。控制基本设备操作的预定应用程序集合(至少包括数据和话音通信应用程序)能够在制造期间安装在电子设备652上。能够加载到设备上的应用程序的示例可以是具有组织和管理与设备用户有关的数据项(诸如但不限于电子邮件、日历事件、话音邮件、约会和任务项)的能力的个人信息管理器(PIM)应用程序。
还可以通过例如无线网络650、辅助I/O设备638、数据端口628、短距离通信子***620、或这些接口的任何组合将进一步地应用程序加载到电子设备652上。然后，此类应用程序能够被用户安装在RAM 604或非易失性存储装置中，以供微处理器602执行。
在数据通信模式中，由通信子***(包括无线接收器612和无线发射器610)处理诸如所下载的文本消息或网页等所接收信号，并且将传送的数据提供给微处理器602，该微处理器能够进一步处理接收到的数据用于输出到显示器634，或者可替代地输出到辅助I/O设备638或数据端口628。电子设备652的用户还可以使用键盘636(该键盘能够包括完整的字母数字键盘或电话型小键盘)结合显示器634和可能的辅助I/O设备638来组成数据项(诸如电子邮件消息)。然后，此类组成项能够通过通信子***在通信网络上传输。
对于话音通信，除了通常将接收到的信号提供给扬声器632并且通常通过麦克风630产生用于传输的信号之外，电子设备652的总体操作基本相似。可替代的话音或音频I/O子***(诸如话音消息记录子***)也可以在电子设备652上实施。尽管通常主要通过扬声器632完成话音或音频信号输出，但是还可以使用显示器634来提供例如呼叫方身份、话音通话的持续时间或其他与话音通话有关的信息的指示。
取决于电子设备652的条件或状态，可以禁用与子***电路相关联的一个或多个特定功能，或者可以禁用整个子***电路。例如，如果电池温度较低，则可以禁用话音功能，但是仍然可以通过通信子***实现数据通信(诸如电子邮件)。
短距离通信子***620提供电子设备652与不同***或设备(其不必是相似的设备)之间的数据通信。例如，短距离通信子***620包括红外设备以及相关联的电路和部件或基于射频的通信模块(诸如支持
Figure BDA0002401832150000101
通信的模块)，以提供与支持类似功能的***和设备的通信，包括上述数据文件传输通信。
介质读取器660可连接到辅助I/O设备638，以允许例如将计算机程序产品的计算机可读程序代码加载到电子设备652中以存储到闪存606中。介质读取器660的一个示例是光驱(诸如CD/DVD驱动器)，该光驱可以用于将数据存储到计算机可读介质或存储产品(诸如计算机可读存储介质662)或从中读取数据。合适的计算机可读存储介质的示例包括光学存储介质(诸如CD或DVD)、磁性介质或任何其他合适的数据存储设备。介质读取器660可替代地能够通过数据端口628连接到电子设备，或者计算机可读程序代码可替代地能够通过无线网络650被提供至电子设备652。
本文所引用的所有参考文献均通过引用以其全部内容明确地结合。本领域技术人员将了解的是，本发明内容不限于上文中已经具体示出和描述的内容。另外，除非进行了相反的说明，否则应注意所有附图均未按比例绘制。本发明内容有许多不同的特征，并且可以设想这些特征可以一起使用或分开使用。因此，本发明内容不应限于特征的任何特定组合或本发明内容的特定应用。
可以在不脱离本发明的范围的情况下对本发明展示的实施例作出许多变化。此类修改均落入本发明的范围内。已经关于特定实施例描述了本文呈现的实施例，这些特定实施例在所有方面都旨在是说明性的而非限制性的。替代实施例和修改对于本领域普通技术人员将是显而易见的，而不脱离本发明的范围。
从前述内容可以看出，本发明非常适合于达到上文阐述的所有目的和目标，并且具有明显且结构中固有的其他优点。将理解的是，某些特征和子组合具有效用，并且可以在不参考其他特征和子组合的情况下被采用。这是本发明所预期的并且在本发明的范围内。
在前面的详细描述中参考了构成本发明的一部分的附图，其中贯穿全文相同的数字指示相同的部件，并且在附图中通过图示示出了可以被实践的实施例。应当理解，在不脱离本发明内容的范围的情况下，可以利用其他实施例并且可以做出结构的或逻辑的改变。因此，前面的详细描述不应以限制的含义来理解，并且实施例的范围由所附权利要求及其等效物来限定。
已经使用本领域技术人员通常采用的术语来描述说明性实施例的各方面以向本领域其他技术人员传达他们的工作实质。然而，对于本领域的技术人员显而易见的是，仅利用所描述的方面的一部分也可以实践可替代的实施例。出于解释的目的，阐述了具体的数字、材料和配置以提供对说明性实施例的透彻理解。然而，对于本领域的技术人员显而易见的是，可以在没有这些具体细节的情况下实践可替代的实施例。在其他实例中，已经省略或简化了众所周知的特征，以便不混淆说明性实施例。
进而，以对理解说明性实施例最有帮助的方式将各操作描述为多个分立的操作；然而，描述的顺序不应解释为意味着这些操作必须依赖于顺序。具体地，这些操作不需要按照呈现的顺序执行。进一步地，将操作描述为单独的操作不应解释为要求操作必须独立地和/或由单独的实体执行。同样地，将实体和/或模块描述为单独的模块不应解释为要求模块是分开的和/或执行单独的操作。在各实施例中，所展示的和/或描述的操作、实体、数据和/或模块可以被合并、分解成进一步的子部件和/或被省略。
重复使用短语“在一个实施例中”或“在实施例中”。该短语通常不指代相同的实施例；然而，该短语可以指代相同的实施例。除非上下文另有指示，否则术语“包括(comprising)”、“具有(having)”和“包括(including)”是同义词。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A)、(B)或(A和B)”。短语“A、B和C中的至少一个”是指“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。

Claims (19)

1.一种用于话音检测装置中的话音检测的多模式噪声消除的计算机实施的方法，该方法包括：
初始化话音检测装置的语音麦克风，该话音检测装置具有多个噪声检测麦克风；
在该语音麦克风中检测环境噪声；
在确定该语音麦克风中检测到的环境噪声超过阈值时，激活该多个噪声检测麦克风；
确定该多个噪声检测麦克风中的一个或多个噪声检测麦克风正在检测与该多个噪声检测麦克风中的其余噪声检测麦克风所检测到的能量水平相比更高能量水平的环境噪声；
基于由该多个噪声检测麦克风中的该一个或多个噪声检测麦克风检测到的环境噪声的至少一个声音特性，从多个不同的噪声消除算法中动态选择噪声消除算法；以及
通过使用动态选择的噪声消除算法在由该语音麦克风接收的语音信号中消除环境噪声信号来优化该语音信号，该环境噪声信号由该语音麦克风、和该多个噪声检测麦克风中该的一个或多个噪声检测麦克风接收，并且该一个或多个噪声检测麦克风检测到与该多个噪声检测麦克风中的其余噪声检测麦克风相比更高能量水平的环境噪声。
2.如权利要求1所述的方法，进一步包括：在优化该语音信号后，将该语音信号传送到该话音检测装置进行解释。
3.如权利要求1所述的方法，进一步包括：去激活这些其余噪声检测麦克风。
4.如权利要求1所述的方法，其中，这些噪声检测麦克风中的至少一个是该话音检测装置附近的独立麦克风。
5.如权利要求1所述的方法，其中，该语音麦克风是骨传导麦克风。
6.如权利要求1所述的方法，其中，该语音麦克风是面颊式麦克风。
7.如权利要求1所述的方法，其中，该多个噪声检测麦克风中的至少一个是第三方麦克风。
8.如权利要求7所述的方法，其中，该话音检测装置动态地去激活该多个噪声检测麦克风中不是该第三方麦克风的噪声检测麦克风并且激活该第三方麦克风。
9.如权利要求8所述的方法，其中，该第三方麦克风接收该环境噪声信号。
10.如权利要求9所述的方法，其中，通过从由该语音麦克风接收的语音信号中消除由该第三方麦克风接收的环境噪声信号来优化该语音信号。
11.至少一个计算机存储介质，其上具有指令，这些指令在由计算***的至少一个处理器执行时使该计算***执行以下操作：
初始化话音检测装置的语音麦克风，该话音检测装置还具有多个噪声检测麦克风；
由该语音麦克风检测环境噪声；
在确定该语音麦克风中检测到的环境噪声超过阈值时，激活该多个噪声检测麦克风；
确定该多个噪声检测麦克风中的一个或多个噪声检测麦克风正在检测与该多个噪声检测麦克风中的其余噪声检测麦克风所检测到的能量水平相比更高能量水平的环境噪声；
基于由该多个噪声检测麦克风中的该一个或多个噪声检测麦克风检测到的环境噪声的至少一个声音特性，从多个不同的噪声消除算法中动态选择噪声消除算法；
通过使用动态选择的噪声消除算法在由该语音麦克风接收的语音信号中消除环境噪声信号来优化该语音信号，该环境噪声信号由该语音麦克风和该多个噪声检测麦克风中的至少一个动态选择的噪声检测麦克风接收，该至少一个动态选择的噪声检测麦克风检测到与该多个噪声检测麦克风中的其余噪声检测麦克风相比更高能量水平的环境噪声；以及
将优化后的语音信号传送到该话音检测装置进行解释。
12.如权利要求11所述的介质，还包括：在确定该环境噪声超过阈值时，激活该多个噪声检测麦克风。
13.如权利要求11所述的介质，还包括：去激活这些其余噪声检测麦克风。
14.如权利要求11所述的介质，其中，该多个噪声检测麦克风中的至少一个是该话音检测装置附近的独立麦克风。
15.一种计算机化***，包括：
至少一个处理器；以及
存储有计算机可用指令的至少一个计算机存储介质，这些计算机可用指令在由该至少一个处理器执行时使该至少一个处理器执行以下操作：
在由包括语音麦克风和多个噪声检测麦克风的话音检测装置接收到的语音信号中检测环境噪声水平；
在确定在该语音信号中检测到的环境噪声超过阈值时，激活该多个噪声检测麦克风；
确定该多个噪声检测麦克风中的一个或多个噪声检测麦克风正在检测与该多个噪声检测麦克风中的其余噪声检测麦克风所检测到的能量水平相比更高能量水平的环境噪声；
基于由该多个噪声检测麦克风中的该一个或多个噪声检测麦克风检测到的环境噪声的至少一个声音特性，从多个不同的噪声消除算法中动态选择噪声消除算法；以及
通过使用动态选择的噪声消除算法在该语音信号中消除环境噪声信号来优化该语音信号，该环境噪声信号由该语音麦克风接收，以及该多个噪声检测麦克风中的该一个或多个噪声检测麦克风检测到与该多个噪声检测麦克风中的其余噪声检测麦克风相比更高能量水平的环境噪声。
16.如权利要求15所述的计算机化***，还包括：在优化该语音信号后，将该语音信号传送到该话音检测装置进行解释。
17.如权利要求15所述的计算机化***，还包括：去激活这些其余噪声检测麦克风。
18.如权利要求15所述的计算机化***，还包括：在确定该环境噪声超过阈值时，激活该多个噪声检测麦克风。
19.如权利要求15所述的计算机化***，还包括：初始化该话音检测装置的语音麦克风。
CN201880057819.8A 2017-09-06 2018-09-04 用于话音检测的多模式噪声消除 Active CN111095405B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/697,176 2017-09-06
US15/697,176 US10706868B2 (en) 2017-09-06 2017-09-06 Multi-mode noise cancellation for voice detection
PCT/US2018/049380 WO2019050849A1 (en) 2017-09-06 2018-09-04 MULTI-MODE NOISE CANCELLATION FOR VOICE DETECTION

Publications (2)

Publication Number Publication Date
CN111095405A CN111095405A (zh) 2020-05-01
CN111095405B true CN111095405B (zh) 2023-06-20

Family

ID=65518236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057819.8A Active CN111095405B (zh) 2017-09-06 2018-09-04 用于话音检测的多模式噪声消除

Country Status (4)

Country Link
US (2) US10706868B2 (zh)
EP (1) EP3679573A4 (zh)
CN (1) CN111095405B (zh)
WO (1) WO2019050849A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320751B (zh) * 2018-01-31 2021-12-10 北京百度网讯科技有限公司 一种语音交互方法、装置、设备和服务器
US10367540B1 (en) 2018-02-20 2019-07-30 Cypress Semiconductor Corporation System and methods for low power consumption by a wireless sensor device
GB2582373B (en) 2019-03-22 2021-08-11 Dyson Technology Ltd Noise control
CN110166879B (zh) * 2019-06-28 2020-11-13 歌尔科技有限公司 语音采集控制方法、装置及tws耳机
US11715483B2 (en) * 2020-06-11 2023-08-01 Apple Inc. Self-voice adaptation
CN112420066B (zh) * 2020-11-05 2024-05-14 深圳市卓翼科技股份有限公司 降噪方法、装置、计算机设备和计算机可读存储介质
CN112242148B (zh) * 2020-11-12 2023-06-16 北京声加科技有限公司 一种基于头戴式耳机的风噪抑制方法及装置
CN116918350A (zh) * 2021-04-25 2023-10-20 深圳市韶音科技有限公司 声学装置
CN117501710A (zh) * 2021-04-25 2024-02-02 深圳市韶音科技有限公司 一种开放式耳机
US11595749B2 (en) 2021-05-28 2023-02-28 Gmeci, Llc Systems and methods for dynamic noise reduction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099852A (zh) * 2008-06-27 2011-06-15 沃福森微电子股份有限公司 噪声消除***
CN102708874A (zh) * 2011-03-03 2012-10-03 微软公司 麦克风阵列的噪声自适应波束形成
EP2640090A1 (en) * 2012-03-15 2013-09-18 BlackBerry Limited Selective adaptive audio cancellation algorithm configuration

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4971996A (en) 1996-02-08 1997-08-28 Hal Greenberger Noise-reducing stethoscope
ATE551826T1 (de) * 2002-01-18 2012-04-15 Polycom Inc Digitale verknüpfung von mehrmikrofonsystemen
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
DE102005032292B3 (de) 2005-07-11 2006-09-21 Siemens Audiologische Technik Gmbh Hörgerät mit reduzierter Windempfindlichkeit und entsprechendes Verfahren
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
US8738368B2 (en) * 2006-09-21 2014-05-27 GM Global Technology Operations LLC Speech processing responsive to a determined active communication zone in a vehicle
GB0725110D0 (en) * 2007-12-21 2008-01-30 Wolfson Microelectronics Plc Gain control based on noise level
US9113240B2 (en) 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
US20100172510A1 (en) * 2009-01-02 2010-07-08 Nokia Corporation Adaptive noise cancelling
JP5269618B2 (ja) * 2009-01-05 2013-08-21 株式会社オーディオテクニカ 骨伝導マイクロホン内蔵ヘッドセット
WO2010091077A1 (en) * 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
TWI406553B (zh) * 2009-12-04 2013-08-21 Htc Corp 基於環境噪音感測的通訊品質的改善方法及電子裝置
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8515089B2 (en) * 2010-06-04 2013-08-20 Apple Inc. Active noise cancellation decisions in a portable audio device
US8924204B2 (en) * 2010-11-12 2014-12-30 Broadcom Corporation Method and apparatus for wind noise detection and suppression using multiple microphones
FR2974655B1 (fr) * 2011-04-26 2013-12-20 Parrot Combine audio micro/casque comprenant des moyens de debruitage d'un signal de parole proche, notamment pour un systeme de telephonie "mains libres".
JP5845787B2 (ja) * 2011-09-30 2016-01-20 ブラザー工業株式会社 音声処理装置、音声処理方法、および音声処理プログラム
CN103716438B (zh) * 2012-09-28 2016-09-07 联想移动通信科技有限公司 降噪方法，装置及移动终端
CN103971680B (zh) * 2013-01-24 2018-06-05 华为终端（东莞）有限公司 一种语音识别的方法、装置
EP2958447B1 (en) 2013-02-21 2019-01-16 Cardo Systems, Ltd. Helmet with cheek-embedded microphone
US20140278393A1 (en) 2013-03-12 2014-09-18 Motorola Mobility Llc Apparatus and Method for Power Efficient Signal Conditioning for a Voice Recognition System
US9167333B2 (en) 2013-10-18 2015-10-20 Plantronics, Inc. Headset dictation mode
CN105744439B (zh) * 2014-12-12 2019-07-26 比亚迪股份有限公司 麦克风装置和具有其的移动终端
CN106686494A (zh) * 2016-12-27 2017-05-17 广东小天才科技有限公司 一种可穿戴设备的语音输入控制方法及可穿戴设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099852A (zh) * 2008-06-27 2011-06-15 沃福森微电子股份有限公司 噪声消除***
CN102708874A (zh) * 2011-03-03 2012-10-03 微软公司 麦克风阵列的噪声自适应波束形成
EP2640090A1 (en) * 2012-03-15 2013-09-18 BlackBerry Limited Selective adaptive audio cancellation algorithm configuration

Also Published As

Publication number Publication date
WO2019050849A1 (en) 2019-03-14
US10706868B2 (en) 2020-07-07
EP3679573A1 (en) 2020-07-15
US20190074023A1 (en) 2019-03-07
CN111095405A (zh) 2020-05-01
EP3679573A4 (en) 2021-05-12
US20200302946A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
CN111095405B (zh) 用于话音检测的多模式噪声消除
US11954403B1 (en) Systems and methods for communicating notifications and textual data associated with applications
US9851804B2 (en) Environment-dependent dynamic range control for gesture recognition
US9037455B1 (en) Limiting notification interruptions
CN1573725B (zh) 在移动装置中启动上下文感知通告的方法、设备和***
US20120297304A1 (en) Adaptive Operating System
JP2019502276A (ja) 消費電力を重視したワイヤレス通信無線管理
CN104683598A (zh) 接近传感器阈值调节方法、装置及智能设备
US9239647B2 (en) Electronic device and method for changing an object according to a bending state
US11289086B2 (en) Selective response rendering for virtual assistants
US20160232897A1 (en) Adapting timeout values based on input scopes
EP2791829B1 (en) Method for rule-based context acquisition
US20200401370A1 (en) Artificial intelligence based response to a user based on engagement level
CN104461299B (zh) 一种用于加入聊天的方法和设备
EP3566135B1 (en) Method and apparatus for managing content across applications
US10061424B2 (en) Technologies for dynamic display with a transformable display
US10628337B2 (en) Communication mode control for wearable devices
US9665279B2 (en) Electronic device and method for previewing content associated with an application
EP2472410A1 (en) Detection of accidental periphery device disconnection
US11849312B2 (en) Agent device and method for operating the same
CN110046063B (zh) 移动终端恢复出厂设置的装置、方法及存储介质
US20240013781A1 (en) Context-based deactivation of a recording device
US9819791B2 (en) Mobile electronic device, control method, and control program
KR20110013766A (ko) 휴대 단말기 및 그 동작제어 방법
KR20170061466A (ko) 이동 단말기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant