CN116158090A - 用于抑制回声的音频信号处理方法和*** - Google Patents

用于抑制回声的音频信号处理方法和*** Download PDF

Info

Publication number
CN116158090A
CN116158090A CN202080104434.XA CN202080104434A CN116158090A CN 116158090 A CN116158090 A CN 116158090A CN 202080104434 A CN202080104434 A CN 202080104434A CN 116158090 A CN116158090 A CN 116158090A
Authority
CN
China
Prior art keywords
signal
speaker
audio
intensity
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080104434.XA
Other languages
English (en)
Other versions
CN116158090A8 (zh
Inventor
郑金波
周美林
廖风云
齐心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Voxtech Co Ltd
Original Assignee
Shenzhen Voxtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Voxtech Co Ltd filed Critical Shenzhen Voxtech Co Ltd
Publication of CN116158090A publication Critical patent/CN116158090A/zh
Publication of CN116158090A8 publication Critical patent/CN116158090A8/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本说明书提供的用于抑制回声的音频信号处理方法和***，根据扬声器信号强度控制目标音频处理模式的选择。所述方法和***根据扬声器信号强度生成对应的控制信号，并根据控制信号控制目标音频处理模式，对麦克风信号进行信号处理，以获得更优的语音质量。当扬声器信号未超过阈值时，***选择第一模式，并对第一音频信号和第二音频信号进行信号处理，以得到第一目标音频。而当扬声器信号超过阈值时，***选择第二模式，并对第二音频信号进行信号处理，以得到第二目标音频。所述方法和***，能够根据扬声器信号切换目标音频处理模式，保证在不同场景下都能获得更好的语音质量，提升语音通信质量。

Description

用于抑制回声的音频信号处理方法和*** 技术领域
本说明书涉及音频信号处理领域，尤其涉及一种用于抑制回声的音频信号处理方法和***。
背景技术
目前，振动传感器用于耳机等电子产品上，作为骨传导麦克风接收语音信号的应用越来越多。人在说话时，会同时引起骨骼和皮肤的振动，这些振动就是骨传导的语音信号，能够为骨传导麦克风拾取从而产生信号。***将骨传导麦克风采集的振动信号转换为电信号或其他类型的信号，传递到电子设备实现拾音功能。目前，越来越多的电子设备将具有不同特性的气传导麦克风与骨传导麦克风组合起来，使用气传导麦克风拾取外部音频信号，使用骨传导麦克风拾取发声部位振动信号，并对所拾取信号进行语音增强处理和融合。当将骨传导麦克风放置在耳机或者其他具有扬声器的电子设备内时，骨传导麦克风不仅能够接收到人说话时的振动信号，也能接收到耳机或其他电子设备的扬声器在播放声音时产生的振动信号，从而产生回声信号。这时需要对其进行回声消除算法处理。而扬声器的回声信号不同，也会影响麦克风的语音质量。比如当扬声器输入信号较强时，骨传导麦克风接收到的扬声器振动信号较大，要远大于骨传导麦克风接收到的人说话时产生的振动信号，此时传统的回声消除算法难以消除骨传导麦克风中的回声。此时，气传导麦克风和骨传导麦克风输出的麦克风信号作为音源信号得到的语音质量较差。因此，在选择麦克风的音源信号 时不考虑扬声器的回声信号是不合理的。
因此，需要提供一种新的用于抑制回声的音频信号处理方法和***，以根据不同的扬声器输入信号切换输入的音源信号，提高回声消除的效果，提升语音质量。
发明内容
本说明书提供一种新的用于抑制回声的音频信号处理方法和***，以提高回声消除的效果，提升语音质量。
第一方面，本说明书提供一种用于抑制回声的音频信号处理方法，包括：至少基于扬声器信号从多个音频处理模式中选择电子设备的目标音频处理模式，所述扬声器信号为控制设备发送给所述电子设备的音频信号；通过所述目标音频处理模式处理麦克风信号生成目标音频，来至少降低所述目标音频中的回声，所述麦克风信号为所述电子设备获取的麦克风模组的输出信号，所述麦克风模组包括至少一个第一类麦克风和至少一个第二类麦克风；以及输出所述目标音频信号。
在一些实施例中，所述至少一个第一类麦克风输出第一音频信号；以及所述至少一个第二类麦克风输出第二音频信号，其中，所述麦克风信号包括所述第一音频信号和所述第二音频信号。
在一些实施例中，所述至少一个第一类麦克风用于采集人体振动信号；以及所述至少一个第二类麦克风用于采集空气振动信号。
在一些实施例中，所述多个音频处理模式至少包括：第一模式，对所述第一音频信号和所述第二音频信号进行信号处理；以及第二模式，对所述第二音频信号进行信号处理。
在一些实施例中，所述至少基于扬声器信号从多个音频处理模式中选择电子设备的目标音频处理模式，包括：至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号，所述控制信号包括第一控制信号或第二控制信号；以及基于所述控制信号，选择与所述控制信号对应的目标音频处理模式，其中，所述第一模式与所述第一控制信号对应，所述第二模式与所述第二控制信号对应。
在一些实施例中，所述至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号，包括：确定所述扬声器信号的强度低于预设的扬声器阈值，生成所述第一控制信号；或者确定所述扬声器信号的强度高于所述扬声器阈值，生成所述第二控制信号。
在一些实施例中，所述至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号，包括：基于所述扬声器信号的强度以及所述麦克风信号，生成对应的控制信号。
在一些实施例中，所述基于所述扬声器信号的强度以及所述麦克风信号，生成对应的控制信号，包括：获取所述麦克风信号的评价参数，所述评价参数包括环境噪声评价参数，所述环境噪声评价参数包括环境噪声等级以及信噪比中的至少一个；以及基于所述扬声器信号的强度以及所述评价参数，生成所述控制信号。
在一些实施例中，所述基于所述扬声器信号的强度以及所述评价参数，生成所述控制信号，包括以下情况中的一种：确定所述扬声器信号的强度高于预设的扬声器阈值，生成所述第二控制信号；确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于预设的噪声评价范围外，生成所述第一控制信号；以及确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围内，生成所述第一控制信号或所述第二控制信号。
在一些实施例中，所述环境噪声评价参数处于所述噪声评价范围内，包括以下情况中的至少一种：所述环境噪声等级低于预设环境噪声阈值；以及所述信噪比高于预设信噪比阈值。
在一些实施例中，所述评价参数还包括人声信号强度，所述基于所述扬声器信号的强度以及所述评价参数，生成所述控制信号，包括以下情况中的一种：确定所述扬声器信号的强度高于预设的扬声器阈值，且所述人声信号强度超过预设人声阈值，所述环境噪声评价参数处于预设的噪声评价范围之外，生成所述第一控制信号；确定所述扬声器信号的强度高于所述扬声器阈值，且所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于所述噪声评价范围之内，生成所述第二控制信号；确定所述扬声器信号的强度高于所述扬声器阈值，且所述人声信号强度低于所述人声阈值，生成所述第二控制信号；确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围之外，生成所述第一控制信号；以及确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围内，生成所述第一控制信号或所述第二控制信号。
在一些实施例中，所述环境噪声评价参数处于所述噪声评价范围内，包括以下情况中的至少一种：所述环境噪声等级低于预设环境噪声阈值；以及所述信噪比高于预设信噪比阈值。
在一些实施例中，所述生成目标音频，包括：通过所述第一模式中的第一算法，对所述第一音频信号和所述第二音频信号进行信号处理，生成第一目标音频；或者通过所述第二模式中的第二算法，对所述第二音频信号进行信号处理，生成第二目标音频，其中，所述目标音频包括所述第一目标音频和所述第二目标音频中的一个。
在一些实施例中，所述输出所述目标音频，包括：对所述目标音频做平滑处理，当所述目标音频在所述第一目标音频和所述第二目标音频之间切换时，对所述第一目标音频和所述第二目标音频的连接处进行所述平滑处理；以及输出经过所述平滑处理的所述目标音频。
在一些实施例中，所述方法还包括：基于所述控制信号，控制所述扬声器的扬声器输入信号的强度。
在一些实施例中，所述基于所述控制信号，控制所述扬声器的扬声器输入信号的强度，包括：确定所述控制信号为所述第一控制信号，降低输入所述扬声器的所述扬声器输入信号的强度，从而降低所述扬声器输出的声音的强度。
第二方面，本说明书还提供一种用于抑制回声的音频信号处理的***，包括：至少一个存储介质以及至少一个处理器，所述至少一个存储介质存储有至少一个指令集，用于抑制回声的音频信号处理；所述至少一个处理器同所述至少一个存储介质通信连接，其中，当所述***运行时，所述至少一个处理器读 取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书第一方面所述的用于抑制回声的音频信号处理的方法。
由以上技术方案可知，本说明书提供的用于抑制回声的音频信号处理方法和***，可以根据扬声器信号的强度生成与所述扬声器信号相对应的控制信号，并根据控制信号控制或切换音频处理模式，从而对与音频处理模式对应的音源信号进行信号处理，以获得更优的语音质量。当扬声器信号未超过阈值时，所述***生成第一控制信号，选择第一模式，并以第一音频信号和第二音频信号作为第一音源信号，对第一音源信号进行信号处理，以得到第一目标音频。而当扬声器信号超过阈值时，第一音频信号中的扬声器回声较大。此时，所述***生成第二控制信号，选择第二模式，并以第二音频信号作为第二音源信号，对第二音源信号进行信号处理，以得到第二目标音频。所述方法和***，能够根据扬声器信号切换不同的音频处理模式，从而切换麦克风信号的音源信号，以提升语音质量，保证在不同场景下都能获得更好的语音质量。
本说明书提供的用于抑制回声的音频信号处理方法和***的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的用于抑制回声的音频信号处理方法和***的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说 明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的实施例提供的一些用于抑制回声的音频信号处理***的应用场景示意图；
图2示出了根据本说明书的实施例提供的一些电子设备的设备示意图；
图3示出了根据本说明书的实施例提供的一些第一模式的工作示意图；
图4示出了根据本说明书的实施例提供的一些第二模式的工作示意图；
图5示出了根据本说明书的实施例提供的一些用于抑制回声的音频信号处理方法流程图；
图6示出了根据本说明书的实施例提供的一些用于抑制回声的音频信号处理方法流程图；以及
图7示出了根据本说明书的实施例提供的一些用于抑制回声的音频信号处理方法流程图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比 如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该***/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的***实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
图1示出了根据本说明书的实施例提供的一些用于抑制回声的音频信号处理***100(以下简称***100)的应用场景示意图。***100可以包括电子设备200和控制设备400。
电子设备200可以存储有执行本说明书描述的用于抑制回声的音频信号处理的方法的数据或指令，并可以执行所述数据和/或指令。在一些实施例中，电子设备200可以是无线耳机、有线耳机、智能穿戴式设备，比如，智能眼镜、智能头盔或者智能腕表等具有语音采集功能以及语音播放功能的设备。电子设备200也可以是移动设备、平板电脑、笔记本电脑、机动车内置装置或类似内容，或其任意组合。在一些实施例中，移动设备可包括智能家居设备、智能移 动设备或类似设备，或其任意组合。比如，所述智能移动设备可包括手机、个人数字辅助、游戏设备、导航设备、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)等，或其任意组合。在一些实施例中，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，机动车中的内置装置可包括车载计算机、车载电视等。
控制设备400可以是与电子设备200进行有线和/或无线音频信号通信的远程设备。控制设备400也本地可以是与电子设备200通信连接的设备。电子设备200可以采集本地的音频信号并输出至控制设备400。电子设备200还可以接收控制设备400发送的远端音频信号并输出。所述远端音频信号也可以称为扬声器信号。控制设备400也可以是具有语音采集功能以及语音播放功能的设备。比如，手机、平板电脑、笔记本电脑、耳机、智能穿戴式设备、机动车内置装置或类似内容，或其任意组合。比如，电子设备200为耳机时，控制设备400可以是与所述耳机通信连接的终端设备，比如，手机、电脑，等等。
如图1所示，电子设备200可以包括麦克风模组240以及扬声器280。麦克风模组240可以被配置为获取本地音频信号，并输出麦克风信号，也就是携带了音频信息的电子信号。麦克风模组240可以是耳外麦克风模组也可以是耳内麦克风模组。比如，麦克风模组240可以是设置于耳道外的麦克风，也可以是设置在耳道内的麦克风。麦克风模组240可以包括至少一个第一类麦克风242和至少一个第二类麦克风244。第一类麦克风242不同于第二类麦克风244。第一类麦克风242可以是直接采集人体振动信号的麦克风，比如骨传导麦克风。第二类麦克风244可以是直接采集空气振动信号的麦克风，比如气传导麦克风。当然，第一类麦克风242和第二类麦克风244也可以是其他类型的麦克风。比 如第一类麦克风242可以是光学麦克风；第二类麦克风244可以是接收肌电信号的麦克风，等等。由于第一类麦克风242不同于第二类麦克风244，在感知音频信号的表现上便会不同，造成相应的音频信号中的噪音和回声成分会不同。为了方便展示，本披露在下面的陈述中将使用骨传导麦克风作为第一类麦克风242的例子，使用气传导麦克风作为第二类麦克风244的例子。
骨传导麦克风可以包括振动传感器，比如光学振动传感器、加速度传感器等。所述振动传感器可以采集机械振动信号(比如，由用户002说话时皮肤或骨骼产生的振动产生的信号)，并将该机械振动信号转换成电信号。这里所说的机械振动信号主要指经由固体传播的振动。骨传导麦克风通过所述振动传感器或与所述振动传感器连接的振动部件与用户002的皮肤或骨骼进行接触，从而采集用户002在发出声音时骨骼或皮肤产生的振动信号，并将振动信号转换为电信号。在一些实施例中，所述振动传感器可以是对机械振动敏感而对空气振动不敏感的装置(即所述振动传感器对于机械振动的响应能力超过所述振动传感器对于空气振动的响应能力)。由于骨传导麦克风能够直接拾取发声部位的振动信号，骨传导麦克风能降低环境噪声的影响。
气传导麦克风通过采集用户002在发出声音时引起的空气振动信号，并将空气振动信号转化为电信号。气传导麦克风可以是单独的一颗气传导麦克风，也可以是由两个及以上的气传导麦克风组成的麦克风阵列。麦克风阵列可以是波束形成麦克风阵列或者其他类似的麦克风阵列。通过麦克风阵列可以采集来自空间不同方向或不同位置的声音。
第一类麦克风242可以输出第一音频信号243。第二类麦克风244可以输出第二音频信号245。所述麦克风信号包括所述第一音频信号243和所述第二音频 信号245。在低噪声场景下，第二音频信号245较第一音频信号243具有更好的语音质量。而在环境噪声较大的场景下，在低频部分第一音频信号243的语音质量更高，而在高频部分第二音频信号245的语音质量更高。因此在环境噪声较大的场景下，将第一音频信号243和第二音频信号245进行特征融合后得到的音频信号具有良好的语音质量。在实际使用过程中，环境的噪声时刻都可能发生变化，在所述低噪声场景和所述高噪声场景之间反复转换。
扬声器280可以将电信号转换为音频信号。扬声器280可以被配置为接收来自控制设备400的所述扬声器信号并输出。为了方便描述，我们将输入扬声器280的音频信号定义为扬声器输入信号。在一些实施例中，所述扬声器输入信号可以是所述扬声器信号。在一些实施例中，电子设备200可以对所述扬声器信号进行信号处理，并将信号处理后的音频信号发送给扬声器280进行输出。此时，所述扬声器输入信号可以是电子设备200对所述扬声器信号进行信号处理后得到的音频信号。
所述扬声器输入信号经扬声器280输出后的声音可以通过空气传导或者骨传导的方式传递给用户002。扬声器280可以是通过向人体传递振动信号以传递声音的扬声器，比如骨传导扬声器，也可以是通过空气传递振动信号的扬声器，比如气传导扬声器。骨传导扬声器通过振动模块产生机械振动，并将所述机械振动经由骨骼传导至耳内。比如，扬声器280可以直接或者通过特定介质(例如，一个或多个面板)接触用户002的头部，并将所述音频信号通过颅骨振动的方式传递给用户的听觉神经。气传导扬声器通过振动模块在空气中产生振动，并将所述空气振动经由空气传导至耳内。扬声器280还可以是骨传导扬声器和气传导扬声器的组合。扬声器280还可以是其他类型的扬声器。所述扬声器输 入信号经扬声器280输出后的声音可能会被麦克风模组240采集，形成回声。所述扬声器输入信号强度越大，扬声器280输出的声音强度越大，所述回声信号越强。
需要说明的是，麦克风模组240和扬声器280可以集成在电子设备200上，也可以是电子设备200的外接式设备。
第一类麦克风242和第二类麦克风244工作时，不仅能够采集到用户002发出的声音，也能采集到环境噪声，还能采集到扬声器280发出的声音。电子设备200可以通过麦克风模组240采集音频信号并生成所述麦克风信号。所述麦克风信号可以包括第一音频信号243和第二音频信号245。不同场景下，第一音频信号243和第二音频信号245的语音质量不同。为保证语音通信质量，电子设备200可以根据不同的应用场景，从多个音频处理模式中选择目标音频处理模式，以从所述麦克风信号中选择语音质量更好的音频信号作为音源信号，并通过所述目标音频处理模式对所述音源信号进行信号处理后输出至控制设备400。所述音源信号可以是所述目标音频处理模式的输入信号。在一些实施例中，所述信号处理可以包括噪声抑制以降低噪声信号。在一些实施例中，所述信号处理可以包括回声抑制以降低回声信号。在一些实施例中，所述信号处理既可以包括所述噪声抑制，也可以包括所述回声抑制。在一些实施例中，所述信号处理也可以是直接输出所述音源信号。为了方便展示，下面的描述中我们将以所述信号处理包括所述回声抑制进行描述。本领域技术人员应当明白，其他信号处理方式都在本说明书的保护范围内。
电子设备200对所述目标音频处理模式的选择，除了与环境噪声有关外，还与所述扬声器信号有关。在一些场景下，比如，所述扬声器信号较小，扬声 器280输出的声音也较小时，第一类麦克风242输出的第一音频信号243和第二类麦克风244输出的第二音频信号245进行特征融合后的音频信号的语音质量优于第二类麦克风244输出的第二音频信号245的语音质量。
而在一些特殊场景下，比如所述扬声器信号较大，扬声器280输出的声音也较大时，对于第一类麦克风242输出的所述第一音频信号243影响较大，导致所述第一音频信号243中的回声较大。在一些实施例中，所述第一音频信号243中的回声信号会超过用户002的语音信号。特别是当扬声器280为骨传导扬声器时，所述第一音频信号243中的回声信号更明显。传统的回声消除算法难以消除所述第一音频信号243中的回声信号，无法保证回声消除的效果。此时，第二类麦克风244输出的第二音频信号245的语音质量优于第一类麦克风242输出的第一音频信号243和第二类麦克风244输出的第二音频信号245进行特征融合后的音频信号的语音质量。
因此，电子设备200可以基于所述扬声器信号从所述多个音频处理模式中选择所述目标音频处理模式对所述麦克风信号进行所述信号处理。所述多个音频处理模式至少可以包括第一模式1和第二模式2。
第一模式1可以对第一音频信号243和第二音频信号245进行信号处理。如前所述，在一些实施例中，所述信号处理可以包括噪声抑制以降低噪声信号。在一些实施例中，所述信号处理可以包括回声抑制以降低回声信号。在一些实施例中，所述信号处理既可以包括所述噪声抑制，也可以包括所述回声抑制。为了方便展示，下面的描述中我们将以所述信号处理包括所述回声抑制进行描述。本领域技术人员应当明白，其他信号处理方式都在本说明书的保护范围内。
第二模式2可以对第二音频信号245进行信号处理。在一些实施例中，所述信号处理可以包括噪声抑制以降低噪声信号。在一些实施例中，所述信号处理可以包括回声抑制以降低回声信号。在一些实施例中，所述信号处理既可以包括所述噪声抑制，也可以包括所述回声抑制。为了方便展示，下面的描述中我们将以所述信号处理包括所述回声抑制进行描述。本领域技术人员应当明白，其他信号处理方式都在本说明书的保护范围内。
所述目标音频处理模式是第一模式1和第二模式2中的一个。所述多个音频处理模式还可以包括其他模式，比如，对第一音频信号243进行信号处理的处理模式。
因此，所述扬声器信号较小时，为了保证应用于语音通信的语音具有较高的质量，电子设备200选用第一模式1，以第一音频信号243和第二音频信号245作为音源信号，并对所述音源信号进行信号处理，生成第一目标音频291并输出，应用于语音通信。所述扬声器信号较大时，为了保证应用于语音通信的语音具有较高的质量，电子设备200选用第二模式2，以第二音频信号245作为音源信号，并对所述音源信号进行信号处理，生成第二目标音频292并输出，应用于语音通信。
电子设备200可以执行本说明书描述的用于抑制回声的音频信号处理的方法的数据或指令，获取所述麦克风信号以及所述扬声器信号；电子设备200可以基于所述扬声器信号的信号强度，选择对应的目标音频处理模式对所述麦克风信号进行信号处理。具体地，电子设备200可以根据所述扬声器信号的强度，从多个音频处理模式中选择与所述扬声器信号强度对应的目标音频处理模式，从所述第一音频信号243和所述第二音频信号245中选择语音质量更好的音频 信号或者其组合作为音源信号，并采用对应的信号处理算法对所述音源信号进行信号处理(比如回声消除以及降噪处理)，生成目标音频并输出，以降低所述目标音频中的回声。所述目标音频可以包括第一目标音频291和第二目标音频292中的一个。电子设备200可以将所述目标音频输出至控制设备400。
综上所述，为了保证通信的语音质量，电子设备200可以基于所述扬声器信号的强度，控制并选择目标音频处理模式，从而选择语音质量更好的音频信号作为电子设备200的音源信号，并对所述音源信号进行信号处理，以针对不同的使用场景获取不同的目标音频，从而保证不同使用场景下，所述目标音频的语音质量都是最优的。
图2示出了一种电子设备200的设备示意图。电子设备200可以执行本说明书描述的用于抑制回声的音频信号处理的方法。所述用于抑制回声的音频信号处理的方法在本说明书中的其他部分介绍。比如，在图5至图7的描述中介绍了所述用于抑制回声的音频信号处理的方法。
如图2所示，电子设备200可以包括麦克风模组240和扬声器280。在一些实施例中，电子设备200还可以包括至少一个存储介质230和至少一个处理器220。
存储介质230可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘、只读存储介质(ROM)或随机存取存储介质(RAM)中的一种或多种。存储介质230还包括存储在所述数据存储装置中的至少一个指令集，用于抑制回声的音频信号处理。所述指令是计算机程序代码，所述计算机程序代码可以包括执 行本说明书提供的用于抑制回声的音频信号处理的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
如图2所示，所述至少一个指令集可以包括控制指令，由控制模块231发出，被配置为基于所述扬声器信号或者所述扬声器信号和所述麦克风信号生成与所述扬声器信号对应的控制信号。所述控制信号包括第一控制信号或第二控制信号。其中，所述第一控制信号与第一模式1相对应。所述第二控制信号与第二模式2相对应。所述控制信号可以是任意的信号，比如，所述第一控制信号可以是信号1，所述第二控制信号可以是信号2，等等。控制模块231发出的控制指令可以根据所述扬声器信号的信号强度或者所述扬声器信号的信号强度以及所述麦克风信号的评价参数，生成相对应的控制信号。所述控制信号与所述扬声器信号或者所述扬声器信号以及所述麦克风信号的对应关系将在后面的描述中详细介绍。控制模块231还可以根据所述控制信号选择与所述控制信号对应的目标音频信号处理模式。当所述控制信号为所述第一控制信号时，控制模块231选择第一模式1；当所述控制信号为所述第二控制信号时，控制模块231选择第二模式2。
在一些实施例中，所述至少一个指令集还可以包括回声处理指令，由回声处理模块233发出，被配置为基于所述控制信号，通过电子设备200的所述目标音频处理模式对所述麦克风信号进行信号处理(比如回声抑制，降噪处理等)。当所述控制信号为所述第一控制信号时，回声处理模块233采用第一模式1对所述麦克风信号进行信号处理。当所述控制信号为所述第二控制信号时，回声处理模块233采用第一模式2对所述麦克风信号进行信号处理。
所述回声处理模块233可以包括第一算法233-1以及第二算法233-8。所述第一算法233-1与所述第一控制信号以及所述第一模式1对应。所述第二算法233-8与所述第二控制信号以及所述第二模式2对应。
在第一模式1中，电子设备200采用第一算法233-1分别对第一音频信号243和第二音频信号245进行信号处理，并将经过所述信号处理后的第一音频信号243和第二音频信号245进行特征融合，输出所述第一目标音频291。
图3示出了根据本说明书的实施例提供的一种第一模式1的工作示意图。如图3所示，在第一模式1中，第一算法233-1可以接收所述第一音频信号243和所述第二音频信号245以及所述扬声器输入信号。第一算法233-1可以使用第一回声消除模块233-2基于所述扬声器输入信号对所述第一音频信号243进行回声消除。所述扬声器输入信号可以是经过降噪处理后的音频信号。第一回声消除模块233-2接收所述第一音频信号243以及所述扬声器输入信号，并输出消除回声后的所述第一音频信号243。第一回声消除模块233-2可以是单麦克风回声消除算法。
在一些实施例中，第一算法233-1可以使用第二回声消除模块233-3基于所述扬声器输入信号对所述第二音频信号245进行回声消除。第二回声消除模块233-3接收所述第二音频信号245以及所述扬声器输入信号，并输出消除回声后的所述第二音频信号245。第二回声消除模块233-3可以是单麦克风回声消除算法，也可以是多麦克风回声消除算法。第一回声消除模块233-2与第二回声消除模块233-3可以相同也可以不同。
在一些实施例中，第一算法233-1可以使用第一噪声抑制模块233-4对消除回声后的所述第一音频信号243和所述第二音频信号245进行噪声抑制。第一 噪声抑制模块233-4用于抑制所述第一音频信号243和所述第二音频信号245中的噪声信号。第一噪声抑制模块233-4接收消除回声后的所述第一音频信号243和所述第二音频信号245，并输出噪声抑制后的所述第一音频信号243和所述第二音频信号245。第一噪声抑制模块233-4可以单独对所述第一音频信号243和所述第二音频信号245进行降噪，也可以同时对所述第一音频信号243和所述第二音频信号245进行降噪。
在一些实施例中，所述第一算法233-1可以使用特征融合模块233-5对经过噪声抑制的所述第一音频信号243和所述第二音频信号245进行特征融合处理。特征融合模块233-5接收经过降噪处理的所述第一音频信号243和所述第二音频信号245。特征融合模块233-5可以分析所述第一音频信号243和所述第二音频信号245的语音质量。比如，特征融合模块233-5可以分析所述第一音频信号243和所述第二音频信号245中的有效语音信号强度、噪声信号强度、回声信号强度以及信噪比等等，判断所述第一音频信号243和所述第二音频信号245的语音质量，将第一音频信号243和所述第二音频信号245融合成所述第一目标音频291并输出。
在一些实施例中，第一算法233-1还可以使用第二噪声抑制模块233-6对所述扬声器信号进行噪声抑制。第二噪声抑制模块233-6用来抑制所述扬声器信号中的噪声信号。第二噪声抑制模块233-6接收控制设备400发送的所述扬声器信号，消除所述扬声器信号中的远端噪声、信道噪声及电子设备200中的电子噪声等噪声信号，输出经过降噪处理的扬声器处理信号。
需要说明的是，图3只是示例性说明。本领域技术人员应该明白，在一些实施例中，第一算法233-1可以包括特征融合模块233-5。在另一些实施例中， 第一算法233-2还可以包括第一回声消除模块233-2、第二回声消除模块233-3、第一噪声抑制模块233-4和第二噪声抑制模块233-6中的任意一种或其任意组合。
在第二模式2中，电子设备200采用第二算法233-8对第二音频信号245进行信号处理，并输出所述第二目标音频292。
图4示出了根据本说明书的实施例提供的一种第二模式2的工作示意图。如图4所示，在第二模式2中，第二算法233-8可以接收所述第二音频信号245以及所述扬声器输入信号。第二算法233-8可以使用第三回声消除模块233-9基于所述扬声器输入信号对所述第二音频信号245进行回声消除。第三回声消除模块233-9接收所述第二音频信号245以及所述扬声器输入信号，并输出消除回声后的所述第二音频信号245。第三回声消除模块233-9可以与第二回声消除模块233-3相同，也可以不同。
在一些实施例中，第二算法233-8可以使用第三噪声抑制模块233-10对消除回声后的所述第二音频信号245进行噪声抑制。第三噪声抑制模块233-10用于抑制所述第二音频信号245中的噪声信号。第三噪声抑制模块233-10接收消除回声后的所述第二音频信号245，并输出噪声抑制后的所述第二音频信号245作为所述第二目标音频292。第三噪声抑制模块233-10可以与第一噪声抑制模块233-4相同，也可以不同。
在一些实施例中，第二算法233-8还可以使用第四噪声抑制模块233-11对所述扬声器信号进行噪声抑制。第四噪声抑制模块233-11用来抑制所述扬声器信号中的噪声信号。第四噪声抑制模块233-11接收控制设备400发送的所述扬声器信号，消除所述扬声器信号中的远端噪声、信道噪声及电子设备200中的电子噪声等噪声信号，输出经过降噪处理的扬声器处理信号。第四噪声抑制模 块233-11可以与第二噪声抑制模块233-6相同，也可以不同。
需要说明的是，图4只是示例性说明。本领域技术人员应该明白，在一些实施例中，第二算法233-8可以包括第三回声消除模块233-9、第三噪声抑制模块233-10和第四噪声抑制模块233-11中的任意一种或其任意组合。在另一些实施例中，第二算法233-8也可以不包括上述任何信号处理模块，直接输出所述第二音频信号245。
第一模式1和第二模式2可以只运行一个，以节省计算资源。当第一模式1和运行时，第二模式2可以关闭。当第二模式2运行时，第一模式1可以关闭。第一模式1和第二模式2也可以同时运行，当其中一个模式运行时，另一个模式可以更新算法参数。当电子设备200在第一模式1和第二模式2之间切换时，第一模式1和第二模式2内的部分参数可以共用(比如噪声估计算法得到的噪声参数、人声估计算法得到的人声参数、信噪比算法得到的信噪比参数，等等)，从而节约计算资源，使计算结果更为准确。第一模式1和第二模式2中的第一算法233-1和第二算法233-8也可以与控制模块231发出的控制指令中的部分参数共用，比如噪声估计算法得到的噪声参数、人生估计算法得到的人声参数、信噪比算法得到的信噪比参数，等等，从而节约计算资源，使计算结果更为准确。
在一些实施例中，所述至少一个指令集还可以包括麦克风控制指令，由麦克风控制模块235执行，被配置为对所述目标音频进行平滑处理，并将平滑处理后的所述目标音频输出至控制设备400。麦克风控制模块235可以接收控制模块231生成的控制信号以及所述目标音频，并基于所述控制信号对所述目标音频进行所述平滑处理。当所述控制信号为所述第一控制信号时，运行第一模式1， 使用第一算法233-1输出的所述第一目标音频291为输入信号；当所述控制信号为所述第二控制信号时，运行第二模式2，使用第二算法233-8输出的所述第二目标音频292为输入信号。当所述控制信号在所述第一控制信号和所述第二控制信号之间切换，导致所述目标音频处理模式在第一模式1和第二模式2之间切换时，为避免所述第一目标音频291和所述第二目标音频292切换带来的信号的不连续性，麦克风控制模块235可以对所述目标音频进行平滑处理。具体地，麦克风控制模块235可以对所述第一目标音频291和所述第一目标音频291的参数进行调整，使所述目标音频连续。所述参数可以预先存储在所述至少一个存储介质230中。所述参数可以是幅度、相位、频率响应等等。所述调整的内容可以包括对所述目标音频的音量的调整、EQ均衡的调整、残留噪声的调整等。麦克风控制模块235可以使所述目标音频处理模式在第一模式1和第二模式2之间切换时，所述目标音频为连续信号，使用户002不容易感知二者之间的切换。
在一些实施例中，所述至少一个指令集还可以包括扬声器控制指令，由扬声器控制模块237执行，被配置为对所述扬声器处理信号进行调整得到所述扬声器输入信号，并将所述扬声器输入信号输出至扬声器280输出声音。扬声器控制模块237可以接收第一算法233-1和第二算法233-8输出的所述扬声器处理信号以及所述控制信号。当所述控制信号为所述第一控制信号时，扬声器控制模块237可以对第一算法233-1输出的所述扬声器处理信号进行控制，使其降低或关闭后再输出至扬声器280进行输出，以降低扬声器280输出的声音，从而降低回声，提升第一算法233-1的回声消除的效果。当所述控制信号为所述第二控制信号时，扬声器控制模块237可以不对第二算法233-8输出的所述扬声器处 理信号进行调整。当所述控制信号在所述第一控制信号和所述第二控制信号之间切换时，为避免扬声器280输出的声音不连续，扬声器控制模块237可以对第一算法233-1和第二算法233-8输出的所述扬声器处理信号进行平滑处理。当所述第一控制信号和所述第二控制信号之间切换时，扬声器控制模块237尽量保证切换的连续性，使用户002不容易感知两者之间的切换。
第一模式1中，第一算法233-1偏重于近端麦克风模组240拾取的用户002的语音质量。当所述扬声器处理信号过大时，通过扬声器控制模块237对所述扬声器处理信号进行处理以降低所述扬声器输入信号，从而降低扬声器280输出的声音，以降低回声确保近端语音质量。第二算法233-8偏重于扬声器280的所述扬声器输入信号，不采用第一类麦克风242输出的所述第一音频信号243来确保扬声器280的所述扬声器输入信号的语音质量以及可懂度。
至少一个处理器220可以同至少一个存储介质230、麦克风模组240和扬声器280通信连接。所述通信连接是指能够直接地或者间接地接收信息的任何形式的连接。至少一个处理器220用以执行上述至少一个指令集。当***100运行时，至少一个处理器220读取所述至少一个指令集，并且根据所述至少一个指令集的指示获取麦克风模组240以及扬声器280的数据，执行本说明书提供的用于抑制回声的音频信号处理的方法。处理器220可以执行用于抑制回声的音频信号处理的方法包含的所有步骤。处理器220可以是一个或多个处理器的形式，在一些实施例中，处理器220可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中央处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门 阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中电子设备200中仅描述了一个处理器220。然而，应当注意，本说明书中电子设备200还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中电子设备200的处理器220执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器220联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。
在一些实施例中，***100可以根据所述扬声器信号的信号强度选择电子设备200的所述目标音频处理模式。在一些实施例中，***100可以根据所述扬声器信号的信号强度以及所述麦克风信号选择电子设备200的所述目标音频处理模式。
图5示出了根据本说明书的实施例提供的一种用于抑制回声的音频信号处理方法P100的流程图。所述方法P100为***100根据所述扬声器信号的信号强度选择电子设备200的所述目标音频处理模式的方法流程图。如图5所示，所述方法P100可以包括通过至少一个处理器220执行：
S120：至少基于所述扬声器信号从第一模式1和第二模式2中选择电子设备200的目标音频处理模式。如前所述，所述目标音频处理模式可以包括第一模式1和第二模式2中的一个。具体地，步骤S120可以包括：
S121：获取所述扬声器信号。
S122：至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号。所述控制信号包括第一控制信号或第二控制信号。具体地，电子设备200可以接收控制设备400发送的所述扬声器信号，并将所述扬声器信号的强度与预设的扬声器阈值进行对比，并根据对比结果生成所述控制信号。步骤S122可以包括以下情况中的一种：
S122-2：确定所述扬声器信号的强度低于所述扬声器阈值，生成所述第一控制信号；或者
S122-4：确定所述扬声器信号的强度高于预设的扬声器阈值，生成所述第二控制信号。
步骤S120还可以包括：
S124：基于所述控制信号，选择与所述控制信号对应的所述目标音频处理模式。其中，所述第一控制信号与所述第一模式1对应。所述第二控制信号与所述第二模式2对应。当所述控制信号为所述第一控制信号时，选择第一模式1；当所述控制信号为所述第二控制信号时，选择第二模式2。
当所述扬声器信号的强度高于所述扬声器阈值时，使用第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245进行信号处理时，无法在保留较好的人声信号的同时，消除信号中的回声信号，因此得到的所述第一目标音频291的语音质量较差；而使用第二模式2中的第二算法233-8对所述第二音频信号245进行信号处理得到的所述第二目标音频292质量较好。因此，当所述扬声器信号的强度高于所述扬声器阈值时，电子设备200生成与第二模式2对应的所述第二控制信号。
当所述扬声器信号的强度低于所述扬声器阈值时，使用第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245进行信号处理时，能够在保留较好的人声信号的同时，消除信号中的回声信号，因此得到的所述第一目标音频291的语音质量较好；而使用第二模式2中的第二算法233-8对所述第二音频信号245进行信号处理得到的所述第二目标音频292质量也较好。因此，当所述扬声器信号的强度低于所述扬声器阈值时，电子设备200生成与第一模式1对应的所述第一控制信号，也可以生成与第二模式2对应的所述第二控制信号。
所述控制信号由控制模块231生成。具体地，电子设备200可以实时监测所述扬声器信号的强度，并与所述扬声器阈值进行对比。电子设备200也可以定时检测所述扬声器信号的强度，并与所述扬声器阈值进行对比。电子设备200还可以在监测到所述扬声器信号的强度发生明显变化，且变化值超过预设范围时，再将所述扬声器信号与所述扬声器阈值进行对比。
当所述扬声器信号的强度高于所述扬声器阈值时，电子设备200生成所述第二控制信号；当所述扬声器信号发生变化，且所述扬声器信号的强度低于所述扬声器阈值时，电子设备生成所述第一控制信号。当所述扬声器信号的强度低于所述扬声器阈值时，电子设备200生成所述第一控制信号；当所述扬声器信号发生变化，且所述扬声器信号的强度高于所述扬声器阈值时，电子设备生成所述第二控制信号。
为了保证所述控制信号切换时不被用户002感知，所述扬声器阈值可以是一个范围。所述扬声器阈值可以在第一扬声器临界值和第二扬声器临界值所处的范围内。所述第一扬声器临界值小于第二扬声器临界值。所述扬声器信号的 强度高于所述扬声器阈值可以包括所述扬声器信号的强度高于所述第二扬声器临界值。所述扬声器信号的强度低于所述扬声器阈值可以包括所述扬声器信号的强度低于所述第一扬声器临界值。
当所述扬声器信号强度等于所述扬声器阈值时，电子设备200可以生成所述第一控制信号或者所述第二控制信号。当所述扬声器信号强度高于所述第二扬声器临界值时，电子设备200生成所述第二控制信号；当所述扬声器信号强度降低至所述第一扬声器临界值和所述第二扬声器临界值之间时，电子设备200可以生成所述第二控制信号。当所述扬声器信号强度低于所述第一扬声器临界值时，电子设备200生成所述第一控制信号；当所述扬声器信号强度增强至所述第一扬声器临界值和所述第二扬声器临界值之间时，电子设备200可以生成所述第一控制信号。
电子设备200也可以通过机器学习得到控制模型，将所述扬声器信号输入所述控制模型，所述控制模型输出所述控制信号。
所述方法P100还可以包括通过至少一个处理器220执行：
S140：通过所述目标音频处理模式处理所述麦克风信号生成所述目标音频，来至少降低所述麦克风信号中的回声。具体地，步骤S140可以包括以下情况中的一种：
S142：确定所述控制信号为所述第一控制信号，通过与所述第一控制信号对应的所述第一模式1中的第一算法233-1，基于所述扬声器输入信号，对所述第一音频信号243和所述第二音频信号245进行信号处理以及特征融合，生成第一目标音频291。具体过程如前所述，在这里不再赘述。
S144：确定所述控制信号为所述第二控制信号，通过与所述第二控制信号对应的第二模式2中的第二算法233-8，基于所述扬声器输入信号，对所述第二音频信号245进行信号处理。具体过程如前所述，在这里不再赘述。
S160：输出所述目标音频。电子设备200可以直接输出所述目标音频。电子设备200也可以对所述目标音频做平滑处理，以使所述目标音频在所述第一目标音频291和所述第二目标音频292之间切换时，不被用户002感知。具体地，步骤S160可以包括：对所述目标音频做平滑处理并输出经过所述平滑处理的所述目标音频。
具体地，电子设备200可以通过麦克风控制模块235对所述目标音频做平滑处理。当所述目标音频在所述第一目标音频291和所述第二目标音频292之间切换时，麦克风控制模块235可以对所述第一目标音频291和所述第二目标音频292的连接处进行所述平滑处理，即对第一目标音频291和所述第二目标音频292进行信号调节，使得连接处平滑过渡。
所述方法P100还可以包括：
S180：基于所述控制信号，控制所述扬声器280的所述扬声器输入信号的强度。具体地，步骤S180可以通过扬声器控制模块237执行。步骤S180可以是通过扬声器控制模块237确定所述控制信号为所述第一控制信号；扬声器控制模块237对所述扬声器处理信号进行处理，降低输入扬声器280的所述扬声器输入信号的强度，从而降低扬声器280输出的声音的强度，以降低所述麦克风信号中的回声信号，以提高所述第一目标音频的语音质量。
表1示出了图5对应的目标音频处理模式结果图。如表1所示，为了方便对照，我们将场景分为4个场景，分别是第一种：近端声音信号小于阈值(比 如用户002不发出声音)且所述扬声器信号不超过所述扬声器阈值；第二种：近端声音信号大于阈值(比如用户002发出声音)且所述扬声器信号不超过所述扬声器阈值；第三种：近端声音信号小于阈值(比如用户002不发出声音)且所述扬声器信号超过所述扬声器阈值；以及第四种：近端声音信号大于阈值(比如用户002发出声音)且所述扬声器信号超过所述扬声器阈值。其中，近端声音信号是否大于阈值可以通过控制模块231根据所述麦克风信号进行判断。近端声音信号大于阈值可以是用户002发出的音频信号强度超过预设的阈值。所述4个场景对应的目标音频处理模式分别是第一种和第二种对应第一模式1；第三种和第四种对应第二模式2。
Figure PCTCN2020140215-APPB-000001
所述方法P100中，电子设备200可以根据所述扬声器信号所选择电子设备200的目标音频处理模式，以保证电子设备200在任何场景下选择的目标音频处理模式处理的语音质量都是最优的，以保证通话质量。
在一些实施例中，所述目标音频处理模式的选择不仅与所述扬声器信号的回声有关，还可以与环境噪声有关。所述环境噪声可以通过所述麦克风信号中的环境噪声等级和信噪比中的至少一个进行评价。
图6示出了根据本说明书的实施例提供的一种用于抑制回声的音频信号处 理方法P200的流程图。所述方法P200为***100根据所述扬声器信号的信号强度以及所述麦克风信号选择电子设备200的所述目标音频处理模式的方法流程图。具体地，所述方法P200为***100根据所述扬声器信号以及所述麦克风信号中的环境噪声等级和信噪比中的至少一个选择所述目标音频处理模式的方法流程图。所述方法P200可以包括通过至少一个处理器220执行：
S220：至少基于所述扬声器信号从第一模式1和第二模式2中选择电子设备200的目标音频处理模式。具体地，步骤S220可以包括：
S222：至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号。所述控制信号包括第一控制信号或第二控制信号。具体地，步骤S222可以是电子设备200基于所述扬声器信号的强度以及所述麦克风信号中的噪声，生成对应的控制信号。步骤S222可以包括：
S222-2：获取所述扬声器信号和所述麦克风信号的评价参数。其中，所述评价参数可以是所述麦克风信号中的环境噪声评价参数。所述环境噪声评价参数可以包括环境噪声等级以及信噪比中的至少一个。电子设备200可以通过控制模块231获取所述麦克风信号中的环境噪声评价参数。具体地，电子设备200可以根据第一音频信号243和第二音频信号245中的至少一个获取所述环境噪声评价参数。电子设备200可以通过噪声估计算法获取所述环境噪声等级或所述信噪比，本说明书在此不再赘述。
S222-4：基于所述扬声器信号的强度以及所述环境噪声评价参数，生成所述控制信号。具体地，电子设备200可以将所述扬声器信号的强度与预设的扬声器阈值进行对比，以及将所述环境噪声评价参数与预设的噪声评价范围进行对 比，并根据对比结果生成所述控制信号。步骤S222-4可以包括以下情况中的一种：
S222-5：确定所述扬声器信号的强度高于预设的扬声器阈值，生成所述第二控制信号；
S222-6：确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于预设的噪声评价范围外，生成所述第一控制信号；
S222-7：确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围内，生成所述第一控制信号或所述第二控制信号。
其中，所述环境噪声评价参数处于所述噪声评价范围内可以包括所述环境噪声等级低于预设环境噪声阈值，以及所述信噪比高于预设信噪比阈值中的至少一种。此时的环境噪声较小。所述环境噪声评价参数处于所述噪声评价范围外可以包括所述环境噪声等级高于预设环境噪声阈值，以及所述信噪比低于预设信噪比阈值中的至少一种。此时的环境噪声较大。其中，当所述环境噪声评价参数处于所述噪声评价范围外时，即大噪声环境下，所述第一目标音频291的语音质量优于所述第二目标音频292。当所述环境噪声评价参数处于所述噪声评价范围内时，所述第一目标音频291的语音质量与所述第二目标音频292的语音质量相差不大。
步骤S220还可以包括：
S224：基于所述控制信号，选择与所述控制信号对应的所述目标音频处理模式。其中，所述第一控制信号与所述第一模式1对应。所述第二控制信号与 所述第二模式2对应。当所述控制信号为所述第一控制信号时，选择第一模式1；当所述控制信号为所述第二控制信号时，选择第二模式2。
当所述扬声器信号的强度高于所述扬声器阈值时，第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245进行信号处理时，无法在保留较好的人声信号的同时，消除信号中的回声信号，因此得到的所述第一目标音频291的语音质量较差；而第二模式2中的第二算法233-8对所述第二音频信号245进行信号处理得到的所述第二目标音频292质量较好。因此，当所述扬声器信号的强度高于所述扬声器阈值时，不管所述环境噪声处于什么范围内，电子设备200都生成与第二模式2对应的所述第二控制信号。
当所述扬声器信号的强度低于所述扬声器阈值时，第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245进行信号处理时，能够在保留较好的人声信号的同时，消除信号中的回声信号，因此得到的所述第一目标音频291的语音质量较好；而第二模式2中的第二算法233-8对所述第二音频信号245进行信号处理得到的所述第二目标音频292质量也较好。因此，当所述扬声器信号的强度低于所述扬声器阈值时，电子设备200生成的控制信号与环境噪声有关。
当所述环境噪声等级高于所述环境噪声阈值或所述信噪比低于所述信噪比阈值时，代表所述麦克风信号中的环境噪声较大。第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245进行信号处理时，能够在保留较好的人声信号的同时，降低信号中的噪声，因此得到的所述第一目标音频291的语音质量较好；而第二模式2中的第二算法233-8对所述第二音频信号245进行信号处理得到的所述第二目标音频292的语音质量不如第一目标音频291 的语音质量。因此，当所述扬声器信号的强度低于所述扬声器阈值，并且所述环境噪声等级高于所述环境噪声阈值或所述信噪比低于所述信噪比阈值时，电子设备200生成与第一模式1对应的所述第一控制信号。
需要说明的是，当环境噪声较小时，即环境噪声评价参数处于所述噪声评价范围之内时，第一目标音频291的语音质量与第二目标音频292的语音质量相差不大。这时，电子设备200可以始终生成所述第二控制信号，以选择所述第二模式2中的第二算法233-8对第二音频信号245进行信号处理，在保证目标音频语音质量的前提下，减少计算量，节约资源。
当所述环境噪声等级低于所述环境噪声阈值或所述信噪比高于所述信噪比阈值时，代表所述麦克风信号中的环境噪声较小。第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245进行信号处理时得到的所述第一目标音频291，以及第二模式2中的第二算法233-8对所述第二音频信号245进行信号处理得到的所述第二目标音频292的语音质量都较好。因此，当所述扬声器信号的强度低于所述扬声器阈值，并且所述环境噪声等级低于所述环境噪声阈值或所述信噪比高于所述信噪比阈值时，电子设备200生成所述第一控制信号或所述第二控制信号。具体地，电子设备200可以根据前一场景的控制信号决定当前场景下的控制信号。也就是说，当前一场景下，电子设备生成第一控制信号时，当处在当前场景下时，电子设备也生成第一控制信号，从而保证信号的连续性。反之亦然。
所述控制信号由控制模块231生成。具体地，电子设备200可以实时监测所述扬声器信号的强度以及所述环境噪声评价参数，并与所述扬声器阈值和所述噪声评价范围进行对比。电子设备200也可以定时检测所述扬声器信号的强 度以及所述环境噪声评价参数，并与所述扬声器阈值和所述噪声评价范围进行对比。电子设备200还可以在监测到所述扬声器信号的强度或所述环境噪声评价参数发生明显变化，且变化值超过预设范围时，再将所述扬声器信号以及所述环境噪声评价参数与所述扬声器阈值和所述噪声评价范围进行对比。
为了保证所述控制信号切换时不被用户002感知，所述扬声器阈值、所述环境噪声阈值和所述预设信噪比阈值可以是一个范围。所述扬声器阈值如前所述，在此不再赘述。所述环境噪声阈值可以在第一噪声临界值和第二噪声临界值所处的范围内。所述第一噪声临界值小于第二噪声临界值。所述环境噪声等级高于所述环境噪声阈值可以包括所述环境噪声等级高于所述第二噪声临界值。所述环境噪声等级低于所述环境噪声阈值可以包括所述环境噪声等级低于所述第一噪声临界值。所述信噪比阈值可以在第一信噪比临界值和第二信噪比临界值所处的范围内。所述第一信噪比临界值小于第二信噪比临界值。所述信噪比高于所述信噪比阈值可以包括所述信噪比高于所述第二信噪比临界值。所述信噪比低于所述信噪比阈值可以包括所述信噪比低于所述第一信噪比临界值。
所述方法P200可以包括通过至少一个处理器220执行：
S240：通过所述目标音频处理模式处理所述麦克风信号生成目标音频，来至少降低所述麦克风信号中的回声。具体地，步骤S240可以包括以下情况中的一种：
S242：确定所述控制信号为所述第一控制信号，选择所述第一模式1，对所述第一音频信号243和第二音频信号245进行信号处理，生成第一目标音频291。具体地，步骤S242可以与步骤S142一致，在此不再赘述。
S244：确定所述控制信号为所述第二控制信号，选择所述第二模式2，对所述第二音频信号245进行回声抑制，生成第二目标音频292。具体地，步骤S244可以与步骤S144一致，在此不再赘述。
S260：输出所述目标音频。具体地，步骤S260可以与步骤S160一致，在此不再赘述。
所述方法P200还可以包括：
S280：基于所述控制信号，控制所述扬声器280的所述扬声器输入信号的强度。具体地，步骤S280可以与步骤S180一致，在此不再赘述。
表2示出了图6对应的目标音频处理模式结果图。如表2所示，为了方便对照，我们将场景分为8个场景，分别是第一种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较小；第二种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较小；第三种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较小；以及第四种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较小；第五种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较大；第六种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较大；第七种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较大；以及第八种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较大。其中，近端 声音信号是否大于阈值可以通过控制模块231根据所述麦克风信号进行判断。近端声音信号大于阈值可以是用户002发出的音频信号强度超过预设的阈值。所述8个场景对应的目标音频处理模式分别是第五种和第六种对应第一模式1；第三种、第四种、第七种和第八种对应第二模式2；其余场景对应第一模式1或第二模式2。
Figure PCTCN2020140215-APPB-000002
所述方法P200不仅可以根据扬声器信号控制电子设备200的所述目标音频处理模式，还可以根据近端的环境噪声信号控制所述目标音频处理模式，从而保证在不同场景下，电子设备200输出的语音信号的语音质量都是最佳的，以保证通话质量。
在一些实施例中，所述目标音频处理模式的选择不仅与所述扬声器信号的回声以及环境噪声有关，还可以与用户002说话时的语音信号有关。所述环境噪声信号可以通过所述麦克风信号中的环境噪声等级和信噪比中的至少一个进行评价。用户002说话时的语音信号可以通过所述麦克风信号中的人声信号强度进行评价。所述人声信号强度可以是通过噪声估计算法得到的人声信号强度，所述人声信号强度也可以是经过降噪处理后得到的音频信号的强度。
图7示出了根据本说明书的实施例提供的一种用于抑制回声的音频信号处理方法P300的流程图。所述方法P300为***100根据所述扬声器信号的信号强度以及所述麦克风信号选择电子设备200的目标音频处理模式的方法流程图。具体地，所述方法P300为***100根据所述扬声器信号、所述麦克风信号中的人声信号强度以及环境噪声等级和信噪比的至少一个选择所述目标音频处理模式的方法流程图。所述方法P300可以包括通过至少一个处理器220执行：
S320：至少基于所述扬声器信号从第一模式1和第二模式2中选择电子设备200的目标音频处理模式。具体地，步骤S320可以包括：
S322：至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号。所述控制信号包括第一控制信号或第二控制信号。步骤S320可以是电子设备200基于所述扬声器信号的强度、所述麦克风信号中的噪声以及所述麦克风信号中的人声信号强度，生成对应的控制信号。具体地，步骤S322可以包括：
S322-2：获取所述扬声器信号和所述麦克风信号的评价参数。其中，所述评价参数可以包括所述麦克风信号中的环境噪声评价参数，还可以包括所述麦克风信号中的人声信号强度。所述环境噪声评价参数可以包括环境噪声等级以及信噪比中的至少一个。电子设备200可以通过控制模块231获取所述麦克风信号中的环境噪声评价参数以及人声信号强度。具体地，电子设备200可以根据第一音频信号243和第二音频信号245中的至少一个获取所述评价参数。电子设备200可以通过噪声估计算法获取所述人声信号以及所述环境噪声等级和所述信噪比，本说明书在此不再赘述。
S322-4：基于所述扬声器信号的强度以及所述评价参数，生成所述控制信号。具体地，电子设备200可以将所述扬声器信号的强度与预设的扬声器阈值进行对比，将所述环境噪声评价参数与预设的噪声评价范围进行对比，以及将所述人声信号强度与预设的人声阈值进行对比，并根据对比结果生成所述控制信号。步骤S322-4可以包括以下情况中的一种：
S322-5：确定所述扬声器信号的强度高于预设的扬声器阈值，且所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于预设的噪声评价范围之外，生成所述第一控制信号；
S322-6：确定所述扬声器信号的强度高于所述扬声器阈值，且所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于所述噪声评价范围之内，生成所述第二控制信号；
S322-7：确定所述扬声器信号的强度高于所述扬声器阈值，且所述人声信号强度低于所述人声阈值，生成所述第二控制信号；
S322-8：确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围之外，生成所述第一控制信号；
S322-9：确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围内，生成所述第一控制信号或所述第二控制信号。
所述环境噪声评价参数处于所述噪声评价范围内可以包括所述环境噪声等级低于预设环境噪声阈值，以及所述信噪比高于预设信噪比阈值中的至少一种。此时的环境噪声较小。所述环境噪声评价参数处于所述噪声评价范围外可以包括所述环境噪声等级高于预设环境噪声阈值，以及所述信噪比低于预设信噪比 阈值中的至少一种。此时的环境噪声较大。其中，当所述环境噪声评价参数处于所述噪声评价范围外时，即大噪声环境下，所述第一目标音频291的语音质量优于所述第二目标音频292。当所述环境噪声评价参数处于所述噪声评价范围内时，所述第一目标音频291的语音质量与所述第二目标音频292的语音质量相差不大。所述扬声器阈值、所述环境噪声阈值以及所述信噪比阈值如前所述，在此不在赘述。
其中，所述人声信号强度超过所述人声阈值说明用户002正在说话。此时，为了保证用户002的语音质量，电子设备200可以生成所述第一控制信号，并降低所述扬声器信号以保证所述第一目标音频292的语音质量。
所述扬声器阈值、所述环境噪声阈值、所述信噪比阈值以及所述人声阈值可以预先存储在电子设备200中。
步骤S320还可以包括：
S324：基于所述控制信号，选择与所述控制信号对应的所述目标音频处理模式。其中，所述第一控制信号与所述第一模式1对应。所述第二控制信号与所述第二模式2对应。当所述控制信号为所述第一控制信号时，选择第一模式1；当所述控制信号为所述第二控制信号时，选择第二模式2。
当所述扬声器信号的强度高于所述扬声器阈值且所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于预设的噪声评价范围之外时，证明此时用户002正在说话，并且回声很大，噪声也较大。为了保证用户002的语音质量以及可懂度，电子设备200可降低甚至关闭输入至扬声器280的扬声器输入信号，以降低所述麦克风信号中的回声，保证目标音频的语音质量。此时，第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245 进行信号处理得到的所述第一目标音频291的语音质量较第二模式2中的第二算法233-8对第二音频信号245进行信号处理得到的第二目标音频292更好。因此，当所述扬声器信号的强度高于所述扬声器阈值且所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于预设的噪声评价范围之外时，电子设备200生成与第一模式1对应的所述第一控制信号。在这种情况下，电子设备200可以保证近端用户002的语音质量的可懂度。虽然扬声器输入信号有一部分缺失，但电子设备200能保留扬声器输入信号的大部分语音质量和可懂度，从而提升双方的语音通信质量。
当所述扬声器信号的强度高于所述扬声器阈值且所述人声信号强度低于所述人声阈值或者所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于预设的噪声评价范围之内时，证明此时用户002没有说话，或者用户002正在说话但噪音较小。此时，第一模式1中的第一算法233-1对所述第一音频信号243和第二音频信号245进行信号处理得到的所述第一目标音频291的语音质量较第二模式2中的第二算法233-8对第二音频信号245进行信号处理得到的第二目标音频292更差。因此，当所述扬声器信号的强度高于所述扬声器阈值且所述人声信号强度低于所述人声阈值或者所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于预设的噪声评价范围之内时，电子设备200生成与第二模式2对应的所述第二控制信号。
步骤S322-4中的其他情况与步骤S222-4基本一致，在此不再赘述。
所述控制信号由控制模块231生成。具体地，电子设备200可以实时监测所述扬声器信号的强度以及所述评价参数，并与所述扬声器阈值、所述噪声评价范围以及所述人声阈值进行对比。电子设备200也可以定时检测所述扬声器 信号的强度以及所述评价参数，并与所述扬声器阈值、所述噪声评价范围以及所述人声阈值进行对比。电子设备200还可以在监测到所述扬声器信号的强度或所述评价参数发生明显变化，且变化值超过预设范围时，再将所述扬声器信号以及所述评价参数与所述扬声器阈值、所述噪声评价范围以及所述人声阈值进行对比。
所述方法P300可以包括通过至少一个处理器220执行：
S340：通过所述目标音频处理模式处理所述麦克风信号生成所述目标音频，来至少降低所述麦克风信号中的回声。具体地，步骤S340可以包括以下情况中的一种：
S342：确定所述控制信号为所述第一控制信号，选择所述第一模式1，对所述第一音频信号243和第二音频信号245进行信号处理，生成第一目标音频291。具体地，步骤S342可以与步骤S142一致，在此不再赘述。
S344：确定所述控制信号为所述第二控制信号，选择所述第二模式2，对所述第二音频信号245进行信号处理，生成第二目标音频292。具体地，步骤S344可以与步骤S144一致，在此不再赘述。
所述方法P300可以包括通过至少一个处理器220执行：
S360：输出所述目标音频。具体地，步骤S360可以与步骤S160一致，在此不再赘述。
所述方法P300还可以包括：
S380：基于所述控制信号，控制所述扬声器280的所述扬声器输入信号的强度。具体地，步骤S380可以与步骤S180一致，在此不再赘述。
表3示出了图7对应的目标音频处理模式结果图。如表3所示，为了方便 对照，我们将场景分为8个场景，分别是第一种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较小；第二种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较小；第三种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较小；以及第四种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较小；第五种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较大；第六种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号不超过所述扬声器阈值，且环境噪声较大；第七种：近端声音信号小于阈值(比如用户002不发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较大；以及第八种：近端声音信号大于阈值(比如用户002发出声音)，所述扬声器信号超过所述扬声器阈值，且环境噪声较大。其中，近端声音信号是否大于阈值可以通过控制模块231根据所述麦克风信号进行判断。近端声音信号大于阈值可以是用户002发出的音频信号强度超过预设的阈值。所述8个场景对应的目标音频处理模式分别是第五种、第六种和第八种对应第一模式1；第三种、第四种和第七种对应第二模式2；其余场景对应第一模式1或第二模式2。
Figure PCTCN2020140215-APPB-000003
Figure PCTCN2020140215-APPB-000004
需要说明的是，方法P200和方法P300适用于不同应用场景。当扬声器信号比近端语音质量重要的场景下，为了保证扬声器信号的质量以及扬声器信号的可懂度可以选择方法P200。当近端语音质量比扬声器信号重要的场景下，为了保证近端语音的语音质量和可懂度可以选择方法P300。
综上所述，***100、所述方法P100、所述方法P200以及所述方法P300可以针对不同的场景，根据扬声器信号控制电子设备200的目标音频处理模式，从而控制电子设备200的音源信号，使得目标音频在任何场景下的语音质量都是最优的，从而提升语音通信的质量。
需要说明的是，环境噪声的信号强度在各个频率下是不同的。在不同频率下，所述第一目标音频291和所述第二目标音频292的语音质量也是不同的。比如，在第一频率下，所述第一音频信号243和第二音频信号245经过第一算法233-1做信号处理后得到的所述第一目标音频291的语音质量好于所述第二音频信号245经过第二算法233-8做信号处理后得到的第二目标音频292的语音质量。而在除所述第一频率外的其他频率下，所述第一音频信号243和第二音频信号245经过第一算法233-1做信号处理后得到的所述第一目标音频291的语音质量与所述第二音频信号245经过第二算法233-8做信号处理后得到的第二目标音频292的语音质量相近。这时，电子设备200还可以根据所述环境噪声的频率生成所述控制信号。在所述第一频率下生成所述第一控制信号，在除所述第一频率外的其他频率下生成所述第二控制信号。
当所述环境噪声是低频噪声时(比如地铁、公交等一些情况)，这时可能出现第一音频信号243和第二音频信号245在第一算法233-1的信号处理下得到的第一目标音频291在低频处的语音信号质量较差，即第一目标音频291在低频时的语音可懂度较差，而在高频时的语音可懂度较高。这时，电子设备200可以根据所述环境噪声的频率控制目标音频处理模式的选择。比如，在低频范围内，电子设备200可以选择所述方法P300控制所述目标音频处理模式，以保证近端用户002的语音被拾取，从而保证近端语音质量；在高频范围内，电子设备200可以选择所述方法P200控制所述目标音频处理模式，以保证近端用户002可以听到所述扬声器信号。
本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来基于的音源信号控制的可执行指令，当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的用于抑制回声的音频信号处理方法的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在电子设备200上运行时，所述程序代码用于使电子设备200执行本说明书描述的基于的音源信号控制的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码，并可以在电子设备200上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***(例如处理器220)使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。 可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在电子设备200上执行、部分地在电子设备200上执行、作为一个独立的软件包执行、部分在电子设备200上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。
综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述 详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。
此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在 与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。
最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (17)

  1. 一种用于抑制回声的音频信号处理方法，其特征在于，包括：
    至少基于扬声器信号从多个音频处理模式中选择电子设备的目标音频处理模式，所述扬声器信号为控制设备发送给所述电子设备的音频信号；
    通过所述目标音频处理模式处理麦克风信号生成目标音频，来至少降低所述目标音频中的回声，所述麦克风信号为所述电子设备获取的麦克风模组的输出信号，所述麦克风模组包括至少一个第一类麦克风和至少一个第二类麦克风；以及
    输出所述目标音频信号。
  2. 如权利要求1所述的音频信号处理方法，其特征在于，
    所述至少一个第一类麦克风输出第一音频信号；以及
    所述至少一个第二类麦克风输出第二音频信号，
    其中，所述麦克风信号包括所述第一音频信号和所述第二音频信号。
  3. 如权利要求2所述的音频信号处理方法，其特征在于，
    所述至少一个第一类麦克风用于采集人体振动信号；以及
    所述至少一个第二类麦克风用于采集空气振动信号。
  4. 如权利要求2所述的音频信号处理方法，其特征在于，所述多个音频处理模式至少包括：
    第一模式，对所述第一音频信号和所述第二音频信号进行信号处理；以及
    第二模式，对所述第二音频信号进行信号处理。
  5. 如权利要求4所述的音频信号处理方法，其特征在于，所述至少基于扬声器信号从多个音频处理模式中选择电子设备的目标音频处理模式，包括：
    至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号，所述控制信号包括第一控制信号或第二控制信号；以及
    基于所述控制信号，选择与所述控制信号对应的目标音频处理模式，其中，所述第一模式与所述第一控制信号对应，所述第二模式与所述第二控制信号对应。
  6. 如权利要求5所述的音频信号处理方法，其特征在于，所述至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号，包括：
    确定所述扬声器信号的强度低于预设的扬声器阈值，生成所述第一控制信号；或者
    确定所述扬声器信号的强度高于所述扬声器阈值，生成所述第二控制信号。
  7. 如权利要求5所述的音频信号处理方法，其特征在于，所述至少基于所述扬声器信号的强度，生成与所述扬声器信号对应的控制信号，包括：
    基于所述扬声器信号的强度以及所述麦克风信号，生成对应的控制信号。
  8. 如权利要求7所述的音频信号处理方法，其特征在于，所述基于所述扬声器信号的强度以及所述麦克风信号，生成对应的控制信号，包括：
    获取所述麦克风信号的评价参数，所述评价参数包括环境噪声评价参数，所述环境噪声评价参数包括环境噪声等级以及信噪比中的至少一个；以及
    基于所述扬声器信号的强度以及所述评价参数，生成所述控制信号。
  9. 如权利要求8所述的音频信号处理方法，其特征在于，所述基于所述扬声器信号的强度以及所述评价参数，生成所述控制信号，包括以下情况中的一种：
    确定所述扬声器信号的强度高于预设的扬声器阈值，生成所述第二控制信号；
    确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于预设的噪声评价范围外，生成所述第一控制信号；以及
    确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围内，生成所述第一控制信号或所述第二控制信号。
  10. 如权利要求9所述的音频信号处理方法，其特征在于，所述环境噪声评价参数处于所述噪声评价范围内，包括以下情况中的至少一种：
    所述环境噪声等级低于预设环境噪声阈值；以及
    所述信噪比高于预设信噪比阈值。
  11. 如权利要求8所述的音频信号处理方法，其特征在于，所述评价参数还包括人声信号强度，所述基于所述扬声器信号的强度以及所述评价参数，生成所述控制信号，包括以下情况中的一种：
    确定所述扬声器信号的强度高于预设的扬声器阈值，且所述人声信号强度超过预设人声阈值，所述环境噪声评价参数处于预设的噪声评价范围之外，生成所述第一控制信号；
    确定所述扬声器信号的强度高于所述扬声器阈值，且所述人声信号强度超过所述人声阈值，所述环境噪声评价参数处于所述噪声评价范围之内，生成所述第二控制信号；
    确定所述扬声器信号的强度高于所述扬声器阈值，且所述人声信号强度低于所述人声阈值，生成所述第二控制信号；
    确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围之外，生成所述第一控制信号；以及
    确定所述扬声器信号的强度低于所述扬声器阈值，且所述环境噪声评价参数处于所述噪声评价范围内，生成所述第一控制信号或所述第二控制信号。
  12. 如权利要求11所述的音频信号处理方法，其特征在于，所述环境噪声评价参数处于所述噪声评价范围内，包括以下情况中的至少一种：
    所述环境噪声等级低于预设环境噪声阈值；以及
    所述信噪比高于预设信噪比阈值。
  13. 如权利要求5所述的音频信号处理方法，其特征在于，所述生成目标音频，包括：
    通过所述第一模式中的第一算法，对所述第一音频信号和所述第二音频信号进行信号处理，生成第一目标音频；或者
    通过所述第二模式中的第二算法，对所述第二音频信号进行信号处理，生成第二目标音频，
    其中，所述目标音频包括所述第一目标音频和所述第二目标音频中的一个。
  14. 如权利要求13所述的音频信号处理方法，其特征在于，所述输出所述目标音频，包括：
    对所述目标音频做平滑处理，当所述目标音频在所述第一目标音频和所述第二目标音频之间切换时，对所述第一目标音频和所述第二目标音频的连接处进行所述平滑处理；以及
    输出经过所述平滑处理的所述目标音频。
  15. 如权利要求5所述的音频信号处理方法，其特征在于，所述方法还包括：
    基于所述控制信号，控制所述扬声器的扬声器输入信号的强度。
  16. 如权利要求15所述的音频信号处理方法，其特征在于，所述基于所述控制信号，控制所述扬声器的扬声器输入信号的强度，包括：
    确定所述控制信号为所述第一控制信号，降低输入所述扬声器的所述扬声器输入信号的强度，从而降低所述扬声器输出的声音的强度。
  17. 一种用于抑制回声的音频信号处理的***，其特征在于，包括：
    至少一个存储介质，存储有至少一个指令集，用于抑制回声的音频信号处理；以及
    至少一个处理器，同所述至少一个存储介质通信连接，
    其中，当所述***运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1-16中任一项所述的用于抑制回声的音频信号处理的方法。
CN202080104434.XA 2020-12-28 2020-12-28 用于抑制回声的音频信号处理方法和*** Pending CN116158090A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/140215 WO2022140928A1 (zh) 2020-12-28 2020-12-28 用于抑制回声的音频信号处理方法和***

Publications (2)

Publication Number Publication Date
CN116158090A true CN116158090A (zh) 2023-05-23
CN116158090A8 CN116158090A8 (zh) 2024-05-24

Family

ID=82117732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080104434.XA Pending CN116158090A (zh) 2020-12-28 2020-12-28 用于抑制回声的音频信号处理方法和***

Country Status (6)

Country Link
US (1) US12067999B2 (zh)
EP (1) EP4270987A1 (zh)
JP (1) JP2023551556A (zh)
KR (1) KR20230098282A (zh)
CN (1) CN116158090A (zh)
WO (1) WO2022140928A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421580B (zh) * 2021-08-23 2021-11-05 深圳市中科蓝讯科技股份有限公司 降噪方法、存储介质、芯片及电子设备
WO2024092453A1 (zh) * 2022-10-31 2024-05-10 北京小米移动软件有限公司 一种风噪测量方法/装置/设备及存储介质
CN116221160B (zh) * 2023-01-06 2024-07-30 歌尔股份有限公司 风扇噪声调整方法、装置、头戴显示设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171003B1 (en) * 2000-10-19 2007-01-30 Lear Corporation Robust and reliable acoustic echo and noise cancellation system for cabin communication
EP1715669A1 (en) * 2005-04-19 2006-10-25 Ecole Polytechnique Federale De Lausanne (Epfl) A method for removing echo in an audio signal
US9711127B2 (en) * 2011-09-19 2017-07-18 Bitwave Pte Ltd. Multi-sensor signal optimization for speech communication
CN107078403B (zh) * 2014-10-20 2021-12-10 株式会社村田制作所 无线通信模块
US11418874B2 (en) * 2015-02-27 2022-08-16 Harman International Industries, Inc. Techniques for sharing stereo sound between multiple users
US10187504B1 (en) * 2016-09-23 2019-01-22 Apple Inc. Echo control based on state of a device
CN106686496B (zh) * 2016-12-27 2020-04-28 广东小天才科技有限公司 一种可穿戴设备的播放模式控制方法及可穿戴设备
CN107889007B (zh) * 2017-10-27 2020-02-18 恒玄科技(上海)股份有限公司 消除降噪通路对播放声音影响的主动降噪方法及***
CN110110616A (zh) * 2019-04-19 2019-08-09 出门问问信息科技有限公司 一种电子设备及控制方法

Also Published As

Publication number Publication date
CN116158090A8 (zh) 2024-05-24
WO2022140928A1 (zh) 2022-07-07
JP2023551556A (ja) 2023-12-08
US12067999B2 (en) 2024-08-20
KR20230098282A (ko) 2023-07-03
EP4270987A1 (en) 2023-11-01
US20220208207A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US9922663B2 (en) Voice signal processing method and apparatus
CN110970057B (zh) 一种声音处理方法、装置与设备
CN116158090A (zh) 用于抑制回声的音频信号处理方法和***
JP5499633B2 (ja) 再生装置、ヘッドホン及び再生方法
US12014716B2 (en) Method for reducing occlusion effect of earphone, and related apparatus
US9392353B2 (en) Headset interview mode
KR20180004950A (ko) 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN114466301A (zh) 头戴式受话器耳上状态检测
US9741334B2 (en) Active noise cancellation in audio output device
CN107910015A (zh) 一种终端设备降噪方法及终端设备
CN113228710A (zh) 听力装置中的声源分离及相关方法
US10388301B2 (en) Method for processing audio signal and electronic device for supporting the same
US20230215453A1 (en) Electronic device for controlling beamforming and operating method thereof
CN115499744A (zh) 耳机降噪方法及装置、计算机可读存储介质及耳机
CN111083250A (zh) 移动终端及其降噪方法
CN114697785A (zh) 用于抑制回声的音频信号处理方法和***
CN114694668A (zh) 生成音频的方法和***
EP4401423A1 (en) Electronic device for controlling ambient sound on basis of audio scene, and operating method thereof
WO2022141364A1 (zh) 生成音频的方法和***
US10243613B1 (en) Talker feedback system
CN109462785B (zh) 一种音频处理的方法及送受话器
KR20230052783A (ko) 오디오 장면에 기초하여 주변 사운드를 제어하는 전자 장치 및 그 동작방법
KR20220017080A (ko) 음성 신호를 처리하는 방법 및 이를 이용한 장치
CN117203979A (zh) 信息处理装置、信息处理方法和程序
CN117809667A (zh) 语音通话方法、***、可穿戴装置和电池仓

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CI02 Correction of invention patent application
CI02 Correction of invention patent application

Correction item: PCT international application to national stage day

Correct: 2023.02.01

False: 2023.01.30

Number: 21-01

Page: The title page

Volume: 39

Correction item: PCT international application to national stage day

Correct: 2023.02.01

False: 2023.01.30

Number: 21-01

Volume: 39