CN111199748A - 回声消除方法、装置、设备以及存储介质 - Google Patents

回声消除方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111199748A
CN111199748A CN202010171518.7A CN202010171518A CN111199748A CN 111199748 A CN111199748 A CN 111199748A CN 202010171518 A CN202010171518 A CN 202010171518A CN 111199748 A CN111199748 A CN 111199748A
Authority
CN
China
Prior art keywords
domain signal
frequency domain
determining
residual
echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010171518.7A
Other languages
English (en)
Other versions
CN111199748B (zh
Inventor
叶顺舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziguang Zhanrui (chongqing) Technology Co Ltd
Original Assignee
Ziguang Zhanrui (chongqing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziguang Zhanrui (chongqing) Technology Co Ltd filed Critical Ziguang Zhanrui (chongqing) Technology Co Ltd
Priority to CN202010171518.7A priority Critical patent/CN111199748B/zh
Publication of CN111199748A publication Critical patent/CN111199748A/zh
Application granted granted Critical
Publication of CN111199748B publication Critical patent/CN111199748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本申请实施例公开了一种回声消除方法、装置、设备以及存储介质，该方法包括：确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在第一时刻的第一系数和远端频域信号确定出回声估计频域信号；根据回声估计频域信号对第一时刻的近端声音信号进行回声消除得到残留频域信号；确定第一调整因子；确定控制因子；根据控制因子和第一调整因子更新第一系数，得到自适应滤波器在第二时刻的第二系数，以根据第二系数对第二时刻的近端声音信号进行回声消除，第二时刻为第一时刻的下一时刻；根据滤波状态和残留频域信号输出回声消除信号。采用本申请实施例，可提升自适应滤波器稳健性与鲁棒性，提升回声消除信号输出的准确性。

Description

回声消除方法、装置、设备以及存储介质
技术领域
本申请涉及通信领域，尤其涉及一种回声消除方法、装置、设备以及存储介质。
背景技术
在现代多媒体通信***中，无论在语音通信领域或者是人机交互领域，为提高通信质量，必须对收集到的声音信号中的回声进行消除或抑制。但是，传统的回声消除方法往往完全依赖于回声声场状态(双讲、回声路径变化等)的精确检测。由于在自适应滤波器(Adaptive Filter，AF)本身无稳健性保障措施的情况，其输出的参数特征并不具备准确性，因此最终导致自适应滤波器系数存在较大的失调风险，鲁棒性不能得到可靠保证。与此同时，在采用多滤波器的回声消除方法中，往往计算量较大，复杂度高，容易导致回声消除不准确。
因此，如何在回声消除的过程中，降低回声消除的低复杂度，提高自适应滤波器的稳健行和鲁棒性成为亟需解决的问题。
发明内容
本申请实施例提供一种回声消除方法、装置、设备以及存储介质，可提升自适应滤波器稳健性与鲁棒性，提升回声消除信号输出的准确性。
第一方面，本申请实施例提供一种回声消除方法，该方法包括：
确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在上述第一时刻的第一系数和上述远端频域信号确定出回声估计频域信号；
根据上述回声估计频域信号对上述第一时刻的近端声音信号进行回声消除得到残留频域信号；
确定第一调整因子，上述第一调整因子由上述残留频域信号、上述回声估计频域信号和上述远端频域信号确定；
确定控制因子，上述控制因子由上述自适应滤波器在上述第一时刻的滤波状态和/或收敛度确定；
根据上述控制因子和上述第一调整因子更新上述第一系数，得到上述自适应滤波器在第二时刻的第二系数，以根据上述第二系数对上述第二时刻的近端声音信号进行回声消除，上述第二时刻为上述第一时刻的下一时刻；
根据上述滤波状态和上述残留频域信号输出回声消除信号。
在一种可能的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述根据上述回声估计频域信号对上述第一时刻的近端声音信号进行回声消除得到残留频域信号包括：
确定上述近端时域信号对应的近端频域信号；
将上述近端频域信号与上述回声估计频域信号相减得到残留频域信号。
在一种可能的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述根据上述回声估计频域信号对上述第一时刻的近端声音信号进行回声消除得到残留频域信号包括：
确定上述回声估计频域信号对应的回声估计时域信号；
将上述近端时域信号与上述回声估计时域信号相减得到残留时域信号；
确定上述残留时域信号对应的残留频域信号。
在一种可能的实施方式中，上述方法还包括：
确定上述近端时域信号对应的近端频域信号；
确定上述残留频域信号与上述远端频域信号的第一相关值，确定上述近端频域信号与上述远端频域信号的第二相关值；
当上述第一相关值大于上述第二相关值，或者上述残留频域信号的幅度大于上述近端频域信号的幅度时，确定上述自适应滤波器为失调状态，否则，确定上述自适应滤波器为稳健状态。
在一种可能的实施方式中，上述方法还包括：
确定上述第一系数相对上述自适应老滤波器在第三时刻的第三系数的更新程度，上述第三时刻为上述第一时刻的上一时刻；
当上述更新程度小于更新程度判决门限时，确定上述自适应滤波器的收敛度为高收敛度，当上述更新程度大于或者等于上述更新程度判决门限时，确定上述自适应滤波器的收敛度为低收敛度。
在一种可能的实施方式中，上述确定控制因子包括：
当上述自适应滤波器为低收敛度和稳健状态时，确定出第一控制因子；
当上述自适应滤波器为低收敛度和失调状态时，确定出第二控制因子；
当上述自适应滤波器为高收敛度时，确定出第三控制因子。
在一种可能的实施方式中，上述确定第一调整因子包括：
根据上述残留频域信号、上述远端频域信号以及上述回声估计频域信号确定出残留回波比；
根据上述残留频域信号、上述远端频域信号和上述残留回波比确定出第一调整因子。
在一种可能的实施方式中，上述根据上述残留频域信号、上述远端频域信号以及上述回声估计频域信号确定出残留回波比包括：
确定上述残留频域信号与上述回声估计频域信号的互相关值，确定上述回声估计频域信号的自相关值和回声估计频域信号功率；
根据上述互相关值、上述自相关值与上述回声估计频域信号功率确定出残留回声功率；
确定上述残留频域信号的残留频域信号功率，根据上述残留频域信号功率和上述残留回声功率确定出残留回波比。
在一种可能的实施方式中，上述根据上述残留频域信号、上述远端频域信号和上述残留回波比确定出第一调整因子包括：
对上述残留频域信号功率进行平滑处理得到残留信号平滑功率；
确定上述远端频域信号的分块功率求和，对上述分块功率求和进行平滑处理得到远端信号平滑功率；
根据上述残留信号平滑功率、上述远端信号平滑功率以及上述残留回波比确定出第一调整因子。
在一种可能的实施方式中，上述根据上述控制因子和上述第一调整因子更新上述第一系数，得到上述自适应滤波器在第二时刻的第二系数包括：
根据上述控制因子和上述第一调整因子确定出第二调整因子；
根据上述残留频域信号确定上述自适应滤波器的更新步长，根据上述第二调整因子和上述更新步长确定出上述自适应滤波器在上述第二时刻的第二系数。
在一种可能的实施方式中，上述根据上述滤波状态和上述残留频域信号输出回声消除信号包括：
当上述滤波状态为稳健状态时，确定上述残留频域信号对应的残留时域信号并输出上述残留时域信号；
当上述滤波状态为失调状态时，输出上述近端时域信号。
第二方面，本申请实施例提供了一种回声消除装置，该装置包括：
第一确定模块，用于确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在上述第一时刻的第一系数和上述远端频域信号确定出回声估计频域信号；
第一处理模块，用于根据上述回声估计频域信号对上述第一时刻的近端声音信号进行回声消除得到残留频域信号；
第二确定模块，用于确定第一调整因子，上述第一调整因子由上述残留频域信号、上述回声估计频域信号和上述远端频域信号确定；
第三确定模块，用于确定控制因子，上述控制因子由上述自适应滤波器在上述第一时刻的滤波状态和/或收敛度确定；
更新模块，用于根据上述控制因子和上述第一调整因子更新上述第一系数，得到上述自适应滤波器在第二时刻的第二系数，以根据上述第二系数对上述第二时刻的近端声音信号进行回声消除，上述第二时刻为上述第一时刻的下一时刻；
输出模块，用于根据上述滤波状态和上述残留频域信号输出回声消除信号。
在一种可能的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述第一处理模块包括：
第一确定单元，用于确定上述近端时域信号对应的近端频域信号；
第一处理单元，用于将上述近端频域信号与上述回声估计频域信号相减得到残留频域信号。
在一种可能的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述第一处理模块包括：
第二确定单元，用于确定上述回声估计频域信号对应的回声估计时域信号；
第二处理单元，用于将上述近端时域信号与上述回声估计时域信号相减得到残留时域信号；
第三确定单元，用于确定上述残留时域信号对应的残留频域信号。
在一种可能的实施方式中，上述装置还包括第二处理模块，上述第二处理模块还包括：
第四确定单元，还用于确定上述近端时域信号对应的近端频域信号；
第五确定单元，还用于确定上述残留频域信号与上述远端频域信号的第一相关值，确定上述近端频域信号与上述远端频域信号的第二相关值；
第六确定单元，还用于当上述第一相关值大于上述第二相关值，或者上述残留频域信号的幅度大于上述近端频域信号的幅度时，确定上述自适应滤波器为失调状态，否则，确定上述自适应滤波器为稳健状态。
在一种可能的实施方式中，上述装置还包括第三处理模块，上述第三处理模块还包括：
第七确定单元，还用于确定上述第一系数相对上述自适应老滤波器在第三时刻的第三系数的更新程度，上述第三时刻为上述第一时刻的上一时刻；
第八确定单元，还用于当上述更新程度小于更新程度判决门限时，确定上述自适应滤波器的收敛度为高收敛度，当上述更新程度大于或者等于上述更新程度判决门限时，确定上述自适应滤波器的收敛度为低收敛度。
在一种可能的实施方式中，上述第三确定模块包括：
第三处理单元，用于当上述自适应滤波器为低收敛度和稳健状态时，确定出第一控制因子；
第四处理单元，用于当上述自适应滤波器为低收敛度和失调状态时，确定出第二控制因子；
第五处理单元，用于当上述自适应滤波器为高收敛度时，确定出第三控制因子。
在一种可能的实施方式中，上述第二确定模块包括：
第六处理单元，用于根据上述残留频域信号、上述远端频域信号以及上述回声估计频域信号确定出残留回波比；
第七处理单元，用于根据上述残留频域信号、上述远端频域信号和上述残留回波比确定出第一调整因子。
在一种可能的实施方式中，上述第六处理单元包括：
第一确定子单元，用于确定上述残留频域信号与上述回声估计频域信号的互相关值，确定上述回声估计频域信号的自相关值和回声估计频域信号功率；
第二确定子单元，用于根据上述互相关值、上述自相关值与上述回声估计频域信号功率确定出残留回声功率；
第三确定子单元，用于确定上述残留频域信号的残留频域信号功率，根据上述残留频域信号功率和上述残留回声功率确定出残留回波比。
在一种可能的实施方式中，上述第七处理单元包括：
第一处理子单元，用于对上述残留频域信号功率进行平滑处理得到残留信号平滑功率；
第二处理子单元，用于确定上述远端频域信号的分块功率求和，对上述分块功率求和进行平滑处理得到远端信号平滑功率；
第三处理子单元，用于根据上述残留信号平滑功率、上述远端信号平滑功率以及上述残留回波比确定出第一调整因子。
在一种可能的实施方式中，上述更新模块包括：
第九确定单元，用于根据上述控制因子和上述第一调整因子确定出第二调整因子；
第十确定单元，用于根据上述残留频域信号确定上述自适应滤波器的更新步长，根据上述第二调整因子和上述更新步长确定出上述自适应滤波器在上述第二时刻的第二系数。
在一种可能的实施方式中，上述输出模块包括：
第一输出单元，用于当上述滤波状态为稳健状态时，确定上述残留频域信号对应的残留时域信号并输出上述残留时域信号；
第二输出单元，用于当上述滤波状态为失调状态时，输出上述近端时域信号。
第三方面，本申请实施例提供了一种设备，该设备包括处理器和存储器，该处理器和存储器相互连接。该存储器用于存储支持该终端设备执行上述第一方面和/或第一方面任一种可能的实现方式提供的方法的计算机程序，该计算机程序包括程序指令，该处理器被配置用于调用上述程序指令，执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。
在本申请实施例中，通过自适应滤波器的滤波状态和收敛度确定控制因子，可进一步提升自适应滤波器的收敛速度与稳健性，可减少小概率的自适应滤波器失调现象产生的影响。其次，根据残留频域信号、回声估计频域信号和远端频域信号确定第一调整因子，可避免引入多滤波等带来的额外信号处理工作量，降低回声消除的复杂性，鲁棒性高。进一步地，通过第一调整因子和控制因子对自适应滤波器的系数进行更新，可实时调整自适应滤波器的更新速度，提升自适应滤波器的稳健性与鲁棒性。与此同时，通过滤波状态输出回声消除信号，可有效提升回声消除信号的输出准确性，适用性高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的回声时域特性示意图；
图2是本申请实施例提供的回程消除的方法流程图。；
图3是本申请实施例提供的确定残留频域信号的一场景示意图；
图4是本申请实施例提供的确定残留频域信号的另一场景示意图；
图5是本申请实施例提供的确定第一调整因子的方法的流程示意图；
图6是本申请实施例提供的确定第一调整因子的场景示意图；
图7是本申请实施例提供的确定第二调整因子的场景示意图；
图8是本申请实施例提供的回声消除方法的一场景示意图；
图9是本申请实施例提供的回声消除方法的另一场景示意图；
图10是本申请实施例提供的回声消除装置的结构示意图；
图11是本申请实施例提供的设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请可运用于实时语音通信、基于IP的语音传输(Voice over InternetProtocol，VOIP)以及人机交互等涉及回声消除的领域，具体可根据实际应用场景确定，在此不做限制。例如，在实时语音通信与VOIP过程中，通信终端扬声器发出的声音，总会被该终端的麦克风拾取到，若是不处理就发送出去，对方总能听到自己说话的声音，体验不佳，此时需要对麦克风拾取到的扬声器发出的声音进行消除以提高语音通信质量。再例如，在人机交互领域，由于交互终端发出的声音又被麦克风拾取回去，同时拾取了控制者的说话声。此时需要麦克风拾取信号中消除交互终端发出的声音，以减少交互终端在识别控制者说话声音时将引入很强的干扰，提高人机交互成功率。
请参见图1，图1是本申请实施例提供的回声时域特性示意图。在图1中，回声的产生共源自直达路径、前期反射与后期混响三种途径，其中直达路径能量最高；前期反射随时间推移呈线性衰减趋势，时间持续数十毫秒；后期混响能量较弱，很快衰减到噪声水平，持续百毫秒以上，并且直达路径、前期反射以及后期混响占据所有回声90％以上的主要能量。因此，在对回声进行消除的过程中主要对直达路径、前期反射以及后期混响进行消除。
参见图2，图2是本申请实施例提供的回程消除的方法流程图。图2所示的回声消除方法可包括如下步骤S201至S206。
S201、确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在第一时刻的第一系数和远端频域信号确定出回声估计频域信号。
在一些可行的实施方式中，近端声音信号d(n)(n为帧索引)为包含回声信号的待处理信号，如麦克风收集到的声音信号，交互终端收集到的信号等，具体可根据实际应用场景确定，在此不做限制。远端声音信号x(n)为产生回声信号的源信号，如扬声器发出的声音信号，交互终端发出的应答信号等，具体可根据实际应用场景确定，在此不做限制。因此，在当前时刻(为方面描述，以下简称第一时刻)接收到近端声音信号d(n)和远端声音信号x(n)后，可确定出远端声音信号x(n)的回声估计频域信号Yn(k)以对第一时刻的近端声音信号d(n)进行回声消除，以消除近端声音信号d(n)中的回声。
具体地，由于语音信号为时变信号，因此当远端声音信号x(n)为时域信号时，在确定远端声音信号x(n)对应的远端频域信号Xn(k)之前，可对远端声音信号x(n)进行分块处理(块长可根据实际应用场景确定，在此不做限制)，并进一步对分块后的远端声音信号x(n)进行短时傅里叶变换(short-time Fourier transform，STFT)处理得到远端频域信号Xn(k)，以确定远端声音信号x(n)在局部区域的正弦波的频率与相位，从而将远端声音信号x(n)转换到频域进行处理。其中，Xn(k)＝STFT[x(n)]，k为频率索引。
具体地，在确定出远端频域信号Xn(k)，可确定出第一时刻自适应滤波器的系数Wn(k)(为方便描述，以下简称第一系数)对远端频域信号Xn(k)进行频域滤波以对远端频域信号Xn(k)进行回声估计得到回声估计频域信号Yn(k)。其中，
Figure BDA0002409346550000091
j表示分块索引，Wn(k)为第一系数。
其中，上述自适应滤波器包括但不限于归一化最小均方自适应滤波器(Normalized Least Mean Square，NLMS)、最小均方自适应滤波器(Least Mean Square，LMS)、递归最小二乘(Recursive least squares，RLS)以及多块频域自适应滤波器(Themulti-delay block frequency-domain adaptive filter，DMF)多块的MDF及相关变形结构等，具体可根据实际应用场景确定，在此不做限制。
S202、根据回声估计频域信号对第一时刻的近端声音信号进行回声消除得到残留频域信号。
在一些可行的实施方式中，在确定出回声估计频域信号Yn(k)之后，可根据回声估计频域信号Yn(k)对第一时刻的近端声音信号d(n)进行回声消除得到残留频域信号En(k)。具体的，参见图3，图3是本申请实施例提供的确定残留频域信号的一场景示意图。在图3中，上述第一时刻的近端声音信号d(n)为近端时域信号d(n)，可先对近端时域信号d(n)进行分块处理得到分块后的近端时域信号d(n)，其中块长与对远端声音信号x(n)进行分块处理时所采用的块长一致。并对分块后的近端时域信号d(n)进行短时傅里叶变换处理得到近端频域信号Dn(k)，其中，Dn(k)＝STFT[d(n)]。进一步地，可将近端频域信号Dn(k)与回声估计频域信号Yn(k)相减得到残留频域信号En(k)：
Figure BDA0002409346550000092
可选地，参见图4，图4是本申请实施例提供的确定残留频域信号的另一场景示意图。在图4中，上述第一时刻的近端声音信号d(n)为近端时域信号d(n)，可先对回声估计频域信号Yn(k)进行短时傅里叶反变换(short-time FourierInverse transform，STIFT)处理得到回声估计时域信号y(n)，其中，y(n)＝STIFT[Yn(k)]。进一步地，将近端时域信号d(n)与回声估计时域信号y(n)相减，得到残留时域信号e(n)，其中，e(n)＝d(n)-y(n)＝d(n)-STIFT[Yn(k)]。最后，将残留时域信号e(n)进行短时傅里叶变换得到残留频域信号En(k)，其中，En(k)＝STFT[e(n)]。
S203、确定第一调整因子。
在一些可行的实施方式中，可根据残留频域信号En(k)、回声估计频域信号Yn(k)以及远端频域信号Xn(k)确定出用于对第一更新系数Wn(k)进行更新的调整因子Deltan(k)(为方便描述，以下简称第一调整因子)。其中，第一调整因子Deltan(k)由残留频域信号En(k)、回声估计频域信号Yn(k)和远端频域信号Xn(k)确定。参见图5，图5是本申请实施例提供的确定第一调整因子的方法的流程示意图。图5所示的确定第一调整因子的方法包括如下步骤S2031至S2032。请一并参见图6，图6是本申请实施例提供的确定第一调整因子的场景示意图，结合图6对图5所示的确定第一调整因子的方法进行说明。
S2031、根据残留频域信号、远端频域信号以及回声估计频域信号确定出残留回波比。
在一些可行的实施方式中，可先确定残留频域信号En(k)与回声估计频域信号Yn(k)的互相关值CEYn(k)，以及回声估计频域信号Yn(k)的自相关值CYYn(k)，其中，
Figure BDA0002409346550000101
进一步地，可确定回声估计频域信号Yn(k)的回声估计频域信号功率PYn(k)，其中，PYn(k)＝||Yn(k)||2，进而可根据残留频域信号En(k)与回声估计频域信号Yn(k)的互相关值CEYn(k)、回声估计频域信号Yn(k)的自相关值CYYn(k)以及回声估计频域信号功率PYn(k)确定出残留回声功率
Figure BDA0002409346550000102
其中，
Figure BDA0002409346550000103
此时，可根据残留频域信号En(k)的残留频域信号功率PEn(k)以及残留回声功率
Figure BDA0002409346550000104
确定出残留回波比Errn(k)，其中，
Figure BDA0002409346550000105
PEn(k)＝||En(k)||2。
S2032、根据残留频域信号、远端频域信号和残留回波比确定出第一调整因子。
在一些可行的实施方式中，在确定出残留回波比Errn(k)的同时，还可确定出远端频域信号Xn(k)对应的远端信号平滑功率PXSn(k)。具体地，由于远端频域信号Xn(k)是经过对远端声音信号x(n)进行分块并进行短时傅里叶变换后得到的，因此可先确定远端频域信号Xn(k)的分块功率求和PXn(k)。即对远端声音信号x(n)的每一块信号分别求功率后再求和，进而可对分块功率求和PXn(k)做平滑处理得到远端频域信号Xn(k)对应的远端信号平滑功率PXSn(k)，其中，
Figure BDA0002409346550000106
PXSn(k)＝(1-α)PXSn-1(k)+αPXn(k)，α为平滑系数。
另一方面，可同样对残留频域信号功率进行平滑处理，得到残留频域信号En(k)对应的残留信号平滑功率PESn(k)，其中，PESn(k)＝(1-α)PESn-1(k)+αPEn(k)。由于存在平滑系数α，因此残留信号平滑功率PESn(k)和远端信号平滑功率PXSn(k)在功率上升期间平滑系数α取值为αatk，在功率下降期间滑系数α取值为αrls，其中αatk大于αrls，并且αatk和αrls的具体取值可根据实际应用场景确定，在此不做限制。
进一步地，可根据远端信号平滑功率PXSn(k)、残留信号平滑功率PESn(k)以及残留回波比Errn(k)确定出第一调整因子Deltan(k)＝PESn(k)+[Errn(k)-1]PXSn(k)。根据第一调整因子Deltan(k)、自适应滤波器的更新步长μoptn(k)、残留频域信号En(k)、以及远端频域信号Xn(k)对自适应滤波器的第一系数Wn(k,j)进行更新。其中，
Figure BDA0002409346550000111
更新步长μoptn(k)的具体确定方式可参见步骤S205，在此不做说明。
S204、确定控制因子。
在一些可行的实施方式中，在确定出第一调整因子Deltan(k)之后，为进一步提升自适应滤波器的稳定性和鲁棒性，可确定出控制因子DltCtrln(k)，以根据控制因子DltCtrln(k)对第一调整因子Deltan(k)进行调整得到系数更新过程中更为准确的第二调整因子δn(k)。其中，控制因子DltCtrln(k)由自适应滤波器在第一时刻的滤波状态DivFlagn(k)和/或收敛度ConFlagn(k)确定。
具体地，在确定滤波状态DivFlagn(k)时，可确定残留频域信号En(k)与远端频域信号Xn(k)的相关值CEXn(k)(为方便描述，以下简称第一相关值)，第一相关值CEXn(k)表示残留频域信号En(k)与远端频域信号Xn(k)的相关性。另一方面，可确定近端频域信号Dn(k)与远端频域信号Xn(k)的相关值Dn(k)(为方便描述，以下简称第二相关值)，第二相关值Dn(k)表示近端频域信号Dn(k)与远端频域信号Xn(k)的相关性。
其中，
Figure BDA0002409346550000112
进一步地，可将近端时域信号d(n)、残留频域信号En(k)的幅度以及与远端频域信号Xn(k)的相关性变化作为滤波状态DivFlagn(k)检测的联合特征。其中：
Figure BDA0002409346550000113
当残留频域信号En(k)与远端频域信号Xn(k)的第一相关值大于近端频域信号Dn(k)与远端频域信号Xn(k)的第二相关值时，或者当残留频域信号En(k)的幅度大于近端频域信号Dn(k)的幅度时，滤波状态DivFlagn(k)的值取1，此时说明自适应滤波器为失调状态。
当残留频域信号En(k)与远端频域信号Xn(k)的第一相关值大于或者等于近端频域信号Dn(k)与远端频域信号Xn(k)的第二相关值时，并且当残留频域信号En(k)的幅度同时小于或者等于近端频域信号Dn(k)的幅度时，滤波状态DivFlagn(k)的值取0，此时说明自适应滤波器为稳健状态。其中，||En(k)||表示残留频域信号En(k)的幅度，||Dn(k)||表示近端频域信号Dn(k)的幅度。
具体地，在确定自适应滤波器的收敛度ConFlagn(k)时，可使用当前帧自适应滤波器的第一系数Wn(k)相对于前一帧自适应滤波器的第三系数Wn-1(k)的更新程度
Figure BDA0002409346550000121
作为收敛度ConFlagn(k)的判决依据，其中，ΔWn(k)＝Wn(k)-Wn-1(k)。由图1可知，由于回声路径具有稀疏特性，此时可使用主要能量区的自适应滤波器系数进行计算：
Figure BDA0002409346550000122
其中，UpdateThrd为更新程度判决门限，通常取值为0.1，具体可根据实际应用场景确定，在此不做限制。当更新程度
Figure BDA0002409346550000123
小于更新程度判决门限UpdateThrd时，收敛度ConFlagn(k)取值为1，说明自适应滤波器的收敛度ConFlagn(k)为高收敛度。当更新程度
Figure BDA0002409346550000124
大于或者等于更新程度判决门限UpdateThrd时，收敛度ConFlagn(k)取值为0，说明自适应滤波器的收敛度ConFlagn(k)为低收敛度。
具体地，可根据收敛度ConFlagn(k)和滤波状态DivFlagn(k)的具体状态确定控制因子DltCtrln(k)：
Figure BDA0002409346550000125
其中，当收敛度ConFlagn(k)取值为0，且滤波状态DivFlagn(k)取值为0时，说明自适应滤波器的收敛度ConFlagn(k)为低收敛度并且滤波状态DivFlagn(k)为稳健状态，此时控制因子DltCtrln(k)＝DltCtrlmin。当收敛度ConFlagn(k)取值为0，且滤波状态DivFlagn(k)取值为1时，说明自适应滤波器的收敛度ConFlagn(k)为低收敛度并且滤波状态DivFlagn(k)为失调状态，此时控制因子DltCtrln(k)＝DltCtrlmax。当收敛度ConFlagn(k)取值为1，且无论滤波状态DivFlagn(k)取值为何值时，说明自适应滤波器的收敛度ConFlagn(k)为高收敛度，无论滤波状态DivFlagn(k)是否为稳健状态，控制因子DltCtrln(k)＝1。
其中，DltCtrlmin为小于1的常数，具体可根据实际应用场景确定，在此不做限制，如DltCtrlmin取值0.1至0.5。DltCtrlmax为大于的常数，具体可根据实际应用场景确定，在此不做限制，如DltCtrlmax取值10至100。
可选地，还可根据收敛度ConFlagn(k)或者滤波状态DivFlagn(k)中的任意一种确定控制因子DltCtrln(k)。例如，当收敛度ConFlagn(k)取值为1，即自适应滤波器的收敛度ConFlagn(k)为高收敛度时，可确定控制因子DltCtrln(k)＝a1，当收敛度ConFlagn(k)取值为0，即自适应滤波器的收敛度ConFlagn(k)为低收敛度时，可确定控制因子DltCtrln(k)＝a2，其中a1和a2的具体取值可根据实际应用场景确定，在此不做限制。可选地，当滤波状态DivFlagn(k)取值为1，即自适应滤波器的滤波状态DivFlagn(k)为失调状态时，可确定控制因子DltCtrln(k)＝b1，当滤波状态DivFlagn(k)取值为0，即自适应滤波器的滤波状态DivFlagn(k)为稳健状态时，可确定控制因子DltCtrln(k)＝b2，其中b1和b2的具体取值也可根据实际应用场景确定，在此不做限制。
S205、根据控制因子和第一调整因子更新第一系数，得到自适应滤波器在第二时刻的第二系数。
请参见图7，图7是本申请实施例提供的确定第二调整因子的场景示意图。在确定出第一调整因子Deltan(k)和控制因子DltCtrln(k)之后，可根据控制因子DltCtrln(k)对第一调整因子Deltan(k)进行调整得到第二调整因子δn(k)，以根据第二调整因子δn(k)更新自适应滤波器的第一系数Wn(k,j)。其中，δn(k)＝max[DltCtrln(k)*Deltan(k),δ0]，δ0为固定极小值，具体可根据实际应用场景确定，在此不做限制。
具体地，可确定自适应滤波器的更新步长μoptn(k)，进而根据残留频域信号En(k)、第二调整因子δn(k)以及远端频域信号Xn(k)对自适应滤波器的第一系数Wn(k,j)进行更新。其中，
Figure BDA0002409346550000141
其中，更新步长μoptn(k)由残留频域信号En(k)确定，
Figure BDA0002409346550000142
Figure BDA0002409346550000143
表示无干扰残留回声估计值，
Figure BDA0002409346550000144
表示残留频域信号方差，μmax为最大更新步长，通常取1。需要特别说明的是，上述更新步长μoptn(k)可以为固定步长，也可为自适应滤波器的最优步长，在此不做限制。
在一些可行的实施方式中，在确定自适应滤波器的最优步长时，可将残留频域信号En(k)和远端频域信号Xn(k)转换至时域信号，以根据残留时域信号e(n)、远端声音信号x(n)以及自适应滤波器的时域系数w确定出自适应滤波器的最优步长。对于LMS自适应滤波器来说，通过LMS自适应滤波器计算得到的抽头权向量是对系数w的估计，它们之间的失配用加权误差向量
Figure BDA0002409346550000145
来衡量。通过LMS自适应滤波器的系数更新机制
Figure BDA0002409346550000146
可以得到ε(n+1)＝ε(n)-μx(n)e(n)。假设对抽头权向量n次迭代到n+1次迭代的抽头权向量的增量变化最小为准则来确定最优步长，即使下式最小：
E{|ε(n+1)|2}-E{|ε(n)|2}＝μ2E{e2(n)|x(n)|2}-2μE{e(n)εT(n)x(n)}。
假设无干扰回声误差与LMS自适应滤波器权值误差之间的关系为：ξ(n)＝εT(n)x(n)，则E{|ε(n+1)|2}-E{|ε(n)|2}＝μ2E{e2(n)|x(n)|2}-2μE{e(n)ξ(n)}。
对上式两边求导，并置导数为0，可得到最优步长为：
Figure BDA0002409346550000147
又因为无干扰回声误差ξ(n)＝e(n)-v(n)，其中加性干扰噪声v(n)为近端声音信号d(n)中的噪声(如麦克风接收到的自然噪声、外台信号等)，因此可再假设加性干扰噪声v(n)与无干扰回声误差ξ(n)相关独立，则可将最优步长确定为：
Figure BDA0002409346550000148
此时确定出的LMS自适应滤波器的最优步长μoptn即为上述更新步长μoptn(k)。
可选地，对于NLMS自适应滤波器来说，NLMS自适应滤波器的系数更新机制为：
Figure BDA0002409346550000149
整理(两边减去w)可得：
Figure BDA0002409346550000151
同样对抽头权向量n次迭代到n+1次迭代的抽头权向量的增量变化最小为准则来确定最优步长，即使下式最小：
Figure BDA0002409346550000152
进一步求导整理得到
Figure BDA0002409346550000153
为了简化最优步长的计算，假设从一次迭代到下一次迭代的信号能量的波动足够小，以满足以下近似：
E{e(n)ξ(n)/|x(n)|2}＝E{e(n)ξ(n)}/E{|x(n)|2}；
E{|e(n)2|/|x(n)|2}＝E{|e(n)2|}/E{|x(n)|2}；
则最优步长可重写为：
Figure BDA0002409346550000154
又因为加性干扰噪声v(n)与无干扰回声误差ξ(n)相关独立，再次重写最优步长为：
Figure BDA0002409346550000155
如果远端时域信号x(n)的频谱中每一帧分别对加权误差向量频谱对应帧的影响均相同，则E{|εT(n)x(n)|2}≈E{|εT(n)|2}E{|x(n)|2}；
由此得到的最优步长可近似为：
Figure BDA0002409346550000156
此时确定出的LMS自适应滤波器的最优步长μoptn即为上述更新步长μoptn(k)。
在一些可行的实施方式中，在对自适应滤波器的第一系数Wn(k,j)进行更新得到自适应滤波器在下一时刻的第二系数Wn+1(k,j)之后，自适应滤波器可根据第二系数Wn+1(k,j)和下一时刻的远端频域信号得到下一时刻的回声估计频域信号，进而根据下一时刻的回声估计频域信号对下一时刻的近端声音信号进行回声消除，以实现对自适应滤波器系数的实时更新，提升自适应滤波器的稳健性和鲁棒性。
S206、根据滤波状态和残留频域信号输出回声消除信号。
在一些可行的实施方式中，在对自适应滤波器的第一系数Wn(k)进行更新的同时，可根据自适应滤波器的滤波状态DivFlagn(k)输出回声消除信号h(n)。参见图8，图8是本申请实施例提供的回声消除方法的一场景示意图。如图8所示，残留频域信号En(k)由近端频域信号Dn(k)与回声估计频域信号Yn(k)相减得到，其中近端频域信号Dn(k)经过对分块后的近端时域信号d(n)进行短时傅里叶变换处理得到。此时
Figure BDA0002409346550000161
当滤波状态DivFlagn(k)的值取1，此时说明自适应滤波器为失调状态，即自适应滤波器输出不可靠。在该情况下，可对近端频域信号Dn(k)进行短时傅里叶反变换得到回声消除信号r(n)(输出信号)。当滤波状态DivFlagn(k)的值取0，此时说明自适应滤波器为稳健状态，即自适应滤波器输出可靠。在该情况下，可将对残留频域信号En(k)进行短时傅里叶反变换得到回声消除信号r(n)。
参见图9，图9是本申请实施例提供的回声消除方法的另一场景示意图。在图9中，回声估计时域信号y(n)是经过对回声估计频域信号Yn(k)进行短时傅里叶反变换处理得到。进一步地，残留时域信号e(n)是将近端时域信号d(n)与回声估计时域信号y(n)相减得到，并进一步将残留时域信号e(n)进行短时傅里叶变换得到残留频域信号En(k)。此时，
Figure BDA0002409346550000162
当滤波状态DivFlagn(k)的值取1，此时说明自适应滤波器为失调状态，即自适应滤波器输出不可靠。在该情况下，可将近端时域信号d(n)作为回声消除信号r(n)。当滤波状态DivFlagn(k)的值取0，此时说明自适应滤波器为稳健状态，即自适应滤波器输出可靠。在该情况下，可将残留时域信号e(n)确定为回声消除信号r(n)。
在本申请实施例中，通过自适应滤波器的滤波状态和收敛度确定控制因子，可进一步提升自适应滤波器的收敛速度与稳健性，可减少小概率的自适应滤波器失调现象产生的影响。其次，根据残留频域信号、回声估计频域信号和远端频域信号确定第一调整因子，可避免引入多滤波等带来的额外信号处理工作量，降低回声消除的复杂性，鲁棒性高。进一步地，通过第一调整因子和控制因子对自适应滤波器的系数进行更新，回声路径变化时残留回波比Errn(k)接近于1，控制因子DltCtrln(k)取极小值，第二调整因子δn(k)很小，滤波器加快更新；双端讲话时残留回波比Errn(k)为极大值，δn(k)持续高值，滤波器放慢更新可实时调整自适应滤波器的更新速度，提升自适应滤波器的稳健性与鲁棒性。与此同时，通过滤波状态输出回声消除信号，可有效提升回声消除信号的输出准确性，适用性高。
参见图10，图10是本申请实施例提供回声消除装置的结构示意图。本申请实施例提供的装置1包括：
第一确定模块11，用于确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在上述第一时刻的第一系数和上述远端频域信号确定出回声估计频域信号；
第一处理模块12，用于根据上述回声估计频域信号对上述第一时刻的近端声音信号进行回声消除得到残留频域信号；
第二确定模块13，用于确定第一调整因子，上述第一调整因子由上述残留频域信号、上述回声估计频域信号和上述远端频域信号确定；
第三确定模块14，用于确定控制因子，上述控制因子由上述自适应滤波器在上述第一时刻的滤波状态和/或收敛度确定；
更新模块15，用于根据上述控制因子和上述第一调整因子更新上述第一系数，得到上述自适应滤波器在第二时刻的第二系数，以根据上述第二系数对上述第二时刻的近端声音信号进行回声消除，上述第二时刻为上述第一时刻的下一时刻；
输出模块16，用于根据上述滤波状态和上述残留频域信号输出回声消除信号。
在一些可行的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述第一处理模块12包括：
第一确定单元121，用于确定上述近端时域信号对应的近端频域信号；
第一处理单元122，用于将上述近端频域信号与上述回声估计频域信号相减得到残留频域信号。
在一些可行的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述第一处理模块12包括：
第二确定单元123，用于确定上述回声估计频域信号对应的回声估计时域信号；
第二处理单元124，用于将上述近端时域信号与上述回声估计时域信号相减得到残留时域信号；
第三确定单元125，用于确定上述残留时域信号对应的残留频域信号。
在一些可行的实施方式中，上述装置1还包括第二处理模块17，上述第二处理模块17还包括：
第四确定单元171，还用于确定上述近端时域信号对应的近端频域信号；
第五确定单元172，还用于确定上述残留频域信号与上述远端频域信号的第一相关值，确定上述近端频域信号与上述远端频域信号的第二相关值；
第六确定单元173，还用于当上述第一相关值大于上述第二相关值，或者上述残留频域信号的幅度大于上述近端频域信号的幅度时，确定上述自适应滤波器为失调状态，否则，确定上述自适应滤波器为稳健状态。
在一些可行的实施方式中，上述装置1还包括第三处理模块18，上述第三处理模块18还包括：
第七确定单元181，还用于确定上述第一系数相对上述自适应老滤波器在第三时刻的第三系数的更新程度，上述第三时刻为上述第一时刻的上一时刻；
第八确定单元182，还用于当上述更新程度小于更新程度判决门限时，确定上述自适应滤波器的收敛度为高收敛度，当上述更新程度大于或者等于上述更新程度判决门限时，确定上述自适应滤波器的收敛度为低收敛度。
在一些可行的实施方式中，上述第三确定模块14包括：
第三处理单元141，用于当上述自适应滤波器为低收敛度和稳健状态时，确定出第一控制因子；
第四处理单元142，用于当上述自适应滤波器为低收敛度和失调状态时，确定出第二控制因子；
第五处理单元143，用于当上述自适应滤波器为高收敛度时，确定出第三控制因子。
在一些可行的实施方式中，上述第二确定模块13包括：
第六处理单元131，用于根据上述残留频域信号、上述远端频域信号以及上述回声估计频域信号确定出残留回波比；
第七处理单元132，用于根据上述残留频域信号、上述远端频域信号和上述残留回波比确定出第一调整因子。
在一些可行的实施方式中，上述第六处理单元131包括：
第一确定子单元1311，用于确定上述残留频域信号与上述回声估计频域信号的互相关值，确定上述回声估计频域信号的自相关值和回声估计频域信号功率；
第二确定子单元1312，用于根据上述互相关值、上述自相关值与上述回声估计频域信号功率确定出残留回声功率；
第三确定子单元1313，用于确定上述残留频域信号的残留频域信号功率，根据上述残留频域信号功率和上述残留回声功率确定出残留回波比。
在一些可行的实施方式中，上述第七处理单元132包括：
第一处理子单元1321，用于对上述残留频域信号功率进行平滑处理得到残留信号平滑功率；
第二处理子单元1322，用于确定上述远端频域信号的分块功率求和，对上述分块功率求和进行平滑处理得到远端信号平滑功率；
第三处理子单元1323，用于根据上述残留信号平滑功率、上述远端信号平滑功率以及上述残留回波比确定出第一调整因子。
在一些可行的实施方式中，上述更新模块15包括：
第九确定单元151，用于根据上述控制因子和上述第一调整因子确定出第二调整因子；
第十确定单元152，用于根据上述残留频域信号确定上述自适应滤波器的更新步长，根据上述第二调整因子和上述更新步长确定出上述自适应滤波器在上述第二时刻的第二系数。
在一些可行的实施方式中，上述输出模块16包括：
第一输出单元161，用于当上述滤波状态为稳健状态时，确定上述残留频域信号对应的残留时域信号并输出上述残留时域信号；
第二输出单元162，用于当上述滤波状态为失调状态时，输出上述近端时域信号。
具体实现中，上述装置1可通过其内置的各个功能模块执行如上述图2和/或图5中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
在本申请实施例中，通过自适应滤波器的滤波状态和收敛度确定控制因子，可进一步提升自适应滤波器的收敛速度与稳健性，可减少小概率的自适应滤波器失调现象产生的影响。其次，根据残留频域信号、回声估计频域信号和远端频域信号确定第一调整因子，可避免引入多滤波等带来的额外信号处理工作量，降低回声消除的复杂性，鲁棒性高。进一步地，通过第一调整因子和控制因子对自适应滤波器的系数进行更新，可实时调整自适应滤波器的更新速度，提升自适应滤波器的稳健性与鲁棒性。与此同时，通过滤波状态输出回声消除信号，可有效提升回声消除信号的输出准确性，适用性高。
参见图11，图11是本申请实施例提供的设备的结构示意图。如图11所示，本实施例中的设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在上述第一时刻的第一系数和上述远端频域信号确定出回声估计频域信号；
根据上述回声估计频域信号对上述第一时刻的近端声音信号进行回声消除得到残留频域信号；
确定第一调整因子，上述第一调整因子由上述残留频域信号、上述回声估计频域信号和上述远端频域信号确定；
确定控制因子，上述控制因子由上述自适应滤波器在上述第一时刻的滤波状态和/或收敛度确定；
根据上述控制因子和上述第一调整因子更新上述第一系数，得到上述自适应滤波器在第二时刻的第二系数，以根据上述第二系数对上述第二时刻的近端声音信号进行回声消除，上述第二时刻为上述第一时刻的下一时刻；
根据上述滤波状态和上述残留频域信号输出回声消除信号。
在一些可行的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述处理器1001用于：
确定上述近端时域信号对应的近端频域信号；
将上述近端频域信号与上述回声估计频域信号相减得到残留频域信号。
在一些可行的实施方式中，上述第一时刻的近端声音信号为近端时域信号；上述处理器1001用于：
确定上述回声估计频域信号对应的回声估计时域信号；
将上述近端时域信号与上述回声估计时域信号相减得到残留时域信号；
确定上述残留时域信号对应的残留频域信号。
在一些可行的实施方式中，上述处理器1001还用于：
确定上述近端时域信号对应的近端频域信号；
确定上述残留频域信号与上述远端频域信号的第一相关值，确定上述近端频域信号与上述远端频域信号的第二相关值；
当上述第一相关值大于上述第二相关值，或者上述残留频域信号的幅度大于上述近端频域信号的幅度时，确定上述自适应滤波器为失调状态，否则，确定上述自适应滤波器为稳健状态。
在一些可行的实施方式中，上述处理器1001还用于：
确定上述第一系数相对上述自适应老滤波器在第三时刻的第三系数的更新程度，上述第三时刻为上述第一时刻的上一时刻；
当上述更新程度小于更新程度判决门限时，确定上述自适应滤波器的收敛度为高收敛度，当上述更新程度大于或者等于上述更新程度判决门限时，确定上述自适应滤波器的收敛度为低收敛度。
在一些可行的实施方式中，上述处理器1001用于：
当上述自适应滤波器为低收敛度和稳健状态时，确定出第一控制因子；
当上述自适应滤波器为低收敛度和失调状态时，确定出第二控制因子；
当上述自适应滤波器为高收敛度时，确定出第三控制因子。
在一些可行的实施方式中，上述处理器1001用于：
根据上述残留频域信号、上述远端频域信号以及上述回声估计频域信号确定出残留回波比；
根据上述残留频域信号、上述远端频域信号和上述残留回波比确定出第一调整因子。
在一些可行的实施方式中，上述处理器1001用于：
确定上述残留频域信号与上述回声估计频域信号的互相关值，确定上述回声估计频域信号的自相关值和回声估计频域信号功率；
根据上述互相关值、上述自相关值与上述回声估计频域信号功率确定出残留回声功率；
确定上述残留频域信号的残留频域信号功率，根据上述残留频域信号功率和上述残留回声功率确定出残留回波比。
在一些可行的实施方式中，上述处理器1001用于：
对上述残留频域信号功率进行平滑处理得到残留信号平滑功率；
确定上述远端频域信号的分块功率求和，对上述分块功率求和进行平滑处理得到远端信号平滑功率；
根据上述残留信号平滑功率、上述远端信号平滑功率以及上述残留回波比确定出第一调整因子。
在一些可行的实施方式中，上述处理器1001用于：
根据上述控制因子和上述第一调整因子确定出第二调整因子；
根据上述残留频域信号确定上述自适应滤波器的更新步长，根据上述第二调整因子和上述更新步长确定出上述自适应滤波器在上述第二时刻的第二系数。
在一些可行的实施方式中，上述处理器1001用于：
当上述滤波状态为稳健状态时，确定上述残留频域信号对应的残留时域信号并输出上述残留时域信号；
当上述滤波状态为失调状态时，输出上述近端时域信号。
应当理解，在一些可行的实施方式中，上述处理器1001可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
具体实现中，上述设备1000可通过其内置的各个功能模块执行如上述图2、和/或图5中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
在本申请实施例中，通过自适应滤波器的滤波状态和收敛度确定控制因子，可进一步提升自适应滤波器的收敛速度与稳健性，可减少小概率的自适应滤波器失调现象产生的影响。其次，根据残留频域信号、回声估计频域信号和远端频域信号确定第一调整因子，可避免引入多滤波等带来的额外信号处理工作量，降低回声消除的复杂性，鲁棒性高。进一步地，通过第一调整因子和控制因子对自适应滤波器的系数进行更新，可实时调整自适应滤波器的更新速度，提升自适应滤波器的稳健性与鲁棒性。与此同时，通过滤波状态输出回声消除信号，可有效提升回声消除信号的输出准确性，适用性高。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图2和/或图5中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的任务处理装置的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(randomaccess memory，RAM)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (14)

1.一种回声消除方法，其特征在于，所述方法包括：
确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在所述第一时刻的第一系数和所述远端频域信号确定出回声估计频域信号；
根据所述回声估计频域信号对所述第一时刻的近端声音信号进行回声消除得到残留频域信号；
确定第一调整因子，所述第一调整因子由所述残留频域信号、所述回声估计频域信号和所述远端频域信号确定；
确定控制因子，所述控制因子由所述自适应滤波器在所述第一时刻的滤波状态和/或收敛度确定；
根据所述控制因子和所述第一调整因子更新所述第一系数，得到所述自适应滤波器在第二时刻的第二系数，以根据所述第二系数对所述第二时刻的近端声音信号进行回声消除，所述第二时刻为所述第一时刻的下一时刻；
根据所述滤波状态和所述残留频域信号输出回声消除信号。
2.根据权利要求1所述的方法，其特征在于，所述第一时刻的近端声音信号为近端时域信号；所述根据所述回声估计频域信号对所述第一时刻的近端声音信号进行回声消除得到残留频域信号包括：
确定所述近端时域信号对应的近端频域信号；
将所述近端频域信号与所述回声估计频域信号相减得到残留频域信号。
3.根据权利要求1所述的方法，其特征在于，所述第一时刻的近端声音信号为近端时域信号；所述根据所述回声估计频域信号对所述第一时刻的近端声音信号进行回声消除得到残留频域信号包括：
确定所述回声估计频域信号对应的回声估计时域信号；
将所述近端时域信号与所述回声估计时域信号相减得到残留时域信号；
确定所述残留时域信号对应的残留频域信号。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述近端时域信号对应的近端频域信号；
确定所述残留频域信号与所述远端频域信号的第一相关值，确定所述近端频域信号与所述远端频域信号的第二相关值；
当所述第一相关值大于所述第二相关值，或者所述残留频域信号的幅度大于所述近端频域信号的幅度时，确定所述自适应滤波器为失调状态，否则，确定所述自适应滤波器为稳健状态。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述第一系数相对所述自适应老滤波器在第三时刻的第三系数的更新程度，所述第三时刻为所述第一时刻的上一时刻；
当所述更新程度小于更新程度判决门限时，确定所述自适应滤波器的收敛度为高收敛度，当所述更新程度大于或者等于所述更新程度判决门限时，确定所述自适应滤波器的收敛度为低收敛度。
6.根据权利要求4和5所述的方法，其特征在于，所述确定控制因子包括：
当所述自适应滤波器为低收敛度和稳健状态时，确定出第一控制因子；
当所述自适应滤波器为低收敛度和失调状态时，确定出第二控制因子；
当所述自适应滤波器为高收敛度时，确定出第三控制因子。
7.根据权利要求1所述的方法，其特征在于，所述确定第一调整因子包括：
根据所述残留频域信号、所述远端频域信号以及所述回声估计频域信号确定出残留回波比；
根据所述残留频域信号、所述远端频域信号和所述残留回波比确定出第一调整因子。
8.根据权利要求7所述的方法，其特征在于，所述根据所述残留频域信号、所述远端频域信号以及所述回声估计频域信号确定出残留回波比包括：
确定所述残留频域信号与所述回声估计频域信号的互相关值，确定所述回声估计频域信号的自相关值和回声估计频域信号功率；
根据所述互相关值、所述自相关值与所述回声估计频域信号功率确定出残留回声功率；
确定所述残留频域信号的残留频域信号功率，根据所述残留频域信号功率和所述残留回声功率确定出残留回波比。
9.根据权利要求8所述的方法，其特征在于，所述根据所述残留频域信号、所述远端频域信号和所述残留回波比确定出第一调整因子包括：
对所述残留频域信号功率进行平滑处理得到残留信号平滑功率；
确定所述远端频域信号的分块功率求和，对所述分块功率求和进行平滑处理得到远端信号平滑功率；
根据所述残留信号平滑功率、所述远端信号平滑功率以及所述残留回波比确定出第一调整因子。
10.根据权利要求1所述的方法，其特征在于，所述根据所述控制因子和所述第一调整因子更新所述第一系数，得到所述自适应滤波器在第二时刻的第二系数包括：
根据所述控制因子和所述第一调整因子确定出第二调整因子；
根据所述残留频域信号确定所述自适应滤波器的更新步长，根据所述第二调整因子和所述更新步长确定出所述自适应滤波器在所述第二时刻的第二系数。
11.根据权利要求4所述的方法，其特征在于，所述根据所述滤波状态和所述残留频域信号输出回声消除信号包括：
当所述滤波状态为稳健状态时，确定所述残留频域信号对应的残留时域信号并输出所述残留时域信号；
当所述滤波状态为失调状态时，输出所述近端时域信号。
12.一种回声消除装置，其特征在于，所述装置包括：
第一确定模块，用于确定第一时刻的远端声音信号对应的远端频域信号，根据自适应滤波器在所述第一时刻的第一系数和所述远端频域信号确定出回声估计频域信号；
第一处理模块，用于根据所述回声估计频域信号对所述第一时刻的近端声音信号进行回声消除得到残留频域信号；
第二确定模块，用于确定第一调整因子，所述第一调整因子由所述残留频域信号、所述回声估计频域信号和所述远端频域信号确定；
第三确定模块，用于确定控制因子，所述控制因子由所述自适应滤波器在所述第一时刻的滤波状态和/或收敛度确定；
更新模块，用于根据所述控制因子和所述第一调整因子更新所述第一系数，得到所述自适应滤波器在第二时刻的第二系数，以根据所述第二系数对所述第二时刻的近端声音信号进行回声消除，所述第二时刻为所述第一时刻的下一时刻；
输出模块，用于根据所述滤波状态和所述残留频域信号输出回声消除信号。
13.一种设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接；
所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至11任一项所述的方法。
CN202010171518.7A 2020-03-12 2020-03-12 回声消除方法、装置、设备以及存储介质 Active CN111199748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010171518.7A CN111199748B (zh) 2020-03-12 2020-03-12 回声消除方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010171518.7A CN111199748B (zh) 2020-03-12 2020-03-12 回声消除方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111199748A true CN111199748A (zh) 2020-05-26
CN111199748B CN111199748B (zh) 2022-12-27

Family

ID=70746470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010171518.7A Active CN111199748B (zh) 2020-03-12 2020-03-12 回声消除方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111199748B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640449A (zh) * 2020-06-09 2020-09-08 北京大米科技有限公司 一种回音消除方法、计算机可读存储介质和电子设备
CN111798827A (zh) * 2020-07-07 2020-10-20 上海立可芯半导体科技有限公司 回声消除方法、装置、***和计算机可读介质
CN111885275A (zh) * 2020-07-23 2020-11-03 海尔优家智能科技（北京）有限公司 语音信号的回声消除方法、装置、存储介质以及电子装置
CN112802487A (zh) * 2020-12-31 2021-05-14 北京梧桐车联科技有限责任公司 回声处理方法、装置及***
CN113241084A (zh) * 2021-04-16 2021-08-10 北京梧桐车联科技有限责任公司 回声消除的方法、装置及设备
CN113949776A (zh) * 2021-10-19 2022-01-18 随锐科技集团股份有限公司 一种基于双步长快速回声消除的双端讲话检测方法和装置
CN114822571A (zh) * 2021-04-25 2022-07-29 美的集团(上海)有限公司 一种回声消除方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175375A1 (en) * 2007-01-24 2008-07-24 Oki Electric Industry Co., Ltd. Echo canceler and echo canceling method
WO2012158164A1 (en) * 2011-05-17 2012-11-22 Google Inc. Using echo cancellation information to limit gain control adaptation
CN103888630A (zh) * 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制声学回声消除的方法和音频处理装置
CN105391879A (zh) * 2015-12-09 2016-03-09 天津大学 一种无回声残留双端通话鲁棒的声学回声消除方法
CN105491256A (zh) * 2015-12-09 2016-04-13 天津大学 一种声学回声消除器启动阶段稳健的步长调整方法
CN107071195A (zh) * 2017-03-21 2017-08-18 西南交通大学 基于一范数零吸引的指数函数回声消除方法
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175375A1 (en) * 2007-01-24 2008-07-24 Oki Electric Industry Co., Ltd. Echo canceler and echo canceling method
WO2012158164A1 (en) * 2011-05-17 2012-11-22 Google Inc. Using echo cancellation information to limit gain control adaptation
CN103888630A (zh) * 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制声学回声消除的方法和音频处理装置
CN105391879A (zh) * 2015-12-09 2016-03-09 天津大学 一种无回声残留双端通话鲁棒的声学回声消除方法
CN105491256A (zh) * 2015-12-09 2016-04-13 天津大学 一种声学回声消除器启动阶段稳健的步长调整方法
CN107071195A (zh) * 2017-03-21 2017-08-18 西南交通大学 基于一范数零吸引的指数函数回声消除方法
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640449A (zh) * 2020-06-09 2020-09-08 北京大米科技有限公司 一种回音消除方法、计算机可读存储介质和电子设备
CN111640449B (zh) * 2020-06-09 2023-07-28 北京大米科技有限公司 一种回音消除方法、计算机可读存储介质和电子设备
CN111798827A (zh) * 2020-07-07 2020-10-20 上海立可芯半导体科技有限公司 回声消除方法、装置、***和计算机可读介质
CN111885275A (zh) * 2020-07-23 2020-11-03 海尔优家智能科技（北京）有限公司 语音信号的回声消除方法、装置、存储介质以及电子装置
CN112802487A (zh) * 2020-12-31 2021-05-14 北京梧桐车联科技有限责任公司 回声处理方法、装置及***
CN112802487B (zh) * 2020-12-31 2023-05-12 北京梧桐车联科技有限责任公司 回声处理方法、装置及***
CN113241084A (zh) * 2021-04-16 2021-08-10 北京梧桐车联科技有限责任公司 回声消除的方法、装置及设备
CN113241084B (zh) * 2021-04-16 2022-07-22 北京梧桐车联科技有限责任公司 回声消除的方法、装置及设备
CN114822571A (zh) * 2021-04-25 2022-07-29 美的集团(上海)有限公司 一种回声消除方法、装置、电子设备和存储介质
CN113949776A (zh) * 2021-10-19 2022-01-18 随锐科技集团股份有限公司 一种基于双步长快速回声消除的双端讲话检测方法和装置
CN113949776B (zh) * 2021-10-19 2024-04-16 随锐科技集团股份有限公司 一种基于双步长快速回声消除的双端讲话检测方法和装置

Also Published As

Publication number Publication date
CN111199748B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN111199748B (zh) 回声消除方法、装置、设备以及存储介质
EP2987316B1 (en) Echo cancellation
JP5284475B2 (ja) 前白色化を伴うｌｍｓアルゴリズムによって適応させられる適応フィルタの更新済みフィルタ係数を決定する方法
JP5049277B2 (ja) クリアな信号の取得のための方法及びシステム
EP3114683B1 (en) Audio signal processing
TWI392322B (zh) 基於頻譜聲學特性之雙邊發話檢測方法
US8472616B1 (en) Self calibration of envelope-based acoustic echo cancellation
CN109716743B (zh) 全双工语音通信***和方法
WO2009117084A2 (en) System and method for envelope-based acoustic echo cancellation
EP2987315B1 (en) Echo removal
JP2003158476A (ja) エコーキャンセラ
CN110992923B (zh) 回声消除方法、电子设备以及存储装置
WO2005043772A1 (ja) エコーキャンセラ
Gil-Cacho et al. Wiener variable step size and gradient spectral variance smoothing for double-talk-robust acoustic echo cancellation and acoustic feedback cancellation
CN109727605B (zh) 处理声音信号的方法及***
EP2930917B1 (en) Method and apparatus for updating filter coefficients of an adaptive echo canceller
JP4591685B2 (ja) ダブルトーク状態判定方法、エコーキャンセル方法、ダブルトーク状態判定装置、エコーキャンセル装置およびプログラム
US8345860B1 (en) Method and system for detection of onset of near-end signal in an echo cancellation system
JP3787088B2 (ja) 音響エコー消去方法、装置及び音響エコー消去プログラム
CN111355855B (zh) 回声处理方法、装置、设备及存储介质
US20080159552A1 (en) Control of echo cancellation filters
CN111989934B (zh) 回声消除装置、回声消除方法、信号处理芯片及电子设备
JP2002503910A (ja) 雑音環境におけるフィルタ適応化の制御方法および装置
Fukui et al. Acoustic echo and noise canceller for personal hands-free video IP phone
Wang et al. A frequency-domain nonlinear echo processing algorithm for high quality hands-free voice communication devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant