CN102131014A - 时频域联合回声消除装置及方法 - Google Patents

Abstract

本发明公开一种时频域联合回声消除方法，包括：接收输入的受话器信号和送话器信号；利用第一回声消除器，即时域回声消除器和频域回声消除器中的一个，基于所接收的受话器信号，对所接收到的送话器信号进行回声消除，以得到第一回声消除信号；利用第二回声消除器，即时域回声消除器和频域回声消除器中的另一个，基于所接收到的受话器信号，对第一回声消除信号再次进行回声消除，以得到第二回声消除信号；其中，第二回声消除器的第二滤波器的滤波器参数是基于受话器信号和第二回声消除信号更新，第一和第二回声消除器分别包括相应的第一和第二滤波器。利用本发明所述方法能够实现对回声反射环境的快速反应而且回声残留少，整体提高了回声消除效果。

Description

时频域联合回声消除装置及方法

技术领域

本发明涉及回声消除技术领域，具体地说，涉及一种时频域联合回声消除装置及方法。

背景技术

语音通讯中，受话器的信号经过线路反射和声学反射，会串入送话器接收信号中，并馈送到远端，使远端听到回声。回声会给通话双方造成极大干扰，影响通话质量，严重时甚至引起啸叫，不仅完全无法通话，还可能伤害通讯设备。

为保证通话质量和设备安全，通常在语音通讯中对回声进行抑制。回声消除的原理是：回声信号是受话器信号经由电声转换为实际声音信号播放出来，再经过环境反射产生的。受话器的电声转化过程和环境反射都可以看成是滤波过程，因此回声信号可以看作是受话器信号经过一个特定的滤波器产生的。

传统方法是设计合适的滤波器来进行回声消除，从而将回声信号从受话器信号中消去，避免回声干扰通讯。实际环境中的反射环境是实时变化的，滤波器必须能跟踪这种变化。因此通常采用自适应滤波器作为回声路径消除滤波器来进行回声消除。滤波器可以通过比较受话器信号和送话器信号，自动实时跟踪回声反射环境的变化，得到准确的回声路径，消除回声。

自适应滤波器的设计难点在于：1、实际反射环境是时变的，当反射环境发生改变，滤波器必须能够及时跟上，也就是反应速度要快。2、反射环境比较复杂，回声路径较长时，滤波器需要能体现反射环境的细节，准确的模拟回声路径，让回声消除效果更大，回声残留尽可能小。3、近端存在噪声和语音时，滤波器应不受干扰。概括起来，滤波器设计要求，就是快速，准确，稳健。

传统的自适应滤波一般采取时域或者频域的形式，频域自适应滤波包括傅立叶变换自适应滤波、子带自适应滤波和其他时频变换形式的自适应滤波(如专利申请200910025855、专利申请200780001928、专利申请200580003444和专利申请200610144055)。时域滤波器对回声反应速度快，可以迅速跟踪回声环境，但会有较多的回声残留。频域自适应滤波，可以使滤波器的更新更为精细，回声残留低，但反应速度较慢，当通话环境改变瞬间，回声会明显变大，影响通话。

单一的滤波器难以兼顾反应速度问题和回声残留问题。因此在高性能回声消除***中采用多滤波器进行联合回声消除。专利申请200780020102中采用了多滤波器并联收敛的方式，任一时刻选取其中回声消除性能最好的一个作为主滤波器用于回声消除，多滤波器中某些滤波器的更新策略是跟踪速度优先，某些的更新策略是回声路径估计精度优先。然而，这种采用并联结构的方法，需要准确地判断各个不同性能的滤波器的收敛情况，并在不同时刻选取当前最优的滤波器间进行切换，因此，存在因逻辑复杂而导致***结构不易实现和稳定性差。

发明内容

为了解决现有技术中所存在的上述问题，本发明提供一种时频域联合回声消除方法及装置，所述方法通过采用时域和频域滤波器级联的回声消除器，利用时域和频域滤波器中的一个先消去一部分回声，再利用时域和频域滤波器中的另一个对经回声消除的信号再次进行回声消除，从而实现对回声反射环境的快速反应而且回声残留少，整体提高了回声消除效果，同时所述时频域联合回声消除装置的结构简单、易于实现。

根据本发明的一方面，提供了一种时频域联合回声消除方法，其包括如下步骤：

接收输入的受话器信号和送话器信号；

利用第一回声消除器，基于所接收的受话器信号，对所接收到的送话器信号进行回声消除，以得到第一回声消除信号；

利用第二回声消除器，基于所接收到的受话器信号，对所述第一回声消除信号再次进行回声消除，以得到第二回声消除信号，

其中，第二回声消除器的第二滤波器的滤波器参数是基于所述受话器信号和第二回声消除信号更新的，所述第一回声消除器是时域回声消除器和频域回声消除器中之一，所述第二回声消除器是时域回声消除器和频域回声消除器中的另一个，所述第一回声消除器包括第一滤波器，所述第二回声消除器包括第二滤波器，其中，所述第一和第二滤波器分别是与所述第一和第二回声消除器对应的时域滤波器或频域滤波器。

优选地，在所述第一回声消除器是时域回声消除器时，所述利用第一回声消除器进行回声消除的步骤包括：

将所述受话器信号与所述第一滤波器的滤波器参数进行卷积，以得到第一回声信号；

从所接收的送话器信号中减去所述第一回声信号，以得到所述第一回声消除信号。

优选地，所述第一滤波器的滤波器参数基于所述受话器信号以及所述第一回声消除信号进行更新。

优选地，所述第一滤波器的滤波器参数的更新基于下述公式：

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l+1)\mathrm{et}\left(n\right)}{E\left(x^2\right)}*c,0\≤c\≤1$

h(l)_new＝h(l)_old+Δh(l)，L≥l≥1

其中，l表示所述第一滤波器的第l个权值，Δh(l)表示所述第一滤波器的滤波器参数的更新量，n表示当前时刻，x(n-l+1)表示所述受话器信号x在n-l+1时刻的采样值，et(n)表示在当前时刻的所述时域回声消除信号，h(l)_new表示更新后的所述第一滤波器的滤波器参数，h(l)_old表示更新前的所述第一滤波器的滤波器参数，L表示所述第一滤波器的长度，c表示常数。

优选地，所述第二滤波器的滤波器参数的更新包括以下步骤：

将所述受话器信号和所述第二回声消除信号从时域变换到频域；

基于变换到频域的所述受话器信号和所述第二回声消除信号，计算第二滤波器的更新步长和基准更新量；

将所述第二滤波器的更新步长与基准更新量相乘，以得到第二滤波器的滤波器参数的更新量；

基于所述第二滤波器的滤波器参数的更新量和所述第一滤波器的滤波器参数的更新量，对所述第二滤波器的滤波器参数进行更新。

优选地，所述第二滤波器的更新步长是按照下述公式计算出的：

$C\left[k\right]=\min (\frac{E{\left(X\right[k\left]\mathrm{Ef}\right[k\left]\right)}^2}{E\left(X{\left[k\right]}^2\right)E\left(\mathrm{Ef}{\left[k\right]}^2\right)},1)$

其中，k表示频率点，C[k]表示所述第二滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第二回声消除信号。

优选地，在将所述受话器信号和所述第二回声消除信号从时域变换到频域之前，利用数据缓存器分别将所述受话器信号和所述第二回声消除信号组成数据帧，并按照下述公式更新所述第二滤波器的滤波器参数：

$\mathrm{\ΔH}\left[k\right]=\frac{X\left[k\right]\mathrm{Ef}\left[k\right]C\left[k\right]}{E\left(\mathrm{Ef}{\left[k\right]}^2\right)}$

$H{\left[k\right]}_{\mathrm{new}}=H{\left[k\right]}_{\mathrm{old}}+\mathrm{\ΔH}\left[k\right]-\frac{1}{M}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\mathrm{\Δh}\left(l\right)W^{\mathrm{lk}},W=\exp (-j\frac{2\mathrm{\π}}{M})$

其中，k表示频率点，C[k]表示所述第二滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第二回声消除信号，M表示所述数据缓存器的长度，ΔH(k)表示所述第二滤波器的滤波器参数的更新量，H(k)_new表示更新后的所述第二滤波器的滤波器参数，H(k)_old表示更新前的所述第二滤波器的滤波器参数。

优选地，所述第二回声消除器进行回声消除的步骤包括：

将所述变换到频域的受话器信号与所述第二滤波器的滤波器参数相乘，以得到第二回声信号；

将所述第二回声信号从频域变换到时域；

从所述第一回声消除信号中减去变换到时域的所述第二回声信号，以得到第二回声消除信号。

优选地，在所述第一回声消除器是频域回声消除器的情况下，所述利用第一回声消除器进行回声消除的步骤包括：

将所述受话器信号从时域变换到频域；

将变化到频域的受话器信号与第一滤波器的滤波器参数相乘，以得到第一回声信号；

将所述第一回声信号从频域变换到时域；

从所接收的送话器信号中减去变换到时域的所述第一回声信号，以得到所述第一回声消除信号。

优选地，所述第一滤波器的滤波器参数的更新包括以下步骤：

将所述第一回声消除信号从时域变换到频域；

基于变换到频域的所述受话器信号和所述第一回声消除信号，计算第一滤波器的更新步长和基准更新量；

将所述第一滤波器的更新步长与基准更新量相乘，以得到第一滤波器的滤波器参数的更新量；

基于所述第一滤波器的滤波器参数的更新量，对所述第一滤波器的滤波器参数进行更新。

优选地，所述第一滤波器的更新步长按照下述公式计算出：

$C\left[k\right]=\min (\frac{E{\left(X\right[k\left]\mathrm{Ef}\right[k\left]\right)}^2}{E\left(X{\left[k\right]}^2\right)E\left(\mathrm{Ef}{\left[k\right]}^2\right)},1)$

其中，k表示频率点，C[k]表示所述第一滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第一回声消除信号。

优选地，将所述受话器信号和所述第一回声消除信号从时域变换到频域之前，利用数据缓存器分别将所述受话器信号和所述第一回声消除信号组成数据帧，并按照下述公式更新所述第一滤波器的滤波器参数：

$\mathrm{\ΔH}\left[k\right]=\frac{X\left[k\right]\mathrm{Ef}\left[k\right]C\left[k\right]}{E\left(\mathrm{Ef}{\left[k\right]}^2\right)}$

H[k]_new＝H[k]_old+ΔH[k]

其中，k表示频率点，C[k]表示所述第一滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第一回声消除信号，ΔH(k)表示所述第一滤波器的滤波器参数的更新量，H(k)_new表示更新后的所述第一滤波器的滤波器参数，H(k)_old表示更新前的所述第一滤波器的滤波器参数。

优选地，所述第二滤波器的滤波器参数基于所述受话器信号以及所述第二回声消除信号进行更新。

优选地，按照下述公式更新所述第二滤波器的滤波器参数：

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l+1)\mathrm{et}\left(n\right)}{E\left(x^2\right)}*c,0\≤c\≤1$

h(l)_new＝h(l)_old+Δh(l)，L≥l≥1

其中，l表示所述第二滤波器的第l个权值，Δh(l)表示所述第二滤波器的滤波器参数的更新量，n表示当前时刻，x(n-l+1)表示所述受话器信号x在n-l+1时刻的采样值，et(n)表示在当前时刻的所述第一回声消除信号，h(l)_new表示更新后的所述第二滤波器的滤波器参数，h(l)_old表示更新前的所述第二滤波器的滤波器参数，L表示所述第二滤波器的长度，c表示常数。

优选地，按照下述公式更新所述第二滤波器的滤波器参数：

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l+1)\mathrm{et}\left(n\right)}{E\left(x^2\right)}*c,0\≤c\≤1$

${\left(l\right)}_{\mathrm{new}}=h{\left(l\right)}_{\mathrm{old}}+\mathrm{\Δh}\left(l\right)\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{\ΔH}\left(k\right)W^{-\mathrm{lk}}$ $W=\exp (-j\frac{2\mathrm{\π}}{M}),$ L≥l≥1

其中，l表示所述第二滤波器的第l个权值，Δh(l)表示所述第二滤波器的滤波器参数的更新量，n表示当前时刻，x(n-l+1)表示所述受话器信号x在n-l+1时刻的采样值，et(n)表示在当前时刻的所述时域回声消除信号，h(l)_new表示更新后的所述第二滤波器的滤波器参数，h(l)_old表示更新前的所述第二滤波器的滤波器参数，M表示所述数据缓存器的长度，L表示所述第二滤波器的长度，c表示常数。

优选地，所述第二回声消除器进行回声消除的步骤包括：

将所述受话器信号与所述第二滤波器的滤波器参数进行卷积，以得到第二回声信号；

从所述第一回声消除信号中减去所述第二回声信号，以得到第二回声消除信号。

根据本发明的另一方面，提供了一种时频域联合回声消除装置，所述装置包括：

第一回声消除器，接收输入的受话器信号和送话器信号，基于所接收的受话器信号，对所接收到的送话器信号进行回声消除，以得到第一回声消除信号；

第二回声消除器，与第一回声消除器级联，基于所接收到的受话器信号，对所述第一回声消除信号再次进行回声消除，以得到第二回声消除信号，

其中，所述第一回声消除器是时域回声消除器和频域回声消除器中的一个，所述第二回声消除器是时域回声消除器和频域回声消除器中的另一个，所述第一回声消除器包括第一滤波器，第二回声消除器包括第二滤波器，其中，所述第一和第二滤波器分别是与所述第一和第二回声消除器对应的时域滤波器或频域滤波器，

其中，所述第二滤波器的滤波器参数是基于所述受话器信号和所述第二回声消除信号来更新的。

优选地，所述第一滤波器或所述第二滤波器用于基于所述受话器信号和所述滤波器的滤波器参数来计算第一或第二回声信号。

优选地，所述频域回声消除器进一步包括：

加法器，用于从所述频域回声消除器接收到的信号中减去变换到时域的所述频域滤波器输出的回声信号，以输出经过所述频域回声消除器处理后的回声消除信号；

频域滤波器控制器，与所述频域滤波器连接，用于基于所述受话器信号以及所述频域滤波器输出的回声消除信号，计算所述频域滤波器的滤波器参数的更新，将所述更新量输出到所述频域滤波器；

时域频域信号转换器，与频域滤波器和频域滤波控制器相连，用于将接收到的时域信号变换到频域；以及

频域时域信号转换器，与频域滤波器相连，用于将接收到的频域信号变换到时域。

优选地，所述频域回声消除器还包括：数据缓存器，与时域频域信号转换器相连，用于将所述受话器信号和所述频域回声消除器输出的回声消除信号组成数据帧。

优选地，在所述频域回声消除器用作第一回声消除器时，所述加法器从所接收到的所述送话器信号中减去所述变换到时域的第一回声信号，以得到所述第一回声消除信号。

优选地，所述频域滤波器控制器进一步与所述时域滤波器相连，并将所述更新量输出到所述时域滤波器，所述时域滤波器控制器还基于所述频域滤波器的滤波器参数的更新量来更新所述时域滤波器的滤波器参数。

优选地，在所述频域回声消除器用作第二回声消除器时，所述频域滤波器的滤波器参数是所述频域滤波器控制器基于所述受话器信号和所述第一回声消除信号以及所述时域滤波器的滤波器参数的更新量来进行更新，并且所述加法器从所接收到的所述第一回声消除信号中减去所述变换到时域的第二回声信号，以得到所述第二回声消除信号。

优选地，所述时域回声消除器进一步包括：加法器，用于从所述时域回声消除器接收的信号中减去所述时域滤波器的输出的回声消除信号，以输出经过所述时域回声消除器处理后的回声消除信号；以及时域滤波器控制器，与所述时域滤波器连接，用于基于所述受话器信号以及所述时域滤波器输出的回声消除信号，计算所述时域滤波器的滤波器参数的更新量，并将所述更新量输出到所述时域滤波器。

优选地，在所述时域回声消除器用作第一回声消除器时，所述时域滤波器控制器进一步与所述频域滤波器相连，并将所述更新量输出到所述频域滤波器；并且所述加法器从所接收到的所述送话器信号中减去所述第一回声信号，以得到所述第一回声消除信号。

优选地，在所述时域回声消除器用作第二回声消除器时，所述加法器从所接收到的所述第一回声消除信号中减去所述第二回声信号，以得到所述第二回声消除信号。

附图说明

通过下面结合附图对其实施例进行描述，本发明的上述特征和技术优点将会变得更加清楚和容易理解。

图1示出了根据本发明的第一实施例的时频域联合回声消除装置的方框图；

图2示出了利用根据本发明的第一实施例所述时频域联合回声消除装置的时频域回声消除方法的流程图；

图3示出了根据本发明的第二实施例的时频域联合回声消除装置的方框图；

图4示出了利用根据本发明的第二实施例所述时频域联合回声消除装置的时频域回声消除方法的流程图；以及

图5示出了根据本发明的实施例的时频域联合回声消除方法与现有技术的回声消除方式得到的回声消除结果的图表。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的描述。

图1示出了根据本发明的第一实施例的时频域联合回声消除装置的方框图。

如图1所示，根据本发明的第一实施例，时频域联合回声消除装置100包括：时域回声消除器110，其接收输入的受话器信号和送话器信号，基于所接收的受话器信号，对所接收到的送话器信号进行回声消除，以得到时域回声消除信号；频域回声消除器120，其与时域回声消除器110级联，基于所接收到的受话器信号x，对时域回声消除信号再次进行回声消除，以得到频域回声消除信号。

其中，时域回声消除器110还包括：时域滤波器111，基于受话器信号和时域滤波器111的滤波器参数来计算时域回声信号；时域滤波器控制器112，与时域滤波器111和频域滤波器121相连，用于基于受话器信号以及时域回声消除信号来计算时域滤波器的滤波器参数的更新量，并将所述更新量输出到时域滤波器111和频域滤波器121；以及加法器113，用于从时域回声消除器110接收的送话器信号中减去时域回声信号，以得到时域回声消除信号。

其中，频域回声消除器120还包括：频域滤波器121，基于受话器信号和频域滤波器121的滤波器参数来计算频域回声信号；加法器123，用于从频域回声消除器120接收到时域回声消除信号中减去变换到时域的频域滤波器121输出的回声信号，以输出经过频域回声消除器120处理后的回声消除信号；频域滤波器控制器122，与频域滤波器121连接，用于基于受话器信号、频域回声消除信号以及时域滤波器111的滤波器参数的更新量，来计算频域滤波器121的滤波器参数的更新量并将其输出到频域滤波器121；数据缓存器124，与时域频域信号转换器125相连，用于将受话器信号和频域回声消除信号组成数据帧；时域频域信号转换器125，与频域滤波器121和频域滤波控制器122相连，用于将接收到的组成数据帧后的时域信号变换到频域；以及频域时域信号转换器126，与频域滤波器121相连，用于将接收到的频域信号变换到时域。

图2示出了利用根据本发明的第一实施例所述时频域联合回声消除装置的时频域回声消除方法的流程图。下面将参照图2对其进行详细描述。

如图2所示，所述方法开始于步骤S201。在步骤S201，时域回声消除器110接收输入的受话器信号x和混有回声的送话器信号d。

首先，时域回声消除器110基于所接收的受话器信号x，对所接收到的送话器信号d进行回声消除，以得到时域回声消除信号et。具体地说，在步骤S202，时域滤波器111将受话器信号x与时域滤波器111滤波器参数h卷积，得到时域回声信号。在步骤S203中，利用加法器113从送话器信号d中减去时域回声信号，得到时域回声消除信号et，见公式1，其中n表示当前时刻点。

et(n)＝d(n)-x(n)*h(n)              公式1

在步骤S204，时域滤波器控制器112基于受话器信号x以及时域回声消除信号来更新时域滤波器111的滤波器参数。具体更新方式是，时域滤波器控制器112将et与受话器信号x相乘，再除以x的功率，作为基准更新量；采用常数c作为更新步长。接着时域滤波器控制器112将基准更新量与更新步长相乘得到时域滤波器111的滤波器参数h的更新量Δh(l)，将更新量Δh(l)分别输出到时域滤波器111和频域滤波器121，完成更新，其更新的方程式可见公式2，其中l表示时域滤波器111的第l个权值，L表示时域滤波器111的长度，n表示当前时刻，x(n-l+1)表示受话器信号x在n-l+1时刻的采样值，et(n)表示在当前时刻的时域回声消除信号，h(l)_new表示更新后的时域滤波器的滤波器参数，h(l)_old表示更新前的时域滤波器111的滤波器参数，c表示常数。

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l-1)\mathrm{et}(n}{E\left(x^2\right)}*c,0\≤c\≤1$ 公式2

h(l)_new＝h(l)_old+Δh(l)，L≥l≥1

从公式2可以看出，时域滤波器是逐点更新的，更新速度快，在回声环境和回声路径迅速变化时，可以很快跟上。

然后，频域回声消除器120基于所接收到的受话器信号x，对时域回声消除器输出的时域回声消除信号et再次进行回声消除，以得到频域回声消除信号ef。具体地说，频域回声消除器120的输入信号是受话器信号x和时域回声信号et，受话器信号x经由数据缓存器124组成数据帧。时频频域信号转换器125将组成数据帧后的受话器信号x从时域变换到频域，其转换方程见下面的公式3，其中，k表示频率点，M为数据缓存器124的长度。时域频域信号转换器125可用傅里叶变换(Fourier Transform)或子带滤波(Sub-bandFilter)实现。在步骤205，将变换到频域的受话器信号X与频域滤波器121的滤波器参数H相乘，以得到频域形式的回声信号Echo，见下面的公式4。再由频域时域信号转换器126将频域回声信号Echo从频域变换到时域，以得到时域形式的频域回声信号。频域时域信号转换器126可用傅里叶变换(FourierTransform)或子带滤波(Sub-band Filter)实现频域到时域信号的转换。在步骤206，利用加法器123从时域回声消除信号et中减去上述变换到时域的频域回声信号，以得到频域回声消除信号ef，见下面的公式5，1/M是频域到时域转换时的常数因子。

$X\left(k\right)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}x(n-M+m)W^{k(m-1)}$ 公式3

Echo(k)＝X(k)H(k)                       公式4

$\mathrm{ef}\left(n\right)=\mathrm{et}\left(n\right)-\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Echo}\left(k\right)W^{-\mathrm{nk}},$ $W=\exp (-j\frac{2\mathrm{\π}}{M})$ 公式5

步骤207描述了频域滤波器121的滤波器参数H的更新过程。具体地说，频域回声消除信号ef经由数据缓存器124组成数据帧。时频频域信号转换器125将组成数据帧后的频域回声消除信号ef从时域变换成频域形式Ef，其时频变换方程见公式6。接着，频域滤波器控制器122计算变换到频域的受话器信号X和频域回声消除信号Ef之间的相干函数来确定频域滤波器的更新步长。相干函数值是0到1之间的值。相干函数为1时，表示完全相似的信号，说明有回声残留，频域滤波器应该更新，对权值做更新；相干函数为0，表示完全不同的信号，说明没有回声残留，频域滤波器不做变化。相干函数的值越大，频域滤波器更新越快，并且相干函数是频率函数，某频率段的相干函数值较大，说明该频率段的信号相似性较大。频域滤波器控制器122利用相干函数计算频域滤波器121的更新步长C[k]，其计算方法见公式7。将Ef乘以X再除以X的功率，作为基准更新量。将基准更新量与更新步长C[k]相乘，得到频域滤波器121的滤波器参数的更新量ΔH[k]，然后频域滤波器控制器122将更新量ΔH[k]加到原来的频域滤波器的滤波器参数上，再减去时域滤波器111的滤波器参数的更新量Δh(l)，以完成更新，频域滤波器121的更新公式见公式8，H(k)_new表示更新后的频域滤波器的滤波器参数，H(k)_old表示更新前的频域滤波器的滤波器参数。

$\mathrm{Ef}\left(k\right)=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{ef}\left(n\right)W^{-\mathrm{kn}},$ $W=\exp (-j\frac{2\mathrm{\π}}{M})$ 公式6

$C\left[k\right]=\min (\frac{E{\left(X\right[k\left]\mathrm{Ef}\right[k\left]\right)}^2}{E\left(X{\left[k\right]}^2\right)E\left(\mathrm{Ef}{\left[k\right]}^2\right)},1)$ 公式7

$\mathrm{\ΔH}\left[k\right]=\frac{X\left[k\right]\mathrm{Ef}\left[k\right]C\left[k\right]}{E\left(\mathrm{Ef}{\left[k\right]}^2\right)}$ 公式8

$H{\left[k\right]}_{\mathrm{new}}=H{\left[k\right]}_{\mathrm{old}}+\mathrm{\ΔH}\left[k\right]-\frac{1}{M}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\mathrm{\Δh}\left(l\right)W^{\mathrm{lk}},W=\exp (-j\frac{2\mathrm{\π}}{M})$

上述实施例中，是采用时域回声消除器作为第一回声消除器进行第一次回声消除，频域回声消除器与时域回声消除器级联，作为第二回声消除器对第一回声消除信号进行第二次回声消除。图3示出了根据本发明的第二实施例的时频域联合回声消除装置的方框图。如图3所示，在本发明的第二实施例中，采用频域回声消除器310作为第一回声消除器进行第一次回声消除，时域回声消除器320与频域回声消除器310级联，作为第二回声消除器对第一回声消除信号进行第二次回声消除。除了时频回声消除器与频域回声消除器的级联顺序不同之外，时频域联合回声消除装置300中的频域回声消除器310与图1的时频域联合回声消除装置100中的频域回声消除器120结构相同，时频域联合回声消除装置300中的时域回声消除器320与时频域联合回声消除装置100中的时域回声消除器110结构相同，在此省略其详细描述。

图4示出了利用根据本发明的第二实施例所述时频域联合回声消除装置的时频域回声消除方法的流程图。除了进行回声消除的顺序不同之外，所述方法与图3所示的方法基本相同，因此在此省略其相同步骤的详细描述。

如图4所示，所述方法开始于步骤S401。在步骤S401，频域回声消除器310接收输入的受话器信号x和送话器信号d。

首先，频域回声消除器310基于所接收的受话器信号x，对所接收到的送话器信号d进行回声消除，以得到频域回声消除信号ef。具体地说，数据缓存器314将受话器信号x组成数据帧。由时频频域信号转换器315将组成数据帧后的受话器信号x从时域变换到频域，其变换公式同上面的公式3。在步骤S402，频域滤波器311将变换到频域的受话器信号X与频域滤波器的滤波器参数H相乘，以得到频域回声信号Echo，同上述公式4。再由频域时域信号转换器316将频域回声信号Echo从频域变换到时域。在步骤S403，利用加法器313从送话器信号d中减去变换到时域的频域回声信号Echo，以得到频域回声消除信号ef，见下面的公式9。

$\mathrm{ef}\left(n\right)=\mathrm{et}\left(n\right)-\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Echo}\left(k\right)W^{-\mathrm{kn}},W=\exp (-j\frac{2\mathrm{\π}}{M})$ 公式9

步骤S404描述了频域滤波器121的滤波器参数H的更新过程，其更新过程与上述步骤S207基本相同。具体地，数据缓存器314将频域回声消除信号ef组成数据帧。时频频域信号转换器315将组成数据帧后的频域回声消除信号ef从时域变换成频域形式Ef，其时频变换方程同上述公式6。频域滤波器控制器312利用相干函数计算频域滤波器311的更新步长C[k]，其计算方法同上述公式7。将Ef乘以X再除以X的功率，作为基准更新量。将基准更新量与更新步长C[k]相乘，得到频域滤波器311的滤波器参数的更新量ΔH[k]，然后频域滤波器控制器312将更新量ΔH[k]加到原来的频域滤波器上，完成更新，频域滤波器311的更新公式见下面的公式10。

$\mathrm{\ΔH}\left[k\right]=\frac{X\left[k\right]\mathrm{Ef}\left[k\right]C\left[k\right]}{E\left(\mathrm{Ef}{\left[k\right]}^2\right)},$ $W=\exp (-j\frac{2\mathrm{\π}}{M})$ 公式10

H[k]_new＝H[k]_old+ΔH[k]

在步骤S405，时域滤波器321将受话器信号x与时域滤波器的滤波器参数h进行卷积，以得到时域回声信号。在步骤406，利用加法器323从频域回声消除信号ef中减去时域回声信号，以得到时域回声消除信号et中，计算公式见下面的公式11，其中n表示当前时刻点。

et(n)＝ef(n)-x(n)*h(n)                          公式11

在步骤S407，时域滤波器控制器322基于受话器信号x以及时域回声消除信号来更新时域滤波器的滤波器参数h。具体更新方式是，时域滤波器控制器322将et与受话器信号x相乘，再除以x的功率，作为基准更新量；采用常数c作为更新步长。时域滤波器控制器322将基准更新量与更新步长相乘得到时域滤波器321的滤波器参数h的更新量Δh(l)，然后将更新量Δh(l)输出到时域滤波器111，与原来的时域滤波器的滤波器参数相加，完成更新，其更新的方程式同上述公式2。

优选地，在本发明的其它实施方式中，时域滤波器321的滤波器参数不独立更新，其更新还要受频域滤波器311的滤波器参数的更新量ΔH[k]的影响，以优化时域滤波器321的滤波器参数h，提高其更新速度。也就是，将公式2计算出的h(l)new再减掉频域滤波器311的滤波器参数的更新量ΔH[k]，作为更新后的时域滤波器的滤波器参数，其计算方法见公式12。

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l+1)\mathrm{et}\left(n\right)}{E\left(x^2\right)}$ 公式12

$h{\left(l\right)}_{\mathrm{new}}=h{\left(l\right)}_{\mathrm{old}}+\mathrm{\Δh}\left(l\right)-\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{\ΔH}\left(k\right)W^{-\mathrm{lk}},$ $W=\exp (-j\frac{2\mathrm{\π}}{M}),L\≥l\≥1$

图5示出了采用本发明的一个实施例的时频域联合回声消除方法与对比示例的回声消除结果的图表。其中回声消除测试所用的受话器信号是白噪声，近端无讲话，送话器信号中是纯粹的回声信号。图5示出了几种不同回声消除方法的对比结果，图中的曲线表示信号能量，时间从受话器信号发生时(时间轴0点)开始统计。具体地说，光滑曲线表示原始的送话器信号，其他三条曲线是三种不同方法的回声残留能量，其中带星号的曲线表示频域回声消除结果，带圆点的曲线表示时域回声消除结果，带圆圈的信号代表根据本发明的一个实施例的时频域联合回声消除结果。在图5中，能量曲线下降越快，说明回声消除***的反应速度越快，曲线越低，说明残余的回声越少。从图5可见根据本发明的时频域联合回声消除结果的反应速度与时域回声消除相当，回声残留与频域回声消除相当。残余回声能量比另两种方法都低。

通过以上结合附图对本发明实施例的详细描述，可以看出：根据本发明提供的时频域联合回声消除方法及装置，使得时域回声消除器和频域回声消除器的效果互补，兼具时域滤波器和频域滤波器的优点。频域滤波器可以模拟回声路径的细节，同时当回声路径发生变化时，时域滤波器可以迅速跟踪环境变化，达到回声消除速度快而且回声残留低的效果。

在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行各种改进和变形，而这些改进和变形，都落在本发明的保护范围内，本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围由权利要求及其等同物限定。

Claims (26)

1.一种时频域联合回声消除方法，包括：

接收输入的受话器信号和送话器信号；

利用第一回声消除器，基于所接收的受话器信号，对所接收到的送话器信号进行回声消除，以得到第一回声消除信号；

利用第二回声消除器，基于所接收到的受话器信号，对所述第一回声消除信号再次进行回声消除，以得到第二回声消除信号，

其中，第二回声消除器的第二滤波器的滤波器参数是基于所述受话器信号和第二回声消除信号更新的，所述第一回声消除器是时域回声消除器和频域回声消除器中之一，所述第二回声消除器是时域回声消除器和频域回声消除器中的另一个，所述第一回声消除器包括第一滤波器，所述第二回声消除器包括第二滤波器，其中，所述第一和第二滤波器分别是与所述第一和第二回声消除器对应的时域滤波器或频域滤波器。

2.如权利要求1所述的方法，其中，在所述第一回声消除器是时域回声消除器时，所述利用第一回声消除器进行回声消除的步骤包括：

将所述受话器信号与所述第一滤波器的滤波器参数进行卷积，以得到第一回声信号；

从所接收的送话器信号中减去所述第一回声信号，以得到所述第一回声消除信号。

3.如权利要求2所述的方法，其中，所述第一滤波器的滤波器参数基于所述受话器信号以及所述第一回声消除信号进行更新。

4.如权利要求3所述的方法，其中，所述第一滤波器的滤波器参数的更新基于下述公式：

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l+1)}{E\left(x^2\right)}*c,$ 0≤c≤1

h(l)_new＝h(l)_old+Δh(l)，L≥l≥1

其中，l表示所述第一滤波器的第l个权值，Δh(l)表示所述第一滤波器的滤波器参数的更新量，n表示当前时刻，x(n-l+1)表示所述受话器信号x在n-l+1时刻的采样值，et(n)表示在当前时刻的所述时域回声消除信号，h(l)_new表示更新后的所述第一滤波器的滤波器参数，h(l)_old表示更新前的所述第一滤波器的滤波器参数，L表示所述第一滤波器的长度，c表示常数。

5.如权利要求2所述的方法，其中，所述第二滤波器的滤波器参数的更新包括以下步骤：

将所述受话器信号和所述第二回声消除信号从时域变换到频域；

基于变换到频域的所述受话器信号和所述第二回声消除信号，计算第二滤波器的更新步长和基准更新量；

将所述第二滤波器的更新步长与基准更新量相乘，以得到第二滤波器的滤波器参数的更新量；

基于所述第二滤波器的滤波器参数的更新量和所述第一滤波器的滤波器参数的更新量，对所述第二滤波器的滤波器参数进行更新。

6.如权利要求5所述的方法，其中，所述第二滤波器的更新步长是按照下述公式计算出的：

$C\left[k\right]=\min (\frac{E{\left(X\right[k\left]\mathrm{Ef}\right[k\left]\right)}^2}{E\left(X{\left[k\right]}^2\right)E\left(\mathrm{Ef}{\left[k\right]}^2\right)},1)$

其中，k表示频率点，C[k]表示所述第二滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第二回声消除信号。

7.如权利要求5所述的方法，其中，在将所述受话器信号和所述第二回声消除信号从时域变换到频域之前，利用数据缓存器分别将所述受话器信号和所述第二回声消除信号组成数据帧，并按照下述公式更新所述第二滤波器的滤波器参数：

$\mathrm{\ΔH}\left[k\right]=\frac{X\left[k\right]\mathrm{Ef}\left[k\right]C\left[k\right]}{E\left(\mathrm{Ef}{\left[k\right]}^2\right)}$

$H{\left(k\right)}_{\mathrm{new}}=H{\left(k\right)}_{\mathrm{old}}+\mathrm{\ΔH}\left(k\right)-\frac{1}{M}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\mathrm{\Δh}\left(l\right)W^{\mathrm{lk}},$ $W=\exp (-j\frac{2\mathrm{\π}}{M})$

其中，k表示频率点，C[k]表示所述第二滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第二回声消除信号，M表示所述数据缓存器的长度，ΔH(k)表示所述第二滤波器的滤波器参数的更新量，H(k)_new表示更新后的所述第二滤波器的滤波器参数，H(k)_old表示更新前的所述第二滤波器的滤波器参数。

8.如权利要求2所述的方法，其中，所述第二回声消除器进行回声消除的步骤包括：

将所述变换到频域的受话器信号与所述第二滤波器的滤波器参数相乘，以得到第二回声信号；

将所述第二回声信号从频域变换到时域；

从所述第一回声消除信号中减去变换到时域的所述第二回声信号，以得到第二回声消除信号。

9.如权利要求1所述的方法，其中，在所述第一回声消除器是频域回声消除器的情况下，所述利用第一回声消除器进行回声消除的步骤包括：

将所述受话器信号从时域变换到频域；

将变化到频域的受话器信号与第一滤波器的滤波器参数相乘，以得到第一回声信号；

将所述第一回声信号从频域变换到时域；

从所接收的送话器信号中减去变换到时域的所述第一回声信号，以得到所述第一回声消除信号。

10.如权利要求9所述的方法，其中，所述第一滤波器的滤波器参数的更新包括以下步骤：

将所述第一回声消除信号从时域变换到频域；

基于变换到频域的所述受话器信号和所述第一回声消除信号，计算第一滤波器的更新步长和基准更新量；

将所述第一滤波器的更新步长与基准更新量相乘，以得到第一滤波器的滤波器参数的更新量；

基于所述第一滤波器的滤波器参数的更新量，对所述第一滤波器的滤波器参数进行更新。

11.如权利要求10所述的方法，其中，所述第一滤波器的更新步长按照下述公式计算出：

$C\left[k\right]=\min (\frac{E{\left(X\right[k\left]\mathrm{EF}\right[k\left]\right)}^2}{E\left(X{\left[k\right]}^2\right)E\left(\mathrm{Ef}{\left[k\right]}^2\right)},1)$

其中，k表示频率点，C[k]表示所述第一滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第一回声消除信号。

12.如权利要求10所述的方法，其中，在将所述受话器信号和所述第一回声消除信号从时域变换到频域之前，利用数据缓存器分别将所述受话器信号和所述第一回声消除信号组成数据帧，并按照下述公式更新所述第一滤波器的滤波器参数：

$\mathrm{\ΔH}\left[k\right]=\frac{X\left[k\right]\mathrm{Ef}\left[k\right]C\left[k\right]}{E\left(\mathrm{Ef}{\left[k\right]}^2\right)}$

H[k]_new＝H[k]_old+ΔH[k]

其中，k表示频率点，C[k]表示所述第一滤波器的更新步长，X[k]表示所述变换到频域后的受话器信号，Ef[k]表示变换到频域的所述第一回声消除信号，ΔH(k)表示所述第一滤波器的滤波器参数的更新量，H(k)_new表示更新后的所述第一滤波器的滤波器参数，H(k)_old表示更新前的所述第一滤波器的滤波器参数。

13.如权利要求10所述的方法，其中，所述第二滤波器的滤波器参数基于所述受话器信号以及所述第二回声消除信号进行更新。

14.如权利要求10所述的方法，其中，按照下述公式更新所述第二滤波器的滤波器参数：

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l+1)\mathrm{et}\left(n\right)}{E\left(x^2\right)}*c,$ 0≤c≤1

h(l)_new＝h(l)_old+Δh(l)，L≥l≥1

其中，l表示所述第二滤波器的第l个权值，Δh(l)表示所述第二滤波器的滤波器参数的更新量，n表示当前时刻，x(n-l+1)表示所述受话器信号x在n-l+1时刻的采样值，et(n)表示在当前时刻的所述第一回声消除信号，h(l)_new表示更新后的所述第二滤波器的滤波器参数，h(l)_old表示更新前的所述第二滤波器的滤波器参数，  L表示所述第二滤波器的长度，c表示常数。

15.如权利要求12所述的方法，其中，并按照下述公式更新所述第二滤波器的滤波器参数：

$\mathrm{\Δh}\left(l\right)=\frac{x(n-l+1)\mathrm{et}\left(n\right)}{E\left(x^2\right)}*c,$ 0≤c≤1

$h{\left(l\right)}_{\mathrm{new}}=h{\left(l\right)}_{\mathrm{old}}+\mathrm{\Δh}\left(l\right)-\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{\ΔH}\left(k\right)W^{-\mathrm{lk}},$ $W=\exp (-j\frac{2\mathrm{\π}}{M}),L\≥l\≥1$

其中，l表示所述第二滤波器的第l个权值，Δh(l)表示所述第二滤波器的滤波器参数的更新量，n表示当前时刻，x(n-l+1)表示所述受话器信号x在n-l+1时刻的采样值，et(n)表示在当前时刻的所述时域回声消除信号，h(l)_new表示更新后的所述第二滤波器的滤波器参数，h(l)_old表示更新前的所述第二滤波器的滤波器参数，M表示所述数据缓存器的长度，L表示所述第二滤波器的长度，c表示常数。

16.如权利要求9所述的方法，其中，所述第二回声消除器进行回声消除的步骤包括：

将所述受话器信号与所述第二滤波器的滤波器参数进行卷积，以得到第二回声信号；

从所述第一回声消除信号中减去所述第二回声信号，以得到第二回声消除信号。

17.一种时频域联合回声消除装置，包括：

第一回声消除器，接收输入的受话器信号和送话器信号，基于所接收的受话器信号，对所接收到的送话器信号进行回声消除，以得到第一回声消除信号；

第二回声消除器，与第一回声消除器级联，基于所接收到的受话器信号，对所述第一回声消除信号再次进行回声消除，以得到第二回声消除信号，

其中，所述第一回声消除器是时域回声消除器和频域回声消除器中的一个，所述第二回声消除器是时域回声消除器和频域回声消除器中的另一个，所述第一回声消除器包括第一滤波器，第二回声消除器包括第二滤波器，其中，所述第一和第二滤波器分别是与所述第一和第二回声消除器对应的时域滤波器或频域滤波器，

其中，所述第二滤波器的滤波器参数是基于所述受话器信号和所述第二回声消除信号来更新的。

18.如权利要求17所述的装置，其中，所述第一滤波器或所述第二滤波器用于基于所述受话器信号和所述滤波器的滤波器参数来计算第一或第二回声信号。

19.如权利要求18所述的装置，其中，所述频域回声消除器进一步包括：

加法器，用于从所述频域回声消除器接收到的信号中减去变换到时域的所述频域滤波器输出的回声信号，以输出经过所述频域回声消除器处理后的回声消除信号；

频域滤波器控制器，与所述频域滤波器连接，用于基于所述受话器信号以及所述频域滤波器输出的回声消除信号，计算所述频域滤波器的滤波器参数的更新，将所述更新量输出到所述频域滤波器；

时域频域信号转换器，与频域滤波器和频域滤波控制器相连，用于将接收到的时域信号变换到频域；以及

频域时域信号转换器，与频域滤波器相连，用于将接收到的频域信号变换到时域。

20.如权利要求19所述的装置，其中，所述频域回声消除器进一步包括：

数据缓存器，与时域频域信号转换器相连，用于将所述受话器信号和所述频域回声消除器输出的回声消除信号组成数据帧。

21.如权利要求19所述的装置，其中，在所述频域回声消除器用作第一回声消除器时，所述加法器从所接收到的所述送话器信号中减去所述变换到时域的第一回声信号，以得到所述第一回声消除信号。

22.如权利要求21所述的装置，其中，所述频域滤波器控制器进一步与所述时域滤波器相连，并将所述更新量输出到所述时域滤波器，所述时域滤波器控制器还基于所述频域滤波器的滤波器参数的更新量来更新所述时域滤波器的滤波器参数。

23.如权利要求19所述的装置，其中，在所述频域回声消除器用作第二回声消除器时，所述频域滤波器的滤波器参数是所述频域滤波器控制器基于所述受话器信号和所述第一回声消除信号以及所述时域滤波器的滤波器参数的更新量来进行更新，并且所述加法器从所接收到的所述第一回声消除信号中减去所述变换到时域的第二回声信号，以得到所述第二回声消除信号。

24.如权利要求18所述的装置，其中，所述时域回声消除器进一步包括：

加法器，用于从所述时域回声消除器接收的信号中减去所述时域滤波器的输出的回声消除信号，以输出经过所述时域回声消除器处理后的回声消除信号；以及

时域滤波器控制器，与所述时域滤波器连接，用于基于所述受话器信号以及所述时域滤波器输出的回声消除信号，计算所述时域滤波器的滤波器参数的更新量，并将所述更新量输出到所述时域滤波器。

25.如权利要求24所述的装置，其中，在所述时域回声消除器用作第一回声消除器时，

所述时域滤波器控制器进一步与所述频域滤波器相连，并将所述更新量输出到所述频域滤波器；并且

所述加法器从所接收到的所述送话器信号中减去所述第一回声信号，以得到所述第一回声消除信号。

26.如权利要求24所述的装置，其中，在所述时域回声消除器用作第二回声消除器时，所述加法器从所接收到的所述第一回声消除信号中减去所述第二回声信号，以得到所述第二回声消除信号。

Images