(A)第1の実施形態
以下では、本発明の音源分離エコー抑圧装置、音源分離エコー抑圧プログラム、及び音源分離エコー抑圧方法の第1の実施形態を、図面を参照しながら詳細に説明する。
第1の実施形態は、例えば、テレビ会議システムや電話会議システム等の拡声通話システムの音声送受信装置の音源分離エコー抑圧装置、音源分離エコー抑圧プログラム、及び音源分離エコー抑圧方法に本発明を適用した場合を例示したものである。
(A−1)第1の実施形態の構成
図1は、第1の実施形態に係る音源分離エコー抑圧装置100の構成を示すブロック図である。
第1の実施形態に係る音源分離エコー抑圧装置100は、例えば、専用ボードとして構築されるようにしても良いし、DSP(デジタルシグナルプロセッサ)への音源分離エコー抑圧プログラムの書き込みによって実現されたものであっても良く、CPUと、CPUが実行するソフトウェア(音源分離エコー抑圧プログラム)によって実現されたものであっても良いが、機能的には、図1で表すことができる。
図1において、第1の実施形態に係る音源分離エコー抑圧装置100は、遠端信号入力端子101、DA変換器102、スピーカ103、マイク104a、104b、AD変換器105a、105b、遠端信号周波数領域変換部106、遠端信号振幅スペクトル計算部107、推定エコーパス特性保持部108、推定エコー信号計算部109、近端入力信号周波数領域変換部110a、110b、音源分離ゲイン計算部111、音源分離部112、音源分離信号振幅スペクトル計算部113、エコーサプレスゲイン計算部114、エコーサプレスゲイン補正部115、エコーサプレス部116、近端出力信号時間領域変換部117、近端信号入力端子118、近端出力信号振幅スペクトル計算部119、シングルトーク判定部120、推定エコーパス特性計算部121、推定エコーパス特性更新部122を有する。
遠端信号入力端子101は、入力された遠端信号をDA変換器102、遠端信号周波数領域変換部106に出力する。DA変換器102は、遠端信号であるデジタル音信号をアナログ音信号に変換して、スピーカ103を通して近端側に出力する。
一方、近端側の話者が発した音声等の音信号や、環境音、音響エコー信号(例えば、スピーカ103から出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号)等が重畳したアナログ音信号は、マイク104a、104bにおいて受音され、AD変換器105a、105bにおいてデジタル音信号に変換され、デジタル音信号を近端入力信号として音源分離エコー抑圧装置100に入力される。
遠端信号周波数領域変換部106は、例えば、高速フーリエ変換(FFT)等により、時間領域の信号である遠端信号を周波数領域の信号に変換し、遠端信号の周波数スペクトルを、遠端信号振幅スペクトル計算部107に出力する。
遠端信号振幅スペクトル計算部107は、遠端信号の周波数スペクトルに基づいて、遠端信号の振幅スペクトルを算出し、算出した遠端信号の振幅スペクトルを推定エコー信号計算部109、及び推定エコーパス特性計算部121に出力する。
推定エコーパス特性保持部108は、エコーパス特性を保持している。推定エコーパス特性保持部108は、保持しているエコーパス特性を推定エコー信号計算部109、及び推定エコーパス特性更新部122に出力する。
推定エコー信号計算部109は、遠端信号の振幅スペクトルとエコーパス特性とを乗じて推定エコー信号の振幅スペクトルを算出し、エコーサプレスゲイン計算部114に出力する。
一方、マイク104a、104bは、近端側の話者を音源とする音信号を受音する。なお、この実施形態では、2個のマイク104a、104bにより受音された2つの音信号から、音源である近端側の話者が発した音信号(目的音)を非目的音から分離する場合を例示する。なお、3個以上のマイクを備え、3個以上のマイクが受音した音信号から目的音を分離するようにしても良い。
近端入力信号周波数領域変換部110a、110bはそれぞれ、例えば、高速フーリエ変換(FFT)等により、AD変換器105a、105bのそれぞれからの近端入力信号を周波数領域の信号に変換し、近端入力信号の周波数スペクトルを音源分離ゲイン計算部111と音源分離部112に出力する。
音源分離ゲイン計算部111は、近端入力信号の周波数スペクトルから音源分離ゲインを算出し、音源分離部112、及びエコーサプレスゲイン補正部115に出力する。
音源分離部112は、近端入力信号と音源分離ゲインから音源分離信号を算出し、音源分離信号振幅スペクトル計算部113、及びエコーサプレス部116に出力する。
音源分離信号振幅スペクトル計算部113は、音源分離信号の周波数スペクトルに基づいて、音源分離信号の振幅スペクトルを算出し、音源分離信号の振幅スペクトルをエコーサプレスゲイン計算部114、シングルトーク判定部120、及び推定エコーパス特性計算部121に出力する。
エコーサプレスゲイン計算部114は、音源分離信号の振幅スペクトルと推定エコー信号の振幅スペクトルとを用いて、音源分離信号に重畳されている音響エコー信号を抑圧するエコーサプレスゲインを算出し、算出したエコーサプレスゲインをエコーサプレスゲイン補正部115に出力する。
エコーサプレスゲイン補正部115は、エコーサプレスゲインと音源分離ゲインから、音源分離で抑圧された音響エコー信号を判定し、音源分離で抑圧された音響エコー信号を抑圧しないようエコーサプレスゲインを補正し、補正したエコーサプレスゲインをエコーサプレス部116に出力する。
エコーサプレス部116は、補正したエコーサプレスゲインと音源分離信号の周波数スペクトルを乗じることにより、音源分離入力信号に重畳されている音源分離部112で抑圧できなかった音響エコー信号を抑圧した周波数スペクトルを求め、近端出力信号の周波数スペクトルとして、近端出力信号時間領域変換部117に出力する。
近端出力信号時間領域変換部117は、近端出力信号の周波数スペクトルを、例えば、逆高速フーリエ変換(InverseFFT)等により、時間領域のデジタル音信号に変換し、近端出力信号を近端信号出力端子118に出力する。
近端信号出力端子118は、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、接続されている回線を介して遠端側(相手側)へ近端出力信号が出力される。
近端出力信号振幅スペクトル計算部119は、近端出力信号の周波数スペクトルに基づいて、近端出力信号の振幅スペクトルを算出し、算出した近端出力信号の振幅スペクトルをシングルトーク判定部120に出力する。
シングルトーク判定部120は、近端入力信号の振幅スペクトルと近端出力信号の振幅スペクトル等を用いてシングルトークかシングルトーク以外かを判定し、シングルトーク判定結果を推定エコーパス特性更新部122に出力する。
推定エコーパス特性計算部121は、遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルに基づいて、現フレームの推定エコーパス特性を算出し、算出した現フレームの推定エコーパス特性を推定エコーパス特性更新部122に出力する。
推定エコーパス特性更新部122は、推定エコーパス特性計算部121で算出された現フレームの推定エコーパス特性と推定エコーパス特性保持部108に保持している推定エコーパス特性とシングルトーク判定部120のシングルトーク判定結果に基づき、エコーパス特性を更新し、更新したエコーパス特性を推定エコーパス特性保持部108に保存する。
(A−2)第1の実施形態の動作
次に、本発明の実施形態に係る音源分離エコー抑圧装置100の音源分離エコー抑圧処理の動作を詳細に説明する。
まず、音源分離エコー抑圧装置100の動作開始後、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯端末等の無線ネットワークの電波等に接続されており、接続されている回線を介して、遠端側の遠端信号が遠端信号入力端子101に入力される。
遠端信号入力端子101に入力された遠端信号は、DA変換器102に遠端信号を出力される。遠端信号は、DA変換器102によりデジタル音信号からアナログ音信号に変換され、スピーカ103を通して近端側に出力される。
一方、近端側の話者が発した音声等の音信号や、環境音、音響エコー信号(例えば、スピーカ103から出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号)等が重畳したアナログ音信号は、マイク104a、104bにおいて受音される。マイク104a、104bのそれぞれにより受音されたアナログ音信号は、AD変換器105a、105bのそれぞれによりデジタル音信号(図1の近端入力信号a、b)に変換され、デジタル音信号が近端入力信号として音源分離エコー抑圧装置100に入力される。
遠端信号周波数領域変換部106では、例えば、高速フーリエ変換(FFT)等により、遠端信号を時間領域の信号から周波数領域の信号に変換され、変換された遠端信号の周波数スペクトルROUT(i,ω)を遠端信号振幅スペクトル計算部107に出力する。
遠端信号振幅スペクトル計算部107では、周波数スペクトルROUT(i,ω)を用いて、(1)式に従い、遠端信号の振幅スペクトル|ROUT(i,ω)|が求められる。
ここで、iはフレーム、ωは周波数ビン、ROUT_real(i,ω)とROUT_image(i,ω)は、フレームiにおける周波数ビンωの遠端信号の周波数スペクトルROUT(i,ω)の実数部と虚数部を示しており、遠端信号の周波数スペクトルROUT(i,ω)は、(2)式で表すことができる。(2)式のjは虚数を表している。
そして、遠端信号振幅スペクトル計算部107により求められた遠端信号の周波数スペクトル|ROUT(i,ω)|は、推定エコー信号計算部109に出力する。
推定エコー信号計算部109では、推定エコーパス特性保持部108に保持している推定エコーパス特性|H(i−1,ω)|と、遠端信号の振幅スペクトル|ROUT(i,ω)|を用いて、(3)式により、推定エコー信号の振幅スペクトル|ECHO(i,ω)|が求められる。
(3)式は遠端信号の振幅スペクトル|ROUT(i,ω)|に、推定エコーパス特性保持部108に保持している推定エコーパス特性|H(i−1,ω)|の対応する周波数ビンを乗じて、当該周波数ビンの推定エコー信号の振幅スペクトル|ECHO(i,ω)|を求めるという式である。そして、推定エコー信号計算部109により求められた推定エコー信号の振幅スペクトル|ECHO(i,ω)|をエコーサプレスゲイン計算部114に出力する。
一方、近端入力信号周波数領域変換部110a、110bでは、AD変換器105a、105bから出力されたデジタル音信号を近端入力信号として、例えば、高速フーリエ変換(FFT)等により、近端入力信号を時間領域の信号から周波数領域の信号に変換し、変換された近端入力信号の周波数スペクトルSINa(i,ω),SINb(i,ω)を、音源分離ゲイン計算部111と音源部分離部112に出力する。
音源分離ゲイン計算部111では、マイクロフォンアレー処理を行い、音源を分離する音源分離ゲインを算出する。音源分離ゲインの手法は、例えば、従来のマイクロフォンアレー処理である遅延和アレー処理で、(4)式に従い、音源分離ゲインG
SEPA(i,ω)を算出する手法がある。
なお、音源分離ゲインGSEPA(i,ω)の算出手段は、種々の方法を広く適用することができ、例えば、近端入力信号の一方をマイク間隔の時間分遅延させた信号を算出し、もう一方の近端入力信号から引く、差分型アレー方式でゲインを算出しても良い。音源分離ゲイン計算部111は、算出した音源分離ゲインを音源分離部112とエコーサプレスゲイン補正部115に出力する。
音源分離部112では、例えば、近端入力分離信号のスペクトルSINa(i,ω)と音源分離ゲインG
SEPA(i,ω)とを用いて、(5)式、(6)式に従い、音源分離信号を算出する。
ここで、SEPA_real(i,ω)とSEPA_image(i,ω)は、フレームiにおける周波数ビンωの音源分離信号の周波数スペクトルの実数部と虚数部を示しており、音源分離信号の周波数スペクトルSEPA(i,ω)は、(7)式で表すことができる。(7)式のjは虚数を表している。
(5)式と(6)式は、音源分離信号の周波数スペクトルの実数部、虚数部に音源分離ゲインGSEPA(i,ω)を周波数ビン毎に乗じて、音源を分離した音源分離信号の周波数スペクトルSEPA(i,ω)を求めるという式である。なお、音源分離信号の算出の手段は、種々の方法を広く適用することができ、例えば,近端入力分離信号のスペクトルSINb(i,ω)と音源分離ゲインGSEPA(i,ω)とを(5)式、(6)式と同様に乗算することで算出しても良く、近端入力分離信号のスペクトルSINa(i,ω)、SINb(i,ω)と音源分離ゲインGSEPA(i,ω)とを用いて算出しても良い。より具体的には、例えば、近端入力分離信号のスペクトルSINa(i,ω)とSINb(i,ω)との平均値に音源分離ゲインを乗算する方法を用いても良い。音源分離部112により求められた音源分離信号の周波数スペクトルSEPA(i,ω)をエコーサプレス部116に出力する。
音源分離信号振幅スペクトル計算部113は、音源分離信号の周波数スペクトルSEPA(i,ω)を用いて、(8)式に従い、音源分離信号の振幅スペクトル|SEPA(i,ω)|が求められる。
そして、音源分離信号振幅スペクトル計算部113により求められた音源分離信号の振幅スペクトル|SEPA(i,ω)|は、エコーサプレスゲイン計算部114、シングルトーク判定部120、及び推定エコーパス特性計算部121に出力する。
エコーサプレスゲイン計算部114では、音源分離信号の振幅スペクトル|SEPA(i,ω)|と推定エコー信号の振幅スペクトル|ECHO(i、ω)|とを取得して、(9)式を用いて、エコーサプレスゲインG
ES(i,ω)を求める。
(9)式は、周波数ビン毎に音源分離信号の振幅スペクトル|SEPA(i,ω)|から推定エコー信号の振幅スペクトル|ECHO(i,ω)|を差し引いた振幅スペクトルを、音源分離信号の振幅スペクトル|SEPA(i,ω)|で除することで、エコーサプレスゲインGES(i,ω)を求めるという式である。エコーサプレスゲイン計算部114により求められたエコーサプレスゲインGES(i,ω)は、エコーサプレスゲイン補正部115に出力する。
エコーサプレスゲイン補正部115では、音源分離部112で抑圧されている音響エコー信号を音源分離ゲインGSEPA(i,ω)とエコーサプレスゲインGES(i,ω)とを比較して、その比較結果に応じてエコーサプレスゲインGES(i,ω)の値を補正する。
ここで、音源分離部112で抑圧されている音響エコー信号の判定方法は、例えば、(10)式に従い、補正するかを判定する。また、エコーサプレスゲイン補正部115が判定して出力するエコーサプレスゲインG
ES(i,ω)の値を、エコーサプレスゲインG
ES_r(i,ω)と表記する。
(10)式において、音源分離ゲインGSEPA(i,ω)がエコーサプレスゲインGES(i,ω)より小さいときは、音源分離部112で十分抑圧されている音響エコー信号と判定する。このとき、エコーサプレス部116で大きく抑圧しないようにするために、エコーサプレスゲイン補正部115は、(10)式に従い、エコーサプレスゲインGES_r(i,ω)の値を1とする。
一方、音源分離ゲインGSEPA(i,ω)の値がエコーサプレスゲインGES(i,ω)以上のときは、音源分離部112で十分抑圧されていない音響エコー信号と判定する。このとき、エコーサプレス部116で抑圧するために、エコーサプレスゲイン補正部115は、(10)式に従い、エコーサプレスゲインGES(i,ω)の値をエコーサプレスゲインGES_r(i,ω)とする。
なお、音源分離部112で十分抑圧されているかの判定方法は、種々の方法を広く適用することができる。この実施形態では、エコーサプレスゲイン補正部115が、音源分離ゲインGSEPA(i,ω)とエコーサプレスゲインGES(i,ω)とを比較する場合を例示しているが、その他に例えば、エコーサプレスゲイン補正部115が、音源分離ゲインGSEPA(i,ω)のみを用いて、音源分離ゲインGSEPA(i,ω)が閾値以下の場合、音源分離部112で十分抑圧されていると判定し、エコーサプレスゲインGES_r(i,ω)を1に補正するとしても良い。エコーサプレスゲイン補正部115は補正したエコーサプレスゲインGES_r(i,ω)をエコーサプレス部116に出力する。
エコーサプレス部116では、音源分離信号のスペクトルSEPA(i,ω)と、エコーサプレスゲイン補正部115からのエコーサプレスゲインG
ES_r(i,ω)とを用いて、(11)式、(12)式に従い、音源分離信号のスペクトルSEPA(i,ω)に重畳されている音響エコー信号を抑圧する。
ここで、SOUT_real(i,ω)とSOUT_image(i,ω)は、フレームiにおける周波数ビンωの近端出力信号の周波数スペクトルの実数部と虚数部を示しており、近端出力信号の周波数スペクトルSOUT(i,ω)は、(13)式で表すことができる。(13)式のjは虚数を表している。
(11)式と(12)式は周波数スペクトルの実数部、虚数部にエコーサプレスゲインGES_r(i,ω)を周波数ビン毎に乗じて、音響エコー信号を抑圧した近端出力信号の周波数スペクトルSOUT(i,ω)を求めるという式である。そして、エコーサプレス部116により求められた音響エコー信号が抑圧された近端出力信号の周波数スペクトルSOUT(i,ω)を近端出力信号時間領域変換部117に出力する。
近端出力信号時間領域変換部117では、近端出力信号のスペクトルSOUT(i,ω)が、例えば、逆高速フーリエ変換(InverseFFT)等により、時間領域のデジタル音信号に変換し、近端出力信号を近端信号出力端子118に出力する。
近端信号出力端子118は、例えば、IP網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、近端出力信号を接続されている回線を介して通話相手である遠端側に出力する。
近端出力信号振幅スペクトル計算部119では、近端出力信号の周波数スペクトルSOUT(i,ω)を用いて、(14)式に従い、近端出力信号の振幅スペクトル|SOUT(i,ω)|が求められる。
そして、近端出力信号振幅スペクトル計算部124は、算出した近端入力信号の振幅スペクトル|SOUT(i,ω)|をシングルトーク判定部120に出力する。
シングルトーク判定部120では、音源分離信号がシングルトークかシングルトーク以外かを音源分離入力信号の振幅スペクトルと近端出力信号の振幅スペクトルとを用いて判定する。シングルトークかシングルトーク以外かを判定する手法は、例えば、(15)式に従い、シングルトークかシングルトーク以外かを判定する手法がある。(15)式のFsはサンプリング周波数、TH1は閾値である。
(15)式の条件が真のときはシングルトークと判定し、偽のときはシングルトーク以外として判定する。閾値TH1は、(15)式の場合、シングルトーク時は(15)式の左辺が小さい値になるので、小さい固定値(例えばTH1=0.3)やフレームで変化する変数などにしても良い。なお、シングルトークかシングルトーク以外か否かの判定方法は、種々の方法を広く適用することができ、例えば、遠端信号の振幅スペクトルと各近端入力信号の振幅スペクトルとの相関を求めて相関が高いときはシングルトークとする方法で判定しても良い。シングルトーク判定部120は、シングルトーク判定結果を推定エコーパス特性更新部122に出力する。
推定エコーパス特性計算部121は、現フレームの推定エコーパス特性|H
1(i,ω)|、を遠端信号の振幅スペクトル|ROUT(i,ω)|と音源分離信号の振幅スペクトル|SEPA(i,ω)|を用いて、(16)式に従い求める。
現フレームの推定エコーパス特性|H1(i,ω)|が求まれば推定エコーパス特性更新部122に現フレームの推定エコーパス特性|H1(i,ω)|を出力する。
推定エコーパス特性更新部122は、シングルトーク判定部120でシングルトークと判定されたフレームで、推定エコーパス特性|H
1(i,ω)|と推定エコーパス特性保持部108に保持されている推定エコーパス特性|H(i−1,ω)|から推定エコーパス特性|H(i,ω)|を(17)式に従って更新する。
aは時定数フィルタの係数であり、aは0以上、1以下の値であって、エコーパス特性の更新を遅くしたい場合は1に近い値が望ましく(例えばa=0.99等の値)、更新を早くしたい場合は0に近い値が望ましい(例えばa=0.01等の値)。推定エコーパス特性更新部122は更新したエコーパス特性|H(i,ω)|を推定エコーパス特性保持部108に保持させる。
一方、シングルトーク判定部120でシングルトーク以外と判定されたフレームはエコーパス特性の更新を行わない。
(A−3)第1の実施形態の効果
以上のように、第1の実施形態によれば、音源分離処理で抑圧された信号は、エコーサプレス処理で抑圧しないようにすることで、エコー抑圧処理の引きすぎによる音の歪を防止し、音響エコー信号を抑圧することができる。
(B)第2の実施形態
次に、本発明の音源分離エコー抑圧装置、音源分離エコー抑圧プログラム、及び音源分離エコー抑圧方法の第2の実施形態を、図面を参照しながら詳細に説明する。
第2の実施形態は、本発明の音源分離エコー抑圧装置が、複数のスピーカを有してステレオエコーを抑圧する場合を例示する。
(B−1)第2の実施形態の構成
上述した第1の実施形態では、音源分離エコー抑圧装置100が1個のスピーカ103を有する場合を例示したが、スピーカの数を増設しても良い。そこで、第2の実施形態では、音源分離エコー抑圧装置が2個のスピーカで構成され、ステレオエコー信号を抑圧する場合を例示する。
図2は、変形実施形態に係る2個のスピーカ103a、103bを有する音源分離エコー抑圧装置100Aの内部構成を示すブロック図である。
図2に示す音源分離エコー抑圧装置100Aは、遠端信号入力端子101a、101b、DA変換器102a、102b、スピーカ103a、103b、マイク104a、104b、AD変換器105a、105b、遠端信号周波数領域変換部106a、106b、遠端信号振幅スペクトル計算部107a、107b、推定エコーパス特性保持部108a、108b、推定エコー信号計算部109a、109b、近端入力信号周波数領域変換部110a、110b、音源分離ゲイン計算部111、音源分離部112、音源分離信号振幅スペクトル計算部113a、エコーサプレス後音源分離信号振幅スペクトル計算部113b、エコーサプレスゲイン計算部114a、114b、エコーサプレスゲイン補正部115a、115b、エコーサプレス部116a、116b、近端出力信号時間領域変換部117、近端信号入力端子118、近端出力信号振幅スペクトル計算部119、シングルトーク判定部120、推定エコーパス特性計算部121a、121b、推定エコーパス特性更新部122a、122bを有する。
(B−2)第2の実施形態の動作
第2の実施形態に係る音源分離エコー抑圧装置100Aにおける音源分離エコー抑圧処理の基本的な動作は、第1の実施形態で説明した音源分離エコー抑圧処理と同様である。
以下では、エコーサプレスゲイン補正部115a、115bにおける処理動作を中心に詳細に説明する。
遠端信号周波数領域変換部106a、106bはそれぞれ、例えば、高速フーリエ変換(FFT)等により、遠端信号を時間領域の信号から周波数領域の信号に変換し、変換された遠端信号の周波数スペクトルROUTa(i,ω)、ROUTb(i,ω)を遠端信号振幅スペクトル計算部107に出力する。
遠端信号振幅スペクトル計算部107b、107bはそれぞれ、周波数スペクトルROUTa(i,ω)、ROUTb(i,ω)を用いて、(18)式、(19)式に従い、遠端信号の振幅スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|を求める。
ここで、iはフレーム、ωは周波数ビン、ROUTa_real(i,ω)、ROUTb_real(i,ω)とROUTa_image(i,ω)、ROUTb_image(i,ω)は、フレームiにおける周波数ビンωの遠端信号の周波数スペクトルROUTa(i,ω)、ROUTb(i,ω)の実数部と虚数部を示しており、遠端信号の周波数スペクトルROUTa(i,ω)、ROUTb(i,ω)は、(20)式、(21)式で表すことができる。(20)式、(21)式のjは虚数を表している。
そして、遠端信号振幅スペクトル計算部107a、107bにより求められた遠端信号の周波数スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|は、推定エコー信号計算部109a、109bに出力する。
推定エコー信号計算部109a、109bはそれぞれ、推定エコーパス特性保持部108a、108bに保持している推定エコーパス特性|Ha(i−1,ω)|、|Hb(i−1,ω)|と、遠端信号の振幅スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|を用いて、(22)式、(23)式により、推定エコー信号の振幅スペクトル|ECHOa(i,ω)|、|ECHOb(i,ω)|が求められる。
(22)式、(23)式は、遠端信号の振幅スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|に、推定エコーパス特性保持部108a、108bに保持しているエコーパス特性|Ha(i−1,ω)|、|Hb(i−1,ω)|の対応する周波数ビンを乗じて、当該周波数ビンの推定エコー信号の振幅スペクトル|ECHOa(i,ω)|、|ECHOb(i,ω)|を求めるという式である。
そして、推定エコー信号計算部109a、109bにより求められた推定エコー信号の振幅スペクトル|ECHOa(i,ω)|、|ECHOb(i,ω)|をエコーサプレスゲイン計算部114a、114bに出力する。
音源分離信号振幅スペクトル計算部113aは、音源分離部112から音源分離信号の周波数スペクトルSEPA(i,ω)を用いて、(24)式に従い、近端入力信号の振幅スペクトル|SEPA(i,ω)|が求められる。音源分離信号の周波数スペクトルSEPA(i,ω)は、第1の実施形態の(5)式〜(7)式で表わされる。
そして、音源分離信号振幅スペクトル計算部113aにより求められた音源分離信号の振幅スペクトル|SEPA(i,ω)|は、エコーサプレスゲイン計算部114a、シングルトーク判定部120、及び推定エコーパス特性計算部121aに出力する。
エコーサプレスゲイン計算部114aでは、音源分離信号の振幅スペクトル|SEPA(i,ω)|と推定エコー信号の振幅スペクトル|ECHOa(i、ω)|とを取得して、(25)式を用いて、エコーサプレスゲインG
ESa(i,ω)を求める。
(25)式は、周波数ビン毎に音源分離信号の振幅スペクトル|SEPA(i,ω)|から推定エコー信号の振幅スペクトル|ECHOa(i,ω)|を差し引いた振幅スペクトルを、音源分離信号の振幅スペクトル|SEPA(i,ω)|で除することで、エコーサプレスゲインGESa(i,ω)を求めるという式である。エコーサプレスゲイン計算部114aにより求められたエコーサプレスゲインGESa(i,ω)は、エコーサプレスゲイン補正部115aに出力する。
エコーサプレスゲイン補正部115aでは、第1の実施形態のエコーサプレスゲイン補正部115と同様にして、音源分離部112で抑圧されている音響エコー信号を音源分離ゲインGSEPA(i,ω)とエコーサプレスゲインGESa(i,ω)とを比較して、その比較結果に応じてエコーサプレスゲインGESa_r(i,ω)の値を補正する。
ここで、音源分離部112で抑圧されている音響エコー信号の判定方法は、例えば、(26)式に従い、補正するか判定する。また、エコーサプレスゲイン補正部115aが判定して出力するエコーサプレスゲインG
ESa(i,ω)の値を、エコーサプレスゲインG
ESa_r(i,ω)と表記する。
(26)式において、音源分離ゲインGSEPA(i,ω)がエコーサプレスゲインGESa(i,ω)より小さいときは、音源分離部112で十分抑圧されている音響エコー信号と判定する。このとき、エコーサプレス部116aで大きく抑圧しないようにするために、エコーサプレスゲイン補正部115aは、(26)式に従い、エコーサプレスゲインGESa_r(i,ω)の値を1とする。
一方、音源分離ゲインGSEPA(i,ω)の値がエコーサプレスゲインGESa(i,ω)以上のときは、音源分離部112で十分抑圧されていない音響エコー信号と判定する。このとき、エコーサプレス部116aで抑圧するために、エコーサプレスゲイン補正部115aは、(26)式に従い、エコーサプレスゲインGESa(i,ω)の値をエコーサプレスゲインGESa_r(i,ω)とする。
エコーサプレスゲイン補正部115aは補正したエコーサプレスゲインGESa_r(i,ω)をエコーサプレス部116aに出力する。
エコーサプレス部116aでは、音源分離信号のスペクトルSEPA(i,ω)と、エコーサプレスゲイン補正部115aからのエコーサプレスゲインG
ESa_r(i,ω)とを用いて、(27)式、(28)式に従い、音源分離信号のスペクトルSEPA(i,ω)に重畳されている音響エコー信号を抑圧する。
ここで、SOUTa_real(i,ω)とSOUTa_image(i,ω)は、フレームiにおける周波数ビンωの音源分離信号の周波数スペクトルの実数部と虚数部を示しており、音源分離信号の周波数スペクトルSOUTa(i,ω)は、(29)式で表すことができる。(29)式のjは虚数を表している。
エコーサプレス後音源分離信号振幅スペクトル計算部113bは、エコーサプレス部116aによりエコーサプレス後の音源分離信号の周波数スペクトルSOUTa(i,ω)を用いて、(30)式に従い、近端入力信号の振幅スペクトル|SOUTa(i,ω)|を求める。
そして、音源分離信号振幅スペクトル計算部113aにより求められたエコーサプレス後の音源分離信号の振幅スペクトル|SOUTa(i,ω)|は、エコーサプレスゲイン計算部114b、推定エコーパス特性計算部121bに出力する。
エコーサプレスゲイン計算部114bでは、エコーサプレス部116によるエコーサプレス後の音源分離信号の振幅スペクトル|SOUTa(i,ω)|と推定エコー信号の振幅スペクトル|ECHOb(i、ω)|とを取得して、(31)式を用いて、エコーサプレスゲインG
ESb(i,ω)を求める。
(31)式は、周波数ビン毎に、エコーサプレス後の音源分離信号の振幅スペクトル|SOUTa(i,ω)|から推定エコー信号の振幅スペクトル|ECHOb(i,ω)|を差し引いた振幅スペクトルを、エコーサプレス後の音源分離信号の振幅スペクトル|SOUTa(i,ω)|で除することで、エコーサプレスゲインGESb(i,ω)を求めるという式である。エコーサプレスゲイン計算部114bにより求められたエコーサプレスゲインGESb(i,ω)は、エコーサプレスゲイン補正部115bに出力する。
エコーサプレスゲイン補正部115bでは、音源分離部112で抑圧されている音響エコー信号を音源分離ゲインGSEPA(i,ω)とエコーサプレスゲインGESb(i,ω)とを比較して、その比較結果に応じてエコーサプレスゲインGESb_r(i,ω)の値を補正する。
ここで、音源分離部112で抑圧されている音響エコー信号の判定方法は、例えば、(32)式に従い、補正するか否かを判定する。また、エコーサプレスゲイン補正部115bが判定して出力するエコーサプレスゲインG
ESb(i,ω)の値を、エコーサプレスゲインG
ESb_r(i,ω)と表記する。
(32)式において、音源分離ゲインGSEPA(i,ω)がエコーサプレスゲインGESb(i,ω)より小さいときは、音源分離部112で十分抑圧されている音響エコー信号と判定する。このとき、エコーサプレス部116bで大きく抑圧しないようにするために、エコーサプレスゲイン補正部115bは、(32)式に従い、エコーサプレスゲインGESb_r(i,ω)の値を1とする。
一方、音源分離ゲインGSEPA(i,ω)の値がエコーサプレスゲインGESb(i,ω)以上のときは、音源分離部112で十分抑圧されていない音響エコー信号と判定する。このとき、エコーサプレス部116bで抑圧するために、エコーサプレスゲイン補正部115bは、(32)式に従い、エコーサプレスゲインGESb(i,ω)の値をエコーサプレスゲインGESb_r(i,ω)とする。
エコーサプレスゲイン補正部115bは補正したエコーサプレスゲインGESb_r(i,ω)をエコーサプレス部116bに出力する。
エコーサプレス部116bでは、音源分離信号のスペクトルSOUTa(i,ω)と、エコーサプレスゲイン補正部115bからのエコーサプレスゲインG
ESb_r(i,ω)とを用いて、(33)式、(34)式に従い、エコーサプレス後の音源分離信号のスペクトルSOUTa(i,ω)に重畳されている音響エコー信号を抑圧する。
ここで、SOUTb_real(i,ω)とSOUTb_image(i,ω)は、フレームiにおける周波数ビンωの近端出力信号の周波数スペクトルの実数部と虚数部を示しており、近端出力信号の周波数スペクトルSOUTb(i,ω)は、(35)式で表すことができる。(35)式のjは虚数を表している。
近端出力信号時間領域変換部117は、第1の実施形態と同様にして、近端出力信号のスペクトルSOUTb(i,ω)が、例えば、逆高速フーリエ変換(InverseFFT)等により、時間領域のデジタル音信号に変換し、近端出力信号を近端信号出力端子118に出力する。
近端信号出力端子118は、例えば、IP網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、近端出力信号を接続されている回線を介して通話相手である遠端側に出力する。
近端出力信号振幅スペクトル計算部119では、近端出力信号の周波数スペクトルSOUTb(i,ω)を用いて、(36)式に従い、近端出力信号の振幅スペクトル|SOUTb(i,ω)|が求められる。
そして、近端出力信号振幅スペクトル計算部124は、算出した近端入力信号の振幅スペクトル|SOUTb(i,ω)|をシングルトーク判定部120に出力する。
シングルトーク判定部120では、音源分離信号がシングルトークかシングルトーク以外かを音源分離入力信号の振幅スペクトル|SEPA(i,ω)|と近端出力信号の振幅スペクトル|SOUTb(i,ω)|とを用いて判定する。シングルトークかシングルトーク以外かを判定する手法は、例えば、(37)式に従い、シングルトークかシングルトーク以外かを判定する手法がある。(37)式のFsはサンプリング周波数、TH1は閾値である。
(37)式の条件が真のときはシングルトークと判定し、偽のときはシングルトーク以外として判定する。閾値TH1は、(37)式の場合、シングルトーク時は(37)式の左辺が小さい値になるので、小さい固定値(例えばTH1=0.3)やフレームで変化する変数などにしても良い。なお、シングルトークかシングルトーク以外か否かの判定方法は、種々の方法を広く適用することができ、例えば、遠端信号の振幅スペクトルと各近端入力信号の振幅スペクトルとの相関を求めて相関が高いときはシングルトークとする方法で判定しても良い。シングルトーク判定部120は、シングルトーク判定結果を推定エコーパス特性更新部122a、122bに出力する。
推定エコーパス特性計算部121a、121bは、現フレームの推定エコーパス特性|Ha
1(i,ω)|、|Hb
1(i,ω)|を遠端信号の振幅スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|と音源分離信号の振幅スペクトル|SEPA(i,ω)|を用いて、(38)式、(39)式に従い求める。
現フレームの推定エコーパス特性|Ha1(i,ω)|、|Hb1(i,ω)|が求まれば推定エコーパス特性更新部122a、122bに現フレームの推定エコーパス特性|Ha1(i,ω)|、|Hb1(i,ω)|を出力する。
推定エコーパス特性更新部122a、122bは、シングルトーク判定部120a、120bでシングルトークと判定されたフレームで、推定エコーパス特性|Ha
1(i,ω)|、|Hb
1(i,ω)|と推定エコーパス特性保持部108a、108bに保持されている推定エコーパス特性|Ha(i−1,ω)|、|Hb(i−1,ω)|から推定エコーパス特性|Ha(i,ω)|、|Ha(i,ω)|を(40)式、(41)式に従って更新する。
aは時定数フィルタの係数であり、aは0以上、1以下の値であって、エコーパス特性の更新を遅くしたい場合は1に近い値が望ましく(例えばa=0.99等の値)、更新を早くしたい場合は0に近い値が望ましい(例えばa=0.01等の値)。推定エコーパス特性更新部122a、120bは更新したエコーパス特性|H(i,ω)|を推定エコーパス特性保持部108a、108bに保持させる。
一方、シングルトーク判定部120a、120bでシングルトーク以外と判定されたフレームはエコーパス特性の更新を行わない。
(B−3)第2の実施形態の効果
以上のように、第2の実施形態によれば、第1の実施形態の効果に加えて、スピーカを増設したステレオエコーを抑圧することができる。
(C)他の実施形態
上述した各実施形態においても、種々の変形実施形態を説明したが、本発明は以下の変形実施形態についても適用することができる。
(C−1)上述した各実施形態で説明した音源分離エコー抑圧装置は、例えば、テレビ会議システムや電話会議システム等に用いられる音声通信装置を含む装置に搭載されるようにしても良い。また、携帯電話機やスマートフォン等の携帯端末に本発明の音源分離エコー抑圧装置が搭載されるようにしても良い。
(C−2)上述した第2の実施形態において、推定した推定エコー信号の相関を考慮して、複数のステレオ信号の相関があるときには、過度の抑圧を防止するために、推定エコー信号の振幅スペクトルと音源分離信号の振幅スペクトルとの差分をとることで、相関成分を除去するようにしても良い。