JP5937451B2 - エコー消去装置、エコー消去方法及びプログラム - Google Patents
エコー消去装置、エコー消去方法及びプログラム Download PDFInfo
- Publication number
- JP5937451B2 JP5937451B2 JP2012162822A JP2012162822A JP5937451B2 JP 5937451 B2 JP5937451 B2 JP 5937451B2 JP 2012162822 A JP2012162822 A JP 2012162822A JP 2012162822 A JP2012162822 A JP 2012162822A JP 5937451 B2 JP5937451 B2 JP 5937451B2
- Authority
- JP
- Japan
- Prior art keywords
- domain
- wave number
- echo
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
<第一実施形態のポイント>
第一実施形態では、受話信号から残留エコーへの伝達特性を高速に推定する手段と、波数領域において誤差信号から残留エコーを差し引く手段とを備える。伝達特性推定では、波数ごとに受話信号と誤差信号の相関を利用することで推定を高速化し、残留エコー以外の信号による推定揺らぎを抑える。
図1はマルチチャネル通信会議システムにおけるエコー消去装置100の配置例を、図2はエコー消去装置100の機能ブロック図を、図3はその処理フローを示す。
周波数領域変換部11は、Pチャネルの時間領域の受話信号x(p,n)を受け取り、チャネルp毎に周波数領域の受話信号Xf(p,i)に変換し(s1)、P×2F個の周波数領域の受話信号Xf(p,i)を波数変換部12に出力する。ただし、iはフレーム番号を、2Fは1フレーム内に含まれるサンプル数を、fは周波数のインデックスを表し、f=0,1,…,2F−1である。信号のサンプリング周波数をfSとすると、Xf(p,i)はフレームiにおけるチャネルpの受話信号の周波数fSf/2F[Hz]の成分を表す。なお、周波数領域変換の方法としては、高速フーリエ変換(Fast Fourier Transform;以下「FFT」と略す)等が考えられる。
x(p,i)=[x(p,(iF/D)-2F+1),x(p,(iF/D)-2F+2),…,x(p,iF/D)]T (1)
である。ただし、Tは転置を表す。以下、各信号を1フレーム=2Fサンプル、シフト量F/Dサンプルでブロック化する。FFT計算を簡略化・高速化するために、Fを2のべき乗にとることが多い。以下ではD≧2の場合を示す。
X(p,i)=FFT(x(p,i))=[X0(p,i) … Xf(p,i) … X2F-1(p,i)] (2)
なお、受話信号X(p,i)を含め、周波数領域の各信号は短時間スペクトルにより表される。
波数変換部12は、P×2F個の周波数領域の受話信号Xf(p,i)を受け取り、以下の式(3)や(4)により、周波数f毎に波数領域の受話信号X(W) f(k,i)に変換し(s3)、P×2F個の波数領域の受話信号X(W) f(k,i)を波数領域エコーレプリカ生成部21及び残留エコー消去部120に出力する。ただし、kは波数のインデックスであり、Kを自然数とし、チャネル数Pが偶数でP=2Kのときk=−K+1,−K+2,…,−1,0,1,…,Kであり、チャネル数Pが奇数でP=2K+1のときk=−K,−K+1,…,−1,0,1,…,Kである。
X(W) f(i)=FFT([Xf(1,i) Xf(2,i) … Xf(P,i)])
=[X(W) f(0,i) … X(W) f(k,i) … X(W) f(K,i) X(W) f(-K+1,i) … X(W) f(-1,i)] (3)
である。
X(W) f(i)=FFT([Xf(1,i) Xf(2,i) … Xf(P,i)])
=[X(W) f(0,i) … X(W) f(k,i) … X(W) f(K,i) X(W) f(-K,i) … X(W) f(-1,i)] (4)
である。波数領域への変換は、2のべき乗の点数を持つFFTで高速に行うため、以下、チャネル数Pが偶数の場合(P=2K)について説明を進める。なお、受話信号X(W) f(k,i)を含め、波数領域の各信号は短時間スペクトルにより表される。
波数領域エコーレプリカ生成部21は、P×2F個の波数領域の受話信号X(W) f(k,i)とP×2F個の波数領域の誤差信号E(W) f(k,i)(詳細は後述する)とを受け取り、これらの値を用いて、f≦Fにおいて、P×(F+1)個の波数領域のエコーレプリカY^(W) f(k,i)を生成し、逆波数変換部31に出力する。なお、エコーレプリカとは、収音信号に含まれるエコーを模したものであり、エコーの推定値である。
波数領域エコーレプリカ生成部21の乗算部215は、P×2F個の波数領域の受話信号X(W) f(k,i)を受け取る。また、後述するフィルタ係数部213からP×(F+1)×(2δ+1)個の波数領域のフィルタ係数H(W) f(k,k+dk,i)(ただしf≦F)を受け取る。ただし、dk=−δ,−δ+1,…,−1,0,1,…,δ−1,δである。δとして、非特許文献2では1もしくは2が推奨されている。乗算部215は、f≦Fにおいて、次式のように、受話信号X(W) f(k,i)にフィルタ係数H(W) f(k,k+dk,i)を乗じて、波数領域のエコーレプリカY^(W) f(k,i)を生成し(s5)、逆波数変換部31に出力する。
Y^(W) f(k,i)=H(W) f(k,k,i)X(W) f(k,i) (6)
なお、修正量算出部211及びフィルタ係数部213の処理については後述する。
逆波数変換部31は、P×(F+1)個の波数領域のエコーレプリカY^(W) f(k,i)を受け取り(ただしf≦F)、次式のように周波数f毎に周波数領域のエコーレプリカY^f(p,i)に変換する(s9)。
[Y^f(1,i) Y^f(2,i) … Y^f(P,i)]
=IFFT([Y^(W) f(0,i)…Y^(W) f(k,i)…Y^(W) f(K,i) Y^(W) f(-K+1,i)…Y^(W) f(-1,i)]) (7)
なお、周波数f>Fについては、実数信号のFFT結果に関する対称性から、次式で周波数領域のエコーレプリカY^f(p,i)を求める。
Y^f(p,i)=conj(Y^2F-f(p,i)) (8)
ここで、conj(・)は、・の複素共役をとることを意味する。このようにして求めた合計P×2F個の周波数領域のエコーレプリカY^f(p,i)を時間領域変換部32に出力する。なお、逆波数変換方法としては、波数変換部12における波数領域変換方法に対応するものを用いればよい。
時間領域変換部32は、P×2F個の周波数領域のエコーレプリカY^f(p,i)を受け取り、次式のように、チャネルp毎に周波数領域のエコーレプリカY^f(p,i)を逆FFTし、時間領域のエコーレプリカ信号ベクトルy^(p,i)(要素数はF個)に変換する(s9)。
y^(p,i)=[IF 0F]IFFT([Y^0(p,i)…Y^f(p,i)…Y^2F-1(p,i)]) (9)
ここで0FはF×Fの零行列、IFはF×Fの単位行列である。P個の時間領域のエコーレプリカ信号ベクトルy^(p,i)をそれぞれP個の減算部33pに出力する。時間領域変換方法としては、周波数領域変換部11における周波数領域変換方法に対応するものを用いればよい。
減算部33pは、時間領域のエコーレプリカ信号ベクトルy^(p,i)とマイクロホン3pで収音される収音信号y(p,n)とを受け取る。収音信号y(p,n)を1フレーム=Fサンプル、シフト量F/Dサンプルで
y(p,i)=[y(p,(iF/D)-F+1),x(p,(iF/D)-F+2),…,x(p,iF/D)]T
のようにブロック化し、収音信号ベクトルy(p,i)とする。減算部33pは、次式のように時間領域の収音信号ベクトルy(p,i)から時間領域のエコーレプリカ信号ベクトルy^(p,i)を差し引き(s11)、時間領域の誤差信号ベクトルe(p,i)(要素数はF個)を求め、フレーム合成部34及び誤差周波数領域変換部41に出力する。
e(p,i)=y(p,i)-y^(p,i) (10)
このような構成により、エコー消去装置100は、エコー消去を図る。
フレーム合成部34は、P個の時間領域の誤差信号ベクトルe(p,i)を受け取る。周波数領域変換部11において受話信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部34は、フレームiで求めた誤差信号ベクトルe(p,i)と一つ前のフレームi−1で求めた誤差信号ベクトルe(p,i−1)とに対して窓かけ処理を行った上で、合成し(s13)、合成後のP個の時間領域の誤差信号ベクトルe’(p,i)を残留エコー消去部120に出力する。
e'(p,i)=[0F/D IF/D]diag(WH)e(p,i-1)+[IF/D0F/D]diag(WH)e(p,i) (11)
ただし、0F/Dは(F/D)×(F/D)のゼロ行列、IF/Dは(F/D)×(F/D)の単位行列、diag(・)は・を対角成分とし、それ以外が零であるような行列である。
誤差周波数領域変換部41は、P個の時間領域の誤差信号ベクトルe(p,i)を受け取り、次式のように、チャネルp毎に時間領域の誤差信号ベクトルe(p,i)に0詰めをしたものを周波数領域に変換し(s15)、P×2F個の周波数領域の誤差信号Ef(p,i)を誤差波数変換部42に出力する。
誤差波数変換部42は、P×2F個の周波数領域の誤差信号Ef(p,i)を受け取り、次式により、周波数f毎に波数領域の誤差信号E(W) f(k,i)に変換し(s17)、P×2F個の波数領域の誤差信号E(W) f(k,i)を波数領域エコーレプリカ生成部21に出力する。
E(W) f(p,i)=FFT([Ef(1,i) … Ef(P,i)]
=[E(W) f(0,i) … E(W) f(k,i) … E(W) f(K,i) E(W) f(-K+1,i) … E(W) f(-1,i)] (13)
波数領域エコーレプリカ生成部21内の修正量算出部211は、P×2F個の波数領域の受話信号X(W) f(k,i)とP×2F個の波数領域の誤差信号E(W) f(k,i)とを受け取り(図2及び図4参照)、f(f≦F)において、−K+1≦k≦Kの範囲で、次式のように波数領域の適応フィルタのフィルタ係数の修正量dH(W) f(k,k+dk,i)(ただし−δ≦dk≦δ)を算出し(s19)、P×(F+1)×(2δ+1)個の修正量dH(W) f(k,k+dk,i)をフィルタ係数部213に出力する。
波数領域エコーレプリカ生成部21内のフィルタ係数部213は、P×(F+1)×(2δ+1)個の修正量dH(W) f(k,k+dk,i)を受け取り(ただしf≦F)、次式でフィルタ係数H(W) f(k,k+dk,i)を更新し(s21)、P×(F+1)×(2δ+1)個の更新後の波数領域のフィルタ係数H(W) f(k,k+dk,i+1)を乗算部215に出力する。
H(W) f(k,k+dk,i+1)=H(W) f(k,k+dk,i)+μdH(W) f(k,k+dk,i) (16)
ただし、μは0〜1の値をとるステップサイズである。乗算部215における処理は前述の通りである。
残留エコー消去部120は、P×2F個の波数領域の受話信号X(W) f(k,i)と、合成後のP個の時間領域の誤差信号ベクトルe’(p,i)とを受け取り、波数領域の誤差信号に含まれる残留エコーを推定し、消去し(s23)、P個の時間領域の送話信号v(p,n)を出力する。
周波数領域変換部121は、合成後のP個の時間領域の誤差信号ベクトルe’(p,i)(要素数はF/D個)を受け取り、次式のように、チャネルp毎にフレームiにおける誤差信号ベクトルe’(p,i)と一つ前のフレームi−1における誤差信号ベクトルe’(p,i−1)とを用いて、周波数領域の誤差信号Uf(p,i)に変換し(s231)、P×2F個の周波数領域の誤差信号Uf(p,i)を波数変換部122に出力する。例えば、周波数領域変換部11と同様の方法により周波数領域に変換する。
U(p,i)=FFT([e'T(p,i-1),e'T(p,i)])=[U0(p,i) … Uf(p,i) … U2F-1(p,i)] (17)
波数変換部12は、P×2F個の周波数領域の誤差信号Uf(p,i)を受け取り、次式により、周波数f毎に波数領域の誤差信号U(W) f(k,i)に変換し(s232)、P×2F個の波数領域の誤差信号U(W) f(k,i)を波数領域残留エコー推定消去部123に出力する。
U(W) f(i)=FFT([Uf(1,i) Uf(2,i) … Uf(P,i)])
=[U(W) f(0,i) … U(W) f(k,i) … U(W) f(K,i) U(W) f(-K+1,i) … U(W) f(-1,i)] (18)
波数領域残留エコー推定消去部123は、P×2F個の波数領域の受話信号X(W) f(k,i)と、P×2F個の波数領域の誤差信号U(W) f(k,i)とを受け取り、これらの値を用いて、f≦Fにおいて、誤差信号U(W) f(k,i)に含まれる残留エコーを推定し、消去し(s233)、P×(F+1)個の波数領域の送話信号V(W) f(p,i)を求め、逆波数変換部124に出力する。以下、処理の詳細を説明する。
入出力相関係数算出部1231は、P×2F個の波数領域の受話信号X(W) f(k,i)とP×2F個の波数領域の誤差信号U(W) f(k,i)とを受け取り、f≦Fにおいて、波数領域の残留エコー信号を出力とする系の伝達特性を推定するために、時刻n=iF/Dにおける波数領域の受話信号X(W) f(k,i)と波数領域の誤差信号U(W) f(k,i)とから
Pf(k,i)=E[X(W)* f(k,i)X(W) f(k,i)]
Qf(k,i)=E[X(W)* f(k,i)U(W) f(k,i)] (19)
により、受話信号のパワースペクトルPf(k,i)と、受話信号と誤差信号との間のクロススペクトルQf(k,i)とを算出し(s2331)、入出力伝達特性推定部1232に出力する。ただし、iはフレーム番号であり、時刻nとはn=iF/Dの関係があり、*は複素共役を、E[ ]は平均をとることを表す。平均処理の一例としては、
E[X(W)* f(k,i)X(W) f(k,i)]
=βE[X(W)* f(k,i-1)X(W) f(k,i-1)]+(1-β)X(W)* f(k,i)X(W) f(k,i)
のように、1フレーム前の処理結果と0〜1の値をとる平滑化定数βを用いる方法や過去の数〜数十フレームの統計的平均値として求める方法等が考えられる。
入出力伝達特性推定部1232は、P×(F+1)個のパワースペクトルPf(k,i)とP×(F+1)個のクロススペクトルQf(k,i)とを受け取り、f(f≦F)において、パワースペクトルPf(k,i)及びクロススペクトルQf(k,i)から
残留エコー推定部1233は、P×(F+1)個の波数領域の受話信号X(W) f(k,i)と、P×(F+1)個の推定値Gf(k,i)とを受け取り、f(f≦F)において、次式のように、受話信号X(W) f(k,i)に推定値Gf(k,i)を乗じて、残留エコーを推定し(s2333)、推定値ΔY(W) f(k,i)を残留エコー補正部1234に出力する。
ΔY(W) f(k,i)=Gf(k,i)X(W) f(k,i) (21)
残留エコー補正部1234は、P×(F+1)個の推定値ΔY(W) f(k,i)と、P×(F+1)個の波数領域の誤差信号U(W) f(k,i)とを受け取り、f(f≦F)において、次式で補正し(s2334)、補正後の残留エコーの推定値ΔYII(W) f(k,i)を減算部1235に出力する。
S(W) f(k,i)=U(W) f(k,i)-ΔY(W) f(k,i) (23)
また、Tは各スペクトルの推定の自由度の数であり、入出力相関係数算出部1231においてパワースペクトルPf(k,i)及びクロススペクトルQf(k,i)を算出するときのフレーム数(つまり、各スペクトル推定に使用するフレーム数)が、これにあたる。
Mは入力変数の数であり、式(20)の場合にはM=1になる。またF2M,T−2M,alphaは、自由度n1=2M、n2=T−2MのF分布の100×alpha百分比点である。
(参考文献1)J.S.ベンダット、A.G.ピアソル、「ランダムデータの統計的処理」、培風館、1976年、p.194〜197
減算部1235は、P×2F個の波数領域の誤差信号U(W) f(k,i)と、P×(F+1)個の波数領域の補正後の残留エコーの推定値ΔYII(W) f(k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U(W) f(k,i)から残留エコーの推定値ΔYII(W) f(k,i)を差し引いて(s2335)、差分を波数領域の送話信号V(W) f(k,i)として求め、逆波数変換部124に出力する。
V(W) f(k,i)=U(W) f(k,i)-ΔYII(W) f(k,i) (25)
逆波数変換部124は、P×(F+1)個の波数領域の送話信号V(W) f(k,i)を受け取り(図6参照)、f(f≦F)において、次式のように周波数f毎に周波数領域の送話信号Vf(p,i)に変換する(s234)。
[Vf(1,i) Vf(2,i) … Vf(P,i)]
=IFFT([V(W) f(0,i)…V(W) f(k,i)…V(W) f(K,i) V(W) f(-K+1,i)…V(W) f(-1,i)]) (26)
なお、周波数f>Fについては、実数信号のFFT結果に関する対称性から、次式で周波数領域の送話信号Vf(p,i)を求める。
Vf(p,i)=conj(V2F-f(p,i))
このようにして求めた合計P×2F個の周波数領域の送話信号Vf(p,i)を時間領域変換部125に出力する。なお、逆波数変換方法としては、波数変換部122における波数領域変換方法に対応するものを用いればよい。
時間領域変換部125は、P×2F個の周波数領域の送話信号Vf(p,i)を受け取り、次式のように、チャネルp毎に周波数領域の送話信号Vf(p,i)を逆FFTし、時間領域の送話信号ベクトルv(p,i)(要素数は2F個)に変換し(s235)、フレーム合成部126に出力する。
v(p,i)=IFFT([V0(p,i)…Vf(p,i)…V2F-1(p,i)]) (27)
時間領域変換方法としては、周波数領域変換部121における周波数領域変換方法に対応するものを用いればよい。
フレーム合成部126は、P個の時間領域の送話信号ベクトルv(p,i)を受け取る。周波数領域変換部11において、受話信号x(p,n)をD≧2でフレーム化した場合には、フレーム合成部126は、フレームiで求めた送話信号v(p,i)と一つ前のフレームi−1で求めた送話信号v(p,i−1)とに対して窓かけ処理を行った上で、合成し(s236)、合成後の送話信号ベクトルv’(p,i)(要素数はF/D個)の要素v(p,n−F/D+1),v(p,n−F/D+2),…,v(p,n)を逐次、エコー消去装置100の出力値として出力する。ただし、n=iF/Dの関係にある。なお、その処理内容は、フレーム合成部34の処理と同等である。
このような構成により、波数領域の受話信号X(W) f(k,i)と波数領域の誤差信号U(W) f(k,i)とから波数領域で残留エコーを推定し、誤差信号U(W) f(k,i)から残留エコーの推定値ΔY(W) f(k,i)を差し引く。これにより波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができるという効果を奏する。
第一実施形態と異なる部分についてのみ説明する。波数領域残留エコー推定消去部123の処理(s233)において、残留エコーを補正しない構成としてもよい。この場合、波数領域残留エコー推定消去部123は、残留エコー補正部1234を含まず、減算部1235では、残留エコー推定部1233の出力値である残留エコーの推定値ΔY(W) f(k,i)を補正せずにそのまま用いる。
第一実施形態または第一変形例と異なる部分についてのみ説明する。
波数領域残留エコー推定消去部123は、波数領域の受話信号X(W) f(k,i)と波数領域エコーレプリカ生成部21で生成されたエコーレプリカY^(W) f(k,i)の線形和として波数領域の残留エコーを推定する。
線形和重み算出部1236は、P×2F個の波数領域の受話信号X(W) f(k,i)と、P×2F個の波数領域の誤差信号U(W) f(k,i)と、P×2F個の波数領域のエコーレプリカY^(W) f(k,i)とを受け取り、f(f≦F)において、以下のように相互スペクトルを係数とする式を解いて線形和重みc’f,1(k,i)及びc’f,2(k,i)を算出する(s2336)。
線形和算出部1237は、P×(F+1)個の線形和重みcf,1(k,i)と、P×(F+1)個の線形和重みcf,2(k,i)と、P×2F個の波数領域の受話信号X(W) f(k,i)と、P×2F個の波数領域のエコーレプリカY^(W) f(k,i)とを受け取り、次式のように、f(f≦F)において、受話信号X(W) f(k,i)とエコーレプリカY^(W) f(k,i)との線形和V^(W) f(k,i)を算出し(s2337)、この線形和V^(W) f(k,i)を残留エコーの推定値ΔY(W) f(k,i)として減算部1235に出力する。
V^(W) f(k,i)=X(W) f(k,i)cf,1(k,i)+Y^(W) f(k,i)cf,2(k,i) (30)
減算部1235は、P×2F個の波数領域の誤差信号U(W) f(k,i)と、P×(F+1)個の波数領域の残留エコーの推定値ΔY(W) f(k,i)とを受け取り、f(f≦F)において、次式のように波数領域で誤差信号U(W) f(k,i)から波数領域の残留エコーの推定値ΔY(W) f(k,i)を差し引いて(s2235)、波数領域の送話信号V(W) f(k,i)を求め、逆波数変換部124に出力する。
V(W) f(k,i)=U(W) f(k,i)-ΔY(W) f(k,i)
このような構成により、第一実施形態と同様の効果を得ることができる。本変形例では、第一実施形態に比べ計算量は増えるが、エコーレプリカを残留エコー推定に含めることで、フレーム長が部屋の残響時間と比較して大幅に短い場合でも、残留エコー消去性能の劣化を抑えることができる。
波数領域においてエコーレプリカを求める方法については、上述の方法以外の既存技術を用いてもよい。また、既存技術を用いて、周波数領域や時間領域においてエコーレプリカを求めてもよい。ただし、時間領域の収音信号から時間領域のエコーレプリカを差し引く構成のほうが、エコー消去の精度が高いことが知られているため、仮に周波数領域においてエコーレプリカを求めた場合も、時間領域に変換した上で、時間領域の収音信号から差し引く構成とすることが望ましい。
<第二実施形態のポイント>
第一実施形態と異なる部分についてのみ説明する。
(参考文献2)T. Ajdler, L. Sbaiz, and M. Vetterli, "Dynamic measurement of room impulse responses using a moving microphone", The Journal of the Acoustical Society of America, 2007, vol. 122, issue 3, p. 1636-1645
p(x,t)=ej(ω0t+φ0xcosα) (31)
になる。ただし、上付き添え字中のω0及びφ0はそれぞれω0及びφ0を表し、ω0及びφ0はそれぞれ周波数f0の角周波数及び波数を表し、音速をvelocとして、φ0は
φ0=ω0/veloc (32)
である。このx−t軸上の音圧を周波数−波数領域に変換すると
図14は第二実施形態に係るエコー消去装置内の波数領域残留エコー推定消去部123の機能ブロック図を、図15はその処理フローを示す。第二実施形態と第一実施形態との相違は、波数領域残留エコー推定消去部123の内部のみである。
波数限定部1238は、f(f≦F)において、周波数f毎に波数kの有効範囲を算出し(s2338)、この有効範囲を波数領域残留エコー推定消去部123内の各部に出力する(ただし、図中各部への出力を省略する)。例えば、周波数fの一次関数で表す式(37)により波数kの上限max_k(f)を求める。
-max_k(f)≦k≦max_k(f) (39)
で、各処理(s2331〜s2335)を行い、残留エコーの消去を図る。
波数0詰め部1239は、減算部1235からP×(F+1)個の波数領域の送話信号V(W) f(k,i)を受け取り、f(f≦F)において、有効範囲外の波数、すなわちk<−max_k(f)及びmax_k(f)<kの範囲で、波数領域の送話信号V(W) f(k,i)を0とし(s2339)、逆波数変換部124に出力する。
このような構成により、第一実施形態と同様の効果を得ることができ、さらに、計算量を減らすことができるという効果を奏する。
波数領域エコーレプリカ生成部21内の修正量算出部211、フィルタ係数部213及び乗算部215において、波数限定部1238で算出した波数kの有効範囲内(−max_k(f)≦k≦max_k)においてのみ処理を行い、図示しない波数0詰め部において有効範囲外(k<−max_k(f)及びmax_k(f)<k)でエコーレプリカY^(W) f(k,i)を0とする構成としてもよい。このような構成とすることで、さらに、計算量を減らすことができる。
第一実施形態及び第二実施形態の効果を検証するために、シミュレーションを行った。残響時間150msの部屋で、直線状スピーカアレー(32素子、間隔6cm)と直線状マイクロホンアレー(32素子、間隔6cm)を50cm離して平行に配置し(P=32)、スピーカ・マイクロホン間の全エコー経路インパルス応答を測定した。サンプリング周波数fsを8kHzに設定し、フレーム長として2F=1024を用いた。受話信号は、それぞれ異なる位置に配置した2音源が交互に白色雑音を再生する状況をシミュレートし、32個のマイクロホンによる収音を模擬して生成した。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
上述したエコー消去装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置(各種実施形態で図に示した機能構成をもつ装置)として機能させるためのプログラム、またはその処理手順(各実施形態で示したもの)の各過程をコンピュータに実行させるためのプログラムを、CD−ROM、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
12 波数変換部
21 波数領域エコーレプリカ生成部
31 逆波数変換部
32 時間領域変換部
33p 減算部
34 フレーム合成部
41 誤差周波数領域変換部
42 誤差波数変換部
100 エコー消去装置
120 残留エコー消去部
121 周波数領域変換部
122 波数変換部
123 波数領域残留エコー推定消去部
124 逆波数変換部
125 時間領域変換部
126 フレーム合成部
211 修正量算出部
213 フィルタ係数部
215 乗算部
1231 入出力相関係数算出部
1232 入出力伝達特性推定部
1233 残留エコー推定部
1234 残留エコー補正部
1235 減算部
1236 算出部
1237 線形和算出部
1238 波数限定部
1239 波数0詰め部
Claims (8)
- Pを2以上の整数とし、P個のスピーカとP個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去装置であって、
時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換部と、
周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換部と、
波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算部と、
波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換部と、
周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換部と、
前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算部と、
時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換部と、
周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換部と、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出部と、
前記修正量を用いて前記フィルタ係数を更新するフィルタ係数部と、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去部とを含む、
エコー消去装置。 - 請求項1記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、前記受話信号のパワースペクトルと、前記受話信号と前記誤差信号との間のクロススペクトルとを算出する入出力相関係数算出部と、
前記パワースペクトルと前記クロススペクトルとを用いて、前記受話信号と前記誤差信号との入出力伝達特性を推定する入出力伝達特性推定部と、
波数領域の前記受話信号に前記入出力伝達特性の推定値を乗じて、前記残留エコーを推定する残留エコー推定部と、
波数領域の前記誤差信号と前記残留エコーの推定値との差分を前記送話信号として求める第二減算部とを含む、
エコー消去装置。 - 請求項2記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
前記残留エコーの前記推定値に、前記入出力伝達特性の前記推定値の信頼区間の下端の値に基づく値を乗じることにより、前記残留エコーの前記推定値を補正する残留エコー補正部をさらに含み、
前記第二減算部は、波数領域の前記誤差信号と補正後の前記残留エコーの前記推定値との差分を前記送話信号として求める、
エコー消去装置。 - 請求項1記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
波数領域の前記受話信号と波数領域の前記エコーレプリカと波数領域の前記誤差信号とを用いて、線形和重みを算出する線形和重み算出部と、
波数領域の前記受話信号と波数領域の前記エコーレプリカとを前記線形和重みを用いて、重み付けし、その線形和を算出する線形和算出部と、
波数領域の前記誤差信号と前記線形和との差分を前記送話信号として求める第二減算部とを含む、
エコー消去装置。 - 請求項1から請求項5の何れかに記載のエコー消去装置であって、
前記波数領域残留エコー推定消去部は、
周波数毎に波数の有効範囲を算出する波数限定部と、
前記有効範囲外の波数における波数領域の前記送話信号を0とする波数0詰め部とをさらに含み、
前記波数領域残留エコー推定消去部内の前記波数限定部及び前記波数0詰め部を除く各部において、前記有効範囲内で処理を行う、
エコー消去装置。 - Pを2以上の整数とし、P個のスピーカとP個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去方法であって、
時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換ステップと、
周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換ステップと、
波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算ステップと、
波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換ステップと、
周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換ステップと、
前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算ステップと、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出ステップと、
前記修正量を用いて前記フィルタ係数を更新するフィルタ係数ステップと、
時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換ステップと、
周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換ステップと、
波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去ステップとを含む、
エコー消去方法。 - 請求項1から請求項6記載のエコー消去装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012162822A JP5937451B2 (ja) | 2012-07-23 | 2012-07-23 | エコー消去装置、エコー消去方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012162822A JP5937451B2 (ja) | 2012-07-23 | 2012-07-23 | エコー消去装置、エコー消去方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014023110A JP2014023110A (ja) | 2014-02-03 |
JP5937451B2 true JP5937451B2 (ja) | 2016-06-22 |
Family
ID=50197497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012162822A Expired - Fee Related JP5937451B2 (ja) | 2012-07-23 | 2012-07-23 | エコー消去装置、エコー消去方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5937451B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015115624A (ja) * | 2013-12-09 | 2015-06-22 | 日本電信電話株式会社 | エコー消去装置、エコー消去方法及びプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113050058B (zh) * | 2021-03-23 | 2022-08-30 | 北京环境特性研究所 | 一种基于周期延拓的运动目标多普勒频移获得方法及装置 |
CN114061730B (zh) * | 2022-01-19 | 2023-09-19 | 中国船舶工业***工程研究院 | 目标散射回波变步长快速自适应估计方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3543636B2 (ja) * | 1998-09-17 | 2004-07-14 | ヤマハ株式会社 | ハウリング抑圧方法及び装置 |
JP3673727B2 (ja) * | 2000-11-22 | 2005-07-20 | 日本電信電話株式会社 | 反響消去方法、その装置、そのプログラム及びその記録媒体 |
JP5469564B2 (ja) * | 2010-08-09 | 2014-04-16 | 日本電信電話株式会社 | 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム |
-
2012
- 2012-07-23 JP JP2012162822A patent/JP5937451B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015115624A (ja) * | 2013-12-09 | 2015-06-22 | 日本電信電話株式会社 | エコー消去装置、エコー消去方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2014023110A (ja) | 2014-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9210504B2 (en) | Processing audio signals | |
JP5762956B2 (ja) | ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法 | |
JP4957810B2 (ja) | 音処理装置、音処理方法及び音処理プログラム | |
JP5391103B2 (ja) | 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体 | |
JP2004349806A (ja) | 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体 | |
KR101182017B1 (ko) | 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치 | |
JP5762479B2 (ja) | 音声スイッチ装置、音声スイッチ方法、及びそのプログラム | |
JP5469564B2 (ja) | 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム | |
JP5662232B2 (ja) | エコー消去装置、その方法及びプログラム | |
JP5937451B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
KR101587844B1 (ko) | 마이크로폰의 신호 보상 장치 및 그 방법 | |
JP3756828B2 (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP2003309493A (ja) | 反響低減方法、反響低減装置、反響低減プログラム | |
JP4700673B2 (ja) | エコー消去方法、装置、プログラム、および記録媒体 | |
JP5774062B2 (ja) | エコー消去装置、エコー消去方法、及びそのプログラム | |
JP6075783B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
JP2006066988A (ja) | 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 | |
JP5826712B2 (ja) | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム | |
JP6356087B2 (ja) | エコー消去装置、その方法及びプログラム | |
JP4504891B2 (ja) | 反響消去方法、反響消去装置、プログラム、記録媒体 | |
JP5925149B2 (ja) | 音響結合量推定装置、エコー消去装置、その方法及びプログラム | |
JP2012205161A (ja) | 音声通話装置 | |
JP2002261659A (ja) | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 | |
JP4478045B2 (ja) | エコー消去装置、エコー消去方法、エコー消去プログラムおよびその記録媒体 | |
JP5698110B2 (ja) | マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160506 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5937451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |