JP5826712B2 - マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム - Google Patents
マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム Download PDFInfo
- Publication number
- JP5826712B2 JP5826712B2 JP2012130581A JP2012130581A JP5826712B2 JP 5826712 B2 JP5826712 B2 JP 5826712B2 JP 2012130581 A JP2012130581 A JP 2012130581A JP 2012130581 A JP2012130581 A JP 2012130581A JP 5826712 B2 JP5826712 B2 JP 5826712B2
- Authority
- JP
- Japan
- Prior art keywords
- domain
- frequency
- wave number
- echo
- wavenumber
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephonic Communication Services (AREA)
Description
<概要>
実施形態の説明に先立ち、従来のマルチチャネルエコー消去装置の処理について詳細に説明する。このマルチチャネルエコー消去装置は、非特許文献2に記載されている波数領域適応アルゴリズムにより収音信号から音響エコーを消去する。
図1に従来のマルチチャネルエコー消去装置9の構成例を示す。従来のマルチチャネルエコー消去装置9は、P(≧2)個の入力端子11,…,1PとP個のスピーカ21,…,2PとP個のマイクロホン31,…,3PとP個の出力端子41,…,4PとP個の周波数変換部111,…,11Pと波数変換部12とP個のエコーレプリカ生成部211,…,21Pと逆波数変換部31とP個の逆周波数変換部321,…,32Pとエコー消去部33とP個の誤差周波数変換部411,…,41Pと誤差波数変換部42とフレーム合成部91とを備える。P個のマイクロホン31,…,3Pは直線上に等間隔に配列されている。
図3,4を参照して、マルチチャネルエコー消去装置9の動作例を、実際に行われる手続きの順に従って詳細に説明する。以下の説明では、各信号を、1フレーム2Fサンプル、シフト量F/Dサンプルでブロック化する。ただし、Fは自然数であり、DはFを割り切る自然数である。FFT計算を簡略化・高速化するために、Fを2のべき乗とすることが一般的である。この例では、D≧2であるものとして説明する。また、nを時刻、iをフレーム番号とする。
この発明の動作原理について説明する。まず、単一周波数の平面波が波数領域でどのように表現されるかを考える。周波数−波数空間で見ると、波の存在範囲は周波数に応じて限定されることが知られている(詳細は「T. Ajdler, L. Sbaiz, and M. Vetterli, “Dynamic measurement of room impulse responses using a moving microphone”, J. Acoust. Soc. Am., 122 (3), 2007, 1636-1645.(参考文献1)」参照)。図6を参照して、角度αで入射する単一周波数f0[Hz]の平面波を考える。この例では、マイクロホン素子が直線上に間隔dで等間隔に配列されている。マイクロホン素子列をu軸上にとると、u軸上での音圧の時間変動は、tを時刻として式(18)で表すことができる。
<構成>
図8に第1実施形態のマルチチャネルエコー消去装置10の構成例を示す。マルチチャネルエコー消去装置10は、P(≧2)個の入力端子11,…,1PとP個のスピーカ21,…,2PとP個のマイクロホン31,…,3PとP個の出力端子41,…,4PとP個の周波数変換部111,…,11Pと波数変換部12とP個のエコーレプリカ生成部221,…,22Pと逆波数変換部31とP個の逆周波数変換部321,…,32Pとエコー消去部33とP個の誤差周波数変換部411,…,41Pと誤差波数変換部42とフレーム合成部91とを備える。P個のスピーカ21,…,2Pは直線上に等間隔に配列されている。P個のマイクロホン31,…,3Pは直線上に等間隔に配列されている。
図10を参照して、エコーレプリカ生成部22pの動作例を、実際に行われる手続きの順に従って詳細に説明する。
第1実施形態の効果を確認するために、エコー消去量のシミュレーションを行った。残響時間250ミリ秒の部屋で、32個のスピーカ素子を間隔2cmで直線上に配列したスピーカアレーと、32個のマイクロホン素子を間隔2cmで直線上に配列したマイクロホンアレーとを、40cm離して平行に配置した。サンプリング周波数は16kHzに設定し、フレーム長を2F=2048に設定した。再生信号は別途ピンクノイズを音源として、32マイクロホンによる収音を模擬して生成した。この環境において、スピーカ・マイクロホン間の全エコー経路についてインパルス応答を測定した。
・波数変換部12(S12):P点-FFT×Fバンド
・エコーレプリカ生成部21(S21A):Pチャネル×(1+2δ)×Fバンド×Cブロック
・逆波数変換部31(S31):P点-逆FFT×Fバンド
・逆周波数変換部32(S32):2P点-逆FFT×Pチャネル
・誤差周波数変換部41(S41):2F点-FFT×Pチャネル
・誤差波数変換部42(S42):P点-FFT×Fバンド
・エコーレプリカ生成部21(S21B):{Pチャネル×(1+2δ)+2}×Fバンド×Cブロック
第1実施形態のマルチチャネルエコー消去装置によれば、エコーレプリカ生成部21(S21A、S21B)の演算量がそれぞれ半減する。
このように、この発明のマルチチャネルエコー消去装置は、周波数−波数領域では、周波数が低いほど有効な波数領域が限定されることに着目して、エコーレプリカの生成処理と適応フィルタ係数の更新処理を有効な波数領域に限定する。その結果、エコー消去性能を維持しながら、多数のスピーカとマイクロホンからなるマルチチャネル拡声通話系において全体としての演算量を削減することができる。
<概要>
この発明の第2実施形態は、波数領域の適応フィルタに、周波数領域適応アルゴリズムの考え方を組み合わせた場合である。周波数領域適応アルゴリズムについての詳細は「E. Moulines, O. A. Amrane, and Y. Grenier, “The Generalized Multidelay Adaptive Filter: Structure and Convergence Analysis”, IEEE Trans. on SP, vol. 43, no. 1, 1995.(参考文献2)」を参照されたい。参考文献2は、適応フィルタを時間方向に分割する方法を示している。この分割により、処理遅延を抑えつつ適応フィルタ長を伸ばして、処理対象とするインパルス応答の長さに合わせることができるため、エコーキャンセラをより残響の長い部屋に対応させることができるようになる。
図15に第2実施形態のマルチチャネルエコー消去装置10’の構成例を示す。マルチチャネルエコー消去装置10’は、第1実施形態のマルチチャネルエコー消去装置10と同様に、P(≧2)個の入力端子11,…,1PとP個のスピーカ21,…,2PとP個のマイクロホン31,…,3PとP個の出力端子41,…,4PとP個の周波数変換部111,…,11Pと波数変換部12と逆波数変換部31とP個の逆周波数変換部321,…,32Pとエコー消去部33とP個の誤差周波数変換部411,…,41Pと誤差波数変換部42とフレーム合成部91とを備える。P個のエコーレプリカ生成部221,…,22Pの替わりに、P個のエコーレプリカ生成部231,…,23Pを備える。
図17を参照して、エコーレプリカ生成部23pの動作例を、実際に行われる手続きの順に従って詳細に説明する。この実施形態では、適応フィルタ係数は_Hf(k,k,i,c)(0≦c≦C-1)のように、時間方向にC個に分割されている。
第2実施形態の効果を確認するために、エコー消去量のシミュレーションを行った。残響時間250ミリ秒の部屋で、32個のスピーカ素子を間隔2cmで直線上に配列したスピーカアレーと、32個のマイクロホン素子を間隔2cmで直線上に配列したマイクロホンアレーとを、40cm離して平行に配置した。サンプリング周波数は16kHzに設定し、フレーム長を2F=512に、適応フィルタの分割数をC=4に設定した。再生信号は別途ピンクノイズを音源として、32マイクロホンによる収音を模擬して生成した。この環境において、スピーカ・マイクロホン間の全エコー経路についてインパルス応答を測定した。
このようにこの発明によれば、第2実施形態のマルチチャネルエコー消去装置のように波数領域適応フィルタを時間方向に分割した場合であっても、第1実施形態のマルチチャネルエコー消去装置と同様に、エコー消去性能を維持しながら、多数のスピーカとマイクロホンからなるマルチチャネル拡声通話系において全体としての演算量を削減することができる。
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
1 入力端子
2 スピーカ
3 マイクロホン
4 出力端子
11 周波数変換部
12 波数変換部
21,22,23 エコーレプリカ生成部
31 逆波数変換部
32 逆周波数変換部
33 エコー消去部
41 誤差周波数変換部
42 誤差波数変換部
91 フレーム合成部
211,221 修正量算出部
213,223 フィルタ係数更新部
215,225 乗算部
216 波数限定部
217 誤差波数限定部
218 波数0詰め部
219 受話蓄積部
Claims (6)
- 直線上に等間隔に配列されたP(P≧2)個のスピーカと、
直線上に等間隔に配列されたP個のマイクロホンと、
前記スピーカから出力されるPチャネルの再生信号を周波数領域再生信号に変換する周波数変換部と、
前記周波数領域再生信号を波数領域再生信号に変換する波数変換部と、
周波数ごとに波数の有効範囲を算出し、前記波数領域再生信号を前記有効範囲に限定する波数限定部と、
前記有効範囲内で前記波数領域再生信号に波数領域適応フィルタ係数を乗算し、波数領域エコーレプリカを生成する乗算部と、
前記有効範囲外の波数におけるエコーレプリカを0とする波数0詰め部と、
前記波数領域エコーレプリカを周波数領域エコーレプリカに変換する逆波数変換部と、
前記周波数領域エコーレプリカを時間領域エコーレプリカに変換する逆周波数変換部と、
前記マイクロホンから収音されるPチャネルの収音信号から前記時間領域エコーレプリカを減算し、誤差信号を生成するエコー消去部と、
前記誤差信号を周波数領域誤差信号に変換する誤差周波数変換部と、
前記周波数領域誤差信号を波数領域誤差信号に変換する誤差波数変換部と、
前記波数領域誤差信号を、周波数ごとに算出済みの前記有効範囲に限定する誤差波数限定部と、
前記有効範囲内で前記波数領域再生信号と前記波数領域誤差信号を用いて、前記波数領域適応フィルタ係数の修正量を算出する修正量算出部と、
前記修正量を用いて、前記波数領域適応フィルタ係数を更新するフィルタ係数更新部と、
を備えるマルチチャネルエコー消去装置。 - 請求項1に記載のマルチチャネルエコー消去装置であって、
前記再生信号を所定時間ごとに分割して周波数領域を経由して波数領域に変換し、前記有効範囲内にある前記波数領域再生信号を過去複数個分蓄積する受話蓄積部を備え、
前記乗算部は、蓄積した波数領域再生信号に対応する適応フィルタ係数を乗算し、その総和をとることで前記波数領域エコーレプリカを生成する
ことを特徴とするマルチチャネルエコー消去装置。 - 請求項1または2に記載のマルチチャネルエコー消去装置であって、
周波数ごとの波数の有効範囲の上限と下限を、周波数の一次関数として算出する
ことを特徴とするマルチチャネルエコー消去装置。 - 直線上に等間隔に配列されたP(P≧2)個のスピーカから出力されるPチャネルの再生信号を周波数領域再生信号に変換する周波数変換ステップと、
前記周波数領域再生信号を波数領域再生信号に変換する波数変換ステップと、
周波数ごとに波数の有効範囲を算出し、前記波数領域再生信号を前記有効範囲に限定する波数限定ステップと、
前記有効範囲内で前記波数領域再生信号に波数領域適応フィルタ係数を乗算し、波数領域エコーレプリカを生成する乗算ステップと、
前記有効範囲外の波数におけるエコーレプリカを0とする波数0詰めステップと、
前記波数領域エコーレプリカを周波数領域エコーレプリカに変換する逆波数変換ステップと、
前記周波数領域エコーレプリカを時間領域エコーレプリカに変換する逆周波数変換ステップと、
直線上に等間隔に配列されたP個のマイクロホンから収音されるPチャネルの収音信号から前記時間領域エコーレプリカを減算し、誤差信号を生成するエコー消去ステップと、
前記誤差信号を周波数領域誤差信号に変換する誤差周波数変換ステップと、
前記周波数領域誤差信号を波数領域誤差信号に変換する誤差波数変換ステップと、
前記波数領域誤差信号を、周波数ごとに算出済みの前記有効範囲に限定する誤差波数限定ステップと、
前記有効範囲内で前記波数領域再生信号と前記波数領域誤差信号を用いて、前記波数領域適応フィルタ係数の修正量を算出する修正量算出ステップと、
前記修正量を用いて、前記波数領域適応フィルタ係数を更新するフィルタ係数更新ステップと、
を含むマルチチャネルエコー消去方法。 - 請求項1から4のいずれかに記載のマルチチャネルエコー消去装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130581A JP5826712B2 (ja) | 2012-06-08 | 2012-06-08 | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130581A JP5826712B2 (ja) | 2012-06-08 | 2012-06-08 | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013255155A JP2013255155A (ja) | 2013-12-19 |
JP5826712B2 true JP5826712B2 (ja) | 2015-12-02 |
Family
ID=49952313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012130581A Expired - Fee Related JP5826712B2 (ja) | 2012-06-08 | 2012-06-08 | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5826712B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10999444B2 (en) | 2018-12-12 | 2021-05-04 | Panasonic Intellectual Property Corporation Of America | Acoustic echo cancellation device, acoustic echo cancellation method and non-transitory computer readable recording medium recording acoustic echo cancellation program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7452334B2 (ja) | 2020-08-31 | 2024-03-19 | 沖電気工業株式会社 | 残響抑圧装置、残響抑圧システム、残響抑圧方法およびプログラム |
-
2012
- 2012-06-08 JP JP2012130581A patent/JP5826712B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10999444B2 (en) | 2018-12-12 | 2021-05-04 | Panasonic Intellectual Property Corporation Of America | Acoustic echo cancellation device, acoustic echo cancellation method and non-transitory computer readable recording medium recording acoustic echo cancellation program |
Also Published As
Publication number | Publication date |
---|---|
JP2013255155A (ja) | 2013-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6030660B2 (ja) | 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置 | |
JP6113739B2 (ja) | 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置 | |
JP6485711B2 (ja) | 音場再現装置および方法、並びにプログラム | |
JP6604331B2 (ja) | 音声処理装置および方法、並びにプログラム | |
JP7370415B2 (ja) | 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償 | |
CN102968999B (zh) | 处理音频信号 | |
JP5762479B2 (ja) | 音声スイッチ装置、音声スイッチ方法、及びそのプログラム | |
JP5826712B2 (ja) | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム | |
JP5937451B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
JP4886616B2 (ja) | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 | |
JP4928376B2 (ja) | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 | |
JP5603307B2 (ja) | 音場収音再生装置、方法及びプログラム | |
JP5774062B2 (ja) | エコー消去装置、エコー消去方法、及びそのプログラム | |
JP5762478B2 (ja) | ノイズ抑圧装置、ノイズ抑圧方法、及びそのプログラム | |
JP2006066988A (ja) | 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 | |
WO2021212287A1 (zh) | 音频信号处理方法、音频处理装置及录音设备 | |
JP6087760B2 (ja) | 音場収音再生装置、方法及びプログラム | |
JP5713964B2 (ja) | 音場収音再生装置、方法及びプログラム | |
JP6075783B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
JP4504891B2 (ja) | 反響消去方法、反響消去装置、プログラム、記録媒体 | |
JP5698110B2 (ja) | マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム | |
JP5325134B2 (ja) | 反響消去方法、反響消去装置、そのプログラムおよび記録媒体 | |
JP4504892B2 (ja) | 反響消去方法、反響消去装置、プログラム、記録媒体 | |
CN115665606A (zh) | 基于四麦克风的收音方法和收音装置 | |
Simionato | Numerical Simulation of a Tube-Delay Audio Effect |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5826712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |