JP2021097293A - エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム - Google Patents
エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム Download PDFInfo
- Publication number
- JP2021097293A JP2021097293A JP2019226405A JP2019226405A JP2021097293A JP 2021097293 A JP2021097293 A JP 2021097293A JP 2019226405 A JP2019226405 A JP 2019226405A JP 2019226405 A JP2019226405 A JP 2019226405A JP 2021097293 A JP2021097293 A JP 2021097293A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- data
- microphone
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Set Structure (AREA)
Abstract
【課題】適応フィルタの数が増加しないようにする。【解決手段】エコーキャンセル装置10Aは、再生する周波数帯域が互いに異なる複数のスピーカ16、17の出力を入力とするマイクロホン18からの信号を取得する。入力される音声データのうち、互いに異なる周波数帯域の信号成分を、フィルタ101、102でそれぞれ通過させる。それぞれ通過した互いに異なる周波数帯域の信号成分を、スピーカ16、17それぞれからマイクロホン18までの音の到達時間に基づいて、遅延部103、104でそれぞれ遅延させる。それぞれ遅延された信号成分を加算部108で加算し、加算データに対応する信号をスピーカ16、17へ出力する。除去処理部105は、音声データを参照データとし、マイクロホン18から取得した信号に対応する入力デジタルデータから参照データに対応する成分を除去する処理を行う。【選択図】図3
Description
本発明は、エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラムに関する。
カーオーディオには、ユーザーの音声を検出するシステムとして、ハンズフリーと呼ばれるシステム(以下、ハンズフリーシステムと呼ぶ)を有するものがある。ハンズフリーシステムでは、マイクロホンを用いて集音した運転者の音声をデジタルデータに変換する。マイクロホンは、ハンドル、ルームミラー、ピラーなどに設置される。集音した音声は電話機を通して先方の通話者に送られる。また、先方の発話した音声は電話機を通しカーオーディオのスピーカから鳴らす。
ここで、複数のスピーカを含むマルチチャンネル対応の拡声通話系システムにおいて、チャンネル間の音量バランスを設定する技術として、特許文献1が知られている。特許文献1では、チャンネルごとに適応フィルタを設けてエコーキャンセル処理を行っている。また、スピーカとマイクとの距離分の時間遅延の測定方法が特許文献2に記載されている。さらに、複数のスピーカについて適用した、エコーキャンセル装置が特許文献3に記載されている。
ハンズフリーシステムでは、エコー除去装置を設けて音響エコーを除去することがある。特許文献1に記載の技術によると、スピーカごとに適応フィルタが必要になることから、スピーカの数が多いと適応フィルタの数も多くなるため、改善の余地がある。
また、特許文献2、特許文献3に記載の技術は、全周波数帯域を含んだ音声を想定している。このため、特許文献2、特許文献3に記載の技術は、再生する周波数帯域が互いに異なる複数のスピーカについては、適用できない。例えば、ツイータとウーファとが別々の場所に配置される、セパレートツイータタイプの2ウェイスピーカについて、特許文献2に記載の技術は適用できない。すなわち、音声周波数の帯域を分割した音が別々の場所から出力される場合において、特許文献2に記載の技術では正しくエコーキャンセルの効果が得られないため、改善の余地がある。
本発明は、上記に鑑みてなされたものであって、その目的は、再生する周波数帯域が互いに異なる複数のスピーカに適用する場合であっても、適応フィルタの数が増加せずに、エコーキャンセルを実現できるエコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラムを提供することである。
上述した課題を解決し、目的を達成するために、本発明のある態様によるエコーキャンセル装置は、再生する周波数帯域が互いに異なる複数のスピーカの出力を入力とするマイクロホンからの信号を取得する取得部と、入力される音声データのうち、互いに異なる前記周波数帯域の信号成分を、それぞれ通過させる複数のフィルタ部と、前記複数のフィルタ部をそれぞれ通過した互いに異なる周波数帯域の信号成分を、前記複数のスピーカそれぞれから前記マイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる遅延部と、前記遅延部によってそれぞれ遅延された信号成分を加算する第1加算部と、前記第1加算部による加算データに対応する信号を前記複数のスピーカへ出力する出力部と、前記音声データを参照データとし、前記取得部が取得した信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する処理を行う除去処理部と、を含む。
上述した課題を解決し、目的を達成するために、本発明のある態様によるエコーキャンセル方法は、入力される音声データについて、互いに異なる周波数帯域の信号成分に分ける工程と、互いに異なる周波数帯域の信号成分を、複数のスピーカからマイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる工程と、それぞれ遅延させた前記信号成分を加算し、加算したデータに対応する音を前記複数のスピーカから出力する工程と、前記マイクロホンからの信号を取得する工程と、前記入力される音声データを参照データとし、前記マイクロホンからの信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する工程と、を含む。
上述した課題を解決し、目的を達成するために、本発明のある態様によるエコーキャンセルプログラムは、コンピュータを、入力される音声データについて、互いに異なる周波数帯域の信号成分に分けるフィルタ部、互いに異なる周波数帯域の信号成分を、複数のスピーカからマイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる遅延部、それぞれ遅延させた前記信号成分を加算し、前記複数のスピーカから出力する加算部、前記入力される音声データを参照データとし、前記マイクロホンからの信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する除去処理部、として機能させるためのエコーキャンセルプログラムである。
本発明によれば、再生する周波数帯域が互いに異なる複数のスピーカに適用する場合であっても、エコー除去装置である適応フィルタの数が増加せずに、エコーキャンセルを実現できる。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。以下の実施形態の説明において、同一又は同等の構成部分については同一の符号を付し、その説明を簡略又は省略する。なお、実施形態により本発明が限定されるものではない。また、実施形態の構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。また、この実施形態に記載された複数の変形例は、当業者自明の範囲内にて任意に組み合わせが可能である。また、発明の要旨を逸脱しない範囲で構成の省略、置換又は変更を行うことができる。
以下、各実施形態について説明するが、各実施形態の理解を容易にするため、先に比較例について説明する。
(比較例)
図1は、比較例によるエコーキャンセル装置の構成を示す図である。図1を参照すると、比較例によるエコーキャンセル装置10は、2つのスピーカ16、17と、マイクロホン(以下、マイクと略称する)18と、ハイパスフィルタ(HPF)19とに接続される。
図1は、比較例によるエコーキャンセル装置の構成を示す図である。図1を参照すると、比較例によるエコーキャンセル装置10は、2つのスピーカ16、17と、マイクロホン(以下、マイクと略称する)18と、ハイパスフィルタ(HPF)19とに接続される。
スピーカ16、17は、入力されるアナログの音声信号を、音声に変換する。スピーカ16は、例えばウーファーであり、低域または中低音域の音声信号を出力する。スピーカ17は、例えばツイータであり、高音域の音声信号を出力する。
エコーキャンセル装置10からの1チャンネルの出力の信号線は2つに分岐され、スピーカ16に向かう信号線とスピーカ17に向かう信号線とに分かれる。スピーカ17に向かう信号線には、ハイパスフィルタ19が挿入されている。ハイパスフィルタ19は、音声信号に含まれる高音域の部分を通過させる。ハイパスフィルタ19は、例えば、インダクタとキャパシタとの直列回路によって実現できる。
2つのスピーカ16、17は、セパレートツイータタイプの2ウェイスピーカとして機能する。カーオーディオシステムの場合、スピーカ17は車両の場合、Aピラーなど運転者などの耳に近い位置に配置されることがある。スピーカ16は、車両のドアの下部に配置されることがある。
マイク18は、車両の音声を取得する。マイク18は、取得した音声をアナログの音声信号に変換する。
また、図1において、比較例によるエコーキャンセル装置10は、信号処理部100と、増幅部(Amplifier;以下、AMPと呼ぶ)11および15と、アナログデジタル変換部(Analog Digital Converter;以下、ADCと呼ぶ)12と、デジタルアナログ変換部(Digital Analog Converter;以下、DACと呼ぶ)13と、音量制御部14と、を有する。
信号処理部100は、デジタルの音声データに対して、エコー等の、対象の音声以外を除去する除去処理部105を有する。
AMP11は、マイクアンプである。AMP11は、マイク18から出力されるアナログの音声信号を増幅する。
ADC12は、入力されるアナログの音声信号をデジタルの音声データに変換する変換部である。ADC12によって変換されたデジタルの音声データは、信号処理部100に入力される。
DAC13は、入力されるデジタルの音声データをアナログの音声信号に変換する。DAC13によって変換されたアナログの音声信号は、音量制御部14に入力される。
音量制御部14は、スピーカ16、17から出力する音の出力レベルすなわち音量を調整する。音量制御部14によって音量が調整されたアナログの音声信号は、AMP15に入力される。
AMP15は、スピーカアンプである。AMP15は、入力されるアナログの音声信号を増幅する。AMP15が増幅したアナログの音声信号は、スピーカ16、17に入力される。
電話機20は、音声信号401を通話相手側に送信すると共に、通話相手側からの音声信号400を受信する。電話機20は、例えば、移動電話機やスマートフォンである。
また、図1のように、セパレートツイータタイプの2ウェイスピーカを用いる場合、オーディオ機器からの1チャンネルの出力線は分岐され、スピーカ16に向かう信号線とスピーカ17に向かう信号線とに分かれる。スピーカ16とスピーカ17とは同じ位置に置かれることが少なく、特にカーオーディオ装置においては、スピーカ16とスピーカ17とが異なる位置に設置される。このため、スピーカ16とマイク18との距離と、スピーカ17とマイク18との距離とが異なり、エコーキャンセルを適切に行うことが難しい。エコーキャンセルを適切に行うためには、高音域の音声信号、低域または中低音域の音声信号の2チャンネルのスピーカそれぞれについて適応フィルタを設ける必要があり、除去処理部105内の適応フィルタの数が増加する。
図2は、各スピーカ16、17からマイク18への入力を模式的に示す図である。図2に示すように、各スピーカ16、17から出力される音声は、1つのマイク18に入力される。各スピーカ16、17からマイク18までの音の到達時間は互いに異なる。このため、各スピーカ16、17から同時に音を出力しても、出力された音はマイク18と各スピーカ16、17との距離分の遅延時間を持ってマイク18に入力される。図2に示すように、マイク18に入力される信号301は、各スピーカ16、17から出力された信号が時間軸上でずれて重畳された状態になる。
このため、図2に示すように、異なる遅延時間を持ってマイク18に入力された音声信号についてエコーを除去する処理を行う場合、複数のスピーカ16、17それぞれについてエコーをキャンセルする必要がある。複数のスピーカ16、17についてエコーをキャンセルするためには、除去処理部をスピーカのチャンネル数分用意する必要がある。
除去処理部は、それぞれ適応フィルタを有する。適応フィルタは処理が重いため、装置全体の処理への影響を考慮すると除去処理部を複数搭載することは難しい。
(第1実施形態)
次に、第1実施形態について説明する。
次に、第1実施形態について説明する。
図3は、第1実施形態によるエコーキャンセル装置の構成例を示す図である。図3において、本実施形態によるエコーキャンセル装置10Aは、セパレートツイータタイプのスピーカを使用している。図3は、ハンズフリーシステムに適用したエコーキャンセル装置の例を示す。
図3に示すエコーキャンセル装置10Aは、比較例によるエコーキャンセル装置10の信号処理部100とは異なる信号処理部100Aを有する。信号処理部100Aは、デジタルの音声データに対して、エコー等の、対象の音声以外を除去する処理等を行う。信号処理部100Aは、例えば、DSP(Digital Signal Processor)を利用して実現することができる。信号処理部100Aは、SOC(System−on−a−chip)によって実現してもよい。信号処理部100Aは、DSPとSOCとの両方を利用して実現してもよい。なお、エコーキャンセル装置10Aまたは信号処理部100Aは、音声データを入力する入力部を有する。
[信号処理部]
信号処理部100Aは、ハイパスフィルタ(HPF)101と、ローパスフィルタ(LPF)102と、遅延部(Delay)103、104と、除去処理部105と、可変増幅部106、107と、加算部108と、解析部109と、を有する。これらは例えば、DSPを利用して実現することができる。
信号処理部100Aは、ハイパスフィルタ(HPF)101と、ローパスフィルタ(LPF)102と、遅延部(Delay)103、104と、除去処理部105と、可変増幅部106、107と、加算部108と、解析部109と、を有する。これらは例えば、DSPを利用して実現することができる。
第1加算部である加算部108は電話機から入ってくる「高域再生用のツイータ」の信号と、「低域再生用のウーファー」の信号とを加算し、1チャンネルの信号にする。可変増幅部106、107は、増幅度を変化させることができる。具体的には、可変増幅部106、107の増幅度は、解析部109からの制御信号によって、変化させることができる。可変増幅部106、107の増幅度を変化させ、増幅度のバランスを調整することにより、「高域再生用のツイータ」の音量と、「低域再生用のウーファー」の音量との関係によって、加算部108の加算するバランスを変える。
高域をカットするLPFや、低域をカットするHPFは、急峻な特性を持てず緩やかに音量が下がる特性を持つ。よって、低域カットしても設定した周波数以下が完全に出力されないことはなく、低域の音はレベルが下がるが出力される。よって、HPF101およびLPF102によって、スピーカ17、スピーカ16への信号の帯域を分割しても、分割した帯域付近では、スピーカ17およびスピーカ16両方から同じ音が出ることになる。カーオーディオシステムの場合、スピーカ17は、車両のドアのAピラーと呼ばれる場所に設置されることが多い。その場合、ハンドルなどに設置されるマイクの位置では、高域の直進性が高いため、ツイータの向きによってマイクに入ってくる音量が大きく変化する。このため、マイク18の位置や取り付け方によって、スピーカ16からマイク18に入力されるレベルとスピーカ17からマイク18に入力されるレベルとに差が生じる。そこで、可変増幅部106、107のうち、音が大きい方(すなわち、エコー音声が大きい方)の増幅度を小さくし、加算部108における加算量を調整する。これにより、適切にエコーキャンセルを行うことができる。
除去処理部105は、デジタルの音声データを参照データとして入力する。参照データは、電話機20からの音声である。除去処理部105は、マイク18に入力された音声信号を変換したデジタルの音声データから、参照データに対応する成分を除去するエコー除去処理を行う。エコー除去処理とは、マイク18に入力された音声信号を変換したデジタルの音声データから、参照データに対応する成分を差し引く処理である。このエコー除去処理を行うことにより、スピーカ16、17から出力される音声が通話相手に出力する音声に含まれないようにすることができる。
[遅延部]
遅延部103、104は、HPF101とLPF102とで帯域分割された音声に対して遅延処理を行う。スピーカ16、17と同じ周波数帯域を取り出すように、HPF101およびLPF102のカットオフ周波数を決定しておく。遅延部103、104は、スピーカ17、16への出力信号に対応しており、スピーカ17からマイク18までの距離とスピーカ16からマイク18までの距離との差を調整するための遅延部として機能する。遅延部103、104には、電話機20から入力される音声が入力される。遅延部103、104は、スピーカ17、16それぞれからマイク18までの音の到達時間に基づいて、通信相手からの音声を、それぞれ遅延させる。スピーカ16、17への出力信号に対応する通信相手からの音声を、スピーカ16、17それぞれからマイク18までの音の到達時間に基づいて、それぞれ遅延させる。
遅延部103、104は、HPF101とLPF102とで帯域分割された音声に対して遅延処理を行う。スピーカ16、17と同じ周波数帯域を取り出すように、HPF101およびLPF102のカットオフ周波数を決定しておく。遅延部103、104は、スピーカ17、16への出力信号に対応しており、スピーカ17からマイク18までの距離とスピーカ16からマイク18までの距離との差を調整するための遅延部として機能する。遅延部103、104には、電話機20から入力される音声が入力される。遅延部103、104は、スピーカ17、16それぞれからマイク18までの音の到達時間に基づいて、通信相手からの音声を、それぞれ遅延させる。スピーカ16、17への出力信号に対応する通信相手からの音声を、スピーカ16、17それぞれからマイク18までの音の到達時間に基づいて、それぞれ遅延させる。
遅延部103、104は、信号処理部100Aによって実現することができる。遅延部103、104は、信号処理部100Aによって実現するのではなく、信号処理部100Aの外部に設けてもよい。信号処理部100Aの外部に遅延部103、104を設ける場合、可変ディレイラインを用いてもよい。その後段の加算部108はオペアンプなどによって構成し、アナログ信号として加算しても良い。
[遅延量の調整]
図3を参照すると、スピーカ16、17については、マイク18との距離が互いに異なるため、各スピーカ16、17からマイク18までの音の到達時間が互いに異なる。
図3を参照すると、スピーカ16、17については、マイク18との距離が互いに異なるため、各スピーカ16、17からマイク18までの音の到達時間が互いに異なる。
そこで、遅延部103、104について、例えば、次のように異なる遅延量を設定する。各スピーカ16、17からマイク18までのそれぞれの距離を測定する。距離の測定は、例えば、巻尺を用いて行うことができる。測定した距離を音速で除算することにより、各スピーカ16、17からマイク18までの音の到達時間を算出できる。このように算出した到達時間に基づき、マイク18での音の到達時間を同じになるように各遅延部103、104の遅延量を設定する。
また、遅延部103、104について、次のように遅延量を設定してもよい。インパルス信号を1つのスピーカから出力し、マイク18に入力する。インパルス信号の波形とマイク18への入力信号の波形とを比較する。インパルス信号の波形のピーク点からマイク18への入力信号の波形のピーク点までの時間を、スピーカからマイクまでの音の到達時間とする。マイク18の位置に音が同じタイミングで到達するように、各スピーカ16、17から出力する前に到達時間に基づいて遅延させる。なお、インパルス信号を各スピーカ16、17から同時に出力し、各スピーカ16、17から出力したインパルス信号の波形が重なるように遅延量を調整してもよい。
この処理を各スピーカ16、17について行うことにより、複数のスピーカ16、17それぞれについて、マイク18までの音の到達時間を算出する。上記のように算出した到達時間に基づき、各遅延部103、104の遅延量を設定する。エコーキャンセル装置10Aの稼働前に遅延量を1度設定すれば、各スピーカまたはマイク18の位置を変更しないかぎり、遅延量を再度設定する必要はない。
HPF101は、低音域の周波数成分をカットした高音域の周波数成分を通過させる。高音域の周波数成分は、スピーカ17から出力される。LPF102は、高音域の周波数成分をカットした低音域の周波数成分を通過させる。低音域の周波数成分は、スピーカ16から出力される。HPF101およびLPF102におけるカットオフ周波数は、スピーカの公証特性を参考にして設定しても良いし、ホワイトノイズなどの測定音を用いてカットされ始める周波数を調査して設定しても良い。
[除去処理部]
図4は、除去処理部105の構成例を示す図である。図4に示すように、除去処理部105は、適応フィルタ1051と、減算部1052とを有する。
図4は、除去処理部105の構成例を示す図である。図4に示すように、除去処理部105は、適応フィルタ1051と、減算部1052とを有する。
適応フィルタ1051は、各スピーカ16、17の出力からマイク18への入力までの空間すなわちエコーパスの特性に基づいて参照データを処理してキャンセルデータを生成する。より具体的には、適応フィルタ1051は、エコーパスの特性を模擬した特性情報を、参照データに掛けてキャンセルデータを生成する。適応フィルタ1051は、適応フィルタ係数で畳み込み処理を行い、キャンセルデータを生成する。適応フィルタ1051は、生成したキャンセルデータを減算部1052に入力する。
減算部1052は、マイク18に入力される音声信号に対応する音声データすなわち入力デジタルデータからキャンセルデータを減算する。減算部1052の出力は誤差データとして適応フィルタ1051に入力される。適応フィルタ1051は、フィルタ係数を更新し、誤差信号が最小になるように収束させる動作を行う。
上記のようにHPFでツイータ領域をLPFでウーファー領域を分割し、各遅延部103、104の遅延量を設定し、帯域分割した音声を加算することで戻し各スピーカから出力し、マイク18への入力タイミングを調整することにより、除去処理部105を複数設ける必要はなく、単一の除去処理部105によってエコー除去処理を実現できる。
[解析部]
解析部109は、除去処理部105の出力する音声信号401について周波数解析を行い、除去処理部105によって除去できなかったエコーの漏れの信号成分の周波数帯域を検出する。除去処理部105は入力デジタルデータから参照データに対応する成分を除去する処理、すなわちエコーキャンセル処理を行うが、エコーを完全に除去できずに、除去処理部105からエコーが漏れることがある。解析部109は、除去処理部105から漏れたエコー(以下、エコー漏れと呼ぶ)の周波数解析を行う。周波数解析を行うことにより、エコー漏れがHPF101の通過周波数帯域とLPF102の通過周波数帯域とのいずれに対応するか判断することができる。周波数解析には、例えば、フーリエ変換を用いることができる。なお、解析部109は、所定のサンプリング周期で、エコー漏れの周波数解析を行う。
解析部109は、除去処理部105の出力する音声信号401について周波数解析を行い、除去処理部105によって除去できなかったエコーの漏れの信号成分の周波数帯域を検出する。除去処理部105は入力デジタルデータから参照データに対応する成分を除去する処理、すなわちエコーキャンセル処理を行うが、エコーを完全に除去できずに、除去処理部105からエコーが漏れることがある。解析部109は、除去処理部105から漏れたエコー(以下、エコー漏れと呼ぶ)の周波数解析を行う。周波数解析を行うことにより、エコー漏れがHPF101の通過周波数帯域とLPF102の通過周波数帯域とのいずれに対応するか判断することができる。周波数解析には、例えば、フーリエ変換を用いることができる。なお、解析部109は、所定のサンプリング周期で、エコー漏れの周波数解析を行う。
解析部109は、漏れたエコーが、HPF101とLPF102とで帯域分割された周波数のどちらに対応するか判断し、該当の周波数成分の加算量を可変増幅部106、107によって調整する。すなわち、解析部109は、除去処理部の出力を解析し、除去処理部105の処理によって除去できなかったエコー漏れの信号成分の周波数帯域を検出する。また、可変増幅部106、107は、遅延部103、104によってそれぞれ遅延された信号成分のうち、解析部109によってエコー漏れとして検出された周波数帯域の信号成分のレベルを調整するレベル調整部として機能する。解析部109は、エコー漏れを検出した場合に、可変増幅部106または107を制御してレベルを調整する。その調整の際、エコー漏れがなくなるレベルを目標とし、現在のレベルがその目標のレベルに一致するように、可変増幅部106または107を制御する。
ここで、例えば、漏れたエコーの周波数が、HPF101の通過周波数帯域に対応する場合、解析部109は可変増幅部106の増幅度を低下させる。また、例えば、漏れたエコーの周波数が、LPF102の通過周波数帯域に対応する場合、解析部109は可変増幅部107の増幅度を低下させる。
[動作]
次に、ハンズフリーシステムの動作について説明する。ハンズフリーシステムの動作については、エコーキャンセル装置10Aの動作を中心に説明する。
次に、ハンズフリーシステムの動作について説明する。ハンズフリーシステムの動作については、エコーキャンセル装置10Aの動作を中心に説明する。
除去処理部105は、電話機20から出力されるデジタルの音声データすなわち受信データを参照データとして入力することで、参照データに対応する成分を除去する。マイク18から入力するスピーカ16、17からの音声を消すことで、エコーの無い音が除去処理部105の出力から得られる。
通話相手側への送話側の経路は、以下のようになる。すなわち、マイク18は、音声を取得する。マイク18は、取得した音声をアナログの音声信号に変換する。マイク18によって変換された音声信号は、AMP11に入力される。AMP11は、音声信号の電圧レベルを増幅する。AMP11は、後段でクリップしない程度に、音声信号の電圧レベルを調整する。ADC12は、AMP11によってレベルが調整されたアナログの音声信号をデジタルの音声データに変換する。ADC12によって変換されたデジタルの音声データは、信号処理部100Aに入力される。信号処理部100Aは、デジタルの音声データについて、エコーを除去する処理を行う。信号処理部100Aによってエコーが除去された音声データは、信号処理部100Aから出力される。信号処理部100Aから出力された音声データは、電話機20に入力される。電話機20は、音声データを通話相手側の図示しない電話機に送信する。
通話相手側の電話機からの受話側の経路は、以下のようになる。すなわち、電話機20は、通話相手側の電話機から受信した、デジタルの音声データを出力する。エコーキャンセル装置10Aは、電話機20から出力されるデジタルの音声データを入力する。エコーキャンセル装置10Aは、信号処理部100Aにおいてデジタルの音声データについて必要な処理を行う。信号処理部100Aは、デジタルの音声データを出力する。信号処理部100Aが出力するデジタルの音声データは、DAC13に入力される。DAC13は、入力されるデジタルの音声データをアナログの音声信号に変換する。DAC13によって変換されたアナログの音声信号は、AMP15に入力される。AMP15は、音声信号の電圧レベルを増幅する。AMP15によって電圧レベルが増幅された音声信号は、スピーカ16、17に入力される。スピーカ16、17は、音声を出力する。なお、AMP15は、加算部108による加算データに対応する信号を複数のスピーカ16、17へ出力する出力部として機能する。
ここで、スピーカ16、17とマイク18とが設けられている。このため、スピーカ16、17が出力した音声は、マイク18に入力される。その場合、エコーが発生し聞き取りづらくなることがある。そこで、信号処理部100Aの除去処理部105において、エコー除去処理を行う。
除去処理部105は、デジタルの音声データを参照データとして入力する。参照データであるデジタルの音声データは、HPF101、LPF102や遅延部103、104で遅延させる前の音声データである。除去処理部105は、マイク18に入力された音声信号を変換したデジタルの音声データから、参照データに対応する成分を差し引くエコー除去処理を行う。このエコー除去処理を行うことにより、スピーカ16、17から出力される音声が、通話相手に出力する音声に含まれないようにすることができる。
以上説明したように、本実施形態では、複数のスピーカ16、17それぞれからマイク18までの音の到達時間に基づいて、通信相手からの声を、それぞれ遅延させることにより、チャンネル数が複数であっても適応フィルタの数が増加せずに、エコーキャンセルを実現できる。また、複数のスピーカ16、17から出力された音がマイク18に入力される際、各スピーカ16、17からの音が時間軸上でずれて重畳されることはなく、正確なエコーキャンセルを実現できる。
本実施形態のエコーキャンセル装置10Aは、各遅延部103、104において遅延量を設定し、歪などを伴う非線形処理を行っていない。このため、本実施形態のエコーキャンセル装置10Aによれば、本来の音が維持される。また、マイク18への入力信号に対して追加処理を行っていないため、マイク18の入力信号について劣化が発生しない。
(第2実施形態)
次に、第2実施形態について説明する。上記の各スピーカ16、17は、カーオーディオなどから出力される音楽の出力のためにも用いられることがある。つまり、スピーカが、電話機20による通話用と音楽鑑賞用とに用いられることがある。カーオーディオなどから出力される音楽についてエコーキャンセルを行わない場合、音楽と通話に関する音声とを分離し、音楽については遅延部により遅延処理を行わず、通話に関する音声のみ遅延処理を行えばよい。以下、このように音楽と通話とを分離した、第2実施形態によるエコーキャンセル装置について説明する。
次に、第2実施形態について説明する。上記の各スピーカ16、17は、カーオーディオなどから出力される音楽の出力のためにも用いられることがある。つまり、スピーカが、電話機20による通話用と音楽鑑賞用とに用いられることがある。カーオーディオなどから出力される音楽についてエコーキャンセルを行わない場合、音楽と通話に関する音声とを分離し、音楽については遅延部により遅延処理を行わず、通話に関する音声のみ遅延処理を行えばよい。以下、このように音楽と通話とを分離した、第2実施形態によるエコーキャンセル装置について説明する。
図5は第2実施形態によるエコーキャンセル装置10Bの構成例を示す図である。図5において、第2実施形態によるエコーキャンセル装置10Bは、図3に示すエコーキャンセル装置10Aに、第2加算部である加算部161を追加した構成である。加算部161には、音楽データ160が入力される。
加算部161は、加算部108から出力されるデータに、音楽データ160を加算する。音楽データ160が加算されたデータは、DAC13、音量制御部14、AMP15を経由して、各スピーカ16、17への出力信号として出力される。加算部161は、信号処理部100Aによって実現してもよい。
図5に示すエコーキャンセル装置10Bにおいて、各遅延部103、104についての遅延量の設定については、図3に示すエコーキャンセル装置10Aの場合と同様である。
図5に示すエコーキャンセル装置10Bによるエコーキャンセルの動作は、図3に示すエコーキャンセル装置10Aと同様である。音楽と通話に関する音声とを分離し、音楽については遅延部103および104による遅延処理を行わず、通話に関する音声について遅延部103および104で遅延させてマイク18の位置に音が同じタイミングで到達する。
本実施形態においても、第1の実施形態と同様に、複数のスピーカ16、17それぞれからマイク18までの音の到達時間に基づいて、通信相手からの声を、それぞれ遅延させることにより、チャンネル数が複数であっても適応フィルタの数が増加せずに、エコーキャンセルを実現できる。また、複数のスピーカ16、17から出力された音がマイク18に入力される際、各スピーカ16、17からの音が時間軸上でずれて重畳されることはなく、正確なエコーキャンセルを実現できる。
(第3実施形態)
次に、第3実施形態について説明する。
次に、第3実施形態について説明する。
解析部109において、エコー漏れを検出する都度、レベルを変化させると、可変増幅部106および107の出力を加算する加算部108の加算結果が安定しないことがある。加算部108の加算結果が安定しないと、スピーカ16、17から出力される音のレベルが大きくなったり小さくなったりして安定しないことがある。
そこで、解析部109において、エコー漏れを検出した場合に、直ちにレベルを変化させるのではなく、エコー漏れが続いたらレベルを変化させるようにしてもよい。例えば、同じエコー漏れが所定時間(例えば、50ms)連続して検出されたら、可変増幅部106または107を制御してレベルを変化させる。同じエコー漏れが所定時間連続して検出されない場合は、レベルを変化させない。
図6は、第3実施形態における、解析部109の処理の内容の例を示すフローチャートである。図6において、解析部109はエコー漏れを確認する(ステップS601)。確認の結果、エコー漏れを検出した場合(ステップS602においてYes)、ステップS603に移行し、タイマの動作を開始させるか、または、タイマの動作を継続させる。タイマの計時時間が、所定時間を経過した場合(ステップS604においてYes)、ステップS605に移行し、可変増幅部106または107を制御してレベルを調整する。
ステップ602において、エコー漏れを検出しない場合(ステップS602においてNo)、ステップS606に移行し、タイマの動作を停止させる。その後、ステップS601に戻る。ステップ604において、タイマの計時時間が、所定時間を経過していない場合(ステップS604においてNo)、ステップS601に戻る。なお、以上の処理は、所定のサンプリング周期で継続して行われる。
以上のように、解析部109がエコー漏れの信号成分の周波数帯域を所定時間連続して検出した場合は、その周波数帯域の信号成分のレベルを調整し、解析部109がエコー漏れの信号成分の周波数帯域を所定時間連続して検出していない場合は、その周波数帯域の信号成分のレベルを調整しない。以上の処理は、ヒステリシス処理であり、加算部108の加算結果が安定し、スピーカ16、17から出力される音のレベルを安定させることができる。
(第4実施形態)
次に、第4実施形態について説明する。本実施形態では、解析部109が可変増幅部106または107を制御する際に、時定数をもってゆっくり変化させる。
次に、第4実施形態について説明する。本実施形態では、解析部109が可変増幅部106または107を制御する際に、時定数をもってゆっくり変化させる。
上述したように、解析部109は、エコー漏れを検出した場合に、可変増幅部106または107を制御してレベルを調整する。その調整の際、エコー漏れがなくなるレベルを調整の目標とし、現在のレベルが目標のレベルに一致するように、可変増幅部106または107を制御する。本実施形態では、目標のレベルに徐々に近づくように可変増幅部106または107を制御する。例えば、現在のレベルとその目標のレベルとの差が5dBである場合、5dBの差がなくなるように可変増幅部106または107を制御するのではなく、例えばレベルを1dBずつ制御する。つまり、可変増幅部106または107の増幅度を急激に変化させるのではなく、ゆるやかに変化させる制御すなわち時定数制御を行う。このように制御することによって、加算部108における加算量は、時定数をもってゆっくり変化する。このため、車両内の通話音声に違和感が生じることなくエコー漏れを抑制できる。
[エコーキャンセル方法]
上記エコーキャンセル装置10A、10Bにより、以下のエコーキャンセル方法が実現される。図7は、上記エコーキャンセル装置によって実現されるエコーキャンセル方法を示すフローチャートである。
上記エコーキャンセル装置10A、10Bにより、以下のエコーキャンセル方法が実現される。図7は、上記エコーキャンセル装置によって実現されるエコーキャンセル方法を示すフローチャートである。
図7に示すように、エコーキャンセル方法は、入力される音声データについて、互いに異なる周波数帯域の信号成分に分ける工程(ステップS701)と、互いに異なる周波数帯域の信号成分を、複数のスピーカからマイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる工程(ステップS702)と、それぞれ遅延させた信号成分を加算する工程(ステップS703)と、加算したデータに対応する音を複数のスピーカから出力する工程(ステップS704)と、マイクロホンからの信号を取得する工程(ステップS705)と、入力される音声データを参照データとし、マイクロホンからの信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する工程(ステップS706)と、を含む。このエコーキャンセル方法によれば、再生する周波数帯域が互いに異なる複数のスピーカに適用する場合であっても、適応フィルタの数が増加せずに、エコーキャンセルを実現できる。
[エコーキャンセルプログラム]
上記エコーキャンセル装置10A、10Bは、コンピュータを、入力される音声データについて、互いに異なる周波数帯域の信号成分に分けるフィルタ部、互いに異なる周波数帯域の信号成分を、複数のスピーカからマイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる遅延部、それぞれ遅延させた前記信号成分を加算し、前記複数のスピーカから出力する加算部、前記入力される音声データを参照データとし、前記マイクロホンからの信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する除去処理部、として機能させるためのエコーキャンセルプログラムを利用して実現してもよい。このエコーキャンセルプログラムを利用すれば、再生する周波数帯域が互いに異なる複数のスピーカに適用する場合であっても、適応フィルタの数が増加せずに、エコーキャンセルを実現できる。
上記エコーキャンセル装置10A、10Bは、コンピュータを、入力される音声データについて、互いに異なる周波数帯域の信号成分に分けるフィルタ部、互いに異なる周波数帯域の信号成分を、複数のスピーカからマイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる遅延部、それぞれ遅延させた前記信号成分を加算し、前記複数のスピーカから出力する加算部、前記入力される音声データを参照データとし、前記マイクロホンからの信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する除去処理部、として機能させるためのエコーキャンセルプログラムを利用して実現してもよい。このエコーキャンセルプログラムを利用すれば、再生する周波数帯域が互いに異なる複数のスピーカに適用する場合であっても、適応フィルタの数が増加せずに、エコーキャンセルを実現できる。
(変形例)
上述した各実施形態では、再生する周波数帯域が互いに異なる2つのスピーカを含む2ウェイスピーカに適用する場合について説明したが、再生する周波数帯域が互いに異なる3つのスピーカを含む3ウェイスピーカに適用することもできる。例えば、ミッドレンジを3ウェイスピーカや、重低音を出力するスーパーウーファを含む3ウェイスピーカで再生する場合、についても、再生する各周波数帯域に対応するフィルタを用意すればよい。
上述した各実施形態では、再生する周波数帯域が互いに異なる2つのスピーカを含む2ウェイスピーカに適用する場合について説明したが、再生する周波数帯域が互いに異なる3つのスピーカを含む3ウェイスピーカに適用することもできる。例えば、ミッドレンジを3ウェイスピーカや、重低音を出力するスーパーウーファを含む3ウェイスピーカで再生する場合、についても、再生する各周波数帯域に対応するフィルタを用意すればよい。
また、上述した各実施形態によるエコーキャンセル装置は、帯域が分割され、かつ、スピーカ出力後に分岐された複数のスピーカとマイクとを有する装置について適用することができる。例えば、インカーコミュニケーションをはじめとする自動車内でのハンズフリーシステムの他、テレビ電話、移動電話機やスマートフォンを用いたハンズフリー通話、テレビ会議システム、カラオケ装置について適用できる。また、通話相手が音声認識装置やAI(Artificial Intelligence)アシスタントである場合であっても上述した各実施形態によるエコーキャンセル装置を適用することができる。
(まとめ)
以上説明したように、入力される音声データのうち、互いに異なる周波数帯域の信号成分を、ハイパスフィルタ101、ローパスフィルタ102でそれぞれ通過させる。それぞれ通過した互いに異なる周波数帯域の信号成分を、スピーカ16、17それぞれからマイク18までの音の到達時間に基づいて、遅延部103、104でそれぞれ遅延させた後で加算する。加算したデータに対応する信号をスピーカ16、17へ出力する。入力される音声データを参照データとし、マイク18から取得した信号に対応する入力デジタルデータから参照データに対応する成分を除去する。こうすることにより、再生する周波数帯域が互いに異なる複数のスピーカからの音声についても、適応フィルタの数が増加せずに、エコーキャンセルを実現できる。
以上説明したように、入力される音声データのうち、互いに異なる周波数帯域の信号成分を、ハイパスフィルタ101、ローパスフィルタ102でそれぞれ通過させる。それぞれ通過した互いに異なる周波数帯域の信号成分を、スピーカ16、17それぞれからマイク18までの音の到達時間に基づいて、遅延部103、104でそれぞれ遅延させた後で加算する。加算したデータに対応する信号をスピーカ16、17へ出力する。入力される音声データを参照データとし、マイク18から取得した信号に対応する入力デジタルデータから参照データに対応する成分を除去する。こうすることにより、再生する周波数帯域が互いに異なる複数のスピーカからの音声についても、適応フィルタの数が増加せずに、エコーキャンセルを実現できる。
10、10A、10B エコーキャンセル装置
11、15 増幅部
12 アナログデジタル変換部
13 デジタルアナログ変換部
14 音量制御部
16、17 スピーカ
18 マイクロホン
19 ハイパスフィルタ
20 電話機
100、100A 信号処理部
101 ハイパスフィルタ
102 ローパスフィルタ
103、104 遅延部
105 除去処理部
106、107 可変増幅部
108、161 加算部
109 解析部
1051 適応フィルタ
1052 減算部
11、15 増幅部
12 アナログデジタル変換部
13 デジタルアナログ変換部
14 音量制御部
16、17 スピーカ
18 マイクロホン
19 ハイパスフィルタ
20 電話機
100、100A 信号処理部
101 ハイパスフィルタ
102 ローパスフィルタ
103、104 遅延部
105 除去処理部
106、107 可変増幅部
108、161 加算部
109 解析部
1051 適応フィルタ
1052 減算部
Claims (9)
- 再生する周波数帯域が互いに異なる複数のスピーカの出力を入力とするマイクロホンからの信号を取得する取得部と、
入力される音声データのうち、互いに異なる前記周波数帯域の信号成分を、それぞれ通過させる複数のフィルタ部と、
前記複数のフィルタ部をそれぞれ通過した互いに異なる周波数帯域の信号成分を、前記複数のスピーカそれぞれから前記マイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる遅延部と、
前記遅延部によってそれぞれ遅延された信号成分を加算する第1加算部と、
前記第1加算部による加算データに対応する信号を前記複数のスピーカへ出力する出力部と、
前記音声データを参照データとし、前記取得部が取得した信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する処理を行う除去処理部と、を含むエコーキャンセル装置。 - 前記除去処理部の出力を解析し、前記除去処理部の処理によって除去できなかったエコー漏れの信号成分の周波数帯域を検出する解析部と、
前記遅延部によってそれぞれ遅延された信号成分のうち、前記解析部によって検出された周波数帯域の信号成分のレベルを調整するレベル調整部と、をさらに含み、
前記第1加算部は、前記レベル調整部によるレベルの調整後の信号成分を加算する、
請求項1に記載のエコーキャンセル装置。 - 前記レベル調整部は、
前記解析部が前記エコー漏れの信号成分の周波数帯域を所定時間連続して検出した場合に、前記周波数帯域の信号成分のレベルを調整し、
前記解析部が前記エコー漏れの信号成分の周波数帯域を所定時間連続して検出していない場合に、前記周波数帯域の信号成分のレベルを調整しない、
請求項2に記載のエコーキャンセル装置。 - 前記レベル調整部は、前記信号成分のレベルを調整する際、
調整の目標のレベルに向けて徐々に近づくように、前記信号成分のレベルを調整する、
請求項2または3に記載のエコーキャンセル装置。 - 前記遅延部は、前記マイクロホンと前記複数のスピーカそれぞれとの距離に基づいて算出される前記音の到達時間に基づいて、遅延量が設定される請求項1から請求項4のいずれか1つに記載のエコーキャンセル装置。
- 前記第1加算部から出力されるデータに、音楽データを加算して前記スピーカへの出力信号として出力する第2加算部をさらに含む請求項1から請求項5のいずれか1つに記載のエコーキャンセル装置。
- 前記除去処理部は、
前記参照データが入力され、前記スピーカの出力から前記マイクロホンへの入力までの空間の特性に基づいて前記参照データを処理して生成したキャンセルデータを出力する適応フィルタと、
前記キャンセルデータを前記入力デジタルデータから減算する減算部と、を含む請求項1から請求項6のいずれか1つに記載のエコーキャンセル装置。 - 入力される音声データについて、互いに異なる周波数帯域の信号成分に分ける工程と、
互いに異なる周波数帯域の信号成分を、複数のスピーカからマイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる工程と、
それぞれ遅延させた前記信号成分を加算し、加算したデータに対応する音を前記複数のスピーカから出力する工程と、
前記マイクロホンからの信号を取得する工程と、
前記入力される音声データを参照データとし、前記マイクロホンからの信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する工程と、
を含むエコーキャンセル方法。 - コンピュータを、
入力される音声データについて、互いに異なる周波数帯域の信号成分に分けるフィルタ部、
互いに異なる周波数帯域の信号成分を、複数のスピーカからマイクロホンまでの音の到達時間に基づいて、それぞれ遅延させる遅延部、
それぞれ遅延させた前記信号成分を加算し、前記複数のスピーカから出力する加算部、
前記入力される音声データを参照データとし、前記マイクロホンからの信号に対応する入力デジタルデータから前記参照データに対応する成分を除去する除去処理部、
として機能させるための
エコーキャンセルプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019226405A JP2021097293A (ja) | 2019-12-16 | 2019-12-16 | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019226405A JP2021097293A (ja) | 2019-12-16 | 2019-12-16 | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021097293A true JP2021097293A (ja) | 2021-06-24 |
Family
ID=76431690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019226405A Pending JP2021097293A (ja) | 2019-12-16 | 2019-12-16 | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021097293A (ja) |
-
2019
- 2019-12-16 JP JP2019226405A patent/JP2021097293A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109600698B (zh) | 噪声降低的声音再现***及方法 | |
JP6389232B2 (ja) | パーソナルオーディオデバイスのための短待ち時間マルチドライバ適応雑音消去(anc)システム | |
CN106664473B (zh) | 信息处理装置、信息处理方法和程序 | |
JP4286637B2 (ja) | マイクロホン装置および再生装置 | |
JP6311136B2 (ja) | 双方向会話補助装置及び双方向会話補助方法 | |
EP1982509B1 (en) | Acoustic echo canceller | |
US9478212B1 (en) | Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device | |
KR101699067B1 (ko) | 노이즈 제거 기능이 구비된 이어폰 장치 및 노이즈 제거 방법 | |
KR101422984B1 (ko) | 잔류 에코를 억제하는 방법 및 장치 | |
JP5593852B2 (ja) | 音声信号処理装置、音声信号処理方法 | |
US8249265B2 (en) | Method and apparatus for achieving active noise reduction | |
US9980043B2 (en) | Method and device for adjusting balance between frequency components of an audio signal | |
JP2007312364A (ja) | 音響信号処理における均等化 | |
JP4541159B2 (ja) | 非線形音響エコーキャンセラ | |
US10643597B2 (en) | Method and device for generating and providing an audio signal for enhancing a hearing impression at live events | |
CN110301140B (zh) | 噪声去除装置、噪声去除方法以及记录介质 | |
US11303758B2 (en) | System and method for generating an improved reference signal for acoustic echo cancellation | |
JP2021097293A (ja) | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム | |
JP2021097292A (ja) | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム | |
JP4162860B2 (ja) | 不要音信号除去装置 | |
JP2019165276A (ja) | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム | |
JPH09116362A (ja) | 自動音量制御装置 | |
JP2001024459A (ja) | オーディオ装置 | |
US20240038211A1 (en) | Adaptive noise-canceling with dynamic filter selection based on multiple noise sensor signal phase differences | |
US20200357375A1 (en) | Proactive sound detection with noise cancellation component within earphone or headset |