JP5049256B2

JP5049256B2 - エコーキャンセラおよびエコー消去方法

Info

Publication number: JP5049256B2
Application number: JP2008307912A
Authority: JP
Inventors: 俊輔菅沼
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-12-02
Filing date: 2008-12-02
Publication date: 2012-10-17
Anticipated expiration: 2028-12-02
Also published as: JP2010135936A

Description

本発明は、音響エコー消去技術に関し、特にマイクおよびスピーカを備えた会議システムに好適な音響エコー消去技術に関する。

特許文献１には、電話会議システムもしくはテレビ会議システムにおいて、複数のマイクロホン素子を有するマイクロホンアレイを使って、マイク間位相差から、スピーカ音のみ存在する帯域を判定し、その帯域にのみ音響エコーキャンセラを適応制御する技術が開示されている。この技術によれば、会議室等の状況に応じて動的にエコーキャンセラの制御を行うことができ、音響エコーの抑圧性能を高めることができる。
特開２００８−１４１７１８号公報

特許文献１に記載の技術では、マイクロホンアレイへの入力音声信号を複数の周波数帯域に分割し、それぞれの周波数帯域に対して音響経路の学習や推定を行っている。

ところで、実使用環境において完全な推定を行うことは困難であり、実際には推定誤差が発生して、音響エコーの残留成分である残留エコーが発生することがある。このため、特許文献１に記載の技術では、フレーム毎に、入力音声信号に占める音響エコーの大きさを推定し、これが所定の閾値以上であるフレームの送信をボイススイッチにより遮断している（特許文献１の段落００３４等参照）。しかし、このようにすると、瞬間的ではあるが、音声信号の送信が途切れ、全二重通話状態を維持することができない。

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、音響エコーキャンセラのエコー抑圧効果をより高めることが可能な技術を提供することにある。

上記課題を解決するために、本発明は、フレームの送信を遮断することなく、音響エコーキャンセラ適応後の残留エコーを抑制する。音響エコーキャンセラ適応後の音声信号における残留エコー成分の特徴と、会話音声成分の特徴とが異なることに鑑み、音響エコーキャンセラ適応後の音声信号の音圧スペクトル情報から残留エコー成分を推定し抑圧する。

例えば、本発明のエコーキャンセラは、
マイクに入力された音声信号である入力音声信号から、スピーカから出力された音声信号である出力音声信号の音響エコーを消去するエコーキャンセラであって、
前記出力音声信号の音響エコーを周波数帯域毎に推定して擬似エコー信号を生成する擬似エコー生成手段と、
前記入力音声信号から前記擬似エコー信号を差し引いて、前記入力音声信号から前記出力音声信号の音響エコーをキャンセルするエコーキャンセル手段と、
前記音響エコーがキャンセルされた前記入力音声信号について、周波数帯域毎に、時間方向および周波数方向において当該周波数帯域の信号成分と隣接する範囲の信号成分に基づいて、当該周波数帯域の信号成分から前記音響エコーの残留成分である残留エコーを消去する残留エコー消去手段と、を有する。

本発明によれば、音響エコーキャンセラのエコー抑圧効果をより高めることができる。

本発明を、マイクおよびスピーカを備えた会議システムに用いられるマイクアレイ装置のエコーキャンセラに適用する場合を例にとり、本発明の実施の形態を説明する。なお、マイクアレイ装置は、ＩＰ網経由で音声信号を送受信する機能および音響エコーキャンセラ機能を備えている。
［第一実施の形態］
図１は、本発明の第一実施の形態に係るエコーキャンセラ１の概略構成図である。

図示するように、エコーキャンセラ１は、遠端音声信号入力部１０１と、近端音声信号入力部１０２と、ＦＦＴ部１０３、１０４と、擬似エコー生成部１０５と、線形エコーキャンセラ部１０６と、スペクトルサブトラクション部１０７と、残留エコー消去部１０８と、ＩＦＦＴ部１０９と、近端音声信号出力部１１０と、を有する。

遠端音声信号入力部１０１は、通話相手から受信したデジタル音声信号（以下、遠端音声信号と呼ぶ）の入力端子である。なお、遠端音声信号は、ＤＡ変換された後にスピーカから出力される。

近端音声信号入力部１０２は、マイクに入力され、ＡＤ変換されたデジタル音声信号（以下、近端音声信号）の入力端子である。近端音声信号は、本エコーキャンセラ１により音響エコーが消去された後、通話相手へ送信される。

ＦＦＴ部１０３は、遠端音声信号入力部１０１に入力された遠端音声信号にＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）を施して、遠端音声信号の周波数領域情報を出力する。

ＦＦＴ部１０４は、近端音声信号入力部１０２に入力された近端音声信号にＦＦＴを施して、近端音声信号の周波数領域情報を出力する。

擬似エコー生成部１０５は、ＦＦＴ部１０３から出力された遠端音声信号の周波数領域情報に基づいて、所定の周波数帯域毎に、適応フィルタを用いて遠端音声信号の音響エコーの成分を推定して、擬似エコー信号の周波数領域情報を生成する。

適応フィルタは、参照信号（ここでは遠端音声信号）が本フィルタに入力された場合に、その参照信号がスピーカから出力され、音波として伝わってマイクに到達するまでに発生する変化と（可能な限り）同等な変化をその参照信号に与えた結果（信号）を出力するように作成されたフィルタである。このような適応フィルタは、通話状況に応じて行われる音響環境学習の結果として作成される。擬似エコー生成部１０５および適応フィルタには、特許文献１に記載の技術を含む様々な既存の技術を利用できる。

線形エコーキャンセラ部１０６は、ＦＦＴ部１０４から出力された近端音声信号の周波数領域情報から擬似エコー信号の周波数領域情報を差し引くことで、近端音声信号に含まれている音響エコーを消去する。

スペクトルサブトラクション部１０７は、線形エコーキャンセラ部１０６により音響エコーが消去された近端音声信号の音圧スペクトル情報に対して、所定の周波数帯域毎に、音圧を、擬似エコー信号の音圧スペクトル情報の同じ周波数帯域における音圧に応じて抑制する。スペクトルサブトラクション部１０７には、既存のスペクトルサブトラクション技術を用いることができる。

残留エコー消去部１０８は、スペクトルサブトラクション部１０７より出力された近端音声信号の音圧スペクトル情報の例えば１フレームシフト単位に対して、所定の周波数帯域毎に、着目する周波数帯域の成分と時間方向および周波数方向において隣接する範囲の成分に基づいて、着目する周波数帯域の成分から、音響エコーの残留成分（残留エコー）を消去する。

擬似エコー生成部１０５の適応フィルタの作成に必要な音響環境学習に誤りが全く存在しなければ、十分な音響エコーの抑圧が期待できる。しかし、実使用での音響環境は常時変化する。このため、音響環境の学習を完全に行うことは難しく、その学習結果には多少の誤差または誤りが発生する。このため、スペクトルサブトラクション部１０７から出力される近端音声信号の音圧スペクトル情報には、消去しきれなかった残留エコーが存在することとなる。そこで、本実施の形態においては、スペクトルサブトラクション部１０７から出力される近端音声信号の音圧スペクトル情報において、残留エコー成分の特徴と会話音声成分の特徴とが異なることに鑑み、残留エコー消去部１０８により、この音圧スペクトル情報から残留エコーの成分を推定し、残留エコーを抑圧している。なお、残留エコー消去部１０８の詳細については後述する。

ＩＦＦＴ部１０９は、残留エコー消去部１０８から出力された近端音声信号の周波数領域情報にＩＦＦＴ（ＩｎｖｅｒｓｅＦＦＴ）を施して、近端音声信号を出力する。

近端音声信号出力部１１０は、ＩＦＦＴ部１０９から出力された近端音声信号の出力端子である。

次に、残留エコー消去部１０８の詳細を説明する。

図１に示すように、残留エコー消去部１０８は、残留エコー推定部１０８１と、残留エコー抑圧部１０８２と、を有する。

残留エコー推定部１０８１は、スペクトルサブトラクション部１０７より出力された近端音声信号の音圧スペクトル情報の例えば１フレームシフト単位に対して、所定の周波数帯域毎に、着目する周波数帯域と時間方向および周波数方向において隣接する範囲の成分のなかから、音圧レベルの高い成分を少なくとも一つ選定する。そして、選定した成分の音圧レベルと着目する周波数帯域の成分の音圧レベルとの比較結果に基づいて、着目する周波数帯域の成分に残留エコーが含まれているか否かを推定する。

残留エコー抑圧部１０８２は、残留エコー推定部１０８１により残留エコーが含まれていると推定された周波数帯域の成分について、この周波数帯域と時間方向および周波数方向において隣接する範囲の成分のなかから、音圧レベルの低い成分を少なくとも一つ選定する。そして、選定した成分の音圧レベルとこの周波数帯域の成分の音圧レベルとの差に応じて、この周波数帯域の成分を抑圧する。

図２は、残留エコーの推定・抑圧処理の第一の例を説明するための図である。ここでは、遠端音声信号入力部１０１に入力される遠端音声信号および近端音声信号入力部１０２に入力される近端音声信号がサンプリング周波数３２ｋＨｚのデジタル音声信号であり、ＦＦＴ部１０３、１０４が、入力されたデジタル音声信号をフレーム長２０４８ポイントのＦＦＴにより１０２４個の周波数帯域に分割した上で、フレームシフト単位を１０２４ポイント（３２ｍｓ）とする場合を想定している。

図２において、符号２０は、スペクトルサブトラクション部１０７より出力された近端音声信号の音圧スペクトル情報である。ここで、縦軸２１は周波数、横軸２２は時間である。図示するように、近端音声信号の音圧スペクトル情報２０は１０２４個の周波数帯域に分割され、そのフレームシフト単位２３は３２ｍｓである。

残留エコー推定部１０８１は、例えば１フレームシフト単位毎に、１０２４個の周波数帯域の一つ一つに着目し、着目する周波数帯域に残留エコー成分が存在するか否かを以下の要領で判断する。

着目する周波数帯域を着目帯域Ａとする。先ず、残留エコー推定部１０８１は、着目帯域Ａおよび８個の比較候補周波数帯域Ｂ１〜Ｂ８を含む処理対象ブロックを決定する。具体的には、着目帯域Ａの属するフレームシフト単位の直前のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｂ４および着目帯域Ａの上下に隣接する周波数帯域Ｂ１、Ｂ６を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位から、着目帯域Ａの上下に隣接する周波数帯域Ｂ２、Ｂ７を比較候補周波数帯域として選出する。さらに、着目帯域Ａの属する１フレームシフト単位の直後のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｂ５および着目帯域Ａの上下に隣接する周波数帯域Ｂ３、Ｂ８を比較候補周波数帯域として選出する。

次に、残留エコー推定部１０８１は、以上のようにして選出した、処理対象ブロック内の比較候補周波数帯域Ｂ１〜Ｂ８の音圧レベルと着目帯域Ａの音圧レベルとを比較し、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｂ１〜Ｂ８の音圧レベルから乖離しているか否かを判断する。具体的には、図２の条件２４に示すように、着目帯域Ａの音圧レベルが、比較候補周波数帯域Ｂ１〜Ｂ４、Ｂ６〜Ｂ８の音圧レベルのうちの最も高い音圧レベルＤ１、および比較候補周波数帯域Ｂ１〜Ｂ３、Ｂ５〜Ｂ８の音圧レベルのうちの最も高い音圧レベルＤ２の少なくとも一方より高いか否かを判断する。その結果、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｂ１〜Ｂ８の音圧レベルから乖離しているならば（音圧レベルＤ１、音圧レベルＤ２の少なくとも一方よりも高いならば）、この着目帯域Ａに残留エコー成分が存在すると推定する。

残留エコー抑圧部１０８２は、残留エコー推定部１０８１により残留エコーが存在すると推定された着目帯域Ａの音圧レベルを、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｂ１〜Ｂ８の音圧レベルから乖離しなくなるように抑圧する。具体的には、図２の条件２５に示すように、着目帯域Ａの音圧レベルから、音圧レベルＤ１、Ｄ２のうちの低い方の音圧レベルを差し引いた値を、着目帯域Ａの音圧レベルの抑圧量Ｓに決定する。そして、着目帯域Ａの音圧レベルを抑圧量Ｓだけ抑圧する。これにより、着目帯域Ａに存在する残留エコー成分を抑圧する。

例えば、着目帯域Ａの音圧レベルが５０、比較候補周波数帯域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８の音圧レベルが、それぞれ１０、２０、１０、２０、６０、１０、１０、１０であるとする。この場合、比較候補周波数帯域Ｂ１〜Ｂ４、Ｂ６〜Ｂ８のうちの最高音圧レベルＤ１＝２０、比較候補周波数帯域Ｂ１〜Ｂ３、Ｂ５〜Ｂ８のうちの最高音圧レベルＤ２＝６０となり、着目帯域Ａの音圧レベル「５０」は一方の音圧レベルＤ１よりも高いので、着目帯域Ａに残留エコー成分が存在すると推定される。そして、音圧レベルＤ１、Ｄ２のうちの低い方の音圧レベル「２０」を着目帯域Ａの音圧レベル「５０」から差し引いた値「３０」が着目帯域Ａの音圧レベルの抑圧量Ｓに決定され、着目帯域Ａの音圧レベルを、この抑圧量Ｓだけ抑圧する。これにより、着目帯域Ａの音圧レベルは「２０」となる。

図３は、残留エコーの推定・抑圧処理の第二の例を説明するための図である。ここでは、遠端音声信号入力部１０１に入力される遠端音声信号および近端音声信号入力部１０２に入力される近端音声信号がサンプリング周波数３２ｋＨｚのデジタル音声信号であり、ＦＦＴ部１０３、１０４が、入力されたデジタル音声信号をフレーム長２０４８ポイントのＦＦＴにより１０２４個の周波数帯域に分割した上で、フレームシフト単位を５１２ポイント（１６ｍｓ）とする場合を想定している。

図３において、図２と同じものには同じ符号を付している。図示するように、音圧スペクトル情報２０は、１０２４個の周波数帯域に分割され、そのフレームシフト単位２３は１６ｍｓである。

残留エコー推定部１０８１は、１フレームシフト単位毎に、１０２４個の周波数帯域の一つ一つに着目し、着目する周波数帯域（着目帯域）に残留エコー成分が存在するか否かを以下の要領で判断する。

着目する周波数帯域を着目帯域Ａとする。先ず、残留エコー推定部１０８１は、着目帯域Ａおよび１６個の比較候補周波数帯域Ｃ１〜Ｃ１６を含む処理対象ブロックを決定とする。具体的には、着目帯域Ａの属するフレームシフト単位の３つ前のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ７および着目帯域Ａの上下に隣接する周波数帯域Ｃ１、Ｃ１１を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位の２つ前のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ８および着目帯域Ａの上下に隣接する周波数帯域Ｃ２、Ｃ１２を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位の直前のフレームシフト単位から、着目帯域Ａの上下に隣接する周波数帯域Ｃ３、Ｃ１３を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位から、着目帯域Ａの上下に隣接する周波数帯域Ｃ４、Ｃ１４を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位の直後のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ９および着目帯域Ａの上下に隣接する周波数帯域Ｃ５、Ｃ１５を比較候補周波数帯域として選出する。さらに、着目帯域Ａの属するフレームシフト単位の２つ後のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ１０および着目帯域Ａの上下に隣接する周波数帯域Ｃ６、Ｃ１６を比較候補周波数帯域として選出する。

次に、残留エコー推定部１０８１は、以上のようにして選出した、処理対象ブロック内の比較候補周波数帯域Ｃ１〜Ｃ１６の音圧レベルと着目帯域Ａの音圧レベルとを比較し、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｃ１〜Ｃ１６の音圧レベルから乖離しているか否かを判断する。具体的には、図３の条件２６に示すように、比較候補周波数帯域Ｃ１、Ｃ２の音圧レベルのうちの低い方をＥ１、比較候補周波数帯域Ｃ３、Ｃ４の音圧レベルのうちの低い方をＥ２、比較候補周波数帯域Ｃ５、Ｃ６の音圧レベルのうちの低い方をＥ３、比較候補周波数帯域Ｃ７、Ｃ８の音圧レベルのうちの低い方をＥ４、比較候補周波数帯域Ｃ９、Ｃ１０の音圧レベルのうちの低い方をＥ５、比較候補周波数帯域Ｃ１１、Ｃ１２の音圧レベルのうちの低い方をＥ６、比較候補周波数帯域Ｃ１３、Ｃ１４の音圧レベルのうちの低い方をＥ７、比較候補周波数帯域Ｃ１５、Ｃ１６の音圧レベルのうちの低い方をＥ８とする。そして、着目帯域Ａの音圧レベルが、音圧レベルＥ１〜Ｅ４、Ｅ６〜Ｅ８のうちの最も高い音圧レベルＦ１、および音圧レベルＥ１〜Ｅ３、Ｅ５〜Ｅ８のうち最も高い音圧レベルＦ２の少なくとも一方より高いか否かを判断する。その結果、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｃ１〜Ｃ１６の音圧レベルから乖離しているならば（音圧レベルＦ１、音圧レベルＦ２の少なくとも一方より高いならば）、この着目帯域Ａに残留エコー成分が存在すると推定する。

残留エコー抑圧部１０８２は、残留エコー推定部１０８１により残留エコー成分が存在すると推定された着目帯域Ａの音圧レベルを、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｃ１〜Ｃ１６の音圧レベルから乖離しなくなるように抑圧する。具体的には、図３の条件２７に示すように、着目帯域Ａの音圧レベルから、音圧レベルＦ１、Ｆ２のうち低い方の音圧レベルを差し引いた値を、着目帯域Ａの音圧レベルの抑圧量Ｓに決定する。そして、着目帯域Ａの音圧レベルを抑圧量Ｓだけ抑圧する。これにより、着目帯域Ａに存在する残留エコー成分を抑圧する。

なお、図２および図３において、最も高い周波数帯域、あるいは最も低い周波数帯域が着目領域Ａである場合、この着目帯域Ａよりも高い周波数帯域、あるいは低い周波数帯域は存在しない。これらの例外的な取り扱いについては、実使用において残留エコーを消去する上でそれほど重要ではない。例えば、実際には存在しない隣接周波数帯域の音圧レベルを０と見なして抑圧量Ｓを決定してもよい。あるいは、無条件に抑圧量Ｓを０に決定してもよい。このことは、以降に、図５を用いて説明する第三の例の場合も同様である。

以上、本発明の第一実施の形態について説明した。

図２および図３に示す残留エコーの推定・抑圧処理は、線形エコーキャンセラ部１０６およびスペクトルサブトラクション部１０７によって音響エコーが消去された近端音声信号に含まれる残留エコー成分の特徴と人の会話音声成分の特徴とが異なることを利用している。音響エコーが消去された近端音声信号の音圧スペクトル情報において、任意の周波数帯域を着目帯域Ａとして、それぞれの成分の特徴を説明する。

着目帯域Ａにおいて人の会話音声成分が主である場合、着目帯域Ａの成分の音圧レベルは、着目帯域Ａと時間方向および周波数方向において隣接する周波数帯域の成分の音圧レベルと近い値をとる傾向が強い。

一方、着目帯域Ａにおいて残留エコー成分が主である場合、着目帯域Ａの成分の音圧レベルは、着目帯域Ａと周波数方向において隣接する周波数帯域の成分の音圧レベルから乖離した値をとる傾向が強い。これは、音響環境学習および音響エコー消去処理が周波数帯域毎に行われるため、線形エコーキャンセラ部１０６およびスペクトルサブトラクション部１０７による音響エコーの消去量に周波数帯域毎の差が存在し、音響エコー消去処理によって消去しきれなかった残留エコー成分の音圧レベルが近隣帯域間で必ずしも近い値をとらないからである。

また、音圧の高い残留エコー成分はとりわけ離散的に存在する傾向がある。これは、音響エコーの推定誤差が大きくなった周波数帯域および時間において、音圧の高い残留エコー成分が発生する一方、音響環境学習および音響エコー消去処理が概ね安定動作するエコーキャンセラにおいては、（フレームシフト単位における全周波数帯域の成分に占める割合としての）その発生確率が低いためである。

また、時間方向については、（極短時間でみた場合、）同じ周波数帯域であれば共通の適応フィルタを用いて音響エコー消去処理を行うこととなるため、数フレームシフト時間程度（例えば６４ｍｓ程度）にわたり音圧レベルの近い残留エコー成分が連続することがある。しかし、一般的な会話音声の音響エコー消去処理を行った音声信号では、それ以上の時間連続して残留エコー成分が存在することは稀である。

本実施の形態では、以上のような、周波数帯域毎の音響環境学習およびエコー消去処理後の近端音声信号における残留エコー成分の特徴と、人の会話音声成分の特徴との相違に鑑み、残留エコー消去部１０８が、スペクトルサブトラクション部１０７より出力された近端音声信号について、周波数帯域毎に、着目する周波数帯域と時間方向および周波数方向において隣接する範囲の成分に基づいて、着目する周波数帯域の成分から残留エコーを消去している。

具体的には、残留エコー推定部１０８１が、スペクトルサブトラクション部１０７より出力された近端音声信号について、周波数帯域毎に、着目する周波数帯域と時間方向および周波数方向において隣接する範囲の成分のなかから、音圧レベルの高い成分を少なくとも一つ選定し、選定した成分の音圧レベルと着目する周波数帯域の成分の音圧レベルとの比較結果に基づいて、着目する周波数帯域の成分に残留エコーが含まれているか否かを推定する。そして、残留エコー抑圧部１０８２は、残留エコーが含まれていると推定された周波数帯域の成分について、この周波数帯域と時間方向および周波数方向において隣接する範囲の成分のなかから音圧レベルの低い信号成分を選定し、選定した成分の音圧レベルとこの周波数帯域の成分の音圧レベルとの差に応じて、この周波数帯域の成分を抑圧する。

したがって、本実施の形態によれば、会話音声の歪み（抑圧）を小さく抑えながら、線形エコーキャンセラ部１０６およびスペクトルサブトラクション部１０７で消去しきれない残留エコーを抑圧することができ、これによりエコーキャンセラ１のエコー抑圧効果を高めることができる。
［第二実施の形態］
図４は、本発明の第二実施の形態に係るエコーキャンセラ１Ａの概略構成図である。

図示するように、本実施の形態に係るエコーキャンセラ１Ａが図１に示す第一実施の形態に係るエコーキャンセラ１と異なる点は、残留エコー消去部１０８に代えて残留エコー消去部１０８Ａを有することである。

また、残留エコー消去部１０８Ａが残留エコー消去部１０８と異なる点は、それぞれ比較候補周波数帯域となる周波数帯域の範囲が異なる残留エコー推定部１０８１を複数有すること、および複数の残留エコー推定部１０８１のなかから残留エコーの推定に使用する残留エコー推定部１０８１を選択する選択部１０８３を有することである。

選択部１０８３は、ＦＦＴ部１０４から出力される近端音声信号の音圧スペクトル情報、擬似エコー生成部１０５により生成された擬似エコー信号の音圧スペクトル情報、および線形エコーキャンセラ部１０６より出力される音響エコー消去後の近端音声信号の音圧スペクトル情報に基づいて、音響エコーの大きさを推定する。そして、この音響エコーの大きさに応じて、比較候補周波数帯域の範囲が広くなるように、残留エコー推定部１０８１を選択する。

例えば、擬似エコー信号の全周波数帯域における音圧レベルの合計値が、音響エコー消去後の近端音声信号の全周波数帯域における音圧レベルの合計値よりも一定割合（所定の基準値）以上大きい場合、すなわち近端音声信号に対して音響エコーが基準値以上の大きさである場合は、比較候補周波数帯域の範囲が広い、すなわち残留エコーの抑圧効果がより高い残留エコー推定部１０８１を選択する。そして、選択した残留エコー推定部１０８１に、残留エコーの推定を実施させる。

図５は、残留エコーの推定・抑圧処理の第三の例を説明するための図である。ここでは、遠端音声信号入力部１０１に入力される遠端音声信号および近端音声信号入力部１０２に入力される近端音声信号がサンプリング周波数３２ｋＨｚのデジタル音声信号であり、ＦＦＴ部１０３、１０４が、入力されたデジタル音声信号をフレーム長２０４８ポイントのＦＦＴにより１０２４個の周波数帯域に分割した上で、フレームシフト単位を５１２ポイント（１６ｍｓ）とする場合を想定している。

図５において、図３と同じものには同じ符号を付している。図３に示す場合と同様、音圧スペクトル情報２０は、１０２４個の周波数帯域に分割され、そのフレームシフト単位２３は１６ｍｓである。

着目する周波数帯域を着目帯域Ａとする。先ず、残留エコー推定部１０８１は、着目帯域Ａと２８個の比較候補周波数帯域Ｃ１〜Ｃ２８を含む処理対象ブロックを決定する。具体的には、着目帯域Ａの属するフレームシフト単位の３つ前のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ１３、着目帯域Ａの上下に隣接する周波数帯域Ｃ７、Ｃ１７、および周波数帯域Ｃ７、Ｃ１７に隣接する周波数帯域Ｃ１、Ｃ２３を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位の２つ前のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ１４、着目帯域Ａの上下に隣接する周波数帯域Ｃ８、Ｃ１８、および周波数帯域Ｃ８、Ｃ１８に隣接する周波数帯域Ｃ２、Ｃ２４を比較候補周波数領域として選出する。また、着目帯域Ａの属するフレームシフト単位の直前のフレームシフト単位から、着目帯域Ａの上下に隣接する周波数帯域Ｃ９、Ｃ１９、および周波数帯域Ｃ９、Ｃ１９に隣接する周波数帯域Ｃ３、Ｃ２５を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位から、着目帯域Ａの上下に隣接する周波数帯域Ｃ１０、Ｃ２０、および周波数帯域Ｃ１０、Ｃ２０に隣接する周波数帯域Ｃ４、Ｃ２６を比較候補周波数帯域として選出する。また、着目帯域Ａの属するフレームシフト単位の直後のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ１５、着目帯域Ａの上下に隣接する周波数帯域Ｃ１１、Ｃ２１、および周波数帯域Ｃ１１、Ｃ２１に隣接する周波数帯域Ｃ５、Ｃ２７を比較候補として選出する。さらに、着目帯域Ａの属するフレームシフト単位の２つ後のフレームシフト単位から、着目帯域Ａと同じ周波数帯域Ｃ１６、着目帯域Ａの上下に隣接する周波数帯域Ｃ１２、Ｃ２２、および周波数帯域Ｃ１２、Ｃ２２に隣接する周波数帯域Ｃ６、Ｃ２８を比較候補周波数帯域として選出する。

次に、残留エコー推定部１０８１は、以上のようにして選出した、処理対象ブロック内の比較候補周波数帯域Ｃ１〜Ｃ２８の音圧レベルと着目帯域Ａの音圧レベルとを比較し、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｃ１〜Ｃ１６の音圧レベルから乖離しているか否かを判断する。具体的には、図５の条件２８に示すように、比較候補周波数帯域Ｃ１、Ｃ２、Ｃ７、Ｃ８の音圧レベルのうちの低いものをＥ１、比較候補周波数帯域Ｃ３、Ｃ４、Ｃ９、Ｃ１０の音圧レベルのうちの低いものをＥ２、比較候補周波数帯域Ｃ５、Ｃ６、Ｃ１１、Ｃ１２の音圧レベルのうちの低いものをＥ３、比較候補周波数帯域Ｃ１３、Ｃ１４の音圧レベルのうちの低いものをＥ４、比較候補周波数帯域Ｃ１５、Ｃ１６の音圧レベルのうちの低いものをＥ５、比較候補周波数帯域Ｃ１７、Ｃ１８、Ｃ２３、Ｃ２４の音圧レベルのうちの低いものをＥ６、比較候補周波数帯域Ｃ１９、Ｃ２０、Ｃ２５、Ｃ２６の音圧レベルのうちの低いものをＥ７、そして、比較候補周波数帯域Ｃ２１、Ｃ２２、Ｃ２７、Ｃ２８の音圧レベルのうちの低いものをＥ８とする。そして、着目帯域Ａの音圧レベルが、音圧レベルＥ１〜Ｅ４、Ｅ６〜Ｅ８のうちの最も高い音圧レベルＦ１、および音圧レベルＥ１〜Ｅ３、Ｅ５〜Ｅ８のうちの最も高い音圧レベルＦ２の少なくとも一方より高いか否かを判断する。その結果、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｃ１〜Ｃ２８の音圧レベルから乖離しているならば（音圧レベルＦ１、Ｆ２の少なくとも一方よりも高いならば）、この着目帯域Ａに残留エコー成分が存在すると推定する。

残留エコー抑圧部１０８２は、残留エコー推定部１０８１により残留エコー成分が存在すると推定された着目帯域Ａの音圧レベルを、着目帯域Ａの音圧レベルが比較候補周波数帯域Ｃ１〜Ｃ２８の音圧レベルから乖離しなくなるように抑圧する。具体的には、図３の条件２７の場合と同様である。

図５に示す第三の例によれば、図３に示す第二の例に比べて比較候補周波数帯域の範囲が広くなっており、これにより残留エコーの検出感度がより高くなり、残留エコーの抑圧効果がより高まる。しかし、会話音声の歪みは増加する。そこで、例えば、選択部１０８３は、通常の場合、すなわち音響エコーの大きさが基準値未満の場合は、図３に示す第二の例で動作する残留エコー推定部１０８１を選択し、音響エコーの大きさが基準値以上となった場合にのみ、図５に示す第三の例で動作する残留エコー推定部１０８１を選択する。これにより、残留エコーを抑圧しつつも、会話音声の歪みが極力生じないようにしている。

以上、本発明の第二実施の形態について説明した。

本実施の形態では、音響エコーの大きさに応じて、残留エコーの抑圧効果の異なる残留エコーの推定・抑圧処理を使い分けているので、特許文献１に記載の技術であればボイススイッチを使って音声を完全に遮断せざるを得なかったような悪条件においても、全二重通話状態を維持し、より快適な通話環境を提供することができる。その他の効果は第一実施の形態と同様である。

なお、本発明は上記の各実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

例えば、上記の各実施の形態において、エコーキャンセラ１、１Ａの構成は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの集積ロジックＩＣによりハード的に実行されるものでもよい。あるいは、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）によりソフト的に実行されるものでもよい。もしくは、ＣＰＵ、メモリ、ＨＤＤ、ＤＶＤ−ＲＯＭ等の補助記憶装置、モデム、およびＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）を備えたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等の汎用コンピュータにおいて、ＣＰＵが、所定のプログラムを補助記憶装置からメモリ上にロードして実行することにより実現されるものでもよい。

図１は、本発明の第一実施の形態に係るエコーキャンセラ１の概略構成図である。図２は、残留エコーの推定・抑圧処理の第一の例を説明するための図である。図３は、残留エコーの推定・抑圧処理の第二の例を説明するための図である。図４は、本発明の第二実施の形態に係るエコーキャンセラ１Ａの概略構成図である。図５は、残留エコーの推定・抑圧処理の第三の例を説明するための図である。

符号の説明

１、１Ａ：エコーキャンセラ、１０１：遠端音声信号入力部、１０２：近端音声信号入力部、１０３、１０４：ＦＦＴ部、１０５：擬似エコー生成部、１０６：線形エコーキャンセラ部、１０７：スペクトルサブトラクション部、１０８、１０８Ａ：残留エコー消去部、１０９：ＩＦＦＴ部、１１０：近端音声信号出力部、１０８１：残留エコー推定部、１０８２：残留エコー抑圧部、１０８３：選択部

Claims

マイクに入力された音声信号である入力音声信号から、スピーカから出力された音声信号である出力音声信号の音響エコーを消去するエコーキャンセラであって、
前記出力音声信号の音響エコーを周波数帯域毎に推定して擬似エコー信号を生成する擬似エコー生成手段と、
前記入力音声信号から前記擬似エコー信号を差し引いて、前記入力音声信号から前記出力音声信号の音響エコーをキャンセルするエコーキャンセル手段と、
前記音響エコーがキャンセルされた前記入力音声信号について、周波数帯域毎に、時間方向および周波数方向において当該周波数帯域と隣接する範囲の信号成分に基づいて、当該周波数帯域の信号成分から前記音響エコーの残留成分である残留エコーを消去する残留エコー消去手段と、を有する
ことを特徴とするエコーキャンセラ。
請求項１に記載のエコーキャンセラであって、
前記残留エコー消去手段は、
前記音響エコーがキャンセルされた前記入力音声信号について、周波数帯域毎に、時間方向および周波数方向において当該周波数帯域の信号成分と隣接する範囲の信号成分のなかから、音圧レベルの高い信号成分を少なくとも一つ選定し、当該選定した信号成分の音圧レベルと当該周波数帯域の信号成分の音圧レベルとの比較結果に基づいて、当該周波数帯域の信号成分に前記残留エコーが含まれているか否かを推定する残留エコー推定手段と、
前記残留エコーが含まれていると推定された周波数帯域の信号成分について、時間方向および周波数方向において当該周波数帯域と隣接する範囲の信号成分のなかから、音圧レベルの低い信号成分を選定し、当該選定した信号成分の音圧レベルと当該周波数帯域の信号成分の音圧レベルとの差に応じて、当該周波数帯域の信号成分を抑圧する残留エコー抑圧手段と、を有する
ことを特徴とするエコーキャンセラ。
請求項２に記載のエコーキャンセラであって、
前記残留エコー推定手段および前記残留エコー抑圧手段は、
前記周波数帯域の信号成分と隣接する周波数方向の範囲を、前記擬似エコー信号の音圧レベルに基づいて変更する
ことを特徴とするエコーキャンセラ。
マイクに入力された音声信号である入力音声信号から、スピーカから出力された音声信号である出力音声信号の音響エコーを消去するエコー消去方法であって、
前記出力音声信号の音響エコーを周波数帯域毎に推定して擬似エコー信号を生成し、
前記入力音声信号から前記擬似エコー信号を差し引いて、前記入力音声信号から前記出力音声信号の音響エコーをキャンセルし、
前記音響エコーがキャンセルされた前記入力音声信号について、周波数帯域毎に、時間方向および周波数方向において当該周波数帯域と隣接する範囲の信号成分に基づいて、当該周波数帯域の信号成分から前記音響エコーの残留成分である残留エコーを消去する
ことを特徴とするエコー消去方法。