JP4383416B2 - ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 - Google Patents
ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4383416B2 JP4383416B2 JP2006036529A JP2006036529A JP4383416B2 JP 4383416 B2 JP4383416 B2 JP 4383416B2 JP 2006036529 A JP2006036529 A JP 2006036529A JP 2006036529 A JP2006036529 A JP 2006036529A JP 4383416 B2 JP4383416 B2 JP 4383416B2
- Authority
- JP
- Japan
- Prior art keywords
- reception
- transmission
- frequency
- frequency domain
- attenuation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
図12は特許文献1で開示された従来技術のハウリング防止装置の構成図である。従来技術のハウリング防止装置は、減衰量算出部702と、送受話判定部703と、減衰量制御部704と、受話側の減衰器701Rと、送話側の減衰器701Sと、音響結合量推定部705により構成される。
本ハウリング防止装置は、スピーカとマイクロホンを用いた拡声通話において生じるハウリングを防止する。入力信号は、通話相手から受信信号である受話信号と、自地点のマイクロホンで受音した信号であるマイク受音信号であり、出力信号は、自地点のスピーカから出力する信号であるスピーカ出力信号と、通話相手への送話信号である。本装置は、受話信号に減衰を与えてスピーカ出力信号とし、マイク受音信号に減衰を与えて送話信号とすることで、受話端TRから送話端TSまでの利得を1以下に抑えてハウリングを防止する装置である。
音響結合量推定部705は、スピーカとマイク間の伝達関数の振幅値である音響結合量A(Ω)を求める。スピーカ出力信号とマイク受音信号をそれぞれ周波数領域変換し、変換後の信号の絶対値の比をとって、音響結合量A(Ω)を求める。スピーカ出力信号の周波数領域変換をX(Ω)、マイク受音信号の周波数領域変換をY(Ω)とした場合、音響結合量A(Ω)は式(1)により求められる。
A(Ω)=|Y(Ω)|/|X(Ω)| 式(1)
ただし、|・|は絶対値を表し、Ωは周波数領域変換の帯域分割に対応する離散的な周波数を表す。
ハウリングを起こさない減衰量は、音響結合量A(Ω)から以下のように求められる。ハウリングを起こさないための十分条件は、すべての周波数に対して受話端TRから送話端TSまでの伝達関数の振幅が1未満となることである。また、送話側の減衰器701Sのゲインをgsとし、受話側の減衰器701Rのゲインをgrとすれば、トータルでのゲインはG=gs・grとなる。したがってハウリングを起こさないための十分条件は式(2)で表される。
ただし、MAXΩ{・}はΩについて最大値をとることを表す。
したがって、ハウリングを起こさないための減衰量は式(3)で表される。
G=gs・gr=C/MAXΩ{A(Ω)} 式(3)
ただし、Cは1未満の定数であり、あらかじめ与えられる。
送受話判定部703は、受話信号とマイク受音信号より、送受話の判定をする。受話検出は、受話信号のレベルを観測し、そのレベルからあらかじめ与えた固定閾値と、受話雑音レベルを定数倍した閾値を越えた場合に受話と判定する。送話検出は、マイク受音信号のレベルを観測し、そのレベルがあらかじめ与えた固定閾値と送話雑音レベルを定数倍した閾値を越え、さらに、音響結合量A(Ω)にスピーカ出力信号の絶対値|X(Ω)|を乗じた推定音響エコーレベルを定数倍した閾値を越えた場合に送話と判定する。送話、受話が両方とも検出されない無音区間や、送話、受話が両方とも検出されるダブルトーク区間は、その前の送受話判定状態などから送話か受話のどちらかに判定を行う。また、送受話判定の頻繁な切り替わりを防ぐため、ハングオーバー時間を設け、送話判定状態または受話判定状態をある一定時間保持するようにする。
受話側の減衰器701Rは受話側のゲインgrを受話信号に常時、スピーカ出力信号を得る。受話側の減衰器701Sは送話側のゲインgsをマイク受音信号に乗じ、送話信号を得る。
図7Bにその様子を示す。図中ARは受話信号、ASは送話信号を示す。図示する例では送話信号AS系に減衰が与えられた場合を示す。送話系に減衰が与えられることにより送話信号ASの全体がレベルの低下を来し、これにより音声の切断感が生じる。
更に、本発明によるハウリング防止方法は前記記載のハウリング防止方法において、第1周波数領域変換処理で周波数領域に変換された受話信号から受音信号の全帯域での平均レベルを求め、第2周波数変換処理で周波数領域に変換されたマイク受音信号からマイク受音信号の全帯域での平均レベルを求め、受話信号の全帯域での平均レベルに予め設定した0から1の間の固定値である正規化係数を乗じた値とマイク受音信号の全帯域での平均レベルとを加算したものを受話側正規化重みとして算出し、マイク受音信号の全帯域での平均レベルに正規化係数を乗じた値と受話信号の全帯域での平均レベルとを加算したものを送話側正規化重みとして算出する正規化重み算出処理を更に有し、
周波数帯域ごとの送受話判定処理は、第1周波数変換処理で周波数領域に変換された受話信号を受話側正規化重みで正規化した信号と、第2周波数領域変換処理で周波数領域に変換されたマイク受音信号を送話側正規化重みで正規化した信号とにより、周波数帯域ごとに送話状態であるか受話状態であるかを判定する ことを特徴とする。
さらに本発明によれば、周波数領域変換部の周波数特性が理想的でないことによるハウリング抑圧性能の低下を防ぐことができる。更に本発明によれば、送受話音声のどちらか一方が大きいレベルであるような場合でも、送受話検出を正確に行うことができる。更に本発明によれば送受話のうち、どちらか一方だけ音声が存在するシングルトーク時の音質を改善することができ、送受話で雑音のみが存在する無音区間における、雑音の音質を改善することができる。更に本発明によれば、演算する帯域数を削減し、演算量を削減するこができる。
マイク受音信号を2以上N個の周波数成分に変換する周波数領域変換処理を実行する第2周波数領域変換部101Sと、
第1周波数領域変換部101Rで周波数成分に変換された受話信号を各周波数帯域ごとに設定された減衰量に従って減衰させる受話側減衰処理を実行する受話側減衰部ATT−1と、
第2周波数領域変換部101Sで周波数成分に変換されたマイク受音信号を各周波数帯域ごとに設定された減衰量に従って減衰させる送話側減衰部ATT−2と、
受話側減衰部ATT−1により減衰処理された受話信号をスピーカ出力信号に変換する逆周波数領域変換処理を実行する第1逆周波数領域変換部102Rと、
送話側減衰部ATT−2により減衰処理された送話信号を逆周波数領域変換処理して送話端TSから送話信号を出力する第2逆周波数領域変換部102Sと、
スピーカ出力信号をN個の周波数成分に変換する処理を実行する第3周波数領域変換部107と、
第2周波数領域変換部101Sで得られたマイク受音信号の各周波数成分と、第3周波数領域変換部107で得られたスピーカ出力信号の周波数成分とによってスピーカとマイク間の各周波数ごとの音響結合量を推定する音響結合量推定部1081〜108Nと、
この音響結合量推定部で1081〜108Nで得られた音響結合量から、第1周波数領域変換部101R及び第2周波数領域変換部101Rで得られた各周波数帯域ごとに受話端TRと送話端TSまでの伝達関数の振幅が1未満となる減衰量を算出する減衰量算出部1041〜104Nと、
第1周波数領域変換部101Rで周波数領域に変換された受話信号と、第2周波数領域変換部101Sで周波数領域に変換されたマイク受音信号と、スピーカ出力信号を周波数領域に変換する第3周波数領域変換部107で周波数領域に変換されたスピーカ出力信号と、音響結合量とにより周波数帯域ごとに送話状態及び受話状態を判定する送受話判定部1051〜105Nと、
この送受話判定部1051〜105Nの判定結果が送話と判定された周波数領域では受話側減衰部ATT−1に設定する減衰量を減衰量算出部1041〜104Nで算出した減衰量に設定し、送話側減衰部ATT−2に設定する減衰量をそれぞれ設定し、送受話判定結果が受話と判定された周波数帯域では受話側減衰部ATT−1に設定する減衰量をゼロに、送話側減衰部ATT−2に設定する減衰量を減衰量算出部1041〜104Nで算出された減衰量にそれぞれ設定する減衰量制御部1061〜106Nとによって構成するものである。
本実施例では、マイク受音信号と受話信号をそれぞれN個の周波数帯域信号に分割し、周波数帯域ごとで送受話の判定を行う。ただし、Nは2以上の整数である。この周波数帯域ごとの送受話判定結果に基づいて、周波数帯域ごとの減衰量の制御を行う。この周波数帯域ごとの処理により、受話側の信号が大きい帯域では、受話側の減衰部ATT−1のゲインが1(減衰量がゼロの状態)になり、送話側の信号が大きい帯域では、送話側の減衰部ATT−2のゲインが1になる。このような減衰量の設定によって、受話音声と送話音声が同時に存在するダブルトーク期間であっても、音声レベルの減衰を抑え、双方向通話性能を向上させることができる。
第1周波数領域変換部101Rは、受話信号をN個の周波数成分に変換する。周波数領域への変換はフーリエ変換や帯域分割フィルタバンクにより行なうことができる。変換後の受話信号はR(Ω)で表される。ただし、Ωは、周波数領域変換でのN個の周波数帯域の中心周波数ω0〜ωN−1に対応した離散的な周波数であり、ω0〜ωN−1の離散値をとる。この周波数領域変換は、1サンプル以上の複数サンプルごとに行われる。この周波数領域変換が行われる間隔を1フレームと表す。このような処理により、1フレームごとに、周波数領域に変換された受話信号R(Ω)が得られる。
スピーカ出力信号の第3周波数領域変換部107は、受話側の第1周波数領域変換部101Rと同様の処理によりスピーカ出力信号をN個の周波数成分に変換する。変換後のスピーカ出力信号はX(Ω)で表される。
周波数帯域ごとに設けられた音響結合量推定部1081〜108Nは、周波数帯域ごとの音響結合量A(Ω)を求める。音響結合量とは、スピーカとマイク間の伝達関数の振幅値であり、周波数領域変換後のスピーカ出力信号X(Ω)とマイク受音信号Y(Ω)の絶対値の比で求められる。スピーカ出力信号の周波数領域変換結果をX(Ω)、マイク受音信号の周波数領域変換結果をY(Ω)とした場合、音響結合量A(Ω)は式(4)により求められる。
ただし、|・|は絶対値を表す。
さらに、音響結合量の精度を向上するために、音響結合量A(Ω)の時間平滑化を行う。
周波数帯域ごとに設けられた減衰量算出部1041〜104Nは、音響結合量推定部1080〜108Nで求められた音響結合量A(Ω)からハウリングを起こさない減衰量を算出する。
したがって、ハウリングを起こさないための減衰量G(Ω)は式(6)で表される。
G(Ω)=gs(Ω)・gr(Ω)-=C/A(Ω) 式(6)
ただし、Cは1未満の定数であり、あらかじめ与えられる。また、Cを周波数ごとで異なる値に設定してC(Ω)としてもよい。
周波数帯域ごとに設けられた送受話判定部1051〜105Nは、周波数領域に変換された受話信号R(Ω)と、マイク受音信号Y(Ω)と、スピーカ出力信号X(Ω)と、音響結合量A(Ω)より、周波数帯域ごとで送受話の判定をする。
PR(Ω)>TR(Ω) 式(7)
PR(Ω)>TNR(Ω)=B・NR(Ω) 式(8)
ここで受話信号のレベルPR(Ω)は、受話信号R(Ω)の瞬時レベル|R(Ω)|や、瞬時レベル|R(Ω)|を時間平滑化して計算される。時間平滑化を用いた受話信号レベルは、例えば式(9)により計算される。‖
PR(Ω)=w・P'R(Ω)+(1−w)・|R(Ω)| 式(9)
ただし、wは0から1までのあらかじめ与えられる定数であり、P'R(Ω)は、1フレーム前の受話信号レベルであり、|・|は絶対値をとることを意味する。ノイズレベルNR(t)は、受話レベルPR(Ω)の最小値保持(ディップホールド)をすることで推定することができる。これは、例えば式(10)を用いて行われる。
NR(Ω)=u・N'R(Ω)+(1+u)・PR(Ω) for N'R(Ω)>PR(Ω) 式(10)
uは推定ノイズレベル上昇時の平滑化係数であり0から1までの値をとり、あらかじめ設定される。uが1に近いと緩やかなノイズレベル上昇となり、ディップホールドの効果が得られる。N'R(Ω)は、1時刻前の受話信号レベルである。
次に送話検出は、マイク受音信号Y(Ω)の周波数ごとのレベルRY(Ω)を観測し、そのレベルがあらかじめ与えた固定閾値TY(Ω)と、マイク受音信号Y(Ω)の雑音レベルNY(Ω)にあらかじめ設定した1以上の定数Dを乗じた閾値TNY(Ω)の両方を越え、さらに、音響結合量A(Ω)にスピーカ出力信号のレベルPX(Ω)を乗じた推定音響エコーレベルPE(Ω)に、あらかじめ設定した定数Eを乗じた閾値TEY(Ω)を越えた場合に送話と判定する。この判定条件を式で示せば、式(11)と式(12)と式(13)の全ての条件を満たす場合に送話と判定する。
PY(Ω)>TY(Ω) 式(11)
PY(Ω)>TNY(Ω)=D・NY(Ω) 式(12)
PY(Ω)>TEY(Ω)=E・A(Ω)・PX(Ω) 式(13)
ここで、レベルPY(Ω)とPX(Ω)と雑音レベルNY(Ω)は、受話判定と同様にして求められる。
送話、受話が両方とも検出されない無音区間や、送話、受話が両方とも検出されるダブルトーク区間は、その前の送受話判定状態を保持するなどして、送話か受話のどちらかに判定を行う。また、送受話判定の頻繁な切り替わりを防ぐため、ハングオーバー時間を設け、送話判定状態または受話判定状態をある一定時間保持するようにする。
ただし、g''s(Ω)は1時刻前の時間平滑化後の送話側ゲインであり、vはあらかじめ設定する平滑化係数で、0から1の間の値をとる。
時間平滑化後の受話側ゲインg'r(Ω)も、送話側と同様にして求められる。
受話側減衰部ATT−1を構成する各減衰器103R1〜103RNは、減衰量算出部1041〜104Nで計算された周波数帯域ごとの時間平滑化後の受話側ゲインg'r(Ω)を、周波数領域変換後の受話信号R(Ω)に、周波数帯域ごとに乗算する。
第1逆周波数領域変換部102Rは、受話側の減衰器103R1〜103RNの出力信号を逆周波数領域変換して、スピーカ出力信号を出力する。
第2逆周波数領域変換部102Sは、送話側の減衰器103S1〜103SNの出力信号を逆周波数領域変換して、送話信号を出力する。
図7A、図7B、図7Cに示すダブルトーク時の送受話音声の周波数スペクトル図から、本発明の効果を説明する。図7Aはハウリング抑圧処理前の送受話音声の周波数スペクトルであり、図7Bは、従来のハウリング抑圧装置通過後の送受話音声の周波数スペクトルである。従来のハウリング抑圧装置では、送受話のいずれかにフルバンドでロスを挿入するため、図7Bに示すように、どちらかの音声の全体のレベルが大幅に減少し、一方の音声が聞き取りづらいレベルになってしまう。これに対し、図7Cに示す本発明のハウリング抑圧装置通過後の送受話音声の周波数スペクトルでは、送受話音声のレベルの低い周波数成分のみが抑圧され、レベルの高い周波数成分はそのまま出力される。これにより、音声レベルの現象は、従来のハウリング抑圧装置に比べ小さくなる。
本実施例のハウリング防止装置は、本発明の第1の実施例に、受話側の減衰量補正部201Rと、送話側の減衰量補正部201Sを追加した構成である。
受話側の減衰量補正部201Rは、周波数帯域ごとに設けられた減衰量制御部1061〜106Nで設定された時間平滑化後の受話側のゲインg'r(Ω)の周波数特性を、第1及び第2周波数領域変換部101Rと第2周波数領域変換部101Sの周波数特性に基づいて、所望の減衰量が全ての帯域で実現されるように補正する。
以下に補正の詳細を説明する。
第1及び第2周波数領域変換部101R、101Sの各周波数帯域の周波数特性は、理想的には図13に示すように各周波数帯域毎に矩形であれば問題は生じない(図13では見易くするために各矩形の間に隙間を表示しているが、現実にはこの隙間は存在しない)。然し乍ら現実には図8に示すように両端がなだらかに減衰する特性を持つ。第1及び第2周波数領域変換部101R、101Sの周波数特性の例として、図8には、ハニング窓を乗じてからフーリエ変換したときのk番目の周波数帯域の周波数特性の絶対値|Fk(ω)|を示す。この帯域の中心周波数ωkを頂点にして、緩やかな減衰を持つ特性となっていることが分かる。その減衰量は、隣の帯域の中心周波数ωk−1で−10dB、ωkとωk−1の中間で−3dBである。このために互いに隣接する周波数帯域の減衰特性が重なり合うことになり、周波数帯域の境界部分に利得設定値とは異なる高利得部分が発生することになる。つまり、離散的な周波数Ω(ω0〜ωN-1)に対して、受話側のゲインg'r(Ω)を与えたとしても、実際に実現される連続値ωでの周波数特性は、与えた値と異なる周波数特性を呈することになる。このように、理想的でない周波数特性を持つ周波数領域変換部を用いたときに実現される周波数特性g's(ω)は、k番目の周波数帯域の周波数特性をFk(ω)としたときに式(15)と式(16)で表される。
|g'r(ω)|・|g's(ω)|≦G(ω) 式(19)
式(19)を満たすように、受話側の減衰量補正部201Rと、送話側の減衰量補正部201Sは、それぞれg'r(ω)とg's(ω)を補正する。
g'''r(Ω2)=q・g'r(Ω2)+(1−q)・g'r(Ω1) 式(21)
ただし、平均重みqは0から1の値をとり、1のときには補正が行われず、値が小さくなるにしたがって、強い補正がかけられる。
送話側の減衰量補正部201Sも同様にしてg's(Ω)を補正してg'''s(Ω1)を求める。
また、補正は、重み付き平均ではなく、以下のような計算であってもよい。隣り合う周波数帯域のゲイン値が異なる場合に、隣り合う周波数帯域の2つのゲイン値g'r(Ω1)とg'r(Ω2)のうち小さい値の方をg'r(Ω1)とし、大きい値の方をg'r(Ω2)とし、g'r(Ω2)>g'r(Ω1)の関係がある場合、小さい方の値g'r(Ω1)は、そのままの値として、式(22)で補正後のゲイン値g'''r(Ω1)を求める。
大きい値を持つゲイン値g'r(Ω2)は、小さい値を持つゲイン値g'r(Ω1)に事前に設定される1以上の固定係数をq'を乗じた値に、g'r(Ω2)>q'g'r(Ω1)の関係が成立する場合に、置き換える。これは式(23)で表される。
g'''r(Ω1)=q'・g'r(Ω1) 式(23)
g'r(Ω2)≦q'・g'r(Ω1)の関係が成り立つ場合には、そのままの値として、式(24)により補正後のゲイン値g'''r(Ω1)を求める。
ただし、固定係数q'は1以上の値をとり、1のときには強い補正がかけられ、値が大きくなるにしたがって、補正が弱くなる。
送話側の減衰量補正部201Sも同様にしてg's(Ω)を補正して、補正後のゲイン値g'''r(Ω)を求める。
以上、示したように受話側の減衰量補正部201Rと、送話側の減衰量補正部201Sは、それぞれg'r(Ω)とg's(Ω)を補正して補正後のゲインg'''r(Ω)とg'''s(Ω)を求める。
図10には、補正前に実現されたゲイン値g'r(Ω)及びg's(Ω)と、トータルゲインの周波数特性を示す。周波数領域変換部101Rと101Sの各周波数帯域の周波数特性は、理想的な矩形状ではなく、両端がなだらかに減衰する特性を持つ。このため、周波数帯域ごとに1つずつのゲイン値(図10に示す各ポイントPR1〜PR6及びPS1〜PS6)を設定したときに、その間の周波数(図10に示す例ではω2〜ω3とω4〜ω5)では、トータルゲインは設定値と異なるゲイン値となる。このため、補正前に実現されるトータルでのゲイン|g'r(ω)|・|g's(ω)|は、所望の損失G(Ω)を越えてしまう場合がある。このため、ハウリング抑圧性能の低下が起こる。
以上示したように、本発明の第2の実施例によれば、本発明の第1の実施例の効果に加え、第1及び第2周波数領域変換部101R、101Sの各周波数特性が理想的でないことによるハウリング抑圧性能の低下を防ぐことができる。
本発明の第3の実施例は、本発明の第1または第2の実施例に正規化重み算出部301を設け、送受話判定部1051〜105Nを周波数領域に変換された受話信号R(Ω)と、マイク受音信号Y(Ω)と、スピーカ出力信号X(Ω)と、音響結合量A(Ω)と、正規化重み算出部301で求められた正規化重みを用いて送受話判定部1051〜105Nの判定に重み付けを行う構成とした実施例である。
つまり、回線の不具合等の理由により、例えば受話信号のレベルが正規のレベルより大きく低下してしまったと仮定した場合、このような状況下では送受話判定部1051〜105Nは全周波数帯域にわたって優先的に送話と判定してしまう不都合が生じる。
正規化重み算出部301は、送話側の第2周波数領域変換部101Sの出力である周波数領域変換後のマイク受音信号Y(Ω)の振幅を平均して、周波数スペクトルの周波数平均レベルGsを算出する。これは、式(25)または式(26)により求められる。
Wr=Gs+z・Gr 式(30)
ただし、正規化係数zには0から1の間の固定値があらかじめ設定され、z=0の場合には、完全な正規化が行われ、受話音声レベルと送話音声レベルにそれぞれ正規化重みを乗じて求めた正規化レベルの周波数平均値は、送受話で同じ値となる。また、z=1の場合には、送受話の正規化重みは同じ値となり、正規化は行われない。
周波数帯域ごとに設けられた送受話判定部1051〜105Nは、周波数領域に変換された受話信号R(Ω)と、マイク受音信号Y(Ω)と、スピーカ出力信号X(Ω)と、音響結合量A(Ω)と、正規化重み算出部301で求められた正規化重みWsとWrにより、周波数帯域ごとで送受話の判定をする。
次に、それぞれマイク受音信号Y(Ω)の周波数ごとのレベルPY(Ω)を計算する。また、あらかじめ与えた固定閾値TY(Ω)と、マイク受音信号Y(Ω)の雑音レベルNY(Ω)にあらかじめ設定した1以上の定数Dを乗じた閾値TNY(Ω)のうち、大きいほうの値を送話閾値LS(Ω)とする。音響結合量A(Ω)にスピーカ出力信号のレベルPX(Ω)を乗じた推定音響エコーレベルPE(Ω)に、あらかじめ設定した定数Eを乗じた閾値TEY(Ω)を求める。マイク受音信号のレベルPY(Ω)から送話閾値LS(Ω)とエコー閾値TEY(Ω)を減じた値に、送話音声に対する正規化重みWsを乗じ、正規化後の送話信号レベルSnorm(Ω)を計算する。ここで、レベルPY(Ω)とPX(Ω)と雑音レベルNY(Ω)は、受話側と同様にして求められる。正規化後の送話信号レベルSnorm(Ω)を式で表せば、式(32)となる。
以上のように、受話信号レベルRnorm(Ω)と、送話信号レベルSnorm(Ω)を正規化することで、送受話信号間のレベル差を小さくすることができる。
次に、求められた正規化後の受話信号レベルRnorm(Ω)と、正規化後の送話信号レベルSnorm(Ω)を比較し、送受話の判定を行なう。比較した結果が、受話信号レベルRnorm(Ω)が大きい場合は受話と判定し、送話信号レベルSnorm(Ω)が大きいかまたは等しい場合は送話と判定する。受話信号レベルRnorm(Ω)と正規化後の送話信号レベルSnorm(Ω)が両方とも負の値となる区間は、その前の送受話判定状態を保持し、送話か受話のどちらかに判定を行なう。また、送受話判定の頻繁な切り替わりを防ぐため、ハングオーバー時間を設け、送話判定状態をある一定時間保持するようにする。
本発明の第4の実施例は、本発明の第1〜3の実施例にフルバンド送受話判定部401を設け、送受話判定部1051〜105Nを、フルバンド送受話判定部401の判定結果に基づいて送話または受話の判定を強調するように変更した構成である。
フルバンド送受話判定部401は、周波数領域に変換された受話信号R(Ω)と、マイク受音信号Y(Ω)と、スピーカ出力信号X(Ω)と、音響結合量A(Ω)より、全帯域での送受話の判定をする。例えば、本発明の第1の実施例と同様にして、周波数帯域ごとの受話判定結果を得る。次に、いくつかの周波数帯域で受話と判定されたかをカウントし、そのカウント値が、あらかじめ設定した受話検出カウント閾値を越える場合に受話と判定する。送話側も同様に、本発明の第1の実施例と同様にして、周波数帯域ごとの送話判定結果を得る。次に、いくつの周波数帯域で送話と判定されたかをカウントし、そのカウント値が、あらかじめ設定した送話検出カウント閾値を越える場合に送話と判定する。
周波数帯域ごとに設けられた送受話判定部1051〜105Nは、本発明の第1〜3の実施例に記載の送受話判定処理に、フルバンド送受話判定結果に基づいた処理を加え、フルバンド送受話判定結果が送話であった場合は、周波数帯域ごとの送受話判定で送話と判定しやすくし、フルバンド送受話判定結果が受話であった場合は、周波数帯域ごとの送受話判定で受話と判定しやくすし、送受話の判定をする。
P'R(Ω)=PR(Ω)−LR(Ω) 式(33)
次に、本発明の第1または第2の実施例と同様にして、マイク受音信号の周波数ごとのレベルPY(Ω)と、あらかじめ与えた固定閾値TY(Ω)と、マイク受音信号Y(Ω)にスピーカ出力信号のレベPX(Ω)を乗じた推定音響エコーレベルPE(Ω)にあらかじめ設定した定数Eを乗じた閾値TEY(Ω)を求める。固定閾値TY(Ω)と閾値TNY(Ω)のうち大きいほうの値を送話閾値Ls(Ω)とする。次に、マイク受音信号のレベルPY(Ω)から送話閾値Ls(Ω)とエコー閾値TEY(Ω)を減じた値P'Y(Ω)を式(34)により計算する。
次に、フルバンド送受話判定部401での判定結果が受話であった場合には、閾値減算後の受話信号レベルP'R(Ω)に、あらかじめ設定した1以上の定数である受話検出強調係数を乗じてから、閾値減算後のマイク受音信号レベルP'S(Ω)jと比較し、閾値減算後のマイク受音信号レベルP'S(Ω)が大きければ、送話と検出する。閾値減算後のマイク受音信号レベルP'S(Ω)が小さいまたは等しい場合は、受話と検出する。
フルバンド送受話判定部401での判定結果が送話であった場合には、閾値減算後のマイク受音信号レベルP'S(Ω)に、あらかじめ設定した1以上の定数である送話検出強調係数を乗じてから、閾値減算後の受話信号レベルP'R(Ω)と比較し、閾値減算後の受話信号レベルP'R(Ω)が大きければ、受話と判定する。閾値減算後の受話信号レベルP'R(Ω)が小さいまたは等しい場合は送話と判定する。
本発明の第3の実施例に適用した場合の送受話判定部1051〜105Nは、本発明の第3の実施例と同様にして、正規化後の受話信号レベルをRnorm(Ω)と正規化後の送話信号レベルSnorm(Ω)を計算する。
フルバンド送受話判定部401での判定結果が送話であった場合には、正規化後の送話信号レベルSnorm(Ω)に、あらかじめ設定した1以上の定数である送話検出強調係数を乗じてから、正規化後の受話信号レベルRnorm(Ω)と比較し、正規化後の受話信号レベルRnorm(Ω)が大きければ、受話と判定する。正規化後の受話信号レベルRnorm(Ω)が小さいまたは等しい場合は、送話と判定する。
以上のように、フルバンドでの送受話検出結果が送話であった場合には、周波数帯域ごとの送受話判定において送話と判定されやすくなり、フルバンドでの送受話検出結果が受話であった場合には、周波数帯域ごとの送受話判定において受話と判定されやすくなることで、送受話のどちらか一方のみ音声が存在するシングルトーク状態では、ほぼ全ての帯域において周波数帯域ごとの送受話判定結果が送話か受話の一方のみとなる。これにより、音声の周波数成分が小さい帯域における、シングルトーク時の誤判定を防止して、音質を改善することができる。また、送話と受話で音声が存在しない無音区間では、フルバンドの送受話判定結果に基づいて帯域ごとの送受話判定が行われるので、ほぼ全ての帯域において周波数帯域ごとの送受話判定結果が送話か受話の一方のみとなる。これにより、無音区間における背景雑音の周波数特性が、ハウリング抑圧処理と同様になり、自然な音質の背景雑音となる。
本発明の第5の実施例は、本発明の第1〜4の実施例にスピーカ出力信号の帯域分割数変換部501(図5)と、受話側の帯域分割数変換部502(図5)と、送話側の帯域分割数変換部503(図6)と、受話側ゲインの帯域分割数変換部504(図5)と、送話側ゲインの帯域分割数変換部505(図6)が新たに設けられ、音響結合量推定部1081〜108Nと、減衰量算出部1041〜104Nと、送受話判定部1051〜105Nと、減衰量制御部1061〜106Nの個数が、変換後の帯域分割数N'に変更され、受話側の減衰器103R1〜103RNまたは受話側の減衰量補正部201Rの入力信号が受話側ゲインの帯域分割数変換部504の出力に変更され、送話側の減衰部ATT−1または送話側の減衰量補正部201Sの入力信号が送話側ゲインの帯域分割数変換部505の出力数N'に変更した構成である。
変換は、変換前の複数の帯域を1つの帯域にまとめることにより行われ、例えばΩ=ωn,…,ωmの範囲のK個の帯域を、1つの帯域Ω'に変換するときには、変換前の複数の振幅の平均値を、変換後の振幅とする。平均値は、式(35)または式(36)により行われる。
送話側の帯域分割数変換部503は、スピーカ出力信号の帯域分割数変換部501と同様の処理により、送話側の第2周波数領域変換部101Sの出力信号である周波数領域変換後のマイク受音信号Y(Ω)の帯域分割数をNからN'に変換する。
正規化重み算出部301とフルバンド送受話判定部401は、帯域分割数変換後の信号を入力とし、帯域分割数をN'として、本発明の第1〜4の実施例と同様の処理を行う。
受話側ゲインの帯域分割数変換部504は、減衰量制御部1061〜106Nの出力であるN'帯域の受話側ゲインを周波数領域変換部の帯域分割数Nのゲインに変換する。変換は変換前の1つの帯域を複数の帯域に分割するようにして行われる。例えば帯域Ω'を、Ω=ωn,…,ωmのK個の帯域に分割する場合、変換前の帯域Ω'のゲイン値を、変換後のK個の帯域Ω=ωn,…,ωmのゲイン値とする。
減衰量補正部201Rと201Sを有さない実施例に適用する場合には、受話側減衰部ATT−1を構成する各減衰器103R1〜103RNと、送話側減衰部ATT−2を構成する各減衰器103S1〜103SNは、それぞれ受話側ゲインの帯域分割数変換部504と送話側ゲインの帯域分割数変換部505により帯域分割数が変換されたゲイン値を入力とし、本発明の第1〜4の実施例と同様の処理を行う。
これら以外の部分については、本発明の第1〜4の実施例と同様であるので、説明を省略する。
以上示したように、本実施例によれば、本発明の第1〜4の実施例の効果に加えて、帯域分割数を一部の処理で少なくすることで、演算量の削減を行うことができる。
102R 第1逆周波数領域変換部 102S 第2逆周波数領域変換部
ATT−1 受話側減衰部 ATT−2 送話側減衰部
1041〜103N 減衰量算出部 1051〜105N 送受話判定部
1061〜106N 減衰量制御部 107 第3周波数領域変換部
1041〜104N 減衰量算出部 301 正規化重み算出部
201R、201S 減衰量補正部 501〜505 帯域分割数変換部
401 フルバンド送受話判定部
Claims (8)
- 受話信号を2以上N個の周波数成分に変換する第1周波数領域変換処理と、
マイク受音信号を2以上N個の周波数成分に変換する第2周波数領域変換処理と、
第1周波数領域変換処理で周波数成分に変換された受話信号を各周波数帯域ごとに設定された減衰量に従って減衰させる受話側減衰処理と、
第2周波数領域変換処理で周波数成分に変換されたマイク受音信号を各周波数帯域ごとに設定された減衰量に従って減衰させる送話側減衰処理と、
受話側減衰処理された受音信号をスピーカ出力信号に変換する第1逆周波数変換処理と、
送話側減衰処理されたマイク受音信号を送話信号に変換する第2逆周波数領域変換処理と、
スピーカ出力信号をN個の周波数成分に変換する処理を実行する第3周波数領域変換処理と、
上記第2周波数領域変換処理で得られたマイク受音信号の各周波数成分と上記第3周波数領域変換処理で得られたスピーカ出力信号の各周波数成分とによってスピーカとマイク間の各周波数帯域ごとの音響結合量を推定する音響結合量推定処理と、
この音響結合量推定処理で得られた音響結合量から、上記第1周波数領域変換処理及び第2周波数領域変換処理で得られた各周波数帯域ごとに受話端から送話端までの伝達関数の振幅が1未満となる減衰量を算出する減衰量算出処理と、
上記第1周波数領域変換処理で周波数領域に変換された受話信号により周波数帯域ごとに受話状態を判定し、上記第2周波数領域変換処理で周波数領域に変換されたマイク受音信号と、上記第3周波数領域変換処理で周波数領域に変換されたスピーカ出力信号と、上記音響結合量とにより周波数帯域ごとに送話状態を判定する送受話判定処理と、
上記送受話判定処理の判定結果が送話と判定された周波数帯域では上記受話側減衰処理に設定する減衰量を上記減衰量算出処理で算出された減衰量に、上記送話側減衰処理に設定する減衰量をゼロにそれぞれ設定し、上記送受話判定結果が受話と判定された周波数帯域では上記受話側減衰処理に設定する減衰量をゼロに、上記送話側減衰処理に設定する減衰量を上記減衰量算出処理で算出された減衰量にそれぞれ設定する減衰量制御処理と、
上記受話側減衰処理と送話側減衰処理に与える減衰量を、上記第1周波数領域変換処理及び第2周波数領域変換処理のそれぞれにおいて、各周波数領域ごとの周波数領域変換特性に起因して互いに隣接する周波数領域の各境界部分で発生する利得上昇特性を抑圧する周波数特性を持つ減衰量に補正する減衰量補正処理と、
を実行することを特徴とするハウリング防止方法。 - 請求項1に記載のハウリング防止方法において、
上記第1周波数領域変換処理で周波数領域に変換された受話信号から受音信号の全帯域での平均レベルを求め、上記第2周波数変換処理で周波数領域に変換されたマイク受音信号からマイク受音信号の全帯域での平均レベルを求め、上記受話信号の全帯域での平均レベルに予め設定した0から1の間の固定値である正規化係数を乗じた値と上記マイク受音信号の全帯域での平均レベルとを加算したものを受話側正規化重みとして算出し、上記マイク受音信号の全帯域での平均レベルに上記正規化係数を乗じた値と上記受話信号の全帯域での平均レベルとを加算したものを送話側正規化重みとして算出する正規化重み算出処理を更に有し、
上記周波数帯域ごとの送受話判定処理は、上記第1周波数変換処理で周波数領域に変換された受話信号を上記受話側正規化重みで正規化した信号と、上記第2周波数領域変換処理で周波数領域に変換されたマイク受音信号を上記送話側正規化重みで正規化した信号と、により、周波数帯域ごとに送話状態であるか受話状態であるかを判定することを特徴とするハウリング防止方法。 - 請求項1又は2に記載のハウリング防止方法において、
上記第1周波数領域変換処理で周波数領域に変換された受話信号と、上記第2周波数領域変換処理で周波数領域に変換されたマイク受音信号から、全帯域での送受話状態を判定するフルバンド送受話判定処理を付加し、
上記フルバンド送受話判定処理の判定結果が送話の場合には、上記周波数帯域ごとの送受話判定処理はマイク受音信号を強調して検出処理を実行し、上記フルバンド送受話判定処理の判定結果が受話の場合には、上記周波数帯域ごとの送受話判定処理は受話信号を強調して検出処理することを特徴とするハウリング防止方法。 - 受話信号を2以上N個の周波数成分に変換する第1周波数領域変換部と、
マイク受音信号を2以上N個の周波数成分に変換する第2周波数領域変換部と、
第1周波数領域変換部で周波数成分に変換された受話信号を各周波数帯域ごとに設定された減衰量に従って減衰させる受話側減衰部と、
第2周波数領域変換部で周波数成分に変換されたマイク受音信号を各周波数帯域ごとに設定された減衰量に従って減衰させる送話側減衰部と、
受話側減衰部により減衰処理された受話信号をスピーカ出力信号に変換する第1逆周波数変換部と、
送話側減衰処理されたマイク受音信号を送話信号に変換する第2逆周波数変換部と、
スピーカ出力信号をN個の周波数成分に変換する処理を実行する第3周波数領域変換部と、
上記第2周波数領域変換部で得られたマイク受音信号の各周波数成分と、上記第3周波数領域変換部で得られたスピーカ出力信号の各周波数成分とによってスピーカとマイク間の各周波数帯域ごとの音響結合量を推定する音響結合量推定部と、
この音響結合量推定部で得られた音響結合量から、上記第1周波数領域変換部及び第2周波数領域変換部で得られた各周波数帯域ごとに受話端から送話端までの伝達関数の振幅が1未満となる減衰量を算出する減衰量算出部と、
上記第1周波数領域変換処理で周波数領域に変換された受話信号により周波数帯域ごとに受話状態を判定し、上記第2周波数領域変換処理で周波数領域に変換されたマイク受音信号と、上記第3周波数領域変換部で周波数領域に変換されたスピーカ出力信号と、上記音響結合量とにより周波数帯域ごとに送話状態を判定する送受話判定部と、
上記送受話判定部の判定結果が送話と判定された周波数帯域では上記受話側減衰部に設定する減衰量を上記減衰量算出部で算出された減衰量に、上記送話側減衰部に設定する減衰量をゼロにそれぞれ設定し、上記送受話判定結果が受話と判定された周波数帯域では上記受話側減衰部に設定する減衰量をゼロに、上記送話側減衰部に設定する減衰量を上記減衰量算出部で算出された減衰量にそれぞれ設定する減衰量制御部と、
上記受話側減衰部と送話側減衰部に与える減衰量を、上記第1周波数領域変換部及び第2周波数領域変換部のそれぞれにおいて、各周波数領域ごとの周波数領域変換特性に起因して互いに隣接する周波数領域の各境界部分で発生する利得上昇特性を抑圧する周波数特性を持つ減衰量に補正する減衰量補正部と、
を備えたことを特徴とするハウリング防止装置。 - 請求項4に記載のハウリング防止装置において、
上記第1周波数領域変換部で周波数領域に変換された受話信号から受話信号の全帯域での平均レベルを求め、上記第2周波数変換部で周波数領域に変換されたマイク受音信号からマイク受音信号の全帯域での平均レベルを求め、上記受話信号の全帯域での平均レベルに予め設定した0から1の間の固定値である正規化係数を乗じた値と上記マイク受音信号の全帯域での平均レベルとを加算したものを受話側正規化重みとして算出し、上記マイク受音信号の全帯域での平均レベルに上記正規化係数を乗じた値と上記受話信号の全帯域での平均レベルとを加算したものを送話側正規化重みとして算出する正規化重み算出部を付加し
上記周波数帯域ごとの送受話判定部は、上記第1周波数変換部で周波数領域に変換された受話信号を上記受話側正規化重みで正規化した信号と、上記第2周波数領域変換部で周波数領域に変換されたマイク受音信号を上記送話側正規化重みで正規化した信号と、により、周波数帯域ごとで送話状態であるか受話状態であるかを判定することを特徴とするハウリング防止装置。 - 請求項4又は5に記載のハウリング防止装置において、
上記第1周波数領域変換部で周波数領域に変換された受話信号と、上記第2周波数領域変換部で周波数領域に変換されたマイク受音信号から、全帯域での送受話状態を判定するフルバンド送受話判定部を付加し、
上記フルバンド送受話判定部の判定結果が送話の場合には、上記周波数帯域ごとの送受話判定部はマイク受音信号を強調して検出処理を実行し、上記フルバンド送受話判定部の判定結果が受話の場合には、上記周波数帯域ごとの送受話判定部は受話信号を強調して検出処理することを特徴とするハウリング防止装置。 - コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項1乃至3の何れかに記載のハウリング防止方法を実行させるハウリング防止プログラム。
- コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項7記載のハウリング防止プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006036529A JP4383416B2 (ja) | 2006-02-14 | 2006-02-14 | ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006036529A JP4383416B2 (ja) | 2006-02-14 | 2006-02-14 | ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007221219A JP2007221219A (ja) | 2007-08-30 |
JP4383416B2 true JP4383416B2 (ja) | 2009-12-16 |
Family
ID=38498058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006036529A Active JP4383416B2 (ja) | 2006-02-14 | 2006-02-14 | ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4383416B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5391118B2 (ja) * | 2010-03-23 | 2014-01-15 | アイホン株式会社 | インターホンシステム |
JP7020554B2 (ja) | 2018-08-02 | 2022-02-16 | 日本電信電話株式会社 | 会話サポートシステム、その方法、およびプログラム |
JP6984559B2 (ja) | 2018-08-02 | 2021-12-22 | 日本電信電話株式会社 | 集音拡声装置、その方法、およびプログラム |
-
2006
- 2006-02-14 JP JP2006036529A patent/JP4383416B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007221219A (ja) | 2007-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7856097B2 (en) | Echo canceling apparatus, telephone set using the same, and echo canceling method | |
CN105577961B (zh) | 增益控制器的自动调谐 | |
EP2241099B1 (en) | Acoustic echo reduction | |
WO2010035308A1 (ja) | エコー消去装置 | |
CN101262530B (zh) | 一种消除移动终端回音的装置 | |
US20120095755A1 (en) | Audio signal processing system and audio signal processing method | |
US20030076947A1 (en) | Echo processor generating pseudo background noise with high naturalness | |
JP2003158476A (ja) | エコーキャンセラ | |
US8543390B2 (en) | Multi-channel periodic signal enhancement system | |
EP2700161B1 (en) | Processing audio signals | |
JP5086769B2 (ja) | 拡声通話装置 | |
US8964967B2 (en) | Subband domain echo masking for improved duplexity of spectral domain echo suppressors | |
US20090103743A1 (en) | Echo canceller | |
JP2002084212A (ja) | 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体 | |
JP4383416B2 (ja) | ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 | |
JP4413205B2 (ja) | エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体 | |
JP4403776B2 (ja) | エコーキャンセラ | |
JP4544040B2 (ja) | エコーキャンセル装置およびそれを用いた電話機、並びにエコーキャンセル方法 | |
US8369511B2 (en) | Robust method of echo suppressor | |
JP5963077B2 (ja) | 通話装置 | |
US20080298577A1 (en) | Method and system for processing communication signals in a communication system | |
EP2223522B1 (en) | Non linear acoustic feedback suppression in a telephone device | |
JPH08288894A (ja) | エコー抑圧装置 | |
JP2005020428A (ja) | 音響エコー抑圧装置および通話装置 | |
Fukui et al. | Acoustic echo reduction robust against echo-path change with instant echo-power-level adjustment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090918 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4383416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |