JP3598932B2 - 話者方向検出回路及びそれに用いる話者方向検出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は話者方向検出回路及びそれに用いる話者方向検出方法に関し、特にテレビジョン会議装置において画像入力用ビデオカメラと音声入力用マイクロホンとの設置場所が固定されている装置のビデオカメラ撮像角制御に用い、音声信号によって装置から見た話者の方向を検出する方式に関する。
【０００２】
【従来の技術】
従来、話者の方向を検出する方式においては、“音響システムとディジタル処理”（大賀・山崎・金田著、電子情報通信学会編、平成７年３月２５日）のｐ．１９７の「７．２ 音の到達方向とパワーの推定技術」に記載されているように、２つのマイクロホンの到達時間差（遅延）を検出する手段として、相互相関関数が一般的に用いられている。
【０００３】
この相互相関関数を算出することで、図８または図９に示すように、その最大値の与える到達時間差（遅延）が検出可能であり、この時間差（遅延）によって音波の到達方向が推定可能であることが一般に知られている。
【０００４】
音波の到達方向と複数のマイクロホンで受信した信号の時間差とは一対一の関係にあるため、この時間差を推定することができれば、音波の到達方向を推定可能であることがよく知られている。
【０００５】
図７に示すような場合、θｓ方向から到達する音波を平面波として考えると、距離ｄだけ離れて設置された２つのマイクロホンで受信すると考える。この時、各マイクロホンＭ１，Ｍ２の受信信号χ１（ｔ）とχ２（ｔ）とには、
χ２（ｔ）＝χ１（ｔ−τｓ）
τｓ＝（ｄ×ｓｉｎ（θｓ）／ｃ）
という関係が成立する。ここで、ｃは音速である。
【０００６】
したがって、逆に信号χ１（ｔ）とχ２（ｔ）との間の時間差τｓが分かれば、音波の到達方向θｓは
θｓ＝ｓｉｎ^−１（ｃ・τｓ／ｄ）
という式で求められる。
【０００７】
時間差τｓは、χ１（ｔ）とχ２（ｔ）との相互相関関数φ１２（τ）から、

となる。但し、Ｅ［・］は期待値を表し、φ１１（τ）はχ１（ｔ）の自己相関を表す。
【０００８】
自己相関関数φ１１（τ）はτ＝０で最大をとることが知られているため、φ１２（τ）はτ＝τｓで最大値をとる。このことよって、相互相関関数φ１２（τ）を計算し、その最大値を与えるτを求めればτｓが得られ、その値を到達方向θｓを求める式に代入すれば、音波の方向を推定することができる。したがって、この推定結果から到達遅延時間を求め、話者方向に換算して出力するという動作をする。
【０００９】
相互相関関数φ１２（τ）は周波数帯域幅が広い場合、比較的、鋭いピークを持つことが既に知られている。よって、このようにピークが鋭い場合には、雑音等が重畳しても精度の良いτｓを推定することができる。しかしながら、ピークの鋭さは音波信号の周波数帯域幅に影響を受けるし、雑音の影響もあるため、何らかの方法で誤りの影響を排除する必要がある。
【００１０】
この他に、例えば特開平７−１２３３１１号公報に開示された手法では、撮像装置のカメラの撮像角を制御するために、被写体の音声信号を受信して方向を検出する手段として、単一指向性マイクロホンと双指向性マイクロホンとを音声信号入力源として用い、これら２つのマイクロホンの出力信号の同期をとってマイクロホンの感度調整手段を経て位相差を計算し、被写体の方向を検出する手段を用いている。
【００１１】
【発明が解決しようとする課題】
上述した従来の話者方向検出方式では、話者方向検出装置の出力信号を用いてビデオカメラの撮像角を制御しようとした場合、話者方向の検出誤りが発生すると、話者以外の方向にビデオカメラが向いてしまうという問題がおこり、テレビジョン会議装置の利用者に多大な不都合が生じてしまうという問題がある。特に、相互相関関数の結果をそのまま使用したのでは誤動作が多くなり、何らかの対策なしでは方向検出制御を実現することができない。
【００１２】
また、特開平７−１２３３１１号公報に開示された技術では、マイクロホンの感度調整手段を経て位相差を計算する場合、マイクロホンの特性のばらつきが影響し、誤検出する可能性が考えられる。
【００１３】
そこで、本発明の目的は上記の問題点を解消し、話者の音声信号に話者以外の方向から到来する信号が重畳していても話者方向の検出誤りを低減することができ、安定性を高めることができる話者方向検出回路及びそれに用いる話者方向検出方法を提供することにある。
【００１４】
【課題を解決するための手段】
本発明による話者方向検出回路は、水平方向検出用の第１のマイクロホンと、水平・垂直方向共通検出用の第２のマイクロホンと、垂直方向検出用の第３のマイクロホンと、音声信号が前記第１及び第２のマイクロホンに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定する水平方向検出用の第１の評価関数手段と、前記音声信号が前記第２及び第３のマイクロホンに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定する垂直方向検出用の第２の評価関数手段と、前記第１及び第２の評価関数手段各々の推定結果を基に水平方向角及び垂直方向角を求めて話者の方向検出を行う検出手段とを備え、
前記評価関数の加算中に無音区間が存在した場合に加算区間中の最大値を用いた話者の方向検出を停止している。
【００１７】
本発明による話者方向検出方法は、音声信号が水平方向検出用の第１のマイクロホンと水平・垂直方向共通検出用の第２のマイクロホンとに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定するステップと、前記音声信号が前記第２のマイクロホンと垂直方向検出用の第３のマイクロホンとに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定するステップと、それらの推定結果を基に水平方向角及び垂直方向角を求めて話者の方向検出を行うステップとを備え、
前記評価関数の加算中に無音区間が存在した場合に加算区間中の最大値を用いた話者の方向検出を停止している。
【００１８】
すなわち、本発明の話者方向検出回路は、全指向性マイクロホン（以下、マイクロホンとする）から入力される２つの音声信号間に存在する到達遅延時間を推定する部分に、上記の相互相関関数の値を時間的な統計処理を施して誤りを排除する手段を設けていることを特徴としている。
【００１９】
この統計処理を、例えば相互相関関数値をある時間加算した後に最大値検索を実行する。したがって、統計的処理を行った後に最大値検索をするので、検索誤りの発生を最小限に抑えるという効果が得られる。
【００２０】
また、相互相関関数の値はマイクロホンに到達した音声の信号電力に依存するため、評価関数に相互相関の２乗／時間差（遅延）の自己相関を用いることによって最大値検索をすることを、評価関数に使用することを特徴としている。
【００２１】
さらに、マイクロホン感度の影響を考える必要がないという利点がある。本評価関数は、χ１（ｔ）とχ２（ｔ−τ）の二乗誤差を最小にする理論式から導かれたものである。
【００２２】
χ１（ｔ）とχ２（ｔ−τ）とがあるフレーム区間毎（Ｎサンプル）に二乗誤差を最小にすることを考えた場合、二乗誤差を最小にするゲインＧと時間差τとを求める。
【００２３】
ｔをｎとして、誤差をｅ（ｎ）＝χ１（ｎ）−χ２（ｎ）＝χ１（ｎ）−Ｇ・χ１（ｎ−τ）とすると、二乗誤差Ｅは、

という式から求められる。ここで、Σはｎ＝０〜（Ｎ−１）の総和である。
【００２４】
Ｅを最小にするＧについて求めるには、極小解を求めればよいから、
−２ＧΣ［χ１（ｎ）χ１（ｎ−τ）］＋Ｇ^２ Σ［χ１（ｎ−τ）］^２ ＝０
∴Ｇ＝Σ［χ１（ｎ）・χ１（ｎ−τ）］／Σ［χ１（ｎ−τ）］^２
となる。これをＥの式に代入すると、
Ｅ＝Σ［χ１（ｎ）］^２ −｛［Σ［χ１（ｎ）χ１（ｎ−τ）］｝^２ ／Σ［χ１（ｎ−τ）］^２
となる。上記の右辺第２項を最大化するτを求めれば二乗誤差が最小となる。これは、ようするに相互相関の２乗÷時間差τｓの自己相関を示している。
【００２５】
【発明の実施の形態】
次に、本発明の一実施例について図面を参照して説明する。図１は本発明の一実施例による話者方向検出回路の構成を示すブロック図であり、図２は図１のマイクロホンの配置例を示す図である。図１において、本発明の一実施例による話者方向検出回路は水平方向検出用のマイクロホン（ＭＩＣ＃１）１と、水平・垂直方向共通検出用のマイクロホン（ＭＩＣ＃２）２と、垂直方向検出用のマイクロホン（ＭＩＣ＃３）３と、メモリ回路４〜６と、水平方向検出用の相互相関演算回路７と、水平方向検出用の評価関数回路８と、垂直方向検出用の相互相関演算回路９と、垂直方向検出用の評価関数回路１０と、位置検出回路１１とから構成されている。
【００２６】
マイクロホン１，２からの信号はメモリ回路４，６に一旦蓄積された後、相互相関演算回路７に供給される。ここで、マイクロホン１，２は図２に示すマイクロホン１，２に該当するように水平方向に置かれ、水平方向位置探索に使用される。
【００２７】
相互相関演算回路７は相互相関演算を行い、時間差毎の相互相関関数値を算出する。評価関数回路８は相互相関演算回路７で得られた結果を基にある時間分の加算処理を行った後に最大値検索を行い、時間差を算出する。位置算出回路１１はその時間差（遅延）を基に水平方向角を求める。
【００２８】
マイクロホン２，３からの信号はメモリ回路５，６に一旦蓄積された後、相互相関演算回路９に供給される。ここで、マイクロホン２，３は図２に示すマイクロホン２，３に該当するように垂直方向に置かれ、垂直方向位置探索に使用される。
【００２９】
相互相関演算回路９は相互相関演算を行い、時間差毎の相互相関関数値を算出する。評価関数回路１０は相互相関演算回路９で得られた結果を基にある時間分の加算処理を行った後に最大値検索を行い、時間差を算出する。位置算出回路１１はその時間差（遅延）を基に垂直方向角を求める。
【００３０】
図３は本発明の他の実施例による話者方向検出回路の構成を示すブロック図である。図３において、本発明の他の実施例による話者方向検出回路は水平方向検出用のマイクロホン２１と、水平・垂直方向共通検出用のマイクロホン２２と、垂直方向検出用のマイクロホン２３と、メモリ回路２４〜２６と、水平方向検出用の相互相関演算回路２７と、水平方向検出用の自己相関演算回路２８と、水平方向検出用の評価関数回路２９と、垂直方向検出用の相互相関演算回路３０と、垂直方向検出用の自己相関演算回路３１と、垂直方向検出用の評価関数回路３２と、位置検出回路３３とから構成されている。
【００３１】
本発明の他の実施例による話者方向検出回路は自己相関演算回路２８，３１を加えた以外は図１に示す本発明の一実施例による話者方向検出回路と同様の構成となっている。これら自己相関演算回路２８，３１は評価関数回路２９，３２にて「相互相関の二乗÷自己相関」を評価関数として計算する際に使用する。
【００３２】
ある時間分の加算処理された後に最大値検索が行われ、時間差が算出される。時間差（遅延）を算出した結果を基に、位置算出回路３３にて水平方向角を求める処理が行われる。但し、自己相関演算回路２８，３１の演算結果は同じなので、どちらか片方のみの演算を行い、その結果を評価関数回路２９，３２の入力としてもよい。
【００３３】
図８に一般的な水平方向位置算出の検出例を示す。この水平方向位置算出については当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な構成は省略する。尚、水平方向角は、
Ｌｓｉｎθ＝νＴ_ｈ
θ＝ｓｉｎ^−１（νＴ_ｈ ／Ｌ）
という式によって検出される。この場合、時間差（遅延）Ｔ_ｈ はサンプリング周期［ｓｅｃ］×時間差［サンプル］で求められる。
【００３４】
図９に一般的な垂直方向位置算出の検出例を示す。この垂直方向位置算出についても当業者にとってよく知られており、また本発明とは直接関係しないので、その詳細な構成は省略する。すなわち、垂直方向位置算出は上記の図８に示す水平方向位置算出と全く同様に導ける。
【００３５】
図４は本発明の他の実施例による話者方向検出回路の動作を示すフローチャートである。これら図３及び図４を参照して本発明の他の実施例による話者方向検出回路の動作について説明する。
【００３６】
回路動作開始時点で、評価結果の加算時間分を検出するカウンタ（ＣＮＴ）値を初期化する（図４ステップＳ１）。この時点で、評価関数加算値は全て初期化されているとする。マイクロホン２１〜２３から音声データを入手した後（図４ステップＳ２）、１６ｋＨｚサンプリングで３２から４０サンプル程度毎に自己相関演算回路２８，３１及び相互相関演算回路２７，３０で自己相関関数及び相互相関関数を計算する（図４ステップＳ３，Ｓ４）。
【００３７】
自己相関関数及び相互相関関関数はバッファ（図示せず）にデータを蓄積してフレーム単位で一気に処理を行うか、もしくはサンプル毎の部分に分割して計算を行うことによっても計算することができるので、どちらのやり方でもよい。
【００３８】
分割処理の場合、評価関数回路２９，３２は相関関数演算が終わっているかを相関演算終了確認において判定し（図４ステップＳ５）、相関関数演算が終了していなければステップＳ２に戻って音声データを入手する。
【００３９】
相関関数演算が終了していれば、評価関数回路２９，３２は自己相関演算及び相互相関演算によって得られた結果を基に評価関数の算出を行う（図４ステップＳ６）。評価関数は「相互相関のみ」を使用するか、または「（相互相関の二乗）／自己相関」を使用して評価関数として計算する。ここで得られた評価関数を統計的に平均化するため、評価関数回路２９，３２は評価結果の加算において過去の結果に加算して蓄積する（図４ステップＳ７）。
【００４０】
この後、カウンタ値は蓄積時間を計るのに使用しているため、カウンタ値の更新を行う（図４ステップＳ８）。評価関数回路２９，３２はこの更新したカウンタ値と予め設定したＭＡＸ値とを比較して更新したカウンタ値の確認を行う（図４ステップＳ９）。ＭＡＸ値は２００ｍｓから１ｓ程度の任意の値とすると良い。
【００４１】
カウンタ値がＭＡＸ値と一致しない場合にはステップＳ２に戻って音声データを入手する。カウンタ値がＭＡＸ値と一致した場合、評価関数回路２９，３２はカウンタ値を０に初期化した後（図４ステップＳ１０）、評価結果の最大値検索を行い（図４ステップＳ１１）、最大となる時の時間差（遅延）を検出する。
【００４２】
この後に、評価関数回路２９，３２は評価関数加算結果を初期化し（図４ステップＳ１２）、位置検出回路３３は評価関数回路２９，３２で検出された時間差（遅延）から方向を算出する（図４ステップＳ１３）。これによって、次に新しく開始する評価関数加算に備える。
【００４３】
ところで、図４におけるステップＳ２〜Ｓ１３の処理は水平方向及び垂直方向に対してそれぞれ独立的に処理する必要がある。但し、自己相関の結果を使用しない場合にはステップＳ３の処理を省略してよく、本発明の一実施例ではステップＳ３の処理を省略した処理動作が行われる。
【００４４】
本発明の他の実施例ではその基本的構成が上記の通りであるが、評価関数に相互相関関数結果を用いているため、無音区間では正確な時間差を求めるのが難しい。よって、無音区間の結果を排除し、有音区間でのみ方向検出するような手段を追加することによって、誤検出防止についてさらに工夫することができる。以下にその構成例について述べる。
【００４５】
図５は本発明の別の実施例による有音検出を行う場合の構成を示す図である。図５において、メモリ４１を経由して得た水平方向及び垂直方向検出の相互相関演算に共通で使用するマイクロホン（図１のマイクロホン２または図２のマイクロホン２２に該当）からの信号にリーク積分回路４２でリーク積分を行い、この結果を評価関数演算を行うタイミングに同期してしきい値比較回路４３においてしきい値比較を行う。
【００４６】
リーク積分については当業者によく知られているので、その詳細な構成及び動作の説明は省略する。また、リーク積分を信号の二乗和による音圧演算回路に置き換えることも可能である。
【００４７】
もし、しきい値以下の場合には無音区間であると判断し、その旨を位置検出制御回路４４に通知し、無音と検出された場合がある加算区間においては、評価関数加算が終了した際に行う方向及び距離計算を行わないよう位置算出回路４５を制御させる。方向検出を行わない区間の結果としては、１つ前の区間で検出した結果を通知すればよい。これによって、誤検出を防止する効果が得られる。
【００４８】
図６は本発明のさらに別の実施例による自己相関演算出力を有音検出に使用して有音検出を行う場合の構成を示す図である。図６においては、自己相関演算結果を基に有音判定を行う回路を示している。
【００４９】
図示せぬメモリを経由して得た水平方向及び垂直方向検出の自己相関演算回路５１の結果に対してしきい値比較回路５２でしきい値比較を行う。自己相関演算は入力信号の音圧を示しているので、これをしきい値判定することによって、有音判定を行う。
【００５０】
もし、しきい値以下の場合には無音区間であると判断し、その旨を位置検出制御回路５４に通知し、ある時間毎に行う評価関数加算が終了した際に行う方向及び距離計算を行わないよう位置算出回路５５を制御する。方向検出を行わない区間の結果としては、１つ前の区間で検出した結果を通知すればよい。これによって、誤検出を防止する効果が得られる。
【００５１】
このように、相互相関及び自己相関の結果を使用した評価関数において、マイクロホン１〜３，２１〜２３に到達する音波の時間差を算出することで、話者位置の検出を行うことができ、話者の音声信号に話者以外の方向から到来する信号が重畳していても話者方向の検出誤りを低減することができ、安定性を高めることができる。この場合、音声信号入力手段であるマイクロホン１〜３，２１〜２３の感度調整を不要とすることができる。
【００５２】
尚、上述した本発明の一実施例、他の実施例、別の実施例、さらに別の実施例に記載の内容に限定されず、本発明の技術思想の範囲内において、各実施例は適宜変更され得ることは明らかである。
【００５３】
【発明の効果】
以上説明したように本発明によれば、音声信号が２つのマイクロホンに到達する距離の差によって生じる到達時間差を相互相関関数の時間差毎の加算値を用いて推定し、相互相関関数の加算値の最大値を検出して話者の方向検出を行うことによって、話者の音声信号に話者以外の方向から到来する信号が重畳していても話者方向の検出誤りを低減することができ、安定性を高めることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例による話者方向検出回路の構成を示すブロック図である。
【図２】図１のマイクロホンの配置例を示す図である。
【図３】本発明の他の実施例による話者方向検出回路の構成を示すブロック図である。
【図４】本発明の他の実施例による話者方向検出回路の動作を示すフローチャートである。
【図５】本発明の別の実施例による有音検出を行う場合の構成を示す図である。
【図６】本発明のさらに別の実施例による自己相関演算出力を有音検出に使用して有音検出を行う場合の構成を示す図である。
【図７】複数本のマイクロホンで受信した信号の時間差の理論を示す図である。
【図８】一般的な水平方向位置算出の検出例を示す図である。
【図９】一般的な垂直方向位置算出の検出例を示す図である。
【符号の説明】
１，２１ 水平方向検出用のマイクロホン
２，２２ 水平・垂直方向共通検出用のマイクロホン
３，２３ 垂直方向検出用のマイクロホン
４〜６，２４〜２６，４１ メモリ回路
７，２７ 水平方向検出用の相互相関演算回路
８，２９ 水平方向検出用の評価関数回路
９，３０ 垂直方向検出用の相互相関演算回路
１０，３２ 垂直方向検出用の評価関数回路
１１，３３，４５，５５ 位置検出回路
２８ 水平方向検出用の自己相関演算回路
３１ 垂直方向検出用の自己相関演算回路
４２ リーク積分回路
４３，５２ しきい値比較回路
４４，５３ 位置検出制御回路
５１ 自己相関演算回路
５４ 評価関数回路

Claims (6)

1. 水平方向検出用の第１のマイクロホンと、水平・垂直方向共通検出用の第２のマイクロホンと、垂直方向検出用の第３のマイクロホンと、音声信号が前記第１及び第２のマイクロホンに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定する水平方向検出用の第１の評価関数手段と、前記音声信号が前記第２及び第３のマイクロホンに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定する垂直方向検出用の第２の評価関数手段と、前記第１及び第２の評価関数手段各々の推定結果を基に水平方向角及び垂直方向角を求めて話者の方向検出を行う検出手段とを有し、
   前記評価関数の加算中に無音区間が存在した場合に加算区間中の最大値を用いた話者の方向検出を停止することを特徴とする話者方向検出回路。
2. 前記評価関数は、相互相関関数の二乗と自己相関との除算で得た値とし、この評価関数の最大値を検出して話者の方向検出に用いることを特徴とする請求項１記載の話者方向検出回路。
3. 前記評価関数の時間差毎の加算値を用いて前記到達時間差を推定し、前記評価関数の加算値の最大値を検出して話者の方向検出を行うことを特徴とする請求項１または請求項２記載の話者方向検出回路。
4. 音声信号が水平方向検出用の第１のマイクロホンと水平・垂直方向共通検出用の第２のマイクロホンとに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定するステップと、前記音声信号が前記第２のマイクロホンと垂直方向検出用の第３のマイクロホンとに到達する距離の差によって生じる到達時間差を自己相関関数及び相互相関関数の関係式による評価関数を用いて推定するステップと、それらの推定結果を基に水平方向角及び垂直方向角を求めて話者の方向検出を行うステップとを有し、
   前記評価関数の加算中に無音区間が存在した場合に加算区間中の最大値を用いた話者の方向検出を停止することを特徴とする話者方向検出方法。
5. 前記評価関数は、相互相関関数の二乗と自己相関との除算で得た値とし、この評価関数の最大値を検出して話者の方向検出に用いることを特徴とする請求項４記載の話者方向検出方法。
6. 前記評価関数の時間差毎の加算値を用いて前記到達時間差を推定し、前記評価関数の加算値の最大値を検出して話者の方向検出を行うことを特徴とする請求項４または請求項５記載の話者方向検出方法。

Images