JP4729927B2 - 音声検出装置、自動撮像装置、および音声検出方法 - Google Patents

Description

本発明は、入力音信号を基に人の声の入力の有無を検出する音声検出装置、その方法、およびこの音声検出装置を用いた自動撮像装置に関する。

マイクロフォンなどから入力された音に反応して動作するシステムとしては、例えば、発話による音声入力を検出すると自動的に記録を開始するボイスレコーダや、音を発した人や物の位置に応じてカメラを切り替える、あるいはその方向にカメラを向けるといったシステムなどが考えられている。このようなシステムでは特に、人の声などの特定の成分だけを確実に検出し、その他のノイズによって誤作動しないことが望まれている。

発話による音声入力を検出するための最も一般的な方法は、入力音のパワーに基づいて音声とノイズとを区別する方法である。例えば、ノイズレベルの値を入力パワー値に応じて随時更新していくことで、現在のノイズレベルを記憶する。そして、記憶したノイズレベルと入力音とのＳ／Ｎ（Signal／Noise）比から、入力音が人の声かノイズかを判定する方法が知られている。

また、さらに高精度に音声入力を検出できる方法として、入力音信号の自己相関値やＬＰＣ（Linear Predictive Coding）を用いた方法がある。例えば、入力音のサンプリング値を基に自己相関係数を算出し、さらに線形予測係数を算出してケプストラム係数を求める。そして、ケプストラム係数と入力音信号のパワー値とから、入力音中の母音区間を検出するようにした音声区間判定方式があった（例えば、特許文献１参照）。また、入力音信号をＬＰＣ合成フィルタを用いてベクトル量子化し、これにより抽出された予測された波形パターンと所定区間内の音信号との残差信号をとって音信号との相互相関を求め、音声を検出するようにした音声起動録音装置もあった（例えば、特許文献２参照）。
特開昭６２−１７８００号公報（第２頁、図２） 特開平９−９０９９４号公報（段落番号〔００５９〕〜〔００６７〕、図７）

しかし、入力音のパワーに基づいてノイズレベルを随時更新していく上述の検出方法では、パワーの大きいノイズが入力されるとその信号を人の声と誤判定してしまうという問題があった。また、ノイズレベルが入力パワーに応じて常に更新されるため、発話による音声入力が続いた場合にノイズレベルが入力音のレベルと一致してしまい、音声がノイズであると誤判定されてしまうという問題もあった。

一方、自己相関値やＬＰＣを用いた検出方法では、Ｓ／Ｎ比の悪い環境においては音声とノイズとを正確に区別することができないことや、調波構造を持つ定常ノイズが入力されると音声であると誤判定してしまうといった問題があった。

本発明はこのような点に鑑みてなされたものであり、より多様な環境下においても人の声の入力を高精度に検出することが可能な音声検出装置を提供することを目的とする。

また、本発明の他の目的は、発言者の方向を正確に撮像することが可能な自動撮像装置を提供することである。

さらに、本発明の他の目的は、より多様な環境下においても人の声の入力を高精度に検出することが可能な音声検出方法を提供することである。

本発明では上記課題を解決するために、入力音信号を基に人の声の入力の有無を検出する音声検出装置において、前記入力音信号から調波構造を持つ信号成分を検出した場合に、人の声が入力されたと判定する第１の判定手段と、前記入力音信号の周波数重心が所定の周波数範囲内である場合に、人の声が入力されたと判定する第２の判定手段と、ノイズレベルを記憶するノイズレベル記憶手段と、前記ノイズレベル記憶手段に記憶されたノイズレベルに対する前記入力音信号のパワーの比が所定のしきい値を超えた場合に、人の声が入力されたと判定する第３の判定手段と、前記第２の判定手段により現在からそれ以前の一定期間に算出された周波数重心の分散を算出し、算出した分散の値が所定のしきい値以下の場合に人の声が入力されていないと判定する第４の判定手段と、前記第１〜第３の判定手段の判定結果に基づいて人の声の入力の有無を最終的に判定する最終判定手段と、前記最終判定手段により人の声が入力されていないと判定された場合、および、前記第４の判定手段により人の声が入力されていないと判定された場合に、前記ノイズレベル記憶手段に記憶されたノイズレベルを現在の前記入力音信号のパワーを用いて更新するノイズレベル更新手段とを有することを特徴とする音声検出装置が提供される。

このような音声検出装置では、第１〜第３の判定手段の判定結果に基づいて、最終判定手段が人の声の入力の有無を最終的に判定する。第１の判定手段は、人の声が調波構造を持つという特徴を利用して判定し、第２の判定手段は、人の声の周波数重心が一定範囲内にあるという特徴を利用して判定する。また、音声検出装置は、第２の判定手段により現在からそれ以前の一定期間に算出された周波数重心の分散を算出し、算出した分散の値が所定のしきい値以下の場合に人の声が入力されていないと判定する第４の判定手段を有する。第３の判定手段は、入力音信号のパワーの変化に応じて判定するが、その判定の基準となるノイズレベルは、最終判定手段によって最終的に人の声が入力されていないと判定された場合、および、第４の判定手段により人の声が入力されていないと判定された場合に、ノイズレベル更新手段によってそのときの入力音信号のパワーを用いて更新されるので、ノイズレベルの正確性が高まり、第３の判定手段の判定精度が向上する。

また、本発明では、入力音信号を基に人の声の入力の有無を検出するための音声検出方法において、第１の判定手段が、前記入力音信号から調波構造を持つ信号成分を検出した場合に、人の声が入力されたと判定する第１の判定ステップと、第２の判定手段が、前記入力音信号の周波数重心が所定の周波数範囲内である場合に、人の声が入力されたと判定する第２の判定ステップと、第３の判定手段が、ノイズレベル記憶手段に記憶されたノイズレベルに対する前記入力音信号のパワーの比が所定のしきい値を超えた場合に、人の声が入力されたと判定する第３の判定ステップと、第４の判定手段が、前記第２の判定ステップで現在からそれ以前の一定期間に算出された周波数重心の分散を算出し、算出した分散の値が所定のしきい値以下の場合に人の声が入力されていないと判定する第４の判定ステップと、最終判定手段が、前記第１〜第３の判定ステップによる判定結果に基づいて人の声の入力の有無を最終的に判定する最終判定ステップと、ノイズレベル更新手段が、前記最終判定ステップにより人の声が入力されていないと判定された場合、および、前記第４の判定ステップにより人の声が入力されていないと判定された場合に、前記ノイズレベル記憶手段に記憶されたノイズレベルを現在の前記入力音信号のパワーを用いて更新するノイズレベル更新ステップとを含むことを特徴とする音声検出方法が提供される。

このような音声検出方法では、第１〜第３の判定ステップでの判定結果に基づいて、最終判定ステップにおいて人の声の入力の有無が最終的に判定される。第１の判定ステップでは、人の声が調波構造を持つという特徴を利用して判定が行われ、第２の判定ステップでは、人の声の周波数重心が一定範囲内にあるという特徴を利用して判定が行われる。また、この音声検出方法では、第２の判定ステップで現在からそれ以前の一定期間に算出された周波数重心の分散を算出し、算出した分散の値が所定のしきい値以下の場合に人の声が入力されていないと判定する第４の判定ステップも実行される。第３の判定ステップでは、入力音信号のパワーの変化に応じて判定が行われるが、その判定の基準となるノイズレベルは、最終判定ステップにおいて最終的に人の声が入力されていないと判定された場合、および、第４の判定ステップにより人の声が入力されていないと判定された場合に、ノイズレベル更新ステップにおいてそのときの入力音信号のパワーを用いて更新されるので、ノイズレベルの正確性が高まり、第３の判定ステップによる判定精度が向上する。

本発明の音声検出装置によれば、入力音信号のパワーに基づく第３の判定手段の判定結果だけでなく、人の声が調波構造を持つという特徴を利用した第１の判定手段、および、人の声の周波数重心が一定範囲内にあるという特徴を利用した第２の判定手段の各判定結果を基にして、人の声の入力の有無を最終的に判定するので、Ｓ／Ｎ比が悪い環境においても高精度な判定を行うことができる。また、第３の判定手段は、第１〜第３の判定手段に基づく最終的な判定結果および周波数重心の分散を基に更新したノイズレベルの値に基づいてその後の判定を行うので、判定精度を一層向上させることができる。

また、本発明の音声検出方法によれば、入力音信号のパワーに基づく第３の判定ステップによる判定結果だけでなく、人の声が調波構造を持つという特徴を利用した第１の判定ステップ、および、人の声の周波数重心が一定範囲内にあるという特徴を利用した第２の判定ステップによる各判定結果を基にして、人の声の入力の有無を最終的に判定するので、Ｓ／Ｎ比が悪い環境においても高精度な判定を行うことができる。また、第３の判定ステップでは、第１〜第３の判定ステップに基づく最終的な判定結果および周波数重心の分散を基に更新したノイズレベルの値に基づいてその後の判定を行うので、判定精度を一層向上させることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。以下の説明では、テレビ会議用などに用いられるカメラシステムに本発明を適用した場合を想定する。

図１は、実施の形態に係るカメラシステムの全体構成例を示す図である。

図１に示すカメラシステムは、マイクロフォン１ａおよび１ｂから入力されるステレオ音信号を基に音声の発生方向を検出し、音声を発した人の方にカメラ２を自動的に向けるためのシステムである。このカメラシステムは、上記のマイクロフォン１ａおよび１ｂ、カメラ２の他、入力音信号のＡ／Ｄ変換回路３、音声検出回路４、方向検出回路５、方向検出上位モジュール６、およびカメラ２の駆動機構７を具備する。

Ａ／Ｄ変換回路３は、マイクロフォン１ａおよび１ｂから入力される左右の音信号を、例えばサンプリング周波数１６ｋＨｚでデジタル信号に変換し、音声検出回路４および方向検出回路５に出力する。

音声検出回路４は、Ａ／Ｄ変換回路３からの音信号を基に、入力音が人の声か、その他のノイズかを判定し、その判定結果として音声フラグＦ１を方向検出上位モジュール６に出力する。判定の結果、人の声である場合には音声フラグＦ１をＨレベルとする。方向検出回路５は、Ａ／Ｄ変換回路３からのステレオ音信号を基に音の発生方向を検出し、検出結果として音方向情報を方向検出上位モジュール６に出力する。

方向検出上位モジュール６は、方向検出回路５からの音声フラグＦ１と、方向検出回路５からの音方向情報とを基に音声の発生方向を特定し、駆動機構７に対してカメラドライブ命令を出力する。具体的には、音声フラグＦ１が一定時間（例えば３００ｍｓ）だけＨレベルとなり、かつその間音方向情報が同じであった場合に、その方向（角度）を音声の発生方向に判定して、その方向に応じたカメラドライブ命令を出力する。駆動機構７は、カメラ２を回転させるモータなどの機構や駆動回路などを具備し、カメラドライブ命令に応じた方向を撮像するようにカメラ２を回転させる。

図２は、方向検出回路５の内部構成例を示す図である。

図２に示すように、方向検出回路５は、ＦＦＴ（Fast Fourier Transform）回路５１および５２と、位相差演算部５３と、方向判定部５４とを具備する。ＦＦＴ回路５１および５２は、Ａ／Ｄ変換回路３からの左右それぞれの入力音信号に対してＦＦＴ演算により周波数解析を行い、パワースペクトルを出力する。位相差演算部５３は、左右それぞれのパワースペクトルから周波数帯域ごとに位相差を演算する。方向判定部５４は、演算された位相差を周波数ごとに角度情報に変換し、角度のヒストグラムを求め、このヒストグラムから音の発生方向を判定して音方向情報を出力する。

以上の構成により、マイクロフォン１ａおよび１ｂからの入力音が人の声である場合にのみ、その音声の発生方向にカメラ２が向けられて、発言者を自動的に撮像することができる。

次に、人の声の検出処理について詳述する。

図３は、音声検出回路４の内部構成例を示す図である。

図３に示すように、音声検出回路４は、ＦＦＴ回路４１、調波構造検出部４２、周波数重心演算部４３、Ｓ／Ｎ比検出部４４、音声判定部４５、分散演算部４６、およびノイズレベル更新部４７を具備する。なお、これらの各ブロックは、例えばＣＰＵによるソフトウェア処理により実現されるが、一部のブロックまたは全ブロックがハードウェアにより実現されてもよい。また、この音声検出回路４は、ＲＡＭなどのメモリ（図示せず）を内部に備え、このメモリにノイズレベルＰｎｓおよび周波数重心履歴４６ａを記憶する。

ＦＦＴ回路４１は、Ａ／Ｄ変換回路３からのステレオ音信号をモノラル化した後、例えば１６ｍｓごとにＦＦＴ演算により周波数解析を行って、パワースペクトルを出力する。

調波構造検出部４２は、入力音のパワーに対する調波成分のパワーの割合を算出する。人の声（特に母音成分）は調波構造を持つことから、調波成分のパワーの割合が一定値を超えた場合に、入力音を人の声と判定して判定フラグＦ１１をＨレベルにする。

周波数重心演算部４３は、入力音の周波数重心を算出して、その重心が人の声の周波数重心と一致するか否かを判定する。音声の周波数成分は、ホワイトノイズを始めとする定常ノイズの周波数帯域と比較して低い成分が多いことから、入力音の周波数重心が人の声に対応する一定の範囲内にある場合に入力音を人の声と判定し、判定フラグＦ１２をＨレベルにする。

Ｓ／Ｎ比検出部４４は、ＦＦＴ回路４１からのパワースペクトルに基づく入力音のパワーの値と、メモリに記憶されたノイズレベルＰｎｓとを比較して、その差が一定値以上の場合に入力音を人の声と判定し、判定フラグＦ１３をＨレベルにする。

音声判定部４５は、入力音の最終的な判定を行うブロックであり、判定フラグＦ１１〜Ｆ１３の入力を受け、すべてのフラグがＨレベルの場合に入力音を人の声と判定し、音声フラグＦ１をＨレベルとするとともに、更新フラグＦ２１をＬレベルにする。また、入力音をノイズと判定した場合には、音声フラグＦ１をＬレベルとし、更新フラグＦ２１をＨレベルとする。

分散演算部４６は、周波数重心演算部４３において過去の一定期間（例えば１００ｍｓ〜２００ｍｓ）に演算された周波数重心の検出値の履歴（周波数重心履歴４６ａ）を常時保持する。そして、周波数重心演算部４３において演算された周波数重心の検出値を取得すると、その検出値と過去の一定期間の周波数重心履歴４６ａとからその期間の周波数重心の分散を算出する。分散の値が一定値以下の場合には、入力音を定常ノイズと判断して、更新フラグＦ２２をＬレベルにする。

ノイズレベル更新部４７は、ＦＦＴ回路４１からのパワースペクトルに基づく入力音のパワーの値を用いて、メモリ内のノイズレベルＰｎｓを更新する。このノイズレベル更新部４７は、音声判定部４５および分散演算部４６からの更新フラグＦ２１およびＦ２２がともにＨレベルの場合に、ノイズレベルＰｎｓを更新する。

この音声検出回路４では、随時更新されるノイズレベルＰｎｓを用いた入力音のパワーに基づく音声検出方法とともに、入力音のパワー以外の値に基づく特徴量検出、すなわち、調波構造の検出および周波数重心の演算という周波数解析結果に基づいた特徴量検出の手法を併用することで、音声検出の精度を高めている。また、入力音のパワーに基づく音声検出では、上記の各手法を用いた最終的な音声の判定結果により入力音がノイズと判定された場合にのみノイズレベルＰｎｓを更新することで、このノイズレベルＰｎｓの正確性を高めている。さらに、一定期間における周波数重心の分散に応じてノイズレベルＰｎｓの更新の可否を決めることで、ノイズレベルＰｎｓの正確性が一層高められている。

以下、本実施の形態で用いた各検出機能について詳述する。

＜１＞調波構造の検出
図４は、調波構造検出部４２の内部構成例を示す図である。

図４に示すように、調波構造検出部４２は、基本周波数の異なる複数のくし形フィルタ４２１−１〜４２１−３１と、パワー値選択部４２２と、パワー値比較部４２３とを具備する。

くし形フィルタ４２１−１〜４２１−３１は、ＦＦＴ回路４１からのパワースペクトルの入力を受けて、人の声の周波数帯域（ここでは１００Ｈｚ〜３００Ｈｚとしている）における所定の基本周波数の信号成分およびその倍音成分を通過させるフィルタである。この例では、上記帯域において基本周波数を１０Ｈｚごとに変えた３１個のくし形フィルタ４２１−１〜４２１−３１を設けている。

パワー値選択部４２２は、くし形フィルタ４２１−１〜４２１−３１の出力信号のパワーのうち最大の値を選択する。パワー値比較部４２３は、選択された最大パワー値と、ＦＦＴ回路４１からのパワースペクトルに基づく入力音のパワー値との比（最大パワー値／入力パワー値）を求め、この比が所定のしきい値を超えた場合に判定フラグＦ１１をＨレベルとし、しきい値以下の場合にＬレベルとする。

このような調波構造検出部４２では、例えば人の声の母音のように調波構造を持つ音が入力されると、くし形フィルタ４２１−１〜４２１−３１のうちの少なくとも１つの出力値が大きくなる。逆に、例えばエアコンのノイズなどのように調波構造を持たない音が入力されると、どのフィルタの出力値も比較的小さくなる。従って、入力パワー値に対するフィルタ出力の最大パワー値の比がしきい値より大きい場合に、入力音が人の声である確率が高いと判定して、判定フラグＦ１１をＨレベルとする。このように、特定周波数帯域の信号成分が調波構造を持つか否かを判定基準とすることで、入力音のパワーを基に検出する方法と比較して人の声を精度よく検出することができる。

図５は、調波構造検出部４２を用いた場合と従来の音声検出方法を用いた場合の検出結果の実測例を示す図である。

この図５では、入力音として男性音声、女性音声、ホワイトノイズ、部屋の定常ノイズを適用した場合に、それぞれ音声とノイズとを正確に判別した確率Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの平均値について示している。また、従来方法として、入力音の自己相関を用いた場合と、ＬＰＣを用いた場合とをそれぞれ示している。この図に示すように、くし形フィルタを有する本実施の形態の調波構造検出部４２を用いることで、自己相関、ＬＰＣをそれぞれ用いた従来方法と比較して高い確率で人の声とノイズとを判別可能になる。

＜２＞周波数重心の演算
周波数重心演算部４３では、ＦＦＴ回路４１からのパワースペクトルの入力を受けて、以下の式（１）により周波数重心ｃを算出する。ただし、周波数ｆの信号成分のパワーをｐ（ｆ）と表す。

この式（１）では、比較的低周波の信号成分のパワーが大きい音が入力されると周波数重心ｃは小さくなり、高周波成分のパワーが大きい音が入力されると周波数重心ｃは大きくなる。周波数重心ｃの値は、人の声（母音）では３００Ｈｚ〜１２００Ｈｚ程度となるのに対し、エアコンなどのファンノイズでは２０００Ｈｚ以上、紙をめくる音や拍手など、比較的高周波成分の多いノイズでは３０００Ｈｚ以上となることが多い。

従って、周波数重心演算部４３は、算出した周波数重心ｃが３００Ｈｚ〜１２００Ｈｚの範囲内である場合に、入力音が人の声である可能性が高いと判定して、判定フラグＦ１２をＨレベルとする。これにより、入力音のパワーを基に検出する方法と比較して、上記の各ノイズと人の声とをより高精度に判別できるようになる。

＜３＞Ｓ／Ｎ比検出とノイズレベル更新
Ｓ／Ｎ比検出部４４では、メモリに記憶されたノイズレベルＰｎｓの値を基準として、比較的大きい入力音を検出したときに音声の入力を検出する。具体的には、ＦＦＴ回路４１からのパワースペクトルを基に入力音のパワー値Ｐｉｎを算出する。そして、そのパワー値Ｐｉｎとメモリ内のノイズレベルＰｎｓの値との比（Ｐｉｎ／Ｐｎｓ）をＳ／Ｎ比として算出し、Ｓ／Ｎ比が所定のしきい値を超えた場合に判定フラグＦ１３をＨレベルとする。

また、ノイズレベルＰｎｓは、ノイズレベル更新部４７によって随時更新される。ノイズレベル更新部４７は、パワースペクトルに基づく入力音のパワー値Ｐｉｎと係数α（ただし、０＜α＜１）とを用いて、（１−α）×（現在のノイズレベルＰｎｓ）＋α×（入力音のパワー値Ｐｉｎ）の式により、新たなノイズレベルＰｎｓを算出してメモリに上書きする。

このノイズレベルＰｎｓは、従来のように一定時間ごとに常に更新すると、人の声が入力された場合や定常ノイズより大きいノイズが入力された場合に、その値が異常に大きくなってその後の検出精度が低下してしまう。これに対して、本実施の形態では、音声判定部４５および分散演算部４６による判定結果に基づき、ノイズと判定された場合にのみノイズレベルＰｎｓを更新することで、ノイズレベルＰｎｓの正確性を向上させ、結果的にＳ／Ｎ比検出部４４での検出精度を向上させている。

また、音声検出の開始直後の所定期間には、Ｓ／Ｎ比検出部４４は入力音の種類に関係なくノイズと誤判定するが、時間が経過するとノイズレベルＰｎｓが定常ノイズのレベルに収束していき、Ｓ／Ｎ比検出部４４での検出精度が高まっていく。本実施の形態では、音声判定部４５および分散演算部４６によりノイズと判定された場合にのみノイズレベルＰｎｓを更新することにより、ノイズレベルＰｎｓの収束に要する時間を短縮することができる。

＜４＞周波数重心の分散
定常ノイズの中には、周波数帯域が人の声に近く、かつ調波構造を持つものも存在する。このため、このようなノイズが入力された場合には、調波構造検出部４２や周波数重心演算部４３を用いた判定でも、人の声と誤判定されてしまう可能性がある。分散演算部４６は、このようなノイズの誤判定を防止するために設けられている。

一般に、人の声では多くの種類の母音や子音が入れ替わり現れるため、周波数重心が短時間に大きく変化する。これに対し、定常ノイズでは、パワーの強い周波数帯域のパワー変化が小さいため、周波数重心の変化も小さくなる。そこで、過去の一定期間（例えば１００ｍｓ〜２００ｍｓ）における周波数重心の分散を求めることで、この分散が比較的小さい場合には、入力音が定常ノイズである可能性が高くなり、これを判別できる。

分散演算部４６は、周波数重心演算部４３から周波数重心の値を受け取るごとに、一定期間の周波数重心履歴４６ａを更新するとともに、この周波数重心履歴４６ａ内の値の分散を算出する。そして、分散の値が所定のしきい値（例えば５０Ｈｚ）以下のときにそのときの入力音がノイズと判定して、更新フラグＦ２２をＨレベルとする。これにより、調波構造を持つ定常ノイズを正確に判別して、Ｓ／Ｎ比検出部４４の検出結果に反映させることができる。

次に、上記の各検出機能を用いた音声検出の全体の処理について説明する。

図６は、音声検出回路４の処理の流れを示すフローチャートである。

音声検出回路４は、一定時間（ここでは１６ｍｓ）ごとに処理を実行する。まず、ＦＦＴ回路４１が、入力信号に対して周波数解析を行い、パワースペクトルを出力する（ステップＳ１０１）。すると、調波構造検出部４２、周波数重心演算部４３、およびＳ／Ｎ比検出部４４が、それぞれパワースペクトルの入力を受けて上述した検出・演算処理を行い、それらの結果に応じて判定フラグＦ１１〜Ｆ１３を更新する（ステップＳ１０２）。さらに、分散演算部４６が、周波数重心演算部４３で算出された周波数重心の値を取得し、周波数重心履歴４６ａを更新する。そして、分散値を演算し、その結果に応じて更新フラグＦ２２を更新する（ステップＳ１０３）。

次に、音声判定部４５が、判定フラグＦ１１〜Ｆ１３に応じた判定を行う（ステップＳ１０４）。これらのすべてのフラグがＨレベルの場合、音声判定部４５は、入力音が人の声であると判定して、音声フラグＦ１をＨレベルとし、更新フラグＦ２１をＬレベルとする（ステップＳ１０５）。次に、ノイズレベル更新部４７が更新フラグＦ２１およびＦ２２を参照し（ステップＳ１０６）、これらがともにＬレベルであれば、ノイズレベルＰｎｓの更新を行わずに待機する。また、更新フラグＦ２２がＨレベルであれば、ノイズレベルＰｎｓの値を更新する（ステップＳ１０８）。

一方、判定フラグＦ１１〜Ｆ１３のうち１つでもＬレベルのものがある場合、音声判定部４５は、入力音が人の声でなく、それ以外のノイズであると判定して、音声フラグＦ１をＬレベルとし、更新フラグＦ２１をＨレベルとする（ステップＳ１０７）。次に、ノイズレベル更新部４７が更新フラグＦ２１がＨレベルであることを検出して、ノイズレベルＰｎｓの値を更新する（ステップＳ１０８）。

以上の処理により、判定フラグＦ１１〜Ｆ１３のすべてがＨレベルのときに、音声判定部４５によって入力音が人の声であると最終的に判定される。また、ノイズレベルＰｎｓは、更新フラグＦ２１およびＦ２２のいずれか一方がＨレベルのときに、ノイズレベル更新部４７によって更新される。

この後、音声検出回路４は、例えばユーザの入力操作などにより音声検出処理の終了が要求されたか否かを判定し（ステップＳ１０９）、要求された場合は処理を終了する。また、要求されない場合は、上記の一定時間が経過するまで、終了処理要求（ステップＳ１０９に対応）を待機し、一定時間が経過した後に、ステップＳ１０１に戻る（ステップＳ１１０）。これにより、ＦＦＴ回路４１が再び周波数解析を実行する。

以上説明したように、本実施の形態では、Ｓ／Ｎ比検出部４４により実現される入力音のパワーに基づく音声検出方法とともに、調波構造検出部４２および周波数重心演算部４３により実現される、周波数解析結果に基づいた特徴量（調波構造および周波数重心）検出の手法を併用して、これらすべての判定結果を基に音声判定部４５で最終的な判定を行うようにしたことで、ノイズが大きい環境でも、より正確に音声を検出することが可能となる。

また、ノイズレベル更新部４７において、音声判定部４５によりノイズと判定された場合にノイズレベルＰｎｓを更新するようにしたことで、周波数解析結果に基づく特徴量検出による検出精度向上効果がＳ／Ｎ比検出部４４の検出精度にフィードバックされる。すなわち、入力音のパワーを基にノイズレベルＰｎｓを更新した場合と比較して、ノイズレベルＰｎｓの正確性が向上し、例えば定常ノイズが入力された場合や、同じ人が長時間発声し続けた場合などにも、Ｓ／Ｎ比検出部４４が誤判定を行うことがなくなって、全体の検出精度が高められる。

さらに、ノイズレベル更新部４７において、分散演算部４６によりノイズと判定された場合にもノイズレベルＰｎｓを更新するようにしたことで、周波数帯域が人の声に近く、かつ調波構造を持つ定常ノイズが入力された場合でもノイズレベルＰｎｓが更新されるようになり、Ｓ／Ｎ比検出部４４の検出精度が一層向上して、全体の検出精度も高められる。すなわち、調波構造検出部４２および周波数重心演算部４３では判別できないノイズも検出できるようになる。

従って、音声の検出場所や周囲のノイズ源の位置、発言者との距離などにかかわらず、人の声を正確に検出できるようになる。これとともに、ノイズレベルＰｎｓの正確性が高められることで、音声検出の開始直後の早い段階で正確な検出を行うことが可能となり、使い勝手が向上する。

次に、具体的な音声検出例を挙げる。なお、以下の検出例では、調波構造検出部４２でのしきい値を０．３、周波数重心演算部４３で音声と判断する周波数帯域を３００Ｈｚ〜１２００Ｈｚ、Ｓ／Ｎ比検出部４４でのしきい値を５ｄＢとしている。

図７は、男性の音声を収音したときのパワースペクトルの例である。また、図８は、ファンノイズを収音したときのパワースペクトルの例である。なお、図７（Ｂ）および図８（Ｂ）は、それぞれ図７（Ａ）、図８（Ａ）のうち０Ｈｚ〜１５００Ｈｚのスペクトルを拡大して示したものである。

図７の検出例では、およそ１５００Ｈｚ以下の帯域のレベルが高く、周波数１６０Ｈｚを基本とした倍音成分が含まれており、調波構造検出部４２ではこの基本周波数に対応したくし形フィルタが選択される。このとき、調波構造検出部４２のパワー値比較部４２３で算出される値は０．４、周波数重心演算部４３で算出される周波数重心は８００Ｈｚ、Ｓ／Ｎ比検出部４４で検出されるＳ／Ｎ比は１０ｄＢとなり、判定フラグＦ１１〜Ｆ１３はすべてＨレベルとなった。従って、入力音は人の声と正しく判定される。

一方、図８では、調波構造を持たない定常ノイズであるファンノイズの検出例を示している。このとき、調波構造検出部４２での比較値は０．２、周波数重心は３０００Ｈｚ、Ｓ／Ｎ比は６ｄＢとなる。ファンノイズのパワーが比較的強いため、判定フラグＦ１３のみがＨレベルとなり、入力音のパワーのみを用いた場合には誤検出が発生するが、本実施の形態では、周波数解析結果に基づく特徴量検出によって、入力音がノイズであると正しく判定される。

さらに、調波構造を持つ定常ノイズが入力された場合の検出例を以下に示す。この場合、入力直後では、調波構造検出部４２での比較値は０．３、周波数重心は１０００Ｈｚ、Ｓ／Ｎ比は５ｄＢとなって、判定フラグＦ１１〜Ｆ１３がすべてＨレベルとなり、音声であると誤判定される。しかし、周波数重心が変化しないために、分散演算部４６の分散値も低くなる。数百ｍｓが経過した後では、分散値が正確に算出されるようになるので、Ｓ／Ｎ比は１ｄＢまで低下し、判定フラグＦ１３がＬレベルとなって、入力音がノイズであると正確に判定される。

このように、本実施の形態の音声検出回路４では、人の声を正確に検出することが可能であるので、この音声検出回路４を用いたカメラシステムでは、発言者の方向にカメラ２を自動的に向けて正確に撮像することが可能となる。

このようなカメラシステムは、例えば、カメラの撮像信号や収音した音信号を通信回線を通じて相互に送受信することで、遠隔地での会議を可能にするテレビ会議システムなどに適用することができる。そして、本実施の形態のカメラシステムを用いたテレビ会議システムでは、テレビ回線を通じた相手とよりスムーズに会話することができる。また、音声検出回路４の検出結果に基づき、人の声を含む音声信号のみを回線上に送信し、ノイズのみの入力時には音信号を相手側に送らないようにすることもできる。この場合、相手側では余分なノイズが再生されなくなって、会議を集中して行うことができるようになる。

なお、上記の処理例では、判定フラグＦ１１〜Ｆ１３のすべてがＨレベルの場合に、入力音を人の声と判定するようにしたが、これに限らず、例えばいずれか１つ、または２つのフラグがＨレベルの場合に音声と判定してもよく、この場合でも従来と比較して音声検出の精度が向上される。また、音声判定部４５は、判定フラグＦ１１〜Ｆ１３に加えて、更新フラグＦ２２を基に最終的な判定を行うようにしてもよい。

さらに、上記のカメラシステムでは、１台のカメラを発言者の方向に向けるようにしたが、例えば複数の固定カメラを配置して、音声検出回路４の検出結果および方向判定部５４の判定結果に応じて、カメラからの信号を切り替えるようにしてもよい。

また、上記の音声検出手法は、例えばセキュリティカメラシステムなどの他のシステムに応用することができる。セキュリティカメラシステムの場合、例えば、人がいるはずのない場所で音声が発せられたときに、その位置を自動的にカメラで撮像するシステムが考えられる。あるいは、人の声以外でも、通常では起こり得ない大きな音や、足音などの特定の音が発せられたときに、その位置をカメラで撮像するシステムにも適用できる。後者の場合、検出対象とする音の特性に応じて、音声検出で用いるしきい値を変えたり、最終判定の際の判定フラグの組み合わせ方法を変えるなどすればよい。

実施の形態に係るカメラシステムの全体構成例を示す図である。 方向検出回路の内部構成例を示す図である。 音声検出回路の内部構成例を示す図である。 調波構造検出部の内部構成例を示す図である。 調波構造検出部を用いた場合と従来の音声検出方法を用いた場合の検出結果の実測例を示す図である。 音声検出回路の処理の流れを示すフローチャートである。 男性の音声を収音したときのパワースペクトルの例である。 ファンノイズを収音したときのパワースペクトルの例である。

符号の説明

１ａ，１ｂ……マイクロフォン、２……カメラ、３……Ａ／Ｄ変換回路、４……音声検出回路、５……方向検出回路、６……方向検出上位モジュール、７……駆動機構、４１……ＦＦＴ回路、４２……調波構造検出部、４３……周波数重心演算部、４４……Ｓ／Ｎ比検出部、４５……音声判定部、４６……分散演算部、４６ａ……周波数重心履歴、４７……ノイズレベル更新部、Ｆ１……音声フラグ、Ｆ１１〜Ｆ１３……判定フラグ、Ｆ２１，Ｆ２２……更新フラグ

Claims (7)

1. 入力音信号を基に人の声の入力の有無を検出する音声検出装置において、
   前記入力音信号から調波構造を持つ信号成分を検出した場合に、人の声が入力されたと判定する第１の判定手段と、
   前記入力音信号の周波数重心が所定の周波数範囲内である場合に、人の声が入力されたと判定する第２の判定手段と、
   ノイズレベルを記憶するノイズレベル記憶手段と、
   前記ノイズレベル記憶手段に記憶されたノイズレベルに対する前記入力音信号のパワーの比が所定のしきい値を超えた場合に、人の声が入力されたと判定する第３の判定手段と、
   前記第２の判定手段により現在からそれ以前の一定期間に算出された周波数重心の分散を算出し、算出した分散の値が所定のしきい値以下の場合に人の声が入力されていないと判定する第４の判定手段と、
   前記第１〜第３の判定手段の判定結果に基づいて人の声の入力の有無を最終的に判定する最終判定手段と、
   前記最終判定手段により人の声が入力されていないと判定された場合、および、前記第４の判定手段により人の声が入力されていないと判定された場合に、前記ノイズレベル記憶手段に記憶されたノイズレベルを現在の前記入力音信号のパワーを用いて更新するノイズレベル更新手段と、
   を有することを特徴とする音声検出装置。
2. 前記第１の判定手段は、
   前記入力音信号から調波構造を持つ信号成分を抽出する抽出手段と、
   抽出された前記信号成分のパワーと、前記入力音信号のうちの少なくとも非調波成分のパワーとを比較して、前記信号成分のパワー比が所定のしきい値を超えた場合に人の声が入力されたと判定する比較手段と、
   を具備することを特徴とする請求項１記載の音声検出装置。
3. 前記抽出手段は、
   前記入力音信号のうち基本周波数の信号成分およびその倍音成分をそれぞれ通過させ、それぞれ異なる前記基本周波数が設定された複数のフィルタと、
   前記各フィルタの出力信号のうち最大パワーのものを選択する選択手段と、
   を具備することを特徴とする請求項２記載の音声検出装置。
4. 前記ノイズレベル更新手段は、前記ノイズレベル記憶手段に記憶されたノイズレベルと、現在の前記入力音信号のパワーとを所定の比で合成することで、ノイズレベルを更新することを特徴とする請求項１記載の音声検出装置。
5. 前記最終判定手段は、前記第１〜第３の判定手段のすべてが人の声が入力されたと判定したとき、最終的に人の声が入力されたと判定することを特徴とする請求項１記載の音声検出装置。
6. 発言者の方向を自動的にカメラで撮像する自動撮像装置において、
   複数の収音手段と、
   前記収音手段からの入力音信号から発言者の方向を検出する方向検出手段と、
   前記入力音信号から調波構造を持つ信号成分を検出した場合に、人の声が入力されたと判定する第１の判定手段、
   前記入力音信号の周波数重心が所定の周波数範囲内である場合に、人の声が入力されたと判定する第２の判定手段、
   ノイズレベルを記憶するノイズレベル記憶手段、
   前記ノイズレベル記憶手段に記憶されたノイズレベルに対する前記入力音信号のパワーの比が所定のしきい値を超えた場合に、人の声が入力されたと判定する第３の判定手段、
   前記第２の判定手段により現在からそれ以前の一定期間に算出された周波数重心の分散を算出し、算出した分散の値が所定のしきい値以下の場合に人の声が入力されていないと判定する第４の判定手段、
   前記第１〜第３の判定手段の判定結果に基づいて人の声の入力の有無を最終的に判定する最終判定手段、
   および、前記最終判定手段により人の声が入力されていないと判定された場合、および、前記第４の判定手段により人の声が入力されていないと判定された場合に、前記ノイズレベル記憶手段に記憶されたノイズレベルを現在の前記入力音信号のパワーを用いて更新するノイズレベル更新手段、
   を備えた音声検出手段と、
   前記方向検出手段および前記音声検出手段の各検出結果に応じて、前記カメラの撮像方向を変化させる駆動手段と、
   を有することを特徴とする自動撮像装置。
7. 入力音信号を基に人の声の入力の有無を検出するための音声検出方法において、
   第１の判定手段が、前記入力音信号から調波構造を持つ信号成分を検出した場合に、人の声が入力されたと判定する第１の判定ステップと、
   第２の判定手段が、前記入力音信号の周波数重心が所定の周波数範囲内である場合に、人の声が入力されたと判定する第２の判定ステップと、
   第３の判定手段が、ノイズレベル記憶手段に記憶されたノイズレベルに対する前記入力音信号のパワーの比が所定のしきい値を超えた場合に、人の声が入力されたと判定する第３の判定ステップと、
   第４の判定手段が、前記第２の判定ステップで現在からそれ以前の一定期間に算出された周波数重心の分散を算出し、算出した分散の値が所定のしきい値以下の場合に人の声が入力されていないと判定する第４の判定ステップと、
   最終判定手段が、前記第１〜第３の判定ステップによる判定結果に基づいて人の声の入力の有無を最終的に判定する最終判定ステップと、
   ノイズレベル更新手段が、前記最終判定ステップにより人の声が入力されていないと判定された場合、および、前記第４の判定ステップにより人の声が入力されていないと判定された場合に、前記ノイズレベル記憶手段に記憶されたノイズレベルを現在の前記入力音信号のパワーを用いて更新するノイズレベル更新ステップと、
   を含むことを特徴とする音声検出方法。

Images