JP4872871B2 - 音源方向検出装置、音源方向検出方法及び音源方向検出カメラ - Google Patents

Description

本発明は、例えば会議中に話者が発する音声を解析することによって、話者の方向を検出する場合に適用して好適な音源方向検出装置及び音源方向検出方法、音源方向検出カメラに関する。

従来、例えば遠隔地間での会議等において、話者の発言内容と、話者の様子をリアルタイムで送受信するビデオ会議システムが用いられている。このようなビデオ会議システムは、会議中の音声を集音するマイクロホン（以下、「マイク」とも略称する。）と、会議の参加者を撮影するカメラと、カメラに内蔵され、周囲の音声を集める音源検出マイクと、音源検出マイクが集音した周囲の音声から音源（話者）の方向を検出する音源方向検出部と、を備える。さらに、ビデオ会議システムは、音源方向検出部が検出した話者の方向にカメラを向けるよう制御する駆動部と、カメラが撮像した映像フレームと集音マイクが集音した音声フレームとを、所定の伝送フォーマットに変換し、遠隔地の会議システムに送信している。

そして、音源方向検出部は、話者が発した音声を解析することで、カメラに対する話者の方向を検出する。検出した話者の方向に基づいて、駆動部はカメラを話者に向け、撮影する。話者の方向（以下、「音源方向」ともいう。）を特定するためには、従来、様々な技術が用いられている。ここでは、２つのマイクを用いて音源方向を検出する技術について、図１２を参照して説明する。

図１２（ａ）は、２つのマイクと音源との位置関係を示す。音源方向を検出するためには、２つ以上のマイクを用いる。第１のマイク１０１ａと第２のマイク１０２ａの距離をＤとしている。そして、第１のマイク１０１ａと第２のマイク１０２ａを結ぶ線分の中点に対して引かれた垂線と矢印１０１ｂ，１０２ｂがなす角度をθとする。そして、角度θの方向に存在する話者を音源１００とする。第１のマイク１０１ａと第２のマイク１０２ａから音源１００までの距離は、第１のマイク１０１ａと第２のマイク１０２ａとの間の距離に対して十分長い。このため、音源１００から第１のマイク１０１ａ、第２のマイク１０２ａにそれぞれ入力される音声の方向を表す矢印１０１ｂと１０２ｂは、平行とみなせる。

この場合、第２のマイク１０２ａから矢印（線分）１０１ｂに下ろした垂線と、矢印１０１ｂ（線分）との交点から求まる第１のマイク１０１ａまでの距離Ｌは、音源１００が発する音波が到着するまでの時間差に対応する。つまり、距離Ｌ［ｍ］を音速［ｍ／ｓ］で除することによって、音源１００が発する音波と同位相の波面が、第２のマイク１０２ａに達した後、第１のマイク１０１ａに達するまでの時間差として求められる。そして、マイク間の距離Ｄと、時間差から算出される距離Ｌから、sinθの値が算出される。算出されたsinθの値より音源方向Ａにカメラを向けることができる。

図１２（ｂ）は、第１のマイク１０１ａと第２のマイク１０２ａでそれぞれ検出された音声を複素平面上に示したものである。図１２（ｂ）において、第１のマイク１０１ａが検出する音声に対応するベクトルＢと、第２のマイク１０２ａが検出する音声に対応するベクトルＣの位相差がφであることが示される。この位相差φは、第１のマイク１０１ａと音源１０１、第２のマイク１０２ａと音源１０１との距離が異なるため、同一音源の音波であっても生じる。位相差φの影響を考慮することによって、第１のマイク１０１ａと第２のマイク１０２ａに到達する同一周波数成分の音波の時間差が求まる。そして、求められた時間差からsinθを算出することが可能となるため、音源の方向を検出できる。

音源の方向は、単位時間毎に集音した音声に対して、例えば高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を施し、周波数成分に分解して得られるベクトルを用いて推定できる。この結果、第１のマイク１０１ａと第２のマイク１０２ａについて位相差φが得られる。複素平面上に表示されるベクトルの長さは、周波数成分毎の音声のパワーである。理想的には、第１のマイク１０１ａと第２のマイク１０２ａが検出する音源の方向は一致し、図１２（ｂ）に示すベクトルＢの方向となることが望ましい。例えば、正面に音源（つまり、音源１００に対する第１のマイク１０１ａと第２のマイク１０２ａの距離が同じ場合）があると、位相差はゼロとなる。しかし、前方の斜め方向（つまり、音源１００に対する第１のマイク１０１ａと第２のマイク１０２ａの距離が異なる場合）に音源があると位相差が生じる。つまり、複素平面に表した複数のベクトルから、位相差が生じていることが判明する。

図１２（ｃ）は、第１のマイク１０１ａと第２のマイク１０２ａが向いている方向（すなわち、第１のマイク１０１ａと第２のマイク１０２ａを結ぶ線分の垂直方向）を正面として、正面から±９０度方向を解析した結果得られるヒストグラムの例である。図１２（ｃ）で示すヒストグラムは、横軸をsinθ、縦軸を加算値として示される。人間の声は、様々な周波数を含んでいるため、周波数毎にパワーを算出する。そして、角度毎に、算出したパワーの値をヒストグラムに加算する。この結果、音源方向の角度が判明する。

ここで、sinθの値が、｜sinθ｜＞１を含む理由について説明する。
本来であれば、｜sinθ｜≦１であることは自明である。しかし、従来は、sinθの値を求めるために、以下の数式を用いていた。ここで、周波数をｆ[Ｈｚ]、φを位相差としている。

このように時間差、音速、マイク間の距離の値に基づいて、sinθを決定する場合、第１のマイク１０１ａに対して、第２のマイク１０２ａの方が音波の到達時刻が早い場合、時間差は正となる。一方、第１のマイク１０１ａに対して、第２のマイク１０２ａの方が音波の到達時刻が遅い場合、時間差は負となる。このため、sinθの値には、正負があり得る。また、式（１）の分母より分子が大きい場合、sinθは、−１より小さい又は１より大きい値になり得る。これらの｜sinθ｜＞１の領域で得られる値は、誤差や回り込み等により生じる。このため、｜sinθ｜＞１の領域に表示されるヒストグラムについても考慮する必要がある。
こうして、従来、複数のマイクで音声を集音する場合に、周波数毎の推定角度をヒストグラムに加え、一番度数の高い角度を音源方向として検出していた。

特許文献１には、集音した複数の音声信号のタイムラグと最大レベルにより、１つの音声信号を切り替えて集音するマイクロホンシステムについて記載されている。

特許文献２には、反射音や雑音と共に入力された音の音源位置の方向の推定精度の劣化を防止するための音源方向推定装置について記載されている。

特許文献３には、残響による音源方向の誤差を少なくする技術について記載されている。
特開平７−３３６７９０号公報 特開２００４−１２１５１号公報 特開２００６−１９４７００号公報

ところで、従来の音源検出する技術を用いると、話者の方向を誤って検出する場合があった。音源方向を誤検出してしまう理由としては、音源１００の周囲に発生するノイズ成分の影響が考えられる。ここで、音源１００の周囲に発生するノイズの影響について、図１３を参照して説明する。

図１３（ａ）は、音声に生じるノイズの影響について説明する図である。図１３（ａ）に示すように、ノイズはある一定のパワー（Ｎ）を有しており、ノイズ成分は所定の周期で複素平面上を回転する。そして、ノイズより大きいパワー（Ｐ）の音声について周波数成分毎に分解し、音源方向を求めようとしても、本来の音源の方向に対して、パワーが最大Ｎだけずれた方向を見せかけの音源方向として検出してしまう。このような見せかけの音源方向を検出すると、所定の周波数範囲内で加算した度数で表されるヒストグラムがいびつな形状となってしまう。

図１３（ｂ）は、周波数成分毎に算出した度数を加算したヒストグラムの表示例を示す。この表示例に示すように、最もヒストグラムの値が大きい加算値１１１は、sinθの値が“−0.6”の方向であることが示される。しかしながら、本来の音源方向Ａは、図１２（ｃ）に示す加算値１１０の方向（sinθ＝0.3）である。このように、ある周波数帯域で度数が誤った方向に加算されることによって、方向検出を誤ってしまうため、カメラを話者に適切に向けられないという課題が生じていた。

本発明はこのような状況に鑑みて成されたものであり、音源（話者）の方向を確実に検出することを目的とする。

本発明の第１の側面は、複数のマイクロホンが音源から集音する音声から生成した音声フレームを周波数成分に分解し、音源の周囲に生じるノイズの影響を誤差範囲として決定し、決定された誤差範囲に基づいて、分解された周波数成分から求まる度数を分散し、度数に周波数成分が高くなるにつれて値を大きくする重み付けを行って、分散された度数を加算する。そして、加算された加算値のうち、最も大きい加算値が位置する位相に基づいて、音源の方向を検出する。

また、本発明の第２の側面は、複数のマイクロホンが音源から集音する音声から生成した音声フレームを周波数成分に分解し、分解された周波数成分毎に定まる度数を加算し、加算された加算値のうち、最も大きい加算値が位置する位相に基づいて、音源の方向を検出し、加算された度数を平滑化し、平滑化された度数を保存する。そして、第１の音声フレームが平滑化された度数と、第１の音声フレームに連続して集音される音声から複数のマイクロホンによって生成される第２の音声フレームの周波数成分毎に定まる度数を信頼度係数による重み付けを行って加算する。

このようにしたことで、音源（話者）の周囲にノイズ等が発生していても、話者の方向を確実に検出できる。

また、連続する音声フレームから話者の方向を確実に検出できる。

本発明によれば、音源（話者）の方向を確実に検出できるため、検出した方向にカメラを向けることが可能となる。このため、発言している話者と異なる方向にカメラを向けることがないという効果がある。

また、連続する音声フレームから話者の方向を確実に検出できるため、検出した方向にカメラを向けることが可能となる。このため、発言している話者と異なる方向にカメラを向けることがないという効果がある。

以下、本発明の第１の実施の形態について、図１〜図６を参照して説明する。本実施の形態では、遠隔地間での画像と音声をリアルタイムで送受信可能なビデオ会議システム１０に適用した例として説明する。

図１は、本例のビデオ会議システム１０の外観構成例を示す。話者を撮像するカメラ１は、音源を検出するために音声を集音する第１のマイク１ａと第２のマイク１ｂを筐体下部に備える。第１のマイク１ａと第２のマイク１ｂは、所定距離、例えば、約１０ｃｍ離れて配置される。そして、第１のマイク１ａと第２のマイク１ｂは、集音した音声を音声フレームに変換し、制御装置２に送出する。第１のマイク１ａと第２のマイク１ｂが集音する音声は、話者の発言内容を記録するためには用いられず、音源を検出するために用いられるだけである。カメラ１の筐体は固定設置されており、第１のマイク１ａと第２のマイク１ｂの向きは動かない。

また、カメラ１は、パン、チルトが可能な駆動部１ｄを備える。駆動部１ｄは、話者を撮像するレンズ部１ｃが設置される。レンズ部１ｃは、図示しないズーム制御機構部と、フォーカス制御機構部とを含む。駆動部１ｄは、ビデオ会議システム１０が話者の方向を検出すると、話者の方向にレンズ部１ｃを向けて角度を調整する。そして、レンズ部１ｃが撮像した映像を解析することで顔を認識し、話者の顔が画面中央に来るようにズームを調整する。

カメラ１は、各装置を制御する制御装置２に接続される。カメラ１は、撮像した光学像を電気信号に変換して映像フレームを生成し、映像フレームを制御装置２に送る。また、全方向からの音声を集音可能な無指向性マイク１３は、集音した音声フレームを制御装置２に送る。制御装置２には、スピーカを内蔵し音声を放音すると共に、液晶ディスプレイで画像を表示する表示装置４が接続される。表示装置４は、遠隔地にいる相手方の会議室や話者の様子を表示したり、各話者の発言を搭載されたスピーカから放音したりする。

制御装置２は、カメラ１から取得した映像フレームと、無指向性マイク３から取得した音声フレームをＭＰＥＧ（Moving Picture Experts Group）−４規格に準拠した符号化方式で変換し、圧縮した後、ＵＤＰ（User Datagram Protocol）パケットに分割する。送信するパケットには、暗号化を施してありセキュアな通信を実現している。暗号化方式には、例えば、共通鍵暗号方式であるＡＥＳ（Advanced Encryption Standard）を用いている。伝送プロトコルには、例えば、ＳＤＰ（Session Description Protocol）、ＲＴＰ（Real-time Transport Protocol）が用いられ、リアルタイム通信を可能としている。そして、制御装置２は、ルータ５を介してパケットをマルチキャスト方式等で相手方に送る。各拠点間は、インターネット１５等のネットワークを介してデータの送受信が行われる。

一方、制御装置２は、相手方から受け取るパケットを再構築して、表示装置４に相手方の映像を表示し、音声を放音させる。また、表示装置４は、画面分割することによって、話者１１ａ〜１１ｄの様子を表示することもできる。このようにして、遠隔地であっても、互いの距離を感じることなく会議を行うことができる。

次に、ビデオ会議システム１０の設置例について、図２を参照して説明する。図２では、会議室１３を俯瞰して示している。会議室１３の中央には、机１２が置かれる。机１２の上には、無指向性マイク１３が設置される。机１２の両側には、４人の話者１１ａ〜１１ｄが２名ずつ座って会議を行っているとする。表示装置４は、話者１１ａ〜１１ｄが視認しやすく、カメラ１の視界を遮らない壁際に設置される。表示装置４は、接続した相手方の映像を表示し、音声を放音する。

話者１１ａ〜１１ｄの顔を撮影するカメラ１は、会議室１３の隅に設置される。いずれかの話者が発言すると、カメラ１は、発言した話者の方向を検出し、パン、チルト、ズーム動作を行って、発言した話者を撮影する。カメラ１は、パン可能な約１２０度の範囲内であれば話者を適切に撮影できる。

次に、ビデオ会議システム１０の内部構成例について、図３を参照して説明する。
カメラ１は、レンズ部１ｃを備えており、レンズ部１ｃを介して入射した像光をＣＣＤ（Charge Coupled Device）撮像素子４の撮像面に結像させる構成としている。レンズ部１ｃのズーム、フォーカス等を制御するカメラ駆動部１ｅは、制御装置２から供給される制御信号によってレンズ部１ｃを駆動する。カメラ１が撮像して得るアナログ映像信号は、制御装置２に内蔵されて各部を制御する制御部１６に供給される。そして、制御部１６は、アナログ信号の映像フレームをデジタル信号の映像フレームに変換し、所定のデジタル処理を施す。

第１のマイク１ａと第２のマイク１ｂが集音したアナログ信号の音声フレームについても、制御部１６に供給される。そして、制御部１６は、アナログ信号の音声フレームを、デジタル信号の音声フレームに変換し、所定のデジタル処理を施す。

制御装置２は、音源の方向を検出する音源方向検出装置２０を備える。音源方向検出装置２０は、制御部１６から供給されるデジタル音声信号を複数の周波数に分解する周波数分解部２１と、ノイズ等による誤差範囲を決定する誤差範囲決定部２２と、決定された誤差範囲に基づいて周波数毎の度数を分散する度数分散部２３と、分散された度数分布（度数）を加算する度数加算部２４と、所定の周波数範囲内で加算された度数分布より音源方向を検出する音源方向検出部２５と、を備える。

周波数分解部２１は、デジタル音声信号に含まれる複数の周波数成分を取り出す。取り出す周波数成分の周波数の値は、可聴域の範囲内、例えば、２００Ｈｚ〜４ｋＨｚの範囲に含まれる。周波数成分の分解能は、ＦＦＴの設定によって異なる。誤差範囲決定部２２は、音源の周囲に生じるノイズの影響する位相の誤差の範囲を決定する。ノイズは、例えば空調機の音である。決定された位相の誤差の範囲に基づいて、度数分散部２３は、位相の誤差の範囲に度数を分散させる。そして、度数加算部２４は、分散された度数を加算する。加算された度数は、後述する図５のヒストグラムに示される。

度数加算部２４が加算した度数に基づいて、音源方向検出部２５は、加算された度数の加算値のうち、最も大きい加算値が位置する位相を、求めることで音源方向を検出する。このとき、音源方向検出部２５は、位相差φと位相θとを対応づけた位相テーブル２６を参照し、位相差φから求まる時間差より、sinθの値を検出する。そして、音源方向検出部２５は、検出したsinθの値を制御部１６に供給する。制御部１６は、音源方向検出部２５から受けとったsinθの値に基づいて、駆動部１ｆを動かし、レンズ部１ｃを話者の方向に向ける。

次に、音源方向を推定するための処理の例について、図４を参照して説明する。
初めに、第１のマイク１ａと第２のマイク１ｂは、音源からの音声を集音し（ステップＳ１）、音声フレームを制御装置２に送る。制御装置２に送られた音声フレームは、デジタル信号に変換された後、周波数分解部２１に送られる。

次に、周波数分解部２１は、音声フレームを複数の周波数成分に分解する（ステップＳ２）。このとき、周波数分解部２１は、音声フレームに高速フーリエ変換を施して、音声に含まれる周波数成分を分解する。

次に、誤差範囲決定部２２は、ノイズが影響する誤差の範囲を決定する（ステップＳ３）。決定した音源方向は、ノイズによってずれる可能性がある。このため、度数を誤差の範囲で正規分布に従って分散させることによって、音源方向のズレが度数の加算値に及ぼす影響を少なくできる。

次に、度数加算部２４は、所定の周波数範囲内であるかどうかを判別する（ステップＳ４）。ここでは、周波数の範囲を、例えば２００Ｈｚ〜４ｋＨｚの間に含まれる音声フレームの周波数成分について判断する。そして、初期値を２００Ｈｚとして、順に数１０Ｈｚ刻みで周波数を増分させることによって、各周波数帯域で求められた度数を加算している。

所定の周波数範囲内である場合、度数分散部２３は、決定された誤差の範囲内で度数分布を分散させる（ステップＳ５）。このとき、分散させる度数分布は、正規分布に従う。そして、度数加算部４１は、度数分散部２３によって分散された度数分布を加算する（ステップＳ６）。その後、処理をステップＳ４に移して、新たな周波数成分から求められる分散された度数分布を加算する。

音源方向検出部２５は、所定の周波数範囲内で分散された度数分布を全て加算すると、最も加算値が大きい度数の加算値が位置するsinθの値より、位相を求め、音源方向として検出する（ステップＳ７）。

次に、図４に示した処理によって表示されるヒストグラムの例について、図５を参照して説明する。
図５（ａ）は、ある周波数における度数分布を加算して得られるヒストグラムの表示例である。集音された音声は、複数の周波数成分に分解される。そして、周波数毎に定まる度数は、誤差の範囲３２内で正規分布に従って分散される。つまり、分散された度数は、推定したsinθ=0.3に最も多く加算される。本例では、sinθ=0.3を中心に５つのsinθに対して加算処理してある。

図５（ｂ）は、所定の周波数範囲内で定まる分散された度数分布を加算したヒストグラムの表示例である。音源方向検出部２５は、加算値が最も高いsinθを、音源がいると推定できる推定方向３３とする。そして、図５に示すように、従来、誤って推定されていた音源の方向を正しく検出できる。

ここで、高い周波数の音声を加算する際のヒストグラムの表示例について、図６を参照して説明する。正しい音源方向の候補以外は周波数によってsinθの位置が異なるので、ヒストグラムを加算することで正しい音源方向を選ぶことができる。ところで、誤ってまったく異なる方向が音源方向であると推定することがある。本例の音源方向検出装置２０では、高い周波数であっても適切に音源方向を検出することが可能である。以下には、正しい音源方向を検出する例について説明する。

図６（ａ）は、高い周波数の音声を加算した従来のヒストグラムの表示例を示す。
正しい音源方向は、sinθ=0.3とする。図６（ａ）より、３ｋＨｚの音波から求められる度数３５と、４ｋＨｚの音波から求められる度数３６は、sinθ=0.3の他にも様々な方向に分散して加算されることが示される。これは、周波数が高くなると、sinθ_0=f（φ,周波数）、sinθ_1=f（φ＋2π,周波数）という、複数のθの候補が存在するためである。このため、他の方向の加算値の影響によって、音源方向を誤る可能性がある。

そこで、上述スのように度数を分散して加算することで、低い周波数でもおおよその向きは、正しい音源方向に近くなる。そこで、低い周波数からヒストグラムの加算を行う。そして、高い周波数で複数の候補が存在する場合、その時点での加算値によって加算する値を異ならせる。

図６（ｂ）は、本例の音源方向検出装置２０で高い周波数の音声を加算したヒストグラムの表示例を示す。図６（ｂ）においても、従来と同様に３ｋＨｚの音波の度数３５と、４ｋＨｚの音波の度数３６は、様々な方向に分散して加算されることが示される。しかしながら、加算される度数に対して、周波数成分が高くなるにつれて値を大きくする重み付けがされている点が従来とは異なる。このとき、第１のマイク１ａで加算される３ｋＨｚまでの度数をsinθ_1、第２のマイク１ｂで加算される３ｋＨｚまでの度数をsinθ_2とした場合、次式（２），（３）に示す演算によって加算する度数を求める。

このようにして、sinθの値に応じて、重み付けをした度数を加算して、正しい音源方向を検出できる。

以上説明した第１の実施の形態に係る音源方向検出装置２０によれば、目的とする音声と共にマイクに集音されるノイズの影響を除いた状態で音源の正しい方向を検出することが可能である。このため、音源に対してレンズ部１ｃを向けることができ、適切な話者を撮像できるという効果がある。

なお、音源方向検出装置２０は、誤差範囲決定部２２を備え、所定の単位時間に音声に含まれるノイズによる影響を誤差範囲として決定するようにしたが、一度決定した誤差範囲は、所定の時間（例えば、３秒間）だけメモリ等に格納するようにしてもよい。この場合、周波数分解部２１から度数分散部２３に処理が移る。このように処理を行ったとしても、ノイズの影響は長時間変わらないため、誤差範囲を適切に算出できるという効果がある。また、処理ステップが一段経るため、処理を高速化できる。

次に、本発明の第２の実施の形態に係る音源方向検出装置４０の内部構成例について、図７を参照して説明する。なお、音源方向検出装置４０を含むビデオ会議システム５０の外観構成例、設置例については、既に説明した第１の実施の形態に係るビデオ会議システム１０と同様であるため、詳細な説明は省略する。また、図７において、既に第１の実施の形態で説明した図３に対応する部分には同一符号を付す。

音源方向検出装置４０は、デジタル音声信号を複数の周波数成分に分解する周波数分解部２１と、分散された度数を加算する度数加算部４１と、加算された度数分布の加算値より音源方向を検出する音源方向検出部２５と、を備える。さらに、音源方向検出装置４０は、度数加算部４１が加算した音声フレーム（以下、単にフレームともいう。）毎の加算値に所定の数式による処理を施して平滑化する度数加算値平滑部４２と、平滑化された度数を保存する平滑度数加算値保存部４２と、を備える。そして、度数加算部４１は、平滑度数加算値保存部４２から読み出した平滑化された度数の加算値と、周波数分解された度数の加算値とを加える。なお、加算した度数は、後述する図１０のヒストグラムに示される。

度数加算部４１が加算した度数に基づいて、音源方向検出部２５は、最も大きい加算された度数の加算値が位置する位相を、求める音源方向とする。このとき、音源方向検出部２５は、位相差φとsinθとを対応づけた位相テーブル２６を参照し、位相差φから求まる時間差より、sinθの値を検出する。そして、音源方向検出部２５は、検出したsinθの値を制御部１６に供給する。制御部１６は、音源方向検出部２５から受けとったsinθの値に基づいて、駆動部１ｆを動かし、レンズ部１ｃを話者の方向に向ける

ここで、従来行っていた、連続する時間毎に取得する同一周波数成分のフレーム（第１のフレームと第２のフレーム）に基づいて表示されるヒストグラムの例について、図８を参照して説明する。
図８（ａ）は、第１のフレームのヒストグラムの表示例を示す。
図８（ｂ）は、第２のフレームのヒストグラムの表示例を示す。
従来では、所定の単位時間に取得したフレーム毎に周波数分解した後、フレーム毎に度数を加算していた。つまり、第１のフレームで加算した度数を一度リセットした上で、第２のフレームで度数を加算していた。この場合、時間的に連続するフレームであっても、フレーム毎にヒストグラムが異なり、推定する音源方向がバラつくことがあった。本例では、このような問題点を解決している。

次に、本例の音源方向検出装置４０で行う音源方向を推定するための処理の例について、図９を参照して説明する。音源方向検出装置４０は、時間的に連続する音声フレーム（以下の説明では、第１のフレームと第２のフレームとも言う）について、それぞれ求められる度数の加算値を求めた上で、さらに加算している。このように処理することによって、第１のフレームで検出した音源方向の影響を残した状態で、第２のフレームで音源方向を検出できる。

初めに、第１のマイク１ａと第２のマイク１ｂは、音声を集音し（ステップＳ１）、音声フレームを制御装置２に送る。制御装置２に送られた音声フレーム（第１のフレーム）は、デジタル信号に変換された後、周波数分解部２１に送られる。

次に、周波数分解部２１は、音声フレームを複数の周波数に分解する（ステップＳ１２）。このとき、周波数分解部２１は、音声フレームに高速フーリエ変換を施して、音声に含まれる周波数成分を分解する。

次に、度数加算部２４は、所定の周波数範囲内であるかどうかを判別する（ステップＳ１３）。ここでは、周波数の範囲を、例えば２００Ｈｚ〜４ｋＨｚの間に含まれる音声フレームの周波数成分について判断する。そして、初期値を２００Ｈｚとして、順に数１０Ｈｚ刻みで周波数を増分させることによって、各周波数で求められた度数を加算している。

所定の周波数範囲内である場合、度数加算部４１は、度数分布を加算する（ステップＳ１４）。その後、処理をステップＳ１３に移して、新たな周波数成分から求められる度数分布を加算する。

そして、度数加算部４１は、平滑度数加算値保存部から読み出した平滑化された第１のフレームの度数と、以前の第１のフレームに連続して集音される音声から複数のマイクによって生成される現在の第２のフレームの周波数成分毎に定まる度数を加算する（ステップＳ１５）。

音源方向検出部２５は、所定の周波数範囲内で分散された度数分布を全て加算すると、最も加算値が大きい度数の加算値が位置するsinθの値より、位相を求め、音源方向として検出する（ステップＳ１６）。その後、度数加算値平滑部４２は、位相毎に、度数分布に対して、所定の数式処理を行い、平滑化する。この平滑化処理によって、ヒストグラムがいびつな形状であったとしても、なだらかな形状となる。

次に、平滑度数加算値保存部４３は、平滑化したフレームによって定まる度数分布の値を保存する（ステップＳ１８）。保存した平滑化したフレームによって定まる度数分布の値は、ステップ１５の処理において加算される。

次に、本例の音源方向検出装置４０で第１のフレームと第２のフレームによって定まる度数分布を加算したヒストグラムの表示例について、図１０を参照して説明する。
図１０（ａ）は、第１のフレームのヒストグラムの表示例を示す。
同一周波数成分であっても、時間の経過と共に、フレームによって異なるヒストグラムが表示される。ここで、第１のフレームにおけるsinθ=xでの加算値を、hist(1,x)という関数で表す。

図１０（ｂ）は、空間（sinθ）方向に平滑化した第１のフレームのヒストグラムの表示例を示す。
度数加算値平滑部４２は、図１０（ａ）で示したヒストグラムの度数の加算値を、以下の式（４）によって平滑化する。なお、hist_smooth(1,x)は、平滑化された度数分布を示す関数である。

図１０（ｃ）は、第２のフレームのヒストグラムの表示例を示す。
第２のフレームは、sinθ=xでの加算値を、hist_add(2,x)という関数で表す。
第２のフレームは、第１のフレームの後に集音された音声から生成される音声フレームである。第１のフレームと第２のフレームは、時間に連続して生成される音声フレームである。ただし、第１のフレームと第２のフレームは、互いに時間の一部が重なっていてもよい。あるいは、第１のフレームと第２のフレームは、時間が重ならなくてもよい。

図１０（ｄ）は、第１のフレームと第２のフレームのヒストグラムを加算したヒストグラムの表示例を示す。
このとき、hist_smooth(1,x)とhist_add(2,x)を加算するが、式（５）に示す音源の方向の精度を高める信頼度係数ｃ（０≦ｃ≦１）を各関数に乗じて重み付けをする。

この結果、平滑化された状態で第２のフレームを表すヒストグラムが得られる。信頼度係数ｃとは、以前のヒストグラムに比較してフレームがどれだけ信頼できるかを示す値である。つまり、信頼度係数ｃが高いほど、話者の方向を適切に検出できる音声成分であると言える。例えば、以前のヒストグラムには、表示装置４が内蔵するスピーカが放音する音声の影響が含まれる場合がある。

また、話者の語頭は、徐々に大きい音になるため、信頼度が高い。一方、話者の語尾は、徐々に小さい音になるため、信頼度が低い。このように、信頼度が高い場合に、信頼度係数ｃの値を大きくし、信頼度が低い場合に信頼度係数ｃの値を小さくする。こうして、適切に話者の方向を検出できる。

また、本実施の形態に係るビデオ会議システム５０は、壁等からの反射音の影響を除いて話者の方向を検出することが可能である。
ここで、壁等からの反射音について、図１１を参照して説明する。

図１１（ａ）は、直接音を集音する場合の例である。
直接音のみを集音する場合、マイク間のパワーは、音源からの距離の比の２乗に反比例することが知られている。例えば、第１のマイク１ａと第２のマイク１ｂとの距離を１０ｃｍとし、第２のマイク１ｂと音源（話者）との距離Ｌ１を１ｍとする。この場合、第１のマイク１ａと音源（話者）との距離Ｌ２は、１．１ｍと近似すると、Ｌ１：Ｌ２＝１：１．１となる。そして、第１のマイクのパワーをＰ１，第２のマイクのパワーをＰ２とすると、パワーの比は、Ｐ１：Ｐ２＝１：（１／１．２１）である。つまり、第１のマイク１ａと第２のマイク１ｂのパワー比は、１：１に近いと言える。

図１１（ｂ）は、直接音と壁からの反射音が混ざった状態で集音する場合の例である。
反射音の影響を受けると、第１のマイク１ａと第２のマイク１ｂのパワー比は、１：１ではなくなってしまう。そこで、このようにパワー比が著しく異なる周波数では、ヒストグラムに加算する度数の割合を小さくする。この結果、反射音がヒストグラムに与える影響を小さくすることができ、誤った方向を音源方向として検出することを防ぐことができる。

以上説明した第２の実施の形態に係る音源検出装置４０では、連続する音声フレームについて、音源方向を検出することが可能である。このとき、以前に音源検出装置４０が取得し、ヒストグラム算出した音声フレームの度数を保存した上で、新しく取得した音声フレームの度数に加えている。このため、以前に検出した音源方向の情報を引き続き使用するため、音源方向を検出する精度が高まるという効果がある。ま

また、ある周波数帯域において、第１のマイク１ａと第２のマイク１ｂのパワー比が著しく異なる場合、ヒストグラムに加算する度数の割合を小さくできる。このとき、直接音だけの場合には、距離の２乗に反比例したパワーであるが、反射音があると位相を打ち消し合ったり、強め合ったりして、複数のマイクで集音する音声のパワー差が大きくなることを利用している。このため、従来、反射音と直接音が混ざることによって音源方向を誤って検出していた場合であっても、本実施の形態に係る音源検出装置４０は、反射音の影響を抑えて確実に音源方向を検出できるという効果がある。

なお、上述した第１及び第２の実施の形態において、制御装置が音源方向検出装置を備えるように構成した。しかしながら、音源方向検出装置をカメラの内部に直接取り付けるようにしてもよい。こうすることで、カメラ単体で、音源方向を検出し、話者に対してカメラを向けることが可能である。また、音源方向検出装置を制御装置の外部に備えるようにしてもよい。さらに、音源方向検出装置を構成する各部をソフトウェアプログラムで置き換えて構成してもよい。そして、所定のサイトからアップデートプログラムをインストールするようにすれば手軽に機能を向上させることができる。

本発明の第１の実施の形態におけるビデオ会議システムの外観例を示す構成図である。 本発明の第１の実施の形態におけるビデオ会議システムの設置例を示す構成図である。 本発明の第１の実施の形態におけるビデオ会議システムの内部構成例を示すブロック図である。 本発明の第１の実施の形態における音源方向検出処理の例を示すフローチャートである。 本発明の第１の実施の形態におけるヒストグラムの表示例を示す説明図である。 本発明の第１の実施の形態における高い周波数帯域の位相の影響を少なくするヒストグラムの表示例を示す説明図である。 本発明の第２の実施の形態におけるビデオ会議システムの内部構成例を示すブロック図である。 従来のフレーム毎に算出されるヒストグラムの表示例を示す説明図である。 本発明の第２の実施の形態における音源方向検出処理の例を示すフローチャートである。 本発明の第２の実施の形態におけるヒストグラムの表示例を示す説明図である。 本発明の第２の実施の形態における反射音の影響の例を示す説明図である。 従来の音源方向を検出する処理の例を示す説明図である。 従来のヒストグラムによる音源方向の検出処理の例を示す説明図である。

符号の説明

１…カメラ、１ａ…第１のマイク、１ｂ…第２のマイク、１ｃ…レンズ部、１ｄ…駆動部、２…制御装置、３…無指向性マイク、４…ディスプレイ、１０…ビデオ会議システム、１２…机、１３…会議室内、１５…インターネット、１６…制御部、２０…音源方向検出装置、２１…周波数分解部、２２…誤差範囲決定部、２３…度数分散部、２４…度数加算部、２５…音源方向検出部、２６…位相テーブル、４０…音源方向検出装置、４１…度数加算部、４２…度数加算値平滑部、４３…平滑度数加算値保存部

Claims (8)

1. 音源からの音声を集音し、音声フレームを生成する複数のマイクロホンと、
   前記音声フレームを周波数成分に分解する周波数分解部と、
   前記音声と共に集音されたノイズの影響を位相に対する誤差範囲として決定する誤差範囲決定部と、
   前記誤差範囲決定部によって決定された前記誤差範囲に基づいて、前記周波数分解部によって分解された周波数成分毎の前記音声のパワーに対応する度数を分散する度数分散部と、
   前記度数に前記周波数成分が高くなるにつれて値を大きくする重み付けを行って、前記度数分散部によって分散された前記度数を加算する度数加算部と、
   前記度数加算部によって加算された加算値のうち、最も大きい加算値が位置する位相に基づいて、前記音源の方向を検出する音源方向検出部と、を備える
   音源方向検出装置。
2. 複数のマイクロホンが音源から集音する音声から生成した音声フレームを周波数成分に分解するステップと、
   前記音源の周囲に生じるノイズの影響を誤差範囲として決定するステップと、
   決定された前記誤差範囲に基づいて、分解された周波数成分から求まる度数を分散するステップと、
   前記度数に前記周波数成分が高くなるにつれて値を大きくする重み付けを行って、分散された前記度数を加算するステップと、
   加算された加算値のうち、最も大きい加算値が位置する位相を、前記音源の方向として検出するステップと、を含む
   音源方向検出方法。
3. 話者を撮像する撮像部と、
   音源からの音声を集音し、音声フレームを生成する複数のマイクロホンと、
   前記音声フレームを周波数成分に分解する周波数分解部と、
   前記音源の周囲に生じるノイズの影響を誤差範囲として決定する誤差範囲決定部と、
   前記誤差範囲決定部によって決定された前記誤差範囲に基づいて、前記周波数分解部によって分解された周波数成分から求まる度数を分散する度数分散部と、
   前記度数に前記周波数成分が高くなるにつれて値を大きくする重み付けを行って、前記度数分散部によって分散された前記度数を加算する度数加算部と、
   前記度数加算部によって加算された加算値のうち、最も大きい加算値が位置する位相を、前記音源の方向として検出する音源方向検出部と、を備える
   音源方向検出カメラ。
4. 音源からの音声を集音し、第１の音声フレームを生成する複数のマイクロホンと、
   前記音声フレームを周波数成分に分解する周波数分解部と、
   前記周波数分解部によって分解された周波数成分毎に定まる度数を加算する度数加算部と、
   前記度数加算部によって加算された加算値のうち、最も大きい加算値が位置する位相に基づいて、前記音源の方向を検出する音源方向検出部と、
   前記度数加算部によって加算された度数を平滑化する度数加算値平滑部と、
   前記平滑化された度数を保存する平滑度数加算値保存部と、を備え、
   前記度数加算部は、前記平滑度数加算値保存部から読み出した前記第１の音声フレームが平滑化された度数と、前記第１の音声フレームに連続して集音される音声から前記複数のマイクロホンによって生成される第２の音声フレームの周波数成分毎に定まる度数の加算値に対して、前記音源の方向の精度を高める信頼度係数を乗ずる重み付けを行う
   音源方向検出装置。
5. 請求項４記載の音源方向検出装置において、
   前記信頼度係数は、前記第１の音声フレームによって生成されるヒストグラムに比較して、前記第１の音声フレームに連続して集音される音声から前記複数のマイクロホンによって生成される第２の音声フレームがどれだけ信頼できるかを示す係数である
   音源方向検出装置。
6. 請求項４又は５記載の音源方向検出装置において、
   前記度数加算部は、前記複数のマイクロホンが集音したそれぞれの前記音声のパワー比が大きい周波数成分の音声は、加算する度数を少なくする
   音源方向検出装置。
7. 複数のマイクロホンが音源から集音する音声から生成した第１の音声フレームを周波数成分に分解するステップと、
   分解された周波数成分毎に定まる度数を加算するステップと、
   加算された加算値のうち、最も大きい加算値が位置する位相に基づいて、前記音源の方向を検出するステップと、
   加算された度数を平滑化するステップと、
   前記平滑化された度数を保存するステップと、
   前記第１の音声フレームが平滑化された度数と、前記第１の音声フレームに連続して集音される音声から前記複数のマイクロホンによって生成される第２の音声フレームの周波数成分毎に定まる度数の加算値に対して、前記音源の方向の精度を高める信頼度係数を乗ずる重み付けを行うステップと、を含む
   音源方向検出方法。
8. 話者を撮像する撮像部と、
   音源からの音声を集音し、第１の音声フレームを生成する複数のマイクロホンと、
   前記第１の音声フレームを周波数成分に分解する周波数分解部と、
   前記周波数分解部によって分解された周波数成分毎に定まる度数を加算する度数加算部と、
   前記度数加算部によって加算された加算値のうち、最も大きい加算値が位置する位相に基づいて、前記音源の方向を検出する音源方向検出部と、
   前記度数加算部によって加算された度数を平滑化する度数加算値平滑部と、
   前記平滑化された度数を保存する平滑度数加算値保存部と、を備え、
   前記度数加算部は、前記平滑度数加算値保存部から読み出した前記第１の音声フレームが平滑化された度数と、前記第１の音声フレームに連続して集音される音声から前記複数のマイクロホンによって生成される第２の音声フレームの周波数成分毎に定まる度数の加算値に対して、前記音源の方向の精度を高める信頼度係数を乗ずる重み付けを行う
   音源方向検出カメラ。

Images