JP6590152B2 - 情報処理装置、会議システムおよび情報処理装置の制御方法 - Google Patents

Description

本発明は、情報処理装置、会議システムおよび情報処理装置の制御方法に関する。

近年、インターネット等のネットワークを介して遠隔地（拠点）に設置された端末装置（会議端末ともいう）を接続し、遠隔会議（テレビ会議、ビデオ会議ともいう）を行う会議システム（遠隔会議システム、テレビ会議システム、ビデオ会議システムともいう）が普及している。

この会議システムでの会議端末は、各拠点の会議室等に設置され、相手先の会議端末との間で会議出席者の画像や音声をやり取りすることで遠隔会議を行う。具体的には、会議端末の各々は、遠隔会議に出席する会議出席者をカメラで撮像するとともに会議出席者の音声をマイクで集音し、相手先の会議端末に画像データや音声データを送信する一方で、相手先の会議端末から送信された画像データおよび音声データを受信し、受信した画像データを用いた会議画面を表示部（モニタ）に表示出力するとともに音声データをスピーカから音出力する。なお、本明細書では、「音声」は人の声に限るものではなく、会議端末から発生される呼び出し音などの機械音も含むものとする。

会議端末のマイクとして、音声を入力するためのマイクが複数配列されてなるマイクアレイを用いることが知られている。そして、拠点間での円滑な会話を実現するために、マイクアレイを構成する各マイクに届いた音源の時間差に基づいて、音声が入力された方向を特定すること（音源方向検知機能、音源方向検知処理という）により、会議参加者のうち実際に発話している参加者（発話者という）を検知して、発話者をカメラで撮像する機能（話者追尾機能という）を備えるものが知られている。

例えば、特許文献１には、同一音源からの音が複数のマイクに到達するときの時間差を利用して、音源位置が求められるようするとともに、求めた音源位置に基づいて、音源の方向へカメラの向きとズーム量を制御する装置が開示されている。

ところで、会議端末のカメラ、マイク、スピーカが会議端末の本体（本体部、装置本体ともいう）に一体で設けられている場合、カメラにより会議参加者を広く撮像するために、会議端末は、会議参加者の視線が集まるモニタの付近に設置されることが多い。しかしながら、マイクが会議端末の本体と一体型である場合、マイクがモニタに近い位置にあることになり、モニタから遠い位置にいる会議参加者からの音声が拾いにくくなってしまう。

これに対し、マイクを会議端末の本体とは別体のマイクユニット（音声入力ユニットともいう）として構成することが提案されている。マイクを別体のマイクユニットとして構成し、会議端末の本体に対して、有線または無線によりマイクユニットを接続することで、マイクユニットは、モニタから離れた所望の位置（例えば、会議参加者の中央位置）に配置することができる。よって、どの会議参加者からの音声も拾えるようにすることが可能となる。

マイクアレイが本体と一体型である会議端末の場合には、話者追尾機能を音源方向検知機能により好適に実行することが可能であったが、マイクアレイを会議端末の本体とは別体のマイクユニットとして構成して、有線または無線による接続とする場合、マイクユニットの配置の自由度が高くなる一方で、話者追尾機能の実現のために、マイクユニットを本体に対して所定の位置関係に配置する必要があり、使用環境に応じて毎回異なる位置や角度でマイクユニットを配置すると、話者追尾を正しく実行できないことがあった。

例えば、特許文献１に記載の技術では、カメラを載置した回転台の０°方向と２つのマイクを結ぶ線とが平行であるように設置する必要があり、移動可能範囲も平行移動の範囲内に制限されており、平行配置以外の角度を持った配置にするためには、予め角度を測定しておく必要があった。

そこで本発明は、音声入力ユニットを装置本体に対して任意の角度で配置しても、話者追尾を実現することができる情報処理装置を提供することを目的とする。

かかる目的を達成するため、本発明に係る情報処理装置は、複数の音声入力部を備えてなる音声入力手段を有する第１の装置と、音声を出力する音声出力手段と、所定範囲を撮像する撮像手段と、前記複数の音声入力部へ入力される音声に基づいて、前記音声入力手段への音声の入力方向を検知する音源方向検知手段と、前記音源方向検知手段の検知結果に応じて、前記撮像手段による撮像範囲を制御する撮像範囲制御手段と、を有する第２の装置と、を備え、前記音源方向検知手段は、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置の前記第２の装置に対する相対的な位置情報を検知し、前記撮像範囲制御手段は、前記検知結果および前記位置情報に基づいて、前記撮像範囲を制御し、前記第２の装置に対する前記第１の装置の基準角度が予め設定されており、前記基準角度は、前記第１の装置を基準位置に設置したときに前記音声出力手段から出力した所定の音を、前記音声入力手段に入力させ、前記所定の音の入力に対して、音源方向検知処理を実行した際の前記所定の音の検出角度とし、前記音源方向検知処理は、前記音声入力手段を構成する前記複数の音声入力部に届く前記所定の音の時間差に基づいて、前記所定の音が入力された方向を特定するものとし、前記音源方向検知手段は、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置が設置された角度となる、前記第１の装置の前記第２の装置に対する相対的な設置角度を検知するとともに、前記設置角度と前記基準角度とのずれ量に基づいてオフセットすることにより、前記基準角度を補正し、前記撮像範囲制御手段は、補正後の前記基準角度を用いて前記撮像範囲を制御するものである。

本発明によれば、音声入力ユニットを装置本体に対して任意の角度で配置しても、話者追尾を実現することができる。

テレビ会議システムの構成例を示すブロック図である。 会議端末の主要内部構成例（１）を示すブロック図である。 音源方向検知処理の説明図である。 会議端末の主要内部構成例（２）を示すブロック図である。 マイクユニットを基準の配置位置（角度）としたときの、カメラによる撮像範囲の説明図である。 ある拠点の様子を示す説明図であって、（Ａ）マイクユニットを基準の配置角度で設置した例、（Ｂ）マイクユニットが基準の配置角度で設置されない例、（Ｃ）マイクユニットの配置角度を補正した様子を示す例、である。 カメラによる話者追尾の説明図であって、（Ａ）０°方向のオフセットを行わない比較例、（Ｂ）０°方向のオフセットを行う実施例の説明図である。 話者追尾制御の一例を示すフローチャートである。

以下、本発明に係る構成を図１から図８に示す実施の形態に基づいて詳細に説明する。

（会議システム構成）
本発明に係る会議システムの一実施形態であるテレビ会議システムの構成について説明する。

図１は、テレビ会議システム１の構成例を示すブロック図である。図１に示すように、テレビ会議システム１は、サーバ３と複数の会議端末５（５−１，５−２，５−３，５−４・・・）とを備え、これらがインターネット等のネットワークＮを介して接続されて構成される。サーバ３としては、サーバコンピュータやワークステーション等を利用することができ、会議端末５としては、専用の会議端末装置（情報処理装置）のほか、パーソナルコンピュータ等の汎用の情報処理装置を利用することができる。

サーバ３は、個々の会議端末５との間で通信接続が確立しているか否かを監視する処理や、会議開始時においてテレビ会議に参加する拠点（参加拠点）に設置された会議端末５を呼び出す処理、呼び出しに応答して通信接続が確立した参加拠点の会議端末５からテレビ会議の間に送信される画像データや音声データを相手先（他の参加拠点）の会議端末５に転送する処理等を行う。

会議端末５の各々は、遠隔地にある拠点の会議室等に設置され、テレビ会議の出席者によって操作される。テレビ会議中の各参加拠点の会議端末５は、後述するカメラ１１２によって撮像した会議出席者の画像データやマイクアレイ７１によって集音した会議出席者の音声データをサーバ３に送信する一方、他の参加拠点の会議端末５から送信されてサーバ３によって転送された画像データや音声データを受信し、ディスプレイ１２０に会議画面として表示出力するとともにスピーカ１１５から出力（放音）する。

例えば、このテレビ会議システム１において図１に示す３台の会議端末５−１〜５−３が参加するテレビ会議では、会議端末５−１から送信された画像データや音声データはサーバ３の制御によって相手先である会議端末５−２，５−３に転送される一方、会議端末５−４には転送されない。同様に、会議端末５−２，５−３から送信された画像データや音声データはサーバ３の制御によって各々の相手先である会議端末５−１，５−３や会議端末５−１，５−２に転送され、会議端末５−４には転送されない。このようにして、テレビ会議システム１では、サーバ３との通信接続が確立された２台以上の会議端末５が設置された参加拠点間でテレビ会議が行われる。

（会議端末構成（１））
図２は、会議端末５の主要内部構成例（１）を示すブロック図である。図２に示されているように、会議端末５は、マイクユニット７０を会議端末５の本体部５０と別体としている。図２の例では、マイクユニット７０は、本体部５０とはケーブル７０ｃを介して有線接続される。

会議端末５の本体部５０は、会議端末５の全体の動作を制御するＣＰＵ（Central Processing Unit）１０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、会議端末５の宛先を選択する場合などに操作される操作部１０８、会議端末５の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、ネットワークＮを利用してデータ伝送をするためのネットワークＩ／Ｆ（Interface）１１１を備えている。

操作部１０８は、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力データをＣＰＵ１０１に出力する。

ネットワークＩ／Ｆ１１１は、外部（例えばサーバ３）とのデータ通信を行うためのものであり、ＬＡＮを経由してネットワークＮと接続し、相手先の会議端末５との画像データや音声データ等の送受を、サーバ３を介して行う。このネットワークＩ／Ｆ１１１は、１０Ｂａｓｅ−Ｔ，１００Ｂａｓｅ−ＴＸ，１０００Ｂａｓｅ−Ｔ等に対応した制御を行いイーサネット（登録商標）に接続するもの（有線ＬＡＮ）や、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎに対応した制御を行うもの（無線ＬＡＮ）等、接続態様に応じたものを適宜採用して用いることができる。

また、会議端末５の本体部５０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイクユニット７０のマイクアレイ７１及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等が用いられる。

カメラ１１２は、会議出席者の画像を入力するためのものであり、会議室内の様子を撮像し、生成した画像データを随時、ＣＰＵ１０１に出力する。

スピーカ１１５は、ＣＰＵ１０１から入力される音声データを出力する音声出力部である。

外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ（Universal Serial Bus）ケーブル等によって、外付けカメラ、外付けスピーカ等の外部機器がそれぞれ接続可能である。例えば、外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが動作するようにしてもよい。同じく、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のスピーカ１１５に優先して、外付けスピーカを駆動させるようにしてもよい。

なお、記録メディア１０６は、会議端末５に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ１０４ではなくＲＯＭ１０２に記憶させるようにしてもよい。

ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示するＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等によって構成された表示部であり、ＣＰＵ１０１から入力される画像データを表示した会議画面等の各種画面を表示出力する。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＤＶＩ（Digital Video Interactive）信号用のケーブルであってもよい。

マイクユニット７０は、本体部５０とは別体として構成される。マイクユニット７０は、会議出席者の音声を入力するマイク７２を複数備えたマイクアレイ７１を有する音声入力ユニットであって、マイクアレイ７１へ入力される会議出席者の音声データを、ケーブル７０ｃを介して本体部５０へ送信する。

マイクアレイ７１は、会議出席者の音声を入力するためのマイク７２が複数配列されてなる音声入力手段であって、会議出席者の音声を集音する。なお、本実施形態では、マイクアレイ７１が４つのマイク７２ａ〜７２ｄを備えている例を示しているが、マイク数はこれに限られるものではない。

ＣＰＵ１０１は、カメラ１１２から入力される画像データやマイクアレイ７１から入力される音声データ、ネットワークＩ／Ｆ１１１から入力される相手先の会議端末５からの画像データや音声データ、操作部１０８から入力される入力データ、フラッシュメモリ１０４等に記録されるプログラムやデータ等をもとに、会議端末５を構成する各部への指示やデータの転送等を行って会議端末５の動作を統括的に制御する。例えば、ＣＰＵ１０１は、サーバ３からの呼び出しを受けてサーバ３との通信接続が確立した後、カメラ１１２から入力される画像データやマイクアレイ７１から入力される音声データをサーバ３に送信する処理と、サーバ３から転送される相手先の会議端末５からの画像データや音声データを受信する処理とを並行して繰り返し行う。

具体的には、ＣＰＵ１０１は、テレビ会議中にカメラ１１２から随時入力される画像データ、およびマイクアレイ７１から随時入力される音声データをエンコードしてネットワークＩ／Ｆ１１１に出力することで、これらをサーバ３に送信する処理を行う。ＣＰＵ１０１は、例えば、Ｈ.２６４／ＡＶＣ、Ｈ.２６４／ＳＶＣ等の規格によるコーデックを行う。

また、ＣＰＵ１０１は、これと並行し、相手先の会議端末５から送信されてサーバ３によって転送された画像データおよび音声データをネットワークＩ／Ｆ１１１を介して受信する。そして、ＣＰＵ１０１は、受信した画像データおよび音声データをデコードしてディスプレイ１２０、スピーカ１１５に送信するコーデック機能を有している。これにより、相手先の会議端末５で入力された画像および音声の再生を行う。

また、ＣＰＵ１０１は、マイクアレイ７１の各マイク７２からの入力に基づいて、音源方向検知処理を実行する音源方向検知部１３０を備えている。

図３は、音源方向検知部１３０が実行する音源方向検知処理の説明図である。音源方向検知処理は、マイクアレイ７１を構成する各マイク７２に届く音源の時間差に基づいて、音声が入力された方向を特定するものである。すなわち、例えば、図３に示すように、４つのマイク（マイク１〜マイク４）に対して、音源である人物Ａから音声が入力された場合、マイク１とマイク２の到達時間差（Δｔ１）、マイク１とマイク３の到達時間差（Δｔ２）、マイク１とマイク４の到達時間差（Δｔ３）、に基づいて音声の入力方向を検知することができる。音源方向検知処理としては、公知または新規の方法を適用することができる。

なお、本実施形態では、音源方向検知処理を本体部５０のＣＰＵ１０１にて実行する例を説明したが、マイクユニット７０が音源方向検知処理を実行する音源方向処理部（音声処理モジュール）を備え、検知結果をＣＰＵ１０１に通知するようにしてもよい。

また、ＣＰＵ１０１は、音源方向検知部１３０での検知結果に基づいて、カメラ１１２の撮像範囲を制御する撮像範囲制御部１３１を備えている。カメラ１１２は、例えば、撮像方向が旋回可能に設けられており、検出された発話者の方向に基づいて、ＣＰＵ１０１により旋回が制御される。また、カメラ１１２を、広角レンズを用いて構成し、その視野範囲（画角）内に会議出席者の全員が含まれるようにして、検出された発話者の方向に基づいて、デジタル処理により撮像範囲を切り替える制御をするものであってもよい。

（会議端末構成（２））
図４は、会議端末５の主要内部構成例（２）を示すブロック図である。図４に示されているように、会議端末５は、マイクユニット７０を会議端末５の本体部５０と別体としている。図４の例では、マイクユニット７０は、本体部５０とは無線通信で接続される。

マイクユニット７０および本体部５０は、それぞれ無線通信部７３、無線通信部１１４を備えており、無線通信部７３から無線通信部１１４へ音声データが送信される。他の構成については、図２と同様であるので、説明を省略する。なお、マイクユニット７０と本体部５０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣなどの公知の近距離無線通信方式、または新規の近距離無線通信方式を用いて無線通信されるものであればよく、無線通信方式は、特に限られるものではない。

（話者追尾制御）
図５は、マイクユニット７０を基準の配置位置（角度）としたときの、会議端末５の本体部５０のカメラ１１２による撮像範囲の説明図である。

図５は、会議端末５の本体部５０がテーブル９０の一端側に配置されるとともに、これと無線接続されるマイクユニット７０がテーブル９０の中央部に配置された様子を示す上面図である。

なお、マイクユニット７０の基準位置は、例えば、マイクユニット７０に本体部５０側へ合わせる基準（目印）が設けてあり、これを本体部５０の正面に向けて設置した場合を、基準の配置角度（０°）とするものである。また、有線接続されるマイクユニット７０の場合は、例えば、ケーブル７０ｃを本体部５０から真っ直ぐ正面に引き出した際の設置位置が、通常、基準の配置角度（０°）となる。

音源方向検知部１３０は、マイクユニット７０の各マイク７２に入力される音声に基づいて、音源方向検知処理を行うことで、マイクユニット７０に対する音源（話者）の角度を検出する。そして、撮像範囲制御部１３１は、音源方向検知部１３０で検出された角度に応じて、カメラ１１２の向き（または切り出す範囲）および焦点制御する。なお、本実施形態では、検出角度が４つのフォーカスエリアのいずれであるかを検出する例を説明するが、音源方向検知部１３０で検出する角度の区分数はこれに限られるものではなく、例えば、検出可能な区分数を増やすことで、より精度よく話者追尾が可能であることは勿論である。

図５では、例えば、検出角度に応じて、以下の４つのフォーカスエリアを設定し、撮像範囲制御部１３１は、このフォーカスエリアにカメラ１１２を向けるとともに、焦点を合わせる。
第１フォーカスエリア（左エリアへのフォーカス）：４５°〜１３５°
第２フォーカスエリア（正面へのフォーカス）：１３５°〜２２５°
第３フォーカスエリア（右エリアへのフォーカス）：２２５°〜３１５°
第４フォーカスエリア（フォーカス無し）：３１５°〜４５°

しかしながら、図５では、マイクユニット７０が基準の配置角度で設置されることを前提としており、マイクユニット７０の配置位置、配置角度がずれていると、正しく話者追尾できない場合があった。

そこで、本実施形態に係る情報処理装置（会議端末５）は、複数の音声入力部（マイク７２）を備えてなる音声入力手段（マイクアレイ７１）を有する第１の装置（マイクユニット７０）と、音声を出力する音声出力手段（スピーカ１１５）と、所定範囲を撮像する撮像手段（カメラ１１２）と、複数の音声入力部へ入力される音声に基づいて、音声入力手段への音声の入力方向を検知する音源方向検知手段（音源方向検知部１３０）と、音源方向検知手段の検知結果に応じて、撮像手段による撮像範囲を制御する撮像範囲制御手段（撮像範囲制御部１３１）と、を有する第２の装置（本体部５０）と、を備え、音源方向検知手段は、音声出力手段から出力された音声による音声入力手段への音声入力に基づいて、第１の装置の第２の装置に対する相対的な位置情報を検知し、撮像範囲制御手段は、検知結果および位置情報に基づいて、撮像範囲を制御するものである。なお、括弧内は実施形態での符号、適用例を示す。

すなわち、マイクユニット７０の本体部５０に対する配置角度を適宜検出して、検出した角度に基づいて補正制御を行うことにより、マイクユニット７０が任意の角度および任意の位置に設置された場合であっても、カメラ１１２による話者追尾制御を正確に実行することを可能とするものである。

本実施形態に係る会議端末５による話者追尾制御について、図６を参照して説明する。図６は、ある拠点の様子を示す説明図であって、テーブル９０の一端側に会議端末５の本体部５０が配置されるとともに、テーブル９０の中央部に、マイクユニット７０を配置されている例である。また、テーブル９０の周囲には、会議の参加者Ａ〜Ｆがいる様子を示している。

図６（Ａ）は、マイクユニット７０を基準の配置角度（０°）で設置した様子を示している。本実施形態では、マイクユニット７０の０°方向を本体部５０の方向とし、時計回りに角度を振った例を示している。基準の配置角度は、マイクユニット７０と本体部５０との間で予め設定されるものであればよく、図６（Ａ）の例に限られるものではないのは勿論である。

そして、本実施形態に係る会議端末５は、マイクユニット７０が基準の配置位置に設置されない場合も話者追尾を可能とするものである。このため、例えば、図６（Ｂ）に示すように、マイクユニット７０の０°方向が、本体部５０の方向を向けられずに設置された場合を考える。図６（Ｂ）では、本体部５０の方向は、マイクユニット７０の９０°方向となっている。

図６（Ａ）に示す０°位置にマイクユニット７０が正しく設置される場合、マイクアレイ７１に入力される音源の方向を音源方向検知処理により検出し、検出角度に基づいてカメラ１１２を制御することで、話者追尾が可能となる。

しかしながら、図６（Ｂ）のようにマイクユニット７０が基準角度以外の角度で設置されている場合、音源方向検知部１３０での検出結果が実際の音源方向とは異なることとなる。そして、撮像範囲制御部１３１は、検出角度に基づいてカメラ１１２を制御するが、撮像範囲制御部１３１は、マイクユニット７０と本体部５０との間で予め設定された基準角度に基づいて、撮像範囲を制御するため、話者追尾制御に失敗してしまうこととなる。

そこで、本実施形態に係る会議端末５は、先ず、本体部５０のスピーカ１１５から出力した所定の音を、マイクアレイ７１に入力させて、この入力に対して、音源方向検知処理を実行した際の音源の検出角度（すなわち、マイクアレイ７１に対する本体部５０の方向）を、基準角度（０°）として、オフセットするものである。

すなわち、図６（Ｃ）に示すように、実際は、図６（Ｂ）のように配置されたマイクユニット７０の角度（本体部５０に９０°が向いている状態）を、この角度（９０°）を０°としてオフセットし、時計周りに角度を振るものである。そして、以後、このオフセットされた０°方向を基準として、参加者Ａ〜Ｆからの音声を検出するものである。

図７は、会議端末５のカメラ１１２による話者追尾の説明図である。図７（Ａ）は、０°方向のオフセットを行わない比較例、図７（Ｂ）は、０°方向のオフセットを行う実施例の説明図である。

例えば、図７（Ａ）に示すように、音源方向検知部１３０での検出結果が、１８０°〜２２５°の範囲であった場合、実際の発話者は参加者Ｂであるが、オフセット前の角度では、１８０°〜２２５°は９０°分ずれた位置になっているため、このままの位置情報に基づいて、撮像範囲を制御すると、実際に発話者がいる位置とは異なる範囲をフォーカスエリアとしてしまう。

一方、図６（Ｃ）にて説明したように、０°方向をオフセットした後の角度を用いることで、１８０°〜２２５°は、範囲を９０°〜１３５°の範囲として検出することが可能になり、検出した位置情報に基づいて、正しく、実際の発話者のいる範囲をフォーカスエリアとすることができる。

ここまで説明した話者追尾制御について、図８のフローチャートを参照して説明する。図８は、本実施形態に係る会議端末５による話者追尾制御の一例を示すフローチャートである。

先ず、会議端末５の会議開始ボタンの押下や、相手先の会議端末５からの会議呼び出しにより、会議が開始する（Ｓ１０１）。

会議の開始時において、会議端末５は、スピーカ１１５から相手先の会議端末５への発信音、または、相手先の会議端末５からの受信音を出力させる（Ｓ１０２）。この発信音は、例えば、会議開始時に鳴らされる会議端末５の呼び出し音である。

そして、スピーカ１１５から出力された発信音もしくは受信音が、マイクユニット７０のマイクアレイ７１の各マイク７２に入力されると（Ｓ１０３）、音源方向検知部１３０は、音源方向検知処理により音源の方向（すなわち、マイクユニット７０に対する本体部５０のスピーカ１１５の方向（角度））を検出する（Ｓ１０４）。

次いで、音源方向検知部１３０は、検出された角度が、規定の基準角度（０°）からどれだけずれた方向から音声が入力されたかを算出する（Ｓ１０５）。

そして、Ｓ１０５で算出された角度を、話者追尾制御における基準角度とする。すなわち、Ｓ１０５で算出された角度を用いて配置したマイクユニット７０の０°位置をオフセットする（Ｓ１０６）。

Ｓ１０１〜Ｓ１０６の処理により、会議開始時のマイクユニット７０の設置角度を補正した後、実際の会議が開始する。

会議の開始後は、マイクユニット７０は、何らかの音声入力を待つ状態である（Ｓ１０７）。マイクユニット７０への音声入力があった場合、この音声入力が会議端末５のスピーカ１１５から出力された音声（すなわち、接続先の会議端末５で発せられた音声）であるのか、自拠点で発せられた音声（すなわち、周囲の会議参加者の発話）であるのかを判断する（Ｓ１０８）。

このＳ１０８の判断は、判断手段としてのＣＰＵ１０１で判断する。例えば、音声データを相手先の会議端末５から受信して、該音声データに基づく音声を出力している際の、マイクユニット７０への入力音声であるかを判断することで、会議端末５のスピーカ１１５から出力された音声であるのか、会議参加者の発話であるのかを判断する。また、例えば、スピーカ１１５からの音声出力中に実行される所定の処理（エコーキャンセラ処理など）が実行中であるか否かに基づいて判断するようにしてもよい。

マイクユニット７０への音声入力が会議端末５のスピーカ１１５から出力された音声であった場合（Ｓ１０８：ＹＥＳ）、音源方向検知部１３０は、再度、音源方向検知処理により音源の方向を検出する（Ｓ１０９：Ｓ１０４と同処理）。

この結果、検出されたマイクユニット７０に対する本体部５０の方向が前回検出した値と同じ方向であるかを判断する（Ｓ１１０）。同じ方向であった場合（Ｓ１１０：ＹＥＳ）は、マイクユニット７０の配置位置の変化がないことを示しているので、新たに補正値を算出することはせずに、再び何らかのマイクユニット７０への音声入力を待つ処理となる（Ｓ１０７に戻る）。

一方、前回検出した値と異なる方向であった場合（Ｓ１１０：ＮＯ）は、会議中にマイクユニット７０の配置位置の変化があったことを示しているので、Ｓ１０５へ戻り、再度、検出された角度と、基準角度とのずれを算出し、算出結果に基づいて、マイクユニット７０の０°位置をオフセットする（Ｓ１０５，Ｓ１０６）。そして、再び何らかのマイクユニット７０への音声入力を待つ（Ｓ１０７）。

このように、会議中にスピーカ１１５から出力された音声がマイクユニット７０へ入力された際に、角度の算出を適宜行うようにすることで、会議中にマイクユニット７０の配置位置が変更になった場合もその変化に対応することができる。また、Ｓ１１０の判断は、スピーカ１１５から出力された音声がマイクユニット７０へ入力されるたびに実行せず、所定の時間の経過を追加の条件として実行するようにしてもよい。

これに対し、Ｓ１０８において、マイクユニット７０への音声入力が自拠点で発せられた音声であった場合（Ｓ１０８：ＮＯ）は、Ｓ１０６において、オフセットされた０°位置に基づいて、マイクユニット７０へ入力された音源方向（すなわち、発話者の方向）を検出する（Ｓ１１１）。

そして、撮像範囲制御部１３１は、検出された発話者の方向に基づいて、発話者の方向にカメラ１１２を追尾させる制御を行って、撮像する（Ｓ１１２）。会議の終了処理（Ｓ１１３：ＹＥＳ）がなされるまでは、Ｓ１０７の処理に戻って、マイクユニット７０への音声入力を待つ（Ｓ１１３：ＮＯ）。

なお、Ｓ１０２の処理では、発信音または受信音に基づいて、会議開始時のマイクユニット７０と本体部５０との位置関係を検出しているが、必ずしも発信音または受信音に基づいて、会議開始時の位置関係を検出する必要はない。すなわち、本体部５０から何らかの音を出力して、これに基づいて、会議開始時に位置関係を検出するものであればよいが、発信音や受信音がなっている間に、マイクユニット７０の近傍で、発話者から発話されることは少ないと考えられるため、発信音や受信音に基づいて、会議開始時にマイクユニット７０の位置検出を行うことが好適である。

以上説明した本実施形態に係る会議端末によれば、音声入力ユニットを装置本体に対して任意の角度で配置しても、話者追尾を実現することができる。

すなわち、マイクアレイ７１を備えたマイクユニット７０が、スピーカ１１５とカメラ１１２を備えた会議端末５の本体部５０とは、別体として設けられ、有線又は無線により接続される構成においても、マイクユニット７０が、本体部５０のスピーカ１１５から出力した音をマイクアレイ７１から入力した際の音源方向検知結果に基づいて、マイクユニット７０（マイクアレイ７１）と本体部５０との位置関係を検出し、検出した角度に基づいて、マイクユニット７０の配置角度をオフセットすることで、話者追尾機能を有する会議端末５のマイクユニット７０において、マイクユニット７０を本体部５０に対し、配置位置、配置角度の制限なく、任意の角度、位置で配置することが可能となる。換言すれば、任意の位置にマイクユニット７０を配置した場合であっても、話者追尾機能を正確に実現することができる。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

例えば、カメラ１１２の画像データに対し、人物認識技術を用いて画像データに含まれる人物（話者）を検知して、検出した話者に合わせて、カメラ１１２をズームアップ制御することも好ましい。なお、人物認識技術は、公知または新規の技術によればよく、特に限られるものではない。

１ テレビ会議システム
３ サーバ
５ 会議端末
５０ 本体部
７０ マイクユニット
７０ｃ ケーブル
７１ マイクアレイ
７２，７２ａ〜７２ｄ マイク
７３ 無線通信部
９０ テーブル
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ フラッシュメモリ
１０５ ＳＳＤ
１０６ 記録メディア
１０７ メディアドライブ
１０８ 操作部
１０９ 電源スイッチ
１１０ バスライン
１１１ ネットワークＩ／Ｆ
１１２ カメラ
１１３ 撮像素子Ｉ／Ｆ
１１４ 無線通信部
１１５ スピーカ
１１６ 音声入出力Ｉ／Ｆ
１１７ ディスプレイＩ／Ｆ
１１８ 外部機器接続Ｉ／Ｆ
１２０ ディスプレイ
１２０ｃ ケーブル
１３０ 音源方向検知部
１３１ 撮像範囲制御部
Ｎ ネットワーク

特開平１０−２２７８４９号公報

Claims (9)

1. 複数の音声入力部を備えてなる音声入力手段を有する第１の装置と、
   音声を出力する音声出力手段と、
   所定範囲を撮像する撮像手段と、
   前記複数の音声入力部へ入力される音声に基づいて、前記音声入力手段への音声の入力方向を検知する音源方向検知手段と、
   前記音源方向検知手段の検知結果に応じて、前記撮像手段による撮像範囲を制御する撮像範囲制御手段と、を有する第２の装置と、を備え、
   前記音源方向検知手段は、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置の前記第２の装置に対する相対的な位置情報を検知し、
   前記撮像範囲制御手段は、前記検知結果および前記位置情報に基づいて、前記撮像範囲を制御し、
   前記第２の装置に対する前記第１の装置の基準角度が予め設定されており、
   前記基準角度は、前記第１の装置を基準位置に設置したときに前記音声出力手段から出力した所定の音を、前記音声入力手段に入力させ、前記所定の音の入力に対して、音源方向検知処理を実行した際の前記所定の音の検出角度とし、
   前記音源方向検知処理は、前記音声入力手段を構成する前記複数の音声入力部に届く前記所定の音の時間差に基づいて、前記所定の音が入力された方向を特定するものとし、
   前記音源方向検知手段は、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置が設置された角度となる、前記第１の装置の前記第２の装置に対する相対的な設置角度を検知するとともに、前記設置角度と前記基準角度とのずれ量に基づいてオフセットすることにより、前記基準角度を補正し、
   前記撮像範囲制御手段は、補正後の前記基準角度を用いて前記撮像範囲を制御することを特徴とする情報処理装置。
2. 複数の音声入力部を備えてなる音声入力手段と、
   前記複数の音声入力部へ入力される音声に基づいて、前記音声入力手段への音声の入力方向を検知する音源方向検知手段と、を有する第１の装置と、
   音声を出力する音声出力手段と、
   所定範囲を撮像する撮像手段と、
   前記音源方向検知手段の検知結果に応じて、前記撮像手段による撮像範囲を制御する撮像範囲制御手段と、を有する第２の装置と、を備え、
   前記音源方向検知手段は、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置の前記第２の装置に対する相対的な位置情報を検知するとともに、該位置情報を前記第２の装置へ伝送し、
   前記撮像範囲制御手段は、前記検知結果および前記位置情報に基づいて、前記撮像範囲を制御し、
   前記第２の装置に対する前記第１の装置の基準角度が予め設定されており、
   前記基準角度は、前記第１の装置を基準位置に設置したときに前記音声出力手段から出力した所定の音を、前記音声入力手段に入力させ、前記所定の音の入力に対して、音源方向検知処理を実行した際の前記所定の音の検出角度とし、
   前記音源方向検知処理は、前記音声入力手段を構成する前記複数の音声入力部に届く前記所定の音の時間差に基づいて、前記所定の音が入力された方向を特定するものとし、
   前記音源方向検知手段は、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置が設置された角度となる、前記第１の装置の前記第２の装置に対する相対的な設置角度を検知するとともに、前記設置角度と前記基準角度とのずれ量に基づいてオフセットすることにより、前記基準角度を補正し、
   前記撮像範囲制御手段は、補正後の前記基準角度を用いて前記撮像範囲を制御することを特徴とする情報処理装置。
3. 前記音源方向検知手段は、当該情報処理装置が他の情報処理装置との通信開始時に、前記音声出力手段から出力され、前記音声入力手段に入力される所定音に基づいて、前記位置情報を検知することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記所定音は、当該情報処理装置が前記他の情報処理装置を呼び出す際の発信音、または、前記他の情報処理装置が当該情報処理装置を呼び出す際の受信音であることを特徴とする請求項３に記載の情報処理装置。
5. 前記第２の装置は、前記音声入力手段への音声入力が、前記音声出力手段から出力されたことによるものであるのか、その他のものであるのかを判断する判断手段を備えることを特徴とする請求項１から４までのいずれかに記載の情報処理装置。
6. 前記音源方向検知手段は、当該情報処理装置が他の情報処理装置との通信開始後も、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記位置情報を検知して、該位置情報を更新することを特徴とする請求項１から５までのいずれかに記載の情報処理装置。
7. 前記第１の装置と前記第２の装置が有線または無線により接続されることを特徴とする請求項１から６までのいずれかに記載の情報処理装置。
8. 複数の会議端末の少なくとも１つとして、請求項１から７までのいずれかに記載の情報処理装置を備え、前記会議端末の間で音声データおよび画像データの送受信を行うことを特徴とする会議システム。
9. 複数の音声入力部を備えてなる音声入力手段を有する第１の装置と、
   音声を出力する音声出力手段と、
   所定範囲を撮像する撮像手段と、を有する第２の装置と、を備えた情報処理装置の制御方法であって、
   前記複数の音声入力部へ入力される音声に基づいて、前記音声入力手段への音声の入力方向を検知する音源方向検知工程と、
   前記音源方向検知工程での検知結果に応じて、前記撮像手段による撮像範囲を制御する撮像範囲制御工程と、を有し、
   前記音源方向検知工程では、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置の前記第２の装置に対する相対的な位置情報を検知し、
   前記撮像範囲制御工程は、前記検知結果および前記位置情報に基づいて、前記撮像範囲を制御し、
   前記第２の装置に対する前記第１の装置の基準角度が予め設定されており、
   前記基準角度は、前記第１の装置を基準位置に設置したときに前記音声出力手段から出力した所定の音を、前記音声入力手段に入力させ、前記所定の音の入力に対して、音源方向検知処理を実行した際の前記所定の音の検出角度とし、
   前記音源方向検知処理は、前記音声入力手段を構成する前記複数の音声入力部に届く前記所定の音の時間差に基づいて、前記所定の音が入力された方向を特定するものとし、
   前記音源方向検知工程は、前記音声出力手段から出力された音声による前記音声入力手段への音声入力に基づいて、前記第１の装置が設置された角度となる、前記第１の装置の前記第２の装置に対する相対的な設置角度を検知するとともに、前記設置角度と前記基準角度とのずれ量に基づいてオフセットすることにより、前記基準角度を補正し、
   前記撮像範囲制御工程は、補正後の前記基準角度を用いて前記撮像範囲を制御すること
   することを特徴とする情報処理装置の制御方法。