JP7225735B2 - ビデオ会議システム、通信端末、及び通信端末のマイクロホンの制御方法 - Google Patents

Description

本願は、ビデオ会議システム、通信端末、及び通信端末のマイクロホンの制御方法に関する。

複数の遠隔地を結んで双方向の画像および音声による会議を行うビデオ会議システムが普及している。また、複数のマイクロホンの出力音声を信号処理し、所定の方向の集音の感度を高くする（集音の指向性を制御する）ことで、発言者の音声を高感度に集音し、周囲の不要な音の集音を抑制するビームフォーミング技術が知られている。

一方、ビデオ会議システムでは、ビデオ会議を実行する各拠点に配置された通信端末のうちの何れか１つの通信端末において、音が発生した領域（方向）に基づき、マイクロホンの集音の指向性を決定する技術が開示されている（例えば、特許文献１参照）。

しかしながら、特許文献１の技術では、ビデオ会議の参加者の周囲で大きな音が発生した際に、その音の発生源の方向にマイクロホンの集音の指向性を誤って決定する場合があった。

本発明は、上記の点に鑑みてなされたものであって、マイクロホンの集音の指向性を適切に決定することを課題とする。

開示の技術の一態様に係るビデオ会議システムは、複数の通信端末と、前記通信端末に画像を出力するカメラと、前記通信端末に音声を出力するマイクロホンと、を備え、ビデオ会議を実行するビデオ会議システムであって、前記通信端末は、前記画像から検出した前記ビデオ会議の参加者の視線を示す視線情報を蓄積する視線情報蓄積部と、蓄積された前記視線情報に基づき、前記マイクロホンの集音の指向性を決定する指向性決定部と、決定された前記指向性の情報を記憶する指向性情報記憶部と、記憶された前記指向性の情報を更新する指向性情報更新部と、を有し、前記指向性決定部は、前記指向性情報記憶部を参照して取得した前記指向性の情報に基づき、前記指向性を決定する。

本発明の一実施形態によれば、マイクロホンの集音の指向性を適切に決定することができる。

実施形態に係るビデオ会議システムの構成の一例を説明する図である。 実施形態に係る通信端末のハードウェア構成の一例を示すブロック図である。 第１の実施形態に係る通信端末の機能構成の一例を示すブロック図である。 参加者の視線の一例を説明する図である。 第１の実施形態に係る視線情報の一例を説明する図である。 第１の実施形態に係る時間に応じた視線変化の一例を説明する図である。 第１の実施形態に係る注目領域の一例を説明する図である。 第１の実施形態に係るサブパケットに含まれる情報の一例を説明する図である。 マイクロホンの集音の指向性について説明する図であり、（ａ）はビームフォーミングの集音方向を説明する図であり、（ｂ）は注目領域情報と集音方向との対応関係を説明する図である。 第１の実施形態に係る注目領域の検出処理の一例を示すフローチャートである。 第１の実施形態に係る指向性の制御処理の一例を示すフローチャートである。 第１の実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。 第１の実施形態に係るビデオ会議システムの効果の一例を説明する図であり、（ａ）は比較例に係る通信端末を用いるビデオ会議を説明する図であり、（ｂ）は第１の実施形態に係る通信端末を用いるビデオ会議を説明する図である。 第２の実施形態に係る通信端末の機能構成の一例を示すブロック図である。 第２の実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。 第３の実施形態に係る通信端末の機能構成の一例を示すブロック図である。 第３の実施形態に係る入力画面の一例を説明する図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態では、拠点Ａに設置された通信端末２Ａ、或いは２Ｂを例に説明する場合があるが、何れの拠点に設置された通信端末２も、説明に係る通信端末２Ａ、或いは２Ｂと同様の機能を有し、同様の動作を実行可能であるものとする。

＜実施形態に係るビデオ会議システムの構成＞
図１は、実施形態に係るビデオ会議システムの構成の一例を説明する図である。図１に示すように、拠点Ａに通信端末２Ａが設置され、拠点Ｂに通信端末２Ｂが設置されている。通信端末２Ａ及び２Ｂ（以下では、区別しない場合は、通信端末２という）は、インターネットやＬＡＮ（Local Area Network）等のネットワーク３を介してサーバ４と接続されている。但し、これに限定されるものではなく、ビデオ会議システム１に含まれる通信端末２の数（拠点の数）は任意に変更可能である。

サーバ４は、各通信端末２がサーバ４と接続しているか否かを監視し、ビデオ会議開始時における通信端末２Ａ及び２Ｂの呼び出し制御等のビデオ会議時に必要な制御を行う。

ビデオ会議時の通信端末２Ａ及び２Ｂは、自端末のデータ送信時は、サーバ４に対して画像データ及び音声データの少なくとも１つ（以下、画像・音声データという）を送信し、サーバ４は、相手側の他の通信端末２に対して画像・音声データを送信する。

一方、データ受信時は、サーバ４を介して、相手側の他の通信端末２の画像・音声データを受信する。例えば拠点Ａと拠点Ｂでビデオ会議を行った場合、拠点Ａの通信端末２Ａが送信したデータは、サーバ４を介して拠点Ｂの通信端末２Ｂに送信され、他の通信端末２（ビデオ会議に参加していない通信端末２）には送信されない。

同様に、拠点Ｂの通信端末２Ｂが送信した画像・音声データは、サーバ４を介して、ビデオ会議に参加している拠点Ａの通信端末２Ａに送信され、会議に参加していない他の通信端末２には送信されない。このような制御を行うことで、複数の通信端末２(複数の拠点間)でビデオ会議を行うことができる。

なお、図１に示すビデオ会議システム１の構成は、一例であって他の構成であってもよい。

また、通信端末２は、通信機能を備えた装置であれば、ＰＪ（Projector：プロジェクタ）、画像形成装置、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。

＜実施形態に係る通信端末のハードウェア構成＞
次に、実施形態に係る通信端末のハードウェア構成について説明する。図２は、通信端末２のハードウェア構成の一例を説明する図である。通信端末２は一例としてＩＷＢである。

通信端末２は、ＣＰＵ（Central Proccesing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＳＳＤ（Solid State Drive）２０４と、ネットワークコントローラ２０５と、センサコントローラ２０６と、キャプチャデバイス２０７とを有している。また通信端末２は、電子ペンコントローラ２０８と、外部記憶コントローラ２０９と、ＧＰＵ２１０と、ディスプレイコントローラ２１１と、カメラコントローラ２１２と、マイクロホンコントローラ２１３と、スピーカコントローラ２１４とを有している。これらはバスＢを介して相互に接続されている。

ＣＰＵ２０１は、ＲＯＭ２０２やＳＳＤ２０４等の記憶装置からプログラムやデータをＲＡＭ２０３上に読み出し、処理を実行することで、通信端末２全体の制御や機能を実現する演算装置である。

ＲＯＭ２０２は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ２０２には、通信端末２の起動時に実行されるＢＩＯＳ（Basic Input／Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ２０３は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。

ＳＳＤ２０４は、ＩＷＢの座標検出システム用のアプリケーションや各種データが記憶された不揮発メモリである。なお、座標検出システム用のアプリケーションは、外部メモリ２１６に記憶された状態で取得されてもよいし、ネットワークコントローラ２０５を介してサーバ等からダウンロードされてもよい。ネットワークコントローラ２０５は、ネットワーク３（図１参照）を介してサーバなどと通信する際に通信プロトコルに基づく処理を実行することができる。なお、ＳＳＤ２０４はＨＤＤ（Hard Disk Drive）であってもよい。

センサコントローラ２０６は、ＩＷＢの備えるディスプレイ２１７に、電子ペン２１５、及び指が接触した場合に、接触位置の座標検出処理を実行することができる。キャプチャデバイス２０７は、ＰＣ２２１に電気的に接続され、ＰＣ２２１の備える表示装置に表示されている画像、又は映像をキャプチャすることができる。電子ペンコントローラ２０８は、入力装置である電子ペン２１５に電気的に接続され、電子ペン２１５による超音波や赤外線等の発生を制御することができる。

外部記憶コントローラ２０９は、着脱可能な外部メモリ２１６に対する書き込み、或いは外部メモ２１６リからの読み出しを行うことができる。外部メモリ２１６は、ＵＳＢ（Universal Serial Bus）メモリやＳＤカード等である。

ＧＰＵ（Graphics Processing Unit）２１０は、ディスプレイ２１７の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ２１１は、ディスプレイ２１７に電気的に接続されており、ＧＰＵ２１０が生成した画像をディスプレイ２１７に出力することができる。ディスプレイ２１７は、ビデオ会議を実行する他の通信端末２からネットワーク３を介して伝送されたビデオ会議参加者の映像を表示することができる。

カメラコントローラ２１２は、カメラ２１８に電気的に接続され、カメラ２１８による撮像を制御することができる。カメラ２１８は、後述するように、ビデオ会議時の参加者を撮像するために用いられ、カメラ２１８で撮像された画像から参加者の視線が検出される。カメラコントローラ２１２は、カメラ２１８により撮像された画像データをＣＰＵ２０１に出力することができる。なお、参加者の視線検出のために、カメラの代わりに独立した視線センサモジュールを用いてもよい。

マイクロホンコントローラ２１３は、マイクロホン２１９に電気的に接続され、マイクロホン２１９の集音の感度の高さ及び指向性等を制御することができる。なお、マイクロホン２１９の指向性については、別途詳述する。

スピーカコントローラ２１４は、スピーカ２２０に電気的に接続され、スピーカ２２０により発生させる音の大きさ等を制御することができる。

＜第１の実施形態に係る通信端末の機能構成＞
次に、第１の実施形態に係るビデオ会議システムについて説明する。先ず、第１の実施形態に係る通信端末の機能構成について説明する。図３は、本実施形態に係る通信端末の機能構成の一例を説明するブロック図である。

通信端末２Ａは、撮像部２１と、視線検出部２２と、視線情報蓄積部２３と、注目領域検出部２４と、サブパケット生成部２５と、送信部２６と、受信部２７と、指向性決定部２８と、指向性制御部２９とを有している。

撮像部２１は、ビデオ会議に参加している拠点Ａでの参加者の画像を撮像し、撮像した画像情報を視線検出部２２に出力する機能を有する。参加者の画像には、参加者の視線を検出するために、少なくとも参加者の目が含まれている。

視線検出部２２は、撮像部２１から入力した画像情報から参加者の視線を検出し、視線情報蓄積部２３に出力する機能を有する。また、視線情報蓄積部２３は視線検出部２２から入力した視線情報を蓄積する機能を有する。

ここで、図４は、参加者の視線の一例を説明する図である。図４は、拠点Ａでの参加者１０１が、拠点Ｂでの参加者１０２ａ～１０２ｄの映像が表示されているディスプレイ２１７を観察している様子を示している。

例えば、拠点Ｂで参加者１０２ａが発言をした場合、参加者１０１はディスプレイ２１７で参加者１０２ａが表示されている領域に視線を向け、また参加者１０２ｄが発言をした場合、参加者１０１はディスプレイ２１７で参加者１０２ｄが表示されている領域に視線を向ける。参加者の視線情報は、このように、参加者１０１がディスプレイ２１７で視線を向けている領域を示す情報をいう。

視線検出部２２は、拠点Ａで撮像部２１が撮像した参加者の画像を画像処理することで、視線情報を検出することができる。視線検出部２２は、画像処理として、例えば、画像から人物の目の黒目に該当する画像領域を抽出し、黒目の重心位置座標を視線情報として算出する処理を実行することができる。視線検出の画像処理方法には、公知技術を適用することができるため、ここでは詳細な説明を省略する。

図５は、視線検出部２２が検出し、視線情報蓄積部２３が蓄積する視線情報の一例を説明する図である。視線検出部２２は、時間に応じて変化する参加者の視線を検出し、順次に視線情報蓄積部２３に出力することができる。また、視線情報蓄積部２３は、図５に示すように、視線情報を示す重心位置座標を時間毎で蓄積することができる。

ここで、図６は、時間に応じた視線変化の一例を説明する図である。図６は、ディスプレイ２１７上での視線の軌跡を表す視線情報分布６１を示している。

拠点Ａでのビデオ会議の参加者が複数人いる場合は、視線検出部２２は各人の視線情報を検出し、視線情報蓄積部２３は、人数分の視線情報を蓄積することができる。

図３に戻り、各機能部の説明を続ける。

注目領域検出部２４は、視線情報蓄積部２３が蓄積した視線情報に基づき、拠点Ａで参加者が注目している注目領域を検出し、検出した注目領域情報をサブパケット生成部２５に出力する機能を有する。

例えば、注目領域検出部２４は、視線が集中する時間を閾値とし、予め定められた時間閾値以上に視線が集中した領域を注目領域として検出することができる。具体的には、時間閾値を２秒とし、視線検出の検出時間間隔を１０ミリ秒とすると、２０回以上の検出で同じ領域に視線が向けられていた場合、注目領域検出部２４は、この領域を注目領域として検出することができる。

なお、この「領域」は、注目領域を検出する単位領域として予め決定されている。単位領域は、１×１画素の領域や１０×１０画素の領域等を任意に設定することができる。時間を閾値にすることで、参加者が凝視した領域を注目領域として検出することができる。

また、注目領域検出部２４は、視線が集中する回数を閾値とし、予め定められた回数閾値以上に視線が集中した領域を注目領域として検出することもできる。時間を閾値にした場合との違いとしては、同じ領域を複数回の検出で連続して取得した場合に、集中した時間によらず１回とカウントする点である。

具体的には、回数の閾値を１０回とし、視線検出の検出時間間隔を１０ミリ秒とすると、同じ領域が不連続に１０回検出された場合に、注目領域検出部２４は、この領域を注目領域として検出することができる。回数を閾値にすることで、注目しているときに時折視線を外すことがあっても、適切に注目領域を検出することが可能となる。

また、注目領域検出部２４は、視線を集中した参加者の人数を閾値として、予め定められた人数閾値以上の参加者が視線を集中した領域を注目領域として検出することもできる。拠点Ａでのビデオ会議の参加者が複数いる場合は、視線情報分布６１（図６）が人数分得られるが、注目領域検出部２４は、閾値以上の人数の参加者の視線が集中した領域を、注目領域として検出することができる。

人数を閾値にすることで、よそ見をしている参加者がいたとしても、他の参加者の視線情報から適切に注目領域を検出することが可能となる。

注目領域を検出するための閾値は、上述の時間、回数、及び人数を組み合わせて用いてもよい。組み合わせることで、注目領域の検出精度をより向上させることができる。

図７は、注目領域の一例を説明する図である。視線情報分布６１において、破線で囲った領域６２ａ～６２ｄが注目領域として検出されている。

図３に戻り、説明を各機能部の説明を続ける。

サブパケット生成部２５は、注目領域検出部２４が検出した注目領域情報を入力し、拠点Ｂ等の他拠点に送信するためのサブパケットを生成し、送信部２６に出力する機能を有する。また送信部２６は、入力したサブパケットを、参加者の映像及び音声や同期データ等の会議データに含ませて、他の拠点に送信する機能を有する。なお、送信部２６がサブパケットを送信する他の拠点に設置された通信端末２Ｂは、「他の第１通信端末」の一例である。また、注目領域検出部２４が検出した注目領域情報は、「所定の座標情報」の一例である。

ここで、図８は、サブパケットに含まれる情報の一例を説明する図である。図８では、注目領域のＸ、Ｙ座標が一覧で示されている。単位領域が複数画素（１０×１０画素等）で構成される場合は、単位領域の中心座標等が注目領域の座標情報となる。

ここで、サブパケット生成部２５は、注目領域の全ての座標情報ではなく、一部の座標情報からサブパケットを生成してもよい。一部の座標としては、Ｘ座標の最大値、Ｘ座標の最小値、Ｙ座標の最大値、及びＹ座標の最小値の少なくとも１つ等が挙げられる。

マイクロホン２１９の指向性の決定（詳細は後述）に影響が大きいのは、注目領域のうちの端部の領域であるため、最大値及び最小値という端部のデータからサブパケットを生成してもよい。また、Ｙ座標と比較してＸ座標は指向性の決定に影響が大きいため、Ｘ座標からサブパケットを生成してもよい。このように注目領域の一部の座標情報からサブパケットを生成することで、送信するデータ量を削減し、通信の負荷を低減し、また通信速度を上げることができる。

一方で、ビデオ会議を行う他の拠点で、同じ画素数、及び／又は画面サイズのディスプレイを使用しているとは限らない。そのため、この差異に起因して、注目領域情報に基づいたマイクロホン２１９の指向性の決定を適切に行えない場合がある。

そこで、サブパケット生成部２５は、注目領域情報とともに、製品のモデル識別番号をサブパケットに含めてもよい。受信側でディスプレイの画素数、及び／又は画面サイズの差異の影響を補正することで、適切にマイクロホン２１９の指向性を決定することができる。

ここで、マイクロホン２１９の集音の指向性について説明する。本実施形態では、マイクロホン２１９の集音の指向性の制御のために、ビームフォーミング技術を用いることができる。マイクロホンのビームフォーミング（以降では、単にビームフォーミングという）とは、複数のマイクロホンを用い、所定の方向に音波の指向性を高める技術である。

具体的には、複数のマイクロホンが出力する音声を信号処理することで、集音の感度を所定の方向では高く、それ以外の方向では低くするようにする。これにより、ビデオ会議において、発言者の音は集音感度を上げて聞こえやすくし、周囲の不要な音は集音感度を下げて聞こえ難くすることができる。

図９は、マイクロホンの集音の指向性について説明する図である。（ａ）はビームフォーミングの集音方向を説明する図であり、（ｂ）は注目領域情報と集音方向との対応関係を説明する図である。

本実施形態では、図９（ａ）に示すように、ディスプレイ２１７のディスプレイ面に垂直な方向を集音方向の０度とし、図中左側に回転する方向を正の集音方向とし、右側に回転する方向を負の集音方向としている。また、図９（ａ）の±９０度方向（水平方向）に対応する方向を撮像部２１による画像のＸ方向とした場合に、注目領域情報と集音方向とを図６（ｂ）に示す対応関係としている。

図６（ｂ）の対応関係を参照して、注目領域情報のＸ座標に基づき、マイクロホンの集音方向の最大値と最小値を示す角度、すなわち指向性を設定することができる。例えば、注目領域情報のＸ座標の最大値が２８０画素で最小値が２４０画素の場合、指向性は最小値０度～最大値２５度に設定され、この方向に位置する参加者１０１ａ及び１０１ｂの発する音に対する集音感度が上がり、逆に参加者１０１ｃ及び１０１ｄの発する音に対する集音感度は下がる。このようにして注目領域に応じて指向性が決定される。図９（ｂ）の対応関係を示すデータは、予め決定され、ＳＳＤ２０４等のメモリに記憶されている。

なお、注目領域情報のＹ座標は、ディスプレイから参加者までの距離に対応するため、参加者までの距離が長い場合は、マイクロホンの集音感度を上げる等、Ｙ座標の値に応じてマイクロホンの集音感度を決定してもよい。

図３に戻り、各機能部の説明を続けると、受信部２７は、他の拠点から注目領域情報を受信し、指向性決定部２８に出力する機能を有する。なお、受信部２７が受信する注目領域情報を送信する、他の拠点に設置された通信端末２Ｂは、「他の第２通信端末」の一例である。なお、上述の「他の第１の通信端末」と「他の第２の通信端末」は、同じ通信端末であってもよいし、異なる通信端末であってもよい。

指向性決定部２８は、受信部２７が受信した注目領域情報に基づき、ＳＳＤ２０４等に記憶された図９（ｂ）の対応関係を示すデータを参照してマイクロホン２１９の集音の指向性を決定し、決定した指向性情報を指向性制御部２９に出力する機能を有する。

指向性制御部２９は、入力した指向性情報に基づき、マイクロホン２１９の集音の指向性を制御することができる。

なお、本実施形態では、公知のビームフォーミング技術を適用することができるため、ビームフォーミング制御技術等の詳細な説明は省略する。

＜第１の実施形態に係るビデオ会議システムの動作＞
次に、図１０は、本実施形態に係る通信端末２Ａによる注目領域の検出処理の一例を示すフローチャートである。

先ず、ステップＳ１０１において、撮像部２１は、拠点Ａでのビデオ会議への参加者の画像を撮像し、撮像した画像情報を視線検出部２２に出力する。

続いて、ステップＳ１０２において、視線検出部２２は、入力した画像情報から参加者の視線を検出し、検出した視線情報を視線情報蓄積部２３に出力する。なお、参加者が複数いる場合は、各参加者の視線を検出し、各参加者の視線情報を視線情報蓄積部２３に出力する。

続いて、ステップＳ１０３において、視線情報蓄積部２３は、入力した視線情報を蓄積する。なお、参加者が複数いる場合は、各参加者の視線情報を蓄積する。

続いて、ステップＳ１０４において、視線検出部２２は、所定の時間を経過したか否かを判定する。この「所定の時間」は、視線情報を蓄積するために予め定められた時間である。

所定の時間が経過していないと判断された場合は（ステップＳ１０４、Ｎｏ）、ステップＳ１０１に戻る。一方、所定の時間が経過していると判断された場合は（ステップＳ１０４、Ｙｅｓ）、ステップＳ１０５において、注目領域検出部２４は、視線情報蓄積部２３により蓄積された視線情報に基づき、拠点Ａで参加者が注目している注目領域を検出する。そして、検出した注目領域情報をサブパケット生成部２５に出力する。

続いて、ステップＳ１０６において、サブパケット生成部２５は、入力した注目領域情報から拠点Ｂ等の他拠点に送信するためのサブパケットを生成し、送信部２６に出力する。

続いて、ステップＳ１０７において、送信部２６は、入力したサブパケットを、参加者の映像及び音声や、同期データ等の会議データに含ませて、拠点Ｂ等の他の拠点に送信する。

このようにして、通信端末２Ａは拠点Ａでのビデオ会議への参加者の注目領域情報を、拠点Ｂ等の他拠点に送信することができる。

次に、図１１は、本実施形態に係る通信端末２Ａによる指向性の制御処理の一例を示すフローチャートである。

先ず、ステップＳ１１１において、受信部２７は、注目領域情報が含まれるサブパケットを受信したか否かを判定する。注目領域情報が含まれるサブパケットを受信していない場合は（ステップＳ１１１、Ｎｏ）、再度ステップＳ１１１の処理を実行する。一方、注目領域情報を受信した場合は（ステップＳ１１１、Ｙｅｓ）、ステップＳ１１２において、受信部２７は受信した注目領域情報を指向性決定部２８に出力する。指向性決定部２８は、入力した注目領域情報に基づき、ＳＳＤ２０４等に記憶された注目領域情報と集音方向との対応関係を示すデータを参照し、マイクロホン２１９の集音の指向性を決定する。そして、決定した指向性情報を指向性制御部２９に出力する。

続いて、ステップＳ１１３において、指向性制御部２９は、入力した指向性情報に基づき、マイクロホン２１９の集音の指向性を制御する。

このようにして、通信端末２Ａは、拠点Ｂ等の他拠点から受信した注目領域情報に基づき、通信端末２Ａの備えるマイクロホン２１９の指向性を決定し、制御することができる。

次に、図１２は、本実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。

先ず、ステップＳ１２１において、通信端末２Ａは、通信端末２Ｂに対してビデオ会議の開始を要求する信号を送信する。

続いて、ステップＳ１２２において、通信端末２Ｂは、ビデオ会議を開始可能である場合は、その旨を示す要求応答信号を通信端末２Ａに送信する。

続いて、ステップＳ１２３において、通信端末２Ａは、図１０で説明した注目領域検出処理を実行する。

続いて、ステップＳ１２４において、通信端末２Ａは、注目領域情報を含むサブパケットを、会議データに含めて通信端末Ｂに送信する。

続いて、ステップＳ１２５において、通信端末２Ｂは、受信したサブパケットに含まれる注目領域情報に基づいて、図１１で説明した指向性の制御処理を実行する。

続いて、ステップＳ１２６において、ビデオ会議を終了する場合は、通信端末２Ａは、通信端末２Ｂに対してビデオ会議の終了を要求する信号を送信する。

続いて、ステップＳ１２７において、通信端末２Ｂは、ビデオ会議を終了可能である場合は、その旨を示す要求応答信号を通信端末２Ａに送信する。

このようにして、ビデオ会議システム１はビデオ会議を実行することができる。

＜第１の実施形態に係るビデオ会議システムの効果＞
次に、本実施形態に係るビデオ会議システムの効果について説明する。

図１３は、本実施形態に係るビデオ会議システムの効果の一例を説明する図である。（ａ）は比較例に係る通信端末を用いるビデオ会議を説明する図であり、（ｂ）は本実施形態に係る通信端末を用いるビデオ会議を説明する図である。

図１３（ａ）において、比較例に係る通信端末５Ａは、通信端末５Ａｏｔｈに隣接して設置されている。通信端末５Ａが使用されるビデオ会議１０と、通信端末５Ａｏｔｈが使用されるビデオ会議１０ｏｔｈは別のビデオ会議である。また、通信端末５Ａは、音の発生した方向（領域）の音声を集音するように、マイクロホンの指向性を制御する機能を備えている。

図１３（ａ）の場合、通信端末５Ａと通信端末５Ａｏｔｈとの距離が近いと、通信端末５Ａは、ビデオ会議１０ｏｔｈの参加者５０１ａの発言に反応し、参加者５０１ａの方向（矢印１３１）の音声を集音するように、マイクロホンの指向性を誤って決定する場合がある。

一方、図１３（ｂ）において、本実施形態に係る通信端末２Ａは、図１３（ａ）の場合と同様に、通信端末５Ａｏｔｈに隣接して設置されている。また、通信端末２Ａが使用されるビデオ会議１０と、通信端末５Ａｏｔｈが使用されるビデオ会議１０ｏｔｈは別のビデオ会議である。

本実施形態では、上述のように、拠点Ｂ等の他拠点の通信端末２Ｂから送信される注目領域情報に基づき、マイクロホン２１９の指向性を制御する。別のビデオ会議に参加している参加者５０１ａが拠点Ｂでの参加者の注目領域に含まれることはないため、参加者５０１ａが発言しても、通信端末２Ａはマイクロホン２１９の指向性を参加者５０１ａの方向に向けるような誤った決定を行うことはない。

このようにして、本実施形態では、マイクロホン２１９の集音の指向性を、ビデオ会議１０の参加者１０１ａの方向に、適切に決定することができる。

なお、通信端末２Ａの備える撮像部２１は、別のビデオ会議に参加している参加者が撮像した画像に含まれないように、撮像視野が予め設定されていてもよい。これにより、別のビデオ会議に参加している参加者が、拠点Ｂでの参加者の注目領域に確実に含まれないようにできるため、マイクロホンの指向性を参加者５０１ａの方向に向けるような誤決定を確実に防ぐことができる。

また、本実施形態では、通信端末２Ａは、検出した注目領域情報を他の第１通信端末に送信し、他の第２通信端末から受信した注目領域情報に基づいて指向性を決定する例を説明したが、これに限定されるものではない。

例えば、通信端末２Ａは、検出した視線情報を他の第１通信端末に送信し、他の第２通信端末から受信した視線情報を蓄積し、蓄積した視線情報に基づき、注目領域を検出し、検出した注目領域情報に基づいて指向性を決定してもよい。この場合に送信される視線情報は、「所定の座標情報」の一例である。

或いは、通信端末２Ａは、検出した注目領域に基づき決定した指向性情報を他の第１通信端末に送信し、他の第２通信端末から受信した指向性情報に基づいて指向性を制御してもよい。

ここで、通信端末２Ａが注目領域情報、又は指向性情報を他の第１通信端末に送信する場合は、視線情報を他の第１通信端末に送信する場合と比較して、送信するデータ量を削減できる効果を得ることができる。

［第２の実施形態］
次に、第２の実施形態に係るビデオ会議システムを説明する。なお、既に説明した実施形態と同一の構成部についての説明は省略する。

ここで、通信端末２が会議室等の所定の場所に固定されて設置されている場合、参加者が着席する場所は、ビデオ会議毎でほとんど変わらないため、前回行ったビデオ会議で決定された指向性情報を、今回行うビデオ会議でそのまま適用できる場合がある。

そこで、本実施形態では、前回行ったビデオ会議における指向性情報を指向性情報記憶部３０に記憶しておき、指向性決定部２８ａは、今回行うビデオ会議において、指向性情報記憶部３０を参照して取得した指向性情報に基づき、指向性を決定する。

図１４は、本実施形態に係るビデオ会議システム１ａの備える通信端末２Ａａの機能構成の一例を説明するブロック図である。

通信端末２Ａａは、指向性決定部２８ａと、指向性情報記憶部３０と、指向性情報更新部３１とを有している。

指向性情報記憶部３０は、指向性決定部２８ａが決定した指向性情報を、指向性情報更新部３１を介して入力し、入力した指向性情報を記憶する機能を有する。

また指向性決定部２８ａは、注目領域情報に基づき、マイクロホン２１９の集音の指向性を決定する機能とともに、指向性情報記憶部３０から取得した指向性情報に基づき、マイクロホン２１９の集音の指向性を決定する機能を有する。

指向性情報更新部３１は、指向性情報記憶部３０に記憶された指向性情報を更新する機能を有する。

図１５は、本実施形態に係るビデオ会議システムの動作の一例を示すシーケンス図である。

先ず、ステップＳ１５１において、通信端末２Ａａは、通信端末２Ｂａに対してビデオ会議の開始を要求する信号を送信する。

続いて、ステップＳ１５２において、通信端末２Ｂａは、ビデオ会議を開始可能である場合は、その旨を示す要求応答信号を通信端末２Ａａに送信する。

続いて、ステップＳ１５３において、通信端末２Ｂａは、通信端末２Ｂａの指向性情報記憶部３０から取得した指向性情報に基づき、マイクロホン２１９の集音の指向性を決定する。

続いて、ステップＳ１５４において、通信端末２Ｂａは、指向性情報に基づき、マイクロホン２１９の集音の指向性を制御する。

続いて、ステップＳ１５５において、通信端末２Ａａは、図１０で説明した注目領域検出処理を実行する。

続いて、ステップＳ１５６において、通信端末２Ａａは、注目領域情報を含むサブパケットを、会議データに含めて通信端末Ｂａに送信する。

続いて、ステップＳ１５７において、通信端末２Ｂａは、受信したサブパケットに含まれる注目領域情報に基づいて、図１１で説明した指向性の制御処理を実行する。

続いて、ステップＳ１５８において、通信端末２Ｂａは、今回決定した指向性情報により、通信端末２Ｂａの指向性情報記憶部３０に記憶された指向性情報を更新する。

続いて、ステップＳ１５９において、ビデオ会議を終了する場合は、通信端末２Ａａは、通信端末２Ｂａに対してビデオ会議の終了を要求する信号を送信する。

続いて、ステップＳ１６０において、通信端末２Ｂａは、ビデオ会議を終了可能である場合は、その旨を示す要求応答信号を通信端末２Ａａに送信する。

このようにして、ビデオ会議システム１はビデオ会議を実行することができる。

以上説明したように、本実施形態では、前回行ったビデオ会議における指向性情報を指向性情報記憶部３０に記憶しておき、指向性決定部２８ａは、今回行うビデオ会議において、指向性情報記憶部３０を参照して取得した指向性情報に基づき、指向性を決定する。

ビデオ会議の開始直後は、視線検出や視線情報の蓄積等で、指向性を決定するまでに一定の時間がかかるが、本実施形態によれば、ビデオ会議の開始の直後に、前回行ったビデオ会議における指向性情報に基づき指向性を決定するため、ビデオ会議の開始の直後から指向性を適切に設定することができ、ビデオ会議を開始直後から円滑に実行することができる。

なお、上述したもの以外の効果は、第１の実施形態で説明したものと同様である。

［第３の実施形態］
次に、第３の実施形態に係るビデオ会議システムを説明する。

図１６は、本実施形態に係るビデオ会議システム１ｂの備える通信端末２Ａｂの機能構成の一例を説明するブロック図である。

通信端末２Ａｂは、入力画面表示部３２と、設定入力部３３とを有している。

入力画面表示部３２は、ビデオ会議システム１ｂのユーザが、注目領域を検出するための時間閾値、回数閾値、及び人数閾値の少なくとも１つ以上と、指向性決定部２８が指向性を決定するための条件とを入力する入力画面を表示する機能を有する。

ここで、図１７は、このような入力画面の一例を説明する図である。図１７に示すように、入力画面３２１には、入力項目として、指向性制御処理を実行するか否かを入力するための「マイク指向性制御」と、視線情報を取得する「所定の時間」（図１０参照）を入力するための「視線情報取得時間」と、注目領域の検出で用いられる閾値の種類及び閾値を入力するための「注目領域検出条件」とが含まれている。

このような入力画面３２１はディスプレイ２１７に表示され、ビデオ会議システム１ｂのユーザは、入力画面３２１を通じて注目領域を検出するための閾値や、指向性を決定するための条件を入力することができる。なお、ビデオ会議システム１ｂの管理者がこのような入力を行うようにしてもよい。また、図１７に示した入力項目は一例であって、他の入力項目を追加し、或いは図１７に示した入力項目と置き換えてもよい。

図１６に戻り、説明を続ける。設定入力部３３は、ディスプレイ２１７に表示された入力画面３２１を通じてユーザが入力した設定情報を入力し、視線検出部２２及び注目領域検出部２４に出力する。なお、この出力先は、入力項目に応じて決定することができる。

以上説明したように、本実施形態では、ビデオ会議システム１ｂのユーザが各種閾値や指向性決定の条件等の設定情報を入力する入力画面を表示し、入力された設定情報に応じて通信端末の設定を行う。

周囲の不要な音の大きさ等、ビデオ会議を行う環境によって、指向性を決定するための適切な条件が異なる場合があるが、本実施形態によれば、会議環境に応じて適切に指向性を決定し、制御することができる。

尚、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

また実施形態は、通信端末のマイクロホンの制御方法も含む。例えば、通信端末のマイクロホンの制御方法は、カメラから画像の入力を受け、および、マイクロホンから音声の入力を受け、ビデオ会議で用いられる通信端末の前記マイクロホンの制御方法であって、前記カメラによって前記ビデオ会議の参加者の画像を撮像する工程と、前記画像から検出した前記参加者の視線を示す視線情報を蓄積する工程と、蓄積された前記視線情報に基づき、前記マイクロホンによる集音の指向性を決定する工程と、を含む。このような通信端末のマイクロホンの制御方法により、上述のビデオ会議システムと同様の効果を得ることができる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１、１ａ、１ｂ ビデオ会議システム
２、２Ａ 通信端末
２Ｂ 通信端末（他の第１通信端末の一例、他の第２通信端末の一例）
３ ネットワーク
４ サーバ
２１ 撮像部
２２ 視線検出部
２３ 視線情報蓄積部
２４ 注目領域検出部
２５ サブパケット生成部
２６ 送信部
２７ 受信部
２８ 指向性決定部
２９ 指向性制御部
３０ 指向性情報記憶部
３１ 指向性情報更新部
３２ 入力画面表示部
３３ 設定入力部
２０１ ＣＰＵ
２０２ ＲＯＮ
２０３ ＲＡＭ
２０４ ＳＳＤ
２０５ ネットワークコントローラ
２０６ センサコントローラ
２０７ キャプチャデバイス
２０８ 電子ペンコントローラ
２０９ 外部記憶コントローラ
２１０ ＧＰＵ
２１１ ディスプレイコントローラ
２１２ カメラコントローラ
２１３ マイクロホンコントローラ
２１４ スピーカコントローラ
２１５ 電子ペン
２１６ 外部メモリ
２１７ ディスプレイ
２１８ カメラ
２１９ マイクロホン
２２０ スピーカ

特開２０１７－０３４５０２号公報

Claims (7)

1. 複数の通信端末と、前記通信端末に画像を出力するカメラと、前記通信端末に音声を出力するマイクロホンと、を備え、ビデオ会議を実行するビデオ会議システムであって、
   前記通信端末は、
   前記画像から検出した前記ビデオ会議の参加者の視線を示す視線情報を蓄積する視線情報蓄積部と、
   蓄積された前記視線情報に基づき、前記マイクロホンの集音の指向性を決定する指向性決定部と、
   決定された前記指向性の情報を記憶する指向性情報記憶部と、
   記憶された前記指向性の情報を更新する指向性情報更新部と、を有し、
   前記指向性決定部は、前記指向性情報記憶部を参照して取得した前記指向性の情報に基づき、前記指向性を決定する
   ビデオ会議システム。
2. 蓄積された前記視線情報に基づき、前記参加者が注目する注目領域を検出する注目領域検出部と、
   検出された前記注目領域を他の第１通信端末に送信する送信部と、を有し、
   前記指向性決定部は、他の第２通信端末から受信した前記注目領域に基づき、前記指向性を決定する
   請求項１に記載のビデオ会議システム。
3. 前記視線情報から抽出した所定の座標情報が含まれるサブパケットを生成するサブパケット生成部を有し、
   前記送信部は前記サブパケットを送信する
   請求項２に記載のビデオ会議システム。
4. 前記指向性決定部は、予め定められた時間閾値以上の時間で前記参加者の視線が向けられた領域、予め定められた回数閾値以上の回数で前記参加者の視線が向けられた領域、及び予め定められた人数閾値以上の人数で前記参加者の視線が向けられた領域の少なくとも１つに基づき、前記指向性を決定する
   請求項１乃至３の何れか１項に記載のビデオ会議システム。
5. 前記ビデオ会議システムのユーザが、前記時間閾値、前記回数閾値、及び前記人数閾値の少なくとも１つ以上と、前記指向性決定部が前記指向性を決定するための条件と、を入力する入力画面を表示する入力画面表示部を有する
   請求項４に記載のビデオ会議システム。
6. カメラから画像の入力を受け、および、マイクロホンから音声の入力を受け、ビデオ会議で用いられる通信端末であって、
   前記画像から検出した前記ビデオ会議の参加者の視線を示す視線情報を蓄積する視線情報蓄積部と、
   蓄積された前記視線情報に基づき、前記マイクロホンの集音の指向性を決定する指向性決定部と、
   決定された前記指向性の情報を記憶する指向性情報記憶部と、
   記憶された前記指向性の情報を更新する指向性情報更新部と、を有し、
   前記指向性決定部は、前記指向性情報記憶部を参照して取得した前記指向性の情報に基づき、前記指向性を決定する
   通信端末。
7. カメラから画像の入力を受け、および、マイクロホンから音声の入力を受け、ビデオ会議で用いられる通信端末の前記マイクロホンの制御方法であって、
   前記カメラによって前記ビデオ会議の参加者の画像を撮像する工程と、
   前記画像から検出した前記参加者の視線を示す視線情報を蓄積する工程と、
   蓄積された前記視線情報に基づき、前記マイクロホンによる集音の指向性を決定する工程と、
   決定された前記指向性の情報を、指向性情報記憶部により記憶する工程と、
   記憶された前記指向性の情報を更新する工程と、を含み、
   前記指向性を決定する工程は、前記指向性情報記憶部を参照して取得した前記指向性の情報に基づき、前記指向性を決定する
   通信端末のマイクロホンの制御方法。

Images