JP5613102B2 - 会議装置、会議方法および会議プログラム - Google Patents

Description

本発明は、ネットワークを介した遠隔会議を行う会議装置、会議方法および会議プログラムに関する。

環境問題（エコロジー）や、企業活動における出張費を抑えるなどの目的から、遠隔会議の需要が高まっている。従来の会議システムには、例えば、電話（音声）会議システムや、ブラウザ上で動作するＷｅｂ（映像）会議システムなどがある。Ｗｅｂ会議システムでは、ブラウザを起動し、Ｗｅｂカメラを設置し、ヘッドセットを装着すれば、互いの参加者の映像をみながら会議を行うことができる。例えば、特許文献１には、発言権の取得や移譲が可能な多地点通信システムが記載されている。

特開2004-248145号公報

このような会議システムでは、映像や音声の質が低いという欠点がある。例えば、映像の解像度は低く、映像表示サイズは小型ディスプレイサイズにより制限され、映像と音声に伝送には遅延が生じる。このため、遠隔に存在する他の会議参加者の表情や仕草を読み取ることが困難になる。

これに起因して発生する問題の１つとして、誰が次に発言しそうなのかがわからず、同時に複数の会議参加者が発話を開始する発話の衝突が発生してしまう。発話の衝突が頻発する会議では、会議参加者に精神的なストレスが蓄積するとともに、会議の進行を停滞させてしまう。

特許文献１の技術では、発言権を取得するための意識的な行動が必要であり、会議の円滑な進行が妨げられる可能性がある。対面コミュニケーションでは、発話したい旨を明確に意思表示して発言する場合と、自然な仕草（非言語情報のやりとり）から周囲に発話欲求を伝達して発言する場合とがあるが、特許文献１では後者の場合については考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、参加者の表情や仕草が読み取れない場合であっても、各参加者の発話欲求を容易に認識させる会議装置、会議方法および会議プログラムを提供することにある。

上記目的を達成するため、本発明は、ネットワークを介して遠隔会議を行う会議装置であって、当該会議装置を使用する自参加者の映像データを取得する映像取得手段と、前記自参加者の映像データから発話欲求があると想定される所定の動作を検出する動作検出手段と、前記動作検出手段が検出した動作に基づいて発話欲求レベルを算出する発話欲求レベル算出手段と、ネットワークを介して他の会議装置から他参加者の映像データおよび発話欲求レベルを受信する受信手段と、自参加者および他参加者の映像データを配置した会議映像を生成する映像生成手段と、自参加者および他参加者の発話欲求レベルを示す情報を、前記会議映像に設定する映像編集手段と、前記映像編集手段が編集した会議映像を表示する表示手段と、を有する。

本発明は、ネットワークを介して遠隔会議を行う会議方法であって、会議装置は、当該会議装置を使用する自参加者の映像データを取得する映像取得ステップと、前記自参加者の映像データから発話欲求があると想定される所定の動作を検出する動作検出ステップと、前記動作検出ステップで検出した動作に基づいて発話欲求レベルを算出する発話欲求レベル算出ステップと、ネットワークを介して他の会議装置から他参加者の映像データおよび発話欲求レベルを受信する受信ステップと、自参加者および他参加者の映像データを配置した会議映像を生成する映像生成ステップと、自参加者および他参加者の発話欲求レベルを示す情報を、前記会議映像に設定する映像編集ステップと、前記映像編集ステップで編集した会議映像を表示する表示ステップと、を行う。

本発明は、前記会議方法をコンピュータに実行させるための会議プログラムである。

本発明によれば、参加者の表情や仕草が読み取れない場合であっても、各参加者の発話欲求を容易に認識させる会議装置、会議方法および会議プログラムを提供することができる。

本発明の実施形態に係る会議システムの全体構成図である。 本実施形態の動作を示すフローチャートである。 会議映像の一例を示す図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る会議システムの全体構成図である。本実施形態の会議システムは、ネットワーク９に接続された複数の会議装置１を用いて、遠隔地にいる複数の会議参加者（以下、「参加者」という）が遠隔会議を行うためのシステムである。

図示する会議システムは、複数の参加者の各々が使用する複数の会議装置１と、これらの会議装置１とネットワーク９を介して接続された会議サーバ８とを備える。

会議装置１は、例えばＰＣなどであって、当該会議装置１を使用する自参加者の映像を撮影するビデオカメラ１１と、自参加者が発言した音声を集音するマイク１２と、会議映像を表示する表示装置（ディスプレイ）１３と、会議サーバ８から送信された他の参加者の音声を出力するスピーカ１４とを備える。

また、会議装置１は、映像取得部２１と、動作検出部２２と、発話欲求レベル算出部２３と、メモリ２４と、音声取得部２５と、相槌検出部２６と、映像生成部２７と、映像編集部２８と、通信部２９とを備える。

映像取得部２１は、ビデオカメラ１１が撮像した映像データを取り込む。動作検出部２２は、自参加者の映像データから発話欲求があると想定される所定の動作を検出する。

音声取得部２５は、マイク１２から集音された音声データを取り込む。相槌検出部２６は、自参加者の音声データから相槌を検出する。

発話欲求レベル算出手段２３は、動作検出部２２が検出した動作および相槌検出部２６が検出した相槌に基づいて発話欲求レベルを算出し、メモリ２４に記憶する。

通信部２９は、映像取得部２１により取り込まれた映像データを、ネットワーク９を介して会議サーバ８に送信するとともに、映像生成部２７に送出する。また、通信部２９は、音声取得部２５により取り込まれた音声データをネットワーク９を介して会議サーバ８に送信する。また、通信部２９は、他の参加者の音声データを、ネットワーク９を介して会議サーバ８から受信し、スピーカ１４に出力・再生するとともに、他の参加者の映像データをネットワーク９を介して会議サーバ８から受信し、映像生成部２７に送出する。また、通信部２９は、メモリ２４に記憶された情報を、ネットワーク９および会議サーバ８を介して、他の会議装置１と送受信する。

映像生成部２７は、映像取得部２１が取り込んだ自参加者の映像データと、通信部２９が受信した他参加者の映像データとを配置した会議映像を生成する。映像編集部２８は、自参加者および他参加者の発話欲求レベルを示す情報を、映像生成部２７が生成した会議映像に設定し、表示装置１３に表示する。

会議サーバ８は、各参加者が使用する各会議装置１から入力される、当該参加者の映像データ、音声データおよびメモリ２４の情報をそれぞれ受信し、他の会議装置１に送信する。

会議装置１および会議サーバ８は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、会議装置１および会議サーバ８およびの各機能は、会議装置１用のプログラムの場合は会議装置１のＣＰＵが、そして、会議サーバ８用のプログラムの場合は会議サーバ８のＣＰＵが、それぞれ実行することにより実現される。

また、会議装置１用のプログラムおよび会議サーバ８用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

次に、本実施形態の動作について説明する。

各参加者は、それぞれ、会議装置１に前に座り、ネットワークを介した遠隔会議を行う。

映像取得部２１は、ビデオカメラ１１で撮像された自参加者の映像データを取り込み、動作検出部２２に送出する。

動作検出部２２は、映像データから自参加者の所定の動作を検出する。ここで検出される所定の動作は、例えば、「手を口元へ動かす」、「挙手」、「頷き」、「体を横に動かす」など、発話欲求があると想定される動作である。

動作検出部２２は、映像データを画像処理することで、このような動作を検出する。例えば、「頷き」動作は、顔向き検出を行い、顔の向きが上下に動いた場合に、「頷き」と判別する。「手を口元へ動かす」動作は、例えば、顔領域と隣接していない肌色の領域を手の領域であると識別し、この手の領域が顔領域と重なった場合、「手を口元へ動かす」と判別する。

「挙手」動作は、例えば、顔領域と隣接していない肌色の領域を手の領域であると識別し、この手の領域の重心が画像（映像データ）のｙ軸方向に、所定の高さ（閾値）を超えた場合、「挙手」と判別する。「体を横に動かす」動作は、例えば顔検出を行い、検出した顔領域の中心点が、単位時間当たりの所定の閾値を越えて、画像のｘ軸方向へ移動した場合、「体を横に動かす」と判別する。

音声取得部２５は、マイク１２から入力された自参加者の音声を集音し、相槌検出部２６に送出する。相槌検出部２６は、音声データが入力され、かつ、自参加者が話者でない場合は、入力された音声データは全て「相槌」であると判別する。例えば、各会議装置は、自参加者が話者であるかどうかを判別するための話者フラグがメモリ２４に記憶される。話者フラグの初期値は「０」（非話者）であり、これが「１」（話者）である場合、その自参加者は話者であると判別される。

会議サーバ８では、全会議装置（全参加者）の話者フラグを管理するとともに、誰が現在の話者であるかを決定する。例えば、全ての参加者の話者フラグが「０」であるときに、ある会議装置から音声データが入力された場合、この入力を行った会議装置の参加者を話者に指定し、当該参加者の話者フラグを「１」にする。すなわち、会議サーバ８は、当該会議サーバ８内の話者フラグを更新するとともに、話者に指定した会議装置に話者指定通知を送信し、当該会議装置のメモリ２４の話者フラグを「０」から「１」に更新させる。なお、当該参加者の音声データ入力がなくなった時点で、話者の指定を解除し、話者フラグを「１」から「０」に更新する。

また、相槌検出部２６は、メモリ２４の自参加者の話者フラグが「０」（非話者）であって、自参加者以外の参加者の話者フラグが「１」であるときに、音声データが入力された場合、これを「相槌」であると判別する。このとき、この参加者の話者フラグは「０」のままである。相槌検出部２６は、音声データが入力された場合、会議サーバ８に話者フラグが「１」の他の参加者が存在するか否かを問い合わせ、話者フラグが「１」の他の参加者が存在する場合、「相槌」であると判別する。

なお、相槌検出部２６は、メモリ２４の自参加者の話者フラグが「１」（話者）のときに音声データが入力された場合は、会議サーバ８への問い合わせを行わず、「相槌」でないと判別する。このとき、メモリ２４の話者フラグは「１」のままである。

そして、動作検出部２２で検出された動作の情報、および相槌検出部２６が検出した相槌の情報は、発話欲求レベル算出部２３に送出される。

図２は、発話欲求レベル算出部２３の処理を示すフローチャートである。発話欲求レベル算出部２３は、所定のタイミングで繰り返し図２に示す処理を行う。

発話欲求レベル算出部２３は、動作検出部２２が、「手を口元へ動かす」、「頷き」、「体を横に動かす」のいずれかの動作を検出した場合（Ｓ１１：ＹＥＳ）、図示しない記憶部のカウンタの値に「１」を加算する（Ｓ１２）。なお、カウンタの初期値は「０」である。

また、発話欲求レベル算出部２３は、動作検出部２２が「挙手」の動作を検出した場合（Ｓ１３：ＹＥＳ）、カウンタの値に「５」を加算する（Ｓ１４）。

また、発話欲求レベル算出部２３は、相槌検出部２６が「相槌」を検出した場合（Ｓ１５：ＹＥＳ）、カウンタの値に「３」を加算する（Ｓ１６）。

そして、発話欲求レベル算出部２３は、Ｓ１１からＳ１６で加算されたカウンタの値にもとづいて、発話欲求レベルを算出する。例えば、発話欲求レベルが、レベル０〜レベル５までの６つのレベルに分かれている場合、カウンタの値をいずれかのレベルに変換し、メモリ２４に記憶する（Ｓ１７）。

そして、発話欲求レベル算出部２３は、変換したレベル値が所定の値（例えば「５」）以上の場合（Ｓ１８：ＹＥＳ）、所定のマークの表示を決定し、マーク表示情報をメモリ２４に記憶する（Ｓ１９）。なお、所定のマークには、図形、記号、文字などを用いることができる。例えば、挙手を連想させる挙手マークを、所定のマークとして用いることとしてもよい。
図２で説明したように、メモリ２４には、自参加者の発話欲求レベル、および、発話欲求レベルが「５」以上の場合にはマーク表示情報が記憶される。この自参加者の発話欲求レベルおよびマーク表示情報は、通信部２９によりネットワーク９を介して他の全ての会議装置１に送信される。また、他の全ての会議装置１からネットワーク９を介して送信された他参加者の発話欲求レベルおよびマーク表示情報が通信部２９により受信され、メモリ２４に記憶される。このように、各参加者の発話欲求レベルおよびマーク表示情報は、全ての会議装置１で共有される。

映像生成部２７および映像編集部２８は、ビデオカメラ１１が撮像した自参加者の映像データと、ネットワーク９を介して会議サーバ８から受信した他参加者の映像データと、メモリ２４に記憶された各参加者の発話欲求レベルおよびマーク表示情報とを用いて会議映像を生成・編集する。

図３は、会議映像の一例を示す図である。映像生成部２７は、図示するように、各参加者の映像データをタイル状に所定の位置に配置する。図示する例では、４人の参加者が会議に参加している。

そして、映像編集部２８は、各参加者の発話欲求レベルおよびマーク表示情報が記憶されたメモリ２４を参照し、映像生成部２７が生成した会議映像を編集する。具体的には、図示するように、発話欲求レベルを示す情報（図示する例では、インジケータ）を、各参加者の発話欲求レベルに応じて、対応する参加者の映像データの近傍に設定する。例えば、発話欲求レベルが「２」の参加者の場合に、下から２つインジケータを点灯するなど、発話欲求レベルに応じてインジケータを点灯する。

また、マーク表示情報が記憶されている参加者については、当該参加者の映像データの近傍に所定のマーク（図示する例では、挙手マーク）を設定する。表示装置１３は、映像編集部２８が編集した会議映像を表示する。

また、話者が存在する場合（話者フラグが「１」の参加者が存在する場合）、映像編集部２８は、例えば話者の映像データを所定の色の枠で囲むなど、当該話者を目立たせるように表示させることとしてもよい。

以上説明した本実施形態では、ネットワークを介した遠隔会議において、各参加者の発話欲求レベルを示す情報を表示することで、各参加者の発話欲求を容易に（自然に）認識することができる。そのため、参加者は、発話意思を他の参加者に示すためにマウスやキーボードなどの入力デバイスを操作することなく、各参加者の発話欲求を汲み取りながら、円滑な会議を進行することができる。例えば、発話の衝突を防止し、スムーズな話者交代を実現することができる。

また、本実施形態では、動作検出部２２が検出する動作の１つに「挙手」があるため、参加者が発話意思を明示的に示したい場合は、対面での会議と同様に挙手（手を挙げる）動作を行うことで、発話欲求レベルを上げることができる。

また、本実施形態では、発話欲求レベルが所定の値以上の参加者の映像データの近傍に、所定のマーク（例えば、挙手マーク）を表示すること、発話欲求の高い参加者を一目で容易に認識させることができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、本実施形態では、動作検出部２２が検出した動作および相槌検出部２６が検出した相槌に基づいて発話欲求レベルを算出することした。しかしながら、動作検出部２２が検出した動作のみに基づいて発話欲求レベルを算出することとしてもよい。また、相槌検出部２６が検出した相槌のみに基づいて発話欲求レベルを算出することとしてもよい。

１ ：会議装置
１１：ビデオカメラ
１２：マイク
１３：表示装置
１４：スピーカ
２１：映像取得部
２２：動作検出部
２３：発話要求レベル算出部
２４：メモリ
２５：音声取得部
２６：相槌検出部
２７：映像生成部
２８：映像編集部
２９：通信部
８ ：会議サーバ
９ ：ネットワーク

Claims (7)

1. ネットワークを介して遠隔会議を行う会議装置であって、
   当該会議装置を使用する自参加者の映像データを取得する映像取得手段と、
   前記自参加者の映像データから発話欲求があると想定される所定の動作を検出する動作検出手段と、
   前記動作検出手段が検出した動作に基づいて発話欲求レベルを算出する発話欲求レベル算出手段と、
   ネットワークを介して他の会議装置から他参加者の映像データおよび発話欲求レベルを受信する受信手段と、
   自参加者および他参加者の映像データを配置した会議映像を生成する映像生成手段と、
   自参加者および他参加者の発話欲求レベルを示す情報を、前記会議映像に設定する映像編集手段と、
   前記映像編集手段が編集した会議映像を表示する表示手段と、を有すること
   を特徴とする会議装置。
2. 請求項１記載の会議装置であって、
   前記映像編集手段は、発話欲求レベルが所定の値以上の参加者の映像データの近傍に、所定のマークを設定すること
   を特徴とする会議装置。
3. 請求項１または請求項２記載の会議装置であって、
   当該会議装置を使用する自参加者の音声データを取得する音声取得手段と、
   前記自参加者の音声データから相槌を検出する相槌検出手段と、さらに有し、
   前記発話欲求レベル算出手段は、前記動作検出手段が検出した動作および前記相槌検出手段が検出した相槌に基づいて発話欲求レベルを算出すること
   を特徴とする会議装置。
4. ネットワークを介して遠隔会議を行う会議方法であって、
   会議装置は、
   当該会議装置を使用する自参加者の映像データを取得する映像取得ステップと、
   前記自参加者の映像データから発話欲求があると想定される所定の動作を検出する動作検出ステップと、
   前記動作検出ステップで検出した動作に基づいて発話欲求レベルを算出する発話欲求レベル算出ステップと、
   ネットワークを介して他の会議装置から他参加者の映像データおよび発話欲求レベルを受信する受信ステップと、
   自参加者および他参加者の映像データを配置した会議映像を生成する映像生成ステップと、
   自参加者および他参加者の発話欲求レベルを示す情報を、前記会議映像に設定する映像編集ステップと、
   前記映像編集ステップで編集した会議映像を表示する表示ステップと、を行うこと
   を特徴とする会議方法。
5. 請求項４記載の会議方法であって、
   前記映像編集ステップは、発話欲求レベルが所定の値以上の参加者の映像データの近傍に、所定のマークを設定すること
   を特徴とする会議方法。
6. 請求項４または請求項５記載の会議方法であって、
   当該会議装置を使用する自参加者の音声データを取得する音声取得ステップと、
   前記自参加者の音声データから相槌を検出する相槌検出ステップと、さらに行い、
   前記発話欲求レベル算出ステップは、前記動作検出ステップで検出した動作および前記相槌検出ステップで検出した相槌に基づいて発話欲求レベルを算出すること
   を特徴とする会議方法。
7. 請求項４から請求項６のいずれか１項に記載の会議方法をコンピュータに実行させるための会議プログラム。

Images