JP7178015B2 - オンライン会議システム - Google Patents

Description

本発明は、通信回線を利用したオンライン会議システムに関する。

遠隔地の複数のユーザーが、それぞれのユーザーの端末装置どうしを通信回線を介して接続して会議を構成するオンライン会議システムは公知である。例えば、特許文献１には、テレビ電話機と遠隔画像送信回路とを備えるユーザー端末装置で構成されるテレビ電話会議システムが開示されている。このテレビ電話会議システムでは、各端末装置のモニター画面を複数に分割し、各分割画面に会議出席者である各ユーザーの画像が表示されるようになっている。

特許文献１のようなテレビ電話会議システムでは、出席者の顔を各ユーザー端末装置に表示させるため、通信回路を介して出席者の顔を撮影した撮影画像を各ユーザー端末装置に転送している。しかし、撮影画像のデータ量は膨大であるため、各出席者の撮影画像の入出力に多大な時間を要する。通信回路に与える負荷も大きい。そこで、上記の問題を解決する手段として、撮影画像に代えて、出席者のアバター（分身となるキャラクター）をユーザー端末装置に表示することも公知である。

例えば特許文献２には、複数のユーザーが仮想的に表現されるアバターをディスプレイに表示させる表示制御部と、複数のユーザーのうち、少なくとも一人のユーザーの行動を検出する行動検出部と、少なくとも一人のユーザーの会議への積極的な態度を示す指標である積極度を判定する積極度判定部と、積極度判定部により判定された積極度に応じて、行動検出部が検出したユーザーの行動をアバターに反映させる行動反映部とを備える会議システムが開示されている。特許文献３には、仮想的な会議を行うための仮想会議室を表示すると共に該会議への出席者を表すアニメーションキャラクタ（アバターに相当）を該仮想会議室内に表示するための表示手段と、自己のアニメーションキャラクタの動作を指示するための指示手段と、指示手段で指示された自己のアニメーションキャラクタの動作情報を出力する情報出力手段と、入力された他のアニメーションキャラクタの動作情報に応じて他のアニメーションキャラクタを動作させるとともに、指示された動作に応じて自己のアニメーションキャラクタを動作させるキャラクタ制御手段とを備える仮想会議システム用端末装置が開示されている。

特開平４－１４０９９０号公報 特開２０１４－２２５８０１号公報 特開平６－２７４５９６号公報

特許文献２のように各ユーザーの行動を検出して、各ユーザーの行動をアバターに反映させる構成、或いは特許文献３のように、各ユーザーが自己のアニメーションキャラクター（アバター）の動作を指示する構成では、会議への参加人数が多くなり、多数のアバターが画面表示されるようになると、その分だけ各ユーザーの行動をアバターに反映させる行動反映に係るデータ量が大きくなり、ユーザー端末装置の処理負担や通信回線への負荷が大きくなるため、アバターの動作がフリーズするといった表示不良、或いは会議の音声が途切れるなどの音声不良を招来するおそれがある。さらに、特許文献２、３の構成では、会議画面上のアバターの動きを見ることで、各ユーザーの会議への参加度合を推測することは可能であるものの、会議内容について評価する機能はなく、各ユーザーや第三者が会議の進捗具合を直観的に知ることは不可能であり、その点でも改善の余地があった。

本発明の目的は、アバターを使ったオンライン会議システムにおいて、会議への参加者が多くなった場合でも、各ユーザーの動作をアバターに反映させる動作反映に係るデータ量が大きくなることを抑えて、ユーザー端末装置の処理負担や通信回線への負荷が大きくなることを防ぐことにある。
本発明の他の目的は、アバターを使ったオンライン会議システムにおいて、会議へ参加しているユーザーや第三者が会議の進捗具合を直観的に知ることができるようにすることにある。

本発明は、会議用のサーバー３と、会議に参加する個々のユーザー５によって操作されるとともに、前記サーバー３と通信回線２を介して接続される複数台の端末装置４とで構成されるオンライン会議システムを対象とする。そして、端末装置４が、当該端末装置４（４Ａ）の操作者であるユーザー５（５Ａ）に対応する個人アバター３４（３４Ａ）と、会議に参加している他のユーザー５（５Ｂ～５Ｆ）に対応する個人アバター３４（３４Ｂ～３４Ｆ）とが表示される表示部１１と、カメラ１３を介してユーザー５の動作を検出する動作検出部２１と、動作検出部２１により検出されるユーザー５の動作から、個人アバター３４に反映される動作を抽出する動作抽出部２２と、動作抽出部２２により抽出された動作を示す動作コマンドを、通信回線２を介して端末装置４間で送受信する動作コマンド送受信部２３と、動作コマンドに基づいて、当該動作コマンドに対応する動きを表示部１１に表示された個人アバター３４に反映させる動作反映部２４と、を備える。

動作抽出部２２により抽出される動作が、端末装置４の操作者であるユーザー５、或いは会議用のサーバー３の管理者により選択可能に構成されている。

各端末装置４の表示部１１には、会議の進捗状況を示す会議アバター３２が表示されている。端末装置４は、操作者であるユーザー５による会議の進捗状況の評価に係る操作を受けて、当該評価に対応する評価信号を会議用のサーバー３に送信する評価部２８と、会議用のサーバー３から送信された評価集計結果に係る評価コマンドを受けて、表示部１１に表示された会議アバター３２の形態を変化させる評価反映部２９と、を備える。会議用のサーバー３は、各端末装置４から送信されてきた評価信号を集計し、評価コマンドを各端末装置４に向けて送信する評価集計部５４を備える。

本発明においては、ユーザー５がカメラ１３の前で動くと、その動作はカメラ１３を介して動作検出部２１により検出される。動作抽出部２２は、動作検出部２１により検出された多種多様な動作から個人アバター３４に反映される動作を抽出する。動作抽出部２２により反映される動作が抽出されると、動作コマンド送受信部２３は、当該動作を示す動作コマンドを通信回線２を介して他の端末装置４に送信し、動作反映部２４は、動作コマンドに対応する動きを表示部１１に表示する。以上のように本発明のオンライン会議システムにおいては、各端末装置４を操作するユーザー５の全ての動作を表示部１１上の個人アバター３４に反映させるのではなく、限られた動作のみが個人アバター３４に反映されるようにしたので、ユーザー５の全ての動作を個人アバター３４に反映させる構成に比べて、動作反映に係るデータ量を格段に小さく抑えることができる。したがって、会議への参加者が多くなった場合でも、端末装置４の処理負担や通信回線２への負荷が大きくなることを防いで、個人アバター３４の動作がフリーズするといったような表示不良が発生することや、ユーザー５の発言が途切れるといったような音声不良が発生することを防ぐことができる。

動作抽出部２２により抽出される動作が、端末装置４のユーザー５、或いはサーバー３の管理者により選択可能に構成されていると、会議の種別に応じた最適なユーザー５の動作のみを個人アバター３４に反映させることが可能となる。例えば、本実施例の会議システムを講演会などに適用し、一名の講演者のお言葉を、数十名～数百名の多数の聴講者が聞くような場合には、「拍手」に係るユーザー５である聴講者の動作のみが、それぞれの聴講者に対応した個人アバター３４に反映されるようにして、他の多くの動作は個人アバター３４に反映させないようにすることが可能であり、これにより、多数のユーザー５が参加する講演会でありながら、端末装置４の処理負担や通信回線２への負荷を大幅に抑えて、表示不良や音声不良が発生することを確実に防ぐことができる。個人アバター３４が無駄な動きをすることがなく、講演会がスムーズに進行するという利点もある。

各端末装置４の表示部１１には、会議の進捗状況を示す会議アバター３２が表示されており、各ユーザー５の会議の進捗状況の評価に係る操作を受けて、会議アバター３２の形態が変化するように構成されていると、会議の有意義度を視覚化することができるので、各ユーザー５は、当該会議アバター３２の形態を見るだけで、現在会議が有意義に進んでいるか否かを簡単確実に把握することができる。

本発明の実施形態に係るオンライン会議システムの概略構成図である。 オンライン会議システムを構成する端末装置のブロック図である。 端末装置の表示内容を示す図である。 会議アバターの形態変化を示す図である。 動作認識とアバターへの動作反映とを説明するための図である。 会議用サーバーのブロック図である。

図１乃至図６に、本発明の実施形態に係るオンライン会議システムを示す。図１に、会議システムの概略構成図を示す。この会議システム１は、インターネット等の通信回線２を介して互いに接続されたシステムサーバー（会議用のサーバー）３と、複数の端末装置４（４Ａ～４Ｆ）とで構成される。端末装置４（４Ａ～４Ｆ）は、会議に参加する個々の会議参加者であるユーザー５（５Ａ～５Ｆ）によって操作される。この会議システム１を用いれば、複数のユーザー５が互いに異なる場所に居る場合でも、これらユーザー５は、それぞれが操作する端末装置４を用いて、当該端末装置４のディスプレイ１１上で会議を行うことができる。図示例では、６名のユーザー５が、それぞれが操作する計６台の端末装置４を使って会議に参加する例を示すが、オンライン会議に参加するユーザー５の人数や端末装置４の台数は、上記に限られない。

図２は、端末装置４のブロック図である。端末装置４は、いわゆるノート型パソコンであり、ユーザーにより操作されるキーボード１０、液晶表示パネルであるディスプレイ（表示部）１１、収音用のマイク１２、撮像用のカメラ１３、および拡声器であるスピーカー１４などを備える。端末装置４の制御部１５は、端末装置４の全体の動作を包括的に制御するものであり、ＲОＭ（Read Only Memory）やＳＳＤ（Solid State Drive）などの格納部１６に格納されたプログラム、又は通信部１７を介して外部から読み込んだプログラムを、作業領域であるＲＡＭ（Random Access Memory）１８に展開し、当該プログラムに従って画像表示部１９等を制御する。

図２では、オンライン会議システムに係るプログラム（以下単に「プログラム」と記す。）を実行した際の制御部１５の構成を概略的に示しており、当該プログラムの実行時において、制御部１５は、動作検出部２１、動作抽出部２２、動作コマンド送受信部２３、動作反映部２４、音声入力部２５、音声出力部２６、操作入力部２７、評価部２８、評価反映部２９などで構成される。これら各部の動作については後述する。

図３は、本実施例に係るオンライン会議システム１のディスプレイ１１上における表示画面を示しており、そこには、会議参加者であるユーザー５の情報が表示されるユーザー領域３０と、各ユーザー５により打ち込まれた文字情報が表示されるチャット領域３１と、会議アバター３２が表示される会議アバター領域３３とが形成されている。

図３に示すように、ユーザー領域３０には個人アバター３４が表示されている。個人アバター３４は、端末装置４の操作者であるユーザー５に対応するものであって、オンライン会議という仮想的な空間において、各ユーザー５の分身として表示されるものである。これら個人アバター３４は、プログラム上で予め用意されたキャラクタから各ユーザー５により選択されたもの、或いはプログラム上で各ユーザー５により作成される。図３では、ユーザー領域３０には、６名のユーザー５（５Ａ～５Ｆ）に対応する６つの個人アバター３４（３４Ａ～３４Ｆ）が表示されている。ユーザー領域３０の左上欄に、端末装置４Ａの操作者であるユーザー５（５Ａ）の個人アバター３４（３４Ａ）が表示される。

会議アバター３２は、会議の進捗状況の指針として表示されるものであり、会議参加者であるユーザーによる会議の評価（例えば会議の進捗具合についての〇×△の三段階評価）を受けて形態が変化する。本実施例における会議アバター３２は、飛行帽を被った鷲のパイロットを模したキャラクタ（３２Ａ）を当初形態としており、当該形態から、図４に示すように、有意義な会議であるとして高い評価を受けたときには、より階級の高い将校風の着衣（制帽）を付けたキャラクタ（３２Ｂ）に変化し、他方で無意義な会議であるとして低い評価を受けたときには、ひな鳥風のキャラクタ（３２Ｃ）に変化するようになっている。

図６にシステムサーバー３のブロック図を示す。同図に示すように、システムサーバー３の制御部５０は、同サーバー３の全体の動作を包括的に制御するものであり、当該制御部５０には、各種データやプログラムが格納されたＲОＭやＨＤＤ（Hard Disc Drive）などの格納部５１と、プログラムの作動領域であるＲＡＭ５２などが接続されている。制御部５０は、通信回線２を介して端末装置４との間で各種データを送受信する通信部５３のほか、各端末装置４から送られてきた評価信号を集計し、評価コマンドを各端末装置４に向けて送信する評価集計部５４を備える。

次に、本実施例に係るオンライン会議システムにおけるアバター（個人アバター３４と会議アバター３２）の変化と、制御部１５の処理動作について図１乃至図６を使って説明する。まず、オンライン会議の開催者は、当該会議の開催に先立って、予め個人アバター３４に反映させるべき動作（反映動作）を選択しておく。本実施例では、会議の開催者は「頷く」と「拍手」の二つの動作が反映動作として選択されたものとする。

図３は、会議開始直後のユーザー５Ａが操作する端末装置４Ａのディスプレイ１１の表示態様を示しており、そこでは、ユーザー５Ａの個人アバター３４Ａと、他の５人のユーザー５Ｂ～５Ｆのアバター３４Ｂ～３４Ｆに加えて、初期形態３２Ａの会議アバター３２が表示されている。例えばユーザー５Ａの発言は、端末装置４Ａのマイク１２で収音され、音声入力部２５と通信部１７を介して他の端末装置４Ｂ～４Ｆに送信され、当該他の端末装置４Ｂ～４Ｆの音声出力部２６を通してスピーカー１４から発声される。また、チャット領域３１には、各ユーザー５がキーボード１０を操作することで打ち込まれた文字情報が表示される。

端末装置４Ａのカメラ１３は、ユーザー５Ａの上半身を捉える位置にあり、これにより、当該カメラ１３により会議中におけるユーザー５Ａの上半身の動きは的確に撮影される。カメラ１３により撮像されたデジタルデータは動作検出部２１に送られ、動作検出部２１による映像解析（モーションキャプチャ）を経て、ユーザー５Ａの動作として検出される。具体的には、動作検出部２１は、例えば、「首を傾げる」、「首を横に振る」、「首を縦に振る（頷く）」、「手を振る」、「手を組む」、「手を叩く（拍手）」といったような多種多様なユーザー５Ａの動作を検出する。

動作検出部２１により検出された動作（以下「検出動作」と記す。）は、随時、動作抽出部２２に送られ、動作抽出部２２は、検出動作から個人アバター３４に反映される動作のみを抽出する。具体的には、動作抽出部２２は、検出動作と、先の会議開催者により予め選択された反映動作（「頷く」と「拍手」）とを比較し、検出動作が反映動作と一致する場合には、抽出信号を動作コマンド送受信部２３に伝える。一方、検出動作が反映動作と一致しない場合には、動作抽出部２２から動作コマンド送受信部２３には抽出信号は送られない。

動作コマンド送受信部２３は、動作抽出部２２からの抽出信号を受けると、抽出された動作を示す動作コマンドを、動作反映部２４に送るとともに、通信部１７と通信回線２とを介して他の端末装置４（４Ｂ～４Ｆ）に転送する。動作コマンドを受けた動作反映部２４は、画像表示部１９を介してディスプレイ１１上のユーザー５Ａに対応する個人アバター３４Ａに動作を反映させる。具体的には、図５に示すように、ユーザー５Ａが拍手する動作を行った場合には、ディスプレイ１１上の個人アバター３４Ａには拍手する動作が反映され、ユーザー５Ａが頷く動作を行った場合には、個人アバター３４Ａには頷く動作が反映される。

この動作は、他の端末装置４（４Ｂ～４Ｆ）においても同様であり、ユーザー５Ａが操作する端末装置４Ａの動作コマンド送受信部２３から通信回線２を介して送られてきた動作コマンドを、他の端末装置４（４Ｂ～４Ｆ）の動作コマンド送受信部２３が受信すると、当該他の端末装置４（４Ｂ～４Ｆ）の動作反映部２４は、各端末装置４（４Ｂ～４Ｆ）のディスプレイ１１上のユーザー５Ａに対応する個人アバター３４Ａに、拍手する動作や頷く動作を反映させる。

図３に示すように、会議の開始当初は、当初形態の会議アバター３２（３２Ａ）が表示されている。オンライン会議が進むと、各ユーザー５には会議の進捗状況についての評価が求められる。上述のように評価は〇×△の三段階評価であり、ユーザー５がディスプレイ１１上に表示された〇×△の三種のボタンのいずれかにカーソルを合わせてクリックすることで、評価を実行することができる。端末装置４の評価部２８は、上記のような評価に係る操作を受けると、通信部１７を介して当該評価に対応する評価信号をシステムサーバー３に送信する。

システムサーバー３の評価集計部５４は、各端末装置４の評価部２８から送られてきた評価信号を集計し、会議アバター３２を成長させる、退行させる、或いは現状維持とする旨のいずれか一種の評価コマンドを各端末装置４に向けて送信する。例えば、過半数のユーザー５が有意義な会議であるとして高い評価（〇）を下したときには、評価集計部５４は、各端末装置４のディスプレイ１１に表示されている会議アバター３２を成長させる旨の評価コマンドを送信する。一方、過半数のユーザーが無意義な会議であるとして低い評価（×）を下したときには、評価集計部５４は、会議アバター３２を退行させる旨の評価コマンドを送信する。

各端末装置４の評価反映部２９は、システムサーバー３の評価集計部５４からの評価コマンドを受けると、当該評価コマンドに従って、ディスプレイ１１に表示される会議アバター３２の形態を変化させる。例えば、図４の３２Ａの形態から、成長させる旨の評価コマンドを受けたときには、将校風のキャラクタ（３２Ｂ）の形態に会議アバター３２を変化させる。一方、図４の３２Ａの形態から、退行させる旨の評価コマンドを受けたときには、ひな鳥風のキャラクタ（３２Ｃ）の形態に会議アバター３２を変化させる。

以上のように、本実施例に係るオンライン会議システム１においては、各端末装置４（４Ａ～４Ｆ）を操作するユーザー５（５Ａ～５Ｆ）の全ての動作をディスプレイ１１上の個人アバター３４（３４Ａ～３４Ｆ）に反映させるのではなく、「頷く」と「拍手する」といったような限られた動作のみを個人アバター３４に反映するようにしたので、ユーザー５の全ての動作を個人アバター３４に反映させる構成に比べて、動作反映に係るデータ量を格段に小さく抑えることができる。したがって、会議への参加者が多くなった場合でも、端末装置４（４Ａ～４Ｆ）の処理負担や通信回線２への負荷が大きくなることを防いで、個人アバター３４の動作がフリーズするといったような表示不良が発生することや、ユーザー５の発言が途切れるといったような音声不良が発生することを防ぐことができる。

動作抽出部２２により抽出される動作を、端末装置４のユーザー５、或いはシステムサーバー３の管理者により選択可能に構成したので、会議の種別に応じた最適なユーザー５の動作のみを個人アバター３４に反映させることが可能となる。例えば、本実施例の会議システム１を講演会などに適用し、一名の講演者のお言葉を、数十名～数百名の多数の聴講者が聞くような場合には、「拍手」に係るユーザー５である聴講者の動作のみが、それぞれの聴講者に対応した個人アバター３４に反映されるようにして、他の多くの動作は個人アバター３４に反映させないようにすることが可能であり、これにより、多数のユーザー５が参加する講演会でありながら、端末装置４の処理負担や通信回線２への負担を大幅に抑えて、表示不良や音声不良が発生することを確実に防ぐことができる。個人アバター３４が無駄な動きをすることがなく、講演会がスムーズに進行するという利点もある。

各端末装置４のディスプレイ１１には、会議の進捗状況を示す会議アバター３２が表示されており、各ユーザー５の会議の進捗状況の評価に係る操作を受けて、会議アバター３２の形態が変化するように構成されていると、会議の有意義度を視覚化することができるので、各ユーザー５は、当該会議アバター３２の形態を見るだけで、現在会議が有意義に進んでいるか否かを簡単確実に把握することができる。

上記実施例において、動作抽出部２２により抽出される動作（抽出動作）は、「頷く」と「拍手」であったが、抽出動作はこれらに限られない。ディスプレイ１１上の画面割り等の表示形態は、図３に示すものに限られない。会議アバター３２や個人アバター３４の形態も図示例に限られない。

１ オンライン会議システム
２ 通信回線
３ 会議用のサーバー（システムサーバー）
４ 端末装置
５ ユーザー
１１ 表示部（ディスプレイ）
１３ カメラ
２１ 動作検出部
２２ 動作抽出部
２３ 動作コマンド送受信部
２４ 動作反映部
２８ 評価部
２９ 評価反映部
３２ 会議アバター
３４ 個人アバター
５４ 評価集計部

Claims (2)

1. 会議用のサーバー（３）と、会議に参加する個々のユーザー（５）によって操作されるとともに、前記サーバー（３）と通信回線（２）を介して接続される複数台の端末装置（４）とで構成されるオンライン会議システムにおいて、
   端末装置（４）が、
   当該端末装置（４）の操作者であるユーザー（５）に対応する個人アバター（３４）と、会議に参加している他のユーザー（５）に対応する個人アバター（３４）とが表示される表示部（１１）と、
   カメラ（１３）を介してユーザー（５）の動作を検出する動作検出部（２１）と、
   動作検出部（２１）により検出されるユーザー（５）の動作から、個人アバター（３４）に反映される動作を抽出する動作抽出部（２２）と、
   動作抽出部（２２）により抽出された動作を示す動作コマンドを、通信回線（２）を介して端末装置（４）間で送受信する動作コマンド送受信部（２３）と、
   動作コマンドに基づいて、当該動作コマンドに対応する動きを表示部（１１）に表示された個人アバター（３４）に反映させる動作反映部（２４）と、
   を備えており、
   動作抽出部（２２）により抽出される動作が、端末装置（４）の操作者であるユーザー（５）、或いは会議用のサーバー（３）の管理者により選択可能に構成されてい ることを特徴とするオンライン会議システム。
2. 各端末装置（４）の表示部（１１）には、会議の進捗状況を示す会議アバター（３２）が表示されており、
   端末装置（４）は、
   操作者であるユーザー（５）による会議の進捗状況の評価に係る操作を受けて、当該評価に対応する評価信号を会議用のサーバー（３）に送信する評価部（２８）と、
   会議用のサーバー（３）から送信された評価集計結果に係る評価コマンドを受けて、表示部（１１）に表示された会議アバター（３２）の形態を変化させる評価反映部（２９）と、
   を備え、
   会議用のサーバー（３）が、各端末装置（４）から送信されてきた評価信号を集計し、評価コマンドを各端末装置（４）に向けて送信する評価集計部（５４）を備える 、請求項１記載のオンライン会議システム。

Images