【０００１】
【発明の属する技術分野】
本発明は、隔地で行われる会議にその会場外からインターネットを介して複数の参加者が参加するための電子会議システム及び該システムに使用するための端末コンピュータに関する。
【０００２】
【従来の技術】
電子会議システムは、通信回線を利用して隔地にいる参加者が映像や音声をリアルタイムにやりとりすることによりコミュニケーションを図るための手法として近年利用が盛んになりつつある。従来の電子会議システムは、一般に、参加可能者数が１０人程度を超えるものについては、電話回線を直接相手と繋いで専用の制御装置を用いるものが卓越しており、一方、通信回線をインターネットを介して繋ぐもっと安価なシステムも利用されているが、比較的少人数（概ね１０人未満）の参加が可能であるにすぎない。
【０００３】
ところで、インターネット環境は近時ますます整備されて伝送の高速化が進んでおり、ＩＳＤＮ、ＸＤＳＬ（ＡＤＳＬ等）等のブロードバンド技術が浸透しつつあり、映像や音声をインターネット上でやりとりすることが容易になりつつある。従って、多人数の参加者がパソコン端末によりインターネットを介して利用できる比較的安価に構成可能な電子会議システムが期待されている。
【０００４】
しかしながら、シテスムへの参加可能者数を増やそうとした場合、いかにＡＤＳＬ等の高速回線を利用しようとも、多数の参加者（例えば、３０人程度）を参加させたなら、各参加者の映像を通信回線に載せようとすると通信回線への負荷が過度になりスムーズな情報伝達が困難になる問題を生じる。また、各端末コンピュータやサーバーシステムに与える負荷も無視できず、通常使用されるハードウエアの処理能力を超えるおそれがある。
【０００５】
また、多人数が参加する会議となると発言を希望する参加者それぞれに適切な発言機会を与えることが会議運営上考慮すべき重要な課題である。従来技術において、自動的に発言者を識別できる電子会議システム（例えば、特許文献１参照。）や、発言者の音声レベル情報により発言者の特定を容易化する技術（例えば、特許文献２参照。）等が知られている。しかしながら、発言者の自動識別は誤動作の問題があり、音声レベル情報による特定では必ずしも正確に発言者を特定できず、また、回線に流す情報量の増大を招き過負荷の問題を生じる。
【０００６】
さらに、主会議場と隔地参加者とが主会議場で表示されている各種情報、例えば、リアルタイムでビデオ撮像されている事象、動画、各種データ等のリアルタイム表示や、図表やグラフ、テキスト等の各種資料、などを共に参照しつつ討論や意志の表示が可能であることが望まれており、隔地参加者において主会議場の参加者と同等の利便が提供されることが期待されている。このために、適切な設計のマルチウインドウ表示が必要とされる。マルチウインドウ表示を利用したビデオ会議システムとしては、オペレーターからの制御のもとで離れた会議に参加している全メンバーを同時に表示するマルチビデオウインドウが開示されている（例えば、特許文献３参照。）。また、コンピュータデータと映像情報とを１台のディスプレイ上に表示するテレビ会議システムも知られている（例えば、特許文献４参照。）。しかしながら、これらの技術はいずれも、多数の参加者に適用した場合に、回線への負荷を低減してスムーズな会議コミュニケーションを可能とするものではない。
【０００７】
【特許文献１】
特公平７−７１２７５号公報
【特許文献２】
特開２０００−８３２２９号公報
【特許文献３】
特表平１１−５０９９９６号公報
【特許文献４】
特開２００２−２７１７６３号公報
【０００８】
【発明が解決しようとする課題】
上述の現状に鑑み、本発明の目的は、インターネットを利用しながら、多人数が参加しても回線や端末コンピュータへの過負荷を回避し、利便性の高い会議コミュニケーションが可能な電子会議システム及び該システムを構築するために使用されるアプリケーションが搭載されてなる電子会議端末コンピュータを提供することにある。
【０００９】
【課題を解決するための手段】
本発明者は、上記問題を解決するべく種々検討を重ねた結果、現実の大規模会議での知見をもとに、会議発言者を統制するオペレーター機能や会議参加者の映像・音声の配信を人為的に制御する機能を設けることにより、多人数が円滑に電子会議に参加することができるシステムを安価に提供し得ることに想到した。
【００１０】
すなわち、本発明は、隔地で行われる会議にその会場外からインターネットを介して複数の参加者が参加するための電子会議システムであって、参加者にコンテンツを配信するコンテンツ配信サーバー手段、並びに、ビデオカメラ及び／又はマイクロフォンを有する参加者の各端末コンピュータと双方向に通信可能に接続され参加者に配信する内容を取捨選択するオペレーションサーバー手段を有し、上記オペレーションサーバー手段からの制御信号によって送出映像データ量を切り換えることにより送出された、上記オペレーションサーバー手段により選択されて上記制御信号を受信した参加者の端末コンピュータから送出された映像を表示する少なくとも１つのウインドウ、及び、上記コンテンツ配信サーバーから送出された会議情報を表示する少なくとも１つのウインドウを、参加者の各端末コンピュータの表示装置に表示する電子会議システムである。なお、隔地で行われる会議とは、遠隔地で行われる会議に限らず、一般には、当該会議（集会、講演会、その他の形式も含む）の開かれている会場外において当該会議に参加する者にとっての目的当該会議である。
【００１１】
本発明の１態様において、上記オペレーションサーバー手段にはオペレーターにより操作されるオペレーター端末が接続されており、上記オペレーター端末には、オペレーターが選択するための、参加者の各端末コンピュータから送出された各映像であって、上記オペレーションサーバー手段により選択されて送出映像データ量を切り換えることにより送出される参加者からの映像データ量よりも小さいデータ量で参加者端末コンピュータから送出される各映像を表示する複数のウインドウが表示される。
本発明の他の態様において、参加者の各端末コンピュータの表示装置には、少なくとも、発言を希望する意志をオペレーターに送信するためのアイコンが表示されており、オペレーター端末に上記アイコンのクリックに対応する表示が行われる。
本発明のさらに他の態様において、参加者の各端末コンピュータの表示装置には、少なくとも、コンテンツ配信サーバーから送出された会議場で表示されている映像を表示するウインドウ、及び、端末コンピュータを通じて発言する参加者の映像を表示するウインドウが表示される。
【００１２】
本発明の別の態様において、会議場で表示されている映像を表示する複数のウインドウのうち、少なくとも一組のウインドウが同期されて映像を表示する。
本発明の他の態様においては、さらに、参加者端末のキーボードから入力された文字列が表示されるチャットウインドウを有する。
本発明の一つの態様において、コンテンツ配信サーバーから送出された会議情報は、動画ファイル、ビデオカメラからの映像信号、静止画、音声信号及びテキストデータからなる群から選択される少なくとも１種である。
本発明のさらに別の態様において、コンテンツ配信サーバーから送出された会議情報を表示するウインドウに、参加者の端末コンピュータから入力されたポインタ又は描線が会議情報に重畳して表示される。
【００１３】
本発明はまた、インターネットを介して接続された複数の端末コンピュータにコンテンツを配信するコンテンツ配信サーバー手段、及び上記複数の端末コンピュータと双方向に通信可能に接続され上記端末コンピュータに配信する内容を取捨選択するオペレーションサーバー手段を有して隔地で行われる会議にその会場外からインターネットを介して複数の参加者が参加するための電子会議システム、に使用される端末コンピュータであって、上記端末コンピュータには、上記オペレーションサーバー手段を介して映像が他の参加者に配信されているか否かに応じて、送出する映像データ量を変更して映像データを送出するとともに、映像データ量を変更して映像データを送出した端末コンピュータからの映像を表示する少なくとも１つのウインドウ、及び、上記コンテンツ配信サーバーから送出された会議情報を表示する少なくとも１つのウインドウを、上記端末コンピュータの表示装置に表示するアプリケーションが搭載されている電子会議システム端末コンピュータでもある。
【００１４】
本発明はまた、インターネットを介して接続された複数の端末コンピュータ及び上記複数の端末コンピュータと双方向に通信可能に接続され各上記端末コンピュータに配信する内容を取捨選択するオペレーションサーバー手段を有して上記複数の端末コンピュータにインターネットを介して映像データを送出するための電子表示システム、に使用される端末コンピュータであって、上記端末コンピュータには、上記オペレーションサーバー手段を介して映像が他の端末コンピュータに配信されているか否かに応じて、送出する映像データ量を変更して映像データを送出するとともに、送出する映像データ量を変更して送出した端末コンピュータからの映像を表示する少なくとも１つのウインドウを、上記端末コンピュータの表示装置に表示するアプリケーションが搭載されている電子表示システム端末コンピュータでもある。
以下、本発明を詳細に説明する。
【００１５】
【発明の実施の形態】
本発明の実施の形態の一例を示す図に基づいて説明するが、本発明はこれらの態様に制限されるものではなく、以下の態様に対して通常施される各種変更からなる態様も当然に本発明に含まれる。
【００１６】
図１は本発明の電子会議システムの構成を例示する。コンテンツ配信サーバー１１は、図示しないデータベースサーバーや会議場内に設置されたビデオカメラやマイクロフォン、会議場で発表される電子データを送出するパソコン端末、等と接続可能であり、また、会議場に設置されたモニターに映像や音声を出力することができる。コンテンツ配信サーバー１１はまた、インターネット２１に接続されており、参加者端末コンピュータ１３にコンテンツを配信する。コンテンツ配信サーバー１１から送出された会議情報は、例えば、動画ファイル、ビデオカメラからの映像信号、静止画、音声信号及びテキストデータからなる群から選択される少なくとも１種であってよい。これらの会議情報は、各端末コンピュータ１３において必要に応じてプリントアウト又は記憶手段に保存可能なものであることが好ましい。
【００１７】
ところで、従来の電子会議システムで用いられている通信プロトコルにおいては、参加者がすべて同じ重み付けを付与されており、各参加者の端末表示装置には全ての参加者の映像が同等の画質で表示されている。このため、参加者数が増加すると参加者に配信される映像の数が増え、参加者端末や回線への負荷が増大し、現実の使用に耐えなくなってしまう。さらに、参加者端末表示装置においても、表示される映像の数が増加して煩雑な画面になり、利便性が損なわれてしまう。
【００１８】
また、現実の会議において、その規模が大きくなれば、発言者を指名したり選択する議長が必要となる。本発明においては、オペレーションサーバー手段が電子会議をコントロールし、発言者を指名したり選択したりする機能を担当する。上記オペレーションサーバー手段としては、独立したオペレーションサーバーであってもよく、又は、例えば、コンテンツ配信ハーバー手段と兼ねた装置であってもよい。好ましくは、独立したオペレーションサーバーである。
【００１９】
オペレーションサーバー１２は、各端末コンピュータ１３とインターネット２１を介して双方向に通信可能に接続され、上記各端末コンピュータ１３からの送出データ等を受理し、必要に応じてコンテンツ配信サーバー１１に送付するか、又は、オペレーター端末１４に送信するとともに、各端末コンピュータ１３に配信するデータである場合には、それを各端末コンピュータ１３に送信する。オペレーションサーバー１２は、通信プロトコルのゲートキーパーの役割を持つと共に、各参加者の映像データをオペレーションサーバー１２に接続されたオペレーター端末１４に送信する機能を果たす。また、オペレーター端末１４からの指令により各参加者端末１３に対して各種の制御信号を送信することができる。さらに、オペレーションサーバー１２は、各参加者端末１３からの要求信号を受信してオペレーター端末１４に送信する機能も有する。このように、本発明において、オペレーションサーバー１２は、参加者に配信する内容を全体として取捨選択しコントロールする役割を果たす。
【００２０】
上記オペレーター端末１４には、オペレーターが選択するための、参加者の各端末コンピュータ１３から送出された各参加者の映像が表示される複数のウインドウが表示される。従って、オペレーターは、会議に参加している参加者全員の映像をモニターすることができる。オペレーターは、その映像や、好ましくは、参加者の各端末コンピュータ１３の表示装置に表示されている、発言を希望する意志をオペレーターに表示するためのアイコンのクリックに対応する表示がオペレーター端末に表示される状態を見て、適宜の参加者を選択することができる。
【００２１】
これにより、参加者の各端末コンピュータ１３には、参加者全体のうち、オペレーターが選んだ参加者の映像だけが表示されることになり、各参加者は、現時点における会議の発言者を的確に確認することが可能となり、会議の全体を容易に把握することができる。
【００２２】
もっとも、この機能を実現するためには、オペレーター端末１４の演算負荷とインターネット回線の負荷を低く抑えることが必要である。オペレーター端末１４に通常の高品質映像が各参加者の端末コンピュータ１３から配信されてくると、オペレーター端末１４には大量の映像データが集中し、そのデータ処理が現在広く使用されているコンピュータのハードウエア性能ではまかないきれない可能性が高い。また、そのような大量のデータが送られるためには、インターネット回線が非常に大容量のものである必要が生じ、やはり現在広く使用されている回線規格ではまかないきれない可能性が高い。
【００２３】
この問題に対処するために、本発明においては、各参加者の端末コンピュータ１３において、その参加者の映像が他の参加者に配信されているか否かに応じて、送出する映像データ量を変更する。すなわち、通常は、低品質の映像データをオペレーションサーバー１２に送出しておく。この各参加者から送出された低品質の映像データは、オペレーションサーバー１２からオペレーター端末１４に中継される。オペレーター端末１４では、すべての参加者からの映像を一覧表示しておき、オペレーターが、どの参加者が現在発言しているか、または、どの参加者が発言の希望を表示しているか、などの会議全体の状況を把握することができる。
【００２４】
図２は、オペレーター端末の表示画面の一例を示す。画面には、参加者のモニター映像を表示する領域が並んでいる。また、画面右上には、各端末コンピュータに映像を配信するためのチャンネルがチャンネル１〜４として表示されている。オペレーターは、このモニター映像と映像配信チャンネルとを、例えば、マウスクリック等の簡単な操作により選択して、配信チャンネルに流すべきモニター映像を選択することができる。図２の画面上では参加者モニターのうち１〜４の番号が付された映像がチャンネル１〜４に配信されることを示す。さらに、参加者から発言要求がなされた場合には、当該参加者のモニター領域にマーカー（図中の点線枠表示）が表示される。
【００２５】
そして、これらの状況から、オペレーターが適切と考える映像をすべての参加者に配信すべき映像として選択する。オペレーターの、例えば、キーボードやマウス、又は、タッチパネル等の選択操作により、オペレーター端末１４からオペレーションサーバー１２を介して、選択された参加者の端末コンピュータに対して、高品質の映像データを送信するように制御命令が送出される。この命令に従って、当該命令を受信した参加者端末コンピュータ１３は、エンコードの方式を変更する等の手法により、通常よりも高品質の映像データをオペレーションサーバー１２に配信する。この高品質映像データを受信したオペレーションサーバー１２は、その高品質映像データ、又は、場合によりそれを加工合成したデータを、参加者全員の端末コンピュータ１３に向けて配信する。なお、映像データの圧縮は、一般には、一定の手順に従って映像データ中の冗長な部分を切り詰めることによって行うことができ、また、ビデオ映像のフレーム送出速度を変えたりすることにより、高品質の映像データをデータ量の少ない低品質映像に変換することができる。逆に、このような処理を中止する命令によりデータ量の多い高品質映像データの送出に戻すことができる。
【００２６】
本発明においては、参加者端末コンピュータ１３は、オペレーションサーバー１２を介してコンテンツ配信サーバー１１から送出される音声、映像等のデータを表示するとともに、端末コンピュータ１３に接続されているビデオカメラ３１やマイクロフォン３２からの信号をオペレーションサーバー１２からの指令に従って符号化し、送出する機能を有する。参加者端末コンピュータ１３の表示装置には、好ましくは、コンテンツ配信サーバー１１から送出された会議場で表示されている映像を表示するウインドウ、及び、端末コンピュータを通じて発言する参加者の映像を表示するウインドウが表示される。会議場で表示されている映像を表示するウインドウは好ましくは複数表示され、そのうち、少なくとも一組のウインドウが同期されて映像を表示する。従って、例えば、ビデオカメラ映像と同期する計器表示等を映像ウインドウとは別のウインドウに同期されて表示されることができる。
【００２７】
端末コンピュータ１３には、さらに、参加者端末のキーボードから入力された文字列が表示されるチャットウインドウを有していてもよい。また、好ましくは、発言を希望する意志をオペレーターに表示するためのアイコンが表示されている。もちろん、発言の意志表示は、他の手段であってもよく、例えば、スイッチや押しボタン等を端末コンピュータ１３に接続してもよい。
【００２８】
図３は、端末コンピュータの表示画面の１例を示す。画面には、４チャンネル分の映像表示領域と当該端末を使用している参加者の自映像をモニタ表示する領域とが設けられている。この４チャンネル分の映像表示領域のうち、例えば、２チャンネル分を会議情報の表示に宛て、残りの２チャンネル分を発言者の映像や、参加者が送出した映像データ等の表示に宛てることが可能である。また、オペレーターに対して発言を要求する意志表示のための発言要求ボタンアイコンが表示されている。さらに、参加者の氏名を表示する領域、チャットを表示する領域、マイクロフォン音量や音声出力を調節するためのスライドバーが表示されている。
【００２９】
本発明においては、上述の機能を発揮するために、上記端末コンピュータ１３には、上記オペレーションサーバー１２を介して映像が他の参加者に配信されているか否かに応じて、送出する映像データ量を変更して送出するとともに、送出する映像データ量を変更して送出された参加者からの映像データを表示する少なくとも１つのウインドウ、及び、コンテンツ配信サーバーから送出された会議情報を表示する少なくとも１つのウインドウを、上記端末コンピュータの表示装置に表示する専用アプリケーションが搭載されていることが好ましい。上述のような多彩な機能を端末コンピュータに持たせるためには、サーバーのアプリケーションをリモートで実行することはサーバーや回線に負荷を掛けすぎて現実的ではなく、また、既存のアプリケーションを組み合わせて使用することでは、適切な性能を確保することは、一般には困難である。上記アプリケーションは、上述の機能を必要にして充分に果たすものであり、端末コンピュータへの負荷が大きくなり過ぎることがなく、円滑なシステムの運用を可能とする。
【００３０】
本発明においては、データ会議システムを実装することが好ましい。データ会議システムとは、文書作成画面やスライド画面を複数の参加者端末に同時に表示して参加者がお互いに文書について共同作業したり、スライドの遠隔プレゼンテーションを行うシステムである。また、コンテンツ配信サーバーから送出された会議情報を表示するウインドウに、参加者の端末コンピュータから入力されたポインタ又は描線が会議情報に重畳して表示される所謂電子黒板機能を有することが好ましい。このような機能は、例えば、マウス等の操作手段からの信号に基づいた操作信号に応じて必要なポインタ画像データをＲＯＭ等から読み出して画像データとの合成データを作成し、画像データとポインタ画像のデータとを重畳して表示装置に出力する等の手法で実現することができる。
【００３１】
本発明はまた、インターネットを介して接続された複数の端末コンピュータ及び各端末コンピュータに配信する内容を取捨選択するオペレーションサーバー手段を有して上記複数の端末コンピュータにインターネットを介して映像データを送出するための電子表示システムに適用することができる。本発明によれば、中央の制御用端末から、映像データを送信する端末のコンピュータを制御する電子表示システムにおいて、オペレーターが映像送出装置を一元管理することができ、すべての映像をモニターしつつ、その一部を高品質で受信することが、回線やシステムに過度の負担をかけることなく実現できる。このような目的のために使用される端末コンピュータは、上記オペレーションサーバー手段を介して映像が他の端末コンピュータに配信されているか否かに応じて、送出する映像データ量を変更して送出するとともに、送出する映像データ量を変更して送出された端末コンピュータからの映像データを表示する少なくとも１つのウインドウを、上記端末コンピュータの表示装置に表示するアプリケーションが搭載されていればよい。
【００３２】
さらに本発明によれば、中央の制御用コンピュータから、映像データを送信する各端末のコンピュータを制御する表示システムを構築することもできる。すなわち、インターネットを介して接続された複数の端末コンピュータ及び上記複数の端末コンピュータと双方向に通信可能に接続されたオペレーションサーバー手段に接続された表示コンピュータを有して上記複数の端末コンピュータからの映像データをインターネットを介して表示するための表示システムにおいて、オペレーターが映像送出装置を一元管理することができ、すべての端末映像をモニターしつつ、その一部を高品質で受信することが、回線やシステムに過度の負担をかけることなく実現できるので、多数の端末の映像データを受信しつつ、必要な映像データを高品質で受信可能であり、例えば、監視システム等にも応用可能である。
【００３３】
【発明の効果】
本発明のシステムは、上述の構成により、最大参加者数を、例えば、３０人程度とした場合、その中からオペレーターが選択した数人分程度の映像・音声を各参加者に表示できるようにすることが、インターネットを利用した安価なシステムで実現可能である。また、会議情報として各種の画像やテキストを参加者に配信することができ、会議場と同様の便宜が隔地の参加者にも提供される。これにより、各参加者は、会議の現時点における発言者の様子を観察することができるので、多人数の参加者であっても会議全体の動向を把握しやすくなり、円滑な会議運営が可能となる。また、専用ソフトウエアを用いることにより、機能の追加変更や、後のコンピュータ性能、回線環境等の変化にも柔軟に対応することができる。従って、企業の本支店間の定例会議、大学の学外受講システム、研究機関と研究者間での討論システム等に有利に使用可能である。さらに、本発明の電子情報表示システム端末により、オペレーターによって多数の映像、音声の配信をコントロールされて、インターネットを介して多数の端末コンピュータから配信された映像情報を円滑かつ比較的安価な構成で表示することができる。
【図面の簡単な説明】
【図１】本発明の電子会議システムの構成の１態様を示す。
【図２】本発明の電子会議システムにおけるオペレーター端末の表示画面の１態様を示す。
【図３】本発明の電子会議システムにおける参加者端末コンピュータの表示画面の１態様を示す。
【符号の説明】
１１．コンテンツ配信サーバー
１２．オペレーションサーバ
１３．参加者端末コンピュータ
１４．オペレーター端末
２１．インターネット
３１．ビデオカメラ
３２．マイクロフォン[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an electronic conference system in which a plurality of participants participate in a conference held in a remote place from outside the venue via the Internet, and a terminal computer used for the system.
[0002]
[Prior art]
2. Description of the Related Art Electronic conferencing systems have been increasingly used in recent years as a method for communicating by transmitting and receiving video and audio in real time between remote participants using a communication line. Conventional electronic conferencing systems generally use a dedicated control device by directly connecting a telephone line to the other party for those who can participate more than about 10 people. More inexpensive systems are also used, but only a relatively small number (generally less than 10) of participants is possible.
[0003]
By the way, the Internet environment has recently been improved and the speed of transmission has been increased, and broadband technologies such as ISDN and XDSL (ADSL, etc.) have been penetrating, making it easy to exchange video and audio over the Internet. It is becoming. Therefore, a relatively inexpensive electronic conference system that can be used by a large number of participants via the Internet using a personal computer terminal is expected.
[0004]
However, when trying to increase the number of participants that can participate in the system, no matter how much a high-speed line such as ADSL is used, if a large number of participants (for example, about 30 people) participate, the video of each participant is transmitted. Attempting to place the information on a line causes a problem that the load on the communication line becomes excessive and smooth information transmission becomes difficult. In addition, the load imposed on each terminal computer and server system cannot be ignored, and may exceed the processing capacity of commonly used hardware.
[0005]
It is also an important issue to consider in the operation of a conference that when a conference is attended by a large number of people, giving appropriate speech opportunities to each of the participants who wish to speak. In the related art, an electronic conference system that can automatically identify a speaker (for example, see Patent Literature 1), and a technology that facilitates identification of a speaker based on voice level information of the speaker (for example, see Patent Literature 2). ) Are known. However, automatic identification of a speaker has a problem of malfunction, and identification by voice level information cannot always identify a speaker accurately, and also causes an increase in the amount of information to be sent to a line, resulting in an overload problem.
[0006]
Furthermore, various information displayed in the main conference hall and the remote participant in the main conference hall, for example, events that are being video-captured in real time, moving images, real-time display of various data, charts, graphs, texts and the like It is desired that discussions and intentions can be displayed while referring to various materials, etc., and it is expected that remote participants will be provided with the same convenience as those of the main conference hall. For this purpose, an appropriately designed multi-window display is required. As a video conference system using multi-window display, a multi-video window that simultaneously displays all members participating in a remote conference under the control of an operator is disclosed (for example, see Patent Document 3). ). A video conference system that displays computer data and video information on a single display is also known (for example, see Patent Document 4). However, none of these technologies, when applied to a large number of participants, reduces the load on the line and enables smooth conference communication.
[0007]
[Patent Document 1]
Japanese Patent Publication No. 7-71275 [Patent Document 2]
Japanese Patent Application Laid-Open No. 2000-83229 [Patent Document 3]
Japanese Patent Publication No. 11-509996 [Patent Document 4]
Japanese Patent Application Laid-Open No. 2002-271763
[Problems to be solved by the invention]
In view of the above situation, it is an object of the present invention to provide an electronic conference system capable of performing highly convenient conference communication while avoiding overload on a line or a terminal computer even when a large number of people participate while using the Internet. An object of the present invention is to provide an electronic conference terminal computer on which an application used for constructing the system is mounted.
[0009]
[Means for Solving the Problems]
The present inventor has conducted various studies to solve the above problems, and as a result, based on the knowledge of a real large-scale conference, distributed an operator function for controlling conference speakers and distribution of video and audio of conference participants. By providing the function of artificially controlling, it has been conceived that a system can be provided at a low cost that enables a large number of people to smoothly participate in the electronic conference.
[0010]
That is, the present invention is an electronic conference system for a plurality of participants to participate in a conference held in a remote place from outside the venue via the Internet, and a content distribution server means for distributing content to the participants, and It has an operation server means connected bidirectionally to each participant's terminal computer having a video camera and / or a microphone to select contents to be distributed to the participant, and is transmitted by a control signal from the operation server means. At least one window for displaying an image transmitted from the terminal computer of the participant selected by the operation server means and receiving the control signal, which is transmitted by switching the amount of video data, and from the content distribution server Meeting information sent At least one window Shimesuru, an electronic conference system to be displayed on the display device of the terminal computer of the participant. In addition, the conference held in a remote place is not limited to a conference held in a remote place, and generally, participates in the conference outside the venue where the conference (including meetings, lectures, and other forms) is held. The purpose of this meeting is for the person.
[0011]
In one embodiment of the present invention, an operator terminal operated by an operator is connected to the operation server means, and each of the operator terminals is sent from each terminal computer of the participant for selection by the operator. Displaying each video transmitted from the participant terminal computer with a data amount smaller than the video data amount from the participant transmitted by switching the transmission video data amount selected by the operation server means. Multiple windows are displayed.
In another aspect of the present invention, at least an icon for transmitting an intention to speak to the operator is displayed on the display device of each terminal computer of the participant, and the operator terminal corresponds to a click of the icon. Is displayed.
In still another aspect of the present invention, a display device of each terminal computer of the participant has at least a window for displaying an image displayed in the conference hall transmitted from the content distribution server, and a speech through the terminal computer. A window displaying the video of the participant is displayed.
[0012]
In another embodiment of the present invention, at least one set of windows among the plurality of windows displaying the video displayed in the conference hall displays the video in synchronization.
Another embodiment of the present invention further includes a chat window in which a character string input from the keyboard of the participant terminal is displayed.
In one embodiment of the present invention, the conference information sent from the content distribution server is at least one selected from the group consisting of a moving image file, a video signal from a video camera, a still image, an audio signal, and text data.
In still another embodiment of the present invention, a pointer or a drawing line input from a participant's terminal computer is displayed in a window displaying the conference information sent from the content distribution server so as to be superimposed on the conference information.
[0013]
The present invention also provides a content distribution server means for distributing content to a plurality of terminal computers connected via the Internet, and discards contents to be connected to the plurality of terminal computers so as to be able to communicate bidirectionally and to be distributed to the terminal computers. A terminal computer used in an electronic conference system for a plurality of participants to participate in a conference held in a remote place having an operation server means selected from outside the venue via the Internet from outside the venue, wherein the terminal computer Changes the amount of video data to be transmitted and transmits video data according to whether or not the video is distributed to other participants via the operation server means, and changes the amount of video data to At least one window for displaying video from the terminal computer that transmitted the data. Window, and, at least one window for displaying the meeting information sent from the content distribution server, but also the electronic conference system terminal computer application to be displayed on the display device of the terminal computer is mounted.
[0014]
The present invention also has a plurality of terminal computers connected via the Internet and an operation server means connected to the plurality of terminal computers so as to be able to communicate with each other in a bidirectional manner and selecting contents to be distributed to each of the terminal computers. An electronic display system for transmitting video data to the plurality of terminal computers via the Internet, wherein the terminal computer has a video image transmitted to another terminal computer via the operation server means. At least one window for changing the amount of video data to be transmitted and transmitting the video data according to whether or not the video is transmitted to the terminal computer, and displaying the video from the terminal computer which has transmitted the video data with the changed amount of video data to be transmitted. Is displayed on the display device of the terminal computer. Is also the electronic display system terminal computer application is installed.
Hereinafter, the present invention will be described in detail.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
The present invention will be described with reference to the drawings illustrating an example of an embodiment of the present invention. However, the present invention is not limited to these aspects, and naturally, aspects including various changes generally performed on the following aspects are also applicable. Included in the present invention.
[0016]
FIG. 1 illustrates the configuration of the electronic conference system of the present invention. The content distribution server 11 can be connected to a database server (not shown), a video camera and a microphone installed in the conference hall, a personal computer terminal that sends out electronic data to be presented at the conference hall, and the like. Output video and audio to the monitor. The content distribution server 11 is connected to the Internet 21 and distributes the content to the participant terminal computer 13. The conference information transmitted from the content distribution server 11 may be, for example, at least one selected from the group consisting of a moving image file, a video signal from a video camera, a still image, an audio signal, and text data. It is preferable that such conference information can be printed out or stored in a storage unit in each terminal computer 13 as necessary.
[0017]
By the way, in the communication protocol used in the conventional electronic conference system, all the participants are given the same weight, and the images of all the participants are displayed on the terminal display device of each participant with the same image quality. Have been. For this reason, when the number of participants increases, the number of videos distributed to the participants increases, and the load on the participant terminals and lines increases, making it impossible to withstand actual use. Furthermore, also in the participant terminal display device, the number of displayed images increases, resulting in a complicated screen, and the convenience is impaired.
[0018]
In a real meeting, if the scale of the meeting increases, a chairperson who appoints or selects a speaker is required. In the present invention, the operation server means controls the electronic conference and has a function of designating and selecting a speaker. The operation server means may be an independent operation server, or may be, for example, a device also serving as a content distribution harbor means. Preferably, it is an independent operation server.
[0019]
The operation server 12 is connected to each of the terminal computers 13 via the Internet 21 so as to be capable of bidirectional communication, receives data sent from each of the terminal computers 13 and sends the data to the content distribution server 11 as necessary. Alternatively, when the data is transmitted to the operator terminal 14 and distributed to each terminal computer 13, the data is transmitted to each terminal computer 13. The operation server 12 has a role of a gatekeeper of a communication protocol, and has a function of transmitting video data of each participant to an operator terminal 14 connected to the operation server 12. Further, various control signals can be transmitted to each participant terminal 13 according to a command from the operator terminal 14. Further, the operation server 12 has a function of receiving a request signal from each participant terminal 13 and transmitting the request signal to the operator terminal 14. As described above, in the present invention, the operation server 12 plays a role of selecting and controlling the contents to be distributed to the participants as a whole.
[0020]
The operator terminal 14 displays a plurality of windows for displaying the video of each participant sent from each terminal computer 13 of the participant for selection by the operator. Therefore, the operator can monitor the images of all the participants participating in the conference. The operator displays on the operator terminal the image or, preferably, the icon corresponding to the click of an icon displayed on the display device of each terminal computer 13 of the participant for displaying the will to speak to the operator. The user can select an appropriate participant by looking at the state.
[0021]
As a result, only the video of the participant selected by the operator among all the participants is displayed on each terminal computer 13 of the participant, and each participant accurately identifies the speaker of the conference at the present time. This makes it possible to confirm and easily grasp the entire conference.
[0022]
However, in order to realize this function, it is necessary to reduce the calculation load on the operator terminal 14 and the load on the Internet line. When ordinary high-quality video is distributed from the terminal computer 13 of each participant to the operator terminal 14, a large amount of video data is concentrated on the operator terminal 14, and the data processing is performed by the hardware of a computer widely used at present. It is highly likely that wear performance will not be enough. Also, in order to send such a large amount of data, it is necessary for the Internet line to have a very large capacity, and there is a high possibility that the line standard which is currently widely used cannot be covered.
[0023]
In order to deal with this problem, in the present invention, the amount of video data to be transmitted is changed in the terminal computer 13 of each participant depending on whether or not the video of the participant is distributed to other participants. I do. That is, normally, low-quality video data is sent to the operation server 12. The low-quality video data sent from each participant is relayed from the operation server 12 to the operator terminal 14. The operator terminal 14 displays a list of videos from all participants, and the operator can determine which participant is currently speaking or which participant is displaying a desire to speak. You can grasp the overall situation.
[0024]
FIG. 2 shows an example of a display screen of the operator terminal. On the screen, areas for displaying the monitor images of the participants are arranged. Channels for distributing video to each terminal computer are displayed as channels 1 to 4 at the upper right of the screen. The operator can select the monitor image and the image distribution channel by a simple operation such as a mouse click, for example, and select a monitor image to be transmitted to the distribution channel. On the screen of FIG. 2, it is shown that videos numbered 1 to 4 among the participant monitors are distributed to channels 1 to 4. Furthermore, when a participant makes a speech request, a marker (indicated by a dotted frame in the figure) is displayed in the monitor area of the participant.
[0025]
Then, based on these situations, the operator selects a video that is considered appropriate as a video to be distributed to all participants. High quality video data is transmitted from the operator terminal 14 to the selected participant's terminal computer via the operation server 12 by the operator's selection operation of, for example, a keyboard, a mouse, or a touch panel. Is sent to the control command. According to this command, the participant terminal computer 13 that has received the command distributes video data of higher quality than usual to the operation server 12 by a method such as changing the encoding method. The operation server 12 that has received the high-quality video data distributes the high-quality video data or data obtained by processing and combining the high-quality video data to the terminal computers 13 of all the participants. In general, compression of video data can be performed by trimming redundant portions in the video data according to a certain procedure, and by changing the frame transmission speed of video video, high-quality video can be compressed. Data can be converted into a low-quality video with a small amount of data. Conversely, it is possible to return to sending high-quality video data with a large data amount by issuing an instruction to stop such processing.
[0026]
In the present invention, the participant terminal computer 13 displays data such as audio and video transmitted from the content distribution server 11 via the operation server 12, and also displays the video camera 31 and the microphone connected to the terminal computer 13. 32 has a function of encoding and transmitting the signal from the operation server 12 according to a command from the operation server 12. The display device of the participant terminal computer 13 preferably has a window for displaying an image displayed in the conference hall sent from the content distribution server 11 and a window for displaying an image of the participant speaking through the terminal computer. Is displayed. Preferably, a plurality of windows for displaying the video displayed in the conference hall are displayed, and at least one set of the windows displays the video in synchronization. Therefore, for example, an instrument display or the like synchronized with the video camera image can be displayed in synchronization with a window different from the image window.
[0027]
The terminal computer 13 may further include a chat window in which a character string input from the keyboard of the participant terminal is displayed. Further, preferably, an icon for displaying an intention to speak to the operator is displayed. Of course, the indication of the intention to speak may be other means, for example, a switch or a push button may be connected to the terminal computer 13.
[0028]
FIG. 3 shows an example of the display screen of the terminal computer. The screen is provided with an image display area for four channels and an area for monitoring and displaying the own image of the participant using the terminal. Of the four channels of video display area, for example, two channels should be directed to the display of the conference information, and the remaining two channels should be directed to the display of the video of the speaker or the video data transmitted by the participants. Is possible. Further, a comment request button icon for displaying a will to request a statement from the operator is displayed. Further, an area for displaying the participant's name, an area for displaying a chat, and a slide bar for adjusting microphone volume and audio output are displayed.
[0029]
In the present invention, in order to perform the above-described functions, the terminal computer 13 sends the amount of video data to be transmitted according to whether or not the video is distributed to other participants via the operation server 12. And at least one window for displaying the video data from the participant transmitted by changing the amount of video data to be transmitted, and at least one window for displaying the conference information transmitted from the content distribution server. It is preferable that a dedicated application for displaying one window on the display device of the terminal computer be installed. In order to provide the terminal computer with various functions as described above, it is not practical to execute the server application remotely because it places too much load on the server and the line, and uses a combination of existing applications. Therefore, it is generally difficult to secure appropriate performance. The application needs the above-described functions and fulfills the functions sufficiently, and the load on the terminal computer is not excessively increased, and the system can be operated smoothly.
[0030]
In the present invention, it is preferable to implement a data conference system. The data conferencing system is a system in which a document creation screen and a slide screen are simultaneously displayed on a plurality of participant terminals, and the participants collaborate on a document with each other or perform a remote presentation of slides. It is also preferable to have a so-called electronic blackboard function in which a pointer or a drawing line input from a participant's terminal computer is displayed in a window displaying the conference information sent from the content distribution server so as to be superimposed on the conference information. Such functions include, for example, reading out necessary pointer image data from a ROM or the like in accordance with an operation signal based on a signal from an operation means such as a mouse, creating composite data with the image data, and generating the image data and the pointer image. Can be realized by a method of superimposing the data and outputting the data to a display device.
[0031]
The present invention also has a plurality of terminal computers connected via the Internet and operation server means for selecting contents to be distributed to each terminal computer, and sends video data to the plurality of terminal computers via the Internet. For electronic display systems. According to the present invention, from a central control terminal, in an electronic display system that controls a computer of a terminal that transmits video data, an operator can centrally manage a video transmission device, while monitoring all video, It is possible to receive a part of the signal with high quality without imposing an excessive burden on a line or a system. The terminal computer used for such a purpose changes the amount of video data to be transmitted according to whether the video is distributed to another terminal computer via the operation server means, and transmits the video data. It is sufficient that an application for displaying at least one window for displaying the video data from the terminal computer transmitted by changing the amount of video data to be transmitted on the display device of the terminal computer is installed.
[0032]
Further, according to the present invention, a display system for controlling a computer of each terminal transmitting video data from a central control computer can be constructed. That is, an image from the plurality of terminal computers having a plurality of terminal computers connected via the Internet and a display computer connected to operation server means communicably connected to the plurality of terminal computers. In a display system for displaying data via the Internet, an operator can centrally manage a video transmission device, and monitor all terminal images while receiving a part of the image with high quality by using a line or the like. Since it can be realized without imposing an excessive burden on the system, it is possible to receive necessary video data with high quality while receiving video data of a large number of terminals, and is applicable to, for example, a monitoring system.
[0033]
【The invention's effect】
The system of the present invention is configured such that, when the maximum number of participants is set to, for example, about 30, by the above-described configuration, the video and audio for several persons selected by the operator can be displayed to each participant. Can be realized by an inexpensive system using the Internet. In addition, various images and texts can be distributed to participants as conference information, and the same convenience as in a conference hall can be provided to participants in remote areas. As a result, each participant can observe the state of the speaker at the present time of the conference, so that even the large number of participants can easily grasp the trend of the entire conference, and it is possible to smoothly operate the conference. Become. In addition, by using the dedicated software, it is possible to flexibly cope with additional changes of functions and later changes in computer performance, line environment, and the like. Therefore, the present invention can be advantageously used for regular meetings between corporate headquarters and branch offices, off-campus attendance systems at universities, and discussion systems between research institutions and researchers. Furthermore, the distribution of a large number of images and sounds is controlled by the operator by the electronic information display system terminal of the present invention, and the image information distributed from a large number of terminal computers via the Internet is displayed in a smooth and relatively inexpensive configuration. can do.
[Brief description of the drawings]
FIG. 1 shows one embodiment of the configuration of an electronic conference system of the present invention.
FIG. 2 shows one mode of a display screen of an operator terminal in the electronic conference system of the present invention.
FIG. 3 shows one mode of a display screen of a participant terminal computer in the electronic conference system of the present invention.
[Explanation of symbols]
11. Content distribution server 12. Operation server 13. Participant terminal computer 14. Operator terminal 21. Internet 31. Video camera 32. microphone
