WO2001039479A1

WO2001039479A1 - Systeme de communications

Info

Publication number: WO2001039479A1
Application number: PCT/JP2000/008303
Authority: WO
Inventors: Tetsujiro Kondo; Tomoyuki Ohtsuki; Junichi Ishibashi
Original assignee: Sony Corporation
Priority date: 1999-11-24
Filing date: 2000-11-24
Publication date: 2001-05-31
Also published as: JP4487467B2; EP1146721A4; EP1146721A1; CN1338176A; KR100697757B1; CN1197335C; KR20010101860A

Description

明細書通信システム技術分野本発明は、少なくとも 3つの通信装置間で通信を行う通信システムに関する。背景技術従来より、遠隔会議システムにおいては、遠く離れている複数の会議室における画像及び音声をネットワークを介して相互に通信し- 各会議室において他の会議室の画像及び音声を提示することにより, あたかも 1つのテーブルを囲んでいるかのように会議を行うことが可能となっている。

ところで、従来の遠隔会議システムにおいては、各会議室における会議参加者が同時に発言できるようになされている。このため、従来の遠隔会議システムにおいては、複数の会議参加者が同時に発言している場合には、聞き取りたい発言が他の発言に邪魔されて聞き取り難くなる問題があった。

また、従来の遠隔会議システムにおいては、各会議室における画像が全て同じ明るさ、同じ画質となされている。したがって、従来の遠隔会議システムにおいては、例えば所望の会議室の画像をより明るくして見たり、より詳しく見るようなことは考えられなかった < さらに、従来の遠隔会議システムにおいて、例えば複数の話題が存在しているような場合に、例えばある 1つの話題に参加している各会議参加者の発言を、同じ話題に参加している他の各会議参加者に対して特に聞き取り易くしたり、また見易くするようなことは考えられなかった。発明の開示本発明は、このような実情に鑑みてなされたものであり、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする、通信システム、グルービング装置、グル一ピング方法及びグルービングプログラムが記録された記録媒体、情報処理装置、情報処理方法及び情報処理プログラムが記録された記録媒体、並びに、通信装置、通信方法及び通信プログラムが記録された記録媒体を提供することを目的とするものである。

上述した目的を達成する本発明にかかる通信システムは、他の通信装置のそれぞれから通信される通信データに対する注目度を検出するための注目度予測情報を取得する注目度予測情報取得手段と、グル一プ情報に基づいて加工された通信デ一夕をそれそれ対応する提示装置に出力する通信データ出力手段とを有する少なくとも 3つの通信装置と、注目度予測情報に基づいて、注目度を検出する注目度検出手段と、注目度を出力する注目度出力手段とを有する注目度検出装置と、注目度に基づいて、通信データのグルービングを行うグルーピング手段と、グルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを有するグルーピング装置と、通信装置のそれそれに対して他の通信装置から送信される通信データをグループ情報に基づいて加工する加工手段と、この加工手段によつて加工された通信データを出力する加工データ出力手段とを有する加工装置とを備えることにより、上述した課題を解決する。

また、上述した目的を達成する本発明にかかる通信システムは、他の通信装置のそれそれから通信される通信デ一夕に対する注目度を検出するための注目度予測情報を取得する注目度予測情報取得手段と、グループ情報に基づいて加工された通信データをそれそれ対応する提示装置に出力する通信データ出力手段とを有する少なくとも 3つの通信装置と、注目度予測情報に基づいて、注目度を検出する注目度検出手段と、注目度を出力する注目度出力手段とを有する注目度検出装置と、注目度に基づいて、通信デ一夕のグルーピングを行うグルーピング手段と、グルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを有するグルービング装置と、通信装置のそれそれに対して他の通信装置から送信された通信デー夕をグループ情報に基づいて加工する加工手段と、この加工手段によって加工された通信データを出力する加工データ出力手段とを有する加工装置とを備えることにより、上述した課題を解決する。さらに、上述した目的を達成する本発明にかかるグルーピング装置は、少なくとも 3つの通信装置を含む通信システムで使用され、通信装置のそれそれに対して他の通信装置から通信される通信デー夕をグルーピングするグルービング装置において、通信装置のそれそれに対応するユーザの、他の通信装置からの通信データのそれそれに対する注目度に基づいて、通信データのグルーピングを行うグルービング手段と、このグルービング手段によるグルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備えることにより、上述した課題を解決する。

さらにまた、上述した目的を達成する本発明にかかるグルーピング方法は、少なくとも 3つの通信装置を含む通信システムで使用され、通信装置のそれそれに対して他の通信装置から通信される通信データをグルーピングするグルーピング方法において、通信装置のそれそれに対応するユーザの、他の通信装置からの通信デ一夕のそれそれに対する注目度に基づいて、通信デ一夕のグルーピングを行うグルーピング工程と、このグルービング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備えることにより、上述した課題を解決する。

また、上述した目的を達成する本発明にかかるグルーピングプログラムが記録された記録媒体は、少なくとも 3つの通信装置を含む通信システムで使用され、通信装置のそれそれに対して他の通信装置から通信される通信デ一夕をグルービングするコンピュータ制御可能なグル一ビングプログラムが記録された記録媒体において、グルービングプログラムは、通信装置のそれそれに対応するユーザの、他の通信装置からの通信データのそれそれに対する注目度に基づいて、通信データのグル一ビングを行うグルーピング工程と、このグルービング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備えることにより、上述した課題を解決する。

さらに、上述した目的を達成する本発明にかかる情報処理装置は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理装置において、通信装置のそれそれからの通信デ一夕を受信するとともに、通信装置のそれそれから送信された注目度であり、通信装置のそれそれ自身を除く他の通信装置から送信される通信デ一夕に対する注目度を受信する受信手段と、注目度に基づいて、通信データのグルービングを行うグルーピング手段と、通信データのそれそれが属するグループに基づいて、通信装置のそれそれについて、通信装置のそれそれ自身を除く他の通信装置から送信された通信データを加工する加工手段と、この加工手段によって加工された通信データを、通信装置のそれそれに送信する加工デー夕出力手段とを備えることにより、上述した課題を解決する。また、この情報処理装置は、受信手段が、注目度の代わりに、通信装置のそれそれから送信されたユーザの反応情報であり、通信装置のそれそれに対応するユーザの反応情報を受信し、当該情報処理装置は、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出手段をさらに備えることにより、上述した課題を解決する。

さらにまた、上述した目的を達成する本発明にかかる情報処理方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理方法において、通信装置のそれそれからの通信データを受信するとともに、通信装置のそれそれから送信された注目度であり、通信装置のそれそれ自身を除く他の通信装置から送信される通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグルービングを行うグルーピング工程と、通信デ一夕のそれそれが属するグループに基づいて、通信装置のそれそれについて、通信装置のそれそれ自身を除く他の通信装置から送信された通信データを加工する加工工程と、この加工工程にて加工された通信データを、通信装置のそれそれに送信する加工デ一夕出力工程とを備えることにより、上述した課題を解決する。また、この情報処理方法は、受信工程では、注目度の代わりに、通信装置のそれそれから送信されたユーザの反応情報であり、通信装置のそれそれに対応するユーザの反応情報が受信され、当該情報処理方法は、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出工程をさらに備えることにより、上述した課題を解決する。

また、上述した目的を達成する本発明にかかる情報処理プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、情報処理プログラムは、通信装置のそれそれからの通信デ一夕を受信するとともに、通信装置のそれそれから送信された注目度であり、通信装置のそれそれ自身を除く他の通信装置から送信される通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグル一ビングを行うグルーピング工程と、通信データのそれそれが属するグループに基づいて、通信装置のそれぞれについて、通信装置のそれそれ自身を除く他の通信装置から送信された通信データを加工する加工工程と、この加工工程にて加工された通信データを、通信装置のそれそれに送信する加工データ出力工程とを備えることにより、上述した課題を解決する。

また、この情報処理プログラムが記録された記録媒体は、受信ェ程では、注目度の代わりに、通信装置のそれそれから送信されたュ一ザの反応情報であり、通信装置のそれそれに対応するユーザの反応情報が受信され、情報処理プログラムは、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出工程をさらに備えることにより、上述した課題を解決する。

さらに、上述した目的を達成する本発明にかかる通信装置は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信装置において、他の通信装置からの通信データを受信するとともに、情報処理装置から送信された通信データの属するグループを示すグループ情報を受信する受信手段と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得手段と、ユーザの反応情報に基づいて、通信データのそれぞれに対する注目度を検出する注目度検出手段と、注目度を情報処理装置に出力する注目度出力手段と、グループ倩報に基づいて、通信データを加工する加工手段と、この加工手段によって加工された通信デー夕を提示装置に出力する加工データ出力手段とを備えることにより、上述した課題を解決する。

さらにまた、上述した目的を達成する本発明にかかる通信方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信方法において、他の通信装置からの通信データを受信する第 1の受信工程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出工程と、注目度を情報処理装置に出力する注目度出力工程と、情報処理装置から送信された通信データの属するグループを示すグループ倩報を受信する第 2の受信工程と、グループ情報に基づいて、通信データを加工する加工工程と、この加工工程にて加工された通信デ一夕を提示装置に出力する加工デ一夕出力工程とを備えることにより、上述した課題を解決する。

また、上述した目的を達成する本発明にかかる通信プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、他の通信装置からの通信データを受信する第 1の受信工程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信デ一夕のそれそれに対する注目度を検出する注目度検出工程と、注目度を情報処理装置に出力する注目度出力工程と、情報処理装置から送信された通信データの属するグループを示すグループ情報を受信する第 2の受信工程と、グループ情報に基づいて、通信デ一夕を加工する加工ェ程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備えることにより、上述した課題を解決する。

さら.に、上述した目的を達成する本発明にかかる情報処理装置は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理装置において、通信装置のそれそれから送信された通信データに対する注目度を受信する受信手段と、注目度に基づいて、通信データのグルービングを行うグルーピング手段と、このグルーピング手段によるグルービングの結果を示すグループ情報を出力するグループ情報出力手段とを備えることにより、上述した課題を解決する。

また、この情報処理装置は、受信手段が、注目度の代わりに、通信装置のそれそれから送信された通信データを受信し、当該情報処理装置は、通信データのそれそれに対するユーザの注目度を検出する注目度検出手段をさらに備えることにより、上述した課題を解決する。

さらにまた、上述した目的を達成する本発明にかかる情報処理方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理方法において、通信装置のそれそれから送信された通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信デ一夕のグルーピングを行うグルーピング工程と、このグルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備えることにより、上述した課題を解決する。

また、この情報処理方法は、受信工程では、注目度の代わりに、通信装置のそれそれから送信された通信データが受信され、当該情報処理方法は、通信データのそれそれに対するユーザの注目度を検出する注目度検出工程をさらに備えることにより、上述した課題を解決する。

また、上述した目的を達成する本発明にかかる情報処理プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、情報処理プログラムは、通信装置のそれそれから送信された通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグル一ビングを行うグルービング工程と、このグルーピング工程によるグルービングの結果を示すグループ情報を出力するグループ情報出力工程とを備えることにより、上述した課題を解決する。

また、この情報処理プログラムが記録された記録媒体は、受信ェ程では、注目度の代わりに、通信装置のそれそれから送信された通信デ一夕が受信され、情報処理プログラムは、通信データのそれそれに対するユーザの注目度を検出する注目度検出工程をさらに備えることにより、上述した課題を解決する。

さらに、上述した目的を達成する本発明にかかる通信装置は、少なくとも 3つの通信装置間で通信を行う通信システムにおける通信装置において、他の通信装置からの通信データを受信する受信部と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得手段と、ユーザの反応情報に基づいて、通信デ一夕のそれそれに対する注目度を検出する注目度検出手段と、注目度に基づいて、通信データのグルーピングを行うグルーピング手段と、通信デ一夕のそれそれが属するグループに基づいて、通信データのそれそれを加工する加工手段と、この加工手段によって加工された通信データを提示装置に出力する加工データ出力手段とを備えることにより、上述した課題を解決する。

さらにまた、上述した目的を達成する本発明にかかる通信方法は、少なくとも 3つの通信装置間で通信を行う通信システムにおける通信方法において、他の通信装置からの通信データを受信する受信ェ程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出工程と、注目度に基づいて、通信デ一夕のグルーピングを行うグルーピング工程と、通信デ一夕のそれそれが属するグループに基づいて、通信データのそれそれを加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備えることにより、上述した課題を解決する。

また、上述した目的を達成する本発明にかかる通信プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、他の通信装置からの通信データを受信する受信工程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ュ一ザの反応情報に基づいて、通信データのそれぞれに対する注目度を検出する注目度検出工程と、注目度に基づいて、通信データのグルービングを行うグルーピング工程と、通信デ一夕のそれそれが属するグループに基づいて、通信デ一夕のそれそれを加工する加工ェ程と、この加工工程にて加工された通信データを提示装置に出力する加工デ一夕出力工程とを備えることにより、上述した課題を解決する。

さらに、上述した目的を達成する本発明にかかる通信装置は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信装置において、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得手段と、情報処理装置からの通信データと、情報処理装置から送信された通信デ一夕の属するグループを示すグループ情報とを受信するとともに、ユーザの反応情報を情報処理装置に送信する通信手段と、グループ情報に基づいて、通信データを加工する加工手段と、この加工手段によって加工された通信データを提示装置に出力する加工データ出力手段とを備えることにより、上述した課題を解決する。

さらにまた、上述した目的を達成する本発明にかかる通信方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信方法において、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信データを加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備えることにより、上述した課題を解決する。

また、上述した目的を達成する本発明にかかる通信プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信デ一夕を加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備えることにより、上述した課題を解決する。図面の簡単な説明図 1は、本発明の第 1の実施の形態として示す遠隔会議システムの構成例を示すプロック図である。

図 2は、同遠隔会議システムを構成する 1つの遠隔会議装置の構成例を示すブロック図である。

図 3は、会議参加者の注目する方向と、それに応じて生成されるグループ判定用情報の説明に用いる図であって、会議参加者の向いている方向及びその方向の継続時間を表す情報として期間を検出する様子を上段に示し、検出した期間に対応するモニタ装置を会議参加者が注目していることを示す情報を生成する様子を下段に示す図である。

図 4は、会議参加者の注目する方向及びスィッチ押下情報と、それに応じて生成されるグループ判定用情報の説明に用いる図であつて、会議参加者の向いている方向及びその方向の継続時間を表す情報として期間を検出する様子を上段に示し、検出した各期間について、会議参加者がスィツチを押下することによって得られる信号の様子を中段に示し、スィツチ押下信号が「O N」信号となっている期間に対応するモニタ装置を会議参加者が注目していることを示す情報を生成する様子を下段に示す図である。

図 5は、同遠隔会議システムを構成するサーバの構成例を示すブロック図である。

図 6は、初期状態の注目先表を示す図である。

図 7は、初期状態のグループ表を示す図である。

図 8は、通信開始時における注目先表及びグループ表の初期化処理の流れを示すフローチヤ一トである。図 9は、グループ判定用情報発生時の処理の流れを示すフローチャ一トである。

図 1 0は、グループ判定用情報を反映させたときの注目先表を示す図である。

図 1 1は、注目先表の内容をグループ表へ反映させる処理の流れを示すフローチャートである。

図 1 2は、会議参加者 H M 1について図 1 1のフローチヤ一卜のステップ S 5 2の処理が終了したときのグループ表を示す図である ₍ 図 1 3は、会議参加者 H M 1について図 1 1のフローチャートのステップ S 5 2の処理が終了したときの注目先表を示す図である。図 1 4は、会議参加者 H M 1について図 1 1のフローチヤ一卜のステップ S 5 8の処理が終了したときのグループ表を示す図である c 図 1 5は、会議参加者 H M 1について図 1 1のフローチャートのステップ S 5 8の処理が終了したときの注目先表を示す図である。図 1 6は、会議参加者 H M 2について図 1 1のフローチャートのステップ S 5 2の処理が終了したときのグループ表を示す図である c 図 1 7は、会議参加者 H M 2について図 1 1のフローチヤ一卜のステップ S 5 2の処理が終了したときの注目先表を示す図である。図 1 8は、会議参加者 H M 3について図 1 1のフローチャートのステップ S 5 8の処理が終了したときのグループ表を示す図である c 図 1 9は、会議参加者 H M 3について図 1 1のフローチヤ一卜のステップ S 5 8の処理が終了したときの注目先表を示す図である。図 2 0は、会議参加者 H M 4について図 1 1のフローチヤ一卜のステップ S 5 2の処理が終了したときのグループ表を示す図である c 図 2 1は、会議参加者 H M 4について図 1 1のフローチャートのステップ S 5 2の処理が終了したときの注目先表を示す図である。図 2 2は、会議参加者 H M 4について図 1 1のフローチャートのステップ S 5 7の処理が終了したときのグループ表を示す図である < 図 2 3は、会議参加者 H M 4について図 1 1のフローチャートのステップ S 5 7の処理が終了したときの注目先表を示す図である。図 2 4は、会議参加者 H M 5について図 1 1のフローチヤ一トのステツプ S 5 6の処理が終了したときのグループ表を示す図である < 図 2 5は、会議参加者 H M 5について図 1 1のフローチヤ一卜のステップ S 5 6の処理が終了したときの注目先表を示す図である。図 2 6は、音声の情報加工を行う情報加工部の具体的構成例を示すブロック図である。

図 2 7は、音質制御を行う場合の音声加工器の具体的構成例を示すブロック図である。

図 2 8は、音質制御を行う場合の音声加工器への入力音声信号の周波数特性を示す図である。

図 2 9は、音質制御を行う場合の音声加工器の周波数制御特性を示す図である。

図 3 0は、音質制御を行う場合の音声加工器からの出力音声信号の周波数特性を示す図である。

図 3 1は、画像の情報加工を行う情報加工部の具体的構成例を示すブロック図である。

図 3 2は、画質制御を行う場合の画像加工器の具体的構成例を示すプロック図である。

図 3 3は、画像及び音声の情報加工を行う情報加工部の具体的構成例を示すプロック図である。図 3 4は、視線検出処理の流れを示すフローチャートである。図 3 5は、目の両端位置検出の説明に用いる図である。

図 3 6は、鼻孔の位置検出範囲の説明に用いる図である。

図 3 7は、目の両端位置、鼻孔位置、眼球中心位置の説明に用いる図である。

図 3 8は、視線の方向検出の説明に用いる図である。

図 3 9は、特定の画素集合の 2次モーメントを最小にする線の求め方の説明に用いる図である。

図 4 0は、顔向き検出処理の流れを示すフローチヤ一トである。図 4 1は、顔向き検出の際の原画像を示す図である。

図 4 2は、顔向き検出の際の他の原画像を示す図である。

図 4 3は、顔向き検出の際の髪領域と肌領域の説明に用いる図である。

図 4 4は、顔向き検出の際の他の髪領域と肌領域の説明に用いる図である。

図 4 5は、髪領域と肌領域の重心の説明に用いる図である。図 4 6は、他の髪領域と肌領域の重心の説明に用いる図である。図 4 7は、顔向き検出の際の差分値と角度の関係例を示す図であ o

図 4 8は、具体例のモニタ装置を側面側から見た概略的な透視図である。

図 4 9は、具体例のモニタ装置の概略的な正面図である。

図 5 0は、同遠隔会議システムにおける各遠隔会議装置の信号処理装置やサーバを実現する実際の装置構成例を示すプロック構成図である。図 5 1は、遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、スピー力による音像を定位させる場合の概略構成を示す図である。

図 5 2は、遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、 2人の会議参加者を同席可能にした場合の概略構成を示す図である。

図 5 3は、遠隔会議装置の他の例として、スクリーン上に会議参加者の画像を表示し、 2人の会議参加者を同席可能とするとともに、へッドホンによって音像を定位させる場合の概略構成を示す図である。

図 5 4は、遠隔会議装置の他の例として、会議参加者の音声のみを通信するようにした場合の概略構成を示す図である。

図 5 5は、本発明の第 2の実施の形態として示す遠隔会議システムの構成例を示すプロック図である。

図 5 6は、同遠隔会議システムを構成する 1つの遠隔会議装置の構成例を示すプロック図である。

図 5 7は、本発明の第 3の実施の形態として示す遠隔会議システムを構成する 1つの遠隔会議装置の構成例を示すプロック図であつて、グルービング装置として機能する遠隔会議装置の構成例を示すブロヅク図である。

図 5 8は、同遠隔会議システムを構成する 1つの遠隔会議装置の構成例を示すプロック図であって、グルーピング装置として機能しない遠隔会議装置の構成例を示すプロック図である。

図 5 9は、本発明の第 4の実施の形態として示す遠隔会議システムを構成する 1つの遠隔会議装置の構成例を示すプロック図である図 6 0は、同遠隔会議システムを構成するサーバの構成例を示すブロック図である。

図 6 1は、本発明の第 5の実施の形態として示す遠隔会議システムの構成例を示すプロック図である。

図 6 2は、同遠隔会議システムを構成するサーバの構成例を示すプロヅク図であって、グルービング装置として機能するサーバの構成例を示すブロック図である。

図 6 3は、同遠隔会議システムを構成するサーバの構成例を示すプロック図であって、加工装置として機能するサーバの構成例を示すブロック図である。

図 6 4は、本発明の第 6の実施の形態として示す遠隔会議システムを構成する 1つの遠隔会議装置の構成例を示すプロック図である図 6 5は、同遠隔会議システムを構成するサーバの構成例を示すブロック図である。

図 6 6は、本発明の第 7の実施の形態として示す遠隔会議システムを構成するサーバの構成例を示すプロック図であって、注目度検出装置として機能するサーバの構成例を示すプロック図である。図 6 7は、同遠隔会議システムを構成するサーバの構成例を示すプロック図であって、グルービング装置として機能するサーバの構成例を示すブロック図である。

図 6 8は、本発明の第 8の実施の形態として示す遠隔会議システムを構成する 1つの遠隔会議装置の構成例を示すプロック図である図 6 9は、同遠隔会議システムを構成するサーバの構成例を示すブロック図である。

図 7 0は、本発明の第 9の実施の形態として示す遠隔会議システムを構成するサーバの構成例を示すプロック図であって、注目度検出装置及びグルーピング装置として機能するサーバの構成例を示すプロヅク図である。

図 7 1は、同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、加工装置として機能するサーバの構成例を示すブロック図である。

図 7 2は、本発明の第 1 0の実施の形態として示す遠隔会議システムを構成するサーバの構成例を示すブロック図であって、注目度検出装置として機能するサーバの構成例を示すプロック図である。図 7 3は、同遠隔会議システムを構成するサーバの構成例を示すプロック図であって、グルーピング装置及び加工装置として機能するサーバの構成例を示すプロック図である。

図 7 4は、本発明の第 1 1の実施の形態として示す遠隔会議システムの構成例を示すプロック図である。

図 7 5は、同遠隔会議システムを構成するサーバの構成例を示すプロック図であって、注目度検出装置として機能するサーバの構成例を示すプロック図である。

図 7 6は、同遠隔会議システムを構成するサーバの構成例を示すブロック図であって、グルービング装置として機能するサーバの構成例を示すブロック図である。

図 7 7は、同遠隔会議システムを構成するサーバの構成例を示すプロック図であって、加工装置として機能するサーバの構成例を示すブロック図である。発明を実施するための最良の形態以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。

この実施の形態は、遠隔地に居る複数の会議参加者による会議を行うことができる遠隔会議システムであって、会議参加者の注目度を検出し、その検出結果に基づいて、各会議参加者が何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、このグループ判定用情報に基づいてグループ分けを行い、各会議参加者が何れのグループに属しているのかを表すグループ情報を生成し、このグループ情報に基づいて、他の各会議参加者にそれそれ対応する画像データ及び/又は音声データに所望の調整処理を施すものであり、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となるものである。

まず、本発明を適用した第 1の実施の形態として示す遠隔会議システムについて説明する。

遠隔会議システムの概略構成を図 1に示す。この遠隔会議システムにおいて、複数箇所（ l〜n箇所）に居る各会議参加者 HM 1〜 HMnには、それそれ対応した遠隔会議装置 T CD l〜TCDnが割り当てられており、各遠隔会議装置 T CD l〜TCDnは、例えば I SDN (Integrated Services Digital Network) 等からなる通信ネットワーク N Tを介して接続されている。

なお、以下では、各会議参加者 HM 1〜HMnを個々に区別する必要がない場合には、単に会議参加者 HMと記述し、同様に、各遠隔会議装置 T CD 1〜T CD nを個々に区別する必要がない場合には、単に遠隔会議装置 TCDと記述するものとする。また、図 1には、通信ネットワーク NTとして I S D Nを例に挙げたが、 I S D Nの代わりに、例えばケーブルテレビ網、イン夕一ネット、デイジ夕ル衛星通信のような他の伝送媒体を用いることも可能である。各遠隔会議装置 T CDは、それそれ対応する会議参加者 HMの画像データ及び音声データを取り込み、この会議参加者 H Mの画像デ一夕及び音声データを通信ネットワーク N Tを介して他の遠隔会議装置 T C Dに送信するとともに、他の遠隔会議装置 T C Dから送信されてきた他の会議参加者 HMの画像デ一夕及び音声データを受信し、提示することができる。すなわち、各遠隔会議装置 TCDは、画像及び音声をモニタ可能とされている。

この遠隔会議システムにおける各遠隔会議装置 T CDは、それそれ、図 2に示すような構成を備えている。なお、各遠隔会議装置 T CD l~TCDnは、それそれ、同一の構成を有することから、図 2には、これら複数の遠隔会議装置 T CD l〜TCDnのうち、代表して遠隔会議装置 T CD 1の詳細な構成例を示している。

遠隔会議装置 T CD 1は、通信ネットワーク NTと接続され、遠隔会議システムにおける他の各遠隔会議装置 T CD 2〜T CD nとの間で通信を行うとともに、送受信される信号に対して後述するような信号処理を施す信号処理装置 S PD 1と、遠隔会議システムにおける他の各遠隔会議装置 T CD 2〜T CD nから送信されてきた会議参加者 HM 2〜HMnの画像デ一夕及び音声データを、各遠隔会議装置 T CD 2〜T CD nにそれそれ対応して表示及び/又は提示するモニタ装置 MD 2〜MDnとを、少なくとも備える。

なお、以下では、モニタ装置 MD 2〜MD nを個々に区別する必要がない場合には、単にモニタ装置 MDと記述するものとする。遠隔会議装置 T CD 1における信号処理装置 S PD 1は、通信ネットワーク NTと接続されるネットワーク接続端子 TN 1と、通信ネットワーク NTとの間で情報送受信を行うための情報送受信部 T RB 1と、各モニタ装置 MD 2〜MD nに供給される信号に対して後述する情報加工処理を施す加工装置を構成する情報加工部 P B 1 と、後述するように会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置を構成するグループ判定用情報生成部 J B 1と、各モ二夕装置 MD 2〜MD nへ個々に供給される信号の出力端子 T 02 〜TOnと、各モニタ装置 MD 2〜MD ηから個々に供給された信号の入力端子 Τ I 2〜T I ηと、グループ判定の際に使用される後述するスィツチ押下情報を生成するスィツチ SWからの信号の入力端子 T Sとを備えている。

各モニタ装置 MD 2〜MD ηは、その詳細な構成については後述するが、それそれが主要構成要素として、モニタ装置 MDの筐体正面側に設けられるスビーカと、画面が所定の方向、具体的には会議参加者 HM 1の方向に向くように配置されたディスプレイ装置とを少なくとも備えている。また、モニタ装置 MD 2〜MD ηのうち少なくとも 1つのモニタ装置 MDには、遠隔会議装置 TCD 1の周囲及び会議参加者 HM 1の発言の音を取り込むためのマイクロホンと、会議参加者 HM 1の画像を取り込むための例えばビデオカメラといつたカメラとが設けられている。なお、マイクロホンとカメラが設けられるモニタ装置は、会議参加者 HM 1の正面に配置されるモニ夕装置、すなわち図 2の例ではモニタ装置 M Dmであることが望ましい。勿論、遠隔会議装置 T CD 1においては、全てのモニタ装置 MD 2〜MDnにマイクロホンとカメラを設けることも可能である < また、遠隔会議装置 T CD 1においては、所望の位置に別途マイク口ホンとカメラを設置してもよい。

カメラから取り込まれた画像データとマイクロホンから取り込まれた音声データは、信号処理装置 SPD 1及び通信ネットワーク N Tを介して各遠隔会議装置 T CD 2 ~T CD ηに送信される。

また、各モニタ装置 MD 2〜MD ηのディスプレイ装置には、それそれ対応する遠隔会議装置 T CD 2〜T CD nから送信されてきた画像デ一夕に基づく画像が表示され、スピーカからは、同じくそれそれ対応する遠隔会議装置 T CD 2〜T CD nから送信されてきた音声データに基づく音声が出力される。すなわち、これらモニタ装置 MD 2〜MD nのうち、モニタ装置 M D 2のディスプレイ装置の画面上には、遠隔会議装置 T CD 2のカメラによって撮影されて通信ネットワーク NTを介して供給されてきた画像デ一夕、すなわち会議参加者 HM 2及びその周辺風景の画像データに基づく画像が表示され、モニタ装置 MD 2のスピーカからは、遠隔会議装置 TC D 2のマイクロホンによって取り込まれて通信ネットワーク NTを介して供給された音声データ、すなわち会議参加者 HM 2の発言による音声データに基づく音声が出力される。同様に、モニタ装置 M D 3のディスプレイ装置の画面上には、遠隔会議装置 T CD 3の力メラによって撮影されて送信されてきた画像データに基づく画像が表示され、スピーカからは、遠隔会議装置 T CD 3のマイクロホンによって取り込まれて送信されてきた音声データに基づく音声が出力される。他のモニタ装置 MDも同様であり、それそれ対応する遠隔会議装置 T CDから送信されてきた画像が表示され、また音声が出力される。なお、各遠隔会議装置 T CD l〜TCDn間で通信ネットワーク NTを介して送受信される画像デ一夕としては、動画デ一夕の例以外に静止画デ一夕も考えられる。

これらモニタ装置 MD 2〜MD nは、図 2に示すように、遠隔会議装置 T CD 1を備えた会議室に居る会議参加者 HM 1と、他の離れた場所に居る他の会議参加者 HM 2〜HMn (各モニタ装置 MD 2〜MD nの各ディスプレイ装置上に表示されている他の会議参加者 HM2〜HMn) とが、あたかも 1つのテーブルを囲んで会議を行うかのように配置されている。なお、遠隔会議システムにおける遠隔会議装置 T CDが 6台有り、各遠隔会議装置 T CD内のモニタ装置 M Dが 5台となるような場合には、 1つの遠隔会議装置 T C D 内の 5台のモニタ装置 MDの配置は、会議参加者 HMとこれら 5台のモニタ装置 M Dとが例えば正六角形となるような配置とすることができる。

各遠隔会議装置 T CDにおける信号処理装置 S PD内のグループ判定用情報生成部 JBは、以下に述べるようにして、会議中において同じ話題に参加している各会議参加者をグループ分けする際に使用されるグループ判定用情報を生成する。なお、以下では、各遠隔会議装置 T CD 1〜T CD nに対応する各グループ判定用情報生成部 JB l〜JBnのうち、代表して遠隔会議装置 T CD 1の信号処理装置 SPD 1内のグループ判定用情報生成部 J B 1の動作を例に挙げて説明する。

グループ判定用情報生成部 J B 1は、会議参加者 HM 1の例えば正面に配置されているモニタ装置 M Dmのカメラから供給された画像データに基づいて、会議参加者 HM 1の注目度を検出し、その検出結果に基づいて、後述するように会議参加者 HM 1が何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成する。なお、会議参加者 HM 1における注目度とは、会議参加者 HM 1がモニタ装置 MD 2〜MD nの何れか或いはそれら以外の方向へ注目している場合のような注目の有無を表す場合、すなわち注目の有無をいわゆるディジタル的に 0 , 1で表す場合だけでなく、モニタ装置 MD 2〜MD nについてそれそれどれくらい注目しているかを表す場合、すなわちアナログ的或いは段階的に表す場合も含まれる。

グループ判定用情報生成部 J B 1は、詳細については後述するが、モニタ装置 MDmのカメラから供給される会議参加者 HM 1の画像デ一夕を解析し、会議参加者 HM 1の向いている方向を一定の時間毎に検出する。

すなわち、グループ判定用情報生成部 J B 1は、まず、図 3中上段に示すように、会議参加者 HM 1の向いている方向及びその方向の継続時間を表す情報として期間 I jを検出する。なお、 I jの j は、他の各会議参加者 HM 2〜HMnに対応する 2〜n及びこれら各会議参加者 HM 2〜HMnの何れでもないことを表す 0のどれかの値である。グループ判定用情報生成部 J B 1は、会議参加者 HM 2の画像が表示されているモニタ装置 MD 2の方を向いている期間 I 2、会議参加者 HM 3の画像が表示されているモニタ装置 MD 3 の方を向いている期間 I 3、会議参加者 HMmの画像が表示されているモニタ装置 MDmの方を向いている期間 I m、会議参加者 HM n— 1の画像が表示されているモニタ装置 MD n— 1の方を向いている期間 I n— 1、会議参加者 HMnの画像が表示されているモニ夕装置 MD nの方を向いている期間 I n等、及び、それら各モニタ装置 MD 2〜MD nの何れの方をも向いていない期間 I 0を検出す o

続いて、グループ判定用情報生成部 J B 1は、それら検出した各期間 I 2〜 I n或いは I 0について、特に時間 Tcont以上続く期間を検出し、時間 Tcont以上続く期間を検出した場合には、この検出した期間に対応するモニタ装置（表示されている会議参加者の画像）を会議参加者 HM 1が注目していることを示す図 3中下段に示すような情報（H i ： A j ) を生成する。なお、この（H i ： A j ) の iは、会議参加者 HMiの iに対応しており、ここでは、 i = 1である。また、（H i ： A j ) の jは、他の各会議参加者 HM 2〜HMn及びそれ以外に対応する 2〜n及び 0のどれかの値である。すなわち、図 3の例で説明すると、グループ判定用情報生成部 J B 1は、各期間 I 2〜 I n或いは I 0から、時間 Tcont以上続く期間として期間 I 3と I 0と I 2を検出した場合には、その検出した期間 I 3に対応するモニタ装置 MD 3を会議参加者 HM 1が注目していることを示す情報（H I ： A3) と、期間 I 0に対応して会議参加者 HM 1が各モニタ装置 MDの何れにも注目していないこと或いは各モニタ装置 MD以外のものに注目していることを示す情報 (H I ： AO) と、期間 I 2に対応するモニタ装置 MD 2を会議参加者 HM 1が注目していることを示す情報（H I ： A 2 ) とを、グループ判定用情報として生成する。

また、グループ判定用情報生成部 J B 1は、各期間 I jの検出とともに、会議参加者 HM 1が注目していることを示すスィッチ SW からのスィツチ押下情報に基づいて、当該グループの判定のためのグループ判定用情報を生成するようにしてもよい。すなわち、この場合のグループ判定用情報生成部 J B 1は、図 4中上段に示すように、会議参加者 HM 1の向いている方向及びその方向の継続時間を表す情報として期間 I jを検出し、それら検出した各期間 I 2〜1 n或いは I 0について、会議参加者 HM 1がスィッチ SWを押下することによって得られる図 4中中段に示すようなスィッチ押下の「ON」信号が供給されたとき、このスィツチ押下信号が「ON」信号となっている期間に対応するモニタ装置（表示されている会議参加者の画像）を会議参加者 HM 1が注目していることを示す図 4 中下段に示すような情報（H I ： A j ) を生成する。図 4の例で説明すると、グループ判定用情報生成部 J B 1は、各期間 I 2〜 I n 或いは I 0から、スィツチ押下信号が「ON」となされた期間として I 3と I 4を検出した場合には、その検出した期間 I 3に対応するモニタ装置 MD 3を会議参加者 HM 1が注目していることを示す情報（H 1 ： A 3 ) と、期間 I 4に対応するモニタ装置 MD 4を会議参加者 HM 1が注目していることを示す情報（H I ： A4) とを、グループ判定用情報として生成する。その他、会議参加者 HM 1の注目している方向を、当該会議参加者 HM 1が自ら明確に指示するようにすることも可能である。例えば、他の各会議参加者 HM 2〜HMnの各人毎に対応するボタンとそれらの何れにも注目していない場合に対応するボタンとを準備し、これらのボタンを当該会議参加者 HM 1が自ら押すことにより、自己が注目している相手を指定する。この場合、これら各ボタンの押下情報が上述したグループ判定用情報となる。上述のように、グループ判定用情報生成部 J B 1が会議参加者 H M 1の挙動や指示を下に何れのモニタ装置 MD 2〜MD n (各会議参加者 HM 2〜HMn) を注目しているかを検出することによって生成されたグループ判定用情報は、信号処理装置 S PD 1における情報送受信部 TRB 1に供給され、さらに、ネットワーク接続端子 TN 1を介して通信ネットワーク NTから、後述するサーバ SVに送信される。

サーバ SVは、図 5に示すように構成され、各遠隔会議装置 TC D 1〜T CD ηから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 ΗΜが何れのグループに属しているのかを表すグループ情報を生成するグルービング装置として機能する。

この図 5において、サーバ SVは、通信ネットワーク Ν Τと接続されるネットワーク接続端子 1 1と、通信ネットワーク NTとの間で情報送受信を行うための情報送受信部 10と、各遠隔会議装置 T CD 1〜T CD ηから送信されてきたグループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者 ΗΜが何れのグループに属しているのかを表すグループ情報を生成し、このグループ情報を各遠隔会議装置 T CD 1〜Τ C D nの情報加工部 P Bに送信するグループ判定部 G J Dとを備えている。

情報送受信部 10は、通信ネッ卜ワーク NTを介して、各遠隔会議装置 T CD 1〜T CD ηから送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部 G J Dに供給する。また、情報送受信部 10は、グループ判定部 GJD によって生成されたグループ情報を通信ネットワーク NTを介して各遠隔会議装置 T CD l〜TCDnに送信する。

グループ判定部 G J Dは、各グループ判定用情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηを介して会議に参加している各会議参加者 ΗΜ 1〜ΗΜηがそれそれ何れのグループに属するか、すなわち何れの話題に参加しているかの判定及び更新を行うとともに、そのグループ判定及び更新結果に基づいて、各会議参加者 ΗΜが何れのグループに属しているのかを表すグループ情報を生成する。なお、各遠隔会議装置 TCD l〜TCDnは、詳細については後述するが、サーバ S Vから送信されてきたグループ情報を情報加工部 PBに供給し、情報加工部 PBにより、このグループ情報に基づいて後述するように音量や音質、画質等の調整を行うためのパラメ一夕を生成し、画像や音声等の調整をすることになる。

サーバ S Vにおいて用いられるグループ判定の基準には種々のものが考えられるが、以下では、例として、「注目している人と注目されている人の間にリンクをはることを利用して、直接或いは間接にリンクで結ばれている人の集まりを 1つのグループとする」という基準を用いる場合につき、サーバ S Vのグループ判定部 G J Dにおけるグループ判定用倩報に基づいたグループ判定及び更新処理の詳細について説明する。

グループ判定部 GJDは、図 6に示すように、遠隔会議システムに参加している各会議参加者に対応する番号である「本人番号」と、各遠隔会議装置 T CD 1〜T CD nを使用している各会議参加者 H M 1〜HMnが注目している相手先の会議参加者を表す番号である「注目先番号」と、グループ表への登録状態を表す「グループ表への登録」とを有する注目先表を保持するとともに、図 7に示すように、遠隔会議システムに存在する各グループの番号を表す「グループ番号」と、各グループに属する会議参加者の「人数」と、各グループに属する会議参加者を表す「メンバ一」とを有するグループ表を保持している。

ここで、グループ判定部 G J Dは、グループ判定用情報を受信する前段として、図 8に示すように、通信開始時の初期化処理を行う < すなわち、グループ判定部 G J Dは、図 8に示すように、まずステップ S 1 1の処理として、図 6に示した注目先表の作成と初期化とを行う。この初期化では、図 6に示した注目先表の「本人番号」として、当該遠隔会議システムに参加している各会議参加者に対応する番号、すなわち図 7の例では H l〜H nが設定され、また、「注目先番号」として、各遠隔会議装置 T C D l〜T C D nを使用している各会議参加者 H M 1〜H M nが何れの相手先にも注目していないことを表す番号 A 0が全てに設定され、さらに、「グループ表への登録」として、何れのグループにも登録されていないことを表す「X」が全てに設定される。

そして、グループ判定部 G J Dは、ステップ S 1 2の処理として、図 7に示したグループ表の作成と初期化とを行う。この初期化では、図 7に示したグループ表の「グループ番号」として、当該遠隔会議システムに参加している各遠隔会議装置 T C D 1〜T C D ηの個数からなるグループであるグループ G l〜G nが設定され、また、「人数」として、何れのグループについて誰も参加していないとして全てに 0が設定され、さらに、「メンバ一」として、何れのグルーブについても当該グループを構成するメンバーが存在しないとして全て空にされる。

さらに、グループ判定部 GJDは、グループ判定用情報を受信すると、図 9に示すように、グループ判定用情報発生時の処理を開始する。

すなわち、グループ判定部 GJDは、図 9に示すように、グループ判定用情報を受信すると、まず、ステップ S 2 1の処理として、注目先表にグループ判定用情報を実際に反映する。すなわち、グループ判定用情報の反映とは、例えば図 1 0に示すように、上述した情報（H i， A j ) 、つまり H i番で表される会議参加者 HM iが A j番に相当する他の会議参加者 HM jに注目しているという情報を受けて、本人番号 H iのエントリの「注目先番号」を A jにするという意味である。また、このとき、「グループ表への登録」は、全て「X」に初期化される。なお、図 1 0の例では、「本人番号」 H 1で表される会議参加者 HM 1が注目する相手先として会議参加者 HM3に対応する A3が「注目先番号」として設定され、「本人番号」 H 2の会議参加者 HM 2が注目する相手先として誰にも注目していないことを表す A 0が「注目先番号」として設定され、同様に、会議参加者 HM 3が会議参加者 HM 5を注目することで「注目先番号」には A 5が設定され、会議参加者 HM 4が会議参加者 HM 2を注目することで「注目先番号」には A 2が設定されている。以下の説明は省略する。

また、グループ判定部 GJDは、ステップ S 22の処理として、グループ表について図 7と同様に「人数」を全て 0に設定し、「メンバー」を全て空に設定する。

グループ判定部 G J Dは、これらのステップ S 2 1及びステツプ S 2 2における設定後、ステップ S 2 3の処理として、「本人番号」の H l〜H nのそれそれに対して、順に注目先表の内容をグループ表に反映していく。

図 9に示したフローチャートのステップ S 2 3における注目先表内容のグループ表への反映処理の詳細な流れは、図 1 1に示すようになる。なお、この図 1 1において、「登録」とは、グループ表への登録を意味し、「自エントリ」とは、注目先表での自己のェントリを示し、「注目先」とは、自エントリにおける注目先を示し、「注目先エントリ」とは、注目先表での注目先のエントリを示し、「自グループ」とは、自分がメンバーに登録されているグループを示し、「注目先グループ」とは、注目先がメンバーに登録されているグループを示す。また、実際の操作における登録とは、グループ表における人数を 1人増やすこと、グループ表におけるメンバーに対応番号を追加すること、注目先表におけるグループ表への登録の内容を「X」から「〇」にすることである。

まず、注目先表における会議参加者 H iのェントリの反映に関する要件について説明する。本人番号 H iに対応する会議参加者 H M iに関する注目先表のエントリの反映に関する要件は、まず、本人番号 H iがグループ表に登録され、注目先表の本人番号 H iのェントリにおけるグループ表への登録が「〇」となることである。以下では、各遠隔会議装置 T C Dにおけるこのような要件を要件 1 と称するものとする。本人番号 H iの注目先番号が A Oの場合、すなわち他の何れの会議参加者にも注目していない場合における要件はこれだけである。

ここで、もし、本人番号 H iの注目先番号が A Oでないならば、さらに注目先番号がグループ表に登録され、注目先表における注目先のエントリにおけるグループ表への登録内容が「〇」となること、及び、本人番号 H i とその注目先がグループ表において同じグループに登録されていることが要件となる。以下では、各遠隔会議装置 T C Dにおけるこのような要件を要件 2と称するものとする。

このような要件が満たされていることを図 1 1のフローチャートを追いながら確認する。

まず、グループ判定部 G J Dは、図 1 1に示すように、ステップ S 3 1の処理として、注目先表における本人番号 H iの自エントリでグループ表への登録が「〇」となっているか否かを判定する。このステップ S 3 1にて自エントリの「登録」が「〇」となっていればグループ表への登録も保証されることから、要件 1は既に満たされていることになる。したがって、このステップ S 3 1にて Y E S と判定した場合、グループ判定部 G J Dは、本人番号 H iのグループ表への登録に関する作業は行わず、ステップ S 3 3の処理へと移行する。一方、グループ判定部 G J Dは、自エントリで「登録」が「X」であるため、ステップ S 3 1にて N 0と判定した場合には、ステップ S 3 2の処理へと移行する。

ここで、ステップ S 3 2の処理に移行すると、グループ判定部 G J Dは、グループ表において人数が 0である最小の番号のグループに自己を登録、すなわち本人番号を登録し、その後、ステップ S 3 3の処理へと移行する。

これらのステップ S 3 1及びステツプ S 3 2の結果、次のステツプ S 3 3の処理の前には、何れにせよ要件 1が満たされていることになる。続いて、ステップ S 3 3の処理に移行すると、グループ判定部 G J Dは、注目先番号が A 0であるかの確認を行う。ここで、注目先番号が A 0である場合には既に全ての要件が満たされていることになることから、グループ判定部 G J Dは、このステップ S 3 3において N Oと判定した場合には、一連の処理を終了する。一方、注目先番号が A Oでなく、ステップ S 3 3にて Y E Sと判定した場合には、グループ判定部 G J Dの処理は、要件 2を満たすべく、ステツプ S 3 4へと移行する。

ステップ S 3 4の処理に移行すると、グループ判定部 G J Dは、注目先エントリでのグループ表への登録の内容が「〇」であるか否かを判定する。

ここで、注目先ェントリでの登録が「X」の場合には、注目先ェントリがグループ表に登録されていないことが確実であることから、グループ判定部 G J Dは、ステップ S 3 4にて N Oと判定すると、ステップ S 3 8の処理へと移行し、注目先を自己と同じグループ、すなわち自グループに登録し、さらに注目先表の注目先ェントリにおけるグループ表への登録内容を「〇」とする。このステップ S 3 8の処理により、要件 2は確実に満たされることから、グループ判定部 G J Dは一連の処理を終了する。

一方、ステップ S 3 4の判定において、注目先エントリでの登録が「〇」となされており、注目先が既に登録されている場合には、残る要件は要件 2の後半の本人番号 H iとその注目先とが同じグル —プとなっていることの保証のみとなる。そこで、グループ判定部 G J Dは、ステップ S 3 4の判定で Y E Sと判定すると、次のステップ S 3 5においてグループ表を参照して注目先グループを探索した上、ステップ S 3 6において本人番号 H iとその注目先とが同じグループとなっているかどうかを確認する。

ステップ S 3 6にて既に同じグループであると確認された場合には、要件 2は既に満たされているので、グループ判定部 G J Dは、このステップ S 3 6にて Y E Sと判定した場合には一連の処理を終了する。

一方、ステップ S 3 6にて N Oと判定した場合には、本人番号 H iとその注目先との属するグループを同じにしなければならないことから、グループ判定部 G J Dは、ステップ S 3 7の処理として、それそれの属する 2つのグループをマージする。すなわち、 2つのグループのうち番号の小さい側に大きい側をマージ、より具体的には、小さい側の人数に大きい側の人数を加算し、小さい側のメンバ一に大きい側のメンバ一を追加し、大きい側の人数を 0、大きい側のメンバ一を空にする。この結果、要件 2が満たされ、全ての要件が満たされることから、グループ判定部 G J Dは、一連の処理を終了する。

このようにして、グループ判定部 G J Dは、注目先表における会議参加者 H iのェントリの反映に関する要件についての確認を終了する。

次に、本人番号 H iのエントリに関する反映の終了後には、本人番号 H iのエントリの反映とともに、その 1つ前の本人番号 H i - 1までのエントリの反映がされていることが要件となる。なお、本人番号 H 1のエントリに関する反映に関しては、それまでに他のェントリを反映していないので、当該本人番号 H 1のエントリだけが反映されていればよい。一方、本人番号 H iのエントリを反映する場合に行う操作は、グループ表への新規登録、グループ表における 2グループのマージ、及び、注目先表におけるグループ表への登録内容の「〇」への変更である。ここで、この結果として本人番号 H iの 1つ前の本人番号 H i— 1までのェントリにしたがい登録した番号が消されること、グループ表への登録が「X」になることはなく、同じグループに属していた 2つの番号が分断されることもない。このため、本人番号 H iについての反映処理により、その 1つ前の本人番号 H i— 1までの処理において満たされていた要件が満たされなくなることはない。したがって、全ての本人番号 H iに関し、本人番号 H iのェントリに関する図 1 1に示した処理の終了後、本人番号 H 1から H i の全てのェントリに関する要件が満たされていることがわかる。つぎに、図 1 1に示したフローチャートの処理を行った場合の注目先表及びグループ表の内容の変遷について、具体例を挙げながら説明する。なお、ここでは、初期状態として、グループ表は図 7に示したような状態となっており、また、グループ判定用情報が反映されたときの注目先表が図 1 0に示したようになっている場合を例に挙げ、これらの注目先表とグループ表とがどのように変遷するかについて説明する。

まず、会議参加者 H M 1 (本人番号 H 1 ) のェントリの反映について説明する。

このとき、グループ表への登録内容は「X」であることから、図 1 1中ステップ S 3 1において N Oと判定され、次のステップ S 3 2において本人番号 H 1のエントリへの登録が行われる。このステップ S 3 2の処理の結果、グループ表は、図 1 2に示すように、最小の番号のグループであるグループ番号 G 1について人数が 1となり、メンバ一には自己を表す本人番号 H 1が登録される。また、このとき、注目先表は、図 13に示すように、本人番号 H 1についてのグループ表への登録内容が「〇」となる。

次に、ステップ S 33の判定処理において YE Sと判定され、注目先として例えば会議参加者 HM 3を表す注目先番号 A 3が得られたときには、図 13に示すように、本人番号 H 3のェントリのグループ表への登録内容が「X」となっていることから、ステップ S 3 4の判定処理において N 0と判定され、その結果、ステップ S 38 において当該注目先の本人番号 H 3が自グループであるグループ G 1に登録される。これにより、グループ表は、図 14に示すように、グループ G 1について人数が 2となり、そのメンバ一が H I， H 3 とされる。また、注目先表は、図 15に示すように、それら本人番号 H 1及び本人番号 H 3についてのグループ表への登録内容が「〇」となる。

これにより、会議参加者 HM 1 (本人番号 H I) についてのェントリの反映は終了する。

続いて、会議参加者 HM2 (本人番号 H2) のエントリの反映について説明する。

本人番号 H 2のェントリの反映を行う場合には、この時点でのグループ表への登録内容は「X」であることから、図 1 1中ステップ S 3 1において NOと判定され、次のステップ S 32において本人番号 H 2のエントリへの登録が行われる。このステップ S 32の処理の結果、グループ表は、図 16に示すように、最小の番号の次のグループであるグループ番号 G 2について人数が 1となり、メンバ一には自己を表す本人番号 H 2が登録される。また、このとき、注目先表は、図 17に示すように、本人番号 H 2についてのグループ表への登録内容が「〇」となる。さらに、この図 17の例に示すように、本人番号 H 2についての注目先番号が例えば A 0となっている場合には、この時点でエントリの反映処理が終了する。

続いて、会議参加者 HM3 (本人番号 H3) のエントリの反映について説明する。

本人番号 H 3のエントリの反映を行う場合には、この時点でのグループ表への登録内容は、先の本人番号 H 1のェントリ反映処理が行われている結果、図 17に示すように、「〇」となされていることから、図 1 1中ステップ S 3 1において YE Sと判定され、さらに、本人番号 H 3の会議参加者 HM 3が例えば会議参加者 HM 5を注目しているとすると、ステップ S 33において YE Sと判定される。この時点で、注目先の本人番号 H 5についてのグループ表への登録内容は、図 17に示すように、「X」となっていることから、図 1 1中ステップ S 34において NOと判定される。

その結果、ステップ S 38において当該注目先の本人番号 H 5は、本人番号 H 3についての自グループであるグループ G 1に登録される。これにより、グループ表は、図 18に示すように、グループ G 1について人数が 3に更新され、そのメンバ一が H I， H 3 , H 5 に更新される。また、注目先表は、図 1 9に示すように、本人番号 H 5についてのグループ表への登録内容が「〇」に更新される。これにより、会議参加者 HM3 (本人番号 H 3) についてのェントリの反映は終了する。

続いて、会議参加者 HM4 (本人番号 H4) のエントリの反映について説明する。

本人番号 H 4のェントリの反映を行う場合には、この時点でのグループ表への登録内容は「X」であるこ.とから、図 1 1中ステップ S 3 1において N 0と判定され、次のステップ S 3 2において本人番号 H 4のェントリへの登録が行われる。このステップ S 3 2の処理の結果、グループ表は、図 2 0に示すように、既に設定されているグループ G 1， G 2の次のグループであるグループ番号 G 3について人数が 1 となり、メンバーには自己を表す本人番号 H 4が登録される。また、このとき、注目先表は、図 2 1に示すように、本人番号 H 4についてのグループ表への登録内容が「〇」となる。次に、ステップ S 3 3の判定処理において Y E Sと判定され、注目先として例えば会議参加者 H M 2を表す注目先番号 A 2が得られたときには、この時点での注目先表は、図 2 1に示すように、注目先である本人番号 H 2のグループ表への登録内容が「〇」となっていることから、ステップ S 3 4の判定処理において Y E Sと判定される。

次に、ステップ S 3 5において当該注目先の本人番号 H 2についてグループ番号の探索を行うことにより、当該注目先の本人番号 H 2のグループ番号 G 2が求められる。そして、次のステップ S 3 6 において、現時点での本人番号 H 4についてのグループ番号は G 3 であり、一方、注目先の本人番号 H 2のグループ番号 G 2となされていることから、 N Oと判定され、次のステップ S 3 7において、本人番号 H 4についてのグループ番号 G 3は、より小さい番号である注目先の本人番号 H 2のグループ番号 G 2にマージされる。

これにより、グループ表は、図 2 2に示すように、グループ G 2 について人数が 2に更新され、そのメンバーが H 2， H 4に更新される。また、注目先表は、図 2 3に示すように、更新される。すなわち、注目先表は、図 2 1に示したもののままとされる。

これにより、会議参加者 HM4 (本人番号 H 4) についてのェントリの反映は終了する。

最後に、会議参加者 HM 5 (本人番号 H 5 ) のエントリの反映について説明する。

本人番号 H 5のエントリの反映を行う場合には、この時点でのグループ表への登録内容は図 2 3に示したように「〇」となされていることから、図 1 1中ステップ S 3 1において YE Sと判定され、さらに、本人番号 H 5の会議参加者 HM 5が例えば会議参加者 HM 3を注目しているとすると、ステップ S 33において YE Sと判定される。この時点で、注目先の本人番号 H 3についてのグループ表への登録内容は、図 2 3に示したように、「〇」となっていることから、図 1 1中ステップ S 34において YE Sと判定される。次に、ステップ S 3 5において当該注目先の本人番号 H 3についてグループ番号の探索を行うことにより、当該注目先の本人番号 H 3のグループ番号 G 1が求められる。そして、次のステップ S 36 において、注目先の本人番号 H 3のグループ番号 G 1となされており、また、このグループ番号 G 1には既に本人番号 H 5が登録されていることから、 YE Sと判定され処理を終了する。

これにより、グループ表は、図 24に示すように、更新され、また、注目先表は、図 2 5に示すように、更新される。すなわち、グループ表は、図 2 2に示したもののままとされ、注目先表は、図 2 3に示したもののままとされる。以上説明したような処理により、注目先表の全ての本人番号に関する情報の反映が終わった段階で、注目先表の「グループ表への登録」は全て「〇」となり、また、全ての本人番号はそれそれグループ表においてどれか 1つのグループのメンバーとして登録されていることになる。

上述したグループ判定部 G J Dは、このような全ての情報反映が終了した時点での注目先表及びグループ表の情報を、上述したように、各会議参加者 HMが何れのグループに属しているか、すなわち何れの話題に参加しているかを表すグループ情報として生成する。なお、このグループ情報は、サーバ S Vから各遠隔会議装置 T C Dに送信されることになるが、このときの送信内容及び送信先としては、例えばグループ表における人数が 0でないグループの構成全てを全地点の遠隔会議装置 T CDに送信する場合や、各地点の遠隔会議装置 T CDに対しその地点で会議参加者 HMが属しているグル —プの構成を送信するといつた方法が考えられる。

つぎに、遠隔会議システムにおいて、各遠隔会議装置 T CDから送信された画像データ及び音声デ一夕と、サーバ SVから上述したグループ情報とを受け取った遠隔会議装置 T CDの動作について説明する。なお、ここでは、各遠隔会議装置 T CD l〜TCDnのうち、代表して図 2に示した遠隔会議装置 T CD 1を例に挙げてその動作を説明する。

遠隔会議装置 T CD 1における情報送受信部 TRB 1は、通信ネットワーク NTを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 2〜T CD nにそれそれ対応する画像データ及び音声デ一夕を分離するとともに、上述したグループ情報を取り出し、分離した各画像デ一夕及び各音声データをそれそれ情報加工部 PB 1に供給するとともに、取り出したグループ情報も情報加工部 PB 1に供給する。

情報加工部 PB 1は、グループ情報に基づいて、各遠隔会議装置 T CD 2〜T CD ηにそれそれ対応する画像デ一夕及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD 2〜T CD ηにそれそれ対応して分離された画像デー夕及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ ·各音声デ一夕を、各遠隔会議装置 T CD 2 〜T C D ηに対応して設けられている各モニタ装置 MD 2〜MD n に対して供給する。

ここで、情報加工部 PB 1における調整処理の具体的な内容について、以下に例を挙げながら説明する。

この調整処理の第 1の具体例としては、他の遠隔会議装置 T CD 2〜T CD nから遠隔会議装置 T CD 1に送信されてきた画像デー夕及び音声データのうち、特に音声データをグループ情報から生成したパラメ一夕に基づいて増幅させる処理を挙げることができる。図 26に、この調整処理の第 1の具体例として、グループ情報から生成したパラメ一夕に基づいて音声デ一夕を増幅させるようにした場合の遠隔会議装置 T CD 1における情報加工部 P B 1の主要部の概略構成を示す。

この図 26において、遠隔会議装置 T CD 1における情報加工部 PB 1の端子 2 1には、上述した倩報送受信部 TRB 1が分離した各遠隔会議装置 T CD 2〜T CD nに対応する音声デ一夕が供給され、端子 22には、情報送受信部 TRB 1からグループ情報が供給される。なお、この図 26の例では、画像デ一夕については当該情報加工部 PB 1をそのまま通過してそれそれ対応するモニタ装置 M D 2〜MD nに供給されるため、当該画像デ一夕の経路については省略している。

各遠隔会議装置 T CD 2〜T CD ηに対応する音声データは、各モニタ装置 MD 2〜MD ηに対応して設けられている音声加工器 A P 2〜AP nに供給される。なお、以下では、各音声加工器 AP 2 〜AP nを個々に区別する必要がない場合には、単に音声加工器 A Pと記述するものとする。

音声加工パラメ一夕演算部 20は、グループ情報に基づいて、この遠隔会議装置 T CD 1の会議参加者 HM 1が何れのグループに属しているのか、すなわち何れの話題に参加しているのかを認識し、会議参加者 HM 1が属しているグループに対応する音声の音量のみを上げ、それ以外の音声の音量を下げるためのパラメ一夕を生成する。すなわち、音声加工パラメ一夕演算部 20は、会議参加者 HM 1が属しているグループ内の会議参加者 HMの発言の音声を増幅し、且つ、その他の会議参加者 HMの発言の音声を減衰するためのパラメータとして、音声増幅率を演算によって求める。この音声加工パラメ一夕演算部 20から各モニタ装置 MD 2〜MDnに対応して個々に出力された音声増幅率の情報は、これらの各モニタ装置 MD 2 〜MD nに対応して設けられている音声加工器 A P 2〜AP nに供口され。

これにより、各音声加工器 AP 2〜ΑΡηは、音声増幅率の情報に基づいて、それそれ個々に供給されている音声デ一夕を増幅或いは減衰させる調整処理を行う。これらの各音声加工器 A P 2〜A P nにて調整処理が施された後の音声デ一夕は、それそれ対応する出力端子 A O 2〜A O nから出力され、図 2に示した信号処理装置 S P D 1における対応する出力端子 T 0 2〜T 0 nに供給される。信号処理装置 S P D 1における各出力端子 T O 2〜T O nより出力された音声データは、それそれ対応したモニタ装置 M D 2〜M D nのスピーカに供給される。これにより、会議参加者 H M 1が属しているグループ、すなわち話題に参加しているグループに対応するモニタ装置 M Dのスビーカより発生される音声の音量は、大きく聞き易い状態となり、一方、会議参加者 H M 1が属していないグループ、すなわち話題に参加していないグループに対応するモニタ装置 M Dのスピーカより発生される音声の音量は、小さくなる。

すなわち、この調整処理において、上述したように、自己、すなわちこの例では会議参加者 H M 1が属しているグループに対応する音声のみを増幅しょうとするのは、以下のような理由による。

例えば、通信ネットワークを利用した遠隔会議システムのように、複数の会議参加者がそれそれ遠隔会議装置を使用して会議を行うような場合には、例えば複数の話題が同時に存在すると、自分の聞きたい話題の音声が他の話題の音声に邪魔されて聞こえ難いことがある。この問題を解決するためには、例えば自分の注目している会議参加者の発言の音声のみを聞こえ易くし、それ以外の会議参加者の発言の音量を下げればよい。しかしながら、一般的な会議では、複数の会議参加者が同じ話題についてそれそれ発言を行うため、上述したように、自分の注目している会議参加者の発言の音声のみを聞こえ易くし、それ以外の会議参加者の発言の音量を下げるようにすると、例えば同じ話題に参加している各会議参加者の中で自分が注目していない別の会議参加者の発言の音量までも下げられてしまうため、この別の会議参加者の発言が聞こえにくくなり、その発言を聞き逃してしまうことになる虞がある。

そこで、ここでは、同じ話題に参加している各会議参加者をグループ化し、そのグループに属している会議参加者の音声については、自分が注目していなくてもその発言の音量を下げるようなことは行わないようにし、別の話題に参加しているグループの発言についての音量のみを下げるようにしている。

このような調整処理の第 1の具体例によれば、自己、すなわちこの場合は会議参加者 H M 1 と同じ話題に参加している各会議参加者の音声が聞き取り易くなり、その一方で、自己と異なる話題の音声は小さくなり、自己と同じ話題に参加している各会議参加者の発言の妨げにならないようになっている。

つぎに、調整処理の第 2の具体例について説明する。調整処理の第 1の具体例としては、グループ情報に基づいて各会議参加者 H M の発言音声の音量を増幅或いは減衰させる調整の例を挙げたが、情報加工部 P B 1は、調整処理の第 2の具体例として、グループ情報に基づいて各会議参加者 H Mの発言音声の周波数特性を調整するようなことも可能である。

この調整処理の第 2の具体例のように、音声の周波数特性を調整するようにした場合には、図 2 6に示した音声加工パラメ一夕演算部 2 0は、グループ情報に基づいて、会議参加者 H M 2〜H M nの発言の音声の周波数特性を個々に調整するためのフィル夕パラメ一夕を演算によって求め、このフィル夕パラメ一夕を音声加工器 A P 2〜A P nに供給する。

図 2 7に、この調整処理の第 2の具体例として、グループ情報から生成したパラメ一夕に基づいて音声の周波数特性を調整するような処理を行う場合の音声加工器 A Pの構成例を示す。

この図 2 7において、端子 3 2には、端子 2 1を介して倩報送受信部 T R B 1から供給された図 2 8に示すような周波数特性を有する音声データが入力され、端子 3 1には、音声加工パラメ一夕演算部 2 0から供給された図 2 9に示すような周波数制御特性のフィル夕パラメ一夕 K ( t ) が入力される。なお、図 2 9に示す F maxは、固定値とされる入力音声の最大周波数である。端子 3 2を介した音声デ一夕と、端子 3 1を介したフィル夕パラメ一夕 K ( t ) は、音声加工器 A Pの主要構成要素である L P F (口一パスフィル夕）に入力される。

L P Fは、端子 3 2から供給された図 2 8に示す特性を有する音声デ一夕に対して、端子 3 1から入力された図 2 9に示すような K ( t ) · F maxの遮断周波数を有する低域通過のフィル夕処理を施す < これにより、 L P Fからは、図 3 0に示すような特性の出力音声デ —夕が得られる。この出力音声データは、端子 3 3からそれそれ対応する出力端子 A Oを介してモニタ装置 M Dのスピー力に供給される。このスピーカから出力された音声は、会議参加者 H M 1が属するグループにおいて聞き取り易いように、周波数特性制御がなされたものとなる。

このような調整処理の第 2の具体例によれば、自己、すなわちこの場合は会議参加者 H M 1 と同じ話題に参加している各会議参加者の音声が聞き取り易くなり、その一方で、自己と異なる話題の会議参加者による音声については、自己と同じ話題に参加している各会議参加者の発言の妨げにならないようになっている。

つぎに、調整処理の第 3の具体例について説明する。この調整処理の第 3の具体例としては、他の遠隔会議装置 T CD 2〜T CDn から遠隔会議装置 T CD 1に送信されてきた画像データ及び音声デ一夕のうち、特に画像データをグループ情報から生成したパラメ一夕に基づいて調整する処理を挙げることができる。

図 3 1に、調整処理の第 3の具体例として、グループ情報から生成したパラメ一夕に基づいて画像データを調整するようにした場合の遠隔会議装置 TCD 1における情報加工部 PB 1の主要部の概略構成を示す。

この図 3 1において、遠隔会議装置 T CD 1における情報加工部 PB 1の端子 24には、情報送受信部 TRB 1が分離した各遠隔会議装置 T CD 2〜T CD ηに対応する画像データが供給され、端子 25には、情報送受信部 TRB 1からグループ情報が供給される。なお、この図 3 1の例では、音声データについては当該情報加工部 Ρ Β 1をそのまま通過してそれそれ対応するモニタ装置 MD 2〜Μ D ηに供給されるため、当該音声データの経路については省略している。

各遠隔会議装置 T CD 2〜T CD nに対応する画像デ一夕は、各モニタ装置 MD 2〜MD nに対応して設けられている画像加工器 V P 2〜VP nに供給される。また、グループ情報は、画像加工パラメ一夕演算部 23に供給される。

画像加工パラメ一夕演算部 23は、グループ情報に基づいて、この遠隔会議装置 T C D 1の会議参加者 HM 1が何れのグループに属しているのか、すなわち何れの話題に参加しているのかを認識し、会議参加者 HM 1が属しているグループに対応する画像の輝度や色のレベルを上げ、それ以外の会議参加者の画像の輝度や色のレベルを下げるための画質調整用のパラメ一夕を生成する。すなわち、画像加工パラメ一夕演算部 23は、会議参加者 HM 1が属しているグループ内の会議参加者 HMについての画像の輝度や色のレベルを増幅し、且つ、その他の会議参加者 HMについての画像の輝度や色のレベルを減衰等するためのパラメ一夕として、画質調整値を演算によって求める。この画像加工パラメ一夕演算部 23から各モニタ装置 MD 2〜MD nに対応して個々に出力された画質調整値は、これらの各モニタ装置 MD 2〜MD nに対応して設けられている画像加ェ器 VP 2〜VP nに供給される。

これにより、各画像加工器 VP 2〜VPnは、画質調整値に基づいて、それそれ個々に供給されている画像デ一夕の輝度や色のレべルを増幅或いは減衰させる調整処理を行う。これらの各画像加工器 VP 2〜VP nにて調整処理が施された後の画像デ一夕は、それそれ対応する出力端子 VO 2〜VO nから出力され、図 2に示した信号処理装置 SPD 1における対応する出力端子 T 02〜TOnに供給される。

信号処理装置 S P D 1における各出力端子 Τ 02~ΤΟηより出力された画像データは、それそれ対応したモニタ装置 MD 2〜MD nのディスプレイ装置に供給される。これにより、会議参加者 HM 1が属しているグループ、すなわち話題に参加しているグループに対応するモニタ装置 MDのディスプレイ装置上に表示される画像は、例えば明るく見易くなり、一方、会議参加者 HM 1が属していないグループ、すなわち話題に参加していないグループに対応するモニ夕装置 MDのディスプレイ装置上に表示される画像は、例えば暗くなる。

このような調整処理の第 3の具体例によれば、自己、すなわちこの場合は会議参加者 HM 1と同じ話題に参加している各会議参加者の画像は見易くなり、その一方で、自己と異なる話題の会議参加者の画像は見難くなり、自己と同じ話題に参加している各会議参加者をより鮮明に見ることが可能となる。

図 32に、この調整処理の第 3の具体例として、グループ情報から生成したパラメ一夕に基づいて画像の画質調整処理を行う場合の画像加工器 VPの構成例を示す。なお、この図 3 2の例では、画像加工処理として、 R (赤）、 G (緑）、 B (青）の原色デ一夕のそれそれのゲインを調整する処理を例に挙げる。

図 3 2において、端子 3 5， 3 6 , 3 7には、端子 24を介して情報送受信部 TRB 1から供給された R， G, Bの原色データが入力され、端子 34には、画像加工パラメ一夕演算部 2 3から供給された画質調整値 V(t)が入力される。端子 3 5 , 3 6 , 37を介した R， G， Bの原色データと、端子 34を介した画質調整値 V(t)は、画像加工器 VPに入力される。

画像加工器 VPは、端子 3 5， 3 6 , 37から入力された R， G, Bの原色データに対して、端子 34から入力された画質調整値 V (t)による画像加工処理を施す。これにより、画像加工器 VPからは、 R， G， Bの各原色データにそれそれ画質調整値 V(t)によるレベル調整が施されたデータが出力される。これらの画像加工処理後の R， G, Bのデータは、それそれ対応する端子 38 , 3 9 , 40から出力され、出力端子 VO 2〜VOnを介して、図 2に示した信号処理装置 S PD 1における対応する出力端子 T 02〜T Onに供給される。

つぎに、調整処理の第 4の具体例について説明する。この調整処理の第 4の具体例としては、他の遠隔会議装置 T CD 2~T CD n から遠隔会議装置 T CD 1に送信されてきた画像データ及び音声デ —夕の両方に対して、グループ情報から生成したパラメ一夕に基づく調整処理を行うようにすることも可能である。すなわち、この調整処理の第 4の具体例では、グループ情報に応じた情報加工処理として、音量、音質、画質の調整をそれそれ別個に行うのではなく、それらの調整を組み合わせて行う。

図 33に、この調整処理の第 4の具体例として、グループ情報から生成したパラメ一夕に基づいて画像データ及び音声デ一夕の両方に対して調整を行うようにした場合の遠隔会議装置 T CD 1における情報加工部 PB 1の主要部の概略構成を示す。

この図 33において、遠隔会議装置 T CD 1における情報加工部 PB 1の端子 2 8には、情報送受信部 T RB 1が分離した各遠隔会議装置 T CD 2〜T CD ηに対応する画像データと音声デ一夕とが供給され、端子 2 9には、情報送受信部 TRB 1からグループ情報が供給される。

各遠隔会議装置 T CD 2〜T C D ηに対応する画像データは、画像加工装置 2 6に供給され、各遠隔会議装置 T CD 2〜T CD nに対応する音声データは、音声加工装置 2 7に供給される。また、グループ情報は、これらの画像加工装置 2 6と音声加工装置 2 7とに供給される。画像加工装置 26は、図 3 1に示したような画像加工器 VP 2〜 VPnを備えている。したがって、各遠隔会議装置 T CD 2〜TC D nに対応する画像データは、図 3 1の場合と同様に、各画像加工器 VP 2〜VPnに供給される。また、画像加工装置 26に入力されたグループ情報は、図 3 1に示した画像加工パラメ一夕演算部 2 3に供給される。

一方、音声加工装置 27は、図 26に示したような音声加工器 A P 2 ~AP nを備えている。したがって、各遠隔会議装置 T CD 2 〜T CDnに対応する音声データは、図 26の場合と同様に、各音声加工器 AP 2〜APnに供給される。また、音声加工装置 27に入力されたグループ情報は、図 26に示した音声加工パラメ一夕演算部 20に供給される。

画像加工装置 26にて図 3 1に示したものと同様に画質調整処理が施された画像データと、音声加工装置 27にて図 26に示したものと同様に音量或いは音質調整処理が施された音声デ一夕は、それそれ対応する出力端子 S 02〜 SOnを介して、図 2に示した信号処理装置 S PD 1における対応する出力端子 T 02〜T 0 nに供給される。

信号処理装置 S PD 1における各出力端子 TO 2〜T Onより出力された画像データ及び音声データは、それそれ対応したモニタ装置 MD 2〜MD nのディスプレイ装置とスピーカとに供給される。これにより、会議参加者 HM 1が属しているグループ、すなわち話題に参加しているグループに対応するモニタ装置 MDのディスプレィ装置上に表示される画像は見易くなり、且つ、その音声は聞き取り易くなる。一方、会議参加者 HM 1が属していないグループ、すなわち話題に参加していないグループに対応するモニタ装置 M Dのディスプレイ装置上に表示される画像は暗くなり、且つ、その音声は邪魔にならないものとなる。

このような調整処理の第 4の具体例によれば、自己、すなわちこの場合は会議參加者 H M 1 と同じ話題に参加している各会議参加者の画像は見易くなり且つ音声は聞き易くなり、その一方で、自己と異なる話題の会議参加者の画像は見難く、音声は邪魔にならなくなる。

なお、音声についての情報加工処理としては、同じグループに属していない会議参加者の音声の音量を下げる例や、周波数の低域通過フィル夕を用いることによって音声における最大周波数を低くする例以外に、音量と周波数をともに変化させる例といったものが考えられる。また、音声についての情報加工処理としては、同じグループであった会議参加者が同じグループでなくなるとき、及び、その逆の変遷があるときの音量や最大周波数を瞬時に変化させる方法以外に、特定の時定数を以て徐々に変化させる例も考えられる。また、画像についての情報加工処理としては、同じグループに属していない会議参加者の画像の輝度を下げる例だけでなく、それら同じグループに属さない会議参加者の画像を無彩色、或いは、色を薄くする例や、輝度及び色ともに加工する例、画像の解像度ゃシャ —プネスを調整する例といったものが考えられる。また、画像についての情報加工処理としては、同じグループであった会議参加者が同じグループでなくなるとき、及び、その逆の変遷があるときの画像の輝度や色を瞬時に色を変化させる方法以外に、特定の時定数を以て徐々に変化させる例も考えられる。さらに、音声と画像について上述したように特定の時定数を以て徐々に変化させるようにした場合には、その制御を音声と画像とで同期して行う例や、片方の変化を一定時間遅らせる例、両者で時定数を変える例といったものが考えられる。

なお、注目度に応じて音量を調整する技術については、本願出願人が既に出願している特願平 1 0— 2 8 7 5 0 6号に記載されている。

つきに、図 2に示したグループ判定用情報生成部 J B 1において、会議参加者 H M 1の例えば正面に配置されているモニタ装置 M D m のカメラから供給された画像デ一夕に基づき、会議参加者 H M 1が注目している方向、すなわちモニタ装置 M D 2 ~ M D nの何れか或いはそれら以外の方向を検出する際の処理の具体例について説明する。

遠隔会議装置 T C D 1におけるグループ判定用情報生成部 J B 1 で行われる会議参加者 H M 1の注目する方向検出処理の第 1の具体例としては、以下に述べるように、会議参加者 H M 1の視線の向き検出、すなわち視線検出を挙げることができる。

図 3 4に、グループ判定用情報生成部 J B 1にて視線検出を行う場合の処理の流れを示す。

グループ判定用情報生成部 J B 1は、図 3 4に示すように、ステヅプ S 4 1の処理として、例えば会議参加者 H M 1の正面に配置されたモニタ装置 M D mに設けられているカメラが撮像した画像デ一夕を受け取ると、次のステップ S 4 2の処理として、この供給された画像の色彩情報を用いて、会議参加者 H M 1の顔画像における両目の輪郭を検出する。すなわち、グループ判定用情報生成部 J B 1 は、供給された画像の色彩情報から例えば肌、白目、黒目等の色領域を抽出し、それら抽出した色領域の例えば境界を求めること等により、図 3 5に示すように、右目の輪郭 E及び左目の輪郭 Eを検出する。なお、図 3 5では、片目のみを示している。

次に、グループ判定用情報生成部 J B 1は、ステップ S 4 3の処理として、ステップ S 4 2で求めた両目のそれそれの輪郭 Eに基づいて、右目の左右端点 F l， F 2の位置及び左目の左右端点 F 1 , F 2の位置を求め、これらの右目及び左目のそれそれの左右端点 F 1， F 2の位置を基準として、図 3 6に示すような鼻孔を探索するための探索範囲 N Eを決定し、この探索範囲 N E内から鼻孔 N Hの位置を検出する。すなわち、グループ判定用情報生成部 J B 1は、左右両目について、図 3 5に示すように、それぞれ目の輪郭 Eを構成する画素集合の重心 Qと、目の輪郭 Eを構成する画素集合の 2次モーメント（線に関する慣性）を最小にする線 Mとを求め、さらに、目の輪郭 Eを構成する画素集合の中から、線 Mの方向において重心 Qからの距離が最大距離 L 1 , L 2となる位置の画素を、重心 Qから左右方向に 1つずつ求め、これらの画素位置を左右端点 F 1 , F 2として求める。次いで、グループ判定用情報生成部 J B 1は、図 3 6に示すように、上述のようにして求めた右目の左右端点 F 1， F 2の位置と、左目の左右端点 F l， F 2の位置とを基準とし、これらの各左右端点 F l , F 2から下方側に、鼻孔を探索するための探索範囲 N Eを決定する。ここで、鼻孔 N H部分の画像は他の部分の画像に比べて暗く写ることから、グループ判定用情報生成部 J B 1は、探索範囲 N E内で輝度が低い画像部分を鼻孔 N Hの位置として検出する。次に、グループ判定用情報生成部 J B 1は、ステップ S 4 4の処理として、図 3 7に示すように、右目の左右端点 F l， F 2の位置と、左目の左右端点 F l , F 2の位置と、鼻孔 NHの位置との幾何学的な位置関係に基づいて、眼球 E Bの中心位置 E C及び眼球 E B の半径 rを推定する。

さらに、グループ判定用情報生成部 J B 1は、ステップ S 4 5の処理として、右目の輪郭 E及び左目の輪郭 E内の画像の輝度情報を用いて、図 3 6に示すように、瞳孔 E Aの中心位置 E A Cを検出する o

次に、グループ判定用情報生成部 J B 1は、ステップ S 4 6の処理として、図 3 8に示すように、ステップ S 44で検出した眼球 E Bの中心位置 E Cと、ステップ S 4 5で検出した瞳孔 E Aの中心位置 E ACとを結ぶべクトル EVを演算し、得られたべクトル EVを視線の方向として、そのべクトル E Vがモニタ装置 MD 2〜MD n のうちの何れを向いているかの方向判定を行う。

以上の流れにより、グループ判定用情報生成部 J B 1は、会議参加者 HM 1の視線を検出する。

なお、輪郭 Eのような特定の画素集合の 2次モ一メントを最小にする線 Mは、例えば以下のような演算によって求めることができる < ここでは、図 3 9に示すように、次式（ 1 ) で表される直線 Mを例に挙げる。

X sin^— y cos^ + p = 0 ( 1 ) また、輪郭 Eの画素集合上の各点（X i , y i ) と直線 Mとの距離 008303

56 を Riとするとき、直線 Mに関する 2次モーメント mは、次式（ 2 ) のように表すことができる。

すなわち、 2次モーメントを最小にする直線 Mとは、上式（ 2 ) の mを最小にする直線 Mのことである。結論を述べると、上式

( 2 ) の mを最小にするには、上式（ 2 ) 中の 0、 /oとして、次式

( 3) 及び次式（4 ) の条件を満たすものを使用する。

Θ ： sin26» =b/(b² + (a-c)²)^1/2 _J

cos26l = (a-c)/(b² + (a-c)²)^1/2 ( 3 ) p ： p = -xosin0 + y ocos θ 4 なお、上式（4) ( osin6> - y ocos6> + = 0) は、画素集合の重心を通ることを意味する。

但し、上式（ 3 ) 及び上式（4 ) において、 a, b, cは、次式 ( 5 ) 、次式（ 6 ) 及び次式（ 7 ) で表される。なお、（x。， y o) は、画素集合の重心である。

b = 2∑ (Xi-x₀ )(yi-y₀ ) (6)

つぎに、遠隔会議装置 T CD 1におけるグループ判定用情報生成部 J B 1で行われる会議参加者 HM 1の注目する方向検出処理の第 2の具体例について説明する。この方向検出処理の第 2の具体例としては、以下に述べるように、会議参加者 HM 1の顔向き検出を挙げることができる。

図 40に、グループ判定用情報生成部 J B 1にて顔向き検出を行う場合の処理の流れを示す。

グループ判定用情報生成部 J B 1は、図 40に示すように、ステップ S 5 1の処理として、会議参加者 HM 1の正面に配置されたモ二夕装置 MDmに設けられているカメラから、例えば図 41や図 4 2に示すような顔の原画像デ一夕が供給されると、次のステップ S 52の処理として、この供給された顔画像の色彩情報を用いて、肌領域と髪領域とを検出する。すなわち、グループ判定用情報生成部 •JB 1は、供給された顔画像の色彩情報から、例えば肌、髪の色領域を抽出し、それら抽出した色領域により、図 43や図 44に示すように、肌領域 s eと髪領域 heとを検出する。

次に、グループ判定用情報生成部 J B 1は、ステップ S 53の処理として、図 45や図 46に示すように、肌領域 s eと髪領域 h e との和領域 f e ( = s e + h e ) の重心 f qと、肌領域 s eの重心 s qとの検出を行うための枠の設定を行う。ここで、この枠の設定は、画像の例えば垂直方向の範囲指定によって行う。具体的に説明すると、この範囲指定は、例えば髪領域 h eと肌領域 s eとの和領域 f eの上端 r eを基準とし、この基準の上端 r eより下方向の区間 const— aから区間 const— a + const— bの間を範囲とするように行う。

続いて、グループ判定用情報生成部 J B 1は、ステップ S 5 4の処理として、ステップ S 5 3にて設定した枠の範囲内において、髪領域 h eと肌領域 s eとの和領域 f eの重心 f qと、肌領域 s eの重心 s qとを求める。なお、これらの重心は、後段の処理において、水平方向成分と垂直方向成分との両方を用いる場合や、水平方向成分と垂直方向成分との何れかを用いる場合が考えられるが、ここでは一例として水平方向成分についてのみ用いる場合の例を挙げて説明する。

グループ判定用情報生成部 J B 1は、ステップ S 5 4にて髪領域 h eと肌領域 s eとの和領域 f eの重心 f qと、肌領域 s eの重心 s qとを求めると、ステップ S 5 5の処理として、肌領域 s eの重心 s qの値から、髪領域 h eと肌領域 s eとの和領域 f eの重心 f qの値を引いた差分値を求める。

次に、グループ判定用情報生成部 J B 1は、ステップ S 5 6の処理として、ステップ S 5 5にて求めた差分値から顔の向きを検出する。ここで、差分値から顔向きを検出する処理としては、例えば以下のような 2つの方法の何れかを用いる。なお、ここでは、差分値を X、顔向き角度を Yで表現することにし、また、会議参加者 H M 1がモニタ装置 MDmのカメラの方向を向いているときの角度を 0 度と定義する。ステップ S 56の処理の一方法例では、当該顔向き検出処理に先立って、予め差分値 Xと顔向き角度 Yとに関する統計をとり、差分値 Xに対する顔向き角度 Yの値を例えば平均値として求め、図 47に示すようにその対応関係のグラフを用意しておき、この図 4.7の対応関係に基づいて、ステップ S 55にて求めた差分値 Xから顔向き角度 Yを得る。また、ステップ S 56の処理の他の方法例では、ステップ S 55にて求めた差分値 Xを用い、次式

(8) によって顔向き角度 Yを求める。

Y =a*sin (X) ( 8 ) 以上の流れにより、グループ判定用情報生成部 J B 1は、会議参加者 HM 1の顔向きを検出する。

なお、この顔向き検出処理については、本願出願人が既に出願している特願平 1 1— 253853号に記載されている。

また、会議参加者 HM 1の向いている方向を検出するさらに他の具体的な方法としては、例えば、会議参加者 HM 1の顔に赤外線を照射し、この会議参加者 HM 1の顔にて反射された赤外線を受光して生成した画像を用いて、方向検出を行うような方法も考えられる < つぎに、図 2に示した遠隔会議装置 T CD 1における各モニタ装置 MD 2〜MD nの具体的構成例について、図 48及び図 49を用いて説明する。なお、図 48には、モニタ装置 MDの側面側の概略的な透視図を示し、図 49には、モニタ装置 MDの概略的な正面図を示している。各モニタ装置 MD 2〜MD nは、それそれが図 48及び図 49に示すように、主要構成要素として、筐体 50と、筐体 50の正面、すなわちモニタ装置 MDの正面側に設けられるスピーカ 53と、画面 54が所定の方向、すなわち図 48及び図 49の例では上方に向くように配置されたディスプレイ装置 55と、このディスプレイ装置 55の画面 54から出た光を同図中一点鎖線 BOに示すように反射してモニタ装置 MDの正面側に導くとともに、同図中二点鎖線 B Iに示すように当該モニタ装置 MDの正面側から入射した光を透過するハーフミラ一 52と、このハーフミラー 52の後方に支持部 5 8によって支持されて配置される例えばビデオカメラといったカメラ 56とを備えている。また、モニタ装置 MDの例えば筐体 50の上面には、支持部 57によって支持されたマイクロホン 5 1が設けられている。なお、このマイクロホン 5 1は、モニタ装置 MD 2〜 MD nのうち、例えば会議参加者 HM 1の正面に配置されているモ二夕装置、すなわち図 2の例ではモニタ装置 M Dmにのみ設けるようにしてもよい。

各モニタ装置 MD 2〜MDnにおける各カメラ 56は、図 48中二点鎖線 B Iに示すように、例えば会議参加者 HM 1の光像等のハ一フミラー 52を透過した入射光を取り込んで画像デ一夕に変換する。これらの各カメラ 56から出力された画像データは、信号処理装置 SPD 1における情報送受信部 TRB 1に供給され、通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜T CD nに送信される。また、各モニタ装置 MD 2〜MD nのうち、特に、会議参加者 HM 1の例えば正面に配置されるモニタ装置 M Dmのカメラ 56 から出力された画像デ一夕は、信号処理装置 S P D 1におけるグル —プ判定用情報生成部 J B 1にも供給され、上述したように、グル —プ判定用情報生成の際の視線検出或いは顔向き検出のために用いられる。

各モニタ装置 MD 2〜MD nにおける各マイクロホン 5 1は、遠隔会議装置 T CD 1の周囲の音や会議参加者 HM 1の発言等の音を音声デ一夕に変換する。これらの各マイクロホン 5 1から出力された音声デ一夕は、信号処理装置 S PD 1における情報送受信部 TR B 1に供給され、通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜T CDnに送信される。

また、これらのモニタ装置 MD 2〜MD nのうち、モニタ装置 M D 2のディスプレイ装置 55の画面 54上には、例えば遠隔会議装置 T CD 2において会議参加者 HM 1に対応して設けられているモ二夕装置 MD 1のカメラ 56によって撮影されて通信ネットワーク NTを介して供給されてきた画像データ、すなわち会議参加者 HM 2及びその周辺風景の画像デ一夕に基づく画像が表示され、また、遠隔会議装置 T CD 1におけるモニタ装置 MD 2のスピーカ 53からは、遠隔会議装置 T CD 2において会議参加者 HM 1に対応して設けられているモニタ装置 MD 1のマイクロホン 5 1によって取り込まれて通信ネットワーク NTを介して供給された音声データ、すなわち会議参加者 HM 2の発言による音声データに基づく音声が出力される。同様に、モニタ装置 MD 3のディスプレイ装置 55の画面上には、遠隔会議装置 T CD 3において会議参加者 HM 1に対応して設けられているモニタ装置 MD 1のカメラ 56によって撮影されて送信されてきた画像データに基づく画像が表示され、スピー力 53からは、遠隔会議装置 T CD 3において会議参加者 HM 1に対応して設けられているモニタ装置 MD 1のマイクロホン 5 1によつて取り込まれて送信されてきた音声データに基づく音声が出力される。他のモニタ装置 MDも同様であり、それそれ対応する遠隔会議装置 T CDから送信されてきた画像が表示され、また音声が出力される。

ここで、各モニタ装置 MD 2〜MD nは、図 48に示したように、ディスプレイ装置 55の画面 54から出た光が、ハーフミラ一 52 によって同図中一点鎖線 B 0に示す方向へと反射されて会議参加者 HM 1側へ進むように構成されていることから、ディスプレイ装置 55の画面 54上に表示される相手方の会議参加者 HMの顔画像等は、ハーフミラ一 52によって反射されることで本来の正しい状態に視認できる鏡像となされている。なお、図 49中 RVは、デイスプレイ装置 55の画面 54上に表示された相手方の会議参加者 HM の鏡像がハーフミラー 52によって反射されて得られる像、すなわち相手方会議参加者 HMの顔の虚像である。

また、モニタ装置 MDにおいて、ディスプレイ装置 55の画面 5 4上に相手方の会議参加者の鏡像を表示する際には、ハーフミラ一 52を介することで当該鏡像の目の位置と光学的に共役となる虚像の目の位置が、カメラ 56のレンズの主点と略々一致するように表示を行うことにより、会議参加者 HM 1と相手方会議参加者 HMとの視線が一致するようにしている。

すなわち、一例として、遠隔会議装置 TCD 1では会議参加者 H M 1がモニタ装置 MDmの方を見て会議参加者 HMmの画像を見ており、遠隔会議装置 T CDmでは会議参加者 HMmがモニタ装置 M D 1の方を見て会議参加者 HM 1の画像を見ている場合を例に挙げて説明する。この例の場合、遠隔会議装置 T CD 1におけるモニタ装置 MDmのディスプレイ装置 55の画面 54上に表示されるのは- 会議参加者 H Mmの顔等の鏡像であり、モニタ装置 MDmのカメラ 56では、当該モニタ装置 MDmの方を向いている会議参加者 HM 1の画像が取り込まれ、その画像データが遠隔会議装置 T C D m等に送信される。また、この例の場合、遠隔会議装置 T CDmにおけるモニタ装置 MD 1のデイスプレイ装置 55の画面 54上に表示されるのは、会議参加者 HM 1の顔等の鏡像であり、モニタ装置 MD 1のカメラ 56では、当該モニタ装置 MD 1の方を向いている会議参加者 H Mmの画像が取り込まれ、その画像データが遠隔会議装置 T C D 1等に送信される。

このような状態となっている場合において、遠隔会議装置 T CD 1側では、モニタ装置 MDmのディスプレイ装置 55の画面 54上に相手方の会議参加者 H Mmの鏡像を表示する際に、当該鏡像の目の位置と光学的に共役となる虚像の目の位置がカメラ 56のレンズの主点と略々一致するように表示を行うようにし、同時に、遠隔会議装置 T CDm側では、モニタ装置 MD 1のディスプレイ装置 55 の画面 54上に相手方の会議参加者 HM 1の鏡像を表示する際に、当該鏡像の目の位置と光学的に共役となる虚像の目の位置がカメラ 56のレンズの主点と略々一致するように表示を行うようにすることにより、遠隔会議装置 T CD 1側では、会議参加者 H M lの視線と相手方会議参加者 H Mmの虚像の視線とがー致するようになり、また、遠隔会議装置 T CDmでは、会議参加者 HMmの視線と相手方会議参加者 HM 1の虚像の視線とがー致するようになる。

なお、一般的な従来の遠隔会議システムにおいては、本実施の形態のようにハーフミラーによる虚像ではなくディスプレイ装置の画面上に表示された画像、すなわち実像を、会議参加者が直接見るようになされており、また、カメラは例えばディスプレイ装置の画面の上下左右何れかの近傍に配置されることになる。したがって、一般的な従来の遠隔会議システムの場合、会議参加者の視線は、ディスプレイ装置の画面上に表示された画像（実像）上に向けられ、力メラのレンズから外れた方向に向くことになる。このため、デイスプレイ装置の画面上に表示される相手方の会議参加者の視線は、自分の方を向いているようには見えないことになり、本実施の形態の場合のように互いに視線を一致させて会話を行うようなことはできない。

これに対して、本実施の形態として示す遠隔会議システムにおいては、各遠隔会議装置 T C Dにおけるモニタ装置 M Dを、図 4 8及び図 4 9に示したような構成とすることにより、上述したように、会議参加者とその相手方の会議参加者との双方が互いに相手方の目を見ながら、すなわち視線を一致させた状態で、会話をすることが可能となっている。

また、遠隔会議システムにおいては、遠隔会議装置 T C D内の複数のモニタ装置 M Dを、図 2に示したように、各遠隔会議装置 T C D 2〜T C D ηの会議参加者 H M 2〜Η Μ ηが会議参加者 H M 1 とともにテーブルを囲んでいるような状態に配置した場合、すなわち各遠隔会議装置 T C D 2〜T C D nの各地点における会議参加者 H M 2 ~ H M nの相対的な位置関係が保存されているような状態に配置した場合には、会議参加者 H M 1 と相手方の会議参加者との間で上述したような視線一致を実現できるだけでなく、他の会議参加者 HMがそれそれ誰の方を向いているのかをも確認できるようになる < つぎに、図 50に、遠隔会議システムにおける各遠隔会議装置 T CDの信号処理装置 S PDやサーバ SVを実現する実際の装置構成例を示す。なお、これらの装置は、例えばパーソナルコンピュータ等にて実現することができる。

この図 50に示す構成は、各部を制御する C P U 60と、例えば B I OS (Basic Input Output Systems) や各種の初期値等が格納された ROM6 1と、各種のプログラムゃデ一夕、演算途中のデ一夕等を一時的に記憶する RAM 62と、 OS (オペレーティングシステム）や各種アプリケーションプログラム（コンピュータプログラム）、その他のデ一夕等を格納するハードディスクを駆動するハードディスクドライブ（HDD) 64と、 CD— ROMや CD— R、 CD -RWs DVD -ROM, DVD— RAM、 DVD - R、 D V D— RW、着脱可能なハードディスクや半導体メモリ等の各種のリムーバブルメディァ 66が装填されるリム一バブルメディァドライブ 65と、上述した I SDN、一般電話回線、ケーブルテレビ回線、ディジ夕ル通信衛星回線等の外部通信網（通信ネットワーク NT) と接続したり、 I E E E 1394規格や U S B等の外部バス、各種の外部接続端子に接続するための通信ィン夕ーフヱイス（ I/F) 部 63等を備えている。なお、図示しないが、図 50に示す構成は、さらに例えばユーザによって操作されるマウスやキーボード等の入力操作装置や情報を表示するためのモニタ等を備えることも可能である。

ここで、遠隔会議システムにおける信号処理装置 S P Dの機能、特に、グループ判定用情報生成部 J Bでの方向検出やグループ判定情報の生成機能、情報加工部 PBでの情報加工機能、或いは、サーパ S Vにおけるグループ判定処理及びグループ情報の生成機能等を実現するためのアプリケ一ションプログラムは、予め HDD 64内のハードディスクや R OM 6 1等に格納されていたり、リムーバブルメディア 6 6により、或いは通信ィン夕ーフェイス部 6 3を介する通信によって提供される。

これらのリム一バブルメディァ 6 6や通信ィン夕一フェイス部 6 3によって提供されたアプリケーションプログラムは、 HDD 64 内のハードディスクに格納され、当該 H D D 64のハードディスクから読み出されて RAM 6 2に一時的に格納され、これにより、 C PU 60は、当該 RAM 6 2に一時的に記憶されたアプリケーションプログラムに応じて、上述したような遠隔会議システムにおける各種の動作を実行する。

つぎに、遠隔会議装置 T CD 1の他の構成例を図 5 1に示す。この図 5 1に示す構成例では、他の遠隔会議装置 T CD 2〜T C D ηの各会議参加者 ΗΜ 2〜ΗΜηの画像を映し出す表示手段として、先に図 2に示したような他の各遠隔会議装置 T CD 2〜T CD n、すなわち他の会議参加者 HM 2〜HMnのそれそれに対応したモニタ装置 MD 2〜MD nを設けるのではなく、例えば湾曲した 1 つのスクリーン 7 1を設け、このスクリーン Ί 1に例えばプロジェクタによって画像を表示するようにしている。

すなわちこの図 5 1の構成例では、会議参加者 HM 1とともに他の各会議参加者 HM 2〜HMnが、あたかも 1つのテーブルを囲んで会議を行うかのように、スクリーン 7 1上にそれら他の各会議参加者 HM 2 ~HMnの画像が表示される。カメラ 74及びマイクロホン 75は、例えば会議参加者 HM 1の正面に配置される。カメラ 74によって撮像された会議参加者 HM 1の画像データとマイクロホン 75によって集音された会議参加者 HM 1の音声データは、通信ネットワーク NTを介して、他の各遠隔会議装置 T CD 2〜T CD ηに送信される。また、この図 5 1の構成例において、カメラ 74で撮像された会議参加者 HM 1の画像デ一夕は、信号処理装置 S PD 1におけるグループ判定用情報生成部 J Β 1にも供給される。

一方、他の各遠隔会議装置 TCD 2〜TCDnから送信されてきた各会議参加者 HM 2〜HMnの音声デ一夕は、それら個々の音像がスクリーン 7 1上に表示されている各会議参加者 HM 2〜HMn の画像近傍に定位するように制御された後、スクリーン 71の左右に配置されたスピーカ 72 , 73に供給され、出力される。これにより、スクリーン 7 1上に表示された各会議参加者 HM 2〜HMn の画像位置と、それら各会議参加者 HM2〜HMnの発言（音声）が聞こえてくる位置は、略々一致することになる。

つぎに、遠隔会議装置 T CD 1のさらに他の構成例を図 52に示す。

すなわち、この図 52には、図 5 1の構成例と同様に、湾曲した 1つのスクリーン 8 1が設けられ、さらに 2人の会議参加者 HM 1 a, HM 1 bを同席可能にした場合の遠隔会議装置 TCD 1の構成例が示されている。

この図 52の構成例では、同席する 2人の会議参加者 HM 1 a， HM l bとともに、他の各会議参加者 HM 2〜HMnが、あたかも 1つのテーブルを囲んで会議を行うかのように、スクリーン 8 1上に他の各会議参加者 HM 2〜HMnの画像が表示される。

カメラ 84及びマイクロホン 86は、例えば会議参加者 HM 1 a の正面に配置される。カメラ 84によって撮像された会議参加者 H M l aの画像データとマイクロホン 86によって集音された会議参加者 HM 1 aの音声デ一夕は、通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜T CD nに送信される。また、カメラ 85及びマイクロホン 87は、例えば会議参加者 HM 1 bの正面に配置される。カメラ 85によって撮像された会議参加者 HM 1 bの画像デ一夕とマイクロホン 87によって集音された会議参加者 HM 1 bの音声データは、通信ネットワーク NTを介して各遠隔会議装置 T C D 2〜T C D ηに送信される。

さらに、この図 52の構成例において、カメラ 84で撮像された会議参加者 HM 1 aの画像データとカメラ 85で撮像された会議参加者 HM 1 bの画像データは、信号処理装置 S P D 1におけるグル —プ判定用情報生成部 J B 1にも供給される。この図 52の構成例の場合、グループ判定用情報生成部 J B 1は、これらの会議参加者 HM 1 a , HM 1 bがそれそれ注目する方向を検出し、それら会議参加者 HM l a, HM 1 bがそれそれ注目する方向の検出結果の平均値から、上述したグループ判定用情報を生成する。したがって、この場合、サーバ SVは、方向検出結果の平均値から得られたグループ用判定情報から、上述したグループ情報を生成する。なお、会議参加者 HM 1 a及び HM 1 bがそれそれ注目する方向の検出結果の平均値をとるのではなく、それら会議参加者 HM 1 a, HM l b がそれそれ注目する方向の検出結果から個別にグループ判定用情報を生成してサーバ S Vに送信し、サーバ S Vにてそれら個別のグループ判定用情報から個別のグループ情報を生成するようなことも可能である。この場合、情報加工部 PBは、このグループ情報から会議参加者 HM l a， HM 1 bのそれそれに関する音量、音質、画質等のパラメ一夕を独立に演算し、画像や音声の調整の際に各会議参加者 HM2〜HMnに関し、会議参加者 HM l a， HM l bに関するパラメ一夕の平均値を用いる。

一方、他の各遠隔会議装置 TCD 2〜TCDnから送信されてきた各会議参加者 HM 2〜HMnの音声デ一夕は、それら個々の音像がスクリーン 81上に表示されている各会議参加者 HM 2〜HMn の画像近傍に定位するように制御された後、スクリーン 8 1の左右に配置されたスピーカ 82， 83に供給され、出力される。これにより、スクリーン 8 1上に表示された各会議参加者 HM2〜HMn の画像位置と、それら各会議参加者 HM2〜HMnの発言（音声）が聞こえてくる位置は、略々一致することになる。

つぎに、遠隔会議装置 T CD 1のさらに他の構成例を図 53に示す。

すなわち、この図 53の構成例は、図 52の構成例と同様に、湾曲した 1つのスクリーン 9 1を設け、さらに 2人の会議参加者 HM 1 a , HM 1 bを同席可能にしているが、図 52の構成例のスピ一力 82, 83に代えて、会議参加者 HM l a, HM l bに対して個別にヘッドホン 92 , 93を設けた場合を示している。

この図 53の構成例では、同席する 2人の会議参加者 HM 1 a, HM l bとともに、他の各会議参加者 HM 2〜HMnが、あたかも 1つのテーブルを囲んで会議を行うかのように、スクリーン 9 1上に他の各会議参加者 HM 2 ~HMnの画像が表示される。カメラ 94及びマイクロホン 96は、例えば会議参加者 HM 1 a の正面に配置される。カメラ 94によって撮像された会議参加者 H M 1 aの画像データとマイクロホン 96によって集音された会議参加者 HM 1 aの音声データは、通信ネットワーク NTを介して遠隔会議装置 T CD 2〜T CD ηに送信される。

また、カメラ 95及びマイクロホン 97は、例えば会議参加者 Η Μ 1 bの正面に配置される。カメラ 95によって撮像された会議参加者 HM 1 bの画像デ一夕とマイクロホン 97によって集音された会議参加者 HM 1 bの音声デ一夕は、通信ネットワーク N Tを介して遠隔会議装置 T CD 2〜T CDnに送信される。

一方、他の各遠隔会議装置 TCD 2〜TCDnから送信されてきた各会議参加者 HM 2〜HMnの音声データは、それら個々の音像がスクリーン 9 1上に表示されている各会議参加者 HM 2〜HMn の画像近傍に定位するように制御された後、会議参加者 HM 1 a， HM 1 bが個別に装着するへヅドホン 92， 93に供給され、出力される。これにより、スクリーン 9 1上に表示された各会議参加者 HM 2〜HMnの画像位置と、それら各会議参加者 H M 2〜 H M n の発言（音声）が聞こえてくる位置は、略々一致することになる。また、この図 53の構成例において、カメラ 94で撮像された会議参加者 HM 1 aの画像データとカメラ 95で撮像された会議参加者 HM 1 bの画像デ一夕は、信号処理装置 S P D 1におけるグループ判定用情報生成部 J B 1にも供給される。この図 53の構成例の場合、図 52の例と同様に、グループ判定用情報生成部 J B 1は、これらの会議参加者 HM 1 a及び HM 1 bがそれそれ注目する方向を検出し、それら会議参加者 HM 1 a及び HM 1 bがそれそれ注目する方向の検出結果の平均値から、上述したグループ判定用情報を生成する。したがって、サーバ SVは、方向検出結果の平均値から得られたグループ用判定情報から、上述したグループ情報を生成する。なお、図 53の例においても、会議参加者 HM 1 a及び HM1 bがそれそれ注目する方向の検出結果の平均値をとるのではなく、それら会議参加者 HM 1 aと HM 1 bがそれそれ注目する方向の検出結果から個別にグループ判定用情報を生成してサーバ SVに送信し、サーバ S Vにてそれら個別のグループ判定用情報から個別のグループ情報を生成するようなことも可能である。この場合、情報加ェ部 PBは、このグループ情報から会議参加者 HM 1 a、 HM 1 b それそれに関する音量、音質、画質等のパラメ一夕を独立に演算し、画像の調整の際には会議参加者 HM 1 aと HM 1 bに関するパラメ一夕の平均値を用いて両者共用の画像を作るとともに音声についてはそれそれ独立のパラメ一夕を用いて別個の音声を作成して会議参加者 HM 1 a、 HM 1 bそれそれのへッドホンに供給する。なお、特殊なスクリーンを用いて会議参加者 HM 1 a、 HM 1 bに別個の画像をそれそれ独立のパラメ一夕をもとに作って提示することも可能である。

つぎに、遠隔会議装置 T CD 1のさらに他の構成例を図 54に示す。

この図 54の構成例では、他の遠隔会議装置 T CD 2〜TCDn の各会議参加者 HM 2〜HMnの画像データは通信されず、音声デ一夕だけが通信される。この図 54の構成例の場合は、会議参加者 HM 1とともに、他の各会議参加者 HM 2〜HMnが、あたかも 1 つのテーブルを囲んで会議を行うかのように、他の各会議参加者 H M 2〜HMnの音声を個々に出力するためのスピーカ S K 2〜S K nが配置される。但し、会議参加者 HM 2〜HMnの音声データを出カするスピ一カ3 2〜31 11の近傍には、例えば写真 PT 2〜 PTn或いはィラストのような各会議参加者 ΗΜ2〜ΗΜηをそれそれ象徴するものが配置される。

カメラ 10 1及びマイクロホン 102は、例えば会議参加者 ΗΜ 1の正面に配置される。マイクロホン 1 02によって集音された会議参加者 HM 1の音声デ一夕は、通信ネットワーク NTを介して他の各遠隔会議装置 T CD 2〜T CD nに送信される。また、この図 54の構成例において、カメラ 10 1で撮像された会議参加者 HM 1の画像データは、信号処理装置 S PD 1におけるグループ判定用情報生成部 J B 1に供給される。

一方、遠隔会議装置 T CD 2〜T CD nから個々に送信されてきた各会議参加者 HM 2〜HMnの音声データは、それそれ対応して設けられているスピーカ S K 2〜S K nから出力される。

以上のように、本発明を適用した第 1の実施の形態として示す遠隔会議システムは、遠隔会議装置 T CDにおけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、サーバ SVにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、遠隔会議装置 T CDにおける情報加工部 P Bにより、グループ情報に基づいて、他の各遠隔会議装置 T CDにそれそれ対応する画像デー夕及び/又は音声データに所望の調整処理を施す。したがって、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。つぎに、本発明を適用した第 2の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、基本構成を第 1の実施の形態として示した遠隔会議システムと同様とするが、図 55に概略構成を示すように、上述したグルーピング装置として機能するサーバ SVを設けず、グルーピング装置の機能を各遠隔会議装置 T CDにおいて実現するものである。したがって、第 1の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

図 55に示すように、この遠隔会議システムにおいて、複数箇所 ( l〜n箇所）に居る各会議参加者 HM 1〜HMnには、それそれ対応した遠隔会議装置 T CD 1〜T CD nが割り当てられており、各遠隔会議装置 T CD l〜TCDnは、例えば I SDN等からなる通信ネットワーク NTを介して接続されている。

各遠隔会議装置 T CDは、それそれ対応する会議参加者 HMの画像データ及び音声デ一夕を取り込み、この会議参加者 HMの画像デ —夕及び音声データを通信ネットワーク N Tを介して他の遠隔会議装置 T CDに送信するとともに、他の遠隔会議装置 T CDから送信されてきた他の会議参加者 HMの画像データ及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T CDは、それそれ、図 56に示すような構成を備えている。なお、各遠隔会議装置 TCD l〜TCDnは、それそれ、同一の構成を有することから、図 56には、これら複数の遠隔会議装置 T CD l〜TCDnのうち、代表して遠隔会議装置 T CD 1の詳細な構成例を示している。以下では、この遠隔会議装置 T CD 1について説明する。

遠隔会議装置 T CD 1は、上述したように、信号処理装置 SPD 1と、モニタ装置 MD 2〜MD nとを、少なくとも備える。

遠隔会議装置 T CD 1における信号処理装置 S PD 1は、上述したように、ネットワーク接続端子 TN 1と、情報送受信部 TRB 1 と、情報加工部 PB 1と、グループ判定用情報生成部 J B 1と、出力端子 TO 2〜T Onと、入力端子 T I 2〜T I ηと、入力端子 Τ Sとを備えるとともに、上述したサーバ S Vにおけるグループ判定部 G J Dに相当するグループ判定部 G J D 1を備えている。

各モニタ装置 MD 2 ~MD nは、それそれ、図 48及び図 49に示したものと同様の構成からなる。各モニタ装置 MD 2〜MD nのうち少なくとも 1つのモニタ装置 MDに設けられるカメラから取り込まれた画像データと、同じく少なくとも 1つのモニタ装置 MDに設けられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置 SPD 1及び通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜T CD nに送信される。

また、各モニタ装置 MD 2〜MD nのディスプレイ装置には、上述したように、それそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた画像データに基づく画像が表示され、スビーカからは、同じくそれそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた音声デ一夕に基づく音声が出力される。

遠隔会議装置 T CD 1における信号処理装置 S PD 1内のグループ判定用情報生成部 J B 1は、上述したように、グループ判定用情報を生成する。

グループ判定用情報生成部 j B 1は、例えば図 3又は図 4に示したように、会議参加者 HM 1の例えば正面に配置されているモニタ装置 MDmのカメラから供給された画像データや上述したスィヅチ S Wからのスィツチ押下情報に基づいて、会議参加者 HM 1の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J B 1は、上述した方向検出処理を行う。

グループ判定用情報生成部 j B 1によって生成されたグループ判定用情報は、信号処理装置 SPD 1における情報送受信部 TRB 1 に供給され、通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜TCDnに送信される。また、グループ判定用情報生成部 J B 1によって生成されたグループ判用情報は、上述したサーバ SVに代わるグループ判定部 GJD 1に供給される。

遠隔会議装置 T CD 1における信号処理装置 S PD 1内のグループ判定部 G JD 1は、上述したサーバ SVにおけるグループ判定部 G J Dと同様のものであるが、各遠隔会議装置 T CD 1〜T CD n からの各グループ判定用情報に基づいて各会議参加者についてのグループ情報を一括して生成するのではなく、グループ判定用情報生成部 J B 1から供給されたグループ判定用情報と、各遠隔会議装置 T CD 2〜T CD nから送信されてきたグループ判定用情報とに基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて会議参加者 HM 1が何れのグループに属しているのかを表すグループ情報を生成する。すなわち、遠隔会議装置 T CD 1は、自己、すなわちこの場合は会議参加者 HM 1に関するグループ判定用情報を、グループ判定用情報生成部 JB 1から受け取るとともに、他の会議参加者 H M2〜HMnに関するグループ判定用情報を、通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜TCDnから送信されてきた信号を受信する情報送受信部 TRB 1から受け取る。

ここで、グループ判定部 G JD 1は、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、グループ判定用情報生成部 JB 1及び各遠隔会議装置 T CD 2〜TCDnからグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 G J D 1は、グループ判定用情報生成部 J B 1及び各遠隔会議装置 T C D 2〜 T C D nからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G JD 1は、生成したグループ情報を信号処理装置 SPD 1における情報加工部 PB 1に供給する。遠隔会議装置 T CD 1における信号処理装置 S PD 1内の情報加ェ部 PB 1は、グループ判定部 G J D 1から供給されたグループ情報に基づいて、上述したように、各遠隔会議装置 T CD 2〜T CD nにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 TCD 2〜 T C D nにそれそれ対応して分離された画像データ及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像デ —夕 ·各音声デ一夕を、各遠隔会議装置 T CD 2〜T CD nに対応して設けられている各モニタ装置 MD 2〜MD nに対して供給する _c このような遠隔会議システムは、遠隔会議装置 T CDにおけるグループ判定用情報生成部 J Bにより、会議参加者 H Mの注目度を検出し、その検出結果に基づいて、各会議参加者 H Mが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、遠隔会議装置 T C Dにおけるグループ判定部 G J Dにより、グループ判定用情報に基づいてグルプ分けを行い、各会議参加者 H Mが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、遠隔会議装置 T C Dにおける情報加工部 P Bにより、グループ情報に基づいて、他の各遠隔会議装置 T C Dにそれそれ対応する画像データ及び/又は音声データに所望の調整処理を施す。

以上のように、本発明を適用した第 2の実施の形態として示す遠隔会議システムは、グルーピング装置の機能を各遠隔会議装置 T C Dにおいて実現することができ、各遠隔会議装置 T C Dによって生成したグループ情報を全ての遠隔会議装置 T C Dで共有することにより、グルーピング装置として機能するサーバ S Vを設ける必要がない。そのため、遠隔会議システムは、バックヤードとしてのサーバを備える必要がなく、簡易な構成の下に遠隔会議を行うことを可能とする。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dは、図 5 0に示した例えばパーソナルコンビユー夕等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもできる。

つぎに、本発明を適用した第 3の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、上述したグルーピング装置として機能するサーバ SVを設けない点で、基本構成を図 55に示した第 2の実施の形態として示した遠隔会議システムと同様とするが、グルービング装置の機能を 1つの遠隔会議装置 T CDにおいて実現し、他の遠隔会議装置 T CDにはグルーピング装置の機能を備えないものである。したがって、第 2の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

この遠隔会議システムにおいて、各遠隔会議装置 T CDは、それそれ対応する会議参加者 HMの画像データ及び音声データを取り込み、この会議参加者 HMの画像データ及び音声データを通信ネットワーク N Tを介して他の遠隔会議装置 T C Dに送信するとともに、他の遠隔会議装置 T CDから送信されてきた他の会議参加者 HMの画像データ及び音声データを受信し、提示することができる。

以下では、遠隔会議装置 T CD 1がグルービング装置の機能を備えるものとして説明する。

遠隔会議装置 T CD 1は、図 57に示すように、信号処理装置 S PD 1と、モニタ装置 MD 2〜MD nとを、少なくとも備える。遠隔会議装置 T CD 1における信号処理装置 S PD 1は、上述したように、ネットワーク接続端子 TN 1と、倩報送受信部 TRB 1 と、情報加工部 PB 1と、グループ判定用情報生成部 J B 1と、グループ判定部 GJD 1と、出力端子 TO 2〜TOnと、入力端子 Τ I 2〜T I ηと、入力端子 T Sとを備えている。

各モニタ装置 MD 2〜MD ηは、それそれ、図 48及び図 49に示したものと同様の構成からなる。各モニタ装置 MD 2〜MDnのうち少なくとも 1つのモニタ装置 MDに設けられるカメラから取り込まれた画像デ一夕と、同じく少なくとも 1つのモニタ装置 MDに設けられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置 S P D 1及び通信ネットワーク N Tを介して各遠隔会議装置 T CD 2〜T CD nに送信される。

また、各モニタ装置 MD 2〜MD nのディスプレイ装置には、上述したように、それそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた画像データに基づく画像が表示され、スビーカからは、同じくそれそれ対応する遠隔会議装置 T CD 2〜T CD n から送信されてきた音声デ一夕に基づく音声が出力される。

グループ判定用情報生成部 J B 1は、例えば図 3又は図 4に示したように、会議参加者 HM 1の例えば正面に配置されているモニタ装置 MDmのカメラから供給された画像デ一夕や上述したスィツチ SWからのスィツチ押下情報に基づいて、会議参加者 HM 1の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J B 1は、上述した方向検出処理を行う。

グループ判定用情報生成部 J B 1によって生成されたグループ判定用情報は、グループ判定部 G J D 1に供給される。すなわち、このグループ判定用情報生成部 j B 1は、第 2の実施の形態として示した遠隔会議システムにおけるグループ判定用情報生成部 J B 1とは異なり、生成したグループ判定用情報をグループ判定部 G J D 1 のみに供給する。

遠隔会議装置 T CD 1における信号処理装置 SPD 1内のグループ判定部 G JD 1は、グループ判定用情報生成部 J B 1から供給されたグループ判定用情報と、各遠隔会議装置 TCD 2〜TCDnから送信されてきたグループ判定用情報とに基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者 HM が何れのグループに属しているのかを表すグループ情報を生成する, すなわち、遠隔会議装置 T CD 1は、自己、すなわちこの場合は会議参加者 HM 1に関するグループ判定用情報を、グループ判定用情報生成部 J B 1から受け取るとともに、他の会議参加者 HM2〜H Mnに関するグループ判定用情報を、通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜T CD nから送信されてきた信号を受信する情報送受信部 TRB 1から受け取る。

ここで、グループ判定部 G JD 1は、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、グループ判定用情報生成部 J B 1及び各遠隔会議装置 T C D 2〜 T C D nからグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 G J D 1は、グループ判定用情報生成部 J B 1及び各遠隔会議装置 T C D 2〜T CD ηからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G JD 1によって生成されたグループ情報は、信号処理装置 SPD 1における情報加工部 PB 1に供給されるとともに、情報送受信部 TRB 1から通信ネットワーク Ν Τを介して各遠隔会議装置 T CD 2〜T CD ηに送信される。すなわち、このグループ判定部 G JD 1は、第 2の実施の形態として示した遠隔会議システムにおけるグループ判定部 G J D 1とは異なり、生成したグループ情報を情報加工部 P B 1だけでなく、各遠隔会議装置 T CD 2〜T CD ηに送信する。

遠隔会議装置 T CD 1における信号処理装置 S PD 1内の情報加ェ部 PB 1は、グループ判定部 G JD 1から供給されたグループ情報に基づいて、上述したように、各遠隔会議装置 T CD 2〜T CD nにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 TCD 2~ T CD nにそれそれ対応して分離された画像データ及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像デ一夕 ·各音声デ一夕を、各遠隔会議装置 T CD 2〜T CD nに対応して設けられている各モニタ装置 MD 2〜MD nに対して供給する c 一方、遠隔会議システムにおける他の遠隔会議装置 T CD 2〜T CDnは、それそれ、図 58に示すような構成を備えている。なお、各遠隔会議装置 T C D 2〜T C D nは、それそれ、同一の構成を有することから、図 58には、これら複数の遠隔会議装置 T CD 2~ T CD nのうち、代表して遠隔会議装置 T CD 2の詳細な構成例を示している。以下では、この遠隔会議装置 T CD 2について説明す

^> o

遠隔会議装置 T CD 2は、遠隔会議装置 T CD 1と同様に、信号処理装置 SPD 2と、モニタ装置 MD 1 , MD 3〜MDnとを、少なくとも備える。

遠隔会議装置 TCD 2における信号処理装置 S PD 2は、ネットワーク接続端子 TN 2と、情報送受信部 TRB 2と、情報加工部 P B 2と、グループ判定用情報生成部 J B 2と、出力端子 TO 1 , T 03〜TOnと、入力端子 Τ I I , Τ Ι 3〜Τ Ι ηと、入力端子 Τ Sとを備えている。

各モニタ装置 MD 1 , MD 3〜MDnは、それそれ、図 48及び図 49に示したものと同様の構成からなる。各モニタ装置 MD 1 , MD 3〜MDnのうち少なくとも 1つのモニタ装置 M Dに設けられるカメラから取り込まれた画像データと、同じく少なくとも 1つのモニタ装置 MDに設けられるマイクロホンから取り込まれた音声デ一夕は、上述したように、信号処理装置 S P D 2及び通信ネットヮ —ク NTを介して各遠隔会議装置 T CD 1 , TCD 3〜TCDnに送信される。

また、各モニタ装置 MD 1， MD 3〜MD nのディスプレイ装置には、上述したように、それそれ対応する遠隔会議装置 T CD 1， TCD 3〜TCDnから送信されてきた画像デ一夕に基づく画像が表示され、スピーカからは、同じくそれそれ対応する遠隔会議装置 TCD 1 , TCD 3〜T CDnから送信されてきた音声デ一夕に基づく音声が出力される。

遠隔会議装置 T CD 2における信号処理装置 S PD 2内のグループ判定用情報生成部 J B 2は、上述したように、グループ判定用倩報を生成する。

グループ判定用情報生成部 J B 2は、例えば図 3又は図 4に示したように、会議参加者 HM 2の例えば正面に配置されているモニタ装置 MDmのカメラから供給された画像デ一夕や上述したスィツチ S Wからのスィツチ押下情報に基づいて、会議参加者 HM 2の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J B 2は、上述した方向検出処理を行う。

グループ判定用情報生成部 j B 2によって生成されたグループ判定用情報は、信号処理装置 S PD 2における情報送受信部 TRB 2 に供給される。

遠隔会議装置 T CD 2における信号処理装置 S P D 2内の情報加ェ部 PB 2は、遠隔会議装置 TCD 1から送信されて情報送受信部 TRB 2によって受信されたグループ情報に基づいて、上述したように、各遠隔会議装置 T CD 1 , T CD 3〜T CD nにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 TCD 1 , TCD 3〜TC D nにそれそれ対応して分離された画像デ一夕及びノ又は音声デー夕に対して所望の調整処理を施し、その調整処理後の各画像データ •各音声データを、各遠隔会議装置 TCD 1 , TCD 3〜T CDn に対応して設けられている各モニタ装置 MD 1 , MD 3〜MDnに対して供給する。

このような遠隔会議システムは、全ての遠隔会議装置 T CDにおけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、遠隔会議装置 T CD 1におけるグループ判定部 G JD 1により、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、全ての遠隔会議装置 T C Dにおける情報加工部 P Bにより、グループ情報に基づいて、他の各遠隔会議装置 T C Dにそれそれ対応する画像デ一夕及び/又は音声デ一夕に所望の調整処理を施す。

以上のように、本発明を適用した第 3の実施の形態として示す遠隔会議システムは、グルーピング装置の機能を 1つの遠隔会議装置 T C Dにおいて実現することができ、この遠隔会議装置 T C Dによつて生成したグループ情報を全ての遠隔会議装置 T C Dで共有することにより、グルービング装置として機能するサーバ S Vを設ける必要がない。そのため、遠隔会議システムは、バックヤードとしてのサーバを備える必要がなく、簡易な構成の下に遠隔会議を行うことを可能とする。特に、遠隔会議システムは、グルーピング装置として機能する遠隔会議装置 T C Dを 1つだけ備えればよいことから、低コストの下に構成することができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dは、図 5 0に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもできる。

つぎに、本発明を適用した第 4の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、上述したサーバ S Vを設ける点で、基本構成を図 2に示した第 1の実施の形態として示した遠隔会議システムと同様とするが、グルーピング装置及び上述した情報加工部を有する加工装置の機能を 1つのサーバ S Vにおいて実現し、遠隔会議装置 T CDにはグルーピング装置及び加工装置の機能を備えないものである。したがって、第 1の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

この遠隔会議システムにおいて、各遠隔会議装置 T CDは、それそれ対応する会議参加者 HMの画像データ及び音声データを取り込み、この会議参加者 HMの画像データ及び音声デ一夕を通信ネットワーク NTを介して他の遠隔会議装置 T CDに送信するとともに、他の遠隔会議装置 T CDから送信されてきた他の会議参加者 HMの画像データ及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T CDは、それそれ、図 59に示すような構成を備えている。なお、各遠隔会議装置 TCD l〜TCDnは、それそれ、同一の構成を有することから、図 59には、これら複数の遠隔会議装置 T CD l〜TCDnのうち、代表して遠隔会議装置 T CD 1の詳細な構成例を示している。以下では、この遠隔会議装置 T CD 1について説明する。

遠隔会議装置 TCD 1における信号処理装置 S PD 1は、ネットワーク接続端子 TN 1と、情報送受信部 TRB 1と、グループ判定用情報生成部 JB 1と、出力端子 TO 2〜TOnと、入力端子 Τ Ι 2〜Τ Ι ηと、入力端子 T Sとを備えている。すなわち、遠隔会議装置 TCD 1における信号処理装置 SPD 1は、上述した情報加工部 PB 1と、グループ判定部 GJD 1とを備えていない。各モニタ装置 MD 2〜MD nは、それそれ、図 48及び図 49に示したものと同様の構成からなる。各モニタ装置 MD 2〜MDnのうち少なくとも 1つのモニタ装置 MDに設けられるカメラから取り込まれた画像データと、同じく少なくとも 1つのモニタ装置 MDに設けられるマイクロホンから取り込まれた音声デ一夕は、上述したように、信号処理装置 S P D 1及び通信ネットワーク N Tを介して各遠隔会議装置 T CD 2〜T CDnに送信される。

また、各モニタ装置 MD 2〜MD nのディスプレイ装置には、上述したように、それそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた画像データに基づく画像が表示され、スビーカからは、同じくそれそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた音声データに基づく音声が出力される。

グループ判定用情報生成部 j B 1は、例えば図 3又は図 4に示したように、会議参加者 HM 1の例えば正面に配置されているモニタ装置 M Dmのカメラから供給された画像データや上述したスィツチ SWからのスィツチ押下情報に基づいて、会議参加者 HM 1の注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J B 1は、上述した方向検出処理を行う。

グループ判定用情報生成部 j B 1によって生成されたグループ判定用情報は、信号処理装置 S PD 1における情報送受信部 TRB 1 に供給され、さらに、ネットワーク接続端子 TN 1を介して通信ネットワーク NTから、サ一パ SVに送信される。

サーバ SVは、図 60に示すように構成され、各遠隔会議装置 T CD 1〜T CD ηから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 ΗΜが何れのグループに属しているのかを表すグループ情報を生成するグルービング装置として機能する。また、サーバ SVは、生成したグループ情報に基づいて、各遠隔会議装置 TCD l〜TCDnにそれそれ対応する画像データ及び Z又は音声データに対して情報加工を行う加工装置として機能する。

この図 60において、サーバ SVは、上述したネットワーク接続端子 1 1と、情報送受信部 10とを備えるとともに、グループ判定部 GJDと、情報加工部 P Bとを備えている。

情報送受信部 10は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD nから送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部 G J Dに供給する。また、情報送受信部 10は、通信ネットワーク NT を介して送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 1〜T CDnにそれそれ対応する画像データ及び音声データを分離し、分離した各画像デ一夕及び各音声データをそれそれ情報加工部 PBに供給する。さらに、情報送受信部 10は、情報加工部 PBによって調整処理された各画像データ ·各音声データを通信ネットワーク NTを介して各遠隔会議装置 T CD 1〜T CDn に送信する。

グループ判定部 GJDは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成する。

ここで、グループ判定部 GJDは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、各遠隔会議装置 T CD 1 〜T CD nからグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 GJ Dは、各遠隔会議装置 T CD 1〜T CD nからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 GJDは、生成したグループ情報を情報加工部 PBに供給する。

情報加工部 P Bは、グループ判定部 G J Dから供給されたグループ情報に基づいて、各遠隔会議装置 T CD l〜TCDnにそれそれ対応する画像データ及び/又は音声デ一夕に対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD 1〜T CD nにそれそれ対応して分離された画像データ及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ ·各音声データを、情報送受信部 10及びネッ卜ワーク接続端子 1 1を介して通信ネットワーク NTから、各遠隔会議装置 T CD l〜T CDn に対応して設けられている各モニタ装置 MD l〜MDnに対して送信する。

このような遠隔会議システムは、全ての遠隔会議装置 T C Dにおけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報のみを生成する。そして、遠隔会議システムは、サーバ S Vにおけるグループ判定部 G J Dにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 H Mが何れのグループに属しているのかを表すグループ情報を生成し、サーバ S V における情報加工部 P Bにより、グループ情報に基づいて、各遠隔会議装置 T C Dにそれそれ対応する画像デ一夕及び/又は音声デー夕に所望の調整処理を施す。

以上のように、本発明を適用した第 4の実施の形態として示す遠隔会議システムは、グルービング装置及び加工装置の機能を 1つのサーバ S Vにおいて実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T C Dの処理負担を軽減することができ、構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S ? 0ゃサーバ3 ¥は、図 5 0に示した例えばパーソナルコンピュー夕等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもでき。

つぎに、本発明を適用した第 5の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、遠隔会議装置 T C Dにはグルーピング装置及び加工装置の機能を備えない点で、基本構成を第 4の実施の形態として示した遠隔会議システムと同様とするが、図 6 1に概略構成を示すように、グルーピング装置及び加工装置の機能をそれそれ 2つのサーバ SV 1， S V 2において実現するものである。したがって、第 4の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

この遠隔会議システムにおいて、各遠隔会議装置 T CDは、それそれ対応する会議参加者 HMの画像データ及び音声データを取り込み、この会議参加者 HMの画像デ一夕及び音声データを通信ネットワーク NTを介して他の遠隔会議装置 T CDに送信するとともに、他の遠隔会議装置 T CDから送信されてきた他の会議参加者 HMの画像データ及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T CDは、それそれ、図 59に示したような構成を備えている。すなわち、各遠隔会議装置 T CDは、それそれ、信号処理装置 S PD内にグループ判定用情報生成部 JBを備えており、上述したように、グループ判定用情報を生成する。グループ判定用情報生成部 J Bによって生成されたグループ判定用情報は、通信ネットワーク NTを介してサーバ S V 1に送信される。

サーバ S V Iは、図 62に示すように構成され、各遠隔会議装置 T CD 1〜T CD ηから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 ΗΜが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。

この図 62において、サーバ S V Iは、上述したネットワーク接続端子 1 1 iと、情報送受信部 10 ,とを備えるとともに、グループ判定部 GJDを備えている。

情報送受信部 10！は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD nから送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部 G J Dに供給する。また、情報送受信部 10 !は、グループ判定部 G J D によって生成されたグループ情報をネットワーク接続端子 1 1 及び通信ネットワーク NTを介してサーバ SV2に送信する。

ここで、グループ判定部 GJDは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、各遠隔会議装置 T CD 1 〜T CD ηからグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 GJ Dは、各遠隔会議装置 T CD 1〜T CD nからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G J Dは、生成したグループ情報を情報送受信部 10 iに供給する。

一方、サーバ SV2は、図 63に示すように構成され、サーバ S V 1から送信されてきたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う加工装置として機能する。

この図 63において、サーバ SV2は、上述したネットワーク接続端子 1 1₂と、情報送受信部 10₂とを備えるとともに、情報加工部 ΡΒを備えている。

情報送受信部 10₂は、通信ネットワーク NTを介して、サーバ S V 1から送信されてきたグループ情報を受信し、このグループ情報を情報加工部 PBに供給する。また、情報送受信部 10₂は、通信ネヅトワーク NTを介して、各遠隔会議装置 T CD 1〜T CD nから送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び音声デ一夕を分離し、分離した各画像デ一夕及び各音声データをそれそれ情報加ェ部 ΡΒに供給する。さらに、情報送受信部 10₂は、情報加工部 Ρ Βによって調整処理された各画像データ ·各音声データを通信ネットワーク NTを介して各遠隔会議装置 T CD 1〜T CD ηに送信する。

情報加工部 PBは、情報送受信部 10₂から供給されたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD nにそれそれ対応する画像データ及び又は音声デ一夕に対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD l〜TCDnにそれそれ対応して分離された画像データ及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像デ一夕 ·各音声デー夕を、情報送受信部 10₂及びネットワーク接続端子 1 1₂を介して通信ネットワーク NTから、各遠隔会議装置 T CD l〜TCDnに対応して設けられている各モニタ装置 MD 1〜MD nに対して送信する。

このような遠隔会議システムは、全ての遠隔会議装置 T CDにおけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報のみを生成する。そして、遠隔会議システムは、サーバ S V 1におけるグループ判定部 G J Dにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 H Mが何れのグループに属しているのかを表すグループ情報を生成し、さらに、サーバ S V 2における情報加工部 P Bにより、グループ情報に基づいて、各遠隔会議装置 T C Dにそれそれ対応する画像データ及び Z 又は音声データに所望の調整処理を施す。

以上のように、本発明を適用した第 5の実施の形態として示す遠隔会議システムは、グルーピング装置及び加工装置の機能をそれそれ 2つのサーバ S V 1， S V 2において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T C Dの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバ S V 1， S V 2の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dやサーバ S V 1 , S V 2は、図 5 0に示した例えばパ一ソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもできる。

つぎに、本発明を適用した第 6の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、上述したサーバ S Vを設ける点で、基本構成を図 2に示した第 1の実施の形態として示した遠隔会議システムと同様とするが、上述したグループ判定用情報生成部を有する注目度検出装置及びグルーピング装置の機能を 1つのサーバ SVにおいて実現し、遠隔会議装置 T CDには注目度検出装置及びグルービング装置の機能を備えないものである。したがって、第 1の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

この遠隔会議システムにおいて、各遠隔会議装置 T CDは、それそれ対応する会議参加者 HMの画像データ及び音声データを取り込み、この会議参加者 HMの画像データ及び音声データを通信ネットワーク NTを介して他の遠隔会議装置 T CDに送信するとともに、他の遠隔会議装置 T CDから送信されてきた他の会議参加者 HMの画像データ及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T CDは、それそれ、図 64に示すような構成を備えている。なお、各遠隔会議装置 TCD l〜TCDnは、それそれ、同一の構成を有することから、図 64には、これら複数の遠隔会議装置 T CD l〜TCDnのうち、代表して遠隔会議装置 T CD 1の詳細な構成例を示している。以下では、この遠隔会議装置 T CD 1について説明する。

遠隔会議装置 T CD 1は、上述したように、信号処理装置 SPD 1と、モニタ装置 MD 2〜MDnとを、少なくとも備える。

遠隔会議装置 T CD 1における信号処理装置 S PD 1は、ネットワーク接続端子 TN 1と、情報送受信部 TRB 1と、倩報加工部 P B 1と、出力端子 T◦ 2〜T 0 nと、入力端子 T I 2〜T I nと、入力端子 T Sとを備えている。すなわち、遠隔会議装置 T CD 1における信号処理装置 S PD 1は、上述したグループ判定用情報生成部 J B 1と、グループ判定部 GJD 1とを備えていない。

各モニタ装置 MD 2〜MD nは、それそれ、図 48及び図 49に示したものと同様の構成からなる。各モニタ装置 MD 2〜MDnのうち少なくとも 1つのモニタ装置 MDに備えられるカメラから取り込まれた画像データと、同じく少なくとも 1つのモニタ装置 MDに備えられるマイクロホンから取り込まれた音声データは、上述したように、信号処理装置 SPD 1及び通信ネットワーク NTを介して各遠隔会議装置 T CD 2〜T CD ηに送信される。

また、各モニタ装置 MD 2〜MD ηのディスプレイ装置には、上述したように、それそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた画像データに基づく画像が表示され、スピー力からは、同じくそれそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた音声データに基づく音声が出力される。

遠隔会議装置 T CD 1における信号処理装置 S PD 1内の情報送受信部 TRB 1は、サーバ SVから送信されてきたグループ情報を受信し、このグループ情報を情報加工部 PB 1に供給する。また、情報送受信部 TRB 1は、通信ネットワーク NTを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 2〜 T C D nにそれそれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれそれ情報加工部 P B 1に供給する。さらに、情報送受信部 TRB 1は、会議参加者 HM 1の例えば正面に配置されているモニタ装置 M Dmのカメラから供給された画像データや上述したスィツチ SWからのスィツチ押下情報をネットワーク接続端子 TN 1を介して通信ネットワーク NTから、サーバ SVに送信する。遠隔会議装置 T CD 1における信号処理装置 S PD 1内の情報加ェ部 PB 1は、通信ネットワーク NTを介して、サーバ SVから送信されて情報送受信部 TRB 1によって受信されたグループ情報に基づいて、各遠隔会議装置 T CD 2〜T CD ηにそれそれ対応する画像データ及び/又は音声デ一夕に対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ —夕に基づいて、各遠隔会議装置 TCD 2〜TCDnにそれそれ対応して分離された画像デ一夕及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ ·各音声データを、各遠隔会議装置 T CD 2〜T CD nに対応して設けられている各モ二夕装置 MD 2〜MD nに対して供給する。

一方、サーバ SVは、図 65に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。また、サーバ SVは、各遠隔会議装置 T CD 1〜T CD nから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。

この図 65において、サーバ SVは、上述したネットワーク接続端子 1 1と、情報送受信部 10とを備えるとともに、グループ判定用情報生成部 JBと、グループ判定部 G J Dとを備えている。

情報送受信部 10は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD ηから送信されてきた各会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像データゃスィツチ押下情報を受信し、これらの画像データやスィツチ押下情報をグループ判定用情報生成部 J Bに供給する。また、情報送受信部 1 0は、グループ判定部 G J Dによって生成されたグループ情報をネットワーク接続端子 1 1及び通信ネットワーク N Tを介して各遠隔会議装置 T C D 1〜T C D nに送信する。

グループ判定用情報生成部 J Bは、上述したように、グループ判定用情報を生成する。

グループ判定用情報生成部 J Bは、例えば図 3又は図 4に示したように、会議参加者 H Mの例えば正面に配置されているモニタ装置 M D mのカメラから供給された画像デ一夕や上述したスィツチ S W からのスィツチ押下情報に基づいて、各会議参加者 H Mの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J Bは、上述した方向検出処理を行う。

グループ判定用情報生成部 J Bによって生成されたグループ判定用情報は、グループ判定部 G J Dに供給される。

グループ判定部 G J Dは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者 H Mが何れのグループに属しているのかを表すグループ情報を生成する。

ここで、グループ判定部 G J Dは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、グループ判定用情報生成部 J Bからグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 G J Dは、グループ判定用情報生成部 J Bからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G J Dは、生成したグループ情報を情報送受信部 1 0に供給する。

このような遠隔会議システムは、サーバ S Vにおけるグルーブ判定用情報生成部 J Bにより、会議参加者 H Mの注目度を検出し、その検出結果に基づいて、各会議参加者 H Mが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、サーバ S Vにおけるグループ判定部 G J Dにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 H Mが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、全ての遠隔会議装置 T C Dにおける情報加工部 P Bにより、グループ情報に基づいて、各遠隔会議装置 T C Dにそれそれ対応する画像データ及び/又は音声データに所望の調整処理を施す。

以上のように、本発明を適用した第 6の実施の形態として示す遠隔会議システムは、注目度検出装置及びグルービング装置の機能を 1つのサーバ S Vにおいて実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T C Dの処理負担を軽減することができ、構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dやサーバ S Vは、図 5 0に示した例えばパーソナルコンピュー夕等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもでき O。つぎに、本発明を適用した第 7の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、遠隔会議装置 T CDには注目度検出装置及びグルーピング装置の機能を備えない点で、基本構成を第 6の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置及びグルーピング装置の機能をそれそれ 2つのサーバ S V 1 , S V 2において実現するものである。したがって、第 6の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

この遠隔会議システムにおいて、各遠隔会議装置 T CDは、それそれ対応する会議参加者 HMの画像データ及び音声データを取り込み、この会議参加者 HMの画像データ及び音声データを通信ネットワーク NTを介して他の遠隔会議装置 T CDに送信するとともに、他の遠隔会議装置 T CDから送信されてきた他の会議参加者 HMの画像デ一夕及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T CDは、それそれ、図 64に示したような構成を備えている。すなわち、各遠隔会議装置 T CDは、それそれ、信号処理装置 S PD内に情報加工部 P Bを備えており、通信ネットワーク NTを介して、サーバ SV2から送信されて情報送受信部 T R Bによって受信されたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD l〜TCDnにそれぞれ対応して分離された画像データ及び/又は音声デ一夕に対して所望の調整処理を施す。また、各遠隔会議装置 T CDは、それそれ、会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像データや上述したスィツチ SWからのスイツチ押下情報をネットワーク接続端子 TN 1を介して通信ネットヮ一ク NTから、サーバ SV 1に送信する。

サーバ SV 1は、図 66に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。

この図 66において、サーバ S V Iは、上述したネットワーク接続端子 1 1 ,と、情報送受信部 10！とを備えるとともに、グループ判定用情報生成部 J Bを備えている。

情報送受信部 10 ,は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD ηから送信されてきた各会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像データゃスィツチ押下情報を受信し、これらの画像データやスィツチ押下情報をグループ判定用情報生成部 J Bに供給する。また、情報送受信部 1 0 ,は、グループ判定用情報生成部 JBによって生成されたグループ判定用情報をネットワーク接続端子 1 1！及び通信ネットワーク N Tを介してサーバ S V 2に送信する。

グループ判定用情報生成部 J Bは、例えば図 3又は図 4に示したように、会議参加者 HMの例えば正面に配置されているモニタ装置 MDmのカメラから供給された画像デ一夕や上述したスィツチ SW からのスィツチ押下情報に基づいて、各会議参加者 HMの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J Bは、上述した方向検出処理を行う。

グループ判定用情報生成部 J Bは、生成したグループ判定用情報を情報送受信部 10 iに供給する。

一方、サーバ SV2は、図 67に示すように構成され、各遠隔会議装置 T CD 1〜T CD ηから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 ΗΜが何れのグループに属しているのかを表すグループ情報を生成するグルービング装置として機能する。

この図 67において、サーバ SV2は、上述したネットワーク接続端子 1 1₂と、情報送受信部 10₂とを備えるとともに、グループ判定部 GJDを備えている。

情報送受信部 10₂は、通信ネットワーク NTを介して、サーバ S V 1から送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部 G J Dに供給する。また、情報送受信部 10₂は、グループ判定部 G J Dによって生成されたグループ情報を通信ネットワーク NTを介して各遠隔会議装置 T CD 1〜T CD ηに送信する。

ここで、グループ判定部 GJDは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、サーバ S V 1からグルーブ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 GJDは、サーバ S V Iからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 GJDは、生成したグループ情報を情報送受信部 10₂及びネットワーク接続端子 1 12を介して通信ネットワーク NTから、各遠隔会議装置 T CD 1〜TCD nに送信する。

このような遠隔会議システムは、サーバ S V 1におけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、さらに、サーバ SV 2におけるグループ判定部 G J Dにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、全ての遠隔会議装置 T CDにおける情報加工部 PBにより、グループ情報に基づいて、各遠隔会議装置 T CDにそれそれ対応する画像データ及び/又は音声デ一夕に所望の調整処理を施す。

以上のように、本発明を適用した第 7の実施の形態として示す遠隔会議システムは、注目度検出装置及びグルービング装置の機能をそれそれ 2つのサーバ SV 1， S V 2において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T CDの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバ SV 1 , SV 2の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dやサーバ S V 1， S V 2は、図 5 0に示した例えばパ一ソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもできる。

つぎに、本発明を適用した第 8の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、上述したサーバ S Vを設ける点で、基本構成を図 2に示した第 1の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置、グルーピング装置及び加工装置の機能を 1つのサーバ S Vにおいて実現し、遠隔会議装置 T C Dには注目度検出装置、グルーピング装置及び加工装置の機能を備えないものである。したがって、第 1の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

この遠隔会議システムにおいて、各遠隔会議装置 T C Dは、それそれ対応する会議参加者 H Mの画像データ及び音声データを取り込み、この会議参加者 H Mの画像データ及び音声データを通信ネットワーク N Tを介して他の遠隔会議装置 T C Dに送信するとともに、他の遠隔会議装置 T C Dから送信されてきた他の会議参加者 H Mの画像データ及び音声データを受信し、提示するこ'とができる。

この遠隔会議システムにおける各遠隔会議装置 T C Dは、それそれ、図 6 8に示すような構成を備えている。なお、各遠隔会議装置 TCD l〜TCDnは、それそれ、同一の構成を有することから、図 68には、これら複数の遠隔会議装置 T CD l〜TCDnのうち- 代表して遠隔会議装置 T CD 1の詳細な構成例を示している。以下では、この遠隔会議装置 T CD 1について説明する。

遠隔会議装置 T CD 1における信号処理装置 SPD 1は、ネットワーク接続端子 TN 1と、情報送受信部 TRB 1と、出力端子 TO 2〜T 0 nと、入力端子 T I 2〜T I ηと、入力端子 T Sとを備えている。すなわち、遠隔会議装置 T CD 1における信号処理装置 S PD 1は、上述したグループ判定用情報生成部 J B 1と、情報加工部 PB 1と、グループ判定部 GJD 1とを備えていない。

各モニタ装置 MD 2〜MD nは、それそれ、図 48及び図 49に示したものと同様の構成からなる。各モニタ装置 MD 2〜MD nのうち少なくとも 1つのモニタ装置 MDに備えられるカメラから取り込まれた画像データと、同じく少なくとも 1つのモニタ装置 MDに備えられるマイクロホンから取り込まれた音声デ一夕は、上述したように、信号処理装置 SPD 1及び通信ネットワーク NTを介して各遠隔会議装置 T C D 2〜TCDnに送信される。

また、各モニタ装置 MD 2〜MD nのディスプレイ装置には、上述したように、それそれ対応する遠隔会議装置 T CD 2〜T CD n から送信されてきた画像データに基づく画像が表示され、スビーカからは、同じくそれそれ対応する遠隔会議装置 T CD 2〜T CDn から送信されてきた音声デ一夕に基づく音声が出力される。

遠隔会議装置 TCD 1における信号処理装置 SPD 1内の情報送受信部 TRB 1は、会議参加者 HM 1の例えば正面に配置されているモニタ装置 MDmのカメラから供給された画像デ一夕や上述したスイッチ SWからのスィツチ押下情報をネットワーク接続端子 TN 1を介して通信ネットワーク NTから、サーバ SVに送信する。一方、サーバ SVは、図 69に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。また、サーバ SVは、各遠隔会議装置 T CD 1〜T CD nから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。さらに、サーバ SVは、生成したグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηにそれぞれ対応する画像データ及び/又は音声データに対して情報加工を行う加工装置として機能する。

この図 69において、サーバ SVは、上述したネットワーク接続端子 1 1と、情報送受信部 10とを備えるとともに、グループ判定用情報生成部 J Βと、グループ判定部 G J Dと、情報加工部 PBとを備えている。

情報送受信部 10は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD ηから送信されてきた各会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像データゃスィツチ押下情報を受信し、これらの画像デ一夕やスィツチ押下情報をグループ判定用情報生成部 J Bに供給する。また、情報送受信部 10は、通信ネットワーク NTを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 1〜 T C D nにそれそれ対応する画像デ一夕及び音声デ一夕を分離し、分離した各画像データ及び各音声データをそれそれ情報加工部 P B に供給する。さらに、情報送受信部 10は、情報加工部 PBによつて調整処理された各画像データ ·各音声デ一夕を通信ネットワーク NTを介して各遠隔会議装置 T CD 1〜T CD nに送信する。

グループ判定用情報生成部 j Bは、例えば図 3又は図 4に示したように、会議参加者 HMの例えば正面に配置されているモニタ装置 MDmのカメラから供給された画像データや上述したスィヅチ SW からのスィツチ押下情報に基づいて、各会議参加者 HMの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J Bは、上述した方向検出処理を行う。

グループ判定用情報生成部 J Bによって生成されたグループ判定用情報は、グループ判定部 GJDに供給される。

ここで、グループ判定部 GJDは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、グループ判定用情報生成部 J Bからグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 G J Dは、グループ判定用情報生成部 J Bからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G J Dは、生成したグループ情報を情報加工部 P Bに供給する。

情報加工部 P Bは、グループ判定部 G J Dから供給されたグループ情報に基づいて、各遠隔会議装置 T C D 1〜T CD ηにそれそれ対応する画像デ一夕及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD l〜TCDnにそれそれ対応して分離された画像データ及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ ·各音声データを、情報送受信部 10及びネットワーク接続端子 1 1を介して通信ネットワーク NTから、各遠隔会議装置 T CD l〜T CDn に対応して設けられている各モニタ装置 MD 1〜MD nに対して送信する。

このような遠隔会議システムは、サーバ S Vにおけるグループ判定用情報生成部 JBにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、さらに、サーバ SVにおけるグループ判定部 GJDにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成し、さらに、サーバ SVにおける情報加工部 PBにより、グループ倩報に基づいて、各遠隔会議装置 T CDにそれそれ対応する画像デ一夕及び/又は音声データに所望の調整処理を施す。

以上のように、本発明を適用した第 8の実施の形態として示す遠隔会議システムは、注目度検出装置、グルーピング装置及び加工装置の機能を 1つのサーバ S Vにおいて実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T C Dの処理負担を軽減することができ、構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dやサーバ S Vは、図 5 0に示した例えばパーソナルコンピュー夕等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもできる。

つぎに、本発明を適用した第 9の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、遠隔会議装置 T C Dには注目度検出装置、グルービング装置及び加工装置の機能を備えない点で、基本構成を第 8の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置及びグルーピング装置、並びに、加工装置の機能をそれそれ 2つのサーバ S V 1 , S V 2において実現するものである。したがって、第 8の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略す

Ό o

この遠隔会議システムにおいて、各遠隔会議装置 T C Dは、それそれ対応する会議参加者 H Mの画像データ及び音声データを取り込み、この会議参加者 H Mの画像データ及び音声デ一夕を通信ネットワーク NTを介して他の遠隔会議装置 T CDに送信するとともに、他の遠隔会議装置 T CDから送信されてきた他の会議参加者 HMの画像データ及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T CDは、それそれ、図 68に示したような構成を備えている。すなわち、各遠隔会議装置 T CDは、それそれ、会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像データや上述したスィッチ SWからのスィツチ押下情報をネットワーク接続端子 TN 1を介して通信ネットワーク NTから、サーバ S V 1に送信する。

サーバ SV 1は、図 70に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。また、サーバ SV 1は、各遠隔会議装置 T CD l〜TCDnから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。

この図 70において、サーバ S V 1は、上述したネットワーク接続端子 1 1！と、情報送受信部 10 とを備えるとともに、グループ判定用情報生成部 J Bと、グループ判定部 G J Dとを備えている。情報送受信部 1 は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD ηから送信されてきた各会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像データゃスィツチ押下情報を受信し、これらの画像デ一夕やスィツチ押下情報をグループ判定用情報生成部 J Bに供給する。また、情報送受信部 10 iは、グループ判定部 GJDによって生成されたグループ情報をネットワーク接続端子 1 1！及び通信ネットワーク NTを介してサーバ SV 2に送信する。

グループ判定用情報生成部 J Bは、例えば図 3又は図 4に示したように、会議参加者 HMの例えば正面に配置されているモニタ装置 MDmのカメラから供給された画像データや上述したスィツチ SW からのスィツチ押下情報に基づいて、各会議参加者 HMの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J Bは、上述した方向検出処理を行う。

グループ判定用情報生成部 j Bは、生成したグループ判定用情報をグループ判定部 G J Dに供給する。

グループ判定部 G J Dは、上述したように、各グループ判定用情報に基づいてグループ判定を行うとともに、そのグループ判定結果に基づいて各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成する。

ここで、グループ判定部 GJDは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、グループ判定用情報生成部 J Bからグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 GJDは、グループ判定用情報生成部 J Bからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G J Dは、生成したグループ情報を情報送受信部 1 O i及びネットワーク接続端子 1 1！を介して通信ネヅトワーク N丁から、サ —バ S V 2に送信する。

一方、サーバ SV2は、図 7 1に示すように構成され、サーバ S V 1から送信されてきたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び/又は音声デ一夕に対して情報加工を行う加工装置として機能する。

この図 7 1において、サーバ S V 2は、上述したネットワーク接続端子 1 1₂と、情報送受信部 10₂とを備えるとともに、情報加工部 Ρ Βを備えている。

情報送受信部 10₂は、通信ネットワーク NTを介して、サーバ S V 1から送信されてきたグループ情報を受信し、このグループ情報を情報加工部 PBに供給する。また、情報送受信部 10₂は、通信ネットワーク NTを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声デ一夕をそれそれ情報加工部 ΡΒに供給する。さらに、情報送受信部 10₂は、情報加工部 ΡΒによって調整処理された各画像データ · 各音声データを通信ネットワーク NTを介して各遠隔会議装置 T C D 1〜T CD nに送信する。

情報加工部 PBは、情報送受信部 10₂から供給されたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CDnにそれぞれ対応する画像データ及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD l〜TCDnにそれそれ対応して分離された画像データ及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ '各音声デー夕を、情報送受信部 10₂及びネットワーク接続端子 1 1₂を介して通信ネットワーク NTから、各遠隔会議装置 T CD l〜TCDnに対応して設けられている各モニタ装置 MD 1〜MD nに対して送信する。

このような遠隔会議システムは、サーバ S V 1におけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成し、サーバ S V 1におけるグループ判定部 G J Dにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成する。そして、遠隔会議システムは、サーバ SV 2における情報加ェ部 PBにより、グループ情報に基づいて、各遠隔会議装置 T CD にそれそれ対応する画像データ及び/又は音声デ一夕に所望の調整処理を施す。

以上のように、本発明を適用した第 9の実施の形態として示す遠隔会議システムは、注目度検出装置及びグルーピング装置、並びに、加工装置の機能をそれそれ 2つのサーバ SV 1 , S V 2において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T CDの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバ SV 1 , SV 2の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dやサーバ S V 1， S V 2は、図 5 0に示した例えばパ一ソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもできる。

つぎに、本発明を適用した第 1 0の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、遠隔会議装置 T C Dには注目度検出装置、グルーピング装置及び加工装置の機能を備えない点で、基本構成を第 8の実施の形態として示した遠隔会議システムと同様とするが、注目度検出装置、並びに、グルーピング装置及び加工装置の機能をそれそれ 2つのサーバ S V 1 , S V 2において実現するものである。したがって、第 8の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略す o

この遠隔会議システムにおいて、各遠隔会議装置 T C Dは、それそれ対応する会議参加者 H Mの画像データ及び音声データを取り込み、この会議参加者 H Mの画像データ及び音声データを通信ネットワーク N Tを介して他の遠隔会議装置 T C Dに送信するとともに、他の遠隔会議装置 T C Dから送信されてきた他の会議参加者 H Mの画像データ及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T C Dは、それそれ、図 6 8に示したような構成を備えている。すなわち、各遠隔会議装置 T C Dは、それそれ、会議参加者 H Mの例えば正面に配置されているモニタ装置 M Dのカメラから供給された画像データや上述したスィッチ SWからのスィツチ押下情報をネットワーク接続端子 TN 1を介して通信ネヅトワーク NTから、サーバ S V 1に送信する。

サーバ SV 1は、図 72に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。

この図 72において、サーバ S V Iは、上述したネットワーク接続端子 1 1 ,と、倩報送受信部 10 ,とを備えるとともに、グループ判定用情報生成部 J Bを備えている。

情報送受信部 10 ,は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD nから送信されてきた各会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像データゃスィツチ押下情報を受信し、これらの画像デ一夕やスィツチ押下情報をグループ判定用情報生成部 J Bに供給する。また、情報送受信部 10 ,は、グループ判定用情報生成部 J Bによって生成されたグループ判定用情報をネットワーク接続端子 1 1 ,及び通信ネットワーク NTを介してサーバ SV 2に送信する。

グループ判定用情報生成部 J Bは、生成したグループ判定用情報を情報送受信部 10 ,に供給する。

一方、サーバ SV2は、図 73に示すように構成され、サーバ S V 1から送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成するグルーピング装置として機能する。また、サーバ SV2は、グループ判定部 G J Dから供給されたグループ情報に基づいて、各遠隔会議装置 T CD l〜T CDnにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う加工装置として機能する。

この図 73において、サーバ S V 2は、上述したネットワーク接続端子 1 1₂と、情報送受信部 10₂とを備えるとともに、グループ判定部 GJDと、情報加工部 P Bとを備えている。

情報送受信部 10₂は、通信ネットワーク NTを介して、サーバ S V 1から送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部 G J Dに供給する。また、情報送受信部 10₂は、通信ネットワーク NTを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 1〜TC D nにそれそれ対応する画像データ及び音声デ一夕を分離し、分離した各画像デ一夕及び各音声データをそれそれ情報加工部 P Bに供給する。さらに、情報送受信部 10₂は、情報加工部 PBによって調整処理された各画像データ ·各音声データを通信ネットワーク NT を介して各遠隔会議装置 T CD 1〜T CD nに送信する。

ここで、グループ判定部 GJDは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、サーバ SV 1からグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 G J Dは、サーバ S V Iからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G J Dは、生成したグループ情報を情報加工部 P Bに供給する。

情報加工部 P Bは、グループ判定部 G J Dから供給されたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD l〜TCDnにそれそれ対応して分離された画像デ一夕及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ ·各音声データを、情報送受信部 10₂及びネットワーク接続端子 1 1₂を介して通信ネットワーク NTから、各遠隔会議装置 T CD 1〜T CD nに対応して設けられている各モニタ装置 MD 1〜MD nに対して送信する。

このような遠隔会議システムは、サーバ S V 1におけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成する。そして、遠隔会議システムは、サーバ S V 2におけるグループ判定部 G J Dにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 H Mが何れのグループに属しているのかを表すグループ情報を生成し、サーバ S V 2における情報加工部 P Bにより、グループ情報に基づいて、各遠隔会議装置 T C Dにそれそれ対応する画像データ及び/又は音声データに所望の調整処理を施す。

以上のように、本発明を適用した第 1 0の実施の形態として示す遠隔会議システムは、注目度検出装置、並びに、グルービング装置及び加工装置の機能をそれそれ 2つのサーバ S V 1 , S V 2において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T C Dの処理負担を軽減して構成を簡易なものとすることができるとともに、サーバ S V 1 , S V 2の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

なお、遠隔会議システムにおける各遠隔会議装置 T C Dの信号処理装置 S P Dやサーバ S V 1 , S V 2は、図 5 0に示した例えばパ —ソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置 T C Dとしては、図 5 1乃至図 5 4に示した構成とすることもできる。

つぎに、本発明を適用した第 1 1の実施の形態として示す遠隔会議システムについて説明する。

この遠隔会議システムは、遠隔会議装置 T C Dには注目度検出装置、グルービング装置及び加工装置の機能を備えない点で、基本構成を第 8の実施の形態として示した遠隔会議システムと同様とするが、図 7 4に概略構成を示すように、注目度検出装置、グルーピング装置及び加工装置の機能をそれそれ 3つのサーバ S V 1， S V 2 S V 3において実現するものである。したがって、第 8の実施の形態として示した遠隔会議システムと対応する構成については同一符号を付して詳細な説明を省略する。

この遠隔会議システムにおいて、各遠隔会議装置 T C Dは、それそれ対応する会議参加者 H Mの画像データ及び音声データを取り込み、この会議参加者 H Mの画像デ一夕及び音声データを通信ネットワーク N Tを介して他の遠隔会議装置 T C Dに送信するとともに、他の遠隔会議装置 T C Dから送信されてきた他の会議参加者 H Mの画像データ及び音声データを受信し、提示することができる。

この遠隔会議システムにおける各遠隔会議装置 T C Dは、それそれ、図 6 8に示したような構成を備えている。すなわち、各遠隔会議装置 T C Dは、それそれ、会議参加者 H Mの例えば正面に配置されているモニタ装置 M Dのカメラから供給された画像デ一夕や上述したスイッチ S Wからのスィツチ押下情報をネットワーク接続端子 T 1を介して通信ネヅトワーク N Tから、サーバ S V 1に送信す o

サーバ S V 1は、図 7 5に示すように構成され、会議中において同じ話題に参加している各会議参加者をグループ分けするためのグループ判定用情報を生成する注目度検出装置として機能する。

この図 7 5において、サーバ S V Iは、上述したネットワーク接続端子 1 1 iと、情報送受信部 1 0 とを備えるとともに、グループ判定用情報生成部 J Bを備えている。情報送受信部 10 ,は、通信ネットワーク NTを介して、各遠隔会議装置 T CD 1〜T CD nから送信されてきた各会議参加者 HMの例えば正面に配置されているモニタ装置 MDのカメラから供給された画像デ一夕ゃスィツチ押下情報を受信し、これらの画像データやスィツチ押下情報をグループ判定用情報生成部 J Bに供給する。また、情報送受信部 10 tは、グループ判定用情報生成部 J Bによって生成されたグループ判定用情報をネットワーク接続端子 1 1 i及び通信ネットワーク N Tを介してサーバ S V 2に送信する。

グループ判定用情報生成部 J Bは、例えば図 3又は図 4に示したように、会議参加者 HMの例えば正面に配置されているモニタ装置 M Dmのカメラから供給された画像デ一夕や上述したスィツチ SW からのスィツチ押下情報に基づいて、各会議参加者 HMの注目度を検出し、その検出結果に基づいて、上述したグループ判定用情報を生成する。このとき、グループ判定用情報生成部 J Bは、上述した方向検出処理を行う。

グループ判定用情報生成部 j Bは、生成したグループ判定用情報を情報送受信部 10 に供給する。

サーバ SV2は、図 76に示すように構成され、サーバ S V Iから送信されてきたグループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成するグルービング装置として機能する。

この図 76において、サーバ SV2は、上述したネットワーク接続端子 1 1₂と、情報送受信部 10₂とを備えるとともに、グループ判定部 GJDを備えている。

情報送受信部 10₂は、通信ネットワーク NTを介して、サーバ S V 1から送信されてきた各グループ判定用情報を受信し、これらの各グループ判定用情報をグループ判定部 G J Dに供給する。また、情報送受信部 10₂は、グループ判定部 GJDによって生成されたグループ情報をネットワーク接続端子 1 1₂及び通信ネットワーク NT を介してサーバ S V 3に送信する。

ここで、グループ判定部 GJDは、図 6に示した注目先表と、図 7に示したグループ表とを保持しており、サーバ SV 1からグループ判定用情報を受け取る前段として、図 8に示した通信開始時の初期化処理を行う。また、グループ判定部 G J Dは、サーバ S V Iからグループ判定用情報を受け取ると、図 9に示したグループ判定用情報発生時の処理を行う。グループ判定部 G J Dは、生成したグループ情報を情報送受信部 10₂に供給する。

サーバ SV3は、図 77に示すように構成され、サーバ SV2から送信されてきたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び Ζ又は音声データに対して情報加工を行う加工装置として機能する。

この図 77において、サーバ SV3は、上述したネットワーク接続端子 1 1₂と、情報送受信部 10₂とを備えるとともに、情報加工部 ΡΒを備えている。情報送受信部 103は、通信ネットワーク N Tを介して、サーバ S V 2から送信されてきたグループ情報を受信し、このグループ情報を情報加工部 PBに供給する。また、情報送受信部 10₃は、通信ネットワーク NTを介して送信されてきた信号を受信すると、この信号から各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び音声データを分離し、分離した各画像データ及び各音声データをそれそれ情報加工部 ΡΒに供給する。さらに、情報送受信部 10₃は、情報加工部 ΡΒによって調整処理された各画像データ · 各音声データを通信ネットワーク NTを介して各遠隔会議装置 T C D 1〜T C D ηに送信する。

情報加工部 ΡΒは、情報送受信部 10₃から供給されたグループ情報に基づいて、各遠隔会議装置 T CD 1〜T CD ηにそれそれ対応する画像データ及び/又は音声データに対して情報加工を行う際に利用するパラメ一夕を演算し、さらに、この演算によって求めたパラメ一夕に基づいて、各遠隔会議装置 T CD l〜TCDnにそれそれ対応して分離された画像データ及び/又は音声データに対して所望の調整処理を施し、その調整処理後の各画像データ ·各音声デー夕を、情報送受信部 10₃及びネットワーク接続端子 1 13を介して通信ネットワーク NTから、各遠隔会議装置 T CD l〜TCDnに対応して設けられている各モニタ装置 MD 1〜MD nに対して送信する。

このような遠隔会議システムは、サーバ S V 1におけるグループ判定用情報生成部 J Bにより、会議参加者 HMの注目度を検出し、その検出結果に基づいて、各会議参加者 HMが何れのグループの話題に参加しているのかを判定するために用いられるグループ判定用情報を生成する。そして、遠隔会議システムは、サーバ SV2におけるグループ判定部 GJDにより、グループ判定用情報に基づいてグループ分けを行い、各会議参加者 HMが何れのグループに属しているのかを表すグループ情報を生成する。さらに、遠隔会議システムは、サーバ SV3における情報加工部 PBにより、グループ情報に基づいて、各遠隔会議装置 T CDにそれそれ対応する画像データ及びノ又は音声デ一夕に所望の調整処理を施す。

以上のように、本発明を適用した第 1 1の実施の形態として示す遠隔会議システムは、注目度検出装置、グルーピング装置及び加工装置の機能をそれそれ 3つのサーバ S V 1 , S V 2 , SV3において実現することができる。そのため、遠隔会議システムは、個々の遠隔会議装置 T CDの処理負担を大幅に軽減して構成を簡易なものとすることができるとともに、サーバ S V I , S V 2 , SV3の処理負担も軽減して構成を簡易なものとすることができる。勿論、遠隔会議システムにおいては、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。なお、遠隔会議システムにおける各遠隔会議装置 T CDの信号処理装置 S P Dやサーバ S V 1 , S V 2 , SV3は、図 50に示した例えばパーソナルコンピュータ等の装置で実現することができる。また、各遠隔会議装置 T CDとしては、図 5 1乃至図 54に示した構成とすることもできる。

以上説明したように、本発明の実施の形態として示す遠隔会議システムにおいては、複数の会議参加者が同時に発言するような場合でも、自己が属するグループの発'言を聞き易くなり、また、画像も見易くなる。したがって、遠隔会議システムは、各会議参加者において情報の充足と快適さを与えることができる。

なお、本発明は、上述した実施の形態に限定されるものではない, 例えば、上述した全ての実施の形態では、各モニタ装置 M Dと信号処理装置 S P Dとが別構成であるものとして説明したが、各モニタ装置 M Dのそれそれ或いは 1つに信号処理装置 S P Dの機能を持たせることも可能である。

また、上述した全ての実施の形態では、方向検出の具体例として視線と顔向き検出をそれそれ別個に行う例を挙げて説明したが、それら両方の方向検出を同時に行うことも可能である。

さらに、上述した全ての実施の形態では、 1人の会議参加者が所属できるグループを各時刻において 1つとした例を挙げているが、それ以外に、例えば、主に属しているグループや発言はしないが情報は得たいグループといった複数のグループを定義しておき、各人の会議参加者を複数のグループに所属可能とし、相手方の会議参加者の各人がどのグループに属しているかにより、音声、画像等の情報を制御/加工するような例も考えられる。また、このとき、各会議参加者にそれそれ対応するモニタ装置に照明器が設けられているような場合には、相手方の会議参加者の各人がどのグループに属しているかにより、照明器を制御することも考えられる。

さらにまた、上述した全ての実施の形態では、グループ判定用情報に基づいてグループ判定した結果を、グループ情報の生成に用いるものとして説明したが、このグループ判定結果は、様々な利用方法が考えられる。

例えば、グループ判定結果の他の利用方法としては、会議に先立ち、議論すべき複数の議題と、議題毎の必要な参加者とを登録しておき、会議中、各会話毎にグループ判定した結果に基づいて、各グループ内で話し合える議題を画像や音声で提示するものが考えられる。この際、議題に必要な参加者の全員が揃っていない場合でも、例えばある議題に必要な参加者の大半からなるグループが存在するような場合には、必要な参加者のうちグループ内にいない人、及び、議題自体を画像や音声で提示することもできる。

また、グループ判定結果のさらに他の利用方法としては、遠隔会議装置 T C Dの娯楽的利用に供するものである。すなわち、グループ判定結果のさらに他の利用方法としては、会議に先立ち、各会議参加者が自分の興味のある分野を登録しておき、会議中、各グループ内にいる参加者に応じて興味の集中分野を調べ、集中度の高い分野に関する話題を提供するものが考えられる。この利用方法を適用した場合には、例えば、野球が好きであると登録している参加者が多く含まれるグループに対しては、会議に近い時点で行われた野球の試合結果等を提示することができる。

このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。産業上の利用可能性以上詳細に説明したように、本発明にかかる通信システムは、他の通信装置のそれそれから通信される通信データに対する注目度を検出するための注目度予測情報を取得する注目度予測情報取得手段と、グループ情報に基づいて加工された通信データをそれそれ対応する提示装置に出力する通信データ出力手段とを有する少なくとも 3つの通信装置と、注目度予測情報に基づいて、注目度を検出する注目度検出手段と、注目度を出力する注目度出力手段とを有する注目度検出装置と、注目度に基づいて、通信データのグルーピングを行うグルービング手段と、グルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを有するグルーピング装置と、通信装置のそれそれに対して他の通信装置から送信される通信デー夕をグループ情報に基づいて加工する加工手段と、この加工手段によって加工された通信データを出力する加工データ出力手段とを有する加工装置とを備える。

したがって、本発明にかかる通信システムは、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信データのグルービングに応じて、他の通信装置からの通信デ一夕を加工することにより、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。

また、本発明にかかる通信システムは、他の通信装置のそれそれから通信される通信データに対する注目度を検出するための注目度予測情報を取得する注目度予測情報取得手段と、グループ情報に基づいて加工された通信データをそれそれ対応する提示装置に出力する通信データ出力手段とを有する少なくとも 3つの通信装置と、注目度予測情報に基づいて、注目度を検出する注目度検出手段と、注目度を出力する注目度出力手段とを有する注目度検出装置と、注目度に基づいて、通信データのグルーピングを行うグルーピング手段と、グルービングの結果を示すグループ情報を出力するグループ情報出力手段とを有するグルーピング装置と、通信装置のそれそれに対して他の通信装置から送信された通信データをグループ情報に基づいて加工する加工手段と、この加工手段によって加工された通信データを出力する加工デ一夕出力手段とを有する加工装置とを備える

したがって、本発明にかかる通信システムは、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信データのグルービングに応じて、他の通信装置からの通信データを加工することにより、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることがでぎ。

さらに、本発明にかかるグルーピング装置は、少なくとも 3つの通信装置を含む通信システムで使用され、通信装置のそれそれに対して他の通信装置から通信される通信デ一夕をグルーピングするグルービング装置において、通信装置のそれそれに対応するユーザの、他の通信装置からの通信デ一夕のそれそれに対する注目度に基づいて、通信データのグルービングを行うグルーピング手段と、このグル一ビング手段によるグルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備える。

したがって、本発明にかかるグルーピング装置は、少なくとも 3 つの通信装置間で通信を行う場合に適用することにより、各通信装置が送信する通信デ一夕に対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信デ一夕を加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。

さらにまた、本発明にかかるグルーピング方法は、少なくとも 3 つの通信装置を含む通信システムで使用され、通信装置のそれそれに対して他の通信装置から通信される通信データをグルーピングするグルーピング方法において、通信装置のそれそれに対応するユーザの、他の通信装置からの通信デ一夕のそれそれに対する注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、このグルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。

したがって、本発明にかかるグルーピング方法は、少なくとも 3 つの通信装置間で通信を行う場合に適用することにより、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信デ一夕をグルービングし、その複数の通信装置が送信する通信デ一夕のグルーピングに応じて、他の通信装置からの通信デ一夕を加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、本発明にかかるグルーピングプログラムが記録された記録媒体は、少なくとも 3つの通信装置を含む通信システムで使用され、通信装置のそれそれに対して他の通信装置から通信される通信デ一夕をグルーピングするコンビユー夕制御可能なグルーピングブログラムが記録された記録媒体において、グルーピングプログラムは、通信装置のそれそれに対応するユーザの、他の通信装置からの通信データのそれそれに対する注目度に基づいて、通信データのグルービングを行うグルービング工程と、このグル一ビング工程によるグルービングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。

したがって、本発明にかかるグルーピングプログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う場合に適用することにより、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信デ一夕をグルーピングし、その複数の通信装置が送信する通信デ一夕のグルーピングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。さらに、本発明にかかる情報処理装置は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理装置において、通信装置のそれそれからの通信データを受信するとともに、通信装置のそれそれから送信された注目度であり、通信装置のそれそれ自身を除く他の通信装置から送信される通信データに対する注目度を受信する受信手段と、注目度に基づいて、通信データのグルーピングを行うグルーピング手段と、通信デ一夕のそれぞれが属するグループに基づいて、通信装置のそれそれについて、通信装置のそれそれ自身を除く他の通信装置から送信された通信データを加工する加工手段と、この加工手段によって加工された通信データを、通信装置のそれそれに送信する加工データ出力手段とを備える。したがって、本発明にかかる情報処理装置は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグル一ビングし、その複数の通信装置が送信する通信データのグルービングに応じて、他の通信装置からの通信デ一夕を加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。

また、この情報処理装置は、受信手段が、注目度の代わりに、通信装置のそれそれから送信されたユーザの反応情報であり、通信装置のそれそれに対応するユーザの反応情報を受信し、当該情報処理装置は、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出手段をさらに備える。

したがって、この情報処理装置は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度を検出することができ、さらに、この注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信デ一夕のグルーピングに応じて、他の通信装置からの通信データを加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。

さらにまた、本発明にかかる情報処理方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理方法において、通信装置のそれそれからの通信データを受信するとともに、通信装置のそれそれから送信された注目度であり、通信装置のそれそれ自身を除く他の通信装置から送信される通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信デー夕のグルーピングを行うグルーピング工程と、通信デ一夕のそれそれが属するグループに基づいて、通信装置のそれそれについて、通信装置のそれそれ自身を除く他の通信装置から送信された通信デー夕を加工する加工工程と、この加工工程にて加工された通信デ一夕を、通信装置のそれそれに送信する加工データ出力工程とを備える ₍ したがって、本発明にかかる情報処理方法は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信デ一夕のグルービングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、この情報処理方法は、受信工程では、注目度の代わりに、通信装置のそれそれから送信されたユーザの反応情報であり、通信装置のそれそれに対応するユーザの反応情報が受信され、当該情報処理方法は、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出工程をさらに備える。

したがって、この情報処理方法は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度を検出することを可能とし、さらに、この注目度に応じて複数の通信装置が送信する通信デ一夕をグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、本発明にかかる情報処理プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、情報処理プログラムは、通信装置のそれそれからの通信デ一夕を受信するとともに、通信装置のそれそれから送信された注目度であり、通信装置のそれそれ自身を除く他の通信装置から送信される通信データに対する注目度を受信する受信工程と、注目度に基づいて、通信データのグルーピングを行うグルービング工程と、通信デ一夕のそれそれが属するグループに基づいて、通信装置のそれそれについて、通信装置のそれそれ自身を除く他の通信装置から送信された通信デ一夕を加工する加工工程と、この加ェ工程にて加工された通信データを、通信装置のそれそれに送信する加工データ出力工程とを備える。

したがって、本発明にかかる情報処理プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信デ一夕をグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信デ一夕を加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

また、この情報処理プログラムが記録された記録媒体は、受信ェ程では、注目度の代わりに、通信装置のそれそれから送信されたュ一ザの反応情報であり、通信装置のそれそれに対応するユーザの反応情報が受信され、情報処理プログラムは、ユーザの反応情報に基づいて、通信デ一夕のそれそれに対する注目度を検出する注目度検出工程をさらに備える。

したがって、この情報処理プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信デ一夕に対する注目度を検出することが可能となり、さらに、この注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグル一ビングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

さらに、本発明にかかる通信装置は、情報処理装置と少なくとも

3つの通信装置とを有する通信システムにおける通信装置において、他の通信装置からの通信データを受信するとともに、情報処理装置から送信された通信データの属するグループを示すグループ情報を受信する受信手段と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得手段と、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出手段と、注目度を情報処理装置に出力する注目度出力手段と、グループ情報に基づいて、通信データを加工する加工手段と、この加工手段によって加工された通信デ一夕を提示装置に出力する加工データ出力手段とを備える。したがって、本発明にかかる通信装置は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信デ一夕に対する注目度に応じて複数の通信装置が送信する通信デ一夕をグルービングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。さらにまた、本発明にかかる通信方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信方法において、他の通信装置からの通信データを受信する第 1の受信工程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信デー夕のそれぞれに対する注目度を検出する注目度検出工程と、注目度を情報処理装置に出力する注目度出力工程と、情報処理装置から送信された通信データの属するグループを示すグループ情報を受信する第 2の受信工程と、グループ情報に基づいて、通信データを加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備える。

したがって、本発明にかかる通信方法は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信デ一夕を加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、本発明にかかる通信プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、他の通信装置からの通信デ一夕を受信する第 1の受信工程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出工程と、注目度を情報処理装置に出力する注目度出力工程と、情報処理装置から送信された通信データの属するグループを示すグループ情報を受信する第 2の受信工程と、グループ情報に基づいて、通信デ一夕を加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備える。

したがって、本発明にかかる通信プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

さらに、本発明にかかる情報処理装置は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理装置において、通信装置のそれそれから送信された通信データに対する注目度を受信する受信手段と、注目度に基づいて、通信データのグル一ビングを行うグルーピング手段と、このグルーピング手段によるグルーピングの結果を示すグループ情報を出力するグループ情報出力手段とを備える。

したがって、本発明にかかる情報処理装置は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信デ一夕を加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。

また、この情報処理装置は、受信手段が、注目度の代わりに、通信装置のそれそれから送信された通信データを受信し、当該情報処理装置は、通信デ一夕のそれそれに対するユーザの注目度を検出する注目度検出手段をさらに備える。

したがって、この情報処理装置は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度を検出することができ、さらに、この注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信デ一夕のグルーピングに応じて、他の通信装置からの通信デ一夕を加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。

さらにまた、本発明にかかる情報処理方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理方法において、通信装置のそれそれから送信された通信デ一夕に対する注目度を受信する受信工程と、注目度に基づいて、通信データのグルーピングを行うグルーピング工程と、このグルーピング工程によるグルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。

したがって、本発明にかかる情報処理方法は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグル一ビングし、その複数の通信装置が送信する通信データのグルービングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、この情報処理方法は、受信工程では、注目度の代わりに、通信装置のそれそれから送信された通信データが受信され、当該情報処理方法は、通信データのそれそれに対するユーザの注目度を検出する注目度検出工程をさらに備える。

したがって、この情報処理方法は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度を検出することを可能とし、さらに、この注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信デ一夕を加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、本発明にかかる情報処理プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、情報処理プログラムは、通信装置のそれそれから送信された通信デ一夕に対する注目度を受信する受信工程と、注目度に基づいて、通信デ一夕のグルーピングを行うグルービング工程と、このグルーピング工程によるグルービングの結果を示すグループ情報を出力するグループ情報出力工程とを備える。

したがって、本発明にかかる情報処理プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信デ一夕に対する注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

また、この情報処理プログラムが記録された記録媒体は、受信ェ程では、注目度の代わりに、通信装置のそれそれから送信された通信データが受信され、情報処理プログラムは、通信データのそれそれに対するユーザの注目度を検出する注目度検出工程をさらに備える o

したがって、この情報処理プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信デ一夕に対する注目度を検出することが可能となり、さらに、この注目度に応じて複数の通信装置が送信する通信データをグルーピングし、その複数の通信装置が送信する通信デ一夕のグル —ビングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

さらに、本発明にかかる通信装置は、少なくとも 3つの通信装置間で通信を行う通信システムにおける通信装置において、他の通信装置からの通信データを受信する受信部と、通信装置からの通信デ一夕のそれそれに対するユーザの反応情報を取得する情報取得手段と、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出手段と、注目度に基づいて、通信デ一夕のグルーピングを行うグルーピング手段と、通信データのそれそれが属するグループに基づいて、通信データのそれそれを加工する加工手段と、この加工手段によって加工された通信デ一夕を提示装置に出力する加工デ一夕出力手段とを備える。

したがって、本発明にかかる通信装置は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。さらにまた、本発明にかかる通信方法は、少なくとも 3つの通信装置間で通信を行う通信システムにおける通信方法において、他の通信装置からの通信データを受信する受信工程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出工程と、注目度に基づいて、通信デ一夕のグルーピングを行うグルーピング工程と、通信データのそれそれが属するグループに基づいて、通信データのそれそれを加ェする加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工データ出力工程とを備える。

したがって、本発明にかかる通信方法は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信データのグルービングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、本発明にかかる通信プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う通信システムにおけるコンピュー夕制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、他の通信装置からの通信データを受信する受信工程と、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報に基づいて、通信データのそれそれに対する注目度を検出する注目度検出ェ程と、注目度に基づいて、通信デ一夕のグルービングを行うグルービング工程と、通信デ一夕のそれそれが属するグループに基づいて、通信データのそれそれを加工する加工工程と、この加工工程にて加ェされた通信データを提示装置に出力する加工データ出力工程とを備える。

さらに、本発明にかかる通信装置は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信装置において、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得手段と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信するとともに、ユーザの反応情報を情報処理装置に送信する通信手段と、グループ情報に基づいて、通信データを加工する加工手段と、この加工手段によって加工された通信データを提示装置に出力する加工データ出力手段とを備える。

したがって、本発明にかかる通信装置は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信デ一夕に対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信デ一夕のグルーピングに応じて、他の通信装置からの通信デ一夕を加工することができ、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることができる。さらにまた、本発明にかかる通信方法は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信方法において、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信デー夕を加工する加工工程と、この加工工程にて加工された通信データを提示装置に出力する加工デ一夕出力工程とを備える。

したがって、本発明にかかる通信方法は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信データをグルービングし、その複数の通信装置が送信する通信データのグルーピングに応じて、他の通信装置からの通信データを加工することを可能とし、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることを可能とする。

また、本発明にかかる通信プログラムが記録された記録媒体は、情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、通信プログラムは、通信装置からの通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、ユーザの反応情報を情報処理装置に送信する送信工程と、情報処理装置からの通信データと、情報処理装置から送信された通信データの属するグループを示すグループ情報とを受信する受信工程と、グループ情報に基づいて、通信デ一夕を加工する加工工程と、この加工ェ程にて加工された通信データを提示装置に出力する加工データ出力工程とを備える。

したがって、本発明にかかる通信プログラムが記録された記録媒体は、少なくとも 3つの通信装置間で通信を行う場合に、各通信装置が送信する通信データに対する注目度に応じて複数の通信装置が送信する通信デ一夕をグルーピングし、その複数の通信装置が送信する通信デ一夕のグルーピングに応じて、他の通信装置からの通信データを加工することが可能となり、例えば遠隔会議システムにおいて、同じ話題に参加している各会議参加者の発言を特に聞き取り易く、また見易くすることが可能となる。

Claims

請求の範囲

1 . 他の通信装置のそれそれから通信される通信データに対する注目度を検出するための注目度予測情報を取得する注目度予測情報取得手段と、グループ情報に基づいて加工された通信データをそれそれ対応する提示装置に出力する通信データ出力手段とを有する少なくとも 3つの通信装置と、

上記注目度予測情報に基づいて、上記注目度を検出する注目度検出手段と、上記注目度を出力する注目度出力手段とを有する注目度検出装置と、

上記注目度に基づいて、上記通信デ一夕のグルービングを行うグルービング手段と、上記グルーピングの結果を示す上記グループ情報を出力するグループ情報出力手段とを有するグルーピング装置と、上記通信装置のそれそれに対して他の通信装置から送信される上記通信データを上記グループ情報に基づいて加工する加工手段と、上記加工手段によって加工された通信データを出力する加工データ出力手段とを有する加工装置とを備えること

を特徴とする通信システム。

2 . 上記グルーピング手段は、上記注目度の変化に基づいて、上記グルーピングを行うこと

を特徴とする請求の範囲第 1項記載の通信システム。

3 . 上記通信データ出力手段は、上記グループ情報に基づいて加工された通信デ一夕を上記提示装置に出力すること

を特徴とする請求の範囲第 1項記載の通信システム。

4 . 上記通信装置は、上記注目度検出装置を有することを特徴とする請求の範囲第 1項記載の通信システム。

5 . 上記通信装置は、上記注目度検出装置と、上記加工装置とを有すること

を特徴とする請求の範囲第 1項記載の通信システム。

6 . 少なくとも 3つの上記通信装置は、それそれ、上記注目度検出装置と、上記グルーピング装置と、上記加工装置とを有することを特徴とする請求の範囲第 1項記載の通信システム。

7 . 少なくとも 3つの上記通信装置のうち一の通信装置は、上記注目度検出装置と、上記グルーピング装置と、上記加工装置とを有すること

を特徴とする請求の範囲第 1項記載の通信システム。

8 . 上記通信装置は、上記加工装置を有すること

を特徴とする請求の範囲第 1項記載の通信システム。

9 . 上記注目度検出装置は、上記グルーピング装置と、上記加工装置とを有すること

を特徴とする請求の範囲第 1項記載の通信システム。

1 0 . 他の通信装置のそれそれから通信される通信データに対する注目度を検出するための注目度予測情報を取得する注目度予測情報取得手段と、グループ情報に基づいて加工された通信データをそれそれ対応する提示装置に出力する通信データ出力手段とを有する少なくとも 3つの通信装置と、

上記注目度に基づいて、上記通信データのグルーピングを行うグルービング手段と、上記グルーピングの結果を示す上記グループ情報を出力するグループ情報出力手段とを有するグルーピング装置と、上記通信装置のそれそれに対して他の通信装置から送信された上記通信データを上記グループ情報に基づいて加工する加工手段と、上記加工手段によって加工された通信データを出力する加工データ出力手段とを有する加工装置とを備えること

を特徴とする通信システム。

1 1 . 少なくとも 3つの通信装置を含む通信システムで使用され、上記通信装置のそれそれに対して他の通信装置から通信される通信データをグルービングするグルーピング装置において、

上記通信装置のそれそれに対応するユーザの、他の通信装置からの通信データのそれそれに対する注目度に基づいて、上記通信デ一夕のグルーピングを行うグルーピング手段と、

上記グルーピング手段による上記グルービングの結果を示すグループ情報を出力するグループ情報出力手段とを備えること

を特徴とするグルーピング装置。 .

1 2 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信デ一夕に対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと、上記他の通信装置が送信した第 2の通信データとを同じグループとすること

を特徴とする請求の範囲第 1 1項記載のグルーピング装置。

1 3 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと上記第 2の通信データとを同じグループとすること

を特徴とする請求の範囲第 1 1項記載のグルーピング装置。

1 4 . 上記グルーピング手段は、第 1のグループにグルーピングされた第 1の通信デ一夕に対する、第 2のグループにグルーピングされた第 2の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとを 1つのグループに統合すること

を特徴とする請求の範囲第 1 1項記載のグルーピング装置。

1 5 . 少なくとも 3つの通信装置を含む通信システムで使用され、上記通信装置のそれそれに対して他の通信装置から通信される通信データをグルービングするグルーピング方法において、

上記通信装置のそれそれに対応するユーザの、他の通信装置からの通信データのそれそれに対する注目度に基づいて、上記通信デ一夕のグルーピングを行うグルーピング工程と、

上記グルーピング工程による上記グルービングの結果を示すグループ情報を出力するグループ情報出力工程とを備えること

を特徴とするグルーピング方法。

1 6 . 上記グルーピング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと、上記他の通信装置が送信した第 2の通信データとが同じグループとされること

を特徴とする請求の範囲第 1 5項記載のグルーピング方法。

1 7 . 上記グルーピング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2 の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと上記第 2の通信デ一夕とが同じグループとされること

を特徴とする請求の範囲第 1 5項記載のグルーピング方法。

1 8 . 上記グルーピング工程では、第 1のグループにグルーピングされた第 1の通信データに対する、第 2のグループにグルーピングされた第 2の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとが 1つのグループに統合されること

を特徴とする請求の範囲第 1 5項記載のグルーピング方法。

1 9 . 少なくとも 3つの通信装置を含む通信システムで使用され、上記通信装置のそれそれに対して他の通信装置から通信される通信デ一夕をグルービングするコンピュータ制御可能なグルーピングプログラムが記録された記録媒体において、

上記グルーピングプログラムは、

上記通信装置のそれそれに対応するユーザの、他の通信装置からの通信データのそれそれに対する注目度に基づいて、上記通信デ一夕のグルーピングを行うグルービング工程と、

上記グル一ビング工程による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備えること

を特徴とするグルーピングプログラムが記録された記録媒体。 2 0 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理装置において、

上記通信装置のそれそれからの通信データを受信するとともに、上記通信装置のそれそれから送信された注目度であり、上記通信装置のそれそれ自身を除く他の通信装置から送信される上記通信デー夕に対する注目度を受信する受信手段と、

上記注目度に基づいて、上記通信データのグルーピングを行うグル一ビング手段と、

上記通信データのそれそれが属するグループに基づいて、上記通信装置のそれそれについて、上記通信装置のそれそれ自身を除く上記他の通信装置から送信された上記通信データを加工する加工手段と、

上記加工手段によって加工された通信データを、上記通信装置のそれぞれに送信する加工データ出力手段とを備えること

を特徴とする情報処理装置。

2 1 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと、上記他の通信装置が送信した第 2の通信データとを同じグループとすること

を特徴とする請求の範囲第 2 0項記載の情報処理装置。

2 2 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信デ一夕に対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと上記第 2の通信データとを同じグループとすること

を特徴とする請求の範囲第 2 0項記載の情報処理装置。

2 3 . 上記グルーピング手段は、第 1のグループにグルーピングされた第 1の通信データに対する、第 2のグループにグルーピングされた第 2の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとを 1つのグループに統合すること

を特徴とする請求の範囲第 2 0項記載の情報処理装置。

2 4 . 上記加工手段は、所定のグループに属する通信データを、上記所定のグループに属さない通信デ一夕に対して相対的に強調された状態に加工すること

を特徴とする請求の範囲第 2 0項記載の情報処理装置。

2 5 . 上記通信データは音声デ一夕を含むものであり、

上記加工手段は、上記音声データを加工すること

を特徴とする請求の範囲第 2 0項記載の情報処理装置。

2 6 . 上記加工手段は、上記音声データの音量を調整することで上記音声データを加工すること

を特徴とする請求の範囲第 2 5項記載の情報処理装置。

2 7 . 上記加工手段は、上記音声データの音質を調整することで上記音声データを加工すること

を特徴とする請求の範囲第 2 5項記載の情報処理装置。

2 8 . 上記通信データは画像データを含むものであり、

上記加工手段は、上記画像データを加工すること

を特徴とする請求の範囲第 2 0項記載の情報処理装置。

2 9 . 上記加工手段は、上記画像データの画質を調整することで上記画像データを加工すること

を特徴とする請求の範囲第 2 8項記載の情報処理装置。

3 0 . 上記受信手段は、上記注目度の代わりに、上記通信装置のそれそれから送信されたユーザの反応情報であり、上記通信装置のそれそれに対応するユーザの反応情報を受信し、

当該情報処理装置は、上記ユーザの反応情報に基づいて、上記通信デ一夕のそれそれに対する注目度を検出する注目度検出手段をさらに備えること

を特徴とする請求の範囲第 2 0項記載の情報処理装置。

3 1 . 上記注目度検出手段は、上記ユーザによる注目の有無を検出すること

を特徴とする請求の範囲第 3 0項記載の情報処理装置。

3 2 . 上記注目度検出手段は、上記ユーザの挙動を検出し、上記ュ一ザの挙動に基づいて、上記他の通信装置からの上記通信データに対する上記ュ一ザの注目度を検出すること

を特徴とする請求の範囲第 3 0項記載の情報処理装置。

3 3 . 上記注目度検出手段は、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度を検出すること

を特徴とする請求の範囲第 3 0項記載の情報処理装置。

3 4 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理方法において、

上記通信装置のそれそれからの通信データを受信するとともに、上記通信装置のそれそれから送信された注目度であり、上記通信装置のそれそれ自身を除く他の通信装置から送信される上記通信デー夕に対する注目度を受信する受信工程と、

上記注目度に基づいて、上記通信デ一夕のグルーピングを行うグルービング工程と、

上記通信データのそれそれが属するグループに基づいて、上記通信装置のそれそれについて、上記通信装置のそれそれ自身を除く上記他の通信装置から送信された上記通信データを加工する加工工程と、

上記加工工程にて加工された通信データを、上記通信装置のそれそれに送信する加工データ出力工程とを備えること

を特徴とする情報処理方法。

3 5 . 上記グルーピング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと、上記他の通信装置が送信した第 2の通信データとが同じグループとされること

を特徴とする請求の範囲第 3 4項記載の情報処理方法。

3 6 . 上記グルーピング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信デ一夕に対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2 の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと上記第 2の通信データとが同じグループとされること

を特徴とする請求の範囲第 3 4項記載の情報処理方法。

3 7 . 上記グルービング工程では、第 1のグループにグルービングされた第 1の通信デ一夕に対する、第 2のグループにグルーピングされた第 2の通信デ一夕に対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとが 1つのグループに統合されること

を特徴とする請求の範囲第 3 4項記載の情報処理方法。

3 8 . 上記加工工程では、所定のグループに属する通信データが、上記所定のグループに属さない通信デ一夕に対して相対的に強調された状態に加工されること

を特徴とする請求の範囲第 3 4項記載の情報処理方法。

3 9 . 上記通信データは音声データを含むものであり、

上記加工工程では、上記音声データが加工されること

を特徴とする請求の範囲第 3 4項記載の情報処理方法。

4 0 . 上記加工工程では、上記音声データの音量が調整されることで上記音声データが加工されること

を特徴とする請求の範囲第 3 9項記載の情報処理方法。

4 1 . 上記加工工程では、上記音声デ一夕の音質が調整されることで上記音声データが加工されること

を特徴とする請求の範囲第 3 9項記載の情報処理方法。

4 2 . 上記通信データは画像データを含むものであり、

上記加工工程では、上記画像データが加工されること

を特徴とする請求の範囲第 3 4項記載の情報処理方法。

4 3 . 上記加工工程では、上記画像データの画質が調整されることで上記画像データが加工されること

を特徴とする請求の範囲第 4 2項記載の情報処理方法。

4 4 . 上記受信工程では、上記注目度の代わりに、 .上記通信装置のそれぞれから送信されたユーザの反応情報であり、上記通信装置のそれそれに対応するユーザの反応情報が受信され、

当該情報処理方法は、上記ユーザの反応情報に基づいて、上記通信データのそれそれに対する注目度を検出する注目度検出工程をさらに備えること

を特徴とする請求の範囲第 3 4項記載の情報処理方法。

4 5 . 上記注目度検出工程では、上記ユーザによる注目の有無が検出されること

を特徴とする請求の範囲第 4 4項記載の情報処理方法。

4 6 . 上記注目度検出工程では、上記ユーザの挙動が検出され、上記ユーザの挙動に基づいて、上記他の通信装置からの上記通信デ一夕に対する上記ユーザの注目度が検出されること

を特徴とする請求の範囲第 4 4項記載の情報処理方法。

4 7 . 上記注目度検出工程では、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度が検出されること

を特徴とする請求の範囲第 4 4項記載の情報処理方法。

4 8 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンビユー夕制御可能な情報処理プログラムが記録された記録媒体において、

上記情報処理プログラムは、

上記注目度に基づいて、上記通信データのグルーピングを行うグルービング工程と、

を特徴とする情報処理プログラムが記録された記録媒体。

4 9 . 上記受信工程では、上記注目度の代わりに、上記通信装置のそれそれから送信されたユーザの反応情報であり、上記通信装置のそれそれに対応するユーザの反応情報が受信され、

上記情報処理プログラムは、上記ユーザの反応情報に基づいて、上記通信デ一夕のそれそれに対する注目度を検出する注目度検出ェ程をさらに備えること

を特徴とする請求の範囲第 4 8項記載の情報処理プログラムが記録された記録媒体。

5 0 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信装置において、

他の通信装置からの通信データを受信するとともに、上記情報処理装置から送信された上記通信データの属するグループを示すグループ情報を受信する受信手段と、

上記通信装置からの上記通信データのそれそれに対するユーザの反応情報を取得する情報取得手段と、

上記ユーザの反応情報に基づいて、上記通信データのそれそれに対する注目度を検出する注目度検出手段と、上記注目度を上記情報処理装置に出力する注目度出力手段と、上記グループ情報に基づいて、上記通信データを加工する加工手段と、

上記加工手段によって加工された通信データを提示装置に出力する加工デ一夕出力手段とを備えること

を特徴とする通信装置。

5 1 . 上記注目度検出手段は、上記ユーザによる注目の有無を検出すること

を特徴とする請求の範囲第 5 0項記載の通信装置。

5 2 . 上記注目度検出手段は、上記ユーザの挙動を検出し、上記ュ一ザの挙動に基づいて、上記他の通信装置からの上記通信デ一夕に対する上記ユーザの注目度を検出すること

を特徴とする請求の範囲第 5 0項記載の通信装置。

5 3 . 上記注目度検出手段は、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信デ一夕に対する上記ユーザの注目度を検出すること

を特徴とする請求の範囲第 5 0項記載の通信装置。

5 4 . 上記加工手段は、所定のグループに属する通信デ一夕を、上記所定のグループに属さない通信データに対して相対的に強調された状態に加工すること

を特徴とする請求の範囲第 5 0項記載の通信装置。

5 5 . 上記通信データは音声データを含むものであり、

上記加工手段は、上記音声データを加工すること

を特徴とする請求の範囲第 5 0項記載の通信装置。

5 6 . 上記加工手段は、上記音声データの音量を調整することで上記音声デ一夕を加工すること

を特徴とする請求の範囲第 5 5項記載の通信装置。

5 7 . 上記加工手段は、上記音声データの音質を調整することで上記音声データを加工すること

を特徴とする請求の範囲第 5 5項記載の通信装置。

5 8 . 上記通信デ一夕は画像デ一夕を含むものであり、

上記加工手段は、上記画像デ一夕を加工すること

を特徴とする請求の範囲第 5 0項記載の通信装置。

5 9 . 上記加工手段は、上記画像データの画質を調整することで上記画像データを加工すること

を特徴とする請求の範囲第 5 8項記載の通信装置。

6 0 . 上記提示装置は、上記他の通信装置のそれそれから送信された上記通信データを入力する入力手段と、上記他の通信装置のそれそれに対応して、上記通信データを提示する提示手段とを有すること

を特徴とする請求の範囲第 5 0項記載の通信装置。

6 1 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信方法において、

他の通信装置からの通信データを受信する第 1の受信工程と、上記通信装置からの上記通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、

上記ユーザの反応情報に基づいて、上記通信データのそれそれに対する注目度を検出する注目度検出工程と、

上記注目度を上記情報処理装置に出力する注目度出力工程と、上記情報処理装置から送信された上記通信デ一夕の属するグループを示すグループ情報を受信する第 2の受信工程と、

上記グループ倩報に基づいて、上記通信デ一夕を加工する加工ェ程と、

上記加工工程にて加工された通信データを提示装置に出力する加ェデータ出力工程とを備えること

を特徴とする通信方法。

6 2 . 上記注目度検出工程では、上記ユーザによる注目の有無が検出されること

を特徴とする請求の範囲第 6 1項記載の通信方法。

6 3 . 上記注目度検出工程では、上記ユーザの挙動が検出され、上記ユーザの挙動に基づいて、上記他の通信装置からの上記通信デ一夕に対する上記ユーザの注目度が検出されること

を特徴とする請求の範囲第 6 1項記載の通信方法。

6 4 . 上記注目度検出工程では、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度が検出されること

を特徴とする請求の範囲第 6 1項記載の通信方法。

6 5 . 上記加工工程では、所定のグループに属する通信データが、上記所定のグループに属さない通信データに対して相対的に強調された状態に加工されること

を特徴とする請求の範囲第 6 1項記載の通信方法。

6 6 . 上記通信デ一夕は音声データを含むものであり、

上記加工工程では、上記音声デ一夕が加工されること

を特徴とする請求の範囲第 6 1項記載の通信方法。

6 7 . 上記加工工程では、上記音声データの音量が調整されることで上記音声データが加工されること

を特徴とする請求の範囲第 6 6項記載の通信方法。

6 8 . 上記加工工程では、上記音声データの音質が調整されることで上記音声データが加工されること

を特徴とする請求の範囲第 6 6項記載の通信方法。

6 9 . 上記通信データは画像データを含むものであり、

上記加工工程では、上記画像データが加工されること

を特徴とする請求の範囲第 6 1項記載の通信方法。

7 0 . 上記加工工程では、上記画像データの画質が調整されることで上記画像データが加工されること

を特徴とする請求の範囲第 6 9項記載の通信方法。

7 1 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンビユー夕制御可能な通信プログラムが記録された記録媒体において、

上記通信プログラムは、

他の通信装置からの通信デ一夕を受信する第 1の受信工程と、上記通信装置からの上記通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、

上記注目度を上記情報処理装置に出力する注目度出力工程と、上記情報処理装置から送信された上記通信データの属するグループを示すグループ情報を受信する第 2の受信工程と、

上記グループ情報に基づいて、上記通信データを加工する加工ェ程と、上記加工工程にて加工された通信データを提示装置に出力する加ェデ一夕出力工程とを備えること

を特徴とする通信プログラムが記録された記録媒体。

7 2 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理装置において、

上記通信装置のそれそれから送信された通信データに対する注目度を受信する受信手段と、

上記注目度に基づいて、上記通信データのグルーピングを行うグルービング手段と、

上記グルーピング手段による上記グルーピングの結果を示すグル —プ情報を出力するグループ情報出力手段とを備えること

を特徴とする情報処理装置。

7 3 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと、上記他の通信装置が送信した第 2の通信データとを同じグループとすること

を特徴とする請求の範囲第 7 2項記載の情報処理装置。

7 4 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと上記第 2の通信デ一夕とを同じグループとすること

を特徴とする請求の範囲第 7 2項記載の情報処理装置。

7 5 . 上記グルーピング手段は、第 1のグループにグルーピングされた第 1の通信デ一夕に対する、第 2のグループにグルーピングされた第 2の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとを 1つのグループに統合すること

を特徴とする請求の範囲第 7 2項記載の情報処理装置。

7 6 . 上記受信手段は、上記注目度の代わりに、上記通信装置のそれそれから送信された通信データを受信し、

当該情報処理装置は、上記通信データのそれそれに対するユーザの注目度を検出する注目度検出手段をさらに備えること

を特徴とする請求の範囲第 7 2項記載の情報処理装置。

7 7 . 上記注目度検出手段は、上記ユーザによる注目の有無を検出すること

を特徴とする請求の範囲第 7 6項記載の情報処理装置。

7 8 . 上記注目度検出手段は、上記ユーザの挙動を検出し、上記ュ一ザの挙動に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度を検出すること

を特徴とする請求の範囲第 7 6項記載の情報処理装置。

7 9 . 上記注目度検出手段は、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度を検出すること

を特徴とする請求の範囲第 7 6項記載の情報処理装置。

8 0 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける情報処理方法において、

上記通信装置のそれそれから送信された通信データに対する注目度を受信する受信工程と、

上記注目度に基づいて、上記通信データのグルービングを行うグル一ビング工程と、

上記グルーピング工程による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備えること

を特徴とする情報処理方法。

8 1 . 上記グルーピング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと、上記他の通信装置が送信した第 2の通信データとが同じグループとされること

を特徴とする請求の範囲第 8 0項記載の情報処理方法。

8 2 . 上記グルービング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2 の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信デ一夕と上記第 2の通信データとが同じグループとされること

を特徴とする請求の範囲第 8 0項記載の情報処理方法。

8 3 . 上記グルーピング工程では、第 1のグループにグルーピングされた第 1の通信データに対する、第 2のグループにグルーピングされた第 2の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとが 1つのグループに統合されること

を特徴とする請求の範囲第 8 0項記載の情報処理方法。

8 4 . 上記受信工程では、上記注目度の代わりに、上記通信装置のそれそれから送信された通信データが受信され、

当該情報処理方法は、上記通信データのそれそれに対するユーザの注目度を検出する注目度検出工程をさらに備えること

を特徴とする請求の範囲第 8 0項記載の情報処理方法。

8 5 . 上記注目度検出工程では、上記ユーザによる注目の有無が検出されること

を特徴とする請求の範囲第 8 4項記載の情報処理方法。

8 6 . 上記注目度検出工程では、上記ユーザの挙動が検出され、上記ユーザの挙動に基づいて、上記他の通信装置からの上記通信デー夕に対する上記ユーザの注目度が検出されること

を特徴とする請求の範囲第 8 4項記載の情報処理方法。

8 7 . 上記注目度検出工程では、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度が検出されること

を特徴とする請求の範囲第 8 4項記載の情報処理方法。

8 8 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な情報処理プログラムが記録された記録媒体において、

上記情報処理プログラムは、

上記注目度に基づいて、上記通信データのグルーピングを行うグル一ビング工程と、

上記グルーピング工程による上記グルーピングの結果を示すグループ情報を出力するグループ情報出力工程とを備えることを特徴とする情報処理プログラムが記録された記録媒体。

8 9 . 上記受信工程では、上記注目度の代わりに、上記通信装置のそれそれから送信された通信デ一夕が受信され、

上記情報処理プログラムは、上記通信データのそれそれに対するユーザの注目度を検出する注目度検出工程をさらに備えることを特徴とする請求の範囲第 8 8項記載の情報処理プログラムが記録された記録媒体。

9 0 . 少なくとも 3つの通信装置間で通信を行う通信システムにおける通信装置において、

他の通信装置からの通信データを受信する受信部と、

上記ユーザの反応情報に基づいて、上記通信データのそれそれに対する注目度を検出する注目度検出手段と、

上記注目度に基づいて、上記通信デ一夕のグルーピングを行うグルービング手段と、

上記通信データのそれそれが属するグループに基づいて、上記通信データのそれそれを加工する加工手段と、

上記加工手段によって加工された通信データを提示装置に出力する加工データ出力手段とを備えること

を特徴とする通信装置。

9 1 . 上記注目度検出手段は、上記ユーザによる注目の有無を検出すること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 2 . 上記注目度検出手段は、上記ユーザの挙動を検出し、上記ュ

—ザの挙動に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度を検出すること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 3 . 上記注目度検出手段は、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度を検出すること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 4 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと、上記他の通信装置が送信した第 2の通信データとを同じグループとすること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 5 . 上記グルーピング手段は、任意のユーザに対応する一の通信装置が送信した第 1の通信デ一夕に対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2の通信データに対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと上記第 2の通信データとを同じグループとすること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 6 . 上記グルーピング手段は、第 1のグループにグルービングされた第 1の通信デ一夕に対する、第 2のグループにグルーピングされた第 2の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとを 1つのグループに統合すること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 7 . 上記加工手段は、所定のグループに属する通信デ一夕を、上記所定のグループに属さない通信データに対して相対的に強調された状態に加工すること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 8 . 上記通信データは音声デ一夕を含むものであり、

上記加工手段は、上記音声デ一夕を加工すること

を特徴とする請求の範囲第 9 0項記載の通信装置。

9 9 . 上記加工手段は、上記音声データの音量を調整することで上記音声データを加工すること

を特徴とする請求の範囲第 9 8項記載の通信装置。

1 0 0 . 上記加工手段は、上記音声デ一夕の音質を調整することで上記音声データを加工すること

を特徴とする請求の範囲第 9 8項記載の通信装置。

1 0 1 . 上記通信データは画像データを含むものであり、

上記加工手段は、上記画像データを加工すること

を特徴とする請求の範囲第 9 0項記載の通信装置。

1 0 2 . 上記加工手段は、上記画像データの画質を調整することで上記画像データを加工すること

を特徴とする請求の範囲第 1 0 1項記載の通信装置。

1 0 3 . 上記提示装置は、上記他の通信装置のそれそれから送信された上記通信データを入力する入力手段と、上記他の通信装置のそれそれに対応して、上記通信データを提示する提示手段とを有することを特徴とする請求の範囲第 9 0項記載の通信装置。

1 0 4 . 少なくとも 3つの通信装置間で通信を行う通信システムにおける通信方法において、

他の通信装置からの通信データを受信する受信工程と、上記通信装置からの上記通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、

上記通信データのそれそれが属するグループに基づいて、上記通信デ一夕のそれそれを加工する加工工程と、

を特徴とする通信方法。

1 0 5 . 上記注目度検出工程では、上記ユーザによる注目の有無が検出されること

を特徴とする請求の範囲第 1 0 4項記載の通信方法。

1 0 6 . 上記注目度検出工程では、上記ユーザの挙動が検出され、上記ユーザの挙動に基づいて、上記他の通信装置からの上記通信デ一夕に対する上記ユーザの注目度が検出されること

を特徴とする請求の範囲第 1 0 4項記載の通信方法。

1 0 7 . 上記注目度検出工程では、上記ユーザの指示に基づいて、上記他の通信装置からの上記通信データに対する上記ユーザの注目度が検出されることを特徴とする請求の範囲第 1 0 4項記載の通信方法。

1 0 8 . 上記グルーピング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信デ一夕と、上記他の通信装置が送信した第 2の通信データとが同じグループとされること

を特徴とする請求の範囲第 1 0 4項記載の通信方法。

1 0 9 . 上記グルーピング工程では、任意のユーザに対応する一の通信装置が送信した第 1の通信データに対する他の通信装置の上記注目度が所定の値より高く、且つ、上記他の通信装置が送信した第 2の通信デ一夕に対する上記一の通信装置の上記注目度が所定の値より高い場合には、上記第 1の通信データと上記第 2の通信データとが同じグループとされること

を特徴とする請求の範囲第 1 0 4項記載の通信方法。

1 1 0 . 上記グルーピング工程では、第 1のグループにグルーピングされた第 1の通信デ一夕に対する、第 2のグループにグルーピングされた第 2の通信データに対応するユーザの注目度が所定の値より高い場合には、上記第 1のグループと上記第 2のグループとが 1 つのグループに統合されること

を特徴とする請求の範囲第 1 0 4項記載の通信方法。

1 1 1 . 上記加工工程では、所定のグループに属する通信データが、上記所定のグループに属さない通信データに対して相対的に強調された状態に加工されること

を特徴とする請求の範囲第 1 0 4項記載の通信方法。

1 1 2 . 上記通信デ一夕は音声データを含むものであり、上記加工工程では、上記音声データが加工されること

を特徴とする請求の範囲第 104項記載の通信方法。

1 13. 上記加工工程では、上記音声データの音量が調整されることで上記音声デ一夕が加工されること

を特徴とする請求の範囲第 1 12項記載の通信方法。

1 14. 上記加工工程では、上記音声データの音質が調整されることで上記音声データが加工されること

を特徴とする請求の範囲第 1 12項記載の通信方法。

1 15. 上記通信データは画像データを含むものであり、

上記加工工程では、上記画像デ一夕が加工されること

を特徴とする請求の範囲第 104項記載の通信方法。

1 16. 上記加工工程では、上記画像データの画質が調整されることで上記画像データが加工されること

を特徴とする請求の範囲第 1 15項記載の通信方法。

1 17. 少なくとも 3つの通信装置間で通信を行う通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、

上記通信プログラムは、

他の通信装置からの通信デ一夕を受信する受信工程と、上記通信装置からの上記通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、

上記注目度に基づいて、上記通信データのグルーピングを行うグルービング工程と、上記通信データのそれそれが属するグループに基づいて、上記通信データのそれそれを加工する加工工程と、

上記加工工程にて加工された通信データを提示装置に出力する加工デ一夕出力工程とを備えること

を特徴とする通信プログラムが記録された記録媒体。

1 1 8 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信装置において、

上記情報処理装置からの通信データと、上記情報処理装置から送信された上記通信データの属するグループを示すグループ情報とを受信するとともに、上記ユーザの反応情報を上記情報処理装置に送信する通信手段と、

上記グループ情報に基づいて、上記通信データを加工する加工手段と、

を特徴とする通信装置。

1 1 9 . 上記加工手段は、所定のグループに属する通信データを、上記所定のグループに属さない通信データに対して相対的に強調された状態に加工すること

を特徴とする請求の範囲第 1 1 8項記載の通信装置。

1 2 0 . 上記通信データは音声デ一夕を含むものであり、

上記加工手段は、上記音声データを加工すること

を特徴とする請求の範囲第 1 1 8項記載の通信装置。

1 2 1 . 上記加工手段は、上記音声データの音量を調整することで上記音声データを加工すること

を特徴とする請求の範囲第 1 2 0項記載の通信装置。

1 2 2 . 上記加工手段は、上記音声データの音質を調整することで上記音声データを加工すること

を特徴とする請求の範囲第 1 2 0項記載の通信装置。

1 2 3 . 上記通信データは画像データを含むものであり、

上記加工手段は、上記画像データを加工すること

を特徴とする請求の範囲第 1 1 8項記載の通信装置。

1 2 4 . 上記加工手段は、上記画像データの画質を調整することで上記画像データを加工すること

を特徴とする請求の範囲第 1 2 3項記載の通信装置。

1 2 5 . 上記提示装置は、上記他の通信装置のそれそれから送信された上記通信データを入力する入力手段と、上記他の通信装置のそれそれに対応して、上記通信データを提示する提示手段とを有すること

を特徴とする請求の範囲第 1 1 8項記載の通信装置。

1 2 6 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおける通信方法において、

上記通信装置からの上記通信データのそれそれに対するユーザの反応情報を取得する情報取得工程と、

上記ユーザの反応情報を上記情報処理装置に送信する送信工程と、上記情報処理装置からの通信データと、上記情報処理装置から送信された上記通信データの属するグループを示すグループ情報とを受信する受信工程と、上記グループ情報に基づいて、上記通信デ一夕を加工する加工ェ程と、

上記加工工程にて加工された通信データを提示装置に出力する加ェデ一夕出力工程とを備えること

を特徴とする通信方法。

1 2 7 . 上記加工工程では、所定のグループに属する通信データが、上記所定のグループに属さない通信データに対して相対的に強調された状態に加工されること

を特徴とする請求の範囲第 1 2 6項記載の通信方法。

1 2 8 . 上記通信データは音声データを含むものであり、

上記加工工程では、上記音声データが加工されること

を特徴とする請求の範囲第 1 2 6項記載の通信方法。

1 2 9 . 上記加工工程では、上記音声データの音量が調整されることで上記音声データが加工されること

を特徴とする請求の範囲第 1 2 8項記載の通信方法。

1 3 0 . 上記加工工程では、上記音声データの音質が調整されることで上記音声データが加工されること

を特徴とする請求の範囲第 1 2 8項記載の通信方法。

1 3 1 . 上記通信デ一夕は画像データを含むものであり、

上記加工工程では、上記画像デ一夕が加工されること

を特徴とする請求の範囲第 1 2 6項記載の通信方法。

1 3 2 . 上記加工工程では、上記画像デ一夕の画質が調整されることで上記画像データが加工されること

を特徴とする請求の範囲第 1 3 1項記載の通信方法。

1 3 3 . 情報処理装置と少なくとも 3つの通信装置とを有する通信システムにおけるコンピュータ制御可能な通信プログラムが記録された記録媒体において、

上記通信プログラムは、

上記ユーザの反応情報を上記情報処理装置に送信する送信工程と、上記情報処理装置からの通信データと、上記情報処理装置から送信された上記通信デ一夕の属するグループを示すグループ情報とを受信する受信工程と、

上記グループ情報に基づいて、上記通信デ一夕を加工する加工ェ程と、

を特徴とする通信プログラムが記録された記録媒体。