JP4902765B2 - 情報処理システム及び情報処理方法 - Google Patents

Description

本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な拡張現実（Augmented Reality、以下ＡＲ）に関するものである。なお、ＡＲとは文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を、現実の環境へ重畳表示させ、補足的な情報を与える技術である。

ＴＶ会議システムやＷｅｂ会議システム等、遠隔地間にいるメンバ同士が情報共有する会議支援ソフトウェアに関する技術が知られている（例えば、非特許文献１参照）。ＴＶ会議システムを利用すると、遠隔地間にいる会議参加者同士が顔を見合せながら会議を進行することになり、一つの部屋（会議室）で会議しているのと同様に顔を見合せながら会議を進行することが可能になる。さらに、Ｗｅｂ会議システムにおいては、資料を共有する等遠隔地間で意思疎通の幅が広がり、遠隔地間での会議をより円滑にする。その他、ホワイトボードを使ったＷｅｂ会議システムが知られている（例えば、非特許文献２参照）。これは、電子ペンを使ってホワイトボードへ書き込んだ情報を、遠隔地のホワイトボードへ表示する会議支援システムである。

ブイキューブ社「Ｎｉｃe ｔｏ ｍｅｅｔ ｙｏｕ」、インターネット＜http://www.nice2meet.us＞ 日立ソフト「ＳｔａｒＢｏａｒｄ」、インターネット＜http://www.hitachijoho.com/solution/network/jp-tv/starboard.html＞

しかしながら、これらの従来技術は、遠隔地間にいるメンバ同士で情報共有することは可能であるが、そのための環境が固定されていた。例えば、ａさんはＡ地点に設置されたＴＶ会議システム（ｘ）のもと、ｂさんはＢ地点に設置されたＴＶ会議システム（ｙ）のもと、といった環境による制約が発生する。従って、メンバがどこにいても、同じ空間で会議しているような状況を実現することはできなかった。

そこで、本発明の目的は、会議に参加するメンバが物理的に異なる場所にいたとしても、各場所の環境の制約を受けることなく、会議の円滑化を支援することにある。

本発明の情報処理システムの第１の態様は、透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムであって、前記複数の拡張現実感提示装置は、前記透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮影する撮像手段と、前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成手段と、前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成手段とを有し、前記会議管理装置は、前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理手段と、前記複数の拡張現実感提示装置から前記提示情報を受信する管理手段と、前記管理手段において受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理手段により前記表示媒体の画像データと対応付けて登録されるユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信手段とを有し、前記各拡張現実感提示装置は、前記透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、現実空間に整合するよう重畳表示することを特徴とする。
本発明の情報処理システムの第２の態様は、非透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムであって、前記複数の拡張現実感提示装置は、前記非透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮影する撮像手段と、前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成手段と、前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成手段とを有し、前記会議管理装置は、前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理手段と、前記複数の拡張現実感提示装置から前記提示情報を受信する管理手段と、前記管理手段において受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理手段により前記表示媒体の画像データと対応付けて登録されるユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信手段とを有し、前記各拡張現実感提示装置は、前記非透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、前記撮像手段によって撮影された現実空間の映像に整合するよう重畳表示することを特徴とする。
本発明の情報処理方法の第１の態様は、透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムによって実行される情報処理方法であって、前記複数の拡張現実感提示装置は、前記透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮像手段により撮影する撮像ステップと、前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成ステップと、前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成ステップとを有し、前記会議管理装置は、前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理ステップと、前記複数の拡張現実感提示装置から前記提示情報を受信する管理ステップと、前記管理ステップにおいて受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理ステップにより前記表示媒体の画像データと対応付けて登録されるユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信ステップとを有し、前記各拡張現実感提示装置は、前記透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、現実空間に整合するよう重畳表示することを特徴とする。
本発明の情報処理方法の第２の態様は、非透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムによって実行される情報処理方法であって、前記複数の拡張現実感提示装置は、前記非透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮像手段により撮影する撮像ステップと、前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成ステップと、前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成ステップとを有し、前記会議管理装置は、前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理ステップと、前記複数の拡張現実感提示装置から前記提示情報を受信する管理ステップと、前記管理ステップにおいて受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理ステップにより前記表示媒体の画像データと対応付けて登録されるユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信ステップとを有し、前記各拡張現実感提示装置は、前記非透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、前記撮像手段によって撮影された現実空間の映像に整合するよう重畳表示することを特徴とする。

本発明によれば、会議に参加するメンバが物理的に異なる場所にいたとしても、各場所の環境の制約を受けることなく、会議の円滑化を支援することが可能となる。

本発明の実施形態に係る会議管理システムの構成を概略的に示す図である。 会議管理サーバの機能的な構成を示す図である。 ＨＭＤ及び小型カメラの機能的な構成を示す図である。 会議管理サーバのハードウェア構成を示す図である。 ＨＭＤ及び小型カメラのハードウェア構成を示す図である。 本発明の実施形態に係る会議管理システムにおける表示媒体の登録処理を示すフローチャートである。 本発明の実施形態に係る会議管理システムにおける論理オブジェクト登録処理を示すフローチャートである。 本発明の実施形態に係る会議管理システムにおける論理オブジェクトの送信処理及びＡＲ表示処理を示すフローチャートである。 表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る会議管理システムの構成を概略的に示す図である。図１に示すように、本実施形態に係る会議管理システムは、会議管理サーバ１００と小型カメラ２０２ａ〜ｃ及びＨＭＤ（Head Mounted Display）２０１ａ〜ｃとが無線通信回線を介して接続されている。会議管理サーバ１００は、各ユーザの表示媒体を管理する表示媒体管理データベース１０１と、現実空間における各表示媒体の映像に対して合成表示される論理オブジェクトを管理する論理オブジェクト管理データベース１０２とを備える。なお、論理オブジェクトとは、各ユーザ間で共有する情報が書き込まれたコンピュータグラフィックス画像データであり、検出されたユーザの書込み動作の軌跡によって表される図形、記号、文字等を含むオブジェクトや小型カメラ２０２ａ〜ｃの撮影によって得られた画像を含むコンピュータグラフィックス画像データ等がある。ＨＭＤ２０１ａ〜ｃは眼鏡型のものであり、ユーザＡ〜Ｃの頭部に装着される。ＨＭＤ２０１ａ〜ｃは、光学的に透過してＨＭＤ２０１ａ〜ｃのレンズ部分に映し出される現実空間の映像に対して整合する位置に論理オブジェクトを表示することにより、拡張された現実感を演出する。以下の説明では、このように拡張された現実感を与える論理オブジェクトの合成表示を、ＡＲ（拡張現実：Augmented Reality）表示と称することがある。また、小型カメラ２０２ａ〜ｃは、ユーザＡ〜Ｃの視界に近い画角で画像データを撮影できるようにＨＭＤ２０１ａ〜ｃに対して取り付けられている。撮影された画像データは無線通信回線を介して会議管理サーバ１００に対して送信される。なお、ＨＭＤには、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。

ユーザＡ〜Ｃは、会議に参加する前に、会議において使用する表示媒体を選択する。表示媒体とは、論理オブジェクトをＡＲ表示させる対象となる現実空間に存在するオブジェクトである。ここでは、ユーザＡは大学ノート３０２の表紙を表示媒体として選択し、ユーザＢはノートＰＣ３０３の蓋を表示媒体として選択し、ユーザＣは手帳３０４の見開きページを表示媒体として選択したものとする。表示媒体としては、できれば平面形状を有するものが好ましいが、特に限定されるべき形状はなく、任意の形状のオブジェクトを選択することが可能である。ユーザＡ〜Ｃは表示媒体を選択すると、小型カメラ２０２ａ〜ｃで表示媒体３０２〜３０４を撮影し、表示媒体３０２〜３０４の画像データを会議管理サーバ１００に登録するための操作を行う。これにより、表示媒体３０２〜３０４の画像データは会議管理サーバ１００に対して送信される。会議管理サーバ１００は、受信した表示媒体３０２〜３０４の画像データとユーザ名Ａ〜Ｃとを対応付けて表示媒体管理データベース１０１において管理する。なお、ユーザ名Ａ〜Ｃは、表示媒体３０２〜３０４の画像データのヘッダ情報から取得される。

以降ユーザＡ〜Ｃが会議に参加する際には、自ら選択した表示媒体３０２〜３０４を小型カメラ２０２ａ〜２０２ｃの画角に捉える。これにより、表示媒体３０２〜３０４の画像データが会議管理サーバ１００に対して送信される。会議管理サーバ１００は、受信した画像データのヘッダ情報からユーザ名を取得し、受信した画像データと当該画像データのヘッダ情報から取得されるユーザ名との対応付けが表示媒体管理データベース１０１において管理されているか否かを判定する。受信した画像データと当該画像データのヘッダ情報から取得されるユーザ名との対応付けが管理されている場合、ユーザの表示媒体の照合が成功する。ユーザの表示媒体の照合が成功すると、会議管理サーバ１００は、論理オブジェクト管理データベース１０２において管理されている論理オブジェクトを当該ユーザのＨＭＤに対して送信する。ＨＭＤは、会議管理サーバ１００から論理オブジェクトを受信し、受信した論理オブジェクトのコンピュータグラフィックス画像データを現実空間における表示媒体の映像に合成してＡＲ表示する。

なお、本実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として、眼鏡型のＨＭＤ２０１ａ〜ｃを挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のＡＲ表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。カメラで捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成する。特に、本実施形態においては、現実空間における表示媒体の映像に論理オブジェクトが重畳して表示されるような座標合わせが行われる。他の座標合わせの方法として、現実空間のオブジェクトにマーカを付けておき、そのマーカをカメラで撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、ＨＭＤの位置（緯度、経度）と姿勢（方向、仰角）とに基づいてＨＭＤを装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよい。

ところで、議論の内容を示す論理オブジェクトは、会議の進行に伴って各ユーザＡ〜ＣのＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃによって生成されていく。論理オブジェクトが生成されると、その都度、論理オブジェクトは会議管理サーバ１００に対して送信される。会議管理サーバ１００は、論理オブジェクトを受信すると、論理オブジェクトの発信者の名前であるユーザ名、及び、論理オブジェクトが生成された日時を示すタイムスタンプと論理オブジェクトとを対応付けて論理オブジェクトデータベース１０２に管理する。なお、ユーザ名は、論理オブジェクトが送信された際の送信データのヘッダ情報から取得することができる。タイムスタンプは、同じく送信データのヘッダ情報から当該送信データの作成日時を取得し、これをタイムスタンプとしてもよいし、当該送信データの受信日時をタイムスタンプとしてもよい。

上述したように、会議管理サーバ１００は、ユーザの表示媒体を照合が成功すると、論理オブジェクト管理データベース１０２で管理している論理オブジェクトを当該ユーザのＨＭＤ２０１ａ〜ｃに対して送信する。論理オブジェクトの送信は、当該論理オブジェクトが論理オブジェクト管理データベース１０２に登録されるタイミングで行われる。これにより、会議のリアルタイム性が担保される。

図２は、会議管理サーバ１００の機能的な構成を示す図である。図２において、表示媒体画像データ登録／照合部１０３は、会議参加前における表示媒体の登録時には、小型カメラ２０２ａ〜ｃによって撮影された表示媒体の画像データを受信し、ユーザ名と対応付けて表示媒体管理データベース１０１に登録する。また、会議参加時における表示媒体の照合時には、表示媒体画像データ登録／照合部１０３は、同じく小型カメラ２０２ａ〜ｃによって撮影された表示媒体の画像データを受信し、当該画像データと当該画像データのヘッダ情報に記録されるユーザ名との対応付けが表示媒体管理データベース１０１において管理されているか否かを判定することにより、表示媒体の照合を行う。

論理オブジェクト登録／読出部１０４は、各ユーザのＨＭＤ２０１ａ〜ｃから論理オブジェクトを受信すると、受信した論理オブジェクトを論理オブジェクト管理データベース１０２に登録する。また、論理オブジェクト登録／読出部１０４は、表示媒体画像データ登録／照合部１０３によって表示媒体３０２〜３０４が照合されると、論理オブジェクト管理データベース１０２から論理オブジェクトを読み出し、表示媒体の照合が成功したユーザのＨＭＤ２０１ａ〜ｃに対して送信する。論理オブジェクト検索部１０５は、不図示のＰＣや携帯端末から検索条件を受信すると、検索条件に該当する論理オブジェクトを論理オブジェクト管理データベース１０２から検索する。例えば、検索条件において日時が指定されている場合、指定された日時に該当するタイムスタンプの論理オブジェクトが検索され、検索条件において発信者が指定されている場合、指定された発信者の論理オブジェクトが検索される。そして、論理オブジェクト検索部１０５は、検索した論理オブジェクトを、検索条件を発行したＰＣや携帯端末に対して送信する。本機能により、後に必要な論理オブジェクトを検索して会議内容を振り返るための議事録として使用することができる。

図３は、ＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃの機能的な構成を示す図である。図３において、表示媒体画像データ生成部２０３は、小型カメラ２０２ａ〜ｃに相当する構成であり、撮影により表示媒体の画像データを生成し、会議管理サーバ１００に対して送信する。論理オブジェクト生成部２０４は、ＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃに相当する構成であり、小型カメラ２０２ａ〜ｃによってユーザの書込み動作を撮影し、撮影した画像データから書込み動作の軌跡を検出し、検出した軌跡に対応する図形、記号、文字等を含む論理オブジェクトを生成したり、小型カメラ２０２ａ〜ｃの撮影処理により得られた静止画データや動画像データを含む論理オブジェクトを生成したり、ユーザの発言を音声解析することにより発言内容を文字データに変換し、変換した文字データを含む論理オブジェクトを生成したりする。そして、論理オブジェクト生成部２０４は、生成した論理オブジェクトを会議管理サーバ１００に対して送信する。拡張現実感提示部２０５は、会議管理サーバ１００から論理オブジェクトを受信し、受信した論理オブジェクトのコンピュータグラフィックス画像データを現実空間における表示媒体の映像に合成してＡＲ表示する。

図４は、会議管理サーバ１００のハードウェア構成を示す図である。ＣＰＵ１００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１００３又はＨＤ（ハードディスク）１００９には、ＣＰＵ１００１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム、会議管理サーバ１００が実行する例えば図６、図７−１及び図７−２に示す処理のプログラム等が記憶されている。

なお、図４の例では、ＨＤ１００９は会議管理サーバ１００の内部に配置された構成としているが、他の実施形態としてＨＤ１００９に相当する構成が会議管理サーバ１００の外部に配置された構成としてもよい。また、本実施形態に係る例えば図６、図７−１及び図７−２に示す処理を行うためのプログラムは、フレキシブルディスク（ＦＤ）やＣＤ−ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。

ＲＡＭ１００２は、ＣＰＵ１００１の主メモリ、ワークエリア等として機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。

ＨＤ１００９やＦＤ１００８は、外部メモリとして機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。

ディスクコントローラ１０１０は、ＨＤ１００９やＦＤ１００８等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ１００６は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。

ディスプレイコントローラ１０１０は、ディスプレイ１０１１における画像表示を制御する。

ＫＢコントローラ１００４は、ＫＢ（キーボード）１００５からの操作入力を受け付け、ＣＰＵ１００１に対して送信する。なお、図示していないが、ＫＢ１００５の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る会議管理サーバ１００に適用可能である。

図２に示す表示媒体画像データ登録／照合部１０３、論理オブジェクト登録／読出部１０４、論理オブジェクト検索部１０５は、例えばＨＤ１００９内に記憶され、必要に応じてＲＡＭ１００２にロードされるプログラム及びそれを実行するＣＰＵ１００１によって実現される構成である。また、表示媒体管理データベース１０１、論理オブジェクト管理データベース１０２は、ＨＤ１００９やＲＡＭ１００２の一部記憶領域に相当する構成である。

図５は、ＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃのハードウェア構成を示す図である。ＣＰＵ２００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ２００２には、ＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃが実行する例えば図６、図７−１及び図７−２に示す処理のプログラム等が記憶されている。なお、図６、図７−１及び図７−２に示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。

ＲＡＭ２００４は、ＣＰＵ２００１の主メモリ、ワークメモリ等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＡＭ２００４にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ２００３は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。

撮像部２００５は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ２００６は、ディスプレイ２００７における画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、ディスプレイ２００７はハーフミラーで構成され、装着したユーザはディスプレイ２００７を介して外の様子を見ることができる。なお、図３に示す拡張現実感提示部２０５は、例えばＲＯＭ２００２にロードされるプログラム及びそれを実行するＣＰＵ２００１によって実現される構成である。また、論理オブジェクト生成部２０４は、図１の小型カメラ２０２ａ〜ｃ、不図示のマイク、並びに、例えばＲＯＭ２００２にロードされるプログラム及びそれを実行するＣＰＵ２００１によって実現される構成である。撮像部２００５は、図１の小型カメラ２０２ａ〜ｃ又は図２の表示媒体画像データ生成部２０３に相当する構成である。

図６は、本実施形態に係る会議管理システムにおける表示媒体の登録処理を示すフローチャートである。以下、図６を参照しながら、本実施形態に係る会議管理システムにおける表示媒体の登録処理について説明する。

先ず、ＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃ側の処理について説明する。ステップＳ１０１において、表示媒体画像データ生成部２０３は、ユーザによって選択された表示媒体の画像データを撮影により生成する。ステップＳ１０２において、表示媒体画像データ生成部２０３は、生成した表示媒体の画像データを会議管理サーバ１００に対して送信する。

次に、会議管理サーバ１００側の処理について説明する。ステップＳ２０１において、表示媒体画像データ登録／照合部１０３は、表示媒体の画像データを受信したか否かを判定する。表示媒体の画像データを受信した場合、処理はステップＳ２０２に移行する。一方、表示媒体の画像データを受信していない場合、表示媒体画像データ登録／照合部１０３は、表示媒体の画像データを受信するまで待機する。ステップＳ２０２において、表示媒体画像データ登録／照合部１０３は、当該表示媒体の画像データとユーザ名とを対応付けて表示媒体管理データベース１０１に登録する。

図７−１は、本実施形態に係る会議管理システムにおける論理オブジェクト登録処理を示すフローチャートである。以下、図７−１を参照しながら、本実施形態に係る会議管理システムにおける論理オブジェクト登録処理について説明する。ここでは、ユーザの書込み動作の軌跡に応じて生成される論理オブジェクトの登録処理について説明する。

先ず、ＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃ側の処理について説明する。ステップＳ１０３において、論理オブジェクト生成部２０４は、ユーザの書込み動作を撮影する。ステップＳ１０４において、論理オブジェクト生成部２０４は、撮影した画像データから書込み動作の軌跡を検出する。ステップＳ１０５において、論理オブジェクト生成部２０４は、検出した書込み動作の軌跡に対応する図形、記号、文字等を含む論理オブジェクトを生成し、会議管理サーバ１００に対して送信する。なお、ユーザの書込み動作は図形、記号、文字等を実際に書き込む必要はなく、模擬的なものでよい。模擬的に行われた書込み動作であっても画像データを解析することにより、書込み動作の軌跡を検出し、軌跡に対応する図形等を含む論理オブジェクトを生成することができる。

次に、会議管理サーバ１００側の処理について説明する。ステップＳ２０３において、論理オブジェクト登録／読出部１０４は、論理オブジェクトを受信したか否かを判定する。論理オブジェクトを受信した場合、処理はステップＳ２０４に移行する。一方、論理オブジェクトを受信していない場合、論理オブジェクト登録／読出部１０４は論理オブジェクトを受信するまで待機する。ステップＳ２０４において、論理オブジェクト登録／読出部１０４は、論理オブジェクトを当該論理オブジェクトの発信者情報及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録する。

図７−２は、本実施形態に係る会議管理システムにおける論理オブジェクトの送信処理及びＡＲ表示処理を示すフローチャートである。以下、図７−２を参照しながら、本実施形態に係る会議管理システムにおけるＡＲ表示処理について説明する。

先ず、ＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃ側の処理について説明する。ステップＳ１０６において、表示媒体画像データ生成部２０３は、撮影により表示媒体の画像データを生成する。ステップＳ１０７において、表示媒体画像データ生成部２０３は、生成した表示媒体の画像データを会議管理サーバ１００に対して送信する。

次に、会議管理サーバ１００側の処理について説明する。ステップＳ２０５において、表示媒体画像データ登録／照合部１０３は、表示媒体の画像データを受信したか否かを判定する。表示媒体の画像データを受信した場合、処理はステップＳ２０６に移行する。一方、表示媒体の画像データを受信していない場合、画像データを受信するまで待機する。ステップＳ２０６において、表示媒体画像データ登録／照合部１０３は、受信した表示媒体の画像データと当該画像データのヘッダ情報に記録されているユーザ名との対応付けが表示媒体管理データベース１０１において管理されているか否かを判定することにより、表示媒体の照合を行う。この照合処理において、受信した表示媒体の画像データと表示媒体管理データベース１０１に登録される表示媒体の画像データとの一致性が判定されるが、これは画像データのパターンマッチング等によって行われる。照合が成功した場合、処理はステップＳ２０８に移行する。一方、照合が失敗した場合、処理はステップＳ２０５に戻る。ステップＳ２０８において、表示媒体画像データ登録／照合部１０３は、表示媒体管理データベース１０１において当該表示媒体の画像データと対応付けられているユーザ名のユーザのＨＭＤに対して論理オブジェクトを送信する。

再びＨＭＤ２０１ａ〜ｃ及び小型カメラ２０２ａ〜ｃ側の処理について説明する。ステップＳ１０８において、拡張現実感提示部２０５は、論理オブジェクトを受信したか否かを判定する。論理オブジェクトを受信した場合、処理はステップＳ１０９に移行する。一方、論理オブジェクトを受信していない場合、論理オブジェクトを受信するまで待機する。ステップＳ１０９において、拡張現実感提示部２０５は、受信した論理オブジェクトのコンピュータグラフィックス画像データを現実空間における表示媒体の映像に合成してＡＲ表示する。

次に、本実施形態に係る会議管理システムを使用して行われる会議の具体例について、図１を参照しながら説明する。

会議に参加する前に、ユーザＡは大学ノート３０２の表紙を表示媒体として選択し、ユーザＢはノートＰＣ３０３の蓋を表示媒体として選択し、ユーザＣは手帳３０４の見開きページを表示媒体として選択する。そして、ユーザＡ〜Ｃは、大学ノート３０２の表紙、ノートＰＣ３０３の蓋、手帳３０４の見開きページを小型カメラ２０２ａ〜ｃで撮影し、それぞれを表示媒体として登録するための操作を行う。これにより、ユーザＡの小型カメラ２０２ａからは大学ノート３０２の表紙の画像データが会議管理サーバ１００に対して送信される。また、ユーザＢの小型カメラ２０２ｂからはノートＰＣ３０３の蓋の画像データが会議管理サーバ１００に対して送信される。また、ユーザＣの小型カメラ２０２ｃからは手帳３０４の見開きページの画像データが会議管理サーバ１００に対して送信される。会議管理サーバ１００は、表示媒体管理データベース１０１において、ユーザＡと大学ノート３０２の表紙の画像データとを対応付けて管理し、ユーザＢとノートＰＣ３０３の蓋の画像データとを対応付けて管理し、ユーザＣと手帳３０４の見開きページの画像データとを対応付けて管理する。

会議に参加する際には、ユーザＡ〜Ｃは先に登録した表示媒体を各小型カメラ２０２ａ〜ｃで再び撮影する。撮影された画像データは会議管理サーバ１００に対して送信され、各ユーザＡ〜Ｃの表示媒体の照合が行われる。この照合が成功すると、ユーザＡ〜Ｃが会議に参加できる状態となる。先ず、ユーザＡは自分がいる会議室のホワイトボード３０１へ、午前中に訪問した客の反応について書込み、その書込みを小型カメラ２０２ａで撮影する。ＨＭＤ２０１ａ及び小型カメラ２０２ａは、書込みの画像データを含む論理オブジェクトを生成し、会議管理サーバ１００に対して送信する。

会議管理サーバ１００は、論理オブジェクトを受信し、当該論理オブジェクトを発信者（ここでは、ユーザＡ）及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録するとともに、当該論理オブジェクトをユーザＡ〜ＣのＨＭＤ２０１ａ〜ｃに対して送信する。これにより、ＨＭＤ２０１ａ〜ｃは、表示媒体３０２〜３０４の映像に対してユーザＡの書込みの画像データを含む論理オブジェクトを合成してＡＲ表示する。これにより、ユーザＡ〜Ｃは表示媒体３０２〜３０４上でユーザＡの書込みを確認することができる。図８−１は、表示媒体３０２にユーザＡの書込みの画像を含む論理オブジェクト８０１がＡＲ表示された状態を示す図である。このように表示媒体３０２に論理オブジェクト８０１がＡＲ表示され、ユーザＡは自らホワイトボード３０１に書き込んだ内容を表示媒体３０２である大学ノートの表紙上で参照することが可能となる。

次に、ユーザＢは自らが書いた研究報告書を提示すれば、客がより関心を示すものと考え、研究所において研究報告書中の該当ページを小型カメラ２０２ｂで撮影する。これにより、ＨＭＤ２０１ｂ及び小型カメラ２０２ｂは、該当ページの画像データを含む論理オブジェクトを生成し、会議管理サーバ１００に対して送信する。会議管理サーバ１００は、論理オブジェクトを受信し、当該論理オブジェクトを発信者（ここでは、ユーザＢ）及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録する。会議管理サーバ１００は、論理オブジェクトを論理オブジェクト管理データベース１０２に登録するとともに、当該論理オブジェクトをＨＭＤ２０１ａ〜ｃに対して送信する。これにより、ＨＭＤ２０１ａ〜ｃは、表示媒体３０２〜３０４の映像に対して研究報告書中の該当ページの画像データを含む論理オブジェクトをＡＲ表示する。これにより、ユーザＡ〜Ｃは表示媒体３０２〜３０４上で研究報告書中の該当ページを確認することができる。図８−２は、表示媒体３０２の映像に研究報告書の該当ページの画像データを含む論理オブジェクト８０２がＡＲ表示された状態を示す図である。このように表示媒体３０２に論理オブジェクト８０２が更にＡＲ表示され、ユーザＡはユーザＢが提示した研究報告書の該当ページを大学ノートの表紙上で参照することが可能となる。

次に、該当において、ユーザＣは上記該当ページの内容を踏まえた客の対策を幾つか手帳の見開きページで書き込む。この書込み動作は、小型カメラ２０２ｃによって撮影され、書込み動作の軌道が検出されることにより、書込み動作の軌道に対応する図形、記号、文字等を含む論理オブジェクトが生成される。生成された論理オブジェクトは会議管理サーバ１００に対して送信される。会議管理サーバ１００は、論理オブジェクトを受信し、当該論理オブジェクトを発信者（ここでは、ユーザＣ）及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録するとともに、当該論理オブジェクトをＨＭＤ２０１ａ〜ｃに対して送信する。これにより、ＨＭＤ２０１ａ〜ｃは、表示媒体３０２〜３０４の映像に対してユーザＣによって書き込まれた客の対策を含む論理オブジェクトをＡＲ表示する。これにより、ユーザＡ〜Ｃは表示媒体上３０２〜３０４上でユーザＣによって書き込まれた客の対策を確認することができる。図８−３は、表示媒体３０２の映像に客の対策を含む論理オブジェクト８０３がＡＲ表示された状態を示す図である。このように表示媒体３０２に論理オブジェクト８０３が更にＡＲ表示され、ユーザＡはユーザＣが書き込んだ客の対策を大学ノートの表紙上で参照することが可能となる。

図８−１〜図８−３では、ユーザＡの表示媒体３０２である大学ノートの表紙でのＡＲ表示を例示したが、ユーザＢ、ユーザＣの表示媒体３０３、３０４であるノートＰＣの蓋、手帳の見開きページでも同様の論理オブジェクトがＡＲ表示される。このように本実施形態においては、会議に参加するメンバが物理的に異なる場所にいたとしても、各場所の環境の制約を受けることなく、会議の円滑化を支援することが可能となる。

図９は、ユーザＢの表示媒体３０３でのＡＲ表示の例を示している。図９において、９０１は、ユーザＢの書込み内容を含む論理オブジェクトである。この論理オブジェクトは他の論理オブジェクトと異なり、ユーザＢの表示媒体３０３にはＡＲ表示されるが、他の表示媒体３０２、３０４にはＡＲ表示されない。即ち、論理オブジェクト９０１に書き込まれている内容はユーザＢのメモとして書き込まれたものであり、他のユーザＡ、Ｃには見られたくない場合、ユーザは秘密モードの設定を行った後、論理オブジェクト９０１を作成する。これにより、論理オブジェクト９０１が会議管理サーバ１００に送信され、論理オブジェクト管理データベース１０２において管理されるところまでは同様であるが、ユーザＢのＨＭＤ２０１ｂに対してのみ論理オブジェクト９０１は送信され、他のユーザＡ、ＣのＨＭＤ２０１ａ、ｃに対して論理オブジェクト９０１は送信されなくなる。従って、ユーザＡ、ＣのＨＭＤ２０１ａ、ｃは、論理オブジェクト９０１を含まないＡＲ表示を行うようになり、一方、ユーザＢのＨＭＤ２０１ｂは、論理オブジェクト９０１を含むＡＲ表示を行うことになる。

図１０は、ユーザＡの表示媒体３０２でのＡＲ表示例を示す図である。図１０に示すＡＲ表示例は、一つの表示媒体に対して多数の論理オブジェクトがＡＲ表示される場合に採用される表示態様の例であり、各ユーザが生成した論理オブジェクトをユーザ毎に分けてＡＲ表示している。このＡＲ表示例では、ユーザ名を記したタブ方式でＡＲ表示されており、所望のユーザ名のタブをペン等で指し示すと、そのユーザにより生成された論理オブジェクトの一覧が最も手前に表示され、閲覧できるようになる。図１０の例では、ユーザＡにより生成された論理オブジェクト８０１及び１１００が最も手前にＡＲ表示されている。このような表示態様を採用することで、会議において論理オブジェクトが増えたとしても、各ユーザの論理オブジェクトを整理して閲覧することが可能となる。なお、ＡＲ表示する際のオブジェクトの整理方法は、論理オブジェクト毎にタブ方式でＡＲ表示する等ユーザ毎以外でも当然よい。

また、話者のユーザが発言中に参照している論理オブジェクトを、会議参加者各人の表示媒体上において強制的に一番手前にＡＲ表示するようにしてもよい。どのユーザが話者であるかは、会議管理サーバ１００が各ユーザのマイクから得られる音声信号を監視することによって特定することができる。そして、会議管理サーバ１００は、話者として特定したユーザの論理オブジェクトを一番手前にＡＲ表示するように各ユーザのＨＭＤ２０１ａ〜ｃに対して指示することにより実現することができる。これにより、会議参加者の意思疎通を支援し、会議を円滑に進めることが可能となる。

また、表示媒体のサイズに合わせて論理オブジェクトを拡大又は縮小したり、論理オブジェクトをスクロール方式でＡＲ表示してもよい。これにより、会議途中において作業環境が変化したり、姿勢を変えたりし、それに伴って表示媒体を変更する必要が生じた場合においても対応することができる。

また、複数ページの資料を含む論理オブジェクトを表示媒体にＡＲ表示して会議を行う場合、話者が参照している箇所を会議管理サーバ１００で管理し、会議管理サーバ１００がその箇所を各ユーザのＨＭＤ２０１ａ〜ｃに対して強調的にＡＲ表示するように指示してもよい。例えば、ユーザＡが総計２０ページの資料中に１０ページ５行目を指し示しつつ発言しているときに、ユーザＢはＡＲ表示された資料の１５ページ目をめくって閲覧しているものとする。このような場合、ユーザＢの表示媒体には資料中の１０ページ５行目の箇所に、例えばしおり型のタグを表示することが可能となる。これにより、物理的に離れた場所で会議しているにも関わらず、参照箇所に関する情報を視覚的に得ることが可能となり、資料を追いやすくなり、会議を円滑に進めることができる。

また、本実施形態では、論理オブジェクトをＡＲ表示する際に、論理オブジェクト間の位置合わせを行うこともできる。これは、最初にＡＲ表示された論理オブジェクトの位置を基準座標として書込みが行われた位置座標を求め、各表示媒体上における座標系において同じ位置座標となるように上記書込みの内容を含む論理オブジェクトを配置する。これにより、各表示媒体上において論理オブジェクト間の位置関係の整合性がとれたＡＲ表示が可能となる。例えば、ユーザＢの表示媒体３０３においてＡＲ表示されているユーザＡによって書き込まれた図形ａに対し、ユーザＢが何らかの図形ｂを追加するような書込みを行った場合、各表示媒体間で論理オブジェクト間の位置合わせを適切に行わないと、ユーザＢの表示媒体３０３においてＡＲ表示される図形ａと図形ｂとの位置関係と、他のユーザＡ、Ｃの表示媒体３０２、３０４においてＡＲ表示される図形ａと図形ｂとの位置関係とが異なってしまう。本実施形態では上述した論理オブジェクト間での位置合わせを各ＨＭＤ２０１ａ〜ｃが実行することにより、このような不具合が生じることを防ぐことができる。

１００：会議管理サーバ、１０１：表示媒体管理データベース、１０２：論理オブジェクト管理データベース、１０３：表示媒体画像データ登録／照合部、１０４：論理オブジェクト登録／読出部、１０５：論理オブジェクト検索部、２０１：ＨＭＤ、２０２：小型カメラ、２０３：表示媒体画像データ生成部、２０４：論理オブジェクト生成部、２０５：拡張現実感提示部

Claims (13)

1. 透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムであって、
   前記複数の拡張現実感提示装置は、
   前記透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮影する撮像手段と、
   前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成手段と、
   前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成手段とを有し、
   前記会議管理装置は、
   前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理手段と、
   前記複数の拡張現実感提示装置から前記提示情報を受信する管理手段と、
   前記管理手段において受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理手段により前記表示媒体の画像データと対応付けて登録されたユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信手段とを有し、
   前記各拡張現実感提示装置は、
   前記透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、現実空間に整合するよう重畳表示することを特徴とする情報処理システム。
2. 非透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムであって、
   前記複数の拡張現実感提示装置は、
   前記非透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮影する撮像手段と、
   前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成手段と、
   前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成手段とを有し、
   前記会議管理装置は、
   前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理手段と、
   前記複数の拡張現実感提示装置から前記提示情報を受信する管理手段と、
   前記管理手段において受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理手段により前記表示媒体の画像データと対応付けて登録されるユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信手段とを有し、
   前記各拡張現実感提示装置は、
   前記非透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、前記撮像手段によって撮影された現実空間の映像に整合するよう重畳表示することを特徴とする情報処理システム。
3. 前記会議管理装置は、前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信した場合、受信した前記表示媒体の画像データと、前記表示媒体管理手段により登録された前記表示媒体の画像データとを照合する照合手段を更に有し、
   前記送信手段は、前記照合手段による照合結果に基づいて、前記管理手段において受信された前記会議に対する提示情報を、前記表示媒体管理手段により前記表示媒体の画像データと対応付けて登録された各ユーザの前記複数の拡張現実感提示装置に対して送信することを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記生成手段は、ユーザによる書込み動作の軌跡を検出し、当該軌跡によって表される情報を会議に対する前記提示情報として生成することを特徴とする請求項１又は２に記載の情報処理システム。
5. 前記生成手段は、撮影処理により得られた画像データを会議に対する前記提示情報として生成することを特徴とする請求項１又は２に記載の情報処理システム。
6. 前記生成手段は、発言内容を解析して文字データに変換し、当該文字データを会議に対する前記提示情報として生成することを特徴とする請求項１又は２に記載の情報処理システム。
7. 前記拡張現実感提示装置は、前記会議管理装置より受信した複数の前記提示情報同士の位置合わせを、前記ディスプレイに最初に提示した前記提示情報の位置座標を基準座標として位置を合わせることを特徴とする請求項１又は２に記載の情報処理システム。
8. 前記会議管理装置は、
   前記管理手段において会議に対する前記提示情報と対応付けて管理される、前記ユーザ及び当該会議に対する前記提示情報が生成された時点を示す情報のうちの少なくとも何れか一方に基づいて、当該会議に対する前記提示情報を検索する検索手段を更に有することを特徴とする請求項１又は２に記載の情報処理システム。
9. 前記送信手段は、ユーザによる所定の表示態様に関する設定があった場合、前記所定の表示態様に関する設定があった提示情報を、当該ユーザの拡張現実感提示装置に対してのみ送信することを特徴とする請求項１又は２に記載の情報処理システム。
10. 前記ディスプレイは、前記提示情報を示すコンピュータグラフィックス画像データをユーザ毎に分けて提示することを特徴とする請求項１又は２に記載の情報処理システム。
11. 前記ディスプレイは、前記表示媒体の大きさに合わせて、前記提示情報を拡大又は縮小して提示し、或いは、前記提示情報をスクロール方式で提示することを特徴とする請求項１又は２に記載の情報処理システム。
12. 透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムによって実行される情報処理方法であって、
    前記複数の拡張現実感提示装置は、
    前記透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮像手段により撮影する撮像ステップと、
    前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成ステップと、
    前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成ステップとを有し、
    前記会議管理装置は、
    前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理ステップと、
    前記複数の拡張現実感提示装置から前記提示情報を受信する管理ステップと、
    前記管理ステップにおいて受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理ステップにより前記表示媒体の画像データと対応付けて登録されるユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信ステップとを有し、
    前記各拡張現実感提示装置は、
    前記透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、現実空間に整合するよう重畳表示することを特徴とする情報処理方法。
13. 非透過型のディスプレイを備えた複数の拡張現実案提示装置と、前記複数の拡張現実感提示装置とネットワークを介して接続された、コンピュータグラフィックス画像データを送受信する会議管理装置とを備えた情報処理システムによって実行される情報処理方法であって、
    前記複数の拡張現実感提示装置は、
    前記非透過型のディスプレイにおいてコンピュータグラフィックス画像データが重畳表示される現実空間を撮像手段により撮影する撮像ステップと、
    前記撮像手段によって撮影された、前記各拡張現実感提示装置を使用するユーザの表示媒体の画像データを、前記会議管理装置に対して送信する表示媒体画像データ生成ステップと、
    前記各拡張現実感提示装置を使用するユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する生成ステップとを有し、
    前記会議管理装置は、
    前記複数の拡張現実感提示装置から前記表示媒体の画像データを受信し、前記表示媒体の画像データと前記表示媒体のユーザとを対応付けて、記録媒体に登録する表示媒体管理ステップと、
    前記複数の拡張現実感提示装置から前記提示情報を受信する管理ステップと、
    前記管理ステップにおいて受信された前記提示情報を、前記会議管理装置に接続された、前記表示媒体管理ステップにより前記表示媒体の画像データと対応付けて登録されるユーザが参加する前記会議において使用される全ての前記複数の拡張現実感提示装置に対して送信する送信ステップとを有し、
    前記各拡張現実感提示装置は、
    前記非透過型のディスプレイにおいて、前記会議管理装置より受信した前記提示情報を示すコンピュータグラフィックス画像データを、前記撮像手段によって撮影された現実空間の映像に整合するよう重畳表示することを特徴とする情報処理方法。

Images