JP7331405B2 - Ｖｒシステム、通信方法、及びプログラム - Google Patents
Ｖｒシステム、通信方法、及びプログラム Download PDFInfo
- Publication number
- JP7331405B2 JP7331405B2 JP2019056195A JP2019056195A JP7331405B2 JP 7331405 B2 JP7331405 B2 JP 7331405B2 JP 2019056195 A JP2019056195 A JP 2019056195A JP 2019056195 A JP2019056195 A JP 2019056195A JP 7331405 B2 JP7331405 B2 JP 7331405B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- image
- communication
- imaging device
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本開示内容は、ＶＲシステム、通信方法、及びプログラムに関する。
移動する注視点に対して時間を止めて回り込んで多視点から見る動画を作成する目的で、複数の全天球カメラの位置情報からタイムスタンプと番号のついた画像とを作成する方法について開示され、魚眼レンズ又は超広角レンズで構成される全天球カメラと、その全天球カメラの映像から被写体を異なる視点で表示した多視点映像を生成する多視点映像生成装置の構成が開示されている（特許文献１参照）。
しかしながら、複数の全天球カメラ（撮影装置）は閉じたローカル環境の中で運用することを想定しているため、撮影装置の接続されている通信端末とＶＲ端末の端末同士が位置情報を送受信して、これらをマッピングする仕組みが存在しない。
請求項１に係る発明は、撮影装置と、当該撮影装置から出力される画像データを通信する通信端末と、通信管理システムと、ＶＲ端末とを有するＶＲシステムであって、前記通信端末は、前記撮影装置の位置情報を入力し、前記撮影装置の位置情報、及び前記通信端末が送信する画像データを識別する画像識別情報を、前記通信管理システムに送信する送信し、前記通信管理システムは、前記撮影装置の位置情報及び前記画像識別情報を受信し、前記撮影装置の位置情報及び前記画像識別情報を関連付けてＶＲ端末に送信し、前記ＶＲ端末は、前記通信管理システムから、関連付けられた前記撮影装置の位置情報及び前記画像識別情報を複数の通信端末毎に管理手段で管理し、前記ＶＲ端末の位置に応じて前記撮影装置の位置情報を選択し、選択した前記位置情報に関連付けられている特定の画像識別情報で示される画像データの画像を表示手段に表示することを特徴とするＶＲシステムである。
以上説明したように本発明によれば、参加者がプレイエリア内を移動すると、この移動位置に対応する展示会場の位置に設置されているビデオ会議端末から送られている画像が参加者のヘッドマウントディスプレイに表示されることができる。
以下、図面を用いて、本発明の実施形態について説明する。
〔実施形態の概略〕
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、３次元の全天球（３６０°）パノラマ画像の元になる撮影画像を得るための全天球（デジタル）カメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。
図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），図１（ｂ），図１（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述する魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図１（ｂ）に示されているように、撮影装置１の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。
次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。
次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。
図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。
なお、図５は、全天球パノラマ画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。
図５は、全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。図６は、球座標による３次元ユークリッド空間内の点を示した図である。中心点ＣＰを球面極座標系で表現したときの位置座標を（ｒ、θ、φ）とする。（ｒ、θ、φ）は、それぞれ動径、極角、方位角である。動径ｒは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図１７（撮影装置方向・位置管理テーブル(ビデオ会議端末３））は、仮想カメラＩＣの極角、方位角（θ、φ）を用いて説明する。なお、「ビデオ会議端末３」は、後述のビデオ会議端末３ａ～３ｆの総称である。
図７は、仮想空間の移動手段の１つである「ルームスケール」に関する構成図である。
ルームスケールでは位置センサを通常２つ以上使用する。ここでは、位置センサ（１）３００と位置センサ（２）３０１を配置し、参加者Ａｃのプレイエリア４００内の位置を特定する。
ルームスケールでは位置センサを通常２つ以上使用する。ここでは、位置センサ（１）３００と位置センサ（２）３０１を配置し、参加者Ａｃのプレイエリア４００内の位置を特定する。
参加者Ａｃの仮想空間の移動手段は「ワープ」や「十字キー」でもよく、その場合はルームスケールを使用しない。
ＰＣ７は、ヘッドマウントディスプレイ端末８への表示処理や、ビデオ会議端末へ接続するための処理を行う。ＰＣ７は通信端末の一例であり、ヘッドマウントディスプレイと位置センサ（１）３００,位置センサ（２）３０１が接続されている。ヘッドマウントディスプレイ端末８は、参加者Ａｃが装着する。
ルームスケールは参加者Ａｃのヘッドマウントディスプレイの位置を検知する。その範囲は、プレエリア４００で表される。ここで、プレイエリアの縦軸横軸をＸ方向、Ｙ方向とする。
ルームスケールは参加者Ａｃのヘッドマウントディスプレイの位置を検知する。その範囲は、プレエリア４００で表される。ここで、プレイエリアの縦軸横軸をＸ方向、Ｙ方向とする。
ヘッドマウントディスプレイ端末８は、ＰＣ７と、有線通信又は無線通信が可能であり、ヘッドマウントディスプレイ端末８はとＰＣ７を２つ合わせてＶＲ端末を構築する。但し、ヘッドマウントディスプレイ端末８とＰＣ７の２つの代わりにスマートフォン１つであってもよい。ヘッドマウントディスプレイ端末８は、位置センサ（１）３００、位置センサ（２）３０１と赤外線通信をする。
通信管理システム５は、ビデオ会議端末３ａ乃至３ｆ、及びＶＲ端末とのやり取りを仲介する。Ｐ２Ｐ(Peer to Peer)通信の場合は、通信管理システム５を仲介せずビデオ会議端末３ａ乃至３ｆがＶＲ端末の方向・位置情報を送受信してもよい。
図８は、ある展示会場で５台のビデオ会議システムと全天球カメラを使用し、別の展示会場では、１台のビデオ会議システムと全天球カメラを使用した例である。展示会場には、展示会場５０１と展示会場５０２の２つがあり、図１８のセッションＩＤが異なる。
なお、下記撮影装置１ａ～１ｆは、撮影装置１の一例である。クレードル２ａ～２ｆは、クレードル２の一例である。ビデオ会議端末３ａ～３ｆは、ビデオ会議端末３の一例である。ディスプレイ４ａ～４ｆは、ディスプレイ４の一例である。ブースＢａ～Ｂｆは、ブースＢの一例である。解説者Ｃａ～Ｃｆは、解説者Ｃの一例である。
以下、展示会場５０１の説明である。ブースＢａには、解説者Ｃａがおり、ディスプレイ４ａ、ビデオ会議端末３が置かれている。ビデオ会議端末３ａは撮影装置１a（全天球カメラでも通常のカメラでも、半球のパノラマカメラでもよい）が接続されている。ビデオ会議端末３ａ～３ｅは設営者Ｅａが配置する。設置するのは解説者Ｃａ～Ｃｅであってもよい。各ビデオ会議端末からマッピング位置の情報入力は設営者Ｅａと設営者Ｅｂが
行う。各ビデオ会議端末からマッピング位置の情報入力は設営者Ｅａと設営者Ｅｂの代わりに、解説者Ｃａ～Ｃｆが行っても良い。ビデオ会議端末３ａ～３ｆはインターネットを介した通信ネットワーク１００を通して、通信管理システム５と接続されている。
行う。各ビデオ会議端末からマッピング位置の情報入力は設営者Ｅａと設営者Ｅｂの代わりに、解説者Ｃａ～Ｃｆが行っても良い。ビデオ会議端末３ａ～３ｆはインターネットを介した通信ネットワーク１００を通して、通信管理システム５と接続されている。
以下、展示会場５０２の説明である。ブースＢｆには、解説者Ｃｆがおり、ディスプレイ６ｆ、ビデオ会議端末３ｆが置かれている。ビデオ会議端末３ｆは撮影装置１ｆ（全天球カメラでも通常のカメラでも、半球のパノラマカメラでもよい）が接続されている。ビデオ会議端末３ｆは解説者６ｆが配置する。ビデオ会議端末３ｆからマッピング位置の情報入力は解説者Ｃｆが行う。ビデオ会議端末３ｆはインターネット等の通信ネットワーク１００を介して、ビデオ会議端末３ａ～３ｅと接続されている。
以下、拠点Ａの説明である。離れた場所である拠点Ａの展示会への参加者Ａｃは、ヘッドマウントディスプレイ端末８を付け、ＰＣ７から通信管理システム５へ接続する。ＰＣ７には撮影装置１ｇとクレードル２ｇが接続されている。
展示会場５０１と展示会場５０２を図２４（通信セッション（仮想の会議室）の選択画面を示した図）で選択することができる。選択した展示会場に応じて、図３０（マッピング部４０に関するフローチャート）に従い自動的に仮想空間が作成され、選択した展示会場にある撮影装置の位置情報がマッピングされる。
＜＜実施形態のハードウェア構成＞＞
次に、図９乃至１３を用いて、本実施形態の撮影装置１、ビデオ会議端末３乃至６、通信管理システム５、ＰＣ７又はスマートフォン、ヘッドマウントディスプレイのハードウェア構成を詳細に説明する。
次に、図９乃至１３を用いて、本実施形態の撮影装置１、ビデオ会議端末３乃至６、通信管理システム５、ＰＣ７又はスマートフォン、ヘッドマウントディスプレイのハードウェア構成を詳細に説明する。
＜撮影装置１のハードウェア構成＞
まず、図９を用いて、撮影装置１のハードウェア構成を説明する。図９は、撮影装置１のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。
まず、図９を用いて、撮影装置１のハードウェア構成を説明する。図９は、撮影装置１のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。
図９に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１によっては、ディスプレイ（例えば、ビデオ会議端末３ａのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してビデオ会議端末３ａ等の外部装置に送信されたりする。
通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、Wi-FiやNFC（Near Field Communication）等の近距離無線技術によって、ビデオ会議端末３ａ等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータをビデオ会議端末３ａの外部装置に送信することができる。
電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
＜ビデオ会議端末のハードウェア構成＞
次に、図１０を用いて、ビデオ会議端末３のハードウェア構成を説明する。図１０は、ビデオ会議端末のハードウェア構成図である。図１０に示されているように、ビデオ会議端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、フラッシュメモリ３０４、ＳＳＤ３０５、メディアＩ／Ｆ３０７、操作ボタン３０８、電源スイッチ３０９、バスライン３１０、ネットワークＩ／Ｆ３１１、カメラ３１２、撮像素子Ｉ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイＩ／Ｆ３１７、外部機器接続Ｉ／Ｆ３１８、近距離通信回路３１９、近距離通信回路３１９のアンテナ３１９ａを備えている。
次に、図１０を用いて、ビデオ会議端末３のハードウェア構成を説明する。図１０は、ビデオ会議端末のハードウェア構成図である。図１０に示されているように、ビデオ会議端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、フラッシュメモリ３０４、ＳＳＤ３０５、メディアＩ／Ｆ３０７、操作ボタン３０８、電源スイッチ３０９、バスライン３１０、ネットワークＩ／Ｆ３１１、カメラ３１２、撮像素子Ｉ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイＩ／Ｆ３１７、外部機器接続Ｉ／Ｆ３１８、近距離通信回路３１９、近距離通信回路３１９のアンテナ３１９ａを備えている。
これらのうち、ＣＰＵ３０１は、ビデオ会議端末３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。フラッシュメモリ３０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ（Solid State Drive）３０５は、ＣＰＵ３０１の制御にしたがってフラッシュメモリ３０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン３０８は、ビデオ会議端末３の宛先を選択する場合などに操作されるボタンである。電源スイッチ３０９は、ビデオ会議端末３の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。
また、ネットワークＩ／Ｆ３１１は、インターネット等の通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。カメラ３１２は、ＣＰＵ３０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ３１３は、カメラ３１２の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ３１７は、ＣＰＵ３０１の制御に従って外付けのディスプレイ４に画像データを送信する回路である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路３１９は、ＮＦＣ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
また、バスライン３１０は、図１０に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ４は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示手段の一種である。また、ディスプレイ４は、ケーブル４０ｃによってディスプレイＩ／Ｆ３１７に接続される。このケーブル４０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ３１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳセンサや、ＣＣＤセンサ等が用いられる。外部機器接続Ｉ／Ｆ３１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ３０１の制御に従って、内蔵型のカメラ３１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ３０１の制御に従って、それぞれが内蔵型のマイク３１４や内蔵型のスピーカ３１５に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア３０６は、ビデオ会議端末３に対して着脱自在な構成となっている。また、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ３０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。
＜通信管理システム、ＰＣのハードウェア構成＞
次に、図１１を用いて、通信管理システム５及びＰＣ７のハードウェア構成を説明する。図１１は、通信管理システム及びＰＣのハードウェア構成図である。なお、通信管理システム５及びＰＣ７は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム５の構成について説明し、ＰＣ７の構成の追加で説明する。
次に、図１１を用いて、通信管理システム５及びＰＣ７のハードウェア構成を説明する。図１１は、通信管理システム及びＰＣのハードウェア構成図である。なお、通信管理システム５及びＰＣ７は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム５の構成について説明し、ＰＣ７の構成の追加で説明する。
通信管理システム５は、通信管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、通信管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク１００を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ(Compact Disc -ReWritable)５１３に対する各種データの読み出しを制御するＣＤ－ＲＷドライブ５１４、及び、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。
以下に、ＰＣ７の追加の説明をする。
ＰＣ７はマイク５１５、スピーカ５１６、音声入出I/F５１７と、外部機器接続I/Fを備えている。マイク５１５とスピーカ５１６は音声入出力I/F５１７に接続され、ネットワークI/F５０９を通してビデオ会議端末３ａ乃至３ｆとの音声によるコミュニケーションを行える。外部機器接続には撮影装置１ａとヘッドマウントディスプレイ端末 ８が接続される。ネットワークI/F５０９を通して、ビデオ会議端末３ａ乃至３ｆと映像によるコミュニケーションを行える。
＜スマートフォンのハードウェア構成＞
ＰＣ７（通信端末)とヘッドマウントディスプレイ端末８によって、ＶＲ端末が構成されている。なお、ＰＣ７（通信端末）とヘッドマウントディスプレイ端末８は、スマートフォン１台で代替することが可能である。ここで、図１２を用いて、スマートフォンのハードウェアについて説明する。図１２は、スマートフォンのハードウェア構成図である。図１５に示されているように、スマートフォン９は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、撮像素子Ｉ／Ｆ９１３ａ、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。
ＰＣ７（通信端末)とヘッドマウントディスプレイ端末８によって、ＶＲ端末が構成されている。なお、ＰＣ７（通信端末）とヘッドマウントディスプレイ端末８は、スマートフォン１台で代替することが可能である。ここで、図１２を用いて、スマートフォンのハードウェアについて説明する。図１２は、スマートフォンのハードウェア構成図である。図１５に示されているように、スマートフォン９は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、撮像素子Ｉ／Ｆ９１３ａ、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。
これらのうち、ＣＰＵ９０１は、スマートフォン９全体の動作を制御する。ＲＯＭ９０２は、ＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ９１３ｂは、ＣＭＯＳセンサ９０５の駆動を制御する回路である。加速度・方位センサ９０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０８は、フラッシュメモリ等の記録メディア９０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
また、スマートフォン９は、遠距離通信回路９１１、ＣＭＯＳセンサ９１２、撮像素子Ｉ／Ｆ９１３、マイク９１４、スピーカ９１５、音入出力Ｉ／Ｆ９１６、ディスプレイ９１７、外部機器接続Ｉ／Ｆ９１８、近距離通信回路９１９、近距離通信回路９１９のアンテナ９１９ａ、及びタッチパネル９２１を備えている。
これらのうち、遠距離通信回路９１１は、通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ９１２は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１３ｂは、ＣＭＯＳセンサ９１２の駆動を制御する回路である。マイク９１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ９１６は、ＣＰＵ９０１の制御に従ってマイク９１４及びスピーカ９１５との間で音信号の入出力を処理する回路である。ディスプレイ９１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。この場合、スマートフォン９には、後述の図１３に示されているヘッドマウントディスプレイ端末８における表示部８０８Ｌ，８０８Ｒの替わりに、ディスプレイ５０８が２つの領域に分けられる。
外部機器接続Ｉ／Ｆ９１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路９１９は、ＮＦＣやＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル９２１は、利用者がディスプレイ９１７を押下することで、スマートフォン９を操作する入力手段の一種である。
また、スマートフォン９は、バスライン９１０を備えている。バスライン９１０は、ＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたＣＤ－ＲＯＭ、ＨＤ等の記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
＜ヘッドマウントディスプレイのハードウェア構成＞
図１３は、ヘッドマウントディスプレイのハードウェア構成図である。ヘッドマウントディスプレイ端末８は、信号送受信部８０１、信号処理プロセッサ８０２、ＶＲＡＭ(Video Random Access Memory)８０３、パネルコントローラ８０４、ＲＯＭ８０５、ＣＰＵ８０６、表示部８０８Ｒ，８０８Ｌ、ＲＯＭ８０９、ＲＡＭ８１０、音声ＤＡＣ８１１、スピーカ８１２Ｒ，８１２Ｌ、ユーザ操作部８２０、装着センサ８２１、加速度センサ８２２、及び輝度センサ８３０を備えている。また、ヘッドマウントディスプレイ端末８は、電源供給を行う電源部８３０、及び、電源部８３０の電源供給を行ったり停止したりすることができる電源スイッチ８３１を備えている。
図１３は、ヘッドマウントディスプレイのハードウェア構成図である。ヘッドマウントディスプレイ端末８は、信号送受信部８０１、信号処理プロセッサ８０２、ＶＲＡＭ(Video Random Access Memory)８０３、パネルコントローラ８０４、ＲＯＭ８０５、ＣＰＵ８０６、表示部８０８Ｒ，８０８Ｌ、ＲＯＭ８０９、ＲＡＭ８１０、音声ＤＡＣ８１１、スピーカ８１２Ｒ，８１２Ｌ、ユーザ操作部８２０、装着センサ８２１、加速度センサ８２２、及び輝度センサ８３０を備えている。また、ヘッドマウントディスプレイ端末８は、電源供給を行う電源部８３０、及び、電源部８３０の電源供給を行ったり停止したりすることができる電源スイッチ８３１を備えている。
これらのうち、信号送受信部８０１は、図１１に示されるＰＣ７の外部機器接続Ｉ／Ｆ５１８と接続するケーブルを介して、ＡＶ信号を受信したり、ＣＰＵ２０６（後述）で処理された情報信号を送信したりする。本実施形態では、ＡＶ(Audio Visual）信号はケーブルを介してシリアル転送されるので、信号送受信部２０１では受信信号のシリアル・パラレル変換が行なわれる。
信号処理プロセッサ８０２は、信号送受信部８０１で受信したＡＶ信号を映像信号と音声信号に分離して、それぞれに対して映像信号処理並びに音声信号処理を行なう。
信号処理プロセッサ８０２では、映像信号処理として、輝度レベル調整やコントラスト調整、その他の画質改善が行なわれる。 また、信号処理プロセッサ８０２は、ＣＰＵ８０６からの指示により、本来の映像信号に対して各種の処理を適用する。例えば、文字及び図形の少なくとも一方で構成されるＯＳＤ(On Screen Display)情報を生成して、本来の映像信号に重畳する。ＲＯＭ８０５には、ＯＳＤ情報の生成に必要な信号パターンが格納されており、信号処理プロセッサ８０２はＲＯＭ８０５に格納されている情報を読み出す。
本来の映像情報に重畳されるＯＳＤ情報の一例は、画面及び音声の出力調整などのためのＧＵＩ(Graphical User Interface)である。そして、映像信号処理を経て生成された画面情報は、ＶＲＡＭ８０３に一時的に格納される。ＰＣ７の外部機器接続Ｉ／Ｆ５１８から供給された映像信号が立体視映像信号等左右で映像信号が異なるときには、信号処理プロセッサ８０２は左右の映像信号に分離して、画面情報を生成する。
左右の表示部８０８Ｌ，８０８Ｒはそれぞれ、有機ＥＬ(Electro-Luminescence)素子からなる表示パネルと、表示パネルを駆動するゲート・ドライバー及びデータ・ドライバーからなる。また、左右の表示部８０８Ｌ，８０８Ｒにはそれぞれ広視野角を持つ光学系が装備される。但し、図１３では光学系を省略している。
パネル・コントローラ８０４は、所定の表示周期毎にＶＲＡＭ８０３から画面情報を読み出して、各表示部８０８Ｌ，８０８Ｒへ入力するための信号に変換するとともに、ゲート・ドライバー及びデータ・ドライバーの動作に用いられる、水平同期信号、垂直同期信号などのパルス信号を生成する。
ＣＰＵ８０６は、ＲＯＭ８０９からＲＡＭ８１０にロードされたプログラムを実行して、ヘッドマウントディスプレイ端末８全体の動作を統括的に制御する。また、ＣＰＵ８０６は、信号送受信部８０１を介して、ＰＣ７の外部機器接続Ｉ／Ｆ５１８との情報信号の送受信を制御する。
ヘッドマウントディスプレイ端末８本体には、ユーザが指などで操作可能な１以上の操作子を備えたユーザ操作部８２０が装備されている。操作子は、図示しないが、例えば上下左右のカーソルキーと、中央の決定キーの組み合わせからなる。また、本実施形態では、ヘッドフォン８１２Ｌ，８１２Ｒの音量を増大する「＋」ボタンと、音量を低下させる「－」ボタンもユーザ操作部８２０に含まれるものとする。ＣＰＵ８０６は、ユーザ操作部８２０から入力されたユーザの指示に従って、表示部８０８Ｒ，８０８Ｌからの映像出力やヘッドフォン８１２Ｌ，８１２Ｒからの音声出力などに関する処理を信号処理プロセッサ８０２に対して指示する。また、ユーザ操作部８２０から映像の再生、停止、早送り、早戻しなどのコンテンツ再生に関する操作が指示されると、ＣＰＵ８０６は、信号送受信部８０１からＰＣ７の外部機器接続Ｉ／Ｆ５１８へ、指示内容を通知するための情報信号を送信する。
また、本実施形態では、ヘッドマウントディスプレイ端末８は、装着センサ８２１、加速度センサ８２２、輝度センサ８２３などの複数のセンサを装備している。これらのセンサ出力は、ＣＰＵ８０６に入力される。
装着センサ８２１は、例えば機械スイッチなどからなる。ＣＰＵ８０６は、このセンサ出力によってヘッドマウントディスプレイ端末８がユーザに装着されているかどうか、すなわち、ヘッドマウントディスプレイ端末８が現在使用中であるかどうかを判定することができる。
加速度センサ８２２は、例えば３軸で構成され、ヘッドマウントディスプレイ端末８に加わる加速度の大きさ及び方向を検出する。ＣＰＵ８０６は、取得した加速度情報に基づいて、ヘッドマウントディスプレイ端末８を装着したユーザの頭部の移動をトラッキングすることができる。
輝度センサ８２３は、ヘッドマウントディスプレイ端末８が現在置かれている環境における輝度を検出する。ＣＰＵ８０６は、輝度センサ８２３は、取得した輝度情報に基づいて、映像信号に対して適用する輝度レベル調整を制御するようにしてもよい。
また、ＣＰＵ８０６は、必要に応じて、各センサ８２１～８２３から取得したセンサ情報を、信号送受信部８１１からＰＣ７の外部機器接続Ｉ／Ｆ５１８に送信することもできる。
電源部８３０は、ＰＣ７から供給される駆動電力を、図１３中の破線で囲まれた各回路部品へ供給する。また、ヘッドマウントディスプレイ端末８本体には、ユーザが指などで操作可能な電源スイッチ８３１が装備されている。電源部８３０は、電源スイッチ８３１が操作されたことに応じて、回路部品への給電のオン／オフを切り替えるようになっている。
なお、電源スイッチ８３１で電源オフにした状態は、電源部８３０は給電状態で待機している、ヘッドマウントディスプレイ端末８の「スタンバイ」状態とする。また、ＰＣ７側では、電源部８３０と接続される信号線の電圧レベルの変化に基づいて、各回路部品が給電され動作している状態すなわち使用状態か、非使用状態かを判別することができる。
〔実施形態の機能構成〕
続いて、図１４乃至図２１を用いて、本実施形態の機能構成について説明する。
続いて、図１４乃至図２１を用いて、本実施形態の機能構成について説明する。
＜撮影装置の機能構成＞
まずは、図９及び図１４を用いて、撮影装置１の各機能構成について詳細に説明する。図１４に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、通信部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
まずは、図９及び図１４を用いて、撮影装置１の各機能構成について詳細に説明する。図１４に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、通信部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。記憶部１０００には、自装置のＧＵＩＤ(Globally Unique Identifier)が記憶されている。
（撮影装置の各機能構成）
次に、図９及び図１４を用いて、撮影装置１の各機能構成について更に詳細に説明する。
次に、図９及び図１４を用いて、撮影装置１の各機能構成について更に詳細に説明する。
撮影装置１の受付部１２は、主に、図９に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部１４は、図９に示されているマイク１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を集音する。
通信部１８は、主に、ＣＰＵ１１１の処理によって実現され、ビデオ会議端末３の通信部３８と、NFC規格、BlueTooth、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。
＜ビデオ会議端末の機能構成＞
次に、図１０及び図１４を用いて、ビデオ会議端末３の各機能構成について詳細に説明する。図１４には、ビデオ会議端末３の機能構成が示されている。なお、他のビデオ会議端末３ｂ～３ｆの機能構成は、ビデオ会議端末３と同様の機能構成であるため、これらの説明を省略する。
次に、図１０及び図１４を用いて、ビデオ会議端末３の各機能構成について詳細に説明する。図１４には、ビデオ会議端末３の機能構成が示されている。なお、他のビデオ会議端末３ｂ～３ｆの機能構成は、ビデオ会議端末３と同様の機能構成であるため、これらの説明を省略する。
図１４に示されているように、ビデオ会議端末３は、送受信部３１、受付部３２、画像・音処理部３３、表示制御部３４、判断部３５、作成部３６、撮影装置位置情報入力部３７、通信部３８、及び記憶・読出部３９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、フラッシュメモリ３０４からＲＡＭ３０３上に展開されたビデオ会議端末３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末３は、図１０に示されているＲＯＭ３０２、ＲＡＭ３０３、及びフラッシュメモリ３０４によって構築される記憶部３０００を有している。この記憶部３０００には、画像種類管理ＤＢ３００１、撮影装置管理ＤＢ３００２、及び撮影装置方向・位置情報管理ＤＢ３００３が構築されている。これらのうち、画像種類管理ＤＢ３００１は、図１５に示されている画像種類管理テーブルによって構成されている。撮影装置管理ＤＢ３００２は、図１６に示される撮影装置管理テーブルによって構成されている。撮影装置方向・位置情報管理ＤＢ３００３は、図１７に示されている撮影装置方向・位置情報管理テーブルによって構成されている。
（画像種類管理テーブル）
＜画像種類管理テーブル＞
図１５は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末３ａ等の各通信端末によって作成された名称である。
＜画像種類管理テーブル＞
図１５は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末３ａ等の各通信端末によって作成された名称である。
例えば、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．２．１．４」、「１．３．１．４」の５つの通信端末は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」、「ＲＳ００４」、「ＲＳ００５」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」、「Video_Theta」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」、「特殊画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
（撮影装置管理テーブル）
図１６は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる２つの半球画像を得ることができる撮影装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダーＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
図１６は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる２つの半球画像を得ることができる撮影装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダーＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
（方向・位置情報管理テーブル）
図１７は、ビデオ会議端末で管理されている方向・位置情報管理テーブルを示す概念図である。この方向・位置情報管理テーブルでは、解説者が入力する情報と入力後にビデオ会議端末３の撮影装置管理ＤＢ３００２から取得された情報とにより構成された撮影装置の方向・位置情報が管理されている。この撮影装置情報は、画像データＩＤ、仮想空間内の左上端位置(Top，Left)、仮想空間内の右下端位置(Bottom，Right)、ヘッドマウントディスプレイ内の表示方向（Θ，Φ）、及び、仮想空間内のヘッドマウントディスプレイのマッピング位置（ｘ，ｙ，ｚ）が関連づけられた情報である
これらのうち、画像データＩＤは、撮影装置管理ＤＢ３００２から取得された画像データＩＤである。
図１７は、ビデオ会議端末で管理されている方向・位置情報管理テーブルを示す概念図である。この方向・位置情報管理テーブルでは、解説者が入力する情報と入力後にビデオ会議端末３の撮影装置管理ＤＢ３００２から取得された情報とにより構成された撮影装置の方向・位置情報が管理されている。この撮影装置情報は、画像データＩＤ、仮想空間内の左上端位置(Top，Left)、仮想空間内の右下端位置(Bottom，Right)、ヘッドマウントディスプレイ内の表示方向（Θ，Φ）、及び、仮想空間内のヘッドマウントディスプレイのマッピング位置（ｘ，ｙ，ｚ）が関連づけられた情報である
これらのうち、画像データＩＤは、撮影装置管理ＤＢ３００２から取得された画像データＩＤである。
図２８に示すように、仮想空間Topは、撮影装置１の位置をマッピングする仮想空間の領域のTopを示す。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
仮想空間Leftは、撮影装置１の位置をマッピングする仮想空間の領域のLeftを示す。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
仮想空間Bottomは、撮影装置１の位置をマッピングする仮想空間の領域のBottomを示す。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
仮想空間Rightは、撮影装置１の位置をマッピングする仮想空間の領域のRightを格納する。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
なお、仮想空間内の左上端位置(Top，Left)、仮想空間内の右下端位置(Bottom，Right)は、撮影装置１ではなく、撮影装置１に接続されたビデオ会議端末３の位置を示すようにしてもよい。
方向Θ（極角）は、撮影装置１の撮影方向Θを示す（図６、図３０参照）。方向Φ（方位角）は、撮影装置１の撮影方向Φ（図６、図３０参照）。
マッピング位置ｘは、撮影装置１の実空間の展示会場の位置を仮想空間にマッピングしたときのＸ軸の位置を示す。マッピング位置ｙは、撮影装置１の実空間の展示会場の位置を仮想空間にマッピングしたときのＹ軸の位置を示す。マッピング位置ｚは、撮影装置１の実空間の展示会場の位置を仮想空間にマッピングしたときのＺ軸の位置を示す（以下の説明では常に０とし、省略する）。
なお、仮想空間Top～マッピング位置ｚまでの項目は、展示会場で映像配信を行うビデオ会議端末３と撮影装置１がある場合に入力を行う。ＶＲ端末のように参加者側である場合は展示会場にない端末と区別するため、特別な値を格納する。図２０のセッションID「se101」・画像データID「RS010」の例のように、null値を入れてもよい。
（ビデオ会議端末の各機能構成）
次に、図１０及び図１４を用いて、ビデオ会議端末３の各機能構成について更に詳細に説明する。
次に、図１０及び図１４を用いて、ビデオ会議端末３の各機能構成について更に詳細に説明する。
ビデオ会議端末３の送受信部３１は、主に、図１０に示されているネットワークＩ／Ｆ３１１及びＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、通信管理システム５と各種データ（または情報）の送受信を行う。
受付部３２は、主に操作ボタン３０８及びＣＰＵ３０１による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン３０８だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部３３は、ＣＰＵ３０１からの命令によって実現され、カメラ３１２が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部３３は、マイク３１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
更に、画像・音処理部３３は、表示制御部３４がディスプレイ４に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部３３は、画像データ（例えば、図３（ａ），（ｂ）に示されているような各半球画像のデータ）に基づいて、図４（ｂ）に示されているような全天球パノラマ画像データに変換することで全天球パノラマ画像データを作成し、更に、所定領域画像を作成する。また、画像・音処理部３３は、他の通信端末から通信管理システム５を介して受信された音データに係る音声信号をスピーカ３１５に出力し、スピーカ３１５から音声を出力させる。
表示制御部３４は、主にディスプレイＩ／Ｆ３１７及びＣＰＵ３０１の処理によって実現され、ディスプレイ４に各種画像や文字等を表示させるための制御を行う。
判断部３５は、主にＣＰＵ３０１の処理によって実現され、例えば、撮影装置１ａから受信された画像データに係る画像種類を判断する。
作成部３６は、主にＣＰＵ３０１の処理によって実現され、判断部３５によって、一般画像又は特殊画像（ここでは、全天球パノラマ画像）と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部３５が、一般画像であると判断した場合には、作成部３６は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部３５が、特殊画像であると判断した場合には、作成部３６は、特殊画像である旨を示すソース名「Video_Theta」を作成する。
撮影装置位置情報入力部３７は、解説者Ｃａ～Ｃｆもしくは設営者Ｅａが、撮影装置方向・位置管理ＤＢ３００３への仮想空間Top、仮想空間Bottom、仮想空間Right、方向θ(極角)、方向(方位角)、マッピング位置ｘ、マッピング位置ｙ、マッピング位置ｚを、図１０の操作ボタン３０８とディスプレイ４で入力するための処理部を有する。
通信部３８は、主に、近距離通信回路３１９、アンテナ３１８ａ、及びＣＰＵ３０１の処理によって実現され、撮影装置１ａの通信部１８ａと、NFC、BlueTooth、Wi-Fi等による近距離無線技術によって通信することができる。なお、通信部３８と送受信部３１とは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部３９は、主に、図１１に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。
＜通信管理システムの機能構成＞
次に、図１１及び図１４を用いて、通信管理システム５の各機能構成について詳細に説明する。通信管理システム５は、送受信部５１、判断部５５、生成部５６、撮影装置位置情報・セッション処理部５７、及び記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
次に、図１１及び図１４を用いて、通信管理システム５の各機能構成について詳細に説明する。通信管理システム５は、送受信部５１、判断部５５、生成部５６、撮影装置位置情報・セッション処理部５７、及び記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム５は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、セッション管理ＤＢ５００１、画像種類管理ＤＢ５００２、及び撮影装置方向・位置情報一覧管理ＤＢ５００３が構築されている。このうち、セッション管理ＤＢ５００１は、図１８に示されているセッション管理テーブルによって構成されている。画像種類管理ＤＢ５００２は、図１９に示される画像種類管理テーブルによって構成されている。方向・位置情報一覧管理ＤＢ５００３は、図２０に示されている方向・位置情報一覧管理テーブルによって構成されている。
（セッション管理テーブル）
図１８は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、ビデオ会議端末３ａ等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。
図１８は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、ビデオ会議端末３ａ等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。
（画像種類管理テーブル）
図１９は、画像種類管理テーブルを示す概念図である。図１９に示されている画像種類管理テーブルは、図１９に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．２．１．４」、「１．３．１．４」、「１．７．１．４」の６つの通信端末が参加していることが示されている。なお、通信管理システム５において、ビデオ会議端末３ａ等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
図１９は、画像種類管理テーブルを示す概念図である。図１９に示されている画像種類管理テーブルは、図１９に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．２．１．４」、「１．３．１．４」、「１．７．１．４」の６つの通信端末が参加していることが示されている。なお、通信管理システム５において、ビデオ会議端末３ａ等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
（撮影装置方向・位置情報一覧管理テーブル）
図２０は、撮影装置方向・位置情報一覧管理テーブルを示す概念図である。この撮影装置方向・位置情報一覧管理テーブルは、各ビデオ会議端末で管理されている撮影装置方向・位置情報管理テーブルの情報の全てを一元管理するためのテーブルである。更に、セッション管理ＤＢ５００１及び画像種類管理ＤＢ５００２と関連付けるために、セッションＩＤも関連付けられている。
図２０は、撮影装置方向・位置情報一覧管理テーブルを示す概念図である。この撮影装置方向・位置情報一覧管理テーブルは、各ビデオ会議端末で管理されている撮影装置方向・位置情報管理テーブルの情報の全てを一元管理するためのテーブルである。更に、セッション管理ＤＢ５００１及び画像種類管理ＤＢ５００２と関連付けるために、セッションＩＤも関連付けられている。
これらのうち、セッションＩＤは、セッション管理ＤＢ５００１から取得したセッションＩＤであ。画像データＩＤは、画像種類管理ＤＢ３００１から取得された画像データＩＤである。送信元端末ＩＰアドレスは、送信元（自端末）のＩＰアドレスである。
図２８に示すように、仮想空間Topは、撮影装置１の位置をマッピングする仮想空間の領域のTopを示す。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
仮想空間Leftは、撮影装置１の位置をマッピングする仮想空間の領域のLeftを示す。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
仮想空間Bottomは、撮影装置１の位置をマッピングする仮想空間の領域のBottomを示す。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
仮想空間Rightは、撮影装置１の位置をマッピングする仮想空間の領域のRightを格納する。参加しているビデオ会議５台の端末のうち、１つ設定していればよい（複数設定しても最大領域をとる処理がある）。
なお、仮想空間内の左上端位置(Top，Left)、仮想空間内の右下端位置(Bottom，Right)は、撮影装置１ではなく、撮影装置１に接続されたビデオ会議端末３の位置を示すようにしてもよい。
方向Θ（極角）は、撮影装置１の撮影方向Θを示す（図６参照）。方向Φ（方位角）は、撮影装置１の撮影方向Φ（図６参照）。
マッピング位置ｘは、撮影装置１の現実世界の実位置を仮想空間にマッピングしたときのＸ軸の位置を示す。マッピング位置ｙは、撮影装置１の現実世界の実位置を仮想空間にマッピングしたときのＹ軸の位置を示す。マッピング位置ｚは、撮影装置１の現実世界の実位置を仮想空間にマッピングしたときのＺ軸の位置を示す（以下の説明では常に０とし、省略する）。
なお、仮想空間Top～マッピング位置ｚまでの項目は、展示会場で映像配信を行うビデオ会議端末３と撮影装置１がある場合に入力を行う。ＶＲ端末のように参加者側である場合は展示会場にない端末と区別するため、特別な値を格納する。図２０のセッションID「se101」・画像データID「RS010」の例のように、null値を入れてもよい。
（通信管理システムの各機能構成）
次に、図１１及び図１４を用いて、通信管理システム５の各機能構成について詳細に説明する。
次に、図１１及び図１４を用いて、通信管理システム５の各機能構成について詳細に説明する。
通信管理システム５の送受信部５１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介してビデオ会議端末３、又はＰＣ７と各種データ（または情報）の送受信を行う。
判断部５５は、主にＣＰＵ５０１の処理によって実現され、各種判断を行なう。
生成部５６は、主にＣＰＵ５０１の処理によって実現され、画像データＩＤを生成する。
撮影装置位置情報・セッション処理部５７は、主にＣＰＵ５０１の処理によって実現され、方向・位置情報管理ＤＢ３００３と画像種類管理ＤＢ５００２の各情報と、ビデオ会議端末３の撮影装置方向・位置情報管理ＤＢ３００３から取得された撮影装置の方向・位置情報から、方向・位置情報一覧管理ＤＢ５００３の情報を作成する処理部である。具体的には、ビデオ会議端末３から方向・位置情報入力部３７で入力された方向・位置情報管理ＤＢ撮像画像の撮影装置情報を送受信部３１から通信ネットワーク１００経由で送受信部６１から受信し、セッション管理ＤＢ５００１及び画像種類管理ＤＢ５００２の各情報とあわせて方向・位置情報一覧管理ＤＢ５００３へ格納する処理である。以下の説明は例として、撮影装置１を全天球カメラとしている。ここで、全天球カメラは、通常のカメラでも、２次元のパノラマカメラであってもよい。
記憶・読出部５９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。
＜ＰＣの機能構成＞
次に、図１１及び図１４を用いて、ＰＣ７の機能構成について詳細に説明する。ＰＣ７は、基本的にビデオ会議端末３と共通の機能を有している。即ち、図１４に示されているように、ＰＣ７は、送受信部７１、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、通信部７８、及び記憶・読出部７９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたＰＣ７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
次に、図１１及び図１４を用いて、ＰＣ７の機能構成について詳細に説明する。ＰＣ７は、基本的にビデオ会議端末３と共通の機能を有している。即ち、図１４に示されているように、ＰＣ７は、送受信部７１、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、通信部７８、及び記憶・読出部７９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたＰＣ７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
更に、ＰＣ７は、マッピング部４０、画像データＩＤ選択部４１、仮想最大空間記憶部４３、ヘッドマウントディスプレイ方向・位置記憶部４４、及びセッションＩＤ記憶部４５を有している。
また、ＰＣ７は、図１１に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。この記憶部７０００には、画像種類管理ＤＢ７００１、撮影装置管理ＤＢ７００２、及び撮影装置方向・位置情報一覧管理ＤＢ７００３が構築されている。なお、画像種類管理ＤＢ７００１、撮影装置管理ＤＢ７００２、及び撮影装置方向・位置情報一覧管理ＤＢ７００３は、それぞれ画像種類管理ＤＢ３００１、撮影装置管理ＤＢ３００２、及び方向・位置情報一覧管理ＤＢ５００３同じ構成であるため説明を省略する。
（ＰＣの各機能構成）
ＰＣ７の送受信部７１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、送受信部３１と同様の機能を実現する。
ＰＣ７の送受信部７１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、送受信部３１と同様の機能を実現する。
受付部７２は、主にキーボード５１１、マウス５１２及びＣＰＵ５０１の処理によって実現され、受付部３２と同様の機能を実現する。
画像・音処理部７３は、主にＣＰＵ５０１からの命令によって実現され、画像・音処理部３３と同様の機能を実現する。
表示制御部７４は、主にＣＰＵ５０１の処理によって実現され、表示制御部３４と同様の機能を実現する。
判断部７５は、主にＣＰＵ５０１の処理によって実現され、判断部３５と同様の機能を実現する。
作成部７６は、主にＣＰＵ５０１の処理によって実現され、作成部３６と同様の機能を実現する。
通信部７８は、主に、ＣＰＵ５０１の処理によって実現され、通信部３８と同様の機能を実現する。
記憶・読出部７９は、ＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。
更に、マッピング部４０は、ＣＰＵ５０１の処理によって実現され、後述のマッピング情報を処理する（図３０のフローチャート参照）。
画像データＩＤ選択部４１は、ＣＰＵ５０１の処理によって実現され、位置情報からヘッドマウントディスプレイ端末８へ表示する（図３１のフローチャート参照)。
仮想最大空間記憶部４３は、ＲＯＭ８０９及びＲＡＭ８１０によって実現され、マッピング部４０によって計算された値を示す仮想最大空間情報を格納する。ビデオ会議端末３ａ～３ｅで入力された仮想空間Top, Left, Bottom, Rightの値から仮想空間が最大となる値を格納する。
図２１は、仮想最大空間記憶部に記憶された仮想最大空間情報の概念図である。これらのうち、仮想最大空間Topは、マッピングされる仮想空間のTopを示す。仮想最大空間Leftは、マッピングする仮想空間のLeftを示す。仮想最大空間Bottomは、マッピングする仮想空間のBottomを示す。仮想最大空間Rightは、マッピングする仮想空間のRightを示す。
Scale Ｘは、実空間（図２９参照）に対する仮想空間（図２８参照）のプレイエリアのＸ軸の比率（倍）を示す。Scale Ｙは、実空間（図２９参照）に対する仮想空間（図２８参照）のプレイエリアのＹ軸の比率（倍）を示す。仮想空間とプレイエリアのY軸の比を格納する。Scale Ｚは、実空間（図２９参照）に対する仮想空間（図２８参照）のプレイエリアのＹ軸の比率（倍）を示す（以下の説明では常に０とし、省略する）。
ヘッドマウントディスプレイ方向・位置記憶部４４は、ＲＯＭ８０９及びＲＡＭ８１０によって実現され、ルームスケールがある場合、図２２に示されているルームスケールの位置情報を格納する。ルームスケールではない場合は、空の値を入れる。
図２２は、ヘッドマウントディスプレイ方向・位置記憶部４４に記憶されたヘッドマウントディスプレイ情報の概念図である。図１４に示されている画像データＩＤ選択部４１で使用され、マッピングに使用する領域情報が格納される。
これらのうち、方向Θ（極角）は、ヘッドマウントディスプレイ端末８の方向Θを示す（図６、図３０参照）。方向Φ（方位角）は、ヘッドマウントディスプレイ端末８の方向Φ（図６、図３０参照）。位置Ｘは、実空間における会議室のルームスケールにおけるヘッドマウントディスプレイ端末８のＸ軸の位置を示す。位置Ｙは、実空間における会議室のルームスケールにおけるヘッドマウントディスプレイのＹ軸の位置を示す。位置Ｚは、実空間における会議室のルームスケールにおけるヘッドマウントディスプレイのZ軸の位置（以下の説明では常に０とし、省略する）。
セッションＩＤ記憶部４５は、ＲＯＭ８０９及びＲＡＭ８１０によって実現され、特定の通信セッションへの参加処理で選択されたセッションＩＤを記憶する。
＜ヘッドマウントディスプレイ端末の機能構成＞
次に、図１３及び図１４を用いて、ヘッドマウントディスプレイ端末８の各機能構成について詳細に説明する。ヘッドマウントディスプレイ端末８は、音出力部８１、表示部８２、ユーザ操作部８３、主制御部８４、装着センサ部８５、加速度センサ部８６、音制御部８７、及び通信部８８を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＲＯＭ８０５からＶＲＡＭ８０３上、又はＲＯＭ８０９からＲＡＭ８１０上に展開されたヘッドマウントディスプレイ端末８用プログラムに従ったＣＰＵ８０６からの命令によって動作することで実現される機能又は手段である。
次に、図１３及び図１４を用いて、ヘッドマウントディスプレイ端末８の各機能構成について詳細に説明する。ヘッドマウントディスプレイ端末８は、音出力部８１、表示部８２、ユーザ操作部８３、主制御部８４、装着センサ部８５、加速度センサ部８６、音制御部８７、及び通信部８８を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＲＯＭ８０５からＶＲＡＭ８０３上、又はＲＯＭ８０９からＲＡＭ８１０上に展開されたヘッドマウントディスプレイ端末８用プログラムに従ったＣＰＵ８０６からの命令によって動作することで実現される機能又は手段である。
（＜ヘッドマウントディスプレイ端末の各機能構成）
音出力部８１は、主にＣＰＵ８０６の処理、及びスピーカ８１２Ｒ，８１２Ｌによって実現され、装着者（参加者）へ音を伝える。表示部８２は、主にＣＰＵ８０６の処理、及び表示部８０８Ｒ，８０８Ｌによって実現され、選択した画像を表示する。主制御部８４は、主にＣＰＵ８０６によって実現され、ヘッドマウントディスプレイの処理に必要な処理を表す。
音出力部８１は、主にＣＰＵ８０６の処理、及びスピーカ８１２Ｒ，８１２Ｌによって実現され、装着者（参加者）へ音を伝える。表示部８２は、主にＣＰＵ８０６の処理、及び表示部８０８Ｒ，８０８Ｌによって実現され、選択した画像を表示する。主制御部８４は、主にＣＰＵ８０６によって実現され、ヘッドマウントディスプレイの処理に必要な処理を表す。
装着センサ部８５は、主にＣＰＵ８０６の処理、及び装着センサ８２１によって実現され、参加者がヘッドマウントディスプレイ端末８を装着しているかを調べる処理を行う。加速度センサ部８６は、主にＣＰＵ８０６の処理、及び加速度センサ８２２によって実現され、ヘッドマウントディスプレイ端末８の移動を検知する処理を行う。
音制御部８７は、主にＣＰＵ８０６の処理、及び音声ＤＡＣ８１１によって実現され、ヘッドマウントディスプレイ端末８から音を出す処理を制御する。
通信部８８は、主に、ＣＰＵ８０６の処理、及び信号送受信部８０１によって実現され、通信部７８と通信するために通信部７８と同様の機能を有する。
〔実施形態の処理又は動作〕
続いて図２３乃至図３６を用いて、本実施形態の処理又は動作について説明する。
続いて図２３乃至図３６を用いて、本実施形態の処理又は動作について説明する。
＜参加の処理＞
まず、図２３及び図２４を用いて、特定の通信セッションへの参加処理について説明する。図２３は、特定の通信セッションへの参加処理を示したシーケンス図である。図２４は、通信セッション（仮想の会議室）の選択画面を示した図である。
まず、図２３及び図２４を用いて、特定の通信セッションへの参加処理について説明する。図２３は、特定の通信セッションへの参加処理を示したシーケンス図である。図２４は、通信セッション（仮想の会議室）の選択画面を示した図である。
まず、の利用者（例えば、解説者Ｃａ）が、ビデオ会議端末３ａにおいて、通信セッション（仮想の会議室）の選択画面の表示を行なう操作をすると、受付部３２ａが選択画面を表示する操作を受け付け、表示制御部３４ａがディスプレイ４ａに、図２４に示されているような選択画面を表示する（ステップＳ２１）。この選択画面には、選択対象である各展示会場５０１、５０２及び会議室Ｒ３等を示す選択ボタンｂ１，ｂ２，ｂ３等が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。
ここで、利用者Ｃａが仮想の会議室の所望の選択ボタン（ここでは選択ボタンｂ２）を選択すると、受付部３２ａは、通信セッションの選択を受け付ける（ステップＳ２２）。そして、送受信部３１ａは、通信管理システム５に対して、展示会場５０１への参加要求を送信する（ステップＳ２３）。この参加要求には、ステップＳ２２で選択を受け付けられた通信セッションを示すセッションＩＤ、及び要求元端末であるビデオ会議端末３ａのＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部６１は、参加要求を受信する。
次に、記憶・読出部６９は、セッション管理ＤＢ５００１（図２３参照）において、ステップＳ２３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ２３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行なう（ステップＳ２４）。そして、送受信部６１は、ビデオ会議端末３ａに対して、参加要求応答を送信する（ステップＳ２５）。この参加要求応答には、ステップＳ２３によって受信されたセッションＩＤ、及び参加処理結果が含まれている。これにより、ビデオ会議端末３ａの送受信部３１ａは、参加要求応答を受信する。
図２４は、通信セッション（仮想の会議室）の選択画面を示した図である。通信セッションの選択画面はVRの展示会場を選択する。通常のビデオ会議への選択項目があってよい。
選択ボタンｂ１，ｂ２は、展示会場に設置されている他のビデオ会議端末と通信する場合に押下されるボタンである。この選択ボタンｂ１，ｂ２が押下されると、それぞれセッションＩＤ「ｓｅ１０１」，「ｓｅ１０２」で示される通信セッションが確立される。また、選択ボタンｂ３は、仮想空間を利用したマッピングの処理を行わず、通常の映像通信を行う場合に押下されるボタンである。この選択ボタンｂ３が押下されると、セッションＩＤ「ｓｅ１０３」で示される通信セッションが確立される。このように、仮想空間を利用したマッピングの処理と通常の映像通信の処理の両方の選択を一つの画面で行うことができる。
以降、参加処理が成功した場合について説明する。
＜画像種類情報の管理処理＞
続いて、図２５を用いて、画像種類情報の管理処理を説明する。図２５は、画像種類情報の管理処理を示すシーケンス図である。
続いて、図２５を用いて、画像種類情報の管理処理を説明する。図２５は、画像種類情報の管理処理を示すシーケンス図である。
まず、拠点Ａの利用者（例えば、利用者Ａ１）が、ビデオ会議端末３に、撮影装置１ａが取り付けられた状態のクレードル１ａのＵＳＢケーブルを接続すると、撮影装置１aの記憶・読出部１９が記憶部１０００に記憶されている自装置（撮影装置１a）のＧＵＩＤを読み出し、通信部１１がビデオ会議端末３ａの通信部３８に対して自装置のＧＵＩＤを送信する（ステップＳ５１）。これにより、ビデオ会議端末３の通信部３８は、撮影装置１aのＧＵＩＤを受信する。
次に、ビデオ会議端末３の判断部３５は、撮影装置管理ＤＢ３００２ａ（図１６参照）において、ステップＳ５１によって受信されたＧＵＩＤ中のベンダＩＤ及びプロダクトＩＤと、同じベンダＩＤ及びプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（ステップＳ５２）。具体的には、撮影装置管理ＤＢ３００２において、同じベンダＩＤ及びプロダクトＩＤが管理されている場合には、判断部３５は、撮影装置１aが特殊画像（ここでは、全天球パノラマ画像）を撮影する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ３００２において、同じベンダＩＤ及びプロダクトＩＤが管理されていない場合には、判断部３５は、撮影装置１aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部３９は、画像種類管理ＤＢ３００１（図１５参照）に対して、送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレスと、ステップＳ５２で判断された判断結果である画像種類情報とを関連付けて記憶する（ステップＳ５３）。この状態では、画像データＩＤは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類（一般画像、特殊画像）である。
次に、送受信部３１は、通信管理システム５に対して、画像種類情報の追加要求を送信する（ステップＳ５４）。この画像種類情報の追加要求には、ステップＳ５３で記憶した送信元端末である自端末のＩＰアドレス、及び画像種類情報が含まれている。これにより、通信管理システム５の送受信部６１は、画像種類情報の追加要求を受信する。
次に、通信管理システム５の記憶・読出部６９は、ステップＳ５４によって受信された送信元端末のＩＰアドレスを検索キーとして、セッション管理ＤＢ５００１（図１８参照）を検索することにより、対応するセッションＩＤを読み出す（ステップＳ５５）。
次に、生成部６６は、固有の画像データＩＤを生成する（ステップＳ５６）。そして、記憶・読出部５９は、画像種類管理ＤＢ６００２（図２４参照）に、新たなレコードとして、ステップＳ５５で読み出されたセッションＩＤ、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５４で受信された送信元端末のＩＰアドレス及び画像種類情報を関連付けて記憶する（ステップＳ５７）。そして、送受信部６１は、ビデオ会議端末３ａに対して、ステップＳ５６で生成された画像データＩＤを送信する。これにより、ビデオ会議端末３ａの送受信部３１は、画像データＩＤを受信する（ステップＳ５８）。
次に、ビデオ会議端末３の記憶・読出部３９は、画像種類管理ＤＢ３００１（図１７参照）に、上記ステップＳ５３で記憶しておいた送信元端末である自端末（ビデオ会議端末３）のＩＰアドレス及び画像種類情報に関連づけて、ステップＳ５８で受信された画像データＩＤを記憶する（ステップＳ５９）。
一方、通信管理システム５の送受信部６１は、他の通信端末（ここでは、ＰＣ７）に対して、画像種類情報の追加通知を送信する（ステップＳ６０）。この画像種類情報の追加通知には、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５３で記憶された送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレス及び画像種類情報が含まれている。これにより、ＰＣ７の送受信部７１は、画像種類情報の追加通知を受信する。なお、送受信部６１の送信先は、セッション管理ＤＢ５００１（図２３参照）で、ビデオ会議端末３ａのＩＰアドレスと同じセッションＩＤに関連付けられている他のＩＰアドレスである。即ち、送信先は、ビデオ会議端末３ａと同じ仮想の会議室に入っている他の通信端末である。
次に、ＰＣ７の記憶・読出部７９は、画像種類管理ＤＢ７００１（図１５参照）に、新たなレコードとして、ステップＳ６０で受信された、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を関連付けて記憶する（ステップＳ６１）。同じように、他の通信端末であるビデオ会議端末３ｂ～３ｆ及びＰＣ７にも画像種類情報の追加通信が送信され、ビデオ会議端末３ｂ～３ｆ及びＰＣ７でも、それぞれ画像種類管理ＤＢ３００１，７００１に記憶される。以上より、各通信端末では、各画像種類管理ＤＢ３００１，５００２，７００１で同じ情報を共有することができる。
＜撮影装置方向・位置情報管理の管理処理を示したシーケンス図＞
図２６は、撮影装置方向・位置情報管理の管理処理を示したシーケンス図である。
カメラの方向・位置情報を入力するのは設営者Ｅａである。
その後、ビデオ会議端末３から通信管理システム５で自動的にリストを作成し、ＰＣ７へ送信される。その過程で、カメラの映像を識別するため、画像データＩＤと、参加しているビデオ会議を識別するためのセッションIDが追加される。
図２６は、撮影装置方向・位置情報管理の管理処理を示したシーケンス図である。
カメラの方向・位置情報を入力するのは設営者Ｅａである。
その後、ビデオ会議端末３から通信管理システム５で自動的にリストを作成し、ＰＣ７へ送信される。その過程で、カメラの映像を識別するため、画像データＩＤと、参加しているビデオ会議を識別するためのセッションIDが追加される。
以下、順番に説明する。
解説者Ｃａがビデオ会議端末３に撮影装置方向・位置情報ＤＢ３００３に格納するための仮想空間、方向及びマッピング位置の情報を入力することで、受付部３２が、仮想空間、方向及びマッピング位置の情報の入力を受け付ける（ステップＳ７０１）。入力されるカラムは以下の通りである。
・仮想空間Top, 仮想空間Left, 仮想空間Bottom, 仮想空間Right, 方向Θ(極角), 方向Φ(方位角), マッピング位置Ｘ,マッピング位置Ｙ,(マッピング位置Ｚ)
なお、マッピング位置Ｚは説明簡略化のため以下の説明では省略し、すべて０とする。
・仮想空間Top, 仮想空間Left, 仮想空間Bottom, 仮想空間Right, 方向Θ(極角), 方向Φ(方位角), マッピング位置Ｘ,マッピング位置Ｙ,(マッピング位置Ｚ)
なお、マッピング位置Ｚは説明簡略化のため以下の説明では省略し、すべて０とする。
次に、記憶・読出部３９は、画像種類管理ＤＢ３００1から画像データＩＤを取得する（ステップＳ７０２）。記憶・読出部３９は、ステップＳ７０２で所得した画像データＩＤと、ステップＳ７０１で受け付けられた仮想空間、方向及びマッピング位置の情報とを、撮影装置情報として撮影装置方向・位置情報管理ＤＢ３００３へ記憶する（ステップＳ７０３）。
次に、送受信部３１は、通信管理システム５の送受信部５１に、撮影装置方向・位置情報ＤＢ３００３の撮影装置情報と、送信端末であるビデオ会議端末３ａ（自端末）のＩＰアドレスと、画像データＩＤを送信する（ステップＳ７０４）。
次に、通信管理システム５の記憶・読出部５９は、セッション管理ＤＢ５００１から、セッションＩＤを読み出す（ステップＳ７０５）。そして、記憶・読出部５９は、ステップＳ７０４で受信された情報に、ステップＳ７０５で読み出されたセッションＩＤを加え、撮影装置方向・位置情報一覧管理ＤＢ５００３へ記憶する（ステップＳ７０６）。送受信部５１は、ＰＣ７の送受信部７１に、撮影装置方向・位置情報一覧管理ＤＢ５００３の情報をＰＣ７の送受信部７１に送信する（ステップＳ７０７）。この場合、ＰＣ７へは、ＰＣ７が参加しているセッションＩＤのみ絞って送信してよい。
次に、ＰＣ７では、記憶・読出部７９が、ステップＳ７０７で受信された各情報を、撮影装置方向・位置情報一覧管理ＤＢ７００３に記憶する（ステップＳ７０８）。
＜マッピング処理＞
次に、実空間（現実世界）の撮影装置１（ビデオ会議端末３）を仮想空間（仮想世界）にマッピングするマッピング処理について説明する。
次に、実空間（現実世界）の撮影装置１（ビデオ会議端末３）を仮想空間（仮想世界）にマッピングするマッピング処理について説明する。
なお、マッピング処理を説明する前に、図２７乃至図２９を用いて、実世界と仮想世界のエリアについて説明する。
（実空間内の位置関係）
図２７は、実空間の展示会場におけるテレビ会議端末(撮影装置)の位置を示す図である。ここでは、展示会場５０１にビデオ会議端末を５つ置いた例と展示会場５０２にビデオ会議端末３つ置いた例が示されている。
図２７は、実空間の展示会場におけるテレビ会議端末(撮影装置)の位置を示す図である。ここでは、展示会場５０１にビデオ会議端末を５つ置いた例と展示会場５０２にビデオ会議端末３つ置いた例が示されている。
ビデオ会議端末３ａ～３ｅにはぞれぞれ、撮影装置１ａ～１ｅが接続されており、位置ｒｐ１～ｒｐ５は、撮影装置１ａ～１ｅの位置とする。
位置と会場情報(Top, Left, Bottom, Right)は物理的な位置で、ここでは単位をｍとする。設営者Ｅａ又は設営者Ｅｂは、この部地理位置を参考に撮影装置方向・位置情報の図３４のマッピング情報を入力する。
以降、「ビデオ会議端末３に接続された撮影装置で撮影された画像の画像データＩＤ」を「ビデオ会議端末３の画像データＩＤ」と示すこととする。また、「ビデオ会議端末の画像データＩＤ」を選択することは、画像データＩＤが決まるとビデオ会議端末が決まるため、コミュニケーションを行うビデオ会議端末を選択しているのと同じことである。
（仮想空間内の位置関係）
図２８は、仮想区間の展示会場におけるテレビ会議端末(撮影装置)の位置を示す図である。ここでは、展示会場とビデオ会議端末(撮影装置)の設置位置」の物理的な位置を参考に、撮影装置方向・位置情報を仮想空間にマッピングした例を示す。図２８の位置ｒｐ1～ｒｐ５はマッピング位置ｖｐ１～ｖｐ５にマッピングされている。この例では、１ｍを１単位として、仮想空間上にマッピングしている。入力するのは設営者Ｅａであり、入力端末は、各ビデオ会議端末である。なお、入力するのは解説者Ｃａ～Ｃｅであってもよい。
図２８は、仮想区間の展示会場におけるテレビ会議端末(撮影装置)の位置を示す図である。ここでは、展示会場とビデオ会議端末(撮影装置)の設置位置」の物理的な位置を参考に、撮影装置方向・位置情報を仮想空間にマッピングした例を示す。図２８の位置ｒｐ1～ｒｐ５はマッピング位置ｖｐ１～ｖｐ５にマッピングされている。この例では、１ｍを１単位として、仮想空間上にマッピングしている。入力するのは設営者Ｅａであり、入力端末は、各ビデオ会議端末である。なお、入力するのは解説者Ｃａ～Ｃｅであってもよい。
マッピング位置は、必ずしも物理的名位置を模している必要はなく、図３３（ｂ）ではＹ軸方向にマッピング位置を配置している例を示す。
最初に、参加者Ａｃは仮想空間上にはプレイヤーＰｂとして配置し、移動した位置を位置(ｘ，ｙ)とする。
仮想空間領域情報は、会場領域情報を参考に設定した仮想空間の領域のこととする。各ビデオ会議端末から入力する。１つだけ入力されていればよいが、複数入力されている場合は、後述の図３０のマッピング部４０によるフローチャートの処理で、撮影装置方向・位置情報一覧管理ＤＢ７００３から最大領域となるように値を算出する。仮想空間領域情報は、ルームスケールの場合にScaleを算出するのに使用する。
（ルームスケール）
図２９は、実空間における会議室のルームスケールを示す図である。ここでは、展示会場をマッピングした仮想空間」を移動するための１つの手段である「ルームスケール」の例である。また、参加者Ａｃは、２ｍ四方のルームスケールのプレイエリアを動くことで、仮想空間上のプレイヤーを移動する。
図２９は、実空間における会議室のルームスケールを示す図である。ここでは、展示会場をマッピングした仮想空間」を移動するための１つの手段である「ルームスケール」の例である。また、参加者Ａｃは、２ｍ四方のルームスケールのプレイエリアを動くことで、仮想空間上のプレイヤーを移動する。
仮想空間の単位と、プレイエリアは、図３０のマッピング部４０によるフローチャートの処理で比率が計算される。ここでは、２００単位と２ｍであるため、その比率は１００となる。参加者が０．０１ｍ右へ動くと、仮想空間上のプレイヤーは右に１ｍ動く。
参加者の移動後は、図３１の画像データＩＤ選択部４１によるフローチャートの処理で、最も近くにマッピングされたカメラの位置情報の画像データＩＤを取得し、ＶＲ端末にその画像データＩＤの画像を表示する。
（マッピング部の処理）
図３０は、マッピング部４０が実行する処理を示すフローチャートである。即ち、下記Ｓ８０１～Ｓ８１１の処理の主体は、マッピング部４０であるため、主体の説明を省略する。
Ｓ８０１：開始する。
Ｓ８０２：ＶＲ端末の自端末のセッションＩＤを取得する。
Ｓ８０３：撮影装置方向・位置情報一覧管理ＤＢ７００３から自端末と同じセッションＩＤの撮影装置方向・位置情報一覧の情報を取得する（撮影装置方向・位置情報一覧ＤＢ５００３は、図２６でＶＲ端末のＰＣ７に送信済み）。
Ｓ８０４：「VR端末を示すnull値」（図２０参照)を除外した撮影装置方向・位置情報一覧を作成する。
Ｓ８０５：Ｓ８０４で作成した撮影装置方向・位置情報一覧から、仮想空間Top, Left, Bottom, Rightの値を取得し、領域が最大になるようにTop, Left, Bottom, Rightを決める。具体的には、最小のTop, Leftの値、最大のBottom, Rightの値を検索する。
Ｓ８０６：Ｓ８０３で取得した値を「仮想空間最大領域メモリ部４３」へ格納する。
Ｓ８０７：仮想空間の移動手段がルームスケールかどうかを判断する。ヘッドマウントディスプレイ方向・位置情報メモリ部４２に値があればルームスケールと判断する。ルームスケールでない場合、Scaleの情報は必要ないため、修了となる。
Ｓ８０８：仮想空間領域情報(Top, Left, Bottom, Right)と、プレイエリア領域情報(Top, Left, Bottom, Right)の値からScaleを計算する。以下に式１，２を示す。
図３０は、マッピング部４０が実行する処理を示すフローチャートである。即ち、下記Ｓ８０１～Ｓ８１１の処理の主体は、マッピング部４０であるため、主体の説明を省略する。
Ｓ８０１：開始する。
Ｓ８０２：ＶＲ端末の自端末のセッションＩＤを取得する。
Ｓ８０３：撮影装置方向・位置情報一覧管理ＤＢ７００３から自端末と同じセッションＩＤの撮影装置方向・位置情報一覧の情報を取得する（撮影装置方向・位置情報一覧ＤＢ５００３は、図２６でＶＲ端末のＰＣ７に送信済み）。
Ｓ８０４：「VR端末を示すnull値」（図２０参照)を除外した撮影装置方向・位置情報一覧を作成する。
Ｓ８０５：Ｓ８０４で作成した撮影装置方向・位置情報一覧から、仮想空間Top, Left, Bottom, Rightの値を取得し、領域が最大になるようにTop, Left, Bottom, Rightを決める。具体的には、最小のTop, Leftの値、最大のBottom, Rightの値を検索する。
Ｓ８０６：Ｓ８０３で取得した値を「仮想空間最大領域メモリ部４３」へ格納する。
Ｓ８０７：仮想空間の移動手段がルームスケールかどうかを判断する。ヘッドマウントディスプレイ方向・位置情報メモリ部４２に値があればルームスケールと判断する。ルームスケールでない場合、Scaleの情報は必要ないため、修了となる。
Ｓ８０８：仮想空間領域情報(Top, Left, Bottom, Right)と、プレイエリア領域情報(Top, Left, Bottom, Right)の値からScaleを計算する。以下に式１，２を示す。
ScaleＸ = (仮想空間領域情報 Right - 仮想空間領域情報 Left) / (プレイエリア領域情報 Right - プレイエリア情報 Left )・・・（式１）
ScaleＹ = (仮想空間領域情報 Bottom - 仮想空間領域情報Top) / (プレイエリア領域情報 Bottom - プレイエリア情報 Top)・・・（式２）
Ｓ８０９：Ｓ８０８で算出したScale Ｘ, Scale Ｙの情報を仮想最大空間記憶部４３に格納する。
Ｓ８１０：撮影装置方向・位置情報一覧を仮想空間にマッピングする。
Ｓ８１１：終了となる。
ScaleＹ = (仮想空間領域情報 Bottom - 仮想空間領域情報Top) / (プレイエリア領域情報 Bottom - プレイエリア情報 Top)・・・（式２）
Ｓ８０９：Ｓ８０８で算出したScale Ｘ, Scale Ｙの情報を仮想最大空間記憶部４３に格納する。
Ｓ８１０：撮影装置方向・位置情報一覧を仮想空間にマッピングする。
Ｓ８１１：終了となる。
（画像データＩＤ選択部の処理）
図３１は、画像データＩＤ選択部４１が実行する処理を示すフローチャートである。なお、図３５でイメージ図を表している。即ち、下記Ｓ８２１～Ｓ８３０の処理の主体は、画像データＩＤ選択部４１であるため、主体の説明を省略する。
Ｓ８２１：処理開始。
Ｓ８２２：ヘッドマウントディスプレイ方向・位置情報記憶部４３からプレイエリアの位置に基づき仮想空間上の位置を取得する。ここで、仮想空間上を移動し、位置情報の取得する手段はワープ、又は十字キーでもよい。
Ｓ８２３：プレイヤーが仮想空間を移動したかどうかを判断する。移動した場合はＳ８２４に進み、移動してない場合はＳ８２２へ戻る。
Ｓ８２４：全てのマッピング位置とプレイヤーの距離を算出する。
Ｓ８２５：Ｓ８２４で計算した距離で最小のマッピング位置を探す。マッピング位置の情報には画像データＩＤが含まれているので、距離が最小のマッピング位置の画像データＩＤを取得する。
Ｓ８２６：表示中の画像データＩＤと距離が採用の画像データＩＤを比較し、異なっているかどうかを判定する。異なっている場合はＳ８２７へ進み、同じ場合はＳ８２８へ進む。
Ｓ８２７：距離が最小の画像データＩＤをＶＲ端末に表示する。
Ｓ８２８：画像データＩＤのビデオ会議端末とコミュニケーションを行う。画像データＩＤが分かると、その画像データＩＤの送信元のビデオ会議端末を特定できるため、そのビデオ会議端末の周囲にいる解説者とコミュニケーションを行うことができる。また、撮影装置方向・位置情報一覧管理ＤＢ７００３から、画像データＩＤと一致するレコードの「送信元端末ＩＰアドレス」を取得し、ビデオ会議端末を特定する。ビデオ会議端末とＶＲ端末でコミュニケーションを開始する。撮影装置１単体では映像を送信することしかできないが、ビデオ会議端末３にはマイク、スピーカ及びカメラが備わっているため、ＶＲ端末としては、音声と映像によるコミュニケーションを行うことができる。
Ｓ８２９：ビデオ会議を終了するかどうかを判定し、終了しない場合は、Ｓ８２２の位置の取得へ戻る。ビデオ会議を終了する場合は、Ｓ８３０の終了へ進む。
図３１は、画像データＩＤ選択部４１が実行する処理を示すフローチャートである。なお、図３５でイメージ図を表している。即ち、下記Ｓ８２１～Ｓ８３０の処理の主体は、画像データＩＤ選択部４１であるため、主体の説明を省略する。
Ｓ８２１：処理開始。
Ｓ８２２：ヘッドマウントディスプレイ方向・位置情報記憶部４３からプレイエリアの位置に基づき仮想空間上の位置を取得する。ここで、仮想空間上を移動し、位置情報の取得する手段はワープ、又は十字キーでもよい。
Ｓ８２３：プレイヤーが仮想空間を移動したかどうかを判断する。移動した場合はＳ８２４に進み、移動してない場合はＳ８２２へ戻る。
Ｓ８２４：全てのマッピング位置とプレイヤーの距離を算出する。
Ｓ８２５：Ｓ８２４で計算した距離で最小のマッピング位置を探す。マッピング位置の情報には画像データＩＤが含まれているので、距離が最小のマッピング位置の画像データＩＤを取得する。
Ｓ８２６：表示中の画像データＩＤと距離が採用の画像データＩＤを比較し、異なっているかどうかを判定する。異なっている場合はＳ８２７へ進み、同じ場合はＳ８２８へ進む。
Ｓ８２７：距離が最小の画像データＩＤをＶＲ端末に表示する。
Ｓ８２８：画像データＩＤのビデオ会議端末とコミュニケーションを行う。画像データＩＤが分かると、その画像データＩＤの送信元のビデオ会議端末を特定できるため、そのビデオ会議端末の周囲にいる解説者とコミュニケーションを行うことができる。また、撮影装置方向・位置情報一覧管理ＤＢ７００３から、画像データＩＤと一致するレコードの「送信元端末ＩＰアドレス」を取得し、ビデオ会議端末を特定する。ビデオ会議端末とＶＲ端末でコミュニケーションを開始する。撮影装置１単体では映像を送信することしかできないが、ビデオ会議端末３にはマイク、スピーカ及びカメラが備わっているため、ＶＲ端末としては、音声と映像によるコミュニケーションを行うことができる。
Ｓ８２９：ビデオ会議を終了するかどうかを判定し、終了しない場合は、Ｓ８２２の位置の取得へ戻る。ビデオ会議を終了する場合は、Ｓ８３０の終了へ進む。
（展示会場の位置を仮想空間にマッピングするイメージ図）
図３２は展示会場の位置を仮想空間にマッピングするイメージ図である。ここでは、実空間の展示会場５００の位置ｒｐ１～ｒｐ５を仮想空間６００のマッピング位置ｖｐ１～ｖｐ５へマッピングした例を示す。図３２では、それぞれ、位置ｒｐ１～位置ｒｐ５と、マッピング位置ｖｐ１～ｖｐ５に対応する。
図３２は展示会場の位置を仮想空間にマッピングするイメージ図である。ここでは、実空間の展示会場５００の位置ｒｐ１～ｒｐ５を仮想空間６００のマッピング位置ｖｐ１～ｖｐ５へマッピングした例を示す。図３２では、それぞれ、位置ｒｐ１～位置ｒｐ５と、マッピング位置ｖｐ１～ｖｐ５に対応する。
展示会場５００は、中心を（０，０）として、展示会場５００と各ブースの位置を表した例である。展示会場５００の数値の単位は（ｍ）とし、仮想空間上の数値の単位は仮想のものであるため、（単位）という呼ぶこととする。この図では、展示会場の物理的名位置をそのまま仮想空間上に反映し、１ｍ＝１単位とし、実際の位置をそのまま反映している。プレイヤーＰｂは仮想空間上の参加者Ａｃの位置を表し、初期配置の位置は（０，０）とする。
（マッピング情報作成からビデオ会議端末（撮影装置）自動選択）
図３３は、展示会場の位置を仮想空間にマッピングするイメージ図である。図３３では、実空間の展示会場５００の位置ｒｐ１～ｒｐ５を仮想空間６００ａのマッピング位置ｖｐ１～ｖｐ５へ、実際の位置を模さずにマッピングした例を示す。マッピングは必ずしも物理的な位置を反映しなくてよい。
図３３は、展示会場の位置を仮想空間にマッピングするイメージ図である。図３３では、実空間の展示会場５００の位置ｒｐ１～ｒｐ５を仮想空間６００ａのマッピング位置ｖｐ１～ｖｐ５へ、実際の位置を模さずにマッピングした例を示す。マッピングは必ずしも物理的な位置を反映しなくてよい。
また、設営者Ｅａがマッピング位置をどのように反映させるかは自由でよい。例えば、仮想空間６００ａのように、マッピング位置ｖｐ１～ｖｐ５をＹ軸方向に並べてしまってもよい。
この例が役に立つシーンは、例えば、日本の各会場で展示会を行っている場合などである。宮城、東京、名古屋、大阪、北九州の５箇所にビデオ会議端末が５台配置されている場合、物理的な位置をマッピングするよりも、地理的に北から順番にマッピングし、プレイエリアをＹ軸方向（前後）に動いてビデオ会議端末からの画像を切り替えられたほうが分かりやすい。また、プレイエリアではなく、ワープや十キーで移動する場合も、前後に移動するだけで、５つの会場のビデオ会議端末の画像を切り替えることができるため、都合がよい。
（仮想空間上の移動手段であるルームスケールと仮想空間）
図３４は、仮想空間上の移動手段であるルームスケールと仮想空間のイメージ図である。ここでは、想空間を移動するために、ルームスケールと仮想空間の関係示している。ルームスケールはプレイエリア４００内の移動を検知し、Sacleの値をかけて仮想空間上のプレイヤーＰｂの位置へ反映する。初期配置は（０，０）である。
図３４は、仮想空間上の移動手段であるルームスケールと仮想空間のイメージ図である。ここでは、想空間を移動するために、ルームスケールと仮想空間の関係示している。ルームスケールはプレイエリア４００内の移動を検知し、Sacleの値をかけて仮想空間上のプレイヤーＰｂの位置へ反映する。初期配置は（０，０）である。
図３４の仮想空間領域情報（－１００，－１００）及び（１００，１００）と、プレイエリア領域情報（－１,－１）及び（１，１）と図３０のマッピング１００のフローチャートからScale(１００,１００)が計算される。仮想空間６００上の単位は、仮想の値である。
プレイエリア４００の単位は（ｍ）で、ここの例ではScaleが１００であるため、１００単位＝１ｍとなる。ここで、マッピング位置ｖｐ１～ｖｐ５の説明は図３２と同じである。
（仮想空間上の移動からビデオ会議端末と撮影装置の自動選択（１））
図３５は仮想空間上の移動からビデオ会議端末と撮影装置により生成された画像の自動選択までイメージ図である。ここでは、プレイエリアを移動することで、仮想空間上のプレイヤーが移動し、マッピング位置のビデオ会議端末の画像データＩＤを自動選択するイメージを示す。ここで、参加者Ａｃがプレイエリア４００を移動し、位置（0.8, 0.8) に移動したものとする
Scaleは図３２で(１００, １００)と算出されているため、仮想空間６００のプレイヤーの位置は(-80, -80)となる。
図３５は仮想空間上の移動からビデオ会議端末と撮影装置により生成された画像の自動選択までイメージ図である。ここでは、プレイエリアを移動することで、仮想空間上のプレイヤーが移動し、マッピング位置のビデオ会議端末の画像データＩＤを自動選択するイメージを示す。ここで、参加者Ａｃがプレイエリア４００を移動し、位置（0.8, 0.8) に移動したものとする
Scaleは図３２で(１００, １００)と算出されているため、仮想空間６００のプレイヤーの位置は(-80, -80)となる。
図３１のフローチャートのように、全マッピング位置とプレイヤーＰｂの距離を計算し、最小となるマッピング位置を選択する。
仮想空間上のプレイヤーの位置と全マッピング位置との距離を計算S824で距離を計算すると、マッピング位置２の14.14の値が最小であるため、マッピング位置２が選択される。
撮影装置方向・位置情報一覧管理ＤＢ７００３には、マッピング位置の情報とともにビデオ会議端末２の画像データＩＤが入っているため、ビデオ会議端末３の画像データＩＤを取得することができる。これより、参加者ＡｃのＶＲ端末にはビデオ会議端末２の画像に切り替えられ、表示される。
ここで、画像データＩＤからビデオ会議端末が判別するため、ビデオ会議端末を選択し、図３１のＳ８２８の処理の解説者とのコミュニケーションを行うことができる。
（仮想空間上の移動からビデオ会議端末と撮影装置の自動選択（２））
図３６は仮想空間上の移動からビデオ会議端末と撮影装置により生成された画像の自動選択までイメージ図である。ここでは、仮想空間６００ａに示すようにマッピングした場合、プレイエリアを移動することで、仮想空間上のプレイヤーが移動し、マッピング位置のビデオ会議端末の画像データＩＤを自動選択する。また、参加者Ａｃがプレイエリア４００を移動し、位置（0.4, 0.4) に移動したものとする。
図３６は仮想空間上の移動からビデオ会議端末と撮影装置により生成された画像の自動選択までイメージ図である。ここでは、仮想空間６００ａに示すようにマッピングした場合、プレイエリアを移動することで、仮想空間上のプレイヤーが移動し、マッピング位置のビデオ会議端末の画像データＩＤを自動選択する。また、参加者Ａｃがプレイエリア４００を移動し、位置（0.4, 0.4) に移動したものとする。
Scaleは、図３２で(１００, １００)と算出されているため、仮想空間６００のプレイヤーの位置は(-40, -40)となる。
図３１のフローチャートのように、全マッピング位置とプレイヤーＰｂの距離を計算し、最小となるマッピング位置を選択する。
仮想空間上のプレイヤーの位置と全マッピング位置との距離を計算S824で距離を計算すると、マッピング位置３の40.31の値が最小であるため、マッピング位置３が選択される。
仮想空間上のプレイヤーの位置と全マッピング位置との距離を計算S824で距離を計算すると、マッピング位置３の40.31の値が最小であるため、マッピング位置３が選択される。
撮影装置方向・位置情報一覧管理ＤＢ５００３には、マッピング位置の情報とともにビデオ会議端末３の画像データＩＤが入っているため、ビデオ会議端末３の画像データIDを取得することができる。これより、参加者ＡｃのVR端末にはビデオ会議端末３の画像に切り替えられ、表示される。
ここで、画像データＩＤ画像種類管理テーブル(図１９参照)からカメラ、スピーカ及びマイクを備えたビデオ会議端末を判別し、ビデオ会議端末を選択し、図３１のＳ８２８の解説者とのコミュニケーションを行うことができる。
以上説明したように本実施形態によれば、ビデオ会議端末３等の通信端末は、画像データと共に送られて来る画像データＩＤに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、実空間の展示会場に、撮影装置とこの撮影装置の映像（画像）の通信用に用いるビデオ会議端末をセットで複数設置しておく（図８、図２７参照）。一方、実空間の会議室等のプレイアリアに位置センサ３０１，３０１を設置しておき、参加者がヘッドマウントディスプレイ８を装着してＰＣ７と通信できる状態にしておく（図８、図２９参照）。そして、各ビデオ会議端末からの画像は通信管理システム経由でＰＣに送られている。この状態で、参加者がプレイエリア内を移動すると、この移動位置に対応する展示会場の位置に設置されているビデオ会議端末から送られている画像が参加者のヘッドマウントディスプレイに表示されることができる。
以上説明したように本実施形態によれば、実空間の展示会場に、撮影装置とこの撮影装置の映像（画像）の通信用に用いるビデオ会議端末をセットで複数設置しておく（図８、図２７参照）。一方、実空間の会議室等のプレイアリアに位置センサ３０１，３０１を設置しておき、参加者がヘッドマウントディスプレイ８を装着してＰＣ７と通信できる状態にしておく（図８、図２９参照）。そして、各ビデオ会議端末からの画像は通信管理システム経由でＰＣに送られている。この状態で、参加者がプレイエリア内を移動すると、この移動位置に対応する展示会場の位置に設置されているビデオ会議端末から送られている画像が参加者のヘッドマウントディスプレイに表示されることができる。
また、実空間の展示会場内の位置と実空間のプレイアリア内の位置を仮想空間を介して関連付ける（図２８参照）。これにより、展示会場における各撮影装置の所定の配列を複数の撮影装置の配列とは異なり、ＶＲ端末が使用される実空間におけるＶＲ端末の移動可能経路に合わせることができる。例えば図３３に示されているように、展示会場５００内の撮影装置の配列と仮想空間６００内の配列を変更することで、参加者がプレイエリア内を図３３（ｂ）の順に移動すれば、展示会場では図３３（ａ）のような順に移動したことにできる。これにより、プレイエリアが狭くて参加者の移動に制限があり、真っ直ぐしか移動できない場合でも、参加者は、展示会場の各所を移動したように展示会場の各所の画像を見ることができる。
また、複数ある現実の撮影装置（カメラ）を仮想空間にマッピングし、仮想空間を移動することで現実カメラの映像を切り替え、雰囲気だけを知るのではなく、切り替えた撮影装置の前にいる展示会場の人とコミュニケーションをとるためにカメラとマイクとスピーカをセットで選択することができる。
１ａ 撮影装置（ＶＲ端末の一部）
３ａ ビデオ会議端末（ＶＲ端末の一部）
５ 通信管理システム
７ ＰＣ
８ 撮影装置
９ スマートフォン（ＶＲ端末の一例）
３ａ ビデオ会議端末（ＶＲ端末の一部）
５ 通信管理システム
７ ＰＣ
８ 撮影装置
９ スマートフォン（ＶＲ端末の一例）
Claims (11)
- 撮影装置と、当該撮影装置から出力される画像データを通信する通信端末と、通信管理システムと、ＶＲ端末とを有するＶＲシステムであって、
前記通信端末は、
前記撮影装置の位置情報を入力し、
前記撮影装置の位置情報、及び前記通信端末が送信する画像データを識別する画像識別情報を、前記通信管理システムに送信する送信し、
前記通信管理システムは、
前記撮影装置の位置情報及び前記画像識別情報を受信し、
前記撮影装置の位置情報及び前記画像識別情報を関連付けてＶＲ端末に送信し、
前記ＶＲ端末は、
前記通信管理システムから、関連付けられた前記撮影装置の位置情報及び前記画像識別情報を複数の通信端末毎に管理手段で管理し、
前記ＶＲ端末の位置に応じて前記撮影装置の位置情報を選択し、
選択した前記位置情報に関連付けられている特定の画像識別情報で示される画像データの画像を表示手段に表示する
ことを特徴とするＶＲシステム。 - 前記撮影装置及び前記通信端末が設置されている実空間と、前記ＶＲ端末が使用される実空間は、仮想空間を介して関連付けられていることを特徴とする請求項１に記載のＶＲシステム。
- 前記ＶＲ端末は、
前記管理手段で管理している前記撮影装置の位置情報で示される位置を所定の配列で前記仮想空間上にマッピングし、
実空間における前記ＶＲ端末の位置に基づいて、前記仮想空間上にマッピングされている前記撮影装置の位置を選択し、
選択した前記撮影装置の位置情報に関連付けられている特定の画像識別情報で示される画像データの画像を表示手段に表示する
ことを特徴とする請求項２に記載のＶＲシステム。 - 前記所定の配列は、複数の前記撮影装置の配列とは異なり、前記ＶＲ端末が使用される実空間における前記ＶＲ端末の移動可能経路に合わせることを特徴とする請求項３に記載のＶＲシステム。
- 前記ＶＲ端末は、前記実空間に設置された位置センサから当該ＶＲ端末の前記実空間内の位置を示す位置情報を取得することを特徴とする請求項２乃至４のいずれか一項に記載のＶＲシステム。
- 前記ＶＲ端末は、ヘッドマウントディスプレイ及びパソコンによって構築されていることを特徴とする請求項１乃至５のいずれか一項に記載のＶＲシステム。
- 前記ＶＲ端末は、スマートフォンによって構築されていることを特徴とする請求項１乃至６のいずれか一項に記載のＶＲシステム。
- 前記通信端末は、前記通信管理システムを介して映像通信を行うことが可能なテレビ会議端末であることを特徴とする請求項１乃至７のいずれか一項に記載のＶＲシステム。
- 撮影装置と、当該撮影装置から出力される画像データを通信する通信端末と、通信管理システムと、ＶＲ端末とを有するＶＲシステムが実行する通信方法であって、
前記通信端末は、
前記撮影装置の位置情報を入力し、
前記撮影装置の位置情報、及び前記通信端末が送信する画像データを識別する画像識別情報を、前記通信管理システムに送信する送信し、
前記通信管理システムは、
前記撮影装置の位置情報及び前記画像識別情報を受信し、
前記撮影装置の位置情報及び前記画像識別情報を関連付けてＶＲ端末に送信し、
前記ＶＲ端末は、
前記通信管理システムから、関連付けられた前記撮影装置の位置情報及び前記画像識別情報を複数の通信端末毎に管理手段で管理し、
前記ＶＲ端末の位置に応じて前記撮影装置の位置情報を選択し、
選択した前記位置情報に関連付けられている特定の画像識別情報で示される画像データの画像を表示手段に表示する
ことを特徴とする通信方法。 - 前記撮影装置及び前記通信端末が設置されている実空間と、前記ＶＲ端末が使用される実空間は、仮想空間を介して関連付けられていることを特徴とする請求項９に記載の通信方法。
- コンピュータに、請求項９に記載の方法を実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/367,496 US10554883B2 (en) | 2018-03-30 | 2019-03-28 | VR system, communication method, and non-transitory computer-readable medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070374 | 2018-03-30 | ||
| JP2018070374 | 2018-03-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019186921A JP2019186921A (ja) | 2019-10-24 |
| JP7331405B2 true JP7331405B2 (ja) | 2023-08-23 |
Family
ID=68337780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019056195A Active JP7331405B2 (ja) | 2018-03-30 | 2019-03-25 | Ｖｒシステム、通信方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7331405B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259330A (ja) | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 映像配信遠隔制御装置、映像配信システムおよび映像配信方法 |
| JP2015037242A (ja) | 2013-08-13 | 2015-02-23 | ソニー株式会社 | 受信装置、受信方法、送信装置、及び、送信方法 |
| JP2017511615A (ja) | 2013-11-27 | 2017-04-20 | ウルトラデント プロダクツ インク． | 物理的場所間のビデオ対話 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1055257A (ja) * | 1996-08-09 | 1998-02-24 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想空間表示方法 |
-
2019
- 2019-03-25 JP JP2019056195A patent/JP7331405B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259330A (ja) | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 映像配信遠隔制御装置、映像配信システムおよび映像配信方法 |
| JP2015037242A (ja) | 2013-08-13 | 2015-02-23 | ソニー株式会社 | 受信装置、受信方法、送信装置、及び、送信方法 |
| JP2017511615A (ja) | 2013-11-27 | 2017-04-20 | ウルトラデント プロダクツ インク． | 物理的場所間のビデオ対話 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019186921A (ja) | 2019-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7322940B2 (ja) | 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体 | |
| JP6756269B2 (ja) | 通信端末、画像通信システム、通信方法、及びプログラム | |
| JP7452596B2 (ja) | 通信端末、表示方法、プログラム及び画像通信システム | |
| US10554883B2 (en) | VR system, communication method, and non-transitory computer-readable medium | |
| US10764513B2 (en) | Communication terminal, image data communication system, and communication method | |
| US10721116B2 (en) | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium | |
| JP6907861B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| JP7095361B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| JP7164831B2 (ja) | 通信管理システム、通信システム、通信方法、及びプログラム | |
| JP2019180027A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| JP2020150330A (ja) | 画像通信システム、撮像装置、モード切替方法、プログラム | |
| JP2019054322A (ja) | 通信端末、画像通信システム、通信方法、及びプログラム | |
| JP2020149635A (ja) | 撮像装置、画像通信システム、画像処理方法、プログラム | |
| JP7017045B2 (ja) | 通信端末、表示方法、及びプログラム | |
| JP7331405B2 (ja) | Ｖｒシステム、通信方法、及びプログラム | |
| JP7279452B2 (ja) | Ｖｒ端末、ｖｒシステム、表示方法、及びプログラム | |
| JP7151316B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| JP7006356B2 (ja) | 通信端末、通信システム、通信方法、及びプログラム | |
| JP7279825B2 (ja) | 通信端末、通信システム、通信方法、表示制御方法及びプログラム | |
| JP7354733B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| JP7326789B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| JP7210892B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| JP6992338B2 (ja) | 通信システム、通信管理方法、プログラム、システム及び通信方法 | |
| JP7006133B2 (ja) | 通信システム及び通信方法 | |
| JP2024052524A (ja) | 通信管理サーバ、通信システム、通信管理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7331405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |