JP7236529B2 - ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム - Google Patents

Description

本発明は、ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステムに関し、特に、仮想オブジェクトにおける位置の把握に有効な技術に関する。

近年、仮想現実（Virtual Reality：ＶＲ）技術、拡張現実（Augmented Reality：ＡＲ）技術、あるいは複合現実（Mixed Reality：ＭＲ）技術が広く利用されている。

仮想現実は、現実に似せた仮想世界を作り出しあたかもそこにいるような感覚を体験できる技術である。拡張現実は、現実世界にデジタル情報を付与しＣＧ（Computer Graphics）などで作った仮想空間（仮想オブジェクト）を現実空間に反映し拡張していく技術である。複合現実は、ＣＧなどで人工的に作られた仮想世界と現実世界の情報を組み合わせ融合させる技術である。

これらの技術を具現化するツールとしては、頭部に装着されディスプレイやカメラなどを有するヘッドマウント情報処理装置が広く用いられている。ヘッドマウント情報処理装置においては、仮想オブジェクトの現実感を増すために、仮想オブジェクトを現実空間の空間座標に紐付けてあらわし、あたかもそこに現実のオブジェクトがあるかのような表示方法が実用化されている。

このような表示方法は、目的の仮想オブジェクトが紐付けされ配置されている現実空間に行けば目的の仮想オブジェクトを視認でき、直感的な操作体系を可能にしているが、目的の仮想オブジェクトが紐付けされている現実空間に行かなければ目的の仮想オブジェクトの閲覧や操作を行うことができないという課題があった。

この問題を解決する技術としては、装着者が実世界空間を動き回っていても、拡張現実オブジェクトの少なくとも一部を実世界空間内にとどめて容易にアクセスすることができるものがある(例えば特許文献１参照）。

特表２０１８－５０５４７２号公報

前述した特許文献１の技術は、ユーザの視野移動に対しても仮想オブジェクトを視野内にとどめて表示する旨については記載されているものの、別の現実空間にある仮想オブジェクトに対する表示については考慮されていない。よって、別の現実空間にある仮想オブジェクトの閲覧や操作を使い勝手よく行うことができにくいという問題がある。

本発明の目的は、現実空間とは異なる現実空間にある仮想オブジェクトの存在位置などを容易に把握することができる技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的なヘッドマウント情報処理装置は、操作入力インタフェース、カメラ部、表示部、および制御部を備える。操作入力インタフェースは、情報を入力する。カメラ部は、現実空間を撮像する。表示部はカメラ部が撮像する実写画像を表示する。制御部は、表示部を制御する。

また、制御部は、表示部が表示する仮想オブジェクトを生成する仮想オブジェクト生成処理部を有する。仮想オブジェクト生成処理部は、ユーザが存在する第１の現実空間に紐付けされて配置される第１の仮想オブジェクトおよび第１の現実空間と異なる第２の現実空間に紐付けて配置される第２の仮想オブジェクトを生成する。

そして、制御部は、操作入力インタフェースから入力される第１の仮想オブジェクトおよび第２の仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて、表示部に第１の仮想オブジェクトおよび第２の仮想オブジェクトを表示させる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

異なる現実空間に配置される仮想オブジェクトの配置場所などを的確に視認することができるので、利便性を向上させることができる。

実施形態１によるヘッドマウント情報処理装置における構成の一例を示すブロック図である。 図１のヘッドマウント情報処理装置における使用状況の周囲全景の一例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクト群の一覧表示の一例を示す説明図である。 図３の仮想オブジェクト群の一覧表示の他の例を示す説明図である。 図４の仮想オブジェクト群の一覧表示の他の例を示す説明図である。 図１のヘッドマウント情報処理装置における使用状況の一例を示す説明図である。 図６の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。 図６の使用状況の他の例を示した説明図である。 図８の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクト群の表示の一例を示す説明図である。 図１０の仮想オブジェクト群の表示の他の例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクト群の切り替え表示の一例を示す説明図である。 図１のヘッドマウント情報処理装置による仮想オブジェクトの拡大縮小および姿勢操作の一例を示す説明図である。 図１３の他の例を示す説明図である。 複数の現実空間における全ての仮想オブジェクトを見る場合の周囲全景の一例を示す説明図である。 図１５の後方の出入口と逆の方向から見た状態における仮想オブジェクトの表示の一例を示す説明図である。 図１６の仮想オブジェクトの表示の他の例を示す説明図である。 図１６の仮想オブジェクト群の一覧表示の他の例を示す説明図である。 図１のヘッドマウント情報処理装置によるマルチ表示画面の一例を示す説明図である。 図１９の他の表示例を示す説明図である。 実施形態２によるヘッドマウントディスプレイシステムにおける構成の一例を示すブロック図である。

実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
以下、実施の形態を詳細に説明する。

〈ヘッドマウント情報処理装置の構成例〉
図１は、本実施の形態１によるヘッドマウント情報処理装置における構成の一例を示すブロック図である。

ヘッドマウント情報処理装置１００は、図１に示すように、カメラ部１１１、右目視線検出部１１２、左目視線検出部１１３、振動発生部１１７、外周音マイク１１８、発声音マイク１１９、ヘッドフォン１２０、操作入力インタフェース１２１、ディスプレイ１２２、制御部１２５、メモリ１２４、深度センサ１４２、加速度センサ１４３、ジャイロセンサ１４４、地磁気センサ１４５、および刺激発生部１４６から構成されている。これらの機能ブロックは、バス１４０を介して相互に接続されている。

カメラ部１１１は、ユーザ前方の風景を撮影する。表示部であるディスプレイ１２２は、カメラ部１１１が撮影した現実空間の実写画像を表示する。カメラ部１１１は、複数のカメラによって構成してもよいし、あるいは１台または複数のカメラを組み合わせて全天球の画像を撮影できる３６０度全天球カメラであってもよい。

制御部１２５は、メモリ１２４に格納される後述するプログラム１２６を実行することによって、各機能ブロックを制御し、ヘッドマウント情報処理装置１００全体の動作を制御する。

制御部１２５は、表示制御部１５１、データ管理部１５２、映像加工部１５３、仮想オブジェクト姿勢操作処理部１５４、仮想オブジェクト生成処理部１５５、および仮想オブジェクト変形操作処理部１５６を有する。

仮想オブジェクト生成処理部１５５は、現実空間とは異なる仮想空間にある少なくとも１つの仮想オブジェクトからなる仮想オブジェクト群を生成する。また、仮想オブジェクト生成処理部１５５は、生成した仮想オブジェクト群を現実空間に紐付けて配置する。

ここで、視認あるいはディスプレイ１２２に表示される第１の現実空間に紐付けされて配置される仮想オブジェクト群を第１の仮想オブジェクト群とする。また、第１の現実空間とは別の現実空間である第２の現実空間に紐付けされて配置される仮想オブジェクト群を第２の仮想オブジェクト群とする。

同様に、第１および第２の現実空間とは別の現実空間である第３の現実空間に紐付けされて配置される仮想オブジェクト群を第３の仮想オブジェクト群とする。第１～第３の現実空間とは別の現実空間である第４の現実空間に紐付けされて配置される仮想オブジェクト群を第４の仮想オブジェクト群とする。

仮想オブジェクト生成処理部１５５は、操作入力インタフェース１２１から入力されるユーザ操作に応じて、メモリ１２４から読み出した仮想オブジェクトの雛形データに基づいて、仮想オブジェクトを生成する。

なお、仮想オブジェクトの雛形データは必ずしも必要ではなく、ユーザ操作により雛形なしで直接仮想オブジェクトデータを生成してもよい。例えば、直方体の仮想オブジェクトを生成するには、操作入力インタフェース１２１を用いたユーザ操作により、実空間上に仮想オブジェクトの各頂点となる８点を指定する。

仮想オブジェクト姿勢操作処理部１５４は、ディスプレイ１２２に表示された仮想オブジェクトを回転、拡大、および縮小して、視認しやすい形状の姿勢になるように操作する。これを姿勢操作と呼ぶ。姿勢操作の結果は、元の仮想オブジェクトの姿勢、形状、および向きなどには反映されない。

仮想オブジェクト変形操作処理部１５６は、ディスプレイ１２２に表示される仮想オブジェクトの変形操作を行う。変形操作は、例えば仮想オブジェクトの向きを変える、大きさを変える、形状を変える、一部分を削除する、あるいは全部を削除するなどである。仮想オブジェクト変形操作処理部１５６による変形操作の結果は、元の仮想オブジェクトの姿勢、形状、および向きなどにも反映される。

映像加工部１５３は、カメラ部１１１が撮影した映像データを加工し、加工した映像データを情報データ１２７としてメモリ１２４に格納する。映像加工部１５３は、主に表示データ量の軽減、視認性の向上を目的として、カメラ部１１１が撮影した映像データを簡素化する。例えば、映像データに四角形状の本棚がある場合には、外形が同じ寸法の直方体などの形状に簡素化して映像データを簡素化する。

また、映像加工部１５３は、各空間の認知を容易にするための映像加工を行う。例えば、カメラ部１１１が撮影したユーザの目線からの映像データに基づいて、撮影時にユーザが存在した空間を見下ろすように俯瞰した映像データなどを生成する。

表示制御部１５１は、メモリ１２４に格納されている情報データ１２７を適宜組み合わせて表示用データを生成し、ディスプレイ１２２に表示させる。この場合、情報データ１２７は、仮想オブジェクトデータ、カメラ部１１１が撮影する映像データ、および映像加工部１５３が生成する加工後の表示用データなどである。

データ管理部１５２は、カメラ部１１１が撮影する実写映像データ、仮想オブジェクトのデータ、および映像加工部１５３が生成する加工後の表示用データなどを管理する。

制御部１２５は、ＧＰＵ（Graphics Processing Unit）などの各演算処理専用プロセッサを含むＣＰＵ（Central Processing Unit）などから構成されており、メモリ１２４に記憶格納されているプログラム１２６を実行することによって、各機能ブロックを制御してヘッドマウント情報処理装置１００全体の動作を制御する。プログラム１２６は、ヘッドマウント情報処理装置１００のＯＳ（Operating System）や動作制御用アプリケーションなどのプログラムである。

制御部１２５は、操作入力インタフェース１２１から入力される仮想オブジェクト表示指示情報に応じて、第１の現実空間とは別の現実空間に紐付けて配置される仮想オブジェクト群、例えば第２の現実空間などに紐付けて配置される第２の仮想オブジェクト群などを第１の現実空間内に配置して表示するように表示制御部１５１を制御する。これによって、第１の現実空間とは別の現実空間に紐付けられて配置されている仮想オブジェクト群の視認や操作が可能となる。

なお、仮想オブジェクト生成処理部１５５が生成する仮想オブジェクト群をディスプレイ１２２の表示視野内に表示する際には、例えばヘッドマウント情報処理装置１００からの全周囲風景を示す全天球画像をディスプレイ１２２に投影して反映し、反映した全天球画像の所定の位置に仮想オブジェクト郡を配置する。

この場合、制御部１２５は、表示制御部１５１を制御することにより、第１の仮想オブジェクト群と、第１の現実空間とは別の現実空間に紐付けて配置される仮想オブジェクト群、例えば第２の現実空間などに紐付けて配置される第２の仮想オブジェクト群とを第１の現実空間内に配置して表示させる。

また、制御部１２５は、第１の仮想オブジェクト群と第２の現実空間に紐付けられ配置されている第２の仮想オブジェクト群などとを順次切り替えて、ディスプレイ１２２の表示画面に表示するようにしてもよい。

さらに、制御部１２５は、第１の現実空間の視野位置から、第１の仮想オブジェクト群や第１の現実空間とは別の現実空間に紐付けられて配置される仮想オブジェクト群などをディスプレイの表示画面内に併せて配置して表示するようにしてもよい。

また、制御部１２５は、各現実空間に紐付けられて配置されている仮想オブジェクト群を示す各々の表示画面を縮小して並べてマルチ表示し、選択された現実空間の仮想オブジェクト群の表示画面を通常の大きさに戻して表示し、選択された現実空間内に配置された所望の仮想オブジェクトの視認や操作を可能にするようにしてもよい。

あるいは、制御部１２５は、表示視野内に配置された視認しにくい仮想オブジェクトに対して、仮想オブジェクト姿勢操作処理部１５４にて仮想オブジェクトの全体形状が視認しやすいように仮想オブジェクトの拡大縮小や姿勢を操作するように制御し、表示制御部１５１を用いて姿勢操作後の仮想オブジェクトを表示するようにしてもよい。

メモリ１２４は、フラッシュメモリなどに例示される不揮発性メモリであり、制御部１２５が使用する各種のプログラム１２６および情報データ１２７などを記憶する。情報データ１２７は、仮想オブジェクト群のデータ、仮想オブジェクト群の座標位置情報、および実写画像などのデータである。

ディスプレイ１２２は、液晶パネルなどからなり、仮想オブジェクトや現実空間の実写画像などを表示する。また、ディスプレイ１２２は、ユーザへの呈示通知情報や動作状態などの表示内容を画面表示する。

例えば、カメラ部１１１が撮影する実写画像や仮想オブジェクトの表示に際しては、ヘッドマウント情報処理装置１００の全周囲風景を示す全天球画像上の所定の位置に仮想オブジェクトを配置して表示する。また、ディスプレイ１２２は、複数の現実空間に紐付けられた各々の仮想オブジェクト群を表示画面内にマルチ表示する。

右目視線検出部１１２は、ユーザの右目の視線を検出する。左目視線検出部１１３は、ユーザの左目の視線を検出する。なお、視線を検出する処理には、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。

例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射して赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する技術が知られている。

加速度センサ１４３は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き、振動、および衝撃などを捉えることができる。ジャイロセンサ１４４は、回転方向の角速度を検出するセンサであり、縦、横、斜めの姿勢の状態を捉えることができる。よって、加速度センサ１４３およびジャイロセンサ１４４を用いて、ヘッドマウント情報処理装置本体１００を装備しているユーザの頭部の動きを検出することができる。

地磁気センサ１４５は、地球の磁力を検出するセンサであり、ヘッドマウント情報処理装置本体１００の向いている方向を検出する。地磁気センサ１４５は、前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、頭部の動きに対する地磁気変化を捉まえることにより、頭部の動きを検出することも可能である。

これらのセンサにより、ユーザが装着しているヘッドマウント情報処理装置１００の動きや変動を詳しく検出することができる。

深度センサ１４２は、物体までの距離を面で測定する。深度センサ１４２は、例えば、赤外線やレーザなどの反射を利用したものがあるが、取り付け位置の異なる複数のカメラで撮影した画像の視差から距離情報を得るなど、他の方式で実現してもよい。

制御部１２５は、深度センサ１４２で取得した距離情報を解析することにより、手の動き、および身体の動きを検出することが可能である。手の動き、および身体の動きの解析には、カメラ部１１１で撮影された画像から得られる情報を合わせて使用してもよい。

刺激発生部１４６は、制御部１２５の制御によって皮膚で知覚できる刺激を発生させる。刺激発生部１４６は、ヘッドマウント情報処理装置１００で発信されたユーザへの通知情報を皮膚で知覚できる刺激に変換する。

皮膚で知覚できる刺激には、圧力、温感、冷感、あるいは電気刺激などがある。刺激発生部１４６は、密接装着されているユーザの頭部における皮膚で知覚できる刺激を発生させることにより、ユーザへの通知を確実に伝えることができる。

振動発生部１１７は、制御部１２５の制御によって振動を発生させるものであり、例えばバイブレータ、ハプティクス、あるいはフォースフィードバックなどからなる。振動発生部１１７は、ユーザへの通知情報を振動に変換する。振動発生部１１７は密接装着されているユーザ頭部で振動を発生させることにより、ユーザへの通知を確実に伝えることができる。

外周音マイク１１８および発声音マイク１１９は、外部からの音声やユーザ自身の発声を集音する。発声音マイク１１９は、骨伝導マイクなどの音声入力デバイスであってもよい。

ヘッドフォン１２０は、ユーザの耳部に装着され、ユーザへの音声を聞き取るものであり、ユーザに通知情報を音声で知らしめることができる。ヘッドフォン１２０は、スピーカあるいは骨伝導イヤホンなどの音声出力デバイスであってもよい。

操作入力インタフェース１２１は、例えばキーボードやキーボタン、あるいはタッチパッドなどからなり、ユーザが入力したい情報を設定入力する。操作入力インタフェース１２１は、ユーザが入力操作を行いやすい位置に設ければよい。

操作入力インタフェース１２１は、ヘッドマウント情報処理装置１００の本体から分離し有線または無線などで接続する形態であってもよい。ヘッドマウント情報処理装置１００から分離した入力操作装置の例としては、空間マウスあるいはコントローラ装置などがある。

空間マウスは、ジャイロセンサや加速度センサなどを用いた３次元空間位置入力装置である。コントローラ装置は、身体を映したカメラ映像や、コントローラ装置に内蔵した各種センサ情報などから身体に装着したコントローラ自身の空間位置を検出して入力する。

操作入力インタフェース１２１は、ディスプレイ１２２の表示画面に入力操作画面を表示させて、右目視線検出部１１２および左目視線検出部１１３により検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込むようにしてもよい。

操作入力インタフェース１２１は、ポインタを入力操作画面上に表示させ操作入力インタフェース１２１によりポインタを操作して入力操作情報を取り込んでもよい。また、操作入力インタフェース１２１は、ユーザが入力操作を示す音声を発声し、発声音マイク１１９で集音して入力操作情報を取り込んでもよい。

このように入力操作に発声や表示を用いることにより、頭部に装着されているヘッドマウント情報処理装置の使い勝手を一層向上させることが可能である。

以上の構成により、操作入力インタフェース１２１にて入力された仮想オブジェクト表示を指示する仮想オブジェクト表示要求指示に応じて、第１の現実空間と異なる現実空間に紐付けて配置される仮想オブジェクト群、例えば第２の現実空間に紐付けて配置される第２の仮想オブジェクト群を第１の現実空間に重ねて表示したり、あるいは切り替えて表示することができる。

また、第１の現実空間の視野位置において、他の現実空間にある仮想オブジェクト群を含めた全ての仮想オブジェクト群を表示することにより、他の現実空間にある仮想オブジェクトの閲覧や操作を容易にすることができる。さらに、仮想オブジェクト群が多数ある場合には、目的の仮想オブジェクトがどの現実空間にあったかが分からなくなるようなことを解消することができる。

また、見ている現実空間を移動することなく、別の現実空間に配置された仮想オブジェクトを操作することが可能となる。例えば、現実空間Ａの壁に仮想オブジェクトとしてカレンダーを配置している状態で、別の現実空間Ｂで予定を確認あるいは予定を書き込む場合、ユーザは、現実空間Ａまで移動することなく、仮想オブジェクトのカレンダーを閲覧、操作することができる。

この例は、仮想オブジェクトであるカレンダーに対する変形操作であり、仮想オブジェクト変形操作処理部１５６によって処理される。仮想オブジェクト変形操作処理部１５６による変形操作の結果は、元のオブジェクトに反映されるため、例えば、現実空間Ｂから現実空間Ａの壁のカレンダーに変形操作として予定Ｚを書き込むと、実際の現実空間Ａで壁のカレンダーを見ても書き込んだ予定Ｚを視認することができる。

〈ヘッドマウント情報処理装置の動作例〉
続いて、ヘッドマウント情報処理装置１００の動作について説明する。

図２は、図１のヘッドマウント情報処理装置１００における使用状況の周囲全景の一例を示す説明図である。図３は、図１のヘッドマウント情報処理装置１００による仮想オブジェクト群の一覧表示の一例を示す説明図である。図３は、図２に示す使用状況の周囲全景において、一覧表示した仮想オブジェクト群をディスプレイ１２２の表示画面内に収めて配置させた際の表示例を示したものである。

図２において、ヘッドマウント情報処理装置１００を装着しているユーザ２００は、第１の部屋２０１の中央に位置しており、後方の出入口ドア２０２と逆の方向２０３を見ている状態である。

ユーザ２００の前方正面側には、机２０４およびパソコン２０５が置かれており、ユーザ２００の背面側には、本棚２０６が置かれている。仮想オブジェクト２１１～２１３は、第１の仮想オブジェクト群であり、仮想オブジェクト生成処理部１５５により生成される。

仮想オブジェクト２１１は、ユーザ２００の前方正面に配置されている。仮想オブジェクト２１２は、机２０４の右側に配置されている。仮想オブジェクト２１３は、ユーザ後方の本棚２０６の右側に配置されている。

図２に示す第１の部屋２０１の周囲全景状態において、ユーザ２００は、第１の部屋２０１の方向２０３に映される第１の現実空間を直接目視して、あるいはカメラ部１１１にて撮影した現実画像をディスプレイ１２２にて表示して視認する。

第１の仮想オブジェクト群の視認については、図３に示すように、各々の仮想オブジェクト２１１～２１３を一覧表示する。この一覧表示は、カメラ部１１１が撮影する全天球画像をディスプレイ１２２の表示画面上に投影して反映し、投影反映した全天球画像に全ての仮想オブジェクトを表示する。このとき、仮想オブジェクト２１１～２１３は、それぞれ所定の位置に配置される。

表示制御部１５１は、データ管理部１５２が読み出したデータに基づいて、仮想オブジェクト２１１～２１３をディスプレイ１２２に表示する。データ管理部１５２は、メモリ１２４に情報データ１２７として記録されている仮想オブジェクト２１１～２１３の形状データおよび配置座標データを読み出して表示制御部１５１に出力する。その際、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行う。

これにより、周囲全景に存在する全ての仮想オブジェクトを存在位置とともに、視認することができる。

なお、図３の点線にて示した部分は、実写物体であり、実写物体と仮想オブジェクトとの位置関係を分かりやすく示すためのものである。よって、この点線にて示す実写物体については、表示を行わなくてもよい。

図４は、図３の仮想オブジェクト群の一覧表示の他の例を示す説明図である。図４は、点線にて示す実写物体を表示せずに仮想オブジェクト２１１～２１３のみを表示している例を示している。

図５は、図４の仮想オブジェクト群の一覧表示の他の例を示す説明図である。周囲全景に存在する全ての仮想オブジェクトを表示させる際には、図５に示すように、図３の点線で示した机２０４、パソコン２０５、および本棚２０６という実写物体を背景画像として表示してもよい。これにより、現実空間の机２０４、パソコン２０５、および本棚２０６と、仮想オブジェクト２１１～２１３との位置関係をより認識しやすくすることができる。

例えば、図２に示したように仮想オブジェクト２１３が背面の本棚２０６の右側上方にある場合、仮想オブジェクト２１３の左側下方に背景画像として本棚２０６が表示されていれば、仮想オブジェクト位置を認識しやすくできる。

以上は、表示制御部１５１が仮想オブジェクトなどの表示用データを生成し、ディスプレイ１２２に表示させる。表示制御部１５１は、メモリ１２４から情報データ１２７に含まれるオブジェクトの形状や表示位置などのデータ、およびカメラ部１１１が撮影した背景映像や映像加工部１５３が生成したデータなどを読み込み、読み込んだデータから表示データを生成する。

また、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行い、画面上の対応した位置に仮想オブジェクトが表示されるように表示位置、大きさ、および形状などを調整する。この調整は、仮想オブジェクト姿勢操作処理部１５４がメモリ１２４に記録されているプログラム１２６の命令に基づいて実行される。

なお、全周囲風景を示す全天球画像は、一度に全天球の画像を撮影できる全立体角全天球カメラを使用して取得してもよい。あるいは、通常画角のカメラで撮影した複数の画像を映像加工部１５３でつなぎ合わせて生成してもよい。

また、風景画像の表示は、取得できた一部の範囲だけの画像を用いてもよい。例えば、全立体角の上半分の半球画像など、全天球でなく一部の範囲の画像でほぼ全ての仮想オブジェクトの存在を視認可能な場合である。

図６は、図１のヘッドマウント情報処理装置１００における使用状況の一例を示す説明図である。図７は、図６の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。

図６は、ヘッドマウント情報処理装置１００を装着しているユーザ２００が第２の部屋４０１の出入口ドア４０２付近に位置しており、第２の部屋４０１の室内方向４０３を見ている状態を示している。また、ユーザ２００の前方正面側には、テレビ台４０４およびテレビ４０５が設置されている。ユーザ２００から見て右側の壁には、棚４０６が設置されている。

仮想オブジェクト生成処理部１５５が生成する第２の仮想オブジェクト群は、仮想オブジェクト４１１～４１３からなる。図７において、仮想オブジェクト４１１は、テレビ４０５の後方上側に位置している。仮想オブジェクト４１２は、テレビ４０５の後方右側に位置している。仮想オブジェクト４１３は、出入口ドア４０２の左側壁近傍に位置している。

図６に示した第２の部屋４０１の周囲全景において、ユーザ２００は、室内方向４０３に映される第２の現実空間を直接目視して、あるいはカメラ部１１１にて撮影した現実空間の画像をディスプレイ１２２で表示して視認する。

第２の仮想オブジェクト群の視認については、図７に示すように、全周囲風景を示す全天球画像をディスプレイ１２２の表示画面上に投影して反映し、投影反映された全天球画像にて所定の位置に各仮想オブジェクト４１１～４１３を配置して一覧表示する。

これにより、図３の場合と同様に、周囲全景に存在する全ての仮想オブジェクトの存在を、存在位置とともに視認することができる。また、全周囲全景に存在する全ての仮想オブジェクトを表示させる際には、図７の点線で示したテレビ台４０４、テレビ４０５、棚４０６という実写物体を背景画像として表示してもよい。

これにより、現実空間と仮想オブジェクトとの位置関係を認識しやすくすることができる。なお、ディスプレイ１２２に表示処理については、図３と同様であるので、説明は省略する。

図８は、図６の使用状況の他の例を示した説明図である。図９は、図８の周囲全景例における一覧表示させた仮想オブジェクト群の表示画面の一例を示す説明図である。図８においては、ヘッドマウント情報処理装置１００を装着しているユーザ２００が第３の部屋６０１内の中央に位置しており、出入口ドア６０２を背後に左横の方向６０３に見ている状態を示している。
ユーザ２００の前方正面には、ボード６０４が位置しており、ユーザ２００の右側には、窓６０５が位置している。また、窓６０５の右横には、時計６０６が配置されている。

仮想オブジェクト生成処理部１５５が生成する第３の仮想オブジェクト群は、仮想オブジェクト６１１～６１３からなる。図８において、仮想オブジェクト６１１は、ボード６０４の左側に位置しており、仮想オブジェクト６１２は、窓６０５の上方に位置している。仮想オブジェクト６１３は、ユーザ２００の後方に位置している。

図８に示した第３の部屋６０１内の周囲全景状態において、ユーザ２００は、方向６０３に映される第３の現実空間を直接目視して、あるいはカメラ部１１１にて撮影した現実空間の画像をディスプレイ１２２で表示して視認する。

第３の仮想オブジェクト群の視認については、図９に示すように、全周囲風景を示す全天球画像をディスプレイ１２２の表示画面上に投影して反映し、投影反映された全天球画像にて存在する位置に各仮想オブジェクト６１１～６１３を配置して、全ての仮想オブジェクト６１１～６１３を一覧表示する。

これにより、図３、図７の場合と同様に、周囲全景に存在する全ての仮想オブジェクトの存在を、存在位置とともに視認することができる。また、全周囲全景に存在する全ての仮想オブジェクトを表示させる際には、図９の点線で示したボード６０４、窓６０５、および時計６０６などの実写物体を背景画像として表示してもよい。

これにより、現実空間と仮想オブジェクトとの位置関係を認識しやすくすることができる。なお、ディスプレイ１２２に表示処理については、図３と同様であるので、説明は省略する。

図１０は、図１のヘッドマウント情報処理装置による仮想オブジェクト群の表示の一例を示す説明図である。図３、図７、および図９に示した例では、各々の現実空間に紐付けられて配置された仮想オブジェクト群を各々の現実空間で視認するものであった。しかし、これらの例では、今映している現実空間とは別の現実空間に紐付けられて配置された仮想オブジェクト群を今映している現実空間で視認することができない。

図１０では、各々の現実空間の視野位置のまま、各々の現実空間に紐付けられて配置された各々の仮想オブジェクト群をディスプレイ１２２の表示画面に重ねて配置した表示例について説明する。

図１０において、図３、図７、図９に示され同一の符号を付された部分は、図３、図７、図９で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

図１０は、現在映している第１の現実空間において、第１の現実空間に紐付けられて配置されている第１の仮想オブジェクト群に加え、第２の現実空間に紐付けられて配置される第２の仮想オブジェクト群と、第３の現実空間に紐付けられて配置される第３の仮想オブジェクト群とをディスプレイ１２２の表示画面内に重ねて表示した状態を示している。

第１の仮想オブジェクト群は、仮想オブジェクト２１１，２１２，２１３からなる。第２の仮想オブジェクト群は、仮想オブジェクト４１１，４１２，４１３からなる。第３の仮想オブジェクト群は仮想オブジェクト６１１，６１２，６１３からなる。

図１０に示すように、別の現実空間に配置された仮想オブジェクト４１１～４１３，６１１～６１３を現在いる現実空間に配置して重ねて表示することにより、別の現実空間に紐付けられ配置された仮想オブジェクトをも全て、現実空間を切り替えることなく視認することができる。

これにより、現実空間および仮想オブジェクト群が多数あっても、全ての仮想オブジェクトが表示されている表示画面の中から所望の仮想オブジェクトを簡単に視認することができる。さらに、選択した仮想オブジェクトの修正などの所望の操作を容易に行うことが可能となる。その結果、使い勝手を向上することができる。

以上の動作は、表示制御部１５１がディスプレイ１２２に表示するものである。また、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行う。

仮想オブジェクト姿勢操作処理部１５４は、メモリ１２４に格納されるプログラム１２６の命令に従い、画面上の対応した位置に仮想オブジェクトが表示されるように表示位置および大きさ、形状などを調整する。表示制御部１５１は、仮想オブジェクト姿勢操作処理部１５４が調整したデータから表示データを生成してディスプレイ１２２に表示させる。

図１１は、図１０の仮想オブジェクト群の表示の他の例を示す説明図である。図１１では、ディスプレイ１２２の表示画面内に表示された仮想オブジェクトがほぼ同じ座標位置に配置され、仮想オブジェクトが重複して表示される例を示している。

図１１において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

図１０に示す仮想オブジェクト２１２，４１２は、ほぼ同じ座標位置に重複して配置された仮想オブジェクトであり、重複することによって視認性が低下する。そこで、重複して表示される仮想オブジェクト２１２，４１２を、図１１に示すように仮想オブジェクト９０１、９０２を重複しない座標位置にずらして表示する。

また、元々の仮想オブジェクト２１２、４１２が配置されていた座標位置には、印９０３を表示するとともに、座標位置をずらして配置表示された仮想オブジェクト９０１，９０２と印９０３との間は、仮想ライン９０４，９０５にて繋いで表示する。

このように、ほぼ同じ位置に重複して配置表示された仮想オブジェクトをずらして表示することにより、仮想オブジェクトが重複することなく表示することができる。また、印９０３を表示させることにより、仮想オブジェクトの元々の配置されていた位置を容易に認識することができる。さらに、仮想ライン９０４，９０５を表示することによって、仮想オブジェクトの視認性を一層向上させることができる。

また、仮想オブジェクトは、表示位置をずらすのではなく、同じ位置に重複して配置表示される仮想オブジェクトを半透明、すなわち透過画像として表示するようにしてもよい。

以上の動作は、表示制御部１５１がディスプレイ１２２に表示するものである。また、仮想オブジェクト姿勢操作処理部１５４は、必要に応じて仮想オブジェクトの姿勢操作を行う。

仮想オブジェクト姿勢操作処理部１５４による姿勢操作は、対応した位置に仮想オブジェクトが表示されるように表示位置、大きさ、および形状などをメモリ１２４に格納されているプログラム１２６に基づいて調整する。

以降、特別に記載のない場合、ディスプレイ１２２への仮想オブジェクトの表示は同様の処理を行うものとする。

また、仮想オブジェクト群の表示は、ユーザが重畳表示される仮想オブジェクト２１２，４１２(図１０）から所望の仮想オブジェクトを選択し、選択した仮想オブジェクトに紐付けられて配置されている現実空間に、同様に紐付けられている仮想オブジェクト群のみを表示するようにしてもよい。その場合、別の仮想空間に紐付けられて配置されている仮想オブジェクト群は非表示にする。

これにより、所望の仮想オブジェクトと同じ現実空間に紐付けられて配置された仮想オブジェクト群の中から、さらに次の所望の仮想オブジェクトを選択する場合に容易に選択を可能にすることができる。

〈仮想オブジェクト群の切り替え表示例〉
図１２は、図１のヘッドマウント情報処理装置１００による仮想オブジェクト群の切り替え表示の一例を示す説明図である。図１２において、図２、図３、図６、図７、図８、図９、および図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、および図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

図１２では、図１１に示したように全ての仮想オブジェクトを重ねて表示するのでなく、各々の現実空間に紐付けられて配置された仮想オブジェクト群を順次切り替えて表示する例を示している。

表示画面１００１は、最初に第１の現実空間に紐付けられて配置される第１の仮想オブジェクト群を表示する表示画面である。表示画面１００２は、第２の現実空間に紐付けられて配置される第２の仮想オブジェクト群を表示する表示画面である。

表示画面１００３は、第３の現実空間に紐付けられて配置される第３の仮想オブジェクト群を表示する表示画面である。表示画面１００４は、第１～第３の現実空間と異なる他の現実空間に紐付けられ配置された仮想オブジェクト群がある場合に表示される表示画面である。これら表示画面１００１～１００４は、順次切り替えてディスプレイ１２２に表示される。

これにより、全ての仮想オブジェクト群を一度に視認するのでなく、各々の現実空間に紐付けられて配置される仮想オブジェクト群のみを順次順番に視認することができる。その結果、各々の仮想オブジェクト群の中から所望の仮想オブジェクトを効率よく視認することができ、視認性をより一層向上させることが可能となる。

また、仮想オブジェクト群の切り替え表示は、例えば操作入力インタフェース１２１からスワイプなどの入力操作により、視認しやすい一定の時間ごとに切り替えて表示するようにしてもよい。これにより、仮想オブジェクトの視認性をさらに高めることができる。

一定時間ごとの仮想オブジェクトの切り替え表示において、より時間をかけて詳しく視認したい場合あるいは逆に短時間で次の画面に切り替えたい場合には、操作入力インタフェース１２１の操作入力により、見ている仮想オブジェクト群の視認時間の増減を変化させるようにすればよい。

表示画面１００１，１００２，１００３の表示に際しては、仮想オブジェクト群だけでなく、仮想オブジェクト群に対応する現実空間の実写画像を背景として表示するようにしてもよい。

この場合、実写画像の背景を表示することにより、仮想オブジェクトの認識を容易にすることが可能になる。なお、実写背景は、図１のカメラ部１１１にて撮影して、メモリ１２４に保存しておけばよい。カメラ部１１１の画角が狭い場合は、個々に撮影した画像をつなぎ合わせて使用してもよい。

〈仮想オブジェクトの拡大縮小および姿勢操作〉
続いて、ヘッドマウント情報処理装置１００による仮想オブジェクトの拡大縮小および姿勢操作の動作について説明する。図１３は、図１のヘッドマウント情報処理装置による仮想オブジェクトの拡大縮小および姿勢操作の一例を示す説明図である。図１４は、図１３の他の例を示す説明図である。

図１３および図１４において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

図１３は、一覧表示された仮想オブジェクト２１１～２１３，４１１～４１３，６１１～６１３の中から、小さくて見づらい仮想オブジェクト６１２を選択して、選択した仮想オブジェクト６１２の視認性を高める例を示している。

この場合、仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト６１２の形状を拡大させる操作を行い、拡大させた仮想オブジェクトを手前の予め定められる位置に移動させて配置し、仮想オブジェクト１１０１として表示させる。その際、表示画面内の背景部分には、全ての仮想オブジェクト２１１～２１３，４１１～４１３，６１１～６１３の一覧表示を残したままとする。

あるいは、仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト６１２を残さずに手前に移動させて拡大操作を行うようにしてもよい。予め定めた位置は、視認しやすい位置を初期値として設定する。この初期値は、予め例えばメモリ１２４に格納される。

また、初期値は、ユーザが操作入力インタフェース１２１によって入力した設定情報を制御部１２５がメモリ１２４に書き込むことによって設定するようにしてもよい。例えば、身体の正面の手の稼動範囲部分を予め定めた位置である初期値として設定することによって、仮想オブジェクトを視認しやすく、姿勢操作および変形操作もしやくなる。

予め定めた位置に仮想オブジェクトを移動させる操作は、ユーザが操作入力インタフェース１２１を用いて任意の仮想オブジェクトを選択することにより、自動で移動配置するようにしてもよい。あるいは、選んだオブジェクトを引き寄せるような自然な操作により手動で配置してもよい。また、配置する際に、ユーザが操作入力インタフェース１２１を用いて拡大率を決定する操作を行い、拡大率を変更してもよい。

以上の動作は、操作入力インタフェース１２１から入力したユーザ操作に従って、制御部１２５が仮想オブジェクト姿勢操作処理部１５４などを制御する。仮想オブジェクト姿勢操作処理部１５４は、選択されたオブジェクトの形状や表示位置の情報を変更する。

表示制御部１５１は、メモリ１２４に記憶されているオブジェクトの形状、表示位置などの情報データ１２７を読み込んでディスプレイ１２２に表示する。

これにより、一覧表示では小さくて見にくかった仮想オブジェクトをよりはっきりと視認することができる。選択した仮想オブジェクトは、制御部１２５の制御により、視認確認した後に表示画面内の背景部分の配置操作前の元の位置に戻される。この動作は、視認確認終了操作後に自動で行われる。

引き続き、別の仮想オブジェクトを選択して手前に移動させて配置する操作を行う場合には、前に選択された仮想オブジェクトが元の位置に戻り、元々の仮想オブジェクトの一覧表示画像が背景として残る。これによって、次の仮想オブジェクトの配置操作、視認確認を容易にすることができる。

全天球画像に仮想オブジェクトを配置する表示では、全ての仮想オブジェクト群の存在を視認することができるが、仮想オブジェクトの全体の形状を視認しにくい場合がある。

そこで、ディスプレイ１２２の表示画面内に配置された視認しにくい仮想オブジェクトに対しては、仮想オブジェクト姿勢操作処理部１５４にて仮想オブジェクトの全体形状が視認しやすいように仮想オブジェクトの姿勢を操作して表示する。

例えば、図１４に示す仮想オブジェクト４１１は、本来立方体の形状であるが、全天球画像の表示形状では立方体と視認特定できない表示形状となる。仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト４１１をまずは姿勢操作しやすい手前の表示位置に拡大させながら移動させる。

その後、仮想オブジェクト姿勢操作処理部１５４は、移動後の仮想オブジェクト４１１を３次元的回転動作含めて回転させて、全体形状が視認しやすい表示形状に姿勢操作することにより、仮想オブジェクト１２０１にて示した表示形状に変換して表示する。

仮想オブジェクト１２０１を視認確認した後は、仮想オブジェクト１２０１を仮想オブジェクト４１１として配置操作前の元の位置に戻してもよい。

このように、仮想オブジェクト姿勢操作処理部１５４が、全体形状が視認しにくい仮想オブジェクトを姿勢操作して、全体形状が視認特定可能な表示形状の仮想オブジェクトに変換することにより、仮想オブジェクトの全体形状および全容を的確に視認把握することが可能となる。

全体形状を視認しやすい表示形状で表示する動作は、ユーザによる姿勢操作を行うことなく、例えば予めメモリ１２４などに記憶された表示形状によって表示してもよい。全体形状が視認しやすい表示形状は、予め仮想オブジェクト生成時の雛形となる形状データに、そのオブジェクトの視認しやすい向き、大きさ、および色などの情報を姿勢情報としてメモリ１２４に記録しておき、その姿勢情報を生成された仮想オブジェクトに引き継いで使用してもよい。また、ユーザが仮想オブジェクト毎に姿勢情報を指定してメモリ１２４に記憶して、表示時に使用してもよい。

〈仮想オブジェクトの変形操作〉
さらに、仮想オブジェクト変形操作処理部１５６は、仮想オブジェクトの変形操作を行うことができる。仮想オブジェクト変形操作処理部１５６は、メモリ１２４に記憶されている仮想オブジェクトの形状および表示位置を読み込んで、選択した仮想オブジェクトの形状および表示位置の情報を変更し、変更した情報をメモリ１２４に書き込む。仮想オブジェクトの形状は、向き、大きさ、角度などを含む。

表示制御部１５１は、メモリ１２４に書き込まれた情報を読み込み、その情報に基づいて変形操作された仮想オブジェクトをディスプレイ１２２に表示する。

仮想オブジェクト変形操作処理部１５６による変形操作の結果は、元の仮想オブジェクトの表示状態にも反映される。変形操作によりオブジェクトの向きを変えた場合は、仮想オブジェクト自身の向きが変わるため、現実空間の風景に重ねて仮想オブジェクトを表示する。例えば図２、図６、および図８に示す通常表示状態においても、仮想オブジェクトは変形操作後の向きで表示される。

変形操作時には、変形前の元の仮想オブジェクトの向きや大きさなどを含む形状を半透過で表示する、あるいは視野内の変形操作に用いない場所に表示するなどにより、変形前の元の仮想オブジェクトと変形後の仮想オブジェクトの向き、大きさなどを含む形状との差分を分かりやすく表示してもよい。

仮想オブジェクトに対して、姿勢操作と変形操作のいずれを行うかについては、例えばヘッドマウント情報処理装置１００に設けられる図示しない操作モード切り替えボタンなどによって操作前に指定する。

姿勢操作と変形操作とを組み合わせて、仮想オブジェクトを姿勢操作により拡大して見やすくした後に、変形操作を行ってもよい。また、姿勢操作により仮想オブジェクトに適用した回転、拡大、および縮小などの操作を変形操作に適用してもよい。

〈他の現実空間の仮想オブジェクト群の表示例〉
続いて、今いる現実空間から他の現実空間に紐付けられて配置されている全ての仮想オブジェクト群を表示する場合の動作を図１５～図１８を用いて説明する。

図１５～図１８において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

図１５は、複数の現実空間における全ての仮想オブジェクトを見る場合の周囲全景の一例を示す説明図である。

図１５において、ヘッドマウント情報処理装置１００を装着しているユーザ２００は、図２の場合と同様、第１の部屋２０１の中央に位置しており、出入口ドア２０２と逆の方向２０３を見ている状態となっている。

また、第１の部屋２０１には、机２０４、パソコン２０５、および本棚２０６が置かれている。第１の部屋２０１には、仮想オブジェクト生成処理部１５５にて生成された第１の仮想オブジェクト群として、図２と同様に、仮想オブジェクト２１１、２１２、２１３がそれぞれ配置されている。

第１の部屋２０１の左隣には、第２の部屋４０１が配置されており、第１の部屋２０１の右隣には、第３の部屋６０１が配置されている。第２の部屋４０１には、テレビ台４０４、テレビ４０５、および棚４０６が置かれている。

第２の部屋４０１には、仮想オブジェクト生成処理部１５５にて生成された第２の仮想オブジェクト群として、図６と同様に仮想オブジェクト４１１、４１２、４１３がそれぞれ配置されている。

第３の部屋６０１には、ボード６０４、窓６０５、および時計６０６がそれぞれ配置されており、図８と同様に仮想オブジェクト生成処理部１５５にて生成された第３の仮想オブジェクト群として、仮想オブジェクト６１１、６１２、６１３がそれぞれ配置されている。

図１６は、図１５の後方の出入口ドア２０２と逆の方向２０３から見た状態における仮想オブジェクトの表示の一例を示す説明図である。図１６に示すように、部屋壁など現実空間を仕切るものを透かして、別の現実空間に紐付けられて配置されている仮想オブジェクト４１１～４１３，６１１～６１３を表示画面内に表示する。

これにより、現実空間に拘らず全ての仮想オブジェクト２１１～２１３，４１１～４１３，６１１～６１３を容易に視認することが可能となり、所望の仮想オブジェクトの選択に当たり使い勝手の向上を実現することができる。

仮想オブジェクトは、その表示位置によって、仮想オブジェクトが紐付けられて配置されている現実空間を容易に認識することができるように表示されている。

例えば図１６において、仮想オブジェクト６１１～６１３は、表示画面の右側に位置して表示されており、これにより、図１５の第３の部屋６０１に紐付けられて配置されている仮想オブジェクト群であることを容易に認識することができる。

同様に、仮想オブジェクト４１１～４１３は、表示画面の左側に位置して表示されており、これにより、図１５の第２の部屋４０１に紐付けられて配置されている仮想オブジェクト群であることを容易に認識することができる。

図１７は、図１６の仮想オブジェクトの表示の他の例を示す説明図である。ここで、図１６に示した表示例では、別の部屋すなわち別の現実空間が遠くにあると、その現実空間に紐付けられて配置される仮想オブジェクト群が小さく表示されてしまい、視認がしにくくなる恐れがある。

そのような場合には、仮想オブジェクト４１１～４１３を拡大して、仮想オブジェクト１５１４～１５１６として表示する。同様に、仮想オブジェクト６１１～６１３を拡大して、仮想オブジェクト１５１１～１５１３として表示する。

仮想オブジェクト姿勢操作処理部１５４は、仮想オブジェクト４１１～４１３，６１１～６１３に対して形状拡大の操作をそれぞれ行い、拡大した仮想オブジェクト１５１１～１５１６を生成する。

これにより、小さくて見にくい仮想オブジェクトをよりはっきりと視認することができる。なお、仮想オブジェクト姿勢操作処理部１５４による仮想オブジェクトの形状拡大操作に際しては、扱いやすく見やすい大きさに拡大すればよい。

また、仮想オブジェクト１５１１については、前述の予め指定された姿勢情報に基づき、図１６の仮想オブジェクト４１１を全体形状が視認しやすい表示形状に表示を行っている。ユーザの指定により、一部の仮想オブジェクト、もしくは仮想オブジェクト全数を、全体形状が視認しやすい表示形状で表示してもよい。

図１６に示したように、今いる現実空間から別の現実空間をさえぎり仕切る部屋壁などを透かして全ての仮想オブジェクトを表示することにより、選択した仮想オブジェクトが紐付けられて配置されている現実空間の特定を容易にすることができる。

図１８は、図１６の仮想オブジェクト群の一覧表示の他の例を示す説明図である。図１８は、図１０の表示から図１６の表示に移行した際の表示例を示している。仮想オブジェクト６１１ａ、６１２ａ、６１３ａは、図１０に示す仮想オブジェクトである。仮想オブジェクト６１１ｂ，６１２ｂ，６１３ｂは、図１０の表示例から図１６の表示例に移行した際の仮想オブジェクトである。

すなわち図１０の表示から図１６の表示に移行すると、図１８に示すように、仮想オブジェクト６１１ａ、６１２ａ、６１３ａが、仮想オブジェクト６１１ｂ，６１２ｂ，６１３ｂとして表示画面右側部分に集まるように移動する。

これによって、これら仮想オブジェクト６１１ｂ，６１２ｂ，６１３ｂが、第１の部屋２０１の画面右側に位置する第３の部屋６０１の第３の現実空間に紐付けられて配置された仮想オブジェクトであることを容易に認識することができる。

この表示移行に際しては、ユーザが目で追える速度などゆっくりと少しずつ移行させることにより、移動する仮想オブジェクト群がどの現実空間に紐付けられて配置された仮想オブジェクトであるかを確実に視認できる。

図１８では、任意の仮想オブジェクト群を移動させる例を説明したが、全ての仮想オブジェクトを一斉に移動させるようにしてもよい。また、選択した１つあるいは複数の仮想オブジェクトのみを動かして表示し、選択していない他の仮想オブジェクトについては非表示にしてもよい。

続いて、各々の現実空間に紐付けられて配置されている仮想オブジェクト群をマルチ表示する場合について説明する。

図１９は、図１のヘッドマウント情報処理装置によるマルチ表示画面の一例を示す説明図である。図１９は、図３、図７、および図９に示した表示画面を縮小して、ディスプレイ１２２の表示画面にマルチ表示する例を示したものである。

図１７において、図２、図３、図６、図７、図８、図９、図１０に示され同一の符号を付された部分は、図２、図３、図６、図７、図８、図９、図１０で既に説明した動作と同一の動作を有するので、それらの詳細説明は省略する。

図１９において、ディスプレイ１２２の表示画面には、左上方から順に表示画面１７０１、表示画面１７０２、表示画面１７０３、および表示画面１７０４がそれぞれ表示されている。

表示画面１７０１には、第１の現実空間に紐付けられて配置される第１の仮想オブジェクト群が表示されている。表示画面１７０２には、第２の現実空間に紐付けられて配置される第２の仮想オブジェクト群が表示されている。表示画面１７０３には、第３の現実空間に紐付けられて配置される第３の仮想オブジェクト群が表示されている。表示画面１７０４には、第４の現実空間に紐付けられて配置される第４の仮想オブジェクト群が表示されている。

第４の仮想オブジェクト群を表示する表示画面１７０４では、ビル群、車、人間などの風景からなる第４の現実空間に対し、仮想オブジェクト１７０５，１７０６が紐付けられ配置されている。

所望の仮想オブジェクトを選択する場合、ユーザは、図１９に示した各現実空間に紐付けられて配置された仮想オブジェクト群を縮小して並べてマルチ表示した表示画面１７０１～１７０４を検索する。その後、選択した仮想オブジェクトが存在する表示画面を通常のフル表示画面に変えて、所望の仮想オブジェクトを視認しやすい状態にする。

これにより、各々の現実空間に紐付けられ配置された仮想オブジェクト群を表示するマルチ表示画面から、容易に所望の仮想オブジェクトが配置されている現実空間を選ぶことができる。さらに、選択した仮想オブジェクトが紐付けられ配置された仮想オブジェクト群のみを表示して、所望の仮想オブジェクトを見やすい状態で視認することが可能となる。

なお、図１９では、４つの表示画面を表示する４マルチ表示としたが、マルチ表示方法としては、例えば９マルチ表示、１６マルチ表示など、種々のバリエーションがあってもよい。

また、図２０に示すように、複数の空間を俯瞰した形状にて並べて表示するようにしてもよい。この場合、映像加工部１５３が俯瞰した形状の画像の生成を行い、映像加工部１５３が生成した画像を表示制御部１５１がディスプレイ１２２に表示する。これにより、空間をイメージしやすくして所望の仮想オブジェクトが含まれる空間の選択を容易にすることができる。

空間の俯瞰の映像を生成する際には、ユーザ自身のアバターを映像内のユーザが現在いる位置に表示することにより、ユーザ自身が存在している空間を把握しやすくすることができる。

また、表示している複数の空間に他のユーザが存在する場合には、他のユーザが存在している空間上の座標情報を無線通信などにより取得し、俯瞰した空間上の該当する座標位置に表示してもよい。

同様にマルチ表示の画像上にユーザ自身、または他のユーザの存在をアバターや印などによって表示することようにしてもよい。これにより、空間と各ユーザとの位置関係を容易に把握することができる。

ユーザ自身の空間上の位置は、各種センサ情報、例えば深度センサで得られる壁までの距離やカメラ部１１１の撮影画像などを用いて特定することができる。表示するアバターの画像は、予め情報データ１２７としてメモリ１２４に記録する。そして、映像加工部１５３が、メモリ１２４に格納された情報データ１２７を用いて空間の映像に合成する。

他のユーザの座標情報は、他のユーザが身に付けている情報端末の各種センサやカメラなどから取得し、情報端末が有する通信インタフェースから送信する。ヘッドマウント情報処理装置１００は、通信インタフェース１８０４によって直接座標情報を受信する。あるいは、図示しないサーバを経由してヘッドマウント情報処理装置１００が座標情報を受信してもよい。

図２～図１９では、ユーザが存在する現実空間に対して仮想オブジェクトが配置されている状態を例に説明したが、ＶＲなどのユーザが扱う空間自体が仮想空間であり、仮想空間に対して仮想オブジェクトが配置されている場合においても同様の操作が可能である。

また、仮想オブジェクトは、リマインダなどとして活用することができる。仮想オブジェクト生成処理部１５５は、現在いる空間以外の空間に仮想オブジェクトを生成することができる。

この機能を利用することによって、リマインダとして使用することができる。例えば、リビングに居ながら玄関に傘の仮想オブジェクトを仮想オブジェクト生成処理部１５５が生成して配置しておくことで、出かける際に傘を忘れないためのリマインダとなる。

なお、ユーザによる操作入力インタフェース１２１による要求指示、ヘッドマウント情報処理装置１００による操作操作動作、および表示動作などを示す情報などは、ディスプレイ１２２にて表示するようにしてもよい。

あるいは、前述した情報は、ヘッドフォン１２０から音声でユーザに発声したり、ユーザに密着している振動発生部１１７にて振動を発生したり、刺激発生部１４６にて刺激を発生したりして、ユーザに通知するようにしてもよい。

それにより、ユーザにヘッドマウント情報処理装置の稼動状態を確実に知らしめ認識させることができる。

また、ヘッドマウント情報処理装置１００で行われる操作や表示の動作の入力操作は、操作入力インタフェース１２１による入力操作だけではなく、例えばユーザの手などの動きをカメラ部１１１などで検出し、その動きから入力操作を取り込んでもよい。

以上により、仮想オブジェクトが別の現実空間にあっても、仮想オブジェクトの閲覧や操作を容易に行うことができる。

（実施の形態２）
〈ヘッドマウントディスプレイシステムの構成例〉
図２１は、本実施形態２によるヘッドマウントディスプレイシステム１８０１における構成の一例を示すブロック図である。

ヘッドマウントディスプレイシステム１８０１は、図２１に示すようにヘッドマウント情報処理装置１００および仮想オブジェクト生成サーバ装置１８０２から構成されている。ヘッドマウント情報処理装置１００および仮想オブジェクト生成サーバ装置１８０２は、ネットワーク１８０３にそれぞれ接続されている。

図２１に示すヘッドマウント情報処理装置１００は、図１に示した同一符号を付された各機能ブロックの構成に加えて、通信インタフェース１８０４および送受信アンテナ１８０５が新たに設けられている。その一方、図２１のヘッドマウント情報処理装置１００には、仮想オブジェクト生成処理部１５５が設けられていない。

仮想オブジェクト生成サーバ装置１８０２は、仮想オブジェクト生成処理部１８１１、メモリ１８１２、制御部１８１３、通信インタフェース１８１４、および送受信アンテナ１８１５などから構成されている。仮想オブジェクト生成サーバ装置１８０２における各機能ブロックは、バス１８２０を介して相互に接続されている。なお、図２１において、図１の実施例と同一処理部分には同じ符号を付しており、それらの説明は省略する。

ヘッドマウントディスプレイシステム１８０１において、仮想オブジェクト生成サーバ装置１８０２が有する仮想オブジェクト生成処理部１８１１は、仮想オブジェクトを生成する。

メモリ１８１２は、仮想オブジェクト生成処理部１８１１が生成した仮想オブジェクトを保存する。通信インタフェース１８１４は、メモリ１８１２が保存した仮想オブジェクトを送受信アンテナ１８１５から通信ネットワークであるネットワーク１８０３を経由してヘッドマウント情報処理装置１００に送信する。ヘッドマウント情報処理装置１００は、ネットワーク１８０３を経由して送信された仮想オブジェクトを受信する。

また、図２１において、ヘッドマウント情報処理装置１００での仮想オブジェクトの表示処理自体は、実施の形態１と同様であるが、仮想オブジェクトの生成をヘッドマウント情報処理装置１００とは別装置である仮想オブジェクト生成サーバ装置１８０２で行うことが前記実施の形態１と異なる。

仮想オブジェクト生成サーバ装置１８０２において、メモリ１８１２は、ヘッドマウント情報処理装置１００のメモリ１２４と同様、フラッシュメモリなどの不揮発性半導体メモリである。

メモリ１８１２は、仮想オブジェクト生成サーバ装置１８０２の制御部１８１３が使用する各種プログラムや生成された仮想オブジェクトなど記憶する。通信インタフェース１８１４は、ネットワーク１８０３を介してヘッドマウント情報処理装置１００と通信を行う通信インタフェースであり、ヘッドマウント情報処理装置１００と情報の送受信を行う。

制御部１８１３は、例えばＣＰＵなどからなり、メモリ１８１２に記憶格納されているＯＳや動作制御用アプリケーションなどのプログラムを実行することによって、各機能ブロックを制御し、仮想オブジェクト生成サーバ装置１８０２全体を制御する。

制御部１８１３は、仮想オブジェクト生成処理部１８１１による仮想オブジェクトの生成や、生成された仮想オブジェクトのメモリ１８１２への保存などを制御する。また、制御部１８１３は、ヘッドマウント情報処理装置１００からの仮想オブジェクトの送信出力要求に応じて、生成された仮想オブジェクトをヘッドマウント情報処理装置１００に送信するように制御する。

これにより、仮想オブジェクトをヘッドマウント情報処理装置１００でなく、ヘッドマウント情報処理装置１００と分離された仮想オブジェクト生成サーバ装置１８０２が生成することができる。

その結果、取り扱える仮想オブジェクト情報量の大規模化を可能にすることができる。同時に複数の場所で複数のヘッドマウント情報処理装置１００に対してそれぞれ要求された仮想オブジェクトを生成して配信することが可能となる。

以上により、同時に複数のヘッドマウント情報処理装置１００にて別の現実空間に配置される仮想オブジェクトを容易に視認および操作することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

また、上記の各構成、機能、処理部、処理機能などは、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ ヘッドマウント情報処理装置
１１１ カメラ部
１１２ 右目視線検出部
１１３ 左目視線検出部
１１７ 振動発生部
１１８ 外周音マイク
１１９ 発声音マイク
１２０ ヘッドフォン
１２１ 操作入力インタフェース
１２２ ディスプレイ
１２４ メモリ
１２５ 制御部
１４０ バス
１４２ 深度センサ
１４３ 加速度センサ
１４４ ジャイロセンサ
１４５ 地磁気センサ
１４６ 刺激発生部
１５１ 表示制御部
１５２ データ管理部
１５３ 映像加工部
１５４ 仮想オブジェクト姿勢操作処理部
１５５ 仮想オブジェクト生成処理部
１５６ 仮想オブジェクト変形操作処理部
１８０１ ヘッドマウントディスプレイシステム
１８０２ 仮想オブジェクト生成サーバ装置
１８０３ ネットワーク
１８０４ 通信インタフェース
１８０５ 送受信アンテナ
１８１１ 仮想オブジェクト生成処理部
１８１２ メモリ
１８１３ 制御部
１８１４ 通信インタフェース
１８１５ 送受信アンテナ

Claims (14)

1. 情報を入力する操作入力インタフェースと、
   現実空間を撮像するカメラ部と、
   前記カメラ部が撮像する実写画像を表示する表示部と、
   前記表示部を制御する制御部と、
   を備え、
   前記制御部は、前記表示部が表示する仮想オブジェクトを生成する仮想オブジェクト生成処理部を有し、
   前記仮想オブジェクト生成処理部は、ユーザが存在する第１の現実空間に紐付けされて配置される第１の仮想オブジェクトおよび前記第１の現実空間と異なる第２の現実空間に紐付けて配置される第２の仮想オブジェクトを生成し、
   前記制御部は、前記操作入力インタフェースから入力される前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて、前記表示部に前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを表示させ、
   前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複する表示位置を示す表示マーク、および前記表示マークと前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトとを繋ぐ仮想ラインを生成して前記表示部に表示させる、ヘッドマウント情報処理装置。
2. 請求項１記載のヘッドマウント情報処理装置において、
   前記制御部は、前記第２の仮想オブジェクトを前記第２の現実空間に表示する場合と同じ位置座標に表示させる、ヘッドマウント情報処理装置。
3. 請求項２記載のヘッドマウント情報処理装置において、
   前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複して表示される場合、前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトを透過画像として前記表示部に表示させる、ヘッドマウント情報処理装置。
4. 請求項２記載のヘッドマウント情報処理装置において、
   前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複して表示される場合、前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトをずらして前記表示部に表示させる、ヘッドマウント情報処理装置。
5. 請求項１記載のヘッドマウント情報処理装置において、
   前記制御部は、前記操作入力インタフェースから入力される前記仮想オブジェクト表示指示情報に応じて、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとを切り替えて前記表示部に表示させる、ヘッドマウント情報処理装置。
6. 請求項１記載のヘッドマウント情報処理装置において、
   前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとを一定時間毎に切り替えて前記表示部に表示させる、ヘッドマウント情報処理装置。
7. 請求項１記載のヘッドマウント情報処理装置にあって、
   前記制御部は、前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを表示する際に前記カメラ部が撮像する前記第１の現実空間の実写画像を前記表示部に表示させる、ヘッドマウント情報処理装置。
8. 請求項１記載のヘッドマウント情報処理装置において、
   前記制御部は、前記操作入力インタフェースによって選択される前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトの姿勢を操作する仮想オブジェクト姿勢操作処理部を有し、
   前記仮想オブジェクト姿勢操作処理部は、前記仮想オブジェクト姿勢操作処理部が選択した前記第１の仮想オブジェクトまたは第２の仮想オブジェクトの姿勢を操作する、ヘッドマウント情報処理装置。
9. 請求項１記載のヘッドマウント情報処理装置において、
   前記制御部は、前記操作入力インタフェースによって選択される前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトを変形させる変形操作を行う仮想オブジェクト変形操作処理部を有し、
   前記仮想オブジェクト変形操作処理部は、前記仮想オブジェクト変形操作処理部が選択した前記第１の仮想オブジェクトまたは第２の仮想オブジェクトの変形操作する、ヘッドマウント情報処理装置。
10. 請求項１記載のヘッドマウント情報処理装置において、
    前記制御部は、前記第１の現実空間に紐付けされて配置される第１の仮想オブジェクトを表示する第１の表示画面、および前記第２の現実空間に紐付けて配置される第２の仮想オブジェクトを表示する第２の表示画面をそれぞれ生成し、生成した前記第１の表示画面および前記第２の表示画面を並べて前記表示部に表示させる、ヘッドマウント情報処理装置。
11. 請求項１０記載のヘッドマウント情報処理装置において、
    前記制御部は、前記操作入力インタフェースによって前記第１の表示画面または前記第２の表示画面のいずれかが選択された際に選択された画面を拡大して前記表示部に表示させる、ヘッドマウント情報処理装置。
12. 通信ネットワークに接続され、現実空間物体や仮想オブジェクトを表示するヘッドマウント情報処理装置と、
    前記通信ネットワークに接続される仮想オブジェクト生成サーバ装置と、
    を有し、
    前記ヘッドマウント情報処理装置は、
    情報を入力する操作入力インタフェースと、
    前記仮想オブジェクトを表示する表示部と、
    前記表示部を制御する制御部と、
    を備え、
    前記仮想オブジェクト生成サーバ装置は、
    前記仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
    情報を前記通信ネットワークに送受信する通信インタフェースと、
    を備え、
    前記仮想オブジェクト生成処理部は、前記操作入力インタフェースから入力される仮想オブジェクト表示を指示する仮想オブジェクト表示指示情報に応じて、ユーザが存在する第１の現実空間に紐付けされて配置される第１の仮想オブジェクトおよび前記第１の現実空間と異なる第２の現実空間に紐付けて配置される第２の仮想オブジェクトを生成し、
    前記通信インタフェースは、前記仮想オブジェクト生成処理部が生成する前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを前記通信ネットワークに送信し、
    前記制御部は、前記通信ネットワークを経由して送信された前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトを前記表示部に表示させ、
    前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複する表示位置を示す表示マーク、および前記表示マークと前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトとを繋ぐ仮想ラインを生成して前記表示部に表示させる、ヘッドマウントディスプレイシステム。
13. 請求項１２記載のヘッドマウントディスプレイシステムにおいて、
    前記制御部は、前記第２の仮想オブジェクトを前記第２の現実空間に表示する場合と同じ位置座標に表示させる、ヘッドマウントディスプレイシステム。
14. 請求項１３記載のヘッドマウントディスプレイシステムにおいて、
    前記制御部は、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトとが重複して表示される場合、前記第１の仮想オブジェクトおよび前記第２の仮想オブジェクトをずらして前記表示部に表示させる、ヘッドマウントディスプレイシステム。

Images