JP6496391B1 - 表示システム及び表示方法 - Google Patents

Abstract

【課題】ＨＭＤを使用するユーザが、複雑な操作や動作を行うことなく、表示された画像とは異なる画像を表示する表示システムを提供することを目的とする。【解決手段】ユーザの頭部に装着することで利用される表示装置を備えるシステムにおいて、表示装置の表示画面に、表示装置の向きに応じて背景画像を表示し、特定された向きに対応する視軸と、仮想空間内の所定のオブジェクトとが重なる場合に、第一画像とは異なる第二画像を第一画像に重畳させて表示する。【選択図】 図２

Description

本発明は、ユーザの頭部に装着する表示装置を用いた表示システム及び表示方法に関する。

近年、ヘッドマウントディスプレイ（以下、ＨＭＤという）等を用いたＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術がある。例えば、仮想カメラにより撮像された、仮想世界を構成する背景画像をＨＭＤに表示し、ユーザに対して仮想世界に入り込んだような感覚（いわゆる没入感）を与えるものである。

しかし、ＨＭＤの画像解像度は低く、ユーザは、表示された画像の細部について視認できなかった。また、複雑な入力操作を要求すると、ユーザの没入感を損なうおそれがあった。

本発明の少なくとも１つの実施の形態の目的は、ＨＭＤを使用するユーザが、複雑な操作や動作を行うことなく、表示された画像とは異なる画像を表示する表示システムを提供することである。

非限定的な観点によると、本発明に係る表示システムは、ユーザの頭部に装着することで利用される表示装置を備える表示システムであって、表示装置の向きを特定する向き特定手段と、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示する第一表示手段と、特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示する第二表示手段とを備える、表示システムである。

非限定的な観点によると、本発明に係る表示方法は、ユーザの頭部に装着することで利用される表示装置を備えるシステムにおいて実行される表示方法であって、表示装置の向きを特定することと、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示することと、特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示することとを実行する表示方法である。

本発明の各実施形態により１または２以上の不足が解決される。

本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。 本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置の構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置を頭部に装着した場合にユーザの姿勢を特定するための直交座標系を示す図である。 本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。 本発明の実施の形態の少なくとも１つに対応する、実行画面の例である。 本発明の実施の形態の少なくとも１つに対応する、仮想空間の概念を表す図である。 本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。 本発明の実施の形態の少なくとも１つに対応する、仮想カメラにより撮像される画像の一例を示す図である。 本発明の実施の形態の少なくとも１つに対応する、複数の仮想カメラにより撮像される画像の一例を示す図である。 本発明の実施の形態の少なくとも１つに対応する、複数の仮想カメラにより撮像される画像の一例を示す図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。以下、効果に関する記載は、本発明の実施の形態の効果の一側面であり、ここに記載するものに限定されない。また、以下で説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同である。

［第一の実施の形態］
本発明の第一の実施の形態の概要について説明をする。以下では、本発明の第一の実施の形態として、ユーザの頭部に装着することで利用される表示装置を備える表示システムを例示して説明をする。

図１は、本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。表示システム１は、向き特定部１０１、第一表示部１０２、及び第二表示部１０３を少なくとも備える。

向き特定部１０１は、表示装置の向きを特定する機能を有する。第一表示部１０２は、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示する機能を有する。第二表示部１０３は、特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示する機能を有する。

本発明の第一の実施の形態における実行処理について説明する。図２は、本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。

表示システム１は、向き特定部１０１により、ユーザの頭部に装着することで利用される表示装置の向きを特定する（ステップＳ１）。表示システム１は、表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示する（ステップＳ２）。表示システム１は、特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示し（ステップＳ３）、終了する。

第一の実施の形態の一側面として、複雑な操作や動作を行わなくても、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示することができる。

第一の実施の形態において、「頭部に装着」とは、例えば、帽子のように頭に被ること、眼鏡のように顔に付けること、あるいは、その他頭部の一部に付着させることをいい、身体の一部から延長させて頭部を覆うような場合も含む概念である。「表示装置」とは、例えば、両眼あるいは単眼で画像を視認可能な表示装置であって、装着すると外の様子を見ることができない非透過型や、眼鏡のように透明な部材で外の様子を見ることが可能な透過型を含むものである。「向き」とは、例えば、単に物体の方向や角度だけでなく、加速度のような単位時間の変化量に関する方向を含む概念である。「仮想空間」とは、例えば、プログラム及びデータにより定義される空間であって、コンピュータにより生成される仮想的な空間をいう。「第一画像」とは、例えば、仮想空間の状態を示す画像をいう。「視軸」とは、例えば、仮想カメラの視点から視線方向に延びる軸をいう。

［第二の実施の形態］
本発明の第二の実施の形態の概要について説明をする。以下では、本発明の第二の実施の形態として、ユーザの頭部に装着することで利用される表示装置を備える表示システムを例示して説明をする。

表示システムの構成に関しては、図１に記載された内容を必要な範囲で採用できる。実行処理のフローチャートに関しては、図２に記載された内容を必要な範囲で採用できる。

第二の実施の形態の一例として、視軸が仮想空間内の所定のオブジェクトと重なった状態が、所定の時間継続した場合に、第二表示部１０３が表示領域上に第二画像を表示することが好ましい。

第二の実施の形態の一側面として、複雑な操作や動作を行わなくても、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示することができる。

第二の実施の形態の一側面として、視軸と仮想空間内の所定のオブジェクトとが重なった状態が所定の時間継続した場合に、第二画像を表示することで、ユーザが意図しない第二画像の表示を抑制し、ユーザが表示することを意図した第二画像だけを表示可能にして、利便性を向上させることができる。

第二の実施の形態において、「頭部に装着」、「表示装置」、「向き」、「仮想空間」、「第一画像」、及び「視軸」とは、それぞれ第一の実施の形態において記載した内容を必要な範囲で採用できる。

［第三の実施の形態］
本発明の第三の実施の形態の概要について説明をする。以下では、本発明の第三の実施の形態として、ユーザの頭部に装着することで利用される表示装置を備える表示システムを例示して説明をする。

表示システムの構成に関しては、図１に記載された内容を必要な範囲で採用できる。実行処理のフローチャートに関しては、図２に記載された内容を必要な範囲で採用できる。

第三の実施の形態の一例として、視軸が仮想空間内の第１オブジェクトと重なった状態が所定の時間継続することで、第二表示部１０３が表示領域上に第１オブジェクトに対応する第二画像を表示した後に、視軸が仮想空間内の第２オブジェクトと重なった状態が所定の時間継続した場合に、第二表示部１０３が表示領域上に第１オブジェクトに対応する第二画像に代えて、該第２オブジェクトに対応する第二画像を表示することが好ましい。

第三の実施の形態の一側面として、複雑な操作や動作を行わなくても、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示することができる。

第三の実施の形態の一側面として、視軸と仮想空間内の所定のオブジェクトとが重なった状態が所定の時間継続した場合に、第二画像を表示することで、ユーザが意図しない第二画像の表示を抑制し、ユーザが表示することを意図した第二画像だけを表示可能にして、利便性を向上させることができる。

第三の実施の形態の一側面として、第１オブジェクトに対応する第二画像を表示した後に、視軸が第２オブジェクトと所定の時間継続して重なった場合に、第１オブジェクトに対応する第二画像に代えて、第２オブジェクトに対応する第二画像を表示することで、視軸をオブジェクトに重ねるだけで第二画像の表示を更新することができ、ユーザの操作性をより向上させることができる。複数の第二画像を表示しないため、処理負荷の軽減にも寄与する。

第三の実施の形態において、「頭部に装着」、「表示装置」、「向き」、「仮想空間」、「第一画像」、及び「視軸」とは、それぞれ第一の実施の形態において記載した内容を必要な範囲で採用できる。

［第四の実施の形態］
次に、本発明の第四の実施の形態の概要について説明する。本発明の第四の実施の形態として、ユーザの頭部に装着することで利用される表示装置を備える表示システムを例示して説明をする。

図３は、本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。図３（ａ）は、表示システムの構成に関する１つの例を表す図である。表示システム１は、動きや向きを検知するためのセンサを搭載したディスプレイ装置２０１と、光線を照射する照射装置２０２と、ディスプレイ装置２０１にて表示される画像を生成又は処理するコンピュータ装置２０３と、センサを搭載したコントローラ２０４とから構成される。

ディスプレイ装置２０１は、視界を覆うようにして頭部に装着するゴーグル型の表示装置であることが好ましい。ディスプレイは高い透過率を有する透過型ディスプレイであっても、低い透過率を有する非透過型ディスプレイであってもよい。また、ディスプレイ装置２０１は、搭載された複数のセンサを用いて、ユーザの姿勢を特定することができる。ディスプレイ装置２０１の構成については後述する。

照射装置２０２は、広範囲にレーザ光線を照射する装置である。照射装置２０２の周囲にレーザ光線が照射されると、ディスプレイ装置２０１及びコントローラ２０４に搭載された光センサによってレーザ光線が感知され、ディスプレイ装置２０１及びコントローラ２０４の位置を特定する。この位置特定方法は、「Ｌｉｇｈｔｈｏｕｓｅ方式」と呼ばれるものである。照射装置２０２は、より正確に位置を特定するために、所定の間隔を空けて少なくとも２台設置されることが好ましい。

コンピュータ装置２０３は、ディスプレイ装置２０１及びコントローラ２０４と通信により接続可能である。通信は、有線又は無線によるものであってもよい。コンピュータ装置２０３は、ディスプレイ装置２０１と互いに独立した装置であってもよいし、ディスプレイ装置２０１に組み込まれた一体の装置であってもよい。

コントローラ２０４は、ボタンとトリガを備え、ユーザの操作により入力を受け付ける入力装置である。また、光センサが搭載されており、照射装置２０２から照射されたレーザ光線を感知することができる。さらに、タッチセンサが搭載されており、ユーザの接触による入力を受け付けることができる。コントローラ２０４は、一対にして左右の手に把持して使用するものであるが、いずれか１つのみを使用するものであってもよい。

図３（ｂ）は、図３（ａ）に示す表示システムとは異なる表示システムの構成に関する１つの例を表す図である。図３（ｂ）に示す表示システムは、光源となる発光部を備えるディスプレイ装置２５１と、ディスプレイ装置２５１やコントローラ２５４の光源となる発光部から発せられた光を撮影する撮影装置２５２と、ディスプレイ装置２５１にて表示される画像を生成又は処理するコンピュータ装置２５３と、光源となる発光部を備えるコントローラ２５４とから構成される。

ディスプレイ装置２５１は、ディスプレイ装置２０１と同様に、視界を覆うようにして頭部に装着するゴーグル型の表示装置であることが好ましい。ディスプレイは高い透過率を有する透過型ディスプレイであっても、低い透過率を有する非透過型ディスプレイであってもよい。

撮影装置２５２は、ディスプレイ装置２５１及びコントローラ２５４の光源となる発光部から発せられた光を撮影することにより、ディスプレイ装置２５１及びコントローラ２５４の位置を特定するための装置である。

コンピュータ装置２５３は、ディスプレイ装置２５１及びコントローラ２５４と通信により接続可能である。通信は、有線又は無線によるものであってもよい。

コントローラ２５４は、ボタンを備え、ユーザの操作により入力を受け付ける入力装置である。光源となる発光部を備え、コントローラ２５４から発せられた光を撮影装置２５２が撮影することにより、コントローラ２５４の位置を特定する。コントローラは手に把持するものであり、対にして使用することが好ましいが、１つのコントローラを使用するものとしてもよい。

以下の説明において、本発明の実施の形態においては、図３（ａ）に示した方式により、ディスプレイ装置２０１及びコントローラ２０４の位置を特定するものとしたが、本発明はこの方式に限定されない。例えば、図３（ｂ）に示した方式や、頭部以外の身体の一部に装着し、ディスプレイ装置２０１及びコントローラ２０４の位置を特定する方式であってもよい。

ディスプレイ装置２０１に表示される画像は、ディスプレイ装置２０１に搭載されたセンサにより測定された値、及び、コントローラ２０４へのユーザの入力操作に基づいて、コンピュータ装置２０３により生成又は処理された画像である。

ここで、ディスプレイ装置２０１の構成について説明する。図４は、本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置の構成を示すブロック図である。ディスプレイ装置２０１は、制御部１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ストレージ部１３、撮像部１４、グラフィックス処理部１５、表示部１６、センサ部１８、通信インタフェース１９、インタフェース部２０、及びレンズ２１からなり、それぞれ内部バスにより接続されている。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）から構成される。制御部１１は、ストレージ部１３に格納されたプログラムを実行し、ディスプレイ装置２０１の制御を行う。ＲＡＭ１２は、制御部１１のワークエリアである。ストレージ部１３は、プログラムやデータを保存するための記憶領域である。

制御部１１は、プログラム及びデータをＲＡＭ１２及びストレージ部１３から読み出して処理を行う。制御部１１は、ＲＡＭ１２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部１５に出力する。さらに、制御部１１は、センサ部１８において測定された各種の値に基づいて処理を行う、あるいは、インタフェース部２０を介してコンピュータ装置３へデータを送信する。

撮像部１４は、レンズ２１を介して撮影した画像をグラフィックス処理部１５へ出力する。ディスプレイ装置２０１を頭部に装着することによって視界が覆われる場合には、装置外部の情報を確認することができないため、後述する表示部１６が備える表示画面１７に、撮像部１４により撮像された情報を表示させることで、ユーザは現実空間を認識することができ、安全性を確保することができる。

グラフィックス処理部１５は、フレーム単位で１枚の画像の描画を実行する。画像の１フレーム時間は、例えば３０分の１秒である。グラフィックス処理部１５は、描画に関する演算処理の一部を受け持ち、システム全体の負荷を分散させる役割を有する。

表示部１６は、表示画面１７を備え、ユーザの視界を覆うディスプレイ装置２０１のゴーグル内部に設置される。表示画面１７には、例えば、有機ＥＬや無機ＥＬが使用されるが、これに限定されるものではなく、スマートフォン等のディスプレイを備える端末装置を組み込むようにしてもよい。

センサ部１８は、近接センサ１８ａ、赤外線センサ１８ｂ、ジャイロセンサ１８ｃ、及び、加速度センサ１８ｄを少なくとも備える。近接センサ１８ａは、ディスプレイ装置２０１のゴーグル部分に設置され、ユーザの顔部との接触有無を判定するために用いる。赤外線センサ１８ｂは、ディスプレイ装置２０１に複数設置されるものであり、照射装置２０２から照射された光線を感知することで、ディスプレイ装置２０１の位置を特定するために用いる。ジャイロセンサ１８ｃ、及び加速度センサ１８ｄは、ユーザの姿勢を特定するために用いる。

ここで、図を用いてユーザの姿勢の特定方法について説明する。図５は、本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置を頭部に装着した場合にユーザの姿勢を特定するための直交座標系を示す図である。

図示するように、ディスプレイ装置２０１を装着したユーザの頭部を中心にして、ＸＹＺ座標を規定する。ユーザが直立する垂直方向をＹ軸（ヨー角）、Ｙ軸と直交し、かつ、ディスプレイ装置２０１の表示画面１７の中心とユーザの頭部とを結ぶ方向をＺ軸（ロール角）、Ｙ軸及びＺ軸と直交する方向をＸ軸（ピッチ角）とする。ジャイロセンサ１８ｃでは、各軸回りの角度（傾き）を検出し、加速度センサ１８ｄでは、ディスプレイ装置２０１の動きを検知し、検出された角度及び検知された動きに応じて、表示画面１７に表示される画像を変化させる。ディスプレイ装置２０１は、複数のセンサにより測定された値（以下、姿勢情報という）を用いて、ユーザの姿勢を特定することができる。

続いて、通信インタフェース１９は、無線又は有線により通信回線５に接続が可能であり、通信回線５を介してデータを受信することが可能である。通信インタフェース１９を介して受信したデータは、ＲＡＭ１２にロードされ、制御部１１により演算処理が行われる。

インタフェース部２０は、主にコンピュータ装置２０３と接続され、コンピュータ装置２０３において処理又は生成された画像等のデータを受信することができる。また、センサ部１８において取得した各種センサの測定値をコンピュータ装置２０３へ送信することもできる。

続いて、コンピュータ装置２０３について説明する。図６は、本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。コンピュータ装置２０３は、制御部３１、ＲＡＭ３２、ストレージ部３３、サウンド処理部３４、グラフィックス処理部３５、ＤＶＤ／ＣＤ−ＲＯＭドライブ３６、通信インタフェース３７、インタフェース部３８、及びフレームメモリ３９からなり、それぞれ内部バスにより接続されている。

制御部３１は、ＣＰＵやＲＯＭから構成される。制御部３１は、ストレージ部３３に格納されたプログラムを実行し、コンピュータ装置２０３の制御を行う。また、制御部３１は時間を計時する内部タイマを備えている。ＲＡＭ３２は、制御部３１のワークエリアである。ストレージ部３３は、プログラムやデータを保存するための記憶領域である。

制御部３１は、プログラム及びデータをＲＡＭ３２から読み出して処理を行なう。制御部３１は、ＲＡＭ３２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部３５に出力する。

サウンド処理部３４は、サウンド出力装置４０に接続されている。制御部３１がサウンド出力の指示をサウンド処理部３４に出力すると、サウンド処理部３４はサウンド出力装置４０にサウンド信号を出力する。サウンド出力装置４０は、例えば、ヘッドフォンであり、ユーザがディスプレイ装置２０１とともに頭部に装着してもよいし、スピーカがディスプレイ装置２０１に組み込まれていてもよい。

グラフィックス処理部３５は、フレーム単位で１枚の画像の描画を実行する。画像の１フレーム時間は、例えば９０分の１秒である。グラフィックス処理部３５は描画に関する演算処理の一部を受け持ち、システム全体の負荷を分散させる役割を有する。コンピュータ装置２０３のグラフィックス処理部３５は、ディスプレイ装置２０１の位置情報及び姿勢情報と、コントローラ２０４の位置情報とに基づいて、表示画面１７に表示する画像を生成するため、ディスプレイ装置２０１に含まれるグラフィックス処理部１５よりも高い性能を要する。

ＤＶＤ／ＣＤ−ＲＯＭドライブ３６は、ディスク４１からデータを読み込み、ＲＡＭ３２にロードされ、制御部３１により演算処理が行われる。なお、ディスク４１の種類はＤＶＤ又はＣＤに限らず、Ｂｌｕ−ｒａｙ（登録商標）ディスクやその他の規格であってもよい。

通信インタフェース３７は無線又は有線により通信回線５に接続が可能であり、通信回線５を介してデータを受信することが可能である。通信インタフェース３７を介して受信したデータは、ディスク４１から読み込まれたデータと同様に、ＲＡＭ３２にロードされ、制御部３１により演算処理が行われる。

インタフェース部３８は、主にディスプレイ装置２０１と接続され、コンピュータ装置２０３において処理又は生成された画像等のデータを送信することができる。

なお、上述の説明において、ディスプレイ装置２０１とコンピュータ装置２０３とは別装置として記載したが、ディスプレイ装置２０１によりコンピュータ装置２０３の処理をすべて行うこととしてもよい。この場合には、コンピュータ装置２０３は不要となり、コントローラ２０４はディスプレイ装置２０１と通信により接続される。

続いて、本発明の実施の形態における表示システムの構成について説明する。図７は、本発明の実施の形態の少なくとも１つに対応する、表示システムの構成を示すブロック図である。表示システム１は、角度情報測定部３０１、位置及び向き特定部３０２、情報送信部３０３、情報受信部３０４、視線特定部３０５、交差判定部３０６、計時部３０７、経過時間判定部３０８、仮想カメラ位置特定部３０９、サブウィンドウ画像生成部３１０、コントローラ入力受付判定部３１１、表示画像生成部３１２、画像送信部３１３、画像受信部３１４、及び画像表示部３１５を少なくとも備える。

角度情報測定部３０１は、ディスプレイ装置２０１の姿勢から角度情報を測定する機能を有する。位置及び向き特定部３０２は、ディスプレイ装置２０１に搭載された光センサが、照射装置２０２から照射されたレーザ光線を感知し、ディスプレイ装置２０１の位置及び向きを特定する機能を有する。情報送信部３０３は、ディスプレイ装置２０１において測定された角度情報と特定された位置及び向き情報とをコンピュータ装置２０３へ送信する機能を有する。

情報受信部３０４は、情報送信部３０３により送信された情報を受信する機能を有する。視線特定部３０５は、情報受信部３０４により受信された情報に基づいて、仮想空間におけるユーザの視線を特定する機能を有する。交差判定部３０６は、仮想空間内に配置されたオブジェクトと、視線特定部３０５により特定された視線とが交差するか否かを判定する機能を有する。

計時部３０７は、オブジェクトと視線とが交差したと判定されてから継続して交差していた時間を計時する機能を有する。経過時間判定部３０８は、計時部３０７により計時された時間が、所定の時間を経過したか否かを判定する機能を有する。仮想カメラ位置特定部３０９は、視線特定部３０５により特定された視線と交差するオブジェクトを撮像可能な仮想カメラの位置を特定する機能を有する。

サブウィンドウ画像生成部３１０は、仮想カメラ位置特定部３０９により特定された位置から撮像した画像を生成する機能を有する。コントローラ入力受付判定部３１１は、コントローラ２０４からの入力を受け付けたか否か判定する機能を有する。表示画像生成部３１２は、表示する画像を生成する機能を有する。

画像送信部３１３は、表示画像生成部３１２により生成された表示画像をディスプレイ装置２０１へ送信する機能を有する。画像受信部３１４は、画像送信部３１３により送信された表示画像を受信する機能を有する。画像表示部３１５は、画像受信部３１４により受信された表示画像を表示画面１７に表示する機能を有する。

続いて、本発明の第四の実施の形態における実行処理について説明する。本発明の第四の実施の形態の一例として、コンテンツを閲覧するシステムが挙げられる。より具体的には、コンテンツは複数枚の紙面から構成され、ストーリーの展開に応じて進行する漫画に関するデータであって、漫画の一コマ単位に、ユーザの操作により、漫画の一コマを表す仮想空間に入り込むことができる表示システムである。

図８は、本発明の実施の形態の少なくとも１つに対応する、実行画面の例である。図８（ａ）において、表示画面１７には、漫画の一コマの状況が表示され、キャラクタ４０１と、サブウィンドウ４０２とが表示されている。サブウィンドウ４０２には、表示画面１７に表示された画像を撮像する仮想カメラとは異なる仮想カメラにより撮像された画像が表示される。図８では、キャラクタ４０１の顔が拡大されて表示されている。

図８（ｂ）は、図８（ａ）の状況から、ユーザが視線（以下、視軸ともいう）を左方向へ動かしてディスプレイ装置２０１の向きを変更した実行画面の例である。ユーザが頭部を動かすことで、ユーザに対して図８（ａ）より左側の仮想空間が表示画面１７に表示される。この場合に、サブウィンドウ４０２は、表示画面１７における所定の領域に表示されたままであり、ユーザの頭部の動きに応じて位置が変化しない。所定の領域とは、表示画面１７に含まれる一部の領域であればよく、表示画面１７の右下には限定されない。

サブウィンドウ４０２は、漫画の一コマに関連付けて記憶されることで、漫画の一コマを表す仮想空間に入り込むと常に表示されるように設計してもよい。つまり、表示画面１７に表示される画像が属性情報として、例えば、サブウィンドウ４０２を表示するフラグを有するようにしてもよい。あるいは、画像が示す内容が特定のシーンである場合に、サブウィンドウ４０２を表示するように、画像の内容に応じて表示するものであってもよい。

サブウィンドウ４０２は、所定の条件を満たした場合に表示されるように設計してもよい。所定の条件とは、例えば、コントローラ２０４において入力操作を受け付けられた場合や、ディスプレイ装置２０１の姿勢から特定された向きと仮想カメラの視軸を対応させ、視軸が仮想空間内のオブジェクトと交差したと判定された場合等が挙げられる。

続いて、本発明の第四の実施の形態における、表示画面に表示する画像の生成について説明する。プログラムが実行されると、コンピュータ装置２０３の制御部３１は、プログラムによって定義される仮想空間をグラフィックス処理部３５に出力させる。また、ディスプレイ装置２０１を頭に装着したユーザの位置、及び、コントローラ２０４の位置を、照射装置２０２から照射された光線を受光した位置及び方向に基づいて特定する。さらに、ディスプレイ装置２０１のセンサ部１８の各種センサの測定値により、ディスプレイ装置２０１の姿勢を特定する。

プログラムによって定義される仮想空間について説明する。図９は、本発明の実施の形態の少なくとも１つに対応する、仮想空間の概念を表す図である。プログラムにより定義される仮想空間７０が、図示するように半球状の空間で表される場合に、ディスプレイ装置２０１を頭部に装着したユーザ８０の視野は、可視領域８１に該当する。すなわち、可視領域８１に該当する映像が、ディスプレイ装置２０１の表示画面１７に表示される。例えば、ユーザ８０が左を向けば、ユーザ８０の動きにしたがって、可視領域８１は左側に移動する。上下方向についても同様に、例えば、ユーザ８０が上を向けば、ユーザ８０の動きにしたがって、可視領域８１は上側に移動する。

［実行処理］
図１０は、本発明の実施の形態の少なくとも１つに対応する、実行処理のフローチャートである。最初に、ディスプレイ装置２０１は、ディスプレイ装置２０１の姿勢から角度情報を測定する（ステップＳ１１）。角度情報は、ディスプレイ装置２０１のセンサ部１８に含まれる各種センサにより測定される。

次に、ディスプレイ装置２０１に搭載された光センサが、照射装置２０２から照射されたレーザ光線を感知することにより、ディスプレイ装置２０１は、ディスプレイ装置２０１の位置及び向きを特定する（ステップＳ１２）。ステップＳ１１及びステップＳ１２の処理は、所定の間隔毎に行い、測定又は特定の都度、コンピュータ装置２０３へ送信して、ディスプレイ装置２０１の表示画面１７において表示する表示用画像を生成してもよい。

次に、ディスプレイ装置２０１は、ステップＳ１１において測定された角度情報、及び、ステップＳ１２において特定された向き及び位置に関する情報をコンピュータ装置２０３へ送信する（ステップＳ１３）。次に、コンピュータ装置２０３は、情報を受信し（ステップＳ１４）、ステップＳ１１において測定された角度情報、及び、ステップＳ１２において特定された位置及び向きに関する情報に基づいて、仮想空間におけるユーザの視線を特定する（ステップＳ１５）。

仮想空間におけるユーザの視線とは、ディスプレイ装置２０１の角度情報（水平面に対する傾きに関する情報）、位置に関する情報、及び向きに関する情報（水平面に平行な平面上でどの方向を向いているかに関する情報）に基づいて特定される可視領域８１において、ユーザが仮想空間内で見ていると推測される方向である。つまり、特定された向きは、仮想空間内における仮想カメラの視軸に対応するものである。例えば、ディスプレイ装置２０１の位置に仮想カメラの視点を設定し、ディスプレイ装置２０１の向きをもとに、視点を始点として、仮想世界における水平面に平行な平面上でどの方向へ視線が向いているかを特定し、かつ、ディスプレイ装置２０１の姿勢情報をもとに、該水平面に対する視線の傾きを特定することができる。さらに、仮想カメラの視点から仮想スクリーン上へ透視変換することで、ユーザの視線に対応する画像を生成することができる。このようにすることで、ユーザに意識させることなく、仮想世界において、ユーザが見ていると推測される方向に存在するオブジェクトを、ディスプレイ装置２０１に表示させ、ユーザの利便性を向上させるとともに、より仮想世界に没入させることが可能となる。

ところで、ディスプレイ装置２０１が、ディスプレイ装置２０１を装着したユーザの視線を追跡することができる機能を有するようにしてもよい。この場合には、ユーザの眼球の動作から視線を算出することができる。

次に、コンピュータ装置２０３は、ステップＳ１５において特定されたユーザの視線と仮想空間内に配置されたオブジェクトとが交差するか否かを判定する（ステップＳ１６）。オブジェクトとは、例えば、仮想空間内に配置され得るものであって、キャラクタ、敵キャラクタ、アイテム、あるいは、仮想空間に表示される物体等をいう。交差とは、視線と、オブジェクトを形成する境界面とが交差することをいい、線と面とが接することも含む概念である。三次元空間における線分と物体の交差判定には、例えば、レイトレーシング法において物体とレイ（光線）との交点を求めるための方法を用いることができる。その他の方法によっても可能であり、本発明の実施の形態においては、交差判定の方法が限定されるものではない。

ユーザの視線が仮想空間内の所定のオブジェクトと交差していると判定された場合（ステップＳ１６においてＹＥＳ）には、コンピュータ装置２０３は、コンピュータ装置２０３の制御部３１に備えられた内部タイマにより計時を開始する（ステップＳ１７）。

次に、コンピュータ装置２０３は、ステップＳ１７において開始した計時により、所定のオブジェクトと視線との交差が継続している時間が所定の時間を経過したか否かを判定する（ステップＳ１８）。所定時間が経過したと判定された場合（ステップＳ１８にてＹＥＳ）には、コンピュータ装置２０３は、ステップＳ１５において特定された視線と交差するオブジェクトを撮像可能な仮想カメラの位置を特定する（ステップＳ１９）。所定時間が経過していない場合（ステップＳ１８にてＮＯ）には、サブウィンドウは表示されない。既にサブウィンドウが表示されている場合には、既存のサブウィンドウが表示されたままの状態を維持するようにしてもよい。

ステップＳ１９における仮想カメラの位置の特定について説明する。ここで位置を特定される仮想カメラは、視線の方向に対応する画像を撮像する仮想カメラ（以下、主仮想カメラという）とは異なる仮想カメラ（以下、副仮想カメラという）である。ステップＳ１５において特定される仮想カメラの位置とは、副仮想カメラの位置であって、交差したオブジェクトが仮想カメラにより撮像される位置であれば任意の位置でよく、例えば、視線に対応する画像を撮像する仮想カメラとは視点が異なる、あるいは、視軸が異なるものであればよい。

次に、コンピュータ装置２０３は、ステップＳ１９において特定された位置から、副仮想カメラによりオブジェクトを撮像し、サブウィンドウに表示する画像を生成する（ステップＳ２０）。

ユーザの視線が仮想空間内の所定のオブジェクトと交差していないと判定された場合（ステップＳ１６においてＮＯ）には、コントローラからの所定の入力操作が受け付けられたか否かを判定する（ステップＳ２１）。コントローラから所定の入力操作が受け付けられたと判定された場合（ステップＳ２１にてＹＥＳ）には、ステップＳ１９に移り、副仮想カメラの位置を特定する。コントローラから所定の入力操作が受け付けられていないと判定された場合（ステップＳ２１にてＮＯ）には、サブウィンドウ画像は生成されない。

次に、ステップＳ１５で特定された視線の方向に対応する画像を生成する（ステップＳ２２）。視線の方向に対応する画像とは、主仮想カメラにより撮像された画像である。次に、コンピュータ装置２０３は、ステップＳ２０において生成されたサブウィンドウ画像と、ステップＳ２２において生成された視線の方向に対応する画像とを、ディスプレイ装置２０１へ送信する（ステップＳ２３）。

ディスプレイ装置２０１は、ステップＳ２３において送信された画像を受信する（ステップＳ２４）。ディスプレイ装置２０１は、ステップＳ２４において受信した画像を表示し（ステップＳ２５）、終了する。

表示画面１７における、仮想カメラにより撮像される画像の表示態様について説明する。図１１は、本発明の実施の形態の少なくとも１つに対応する、仮想カメラにより撮像される画像の一例を示す図である。図１１（ａ）は、仮想カメラによりオブジェクトを撮像する様子を表す模式図である。主仮想カメラ９８は、ユーザの視線の方向に対応した画像を撮像する仮想カメラである。図１１（ｂ）は、図１１（ａ）の状態において撮像された画像を表す図である。図１１（ａ）において、オブジェクト９１及びオブジェクト９２を撮像すると、視軸αはいずれのオブジェクトとも交差しないため、サブウィンドウは表示画面１７に表示されない。視線を表す点９０は、表示されてもよいし、非表示であってもよい。

図１２は、本発明の実施の形態の少なくとも１つに対応する、複数の仮想カメラにより撮像される画像の一例を示す図である。図１２（ａ）では、主仮想カメラ９８の視軸αとオブジェクト９２とが交差する状態を表す模式図である。図１２（ｂ）は、図１２（ａ）の状態において撮像された複数の画像を重複して表す図である。視軸αがオブジェクト９２と交差するため、サブウィンドウに表示される画像を生成する副仮想カメラ９９により、主仮想カメラ９８とは異なる視点からオブジェクト９２を撮像する。副仮想カメラ９９により撮像された画像は、サブウィンドウ９３に表示される。

図示するように、副仮想カメラ９９による撮像が、異なる視点から撮像される場合に、主仮想カメラ９８により撮像された画像の一部を拡大して表示することができ、これまでユーザが視認できなかった特徴点９４を、視認可能に表示することができる。

図１３は、本発明の実施の形態の少なくとも１つに対応する、複数の仮想カメラにより撮像される画像の一例を示す図である。図１３（ａ）では、主仮想カメラ９８の視軸αがオブジェクト９２と交差する状態が表されている。図１３（ｂ）は、図１３（ａ）の状態において撮像された複数の画像を重複して表す図である。視軸αがオブジェクト９２と交差するため、サブウィンドウに表示される画像を生成する副仮想カメラ９９により、主仮想カメラ９８とは異なる視軸からオブジェクト９２を撮像する。副仮想カメラ９９により撮像された画像は、サブウィンドウ９３に表示される。

図示するように、副仮想カメラ９９による撮像が、主仮想カメラ９８とは異なる視軸から撮像されることで、主仮想カメラ９８により撮像された画像ではユーザが視認できなかった特徴点９５を、視認可能に表示することができる。

実行処理は、所定のタイミングで繰り返し実行されるものとしてもよい。所定のタイミングとは、例えば、画面のフレームレートごと、あるいは、フレームレートの倍数のタイミングで行うことができる。

ステップＳ２５において、ディスプレイ装置２０１は、受信したサブウィンドウ画像と、視線の方向に対応する画像とを重畳させて表示する。ステップＳ２５において、既にサブウィンドウが表示されている場合には、表示されているサブウィンドウの画像に代えて、ステップＳ２０において生成されたサブウィンドウの画像を表示し、表示内容を更新するようにしてもよい。

第四の実施の形態では、ディスプレイ装置２０１及びコントローラ２０４の位置を特定するための光線はレーザ光線であって、例えば、赤外線が挙げられるが、光線はこれに限定されず、可視光線であってもよいし、その他の不可視光線であってもよい。

第四の実施の形態では、視線が所定のオブジェクトと所定の時間交差し続けた場合にサブウィンドウを表示することとしたが、所定の時間が経過したか否かを判定することなく、視線と所定のオブジェクトとの交差に関する判定のみでサブウィンドウを表示することとしてもよい。

第四の実施の形態では、サブウィンドウが表示される位置に言及していないが、所定のオブジェクトと重畳した場合等の所定の条件を満たす場合には、サブウィンドウの位置を変更する、あるいは、サブウィンドウを表示しないようにしてもよい。

第四の実施の形態では、サブウィンドウに表示させる画像を仮想カメラにより撮像した画像としたが、これに限定されない。すなわち、仮想カメラにより撮像された画像でなくても、ユーザの視軸と交差したオブジェクトに関する画像であってもよい。例えば、オブジェクトの属性情報やオブジェクトの心理状態等見えない情報を表示するものであってもよい。また、視軸と交差したオブジェクトとは関係のない情報を表示するものであってもよい。例えば、ユーザの視軸とオブジェクトとを交差させることで、次の場面に移動するための選択肢等を表示するようにしてもよい。

第四の実施の形態では、サブウィンドウに表示させる画像を仮想カメラにより撮像した画像としたが、コンピュータ装置２０３のストレージ部３３に格納された画像を表示してもよい。例えば、主仮想カメラにより漫画の一コマが表示されている場合に、主人公キャラクタに視線方向を合わせると、主人公キャラクタの身体の一部がサブウィンドウに表示され、漫画のストーリーが進行されるようにしてもよい。また、サブウィンドウの表示に合わせて音声を出力するようにしてもよい。

第四の実施の形態の一側面として、表示画面の所定の領域に、複雑な操作や動作を行わなくても、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示することができる。

第四の実施の形態の一側面として、視軸と仮想空間内の所定のオブジェクトとが重なった状態が所定の時間継続した場合に、第二画像を表示することで、ユーザが意図しない第二画像の表示を抑制し、ユーザが表示することを意図した第二画像だけを表示可能にして、利便性を向上させることができる。

第四の実施の形態の一側面として、第１オブジェクトに対応する第二画像を表示した後に、視軸が第２オブジェクトと所定の時間継続して重なった場合に、第１オブジェクトに対応する第二画像に代えて、第２オブジェクトに対応する第二画像を表示することで、視軸をオブジェクトに重ねるだけで第二画像の表示を更新することができ、ユーザの操作性をより向上させることができる。また、複数のサブウィンドウを表示しないため、処理負荷の軽減にも寄与する。

第四の実施の形態の一側面として、ユーザの視軸と交差した所定のオブジェクトに関する画像をサブウィンドウに表示することにより、ユーザが入力操作をすることなく所定のオブジェクトに関する情報を知ることができる。また、ユーザの視軸が当たっている場所を認識することができるという利点もある。

第四の実施の形態の一側面として、視軸が重なったオブジェクトを拡大した画像をサブウィンドウに表示することで、従来表示できなかった情報をユーザに与えることができ、ユーザの利便性を向上させることができる。また、仮想空間内のオブジェクトに対する関心を集めることができ、より深い没入感をユーザに与えることに寄与する。

第四の実施の形態において、「頭部に装着」、「表示装置」、「向き」、「仮想空間」、「第一画像」、及び「視軸」とは、それぞれ第一の実施の形態において記載した内容を必要な範囲で採用できる。

第四の実施の形態において、「拡大」とは、例えば、撮像されたオブジェクトを表す画素数と同じ又はより多くの画素数により、該オブジェクトの一部の画像を表示することをいう。

［付記］
上で述べた実施の形態の説明は、下記の発明を、発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。

［１］ ユーザの頭部に装着することで利用される表示装置を備える表示システムであって、
表示装置の向きを特定する向き特定手段と、
表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示する第一表示手段と、
特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示する第二表示手段と
を備える表示システム。

［２］ 前記視軸が仮想空間内の所定のオブジェクトと重なった状態が、所定の時間継続した場合に、前記第二表示手段が表示領域上に第二画像を表示する、［１］に記載の表示システム。

［３］ 前記視軸が仮想空間内の第１オブジェクトと重なった状態が、所定の時間継続することで、第二表示手段が表示領域上に第１オブジェクトに対応する第二画像を表示した後に、
前記視軸が仮想空間内の第２オブジェクトと重なった状態が、所定の時間継続した場合に、第二表示手段が表示領域上に第１オブジェクトに対応する第二画像に代えて、該第２オブジェクトに対応する第二画像を表示する、［２］に記載の表示システム。

［４］ 第二画像が、前記所定のオブジェクトに関する画像である、［１］〜［３］のいずれかに記載の表示システム。

［５］ 第二画像が、所定のオブジェクトを拡大した画像である、［４］に記載の表示システム。

［６］ ユーザの頭部に装着することで利用される表示装置を備える表示システムにおいて実行される表示方法であって、
表示装置の向きを特定することと、
表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示することと、
特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示することと
を実行する表示方法。

１ 表示システム
１１ 制御部
１２ ＲＡＭ
１３ ストレージ部
１４ 撮像部
１５ グラフィックス処理部
１６ 表示部
１７ 表示画面
１８ センサ部
１８ａ センサ
１８ｂ 赤外線センサ
１８ｃ ジャイロセンサ
１８ｄ 加速度センサ
１９ 通信インタフェース
２０ インタフェース部
２１ レンズ
２０１ ディスプレイ装置
２０２ 照射装置
２０３ コンピュータ装置
２０４ コントローラ
２５１ ディスプレイ装置
２５２ 撮影装置
２５３ コンピュータ装置
２５４ コントローラ
３１ 制御部
３２ ＲＡＭ
３３ ストレージ部
３４ サウンド処理部
３５ グラフィックス処理部
３６ ＣＤ−ＲＯＭドライブ
３７ 通信インタフェース
３８ インタフェース部
３９ フレームメモリ
４０ サウンド出力装置
４１ ディスク
５ 通信回線

Claims (6)

1. ユーザの頭部に装着することで利用される表示装置を備える表示システムであって、
   表示装置の向きを特定する向き特定手段と、
   表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示する第一表示手段と、
   特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示する第二表示手段と
   を備え、
   前記表示領域は、向き特定手段により特定された向きに応じて、前記表示画面において表示される位置が変化しない、表示システム。
2. 前記視軸が仮想空間内の所定のオブジェクトと重なった状態が、所定の時間継続した場合に、前記第二表示手段が表示領域上に第二画像を表示する、請求項１に記載の表示システム。
3. 前記視軸が仮想空間内の第１オブジェクトと重なった状態が、所定の時間継続することで、第二表示手段が表示領域上に第１オブジェクトに対応する第二画像を表示した後に、
   前記視軸が仮想空間内の第２オブジェクトと重なった状態が、所定の時間継続した場合に、第二表示手段が表示領域上に第１オブジェクトに対応する第二画像に代えて、該第２オブジェクトに対応する第二画像を表示する、請求項２に記載の表示システム。
4. 第二画像が、前記所定のオブジェクトに関する画像である、請求項１〜３のいずれかに記載の表示システム。
5. 第二画像が、所定のオブジェクトを拡大した画像である、請求項４に記載の表示システム。
6. ユーザの頭部に装着することで利用される表示装置を備える表示システムにおいて実行される表示方法であって、
   表示装置の向きを特定することと、
   表示装置の表示画面に、特定された向きに応じて仮想空間の状態を示す第一画像を表示することと、
   特定された向きに対応する視軸が、仮想空間内の所定のオブジェクトと重なる場合に、第一画像に重ねて生成された表示領域上に、第一画像とは異なる第二画像を表示することと
   を実行し、
   前記表示領域は、特定された表示装置の向きに応じて、前記表示画面において表示される位置が変化しない、表示方法。

Images