JP2023172180A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 ヘッドマウントディスプレイを装着するユーザが感じる臨場感を損なうことのなく、仮想カメラの位置を変更する。【解決手段】 画像処理装置１００は、仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させるものであって、前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得し、取得した前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する。【選択図】 図１

Description

本開示は、ヘッドマウントディスプレイに表示する表示画像を生成する画像処理技術に関する。

ユーザの頭部に装着されて表示部に動画像等の画像を表示することができる、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）とも呼ぶ）がある。ＨＭＤによれば、ユーザに高い臨場感画像を提供することができる。ＨＭＤに表示される画像としては、仮想世界に対応する画像である仮想現実（以下、ＶＲ（Virtual Reality）とも呼ぶ）画像がある。また、ＨＭＤに表示される画像としては、仮想世界に対応する画像と現実世界に対応する画像とを重ね合わせた画像である複合現実（以下、ＭＲ（Mixed Reality）とも呼ぶ）画像等もある。ＭＲ画像の表示は、まず、ＨＭＤに取り付けられた外向きの撮像装置によりＨＭＤを装着しているユーザ（以下、装着者とも呼ぶ）の外部環境の現実世界をリアルタイムに撮像する。更に、仮想世界に対応する画像と、撮像された現実世界に対応する画像とを重ね合わせた画像をＨＭＤの表示部に表示することにより、装着者にＭＲ画像を提供する。

ＶＲ画像及びＭＲ画像のどちらにおいても、仮想世界に対応する画像は、以下のように取得される。まず、装着者の位置及び姿勢を示す位置姿勢情報に基づいて、装着者の位置に対応する仮想世界の空間（以下、仮想空間とも呼ぶ）の位置に仮想カメラを配置する。更に、仮想カメラからの仮想空間又は仮想空間に配置されたオブジェクトの見えを仮想世界に対応する画像として生成する。ここで、ＶＲ画像においては、装着者の眼の位置に対応する仮想空間の位置に仮想カメラを配置することが好適である。

一方、ＭＲ画像における現実世界に対応する画像は、上述のように、外向きの撮像装置による撮像により得られた画像であるため、装着者の眼の位置よりも前方の位置から撮像されたものとなる。非特許文献１には、ＭＲ画像を取得する際に、外向きの撮像装置の位置に対応する仮想空間の位置に、仮想カメラを配置する手法が開示されている。当該手法によれば、仮想空間に配置されたオブジェクトの像と当該オブジェクトに対応する現実世界の空間に存在するオブジェクトの像とが同一の距離及び大きさで表現されたＭＲ画像を取得することができる。

"Camera render position",［online］,"Varjo",［令和４年４月１５日検索］,インターネット＜URL：https://developer.varjo.com/docs/get-started/camera-render-position＞

上述のように、ＶＲ画像を取得するときの好適な仮想カメラの位置と、非特許文献１に開示された手法を用いてＭＲ画像を取得するときの仮想カメラの位置とは、仮想カメラの光軸方向において互いに異なる。そのため、ＶＲ画像にとって好適な位置に仮想カメラを配置したＶＲ画像と、非特許文献１に開示された手法を用いて取得されたＭＲ画像との間でＨＭＤの表示を切り替えた場合には、仮想カメラの位置が仮想カメラの光軸方向に突然に変更されることになる。その結果、装着者は、仮想空間に配置されたオブジェクトの大きさ、又は仮想カメラから当該オブジェクトまでの距離が突然に変化したように感じる。そのため、装着者が感じる臨場感が低下してしまう。

仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理装置であって、前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得手段と、前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更手段と、を有する。

本開示に係る画像処理装置によれば、装着者が感じる臨場感を損なうことなく、仮想空間に配置されたオブジェクトの像を好適な大きさとすることができる。

実施形態１に係る画像処理装置の構成の一例を示すブロック図である。 実施形態１に係るＨＭＤの一例を示す斜視図である。 実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 実施形態１に係る画像処理装置の処理フローの一例を示すフローチャートである。 実施形態２に係る画像処理装置で行われる処理の一例を説明するための説明図である。 実施形態２に係る画像処理装置の処理フローの一例を示すフローチャートである。

以下、本開示の実施形態について図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［実施形態１］
実施形態１では、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）とも呼ぶ）を装着しているユーザ（以下、装着者とも呼ぶ）の仮想空間に配置されたオブジェクトへの注視度が最小であるか否かを判定する。本実施形態では、一例として、仮想空間に配置されたオブジェクト（以下、仮想オブジェクトとも呼ぶ）への注視度（以下、単に、注視度とも呼ぶ）が０であるか否かを判定する形態について説明する。注視度が最小である場合、仮想カメラの位置を当該仮想カメラの光軸方向に変更する。まず、本実施形態で行われる処理の概要について説明する。

本実施形態では、仮想カメラの基準位置として、現実世界の空間（以下、現実空間とも呼ぶ）における装着者の眼の位置に対応する仮想空間の位置を設定するものとして説明する。また、本実施形態では、仮想カメラの光軸方向における仮想カメラの位置は、基準位置からの当該光軸方向のオフセット量（以下、単に、オフセット量とも呼ぶ）を変更することにより変更されるものとして説明する。更に、本実施形態では、ＨＭＤの表示モードとして、「ＶＲモード」及び「ＭＲモード」という２種類の表示モードがあるものとして説明する。ＶＲモードとは、ＨＭＤの表示部に、仮想現実（以下、ＶＲ（Virtual Reality）とも呼ぶ）画像が表示される表示モードである。以下、特に、ＶＲ画像が表示されている状態を「ＶＲ状態」と称して説明する。また、ＭＲモードとは、ＨＭＤの表示部に、仮想世界に対応する画像と現実世界に対応する画像とが重畳された画像である複合現実（以下、ＭＲ（Mixed Reality）とも呼ぶ）画像が表示される表示モードである。以下、特に、ＭＲ画像が表示されている状態を「ＭＲ状態」と称して説明する。また、ＶＲモードからＭＲモードへの切り替え、又はＭＲモードからＶＲモードへの切り替えにおいて、ＶＲ状態からＭＲ状態への切り替え中の状態、及びＭＲ状態からＶＲ状態への切り替え中の状態を切り替え中状態と称して説明する。

ＶＲ状態においては、オフセット量を０に設定することにより、仮想カメラを基準位置と同一の位置に配置する。これにより、首振り等の動作を行う装着者に対して、違和感のないＶＲ画像を提供することができる。ＭＲ状態においては、ＨＭＤに取り付けられた外向きの撮像装置（以下、外向きカメラとも呼ぶ）の位置と装着者の眼の位置との違いに対応するオフセット量を設定する。これにより、仮想カメラを外向きカメラの位置に対応する仮想空間の位置と同一の位置に配置する。ＭＲ状態においては、仮想オブジェクトと現実空間に存在するオブジェクト（以下、現実オブジェクトとも呼ぶ）とを並べて比較するという利用方法、又は現実空間に存在する装着者の手と仮想オブジェクトとを相互に作用させる利用方法等がある。このような利用方法においては、オフセット量を上述したように設定することにより、現実オブジェクトの像と、当該現実オブジェクトに対応する仮想オブジェクトの像とを、同一の大きさ且つ同一の位置で表示させることができる。これにより、装着者の操作性及び臨場感等を向上させることができる。

しかしながら、ＨＭＤの表示モードに応じて仮想カメラのオフセット量を上述のように設定して仮想カメラの位置を決定する場合、表示モードが切り替えられたときに、装着者は、仮想オブジェクトの位置又は大きさが突然に変化したように感じてしまう。その結果、装着者の操作性及び臨場感が低下してしまう。本実施形態では、装着者の視線を示す情報（以下、視線情報とも呼ぶ）を用いて、装着者の仮想オブジェクトへの注視度が最小である状態を検知する。更に、注視度が最小である状態のときに仮想カメラのオフセット量を変更して、仮想カメラの光軸方向に仮想カメラの位置を変更する。本実施形態における注視度が最小である状態とは、例えば、装着者がまばたき等により瞼を閉じている（以下、閉眼とも呼ぶ）状態である。このように、装着者が瞼を閉じている間、すなわち、装着者の閉眼状態において、仮想カメラの位置を変更することにより、仮想オブジェクトの位置又は大きさが変化されたことを装着者に認識されることを抑制することができる。

以上が本実施形態で行われる仮想カメラの位置を変更する方法の概要である。なお、上述のＨＭＤの表示モード、並びに、ＶＲ状態及びＭＲ状態における仮想カメラのオフセット量の設定は、あくまで一例であり、様々な表示モードの想定とそれに応じたオフセット量の設定が可能である。また、仮想カメラの基準位置は、装着者の眼の位置に対応する仮想空間の位置に限定されるものではなく、仮想空間における任意の位置を仮想カメラの基準位置として設定してよい。この場合、オフセット量には、設定した基準位置に応じて適切な値が設定されれば良い。

図１及び３を参照して、実施形態１に係る画像処理装置１００の構成について説明する。図１は、実施形態１に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、ＨＭＤシステム１に適用される。ＨＭＤシステム１は、ＨＭＤ１０及び画像処理装置１００を備える。ＨＭＤ１０は、図１に一例として示すように、例えば、外向きカメラ１１、位置検出装置１２、姿勢検出装置１３、視線検出装置１４、及び表示装置１５を備える。図１及び２を参照して、ＨＭＤ１０の構成について説明する。図２は、実施形態１に係るＨＭＤ１０の一例を示す斜視図である。具体的には、図２（ａ）は、ＨＭＤ１０を略正面から見たときの外観の一例を示す斜視図であり、図２（ｂ）は、ＨＭＤ１０を略背面、すなわち、装着者の顔部が接する側から見たときの一例を示す斜視図である。なお、図２（ｂ）において、破線は、ＨＭＤ１０の内部に配置された部位を示している。

外向きカメラ１１は、ＨMＤ１０に取り付けられて、取り付け位置から装着者の周囲の環境を撮像するための撮像装置である。外向きカメラ１１は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、又はステレオカメラにより構成される。外向きカメラ１１は、撮像により得られた画像（以下、撮像画像とも呼ぶ）のデータを画像処理装置１００に出力する。なお、外向きカメラ１１は、取り付け位置から装着者の周囲の環境を撮像して、当該撮像により得られた画像のデータを出力可能なものであれば、上述のものに限定されるものではない。以下、外向きカメラ１１は、ステレオカメラにより構成されているものとして説明する。

位置検出装置１２（図２には不図示）は、装着者の位置を特定するためのものである。位置検出装置１２は、例えば、ＧＰＳ（Global Positioning System）受信機等のＧＮＳＳ（Global Navigation Satellite System）受信機により構成される。位置検出装置１２は、装着者の位置を特定可能な信号等の情報、又は、装着者の位置を示す情報を出力する。なお、位置検出装置１２は、装着者の位置を特定可能な情報、又は装着者の位置を示す情報を出力可能なものであれば、上述のものに限定されるものではない。ＧＮＳＳ受信機等を用いた位置の特定手法は周知であるため、当該特定手法の説明については省略する。

姿勢検出装置１３は、装着者の姿勢、具体的には、装着者の頭部の向き、より具体的には、装着者の顔部の向いている方向を特定するためのものである。姿勢検出装置１３は、例えば、地磁気センサ、傾きセンサ、加速度センサ、若しくは高度センサ、又は、これらのセンサの組合せにより構成される。姿勢検出装置１３は、装着者の姿勢を特定可能な信号等の情報、又は装着者の姿勢を示す情報を出力する。なお、姿勢検出装置１３は、装着者の姿勢を特定可能な情報、又は装着者の姿勢を示す情報を出力可能なものであれば、上述のものに限定されるものではない。地磁気センサ、傾きセンサ、加速度センサ、又は高度センサ等を用いた姿勢の特定手法は周知であるため、当該特定手法の説明については省略する。

視線検出装置１４は、装着者の視線の方向（以下、視線方向とも呼ぶ）、具体的には、装着者の眼球のうちの瞳孔の向いている方向を特定するためのものである。視線検出装置１４は、例えば、装着者の眼部を撮像する撮像装置、又は装着者の眼部に向かって照射した赤外光等の反射光を受光する受光センサ等により構成される。視線検出装置１４は、装着者の視線方向を特定可能な信号等の情報、又は装着者の視線方向を示す情報を出力する。なお、視線検出装置１４は、装着者の視線方向を特定可能な情報、又は装着者の視線方向を示す情報を出力可能なものであれば、上述のものに限定されるものではない。撮像装置又は赤外光等の反射光を受光する受光センサ等を用いた視線方向の特定手法は周知であるため、当該特定手法の説明については省略する。

表示装置１５（図２には不図示）は、一対の接眼レンズ２０１、及びディスプレイパネル２０２により構成される。表示装置１５は、表示画像を示す信号等の情報を取得して、表示画像をディスプレイパネル２０２に表示する。例えば、ディスプレイパネル２０２には、装着者の頭部の向き（すなわち、ＨＭＤ１０の向き）に応じた視差画像が表示画像として表示される。ディスプレイパネル２０２は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（electro-luminescence）ディスプレイ等により構成される。ディスプレイパネル２０２は、表示画像を表示可能なものであれば、上述のものに限定されるものではない。

画像処理装置１００は、情報取得部１０１、撮像画像取得部１０２、仮想画像取得部１０３、姿勢取得部１０４、位置取得部１０５、及び基準取得部１０６を備える。画像処理装置１００は、上述の構成に加えて、状態取得部１０７、視線取得部１０８、注視度取得部１０９、変更部１１０、生成部１１１、及び出力部１１２を備える。

画像処理装置１００のハードウェア構成について説明する。図１に一例として示す画像処理装置１００が備える各部の処理は、画像処理装置１００に内蔵されたＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによってなされる。当該処理は、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによってなされるものであってもよい。また、当該処理は、ＣＰＵ（Central Processor Unit）若しくはＧＰＵ（Graphic Processor Unit）、及びメモリを用いたソフトウエアによってなされてもよい。

図３は、図１に一例として示す画像処理装置１００が備える各部がソフトウエアにより動作する場合の、実施形態１に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、コンピュータにより構成されており、当該コンピュータは、図３に一例として示すようにＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０４、表示部３０５、操作部３０６、通信部３０７、及びバス３０８を有している。

ＣＰＵ３０１は、ＲＯＭ３０２又はＲＡＭ３０３に格納されているプログラム又はデータを用いて当該コンピュータを制御することにより、当該コンピュータを図１に示す画像処理装置１００が備える各部として機能させる。なお、画像処理装置１００は、ＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ３０２は、変更を必要としないプログラム等を格納する。ＲＡＭ３０３は、補助記憶装置３０４から供給されるプログラム若しくはデータ、又は通信部３０７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置３０４は、例えばハードディスクドライブ等で構成され、画像データ又は音声データ等の種々のデータを記憶する。

表示部３０５は、例えば液晶ディスプレイ又はＬＥＤ等により構成され、ユーザが画像処理装置１００を操作又は閲覧するためのＧＵＩ（Graphical User Interface）等を表示する。操作部３０６は、例えばキーボード、マウス、ジョイスティック、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ３０１に入力する。ＣＰＵ３０１は、表示部３０５を制御する表示制御部、及び操作部３０６を制御する操作制御部としても動作する。

通信部３０７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線接続される場合には、通信用のケーブルが通信部３０７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信部３０７はアンテナを備える。バス３０８は、画像処理装置１００の備える各部をつないで情報を伝達する。実施形態１では、表示部３０５及び操作部３０６は、画像処理装置１００の内部に存在するものとして説明するが、表示部３０５及び操作部３０６の少なくとも一方は、画像処理装置１００の外部に別の装置として存在していてもよい。

図１に一例として示す、画像処理装置１００が備える構成について説明する。以下、現実空間の位置は、鉛直方向に直交する平面における互いに直交する方向をｘ軸及びｙ軸、鉛直方向における重力と反対の方向を正方向とするｚ軸とする３次元座標系を用いて定義されるものとして説明する。なお、上述の３次元座標系を用いた現実空間の位置の定義は、あくまで一例であって、各軸の取り方等の現実空間の位置の定義の手法については任意のもので良い。

情報取得部１０１は、仮想空間を示す情報（以下、仮想空間情報とも呼ぶ）を取得する。仮想空間情報には、仮想オブジェクトを示す情報が少なくとも含まれる。具体的には、例えば、仮想空間情報は、仮想空間を表すコンピュータグラフィックス（ＣＧ：Computer Graphics）のデータである。例えば、情報取得部１０１は、補助記憶装置３０４に予め記憶されている仮想空間情報を読み出すことにより、仮想空間情報を取得する。以下、仮想空間情報が示す仮想空間の位置は、上述の３次元座標系を用いて定義されるものとして説明する。すなわち、本実施形態においては、現実空間の位置と、当該位置に対応する仮想空間の位置とは、同一の３次元座標で表現される。情報取得部１０１により取得された仮想空間情報は、例えば、ＲＡＭ３０３に一時記憶される。

撮像画像取得部１０２は、現実世界を撮像することにより得られた撮像画像のデータ（以下、撮像画像データとも呼ぶ）を取得する。具体的には、撮像画像取得部１０２は、通信部３０７を介して、ＨＭＤ１０に備えられた外向きカメラ１１から出力される撮像画像データを取得する。本実施形態では、外向きカメラ１１は、ステレオカメラに構成されるものとしたため、撮像画像は、ステレオカメラの左側及び右側のそれぞれの撮像部による撮像により得られた２つの画像がセットになった視差画像である。本実施形態では、一例として、撮像画像は、ＲＧＢの３チャンネルのカラー画像である場合について説明する。撮像画像はカラー画像に限定されるものではなく、レンダリング後の画像が１チャンネルのグレースケール画像であってもよい。撮像画像取得部１０２に取得された撮像画像データは、例えば、ＲＡＭ３０３に一時記憶される。

姿勢取得部１０４は、装着者の姿勢、具体的には、装着者の頭部の向き、より具体的には、装着者の顔部の向いている方向を示す情報（以下、姿勢情報とも呼ぶ）を取得する。具体的には、例えば、姿勢取得部１０４は、まず、通信部３０７を介して、姿勢検出装置１３から出力される信号等の情報を取得する。次に、姿勢検出装置１３から取得した情報を用いて装着者の姿勢を特定することにより、姿勢情報を生成して取得する。姿勢情報は、例えば、上述した３次元座標系における３×３の回転行列と、ロール、ピッチ、及びヨーとを用いて表現される。姿勢情報の表現方法は、これに限定されるものではなく、姿勢情報は、クォータニオン等の他の表現方法により表現されてもよい。姿勢取得部１０４により取得された姿勢情報は、例えば、ＲＡＭ３０３に一時記憶される。

位置取得部１０５は、装着者の位置、具体的には、装着者の頭部の位置を示す情報（以下、位置情報とも呼ぶ）を取得する。具体的には、例えば、位置取得部１０５は、まず、通信部３０７を介して、位置検出装置１２から出力される信号等の情報を取得する。次に、位置検出装置１２から取得した情報を用いて装着者の位置を特定することにより、位置情報を生成して取得する。位置取得部１０５による装着者の位置の特定方法は、上述の方法に限定されるものではない。例えば、位置取得部１０５は、姿勢取得部１０４により取得された姿勢情報と撮像画像取得部１０２により取得された撮像画像データとを用いて、周知のＳＬＡＭ（Simultaneous Localization and Mapping）手法等により装着者の位置を特定してもよい。位置情報は、例えば、上述した３次元座標系における３次元座標を用いて表現される。位置情報の表現方法は、これに限定されるものではなく、現実空間の位置を表現する座標系に合わせて表現されるものであればよい。位置取得部１０５により取得された位置情報は、例えば、ＲＡＭ３０３に一時記憶される。

基準取得部１０６は、仮想カメラの基準位置を示す情報（以下、基準位置情報とも呼ぶ）を取得する。具体的には、例えば、基準取得部１０６は、姿勢取得部１０４により取得された姿勢情報と、位置取得部１０５により取得された位置情報とに基づいて、仮想カメラの基準位置を決定して、基準位置情報を取得する。姿勢情報により、装着者が向いている方向、具体的には、装着者の顔部が向いている方向が特定される。また、位置情報により、装着者の位置、具体的には、装着者の頭部の位置が特定される。まず、基準取得部１０６は、例えば、装着者が向いている方向を上述の３次元座標系における単位ベクトルとして取得し、装着者の位置を上述の３次元座標系における３次元座標として取得する。次に、基準取得部１０６は、上述したように仮想カメラの基準位置は装着者の眼の位置に対応する仮想空間の位置となるため、取得した３次元座標が装着者の眼の位置になるように仮想カメラの基準位置を決定する。例えば、基準取得部１０６は、装着者の左右それぞれの眼の位置に合わせて、左眼の位置に対応する３次元座標と右眼の位置に３次元座標とを仮想カメラの基準位置として決定する。基準取得部１０６は、決定した仮想カメラの基準位置と、取得した単位ベクトルとを基準位置情報として取得して、取得した基準位置情報を、例えば、ＲＡＭ３０３に一時記憶させる。

状態取得部１０７は、ＨＭＤ１０の表示状態を取得する。具体的には、例えば、まず、状態取得部１０７は、ＨＭＤ１０の表示モードを示す情報（以下、表示モード情報とも呼ぶ）をＲＡＭ３０３等から取得する。更に、状態取得部１０７は、例えば、取得した表示モード情報が示す表示モードと当該表示モード情報を取得する前に直近に取得した表示モード情報が示す表示モードとが互いに異なるときに、ＨＭＤ１０が切り替え中状態にあるものとして表示状態を取得する。

具体的には、表示モードがＶＲモードからＭＲモードに変更されていたとき、状態取得部１０７は、ＶＲ状態からＭＲ状態への切り替え中状態であるものとして表示状態を取得する。また、表示モードがＭＲモードからＶＲモードに変更されていたとき、状態取得部１０７は、ＭＲ状態からＶＲ状態への切り替え中状態であるものとして表示状態を取得する。表示状態がＶＲ状態又はＭＲ状態であるものとして表示状態を取得する条件については後述する。状態取得部１０７により取得された表示状態を示す情報は、例えば、ＲＡＭ３０３に一時記憶される。なお、ＨＭＤ１０の表示モードの変更に伴う表示モード情報の更新は、例えば、表示モードを変更するためのＨＭＤ１０に備えられた図２には不図示のボタン等をユーザが操作することにより行われる。当該更新の方法は、上述のものに限定されるものではなく、当該更新は、予め定められた任意の条件を満たしたときに行われてよい。

視線取得部１０８は、装着者の視線を示す視線情報を取得する。具体的には、例えば、視線取得部１０８は、まず、通信部３０７を介して、視線検出装置１４から出力される信号等の情報を取得する。次に、視線検出装置１４から取得した情報を用いて装着者の視線を特定することにより、視線情報を生成して取得する。視線情報は、例えば、上述した３次元座標系における、眼の位置を示す３次元座標と、視線の方向を示す３次元の単位ベクトルとを用いて表現される。例えば、視線取得部１０８は、装着者の左右の眼のそれぞれについての視線情報を取得する。なお、視線の方向の特定は、例えば、周知のアイトラッキング技術を用いて行えばよい。また、視線情報の表現方法はこれに限らず、装着者の視線の方向を一意に表現可能なものであれば任意のものを用いて良い。視線取得部１０８により取得された視線情報は、例えば、ＲＡＭ３０３に一時記憶される。

注視度取得部１０９は、仮想オブジェクトに対する装着者の注視度を取得する。具体的には、注視度取得部１０９は、視線取得部１０８により取得された視線情報を用いて、注視度を決定して取得する。視線情報における目の位置を示すデータ（３次元座標）、及び視線の方向を示すデータ（３次元の単位ベクトル）が含まれない場合、注視度を０等の予め定められた範囲のうちの最小の値に決定する。視線の方向は、装着者の眼部の撮像により得られる画像、又は装着者の眼部に向かって照射した赤外光等の反射光の受光により得られる信号等に基づいて特定される。例えば、まばたき等により装着者の瞼が閉じられている状態（閉眼状態）のとき、装着者の瞳孔又は角膜の位置又は方向等を確認することができない。したがって、視線取得部１０８により取得される視線情報は、目の位置を示すデータ（３次元座標）、及び視線の方向を示すデータ（３次元の単位ベクトル）を含まないものとなる。そのため、本実施形態では、視線情報が取得できなかった状態をまばたき等により閉眼状態となっているものとして、注視度を最小の値に決定する。

なお、注視度を最小の値に決定する方法は、これに限定されるものではない。例えば、視線情報は、閉眼状態を示す情報を含まれる場合に、注視度取得部１０９は、注視度を最小の値に決定してもよい。この場合、視線取得部１０８は、装着者の瞳孔又は角膜の位置又は方向等を確認することができない場合に、視線情報に閉眼状態を示す情報を含めて視線情報を生成する。また、注視度取得部１０９による注視度の決定方法は、これに限定されるものではない。例えば、注視度取得部１０９は、視線情報が示す視線の方向、及び、装着者の眼の位置に対応する仮想空間の位置からの仮想空間における仮想オブジェクトの相対位置等に基づいて注視度を決定してもよい。なお、視線情報が示す視線の方向、及び、装着者の眼の位置に対応する仮想空間の位置からの仮想空間における仮想オブジェクトの相対位置等に基づいて注視度を決定する形態については、実施形態２にて後述する。

変更部１１０は、注視度取得部１０９により取得された注視度に基づいて、仮想カメラの光軸方向に仮想カメラの位置を変更する。具体的には、変更部１１０は、注視度に基づいて仮想カメラの基準位置からの光軸方向のオフセット量を変更することにより、光軸方向に前記仮想カメラの位置を変更する。例えば、変更部１１０は、ＶＲモードからＭＲモードに、又はＭＲモードからＶＲモードに切り替えられたときに、注視度に基づいて仮想カメラの基準位置からの光軸方向のオフセット量を変更する。すなわち、変更部１１０は、状態取得部により取得されたＨＭＤ１０の表示状態が、ＶＲ状態からＭＲ状態への切り替え中状態、又は、ＭＲ状態からＶＲ状態への切り替え中状態であるときに、注視度に基づいてオフセット量を変更する。

より具体的には、ＨＭＤ１０の表示状態がＶＲ情報からＭＲ状態への切り替え中状態であり、且つ注視度が最小の値である場合、仮想カメラの位置は、外向きカメラ１１の位置に対応する仮想空間の位置に変更される。すなわち、変更部１１０は、当該場合、オフセット量を、外向きカメラ１１の位置に対応する仮想空間の位置と装着者の眼の位置に対応する仮想空間の位置との間の距離に相当する値に変更することにより、仮想カメラの位置を変更する。当該変更後、ＨＭＤ１０の表示状態は、ＭＲ状態に変更される。なお、オフセット量は、例えば、上述した３次元座標系における３次元の単位ベクトルとスカラー量によって定義される。また、オフセット量の定義は、これに限定されるものではなく、３次元座標として定義されてもよい。また、ＨＭＤ１０の表示状態がＭＲ状態からＶＲ状態への切り替え中状態であり、且つ注視度が最小の値である場合、仮想カメラの位置は、仮想カメラの基準位置とした装着者の眼の位置に対応する仮想空間の位置に変更される。すなわち、変更部１１０は、当該場合、オフセット量を０に変更する。当該変更後、ＨＭＤ１０の表示状態は、ＶＲ状態に変更される。

仮想画像取得部１０３は、仮想カメラからの仮想オブジェクトの見えに対応する像を取得する。具体的には、仮想画像取得部１０３は、基準取得部１０６により取得された仮想カメラの基準位置と、変更部１１０により変更されたオフセット量に応じて配置された仮想カメラから仮想空間をみた画像（以下、仮想カメラ画像とも呼ぶ）を生成する。具体的には、例えば、仮想カメラには、装着者の左右のそれぞれの眼に対応する２つの仮想カメラがある。２つの仮想カメラのうちの一方の基準位置は、装着者の左右の眼のうちの一方の位置に対応する仮想空間の位置に設定されており、２つの仮想カメラのうちの他方の基準位置は、装着者の左右の眼のうちの他方の位置に対応する仮想空間の位置に設定されている。２つの仮想カメラのそれぞれは、各仮想カメラの基準位置にオフセット量を加算した位置に配置される。

仮想画像取得部１０３は、情報取得部１０１により取得された仮想空間情報を用いて、公知のＣＧレンダリング処理により、２つの仮想カメラのそれぞれの位置と向き（光軸方向）とから２つの仮想カメラのそれぞれに対応する仮想カメラ画像を生成する。なお、仮想カメラ画像の画角は、例えば、ＨＭＤ１０が備える表示装置１５の大きさ、又は装着者の眼の位置と表示装置１５との間の距離等に基づいて予め設定された固定値を用いる。仮想画像取得部１０３により取得された仮想カメラ画像のデータ（以下、仮想カメラ画像データとも呼ぶ）は、例えば、ＲＡＭ３０３に一時記憶される。

生成部１１１は、状態取得部１０７から取得した表示状態に応じて、ＨＭＤ１０が備える表示装置１５に表示させる表示画像のデータ（以下、表示画像データとも呼ぶ）を生成する。例えば、表示状態がＶＲ状態である場合、又はＭＲ状態からＶＲ状態への切り替え中状態である場合には、仮想画像取得部１０３により取得された仮想カメラ画像データをそのまま表示画像データとすることにより、表示画像データを生成する。また、表示状態がＭＲ状態である場合、又はＶＲ状態からＭＲ状態への切り替え中状態である場合には、以下のように表示画像データを生成する。当該場合、生成部１１１は、撮像画像取得部１０２により取得された撮像画像と、仮想画像取得部１０３により取得された仮想カメラ画像とを合成し、当該合成により得た画像（以下、合成画像とも呼ぶ）のデータを表示画像データとして生成する。出力部１１２は、生成部１１１により生成された表示画像データをＨＭＤ１０に出力して、ＨＭＤ１０が備える表示装置１５に表示画像を表示させる。

図４を参照して、画像処理装置１００の動作について説明する。図４は、実施形態１に係る画像処理装置１００の処理フローの一例を示すフローチャートである。画像処理装置１００は、図４に示すフローチャートの処理を繰り返して実行する。以下の説明において、記号「Ｓ」はステップを意味する。まず、Ｓ４０１にて、撮像画像取得部１０２は、撮像画像データを取得する。次に、Ｓ４０２にて、情報取得部１０１は、仮想空間情報を取得する。次に、Ｓ４０３にて、姿勢取得部１０４は姿勢情報を取得し、位置取得部１０５は位置情報を取得する。なお、位置取得部１０５が位置検出装置１２から出力される信号等の情報に基づいて位置情報を取得する場合、Ｓ４０１の処理は、後述するＳ４１４の処理の前までに行えばよい。またなお、当該場合において、表示状態がＶＲ状態である場合等の生成部１１１が表示画像データを生成する際に撮像画像データが不要である場合については、必ずしもＳ４０１の処理を実行する必要はない。

次に、Ｓ４０４にて、基準取得部１０６は、基準位置情報を取得する。次に、Ｓ４０５にて、状態取得部１０７は、ＨＭＤ１０の表示状態を取得する。次に、Ｓ４０６にて、例えば、視線取得部１０８は、Ｓ４０５にて取得された表示状態が切り替え中状態であるか否かを判定する。Ｓ４０６にて切り替え中状態であると判定された場合、Ｓ４０７にて、視線取得部１０８は、視線情報を取得する。Ｓ４０７の後、Ｓ４０８にて、注視度取得部１０９は、仮想オブジェクトに対する装着者の注視度を取得する。Ｓ４０８の後、Ｓ４０９にて、変更部１１０は、注視度が最小の値であるか否かを判定する。Ｓ４０９にて注視度が最小の値であると判定された場合、Ｓ４１０にて、変更部１１０は、仮想カメラの位置を変更する。Ｓ４１０の後、Ｓ４１１にて、例えば、変更部１１０は、表示状態を表示モードに対応する表示状態に変更する。

Ｓ４１１の後、又は、Ｓ４０６にて切り替え中状態でないと判定された場合、若しくはＳ４０９にて注視度が最小の値でないと判定された場合、Ｓ４１２にて、仮想画像取得部１０３は、仮想カメラ画像データを取得する。Ｓ４１２の後、Ｓ４１３にて、生成部１１１は、表示画像データを生成し、Ｓ４１４にて、出力部１１２は、Ｓ４１３にて生成された表示画像データを出力する。Ｓ４１４の後、画像処理装置１００は、図４に示すフローチャートの処理を終了し、Ｓ４０１に戻って、当該フローチャートの処理を繰り返して実行する。

以上のように構成した画像処理装置１００によれば、装着者が閉眼しているとき、すなわち、仮想オブジェクトに対する装着者の注視度が最小の値のときに仮想カメラの位置を変更することができる。これにより、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラを移動させることができる。結果として、画像処理装置１００によれば、装着者が感じる臨場感を損なうことのなく、仮想カメラの位置を変更することができる。

なお、実施形態１では、ＶＲモードからＭＲモードへの切り替え、又はＭＲモードからＶＲモードへの切り替えの場合を一例として、仮想カメラの位置を変更する方法について説明したが、本開示に係る画像処理装置の適用範囲はこれに限定されるものではない。本開示に係る画像処理装置は、例えば、互いに異なる２つのＶＲモードが存在するときに、一方のＶＲモードから他方のＶＲモードに切り替える場合等においても適用可能である。

［実施形態２］
図１並びに５及び６を参照して、実施形態２に係る画像処理装置１００について説明する。実施形態１に係る画像処理装置１００は、仮想オブジェクトに対する装着者の注視度が最小の値であるか否かを判定し、最小の値である場合に、仮想カメラの位置を仮想カメラの光軸方向に変更するものであった。実施形態２では、仮想カメラの位置を仮想カメラの光軸方向に変更する際に、仮想オブジェクトに対する装着者の注視度に基づいて変更量を変化させる形態について説明する。

実施形態２に係る画像処理装置１００（以下、単に、画像処理装置１００とも呼ぶ）は、実施形態１に係る画像処理装置１００と同様に図１に一例として示す各部を備える。画像処理装置１００が備える各部の処理は、実施形態１に係る画像処理装置１００と同様に、画像処理装置１００に内蔵されたＡＳＩＣ若しくはＦＰＧＡ等のハードウェアによってなされる。当該処理は、ＲＡＭ等のメモリとＣＰＵ等のプロセッサとを用いたソフトウエアによってなされてもよい。また、画像処理装置１００は、実施形態１に係る画像処理装置１００と同様に、図１に一例として示す画像処理システム１に適用される。なお、以下、画像処理装置１００が備える注視度取得部１０９及び変更部１１０以外の各部は、実施形態１に係る画像処理装置１００が備える対応する各部と同様であるため、詳細な説明を省略する。

まず、図５を参照して、画像処理装置１００で行われる、仮想オブジェクトに対する装着者の注視度に基づいて変更量を変化させる処理の概要について説明する。図５は、実施形態２に係る画像処理装置１００で行われる処理の一例を説明するための説明図である。図５は、一例として、表示モードがＶＲモードからＭＲモードに変更された際の仮想カメラの位置の経時変化の一例を示している。図５において、横軸は時間の経過を表し、縦軸は仮想空間における位置を表している。

図５（ａ）は、表示モードがＶＲモードからＭＲモードに変更される前、すなわち、ＶＲ状態における仮想カメラ５０１の位置の一例を示している。このとき、ＨＭＤ１０の表示装置１５には、仮想空間に配置された仮想オブジェクト５０２を仮想カメラ５０１から見たときの見えに対応する画像が表示されている。図５（ｄ）は、表示モードがＶＲモードからＭＲモードに変更された後のＭＲ状態における仮想カメラ５０３の位置の一例を示している。このとき、表示装置１５には、仮想オブジェクト５０２を仮想カメラ５０３から見たときの見えに対応する画像と、現実オブジェクト５０４を図５には不図示の外向きカメラ１１による撮像により得られた撮像画像とが重畳された画像が表示されている。

また、図５（ｂ）及び図５（ｃ）は、表示モードがＶＲモードからＭＲモードに変更された後のＶＲ状態からＭＲ状態への切り替え中状態における仮想カメラ５０５，５０６の位置の一例を示している。このとき、表示装置１５には、仮想オブジェクト５０２を仮想カメラ５０５，５０６から見たときの見えに対応する画像と、現実オブジェクト５０４を図５には不図示の外向きカメラ１１による撮像により得られた撮像画像とが重畳された画像が表示されている。

ＶＲ状態では、仮想カメラ５０１は装着者の眼の位置に設定され、ＭＲ状態では、仮想カメラ５０３はＨＭＤ１０に備えられた外向きカメラ１１に対応する仮想空間の位置に設定される。そのため、仮想カメラ５０１は、仮想カメラ５０３に比べて、仮想オブジェクト５０２から離れた位置に設置されている。上述したように、本実施形態では、ＶＲ状態からＭＲ状態に変更する際に、仮想オブジェクト５０２に対する装着者の注視度に基づいて、図５（ｄ）に一例として示す仮想カメラ５０３の位置へと仮想カメラの位置を徐々に近づける。

具体的には、仮想オブジェクト５０２に対する装着者の注視度が高い場合には、仮想カメラの移動量を小さくして、例えば、仮想カメラ５０１の位置から仮想カメラ５０５の位置に仮想カメラ５０１を移動させる。より具体的には、例えば、当該場合には、単位時間あたりの仮想カメラの移動量を小さくして、予め定められた期間に、仮想カメラ５０１の位置から仮想カメラ５０５の位置まで、仮想カメラ５０１をゆっくりと移動させる。これにより、仮想カメラの移動に伴う仮想オブジェクトの変化について装着者に知覚させることを抑制することができる。これに対して、仮想オブジェクト５０２に対する装着者の注視度が低い場合には、仮想カメラの移動量を大きくして、例えば、仮想カメラ５０５の位置から仮想カメラ５０６の位置に仮想カメラ５０５を移動させる。当該場合には、単位時間あたりの仮想カメラ５０５の移動量を大きくして、予め定められた期間に、仮想カメラ５０５の位置から仮想カメラ５０６の位置まで、仮想カメラ５０５を素早くと移動させる。これにより、仮想カメラの移動に伴うオブジェクトの変化について装着者に知覚させることを抑制しつつ、仮想カメラ５０５の位置を図５（ｄ）に一例として示す最終状態の仮想カメラ５０３の位置に大きく近づけることができる。

なお、実施形態１に係る画像処理装置１００は、装着者が閉眼した状態等の仮想オブジェクトに対する注視度が最小となったときに、仮想カメラを移動させて、ＶＲ状態とＭＲ状態とを切り替えるものであった。これにより、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラの移動を可能とした。しかしながら、実施形態１で説明した方法では、表示モードの切り替えがなされてから注視度が最小となるまでの期間において、仮想カメラの移動が行われない。そのため、装着者の注視度が最小となるタイミングによっては、装着者による表示モードの切り替え指示の後、長い期間に亘って、仮想カメラの移動が行われないことがある。これに対して、実施形態２に係る画像処理装置１００では、注視度が最小でない状態であっても、注視度に応じて仮想カメラの移動量を変更して、仮想カメラを移動させることができる。そのため、実施形態２に係る画像処理装置１００によれば、注視度が最小でない状態であっても、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラの位置を移動させることができる。

実施形態２に係る画像処理装置１００の構成について説明する。注視度取得部１０９は、姿勢取得部１０４により取得された姿勢情報、視線取得部１０８により取得された視線情報、現在の仮想カメラの位置を示す情報、及び情報取得部１０１により取得された仮想空間情報を用いて、注視度を取得する。具体的には、例えば、まず、注視度取得部１０９は、仮想空間情報を用いて、仮想オブジェクトの重心又は中心等の位置を示す３次元座標（以下、中心座標とも呼ぶ）を取得する。なお、３次元座標系については実施形態１と同様のものでよい。また、仮想オブジェクトの中心座標の取得は、仮想空間情報のデータ形式に応じて適切に算出すればよい。

例えば、仮想空間情報のデータ形式が頂点の３次元座標とトライアングルリスト等の面を示すデータとを含むポリゴンデータである場合、ポリゴンデータに含まれる複数の頂点の３次元座標の平均値又は重心値等を算出することにより中心座標を取得すれば良い。なお、仮想オブジェクトの中心座標については仮想オブジェクトのおおよそ中心の位置を示す３次元座標が取得できればよく、中心座標の算出方法は任意のものでよい。また、中心座標については、ＶＲ状態及びＭＲ状態のどちらにおいてもＨＭＤ１０の表示装置１５に表示され得る仮想オブジェクトの中心座標のみ、算出すればよい。更に、ＶＲ状態及びＭＲ状態のどちらにおいても表示装置１５に表示され得る仮想オブジェクトのうちから現在の仮想カメラの位置から離れた位置に存在する仮想オブジェクトについては除外する等、中心座標を取得する仮想オブジェクトを限定してもよい。

次に、注視度取得部１０９は、視線情報及び姿勢情報を用いて、装着者が注視している仮想空間の位置を示す３次元座標（以下、注視座標とも呼ぶ）を取得する。注視座標については、例えば、視線情報に含まれる、左右のそれぞれの眼の位置を示す３次元座標を始点とし、且つ、左右のそれぞれの眼の視線方向を示す３次元の単位ベクトルの方向に伸びる２つの半直線の交点の３次元座標を算出することにより取得する。また、注視度取得部１０９は、現在の仮想カメラの位置を始点とし、且つ、仮想オブジェクトの中心座標を終点とする３次元ベクトルと、現在の仮想カメラの位置を始点とし、且つ、注視座標を終点とする３次元ベクトルとを算出する。以下、一例として、仮想カメラの位置は、左右の２つの仮想カメラのそれぞれの位置を示す３次元座標の平均値であるものとして説明する。上述の仮想カメラの位置の決定方法は、あくまで一例であって、例えば、左右の２つの仮想カメラのうちの一方の３次元座標を仮想カメラの位置として用いてもよい。

次に、注視度取得部１０９は、算出した２つの３次元ベクトル同士がなす角θを算出し、例えば、ｃｏｓθの値を仮想オブジェクトに対する装着者の現在の注視度とする。なお、以下、θが９０度以上であるときには、θの大きさに関わらず注視度を０とするものとして説明する。注視度取得部１０９により取得された注視度は、例えば、ＲＡＭ３０３に一時記憶される。

上述では、注視度を取得する際に姿勢情報及び視線情報を用いる方法について説明したが、注視度取得部１０９は、姿勢情報のみを用いて注視度を取得してもよい。具体的には、例えば、ＲＡＭ３０３等に現在の処理を行っている時点よりも前の時点における姿勢情報を保存しておき、前の時点における姿勢と現在の姿勢との差が大きいときには注視度を低く設定し、当該差が小さいときには注視度を高く設定する。装着者の姿勢の変化が大きい場合、装着者が早い動きをしているため、視点が定まっていないとして注視度を低く設定する。この場合、例えば、前の時点の姿勢情報が示す装着者の顔部の向いている方向と現在の姿勢情報が示す装着者の顔部の向いている方向とがなす角φを算出し、ｃｏｓφの値を注視度とする。

また、注視度取得部１０９は、姿勢情報及び視線情報を用いて取得した注視度と、姿勢情報のみを用いて取得した注視度との積を算出して、当該積を仮想オブジェクトに対する装着者の注視度として取得してもよい。なお、上述では一例として、ベクトル同士又は方向同士がなす角の余弦を用いて注視度を算出したが、注視度の取得方法は、これに限定されるものではない。例えば、当該角の角度に基づいて注視度を線形に決定して取得する等、別の方法により注視度を取得してもよい。

変更部１１０は、注視度取得部１０９により取得された注視度に基づいて、仮想カメラの移動量を決定して、仮想カメラの位置を変更する。以下に、具体的な処理について説明する。具体的には、例えば、まず、変更部１１０は、ＲＡＭ３０３等から現在設定されているオフセット量ｄとＭＲ状態において設定すべきオフセット量ｄＭＲとを取得する。次に、変更部１１０は、注視度が高くなるにつれて例えば線形にオフセット量が変化するように、仮のオフセット量ｄｔを算出する。具体的には、変更部１１０は、注視度が０等の最小の値である場合にはオフセット量が最大のｄｍａｘになるように、また、注視度が１等の最大の値である場合にはオフセット量が最小の０となるように、仮のオフセット量ｄｔを例えば線形に変化させる。なお、仮のオフセット量の変化のさせ方は、線形に限らず、例えば、注視度が高いほど緩やかに、注視度が低いほど急激に値が変化させるように、非線形に変化させてもよい。

更に、変更部１１０は、状態取得部１０７により取得された表示状態がＶＲ状態からＭＲ状態への切り替え中状態である場合には、現在設定されているオフセット量ｄに仮のオフセット量ｄｔを加算する。このとき、変更部１１０は、加算した値ｄ＋ｄｔがｄＭＲ以下である場合には、現在設定されているオフセット量を加算した値ｄ＋ｄｔに更新して、仮想カメラの位置を変更する。また、加算した値ｄ＋ｄｔがｄＭＲよりも大きい場合には、現在設定されているオフセット量をｄＭＲに更新して、仮想カメラの位置を変更する。一方、状態取得部１０７により取得された表示状態がＭＲ状態からＶＲ状態への切り替え中状態である場合には、現在設定されているオフセット量ｄから仮のオフセット量ｄｔを減算する。このとき、変更部１１０は、減算した値ｄ―ｄｔが０以上である場合には、現在設定されているオフセット量を減算した値ｄ―ｄｔに更新して、仮想カメラの位置を変更する。また、減算した値ｄ―ｄｔが０よりも小さい場合、すなわち負の値である場合には、現在設定されているオフセット量を０に更新して、仮想カメラの位置を変更する。

また更に、変更部１１０は、表示状態がＶＲ状態からＭＲ状態への切り替え中状態である場合には、現在設定されているオフセット量がＭＲ状態におけるオフセット量ｄＭＲと同値となったときに、表示状態をＭＲ状態に変更する。また、表示状態がＭＲ状態からＶＲ状態への切り替え中状態である場合には、現在設定されているオフセット量が０となったときに、表示状態をＶＲ状態に変更する。

図６を参照して、画像処理装置１００の動作について説明する。図６は、実施形態２に係る画像処理装置１００の処理フローの一例を示すフローチャートである。画像処理装置１００は、図６に示すフローチャートの処理を繰り返して実行する。なお、以下の説明において、実施形態１に係る画像処理装置１００と同様の処理については、図４と同じ符号を用いて説明を省略する。まず、画像処理装置１００は、Ｓ４０１からＳ４０８までの処理を実行する。Ｓ４０８の後、Ｓ６０１にて、変更部１１０は、Ｓ４０８にて取得された注視度に基づいて、仮想カメラの移動量を決定して仮想カメラの位置を変更する。Ｓ６０１の後、Ｓ６０２にて、変更部１１０は、表示モードに対応する表示状態における仮想カメラの位置に仮想カメラの移動が完了したか否かを判定する。Ｓ６０２にて仮想カメラの移動が完了したと判定された場合、Ｓ４１１にて、例えば、変更部１１０は、表示状態を表示モードに対応する表示状態に変更する。Ｓ４１１の後、又は、Ｓ４０６にて切り替え中状態でないと判定された場合、若しくはＳ６０２にて仮想カメラの移動が完了していないと判定された場合、画像処理装置１００は、Ｓ４１２からＳ４１４までの処理を実行してする。Ｓ４１４の後、画像処理装置１００は、図６に示すフローチャートの処理を終了し、Ｓ４０１に戻って、当該フローチャートの処理を繰り返して実行する。

以上のように構成した画像処理装置１００によれば、注視度に基づいて仮想カメラの移動量を変化させることにより、仮想カメラの移動に伴う仮想オブジェクトの変化を装着者に知覚させることを抑制しつつ、仮想カメラの位置を移動させることができる。これにより、仮想オブジェクトに対する装着者の注視度が最小となるまでの間においても、装着者が感じる臨場感を損なうことのなく、仮想カメラの位置を変更することができる。

なお、実施形態２では、ＶＲモードからＭＲモードへの切り替え、又はＭＲモードからＶＲモードへの切り替えの場合を一例として、仮想カメラの位置を変更する方法について説明したが、本開示に係る画像処理装置の適用範囲はこれに限定されるものではない。本開示に係る画像処理装置は、例えば、互いに異なる２つのＶＲモードが存在するときに、一方のＶＲモードから他方のＶＲモードに切り替える場合等においても適用可能である。

［その他の実施形態］
本開示は、上述の実施形態の１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現するＡＳＩＣ等の回路によっても実現可能である。

なお、本開示は、その開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。例えば、実施形態１と実施形態２とを併用してもよく、実施形態２の処理において、視線情報が取得できなかった場合、又は、視線情報に閉眼状態を示す情報が含まれている場合に、実施形態１の処理を行ってもよい。

［本開示の構成］
＜構成１＞
仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理装置であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得手段と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更手段と、
を有すること
を特徴とする画像処理装置。

＜構成２＞
前記変更手段は、前記注視度に基づいて前記仮想カメラの基準位置からの前記光軸方向のオフセット量を変更することにより、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成１に記載の画像処理装置。

＜構成３＞
前記ユーザの位置及び姿勢を示す位置姿勢情報を取得する位置取得手段と、
前記位置姿勢情報に基づいて、前記基準位置を取得する基準取得手段と、
を更に有すること
を特徴とする構成２に記載の画像処理装置。

＜構成４＞
前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの１つを選択的に切り替えて、前記表示画像として前記ヘッドマウントディスプレイに表示させること
を特徴とする構成１乃至３のいずれか１つに記載の画像処理装置。

＜構成５＞
前記変更手段は、前記複数の画像が選択的に切り替えられたときに、前記注視度に基づいて、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成４に記載の画像処理装置。

＜構成６＞
前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記複数の画像のうちから、前記表示状態に応じた前記表示画像を前記ヘッドマウントディスプレイに表示させることを
特徴とする構成４又は５に記載の画像処理装置。

＜構成７＞
前記変更手段は、前記仮想画像から前記複合画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記ユーザの眼の位置に対応する前記仮想空間の位置から、前記撮像装置の位置に対応する前記仮想空間の位置に変更すること
を特徴とする構成４乃至６のいずれか１つに記載の画像処理装置。

＜構成８＞
前記変更手段は、前記複合画像から前記仮想画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記撮像装置の位置に対応する前記仮想空間の位置から前記ユーザの眼の位置に対応する前記仮想空間の位置に変更すること
を特徴とする構成４乃至７のいずれか１つに記載の画像処理装置。

＜構成９＞
前記変更手段は、前記注視度が低いときに、前記注視度が高いときと比較して前記仮想カメラの位置の変更量がより大きくなるように、前記光軸方向に前記仮想カメラの位置を変更すること
を特徴とする構成１乃至８のいずれか１つに記載の画像処理装置。

＜構成１０＞
前記注視度取得手段は、前記ユーザの視線を示す視線情報に基づいて、前記注視度を決定して取得すること
を特徴とする構成１乃至９のいずれか１つに記載の画像処理装置。

＜構成１１＞
前記注視度取得手段は、前記視線情報に視線の方向を示すデータが含まれない場合、又は前記視線情報が前記ユーザの閉眼状態を示す場合に、前記注視度を小さい値に決定すること
を特徴とする構成１０に記載の画像処理装置。

＜構成１２＞
前記仮想オブジェクトを示す情報を少なくとも含む仮想空間情報を取得する情報取得手段、
を更に有し、
前記注視度取得手段は、前記視線情報と前記仮想空間情報が示す前記仮想オブジェクトの位置とに基づいて、注視する前記仮想オブジェクトの位置が前記ユーザの視線に近いほど前記注視度を大きい値に決定すること
を特徴とする構成１０又は１１に記載の画像処理装置。

＜構成１３＞
前記ユーザの姿勢を示す姿勢情報を取得する姿勢取得手段、
を更に有し、
前記注視度取得手段は、前記姿勢情報に基づいて、前記注視度を決定して取得すること
を特徴とする構成１乃至１２のいずれか１つに記載の画像処理装置。

＜構成１４＞
前記注視度取得手段は、前記姿勢情報に基づいて前記ユーザの姿勢の変化を示す情報を取得し、前記姿勢の変化の変化量が大きいほど前記注視度を小さい値に決定すること
を特徴とする構成１３に記載の画像処理装置。

＜構成１５＞
前記表示画像を生成する生成手段と、
前記表示画像を示す情報を出力する出力手段と、
を更に有し、
前記生成手段は、前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を含む前記表示画像を生成すること
を特徴とする構成１乃至１４のいずれか１つに記載の画像処理装置。

＜構成１６＞
撮像装置による撮像により得られた撮像画像のデータを取得する画像取得手段と、
を更に有し、
前記生成手段は、前記表示画像として、前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの１つを選択的に切り替えて生成すること
を特徴とする構成１５に記載の画像処理装置。

＜構成１７＞
前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
更に有し、
前記生成手段は、前記表示状態に応じて複数の画像のうちの１つを選択的に切り替えて、前記表示画像を生成することを
特徴とする構成１５又は１６に記載の画像処理装置。

＜構成１８＞
仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理方法であって、
前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得工程と、
前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更工程と、
を有すること
を特徴とする画像処理方法。

＜構成１９＞
コンピュータを、構成１乃至１７のいずれか１つに記載の画像処理装置として動作させるためのプログラム。

１００ 画像処理装置
１０９ 注視度取得部
１１０ 変更部

Claims (19)

1. 仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理装置であって、
   前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得手段と、
   前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更手段と、
   を有すること
   を特徴とする画像処理装置。
2. 前記変更手段は、前記注視度に基づいて前記仮想カメラの基準位置からの前記光軸方向のオフセット量を変更することにより、前記光軸方向に前記仮想カメラの位置を変更すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記ユーザの位置及び姿勢を示す位置姿勢情報を取得する位置取得手段と、
   前記位置姿勢情報に基づいて、前記基準位置を取得する基準取得手段と、
   を更に有すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの１つを選択的に切り替えて、前記表示画像として前記ヘッドマウントディスプレイに表示させること
   を特徴とする請求項１に記載の画像処理装置。
5. 前記変更手段は、前記複数の画像が選択的に切り替えられたときに、前記注視度に基づいて、前記光軸方向に前記仮想カメラの位置を変更すること
   を特徴とする請求項４に記載の画像処理装置。
6. 前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
   更に有し、
   前記複数の画像のうちから、前記表示状態に応じた前記表示画像を前記ヘッドマウントディスプレイに表示させること
   を特徴とする請求項４に記載の画像処理装置。
7. 前記変更手段は、前記仮想画像から前記複合画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記ユーザの眼の位置に対応する前記仮想空間の位置から、前記撮像装置の位置に対応する前記仮想空間の位置に変更すること
   を特徴とする請求項４に記載の画像処理装置。
8. 前記変更手段は、前記複合画像から前記仮想画像に切り替えられたときに、前記注視度に基づいて、前記仮想カメラの位置を、前記撮像装置の位置に対応する前記仮想空間の位置から前記ユーザの眼の位置に対応する前記仮想空間の位置に変更すること
   を特徴とする請求項４に記載の画像処理装置。
9. 前記変更手段は、前記注視度が低いときに、前記注視度が高いときと比較して前記仮想カメラの位置の変更量がより大きくなるように、前記光軸方向に前記仮想カメラの位置を変更すること
   を特徴とする請求項１に記載の画像処理装置。
10. 前記注視度取得手段は、前記ユーザの視線を示す視線情報に基づいて、前記注視度を決定して取得すること
    を特徴とする請求項１に記載の画像処理装置。
11. 前記注視度取得手段は、前記視線情報に視線の方向を示すデータが含まれない場合、又は前記視線情報が前記ユーザの閉眼状態を示す場合に、前記注視度を小さい値に決定すること
    を特徴とする請求項１０に記載の画像処理装置。
12. 前記仮想オブジェクトを示す情報を少なくとも含む仮想空間情報を取得する情報取得手段、
    を更に有し、
    前記注視度取得手段は、前記視線情報と前記仮想空間情報が示す前記仮想オブジェクトの位置とに基づいて、注視する前記仮想オブジェクトの位置が前記ユーザの視線に近いほど前記注視度を大きい値に決定すること
    を特徴とする請求項１０に記載の画像処理装置。
13. 前記ユーザの姿勢を示す姿勢情報を取得する姿勢取得手段、
    を更に有し、
    前記注視度取得手段は、前記姿勢情報に基づいて、前記注視度を決定して取得すること
    を特徴とする請求項１に記載の画像処理装置。
14. 前記注視度取得手段は、前記姿勢情報に基づいて前記ユーザの姿勢の変化を示す情報を取得し、前記姿勢の変化の変化量が大きいほど前記注視度を小さい値に決定すること
    を特徴とする請求項１３に記載の画像処理装置。
15. 前記表示画像を生成する生成手段と、
    前記表示画像を示す情報を出力する出力手段と、
    を更に有し、
    前記生成手段は、前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を含む前記表示画像を生成すること
    を特徴とする請求項１に記載の画像処理装置。
16. 撮像装置による撮像により得られた撮像画像のデータを取得する画像取得手段と、
    を更に有し、
    前記生成手段は、前記表示画像として、前記仮想カメラからの前記仮想オブジェクトが配置された仮想空間の見えに対応する仮想画像と、撮像装置による撮像により得られた撮像画像に前記仮想カメラからの前記仮想オブジェクトの見えに対応する像を重畳させた複合画像とを少なくとも含む複数の画像のうちの１つを選択的に切り替えて生成すること
    を特徴とする請求項１５に記載の画像処理装置。
17. 前記ヘッドマウントディスプレイの表示状態を取得する状態取得手段、
    更に有し、
    前記生成手段は、前記表示状態に応じて複数の画像のうちの１つを選択的に切り替えて、前記表示画像を生成すること
    を特徴とする請求項１５に記載の画像処理装置。
18. 仮想カメラからの仮想オブジェクトの見えに対応する像を少なくとも含む表示画像をヘッドマウントディスプレイに表示させる画像処理方法であって、
    前記ヘッドマウントディスプレイを装着するユーザにおける前記仮想オブジェクトに対する注視度を取得する注視度取得工程と、
    前記注視度に基づいて、前記仮想カメラの光軸方向に前記仮想カメラの位置を変更する変更工程と、
    を有すること
    を特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として動作させるためのプログラム。

Images