JP2018067300A - 情報処理装置及びその制御方法 - Google Patents

Abstract

【課題】消費電力が増えることを抑制し、高い精度で位置検出でき、自然な複合現実感を提示する。【解決手段】画像表示装置２００（ＨＭＤ）と接続された情報処理装置３００であって、画像表示装置に備えられた撮像部により撮像された現実空間の画像を取得する第１の取得部２１０と、画像表示装置に備えられた測定部１２０により測定された、画像表示装置から現実空間に含まれる物体までの距離を示すデータを取得する第２の取得部２２０と、第２の取得部により取得した距離を示すデータに基づいて、第１の取得部により取得した画像とＣＧとを重畳することにより合成画像を生成する生成部と、第１の取得部により取得した画像に特定の物体が含まれている場合、測定部の測定頻度を第１の測定頻度に設定し、第１の取得部により取得した画像に特定の物体が含まれていない場合、測定部の測定頻度を第１の測定頻度よりも低い第２の測定頻度に設定する設定部とを有する。【選択図】図１

Description

本発明は、情報処理装置及びその制御方法に関するものである。

コンピュータによって作られる仮想空間と現実空間とを繋ぎ目なく融合する複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；以下、ＭＲ）技術が知られている。ＭＲ技術では、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て検証等、様々な分野への応用が進んでいる。ビデオシースルー型ＨＭＤを利用するＭＲ技術では、ＨＭＤに内蔵されている撮影装置であるカメラから現実空間の画像を取得し、仮想物体と重畳してＨＭＤの表示装置に表示を行う。ＭＲ技術で現実物体（例えばＨＭＤを装着する操作者自身の手）と仮想物体との前後関係を正しく表現するために、現実物体と仮想物体の３次元位置情報を求める。すなわち、現実物体の３次元位置情報と仮想物体の３次元位置情報を比較し、現実物体が手前になる場合は、撮影した画像を手前に表示する。この前後関係を正しく表現するには、現実物体の３次元位置を正しく求める必要がある。

特許文献１では、デプスセンサを用いて、現実物体の３次元位置計測精度を向上させる試みがなされている。

特許５８１８７３３号公報

ＭＲシステムでは、左右の眼に対応して設けられたカメラによって現実空間を撮影した画像からステレオ法により、現実物体の３次元位置を求めることができる。しかし、前述のように、カメラとは別に距離計測部（デプスセンサ）を設けることで、その距離計測部による距離計測結果単独、またはカメラから求められる距離計測結果との併用により、三次元位置情報の精度を向上させることが可能である。しかし、そのために多くの装置や回路等を稼働させるため、消費電力が増えるという問題が発生する。

本発明はかかる問題に鑑みなされたものであり、計測部を有するものの、単純にその計測手段を設けるだけでは消費電力が増えることを抑制しつつ、高い精度で位置検出でき、自然な複合現実感を提示することを可能にする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
画像表示装置と接続された情報処理装置であって、
画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する第１の取得手段と、
前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する第２の取得手段と、
前記第２の取得手段により取得した距離を示すデータに基づいて、前記第１の取得手段により取得した画像とＣＧとを重畳することにより合成画像を生成する生成手段と、
前記第１の取得手段により取得した画像に特定の物体が含まれている場合、前記測定手段の測定頻度を第１の測定頻度に設定し、
前記第１の取得手段により取得した画像に前記特定の物体が含まれていない場合、前記測定手段の測定頻度を前記第１の測定頻度よりも低い第２の測定頻度に設定する設定手段とを有する。

本発明によれば、カメラとは別に計測手段を有するものの、単純にその計測手段の分だけ消費電力が増えることを抑制しつつ、高い精度で位置検出でき、自然な複合現実感を提示することが可能になる。

実施形態における複合現実感提示システムの構成とＨＭＤに表示される画像の例を示す図。 第１の実施形態の動作を説明するための図。 第１の実施形態における処理手順を示すフローチャート。 第２の実施形態の動作を説明するための図。 第２の実施形態における処理手順を示すフローチャート。 第３の実施形態の動作を説明するための図。 第３の実施形態における処理手順を示すフローチャート。 第１の実施形態の変形例を示すシステム構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
本第１の実施形態では、ビデオシースルー型ＨＭＤを装着する体験者（ユーザ）の手をステレオカメラ及びデプスセンサで撮影し、第一、第二の手の領域の奥行き値を推定する。そして、推定結果を基にＣＧモデルと手との前後関係に応じてＣＧモデルの画像を加工し、実写画像とＣＧモデルの合成を、ＨＭＤのディスプレイに表示する例を説明する。

図１（ａ）は、本実施形態における複合現実感提示システムのブロック構成図である。このシステムは、ＨＭＤ２００と情報処理装置３００とで構成される。ＨＭＤ２００と情報処理装置３００とは互いに通信可能に接続されている。接続形態は有線、無線を問わない。

ＨＭＤ２００は、ＨＭＤ装置全体の制御を司る制御部２５０を有する。また、ＨＭＤ２００には、ステレオカメラとして機能するカメラ１００、１１０、及び、その近傍に位置するデプスカメラ１２０が搭載されている。また、更に、ＨＭＤ２００は、カメラ１００、１１０からの撮像画像を取得し、情報処理装置３００に向けて送信する画像所得部２１０を有する。また、ＨＭＤ２００には、デプスカメラ１２０から取得したデプス画像（画素値が距離を示す画像）を取得し、情報処理装置３００に向けて送信する奥行計測部２２０を有する。更に、ＨＭＤ２００には、情報処理装置３００から、ＣＧモデルと実写した画像との合成画像を受信し、表示する表示部２３０を有する。

説明を単純化するため、実施形態におけるカメラ１００、１１０、及び、デプスカメラ１２０の撮像する視野範囲、及び、表示部２３０の表示の視野範囲は同じとして説明する。また、カメラ１００、１１０及びデプスカメラ１２０は、それぞれ３０フレーム／秒で撮像するものとする。

図１（ｂ）は、表示部２３０の表示画面への表示例を示している。図１（ｂ）ではＣＧオブジェクト１６０が、ユーザの手１５０より奥に位置した場合の合成画像の表示例を示している。図１（ａ）では、ＣＧオブジェクト１６０は実在しないので破線で示している。

情報処理装置３００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、装置全体の制御を司る制御部４００を備える。また、情報処理装置３００は、画像記憶部３１０、位置姿勢推定部３２０、モデル形状記憶部３３０、画像生成部３４０、第一の奥行推定部３５０、第二の奥行推定部３６０、奥行決定部３７０、及び、画像合成部３８０を有する。なお、画像記憶部３１０、モデル形状記憶部３３０は、ハードディスク等の記憶装置で実現でき、それ以外は制御部４０９がアプリケーションプログラムを実行することで実現できる。もちろん、そのいくつかをＣＰＵ以内のハードウェアで実現しても構わない。

画像記憶部３１０は、ＨＭＤ２００から送信されてくる撮像画像（ステレオ画像）を一時的に記憶する。

位置姿勢推定部３２０は、画像記憶部３１０に記憶されたステレオ画像からＨＭＤ２００（正確にはカメラ１００、１１０）の位置姿勢を推定する。ＨＭＤ２００の位置姿勢を推定する技術として、現実空間内に位置姿勢検出のマーカ１７０（図１（ｂ）参照）を複数個配置し、撮像画像中のマーカからＨＭＤ２００の位置姿勢を推定するものがあり、本実施形態でもそれに従うものとする。例えば、画像を二値化し、四角形の頂点を抽出し、山登り法の繰り返し演算で画像上における投影誤差を最小化してカメラ位置姿勢を推定すればよい。なお、ＨＭＤ２００の位置姿勢が検出できれば良く、その構成に特に制限はない。例えば、モーションキャプチャ装置や磁気センサーなど、その他の計測方法を用いてＨＭＤ２００の位置姿勢を計測してもよい。

第一の奥行推定部３５０は、画像記憶部３１０からステレオ画像を取得し、ステレオマッチング方式を用いて、ＨＭＤを装着するユーザの視点位置から見える第一の奥行推定情報（奥行推定値を画素値とする画像）を生成し、出力する。第二の奥行推定部３６０は奥行計測部２２０から受信したデプス画像を取得し、第二の奥行推定情報として出力する。奥行決定部３７０は、第一の奥行推定情報と第二の奥行推定情報より、より確かな奥行推定情報を決定し、画像生成部３４０に出力する。ここで、より確かな奥行推定情報を決定するための方法としては、それぞれの推定方法に於ける精度が劣る部分を補い合う方法や、単純な平均、距離や位置で使い分ける方法などを適宜適用することが出来る。

位置姿勢推定部３２０では、カメラ１００および１１０の位置姿勢を計測する。本実施形態では、撮像画像に映り込む正方形マーカ１７０の投影像に基づいてカメラ１００、１１０の位置姿勢を推定する。例えば、画像を二値化し、四角形の頂点を抽出し、山登り法の繰り返し演算で画像上における投影誤差を最小化してカメラ１００、１１０の位置姿勢を推定すればよい。

なお、本実施形態は、位置姿勢推定部３２０の推定方法に依存するものではなく、モーションキャプチャ装置や磁気センサーなど、その他の計測方法を用いて撮像装置の位置姿勢を計測してもよい。

モデル形状記憶部３３０は、予め実空間におけるＣＧオブジェクト１６０の存在する位置、及び描画するための形状情報を記憶している。なお、記憶される仮想オブジェクトの数に制限はない。

画像生成部３４０は、モデル形状記憶部３３０に格納されたＣＧオブジェクト１６０、奥行き決定部３７０からの奥行推定情報に基づく手１５０の３次元形状、および位置姿勢推定部３２０から取得したＨＭＤ２００の位置姿勢に基づいてＣＧモデル１６０の画像を生成する。画像生成部３４０は、ＣＧオブジェクト６０の描画ピクセルにおける手１５０との前後関係を比較して、ＣＧオブジェクトを描画するかどうかを決定して描画を行う。すなわち、手１５０の方がＣＧオブジェクト１６０よりも手前にあると判定した画素位置では、画素にＣＧオブジェクト１６０の画素を描画しないようにする。

画像合成部３８０は、画像記憶部３１０に格納されているカメラ１００、１１０の夫々の画像に対して、画像生成部３４０が生成したＣＧオブジェクト１６０の描画結果を夫々合成し、ステレオ合成画像を生成する。なお、実施形態では、手１５０の実画像とＣＧオブジェクトとを合成するものとしたが、手１５０の３次元形状をモデル化した手のＣＧオブジェクトを生成して合成しても良い。画像合成部３８０は、ステレオ合成画像を表示部２３０に向けて送信する。この結果、表示部２３０には、ユーザの左右の目に対応する画像が表示され、ユーザにとっては、自身の手１５０とＣＧオブジェクトの前後関係を視覚的に提示することになる。

上述の様に、異なる原理に基づく第１の奥行推定部３５０，第２の奥行推定部３６０の２つを用いて、奥行の測定精度を高めることが出来る。しかし、その一方で、距離の測定精度は、常に高い必要は無い。例えば画面内に手が表示されない場合や、ＣＧオブジェクトと手が極端に離れている場合は、高い測定精度は必要ない。

よって、本実施形態は、精度が必要とされない状況か否かを判定する。そして、精度が要求されない状況であると判定された場合、複数の奥行推定に係る構成のうち、カメラ１００、１１０による奥行推定に係る構成以外の構成（実施形態では２種類示しているので、デプスカメラ１２０に関する構成）の測定精度を落す、場合によっては休止させ、トータルの消費電力を下げる。なお、カメラ１００、１１０による奥行推定に係る構成を、消費電力を下げる対象外とするのは、ＨＭＤ２００が有する表示部２３０には、リアルタイムな撮像画像（ＣＧオブジェクトの合成画像）を表示するためである。

消費電力を低減させる具体的な方法としては、デプスカメラ１２０の通常の撮像フレームレートが３０フレーム／秒であるところを、例えば１０フレーム／秒に落とす（場合によっては可動を休止しても良い）。また、第二の奥行推定部３６０も、通常の処理の１／３まで落とすことができることを意味するので、例えば、第二の奥行推定部３６０に供給する駆動クロックの周波数も処理に間に合う程度まで落しても構わない。更に、デプスカメラ１２０が、ＴＯＦ（Time of flight）方式のデプスセンサを採用している場合、測定の為に発光するＬＥＤの駆動周期を落とすと良い。上記のようにすると、ＨＭＤ２００、情報処理装置３００が無駄に電力を消費することを抑制できる。特に、ＨＭＤ２００が内蔵バッテリを電源として動作している場合には、その稼働時間を稼ぐことが可能となる。

さて、本実施形態では、情報処理装置３００の制御部４００が、ＨＭＤ２００のカメラ１００，１１０による撮像画像（２枚の画像のうち少なくともいずれか）に、ＣＧオブジェクトとの前後関係を正しく表現したい対象物（以下、測定対象物）が写っているか否かを判定する。そして、撮像画像内に測定対象物が入っていた場合、制御部４００は第二の奥行推定部３６０へ供給される駆動クロックの周波数を下げ、且つ、ＨＭＤ２００の制御部２５０にもデプスカメラ１２０に撮像フレームレートを下げるように要求する。ＨＭＤ２００の制御部２５０は、この要求を受けた場合、奥行計測部２２０を制御し、デプスカメラ１２０の撮像フレームレートを３０フレーム／秒から、例えば１０フレーム／秒に落とさせる。また、デプスカメラ１２０が先に説明したようにＴＯＦ方式のデプスセンサを採用している場合には、フレームレートに応じて、発光用のＬＥＤの駆動の周期も変更する。

以上の結果、撮像画像内に測定対象物が写っている図２（ａ）の状況と、写っていない図２（ｂ）の状況とで、デプスカメラ１２０、並びに、デプスカメラ１２０よるデプス画像を利用する各種構成要素の消費電力を抑えることが可能になる。

図３は実施形態における情報処理装置３００における制御部４００の処理手順（アプリケーション）を示している。以下、同図に従い、制御部４００の処理を説明する。

Ｓ３０１、Ｓ３０２にて、制御部４００は、第一、第二の奥行推定部３５０、３６０による奥行推定処理を行わせ、それぞれにて奥行情報を生成させる。Ｓ３０３にて、制御部４００は、奥行決定部３７０を制御し、第一、第二の奥行推定部３５０、３６０からの奥行情報からより高い精度の奥行情報を生成する。そして、Ｓ３０４にて、制御部４００は、測定対象情報（モデル形状記憶部に予め記憶されているものとする）に基づき、奥行情報内に、測定対象物（実施形態ではユーザの「手」）が存在するか否かを判定する。測定対象情報は、測定対象物を特定するための情報であり、例えば、「手」の形状を示す形状情報であって、制御部４００は奥行情報と形状情報とをマッチング処理し、マッチングする位置が見つかった場合に測定対象物が写っていると判定すればよい。測定対象物が写っていると判断された場合、制御部４００は、Ｓ３０５にて、第二の奥行推定部３６０への動作クロックの周波数を高い状態（３０フレーム／秒に対応する周波数）に設定すると共に、ＨＭＤ２００の制御部２５０に対し、デプスカメラ１２０の撮像頻度（計測頻度でもある）を高い状態（実施形態では３０フレーム／秒）となるよう要求する。一方、測定対象物が写っていないと判断された場合、制御部４００は、Ｓ３０６にて、第二の奥行推定部３６０への動作クロックの周波数を低い状態（１０フレーム／秒に対応する周波数）に設定すると共に、ＨＭＤ２００の制御部２５０に対しても、デプスカメラ１２０の撮像頻度（フレームレート）を低い状態（実施形態では１０フレーム／秒）となるよう要求する。

なお、デプスカメラ１２０の撮像フレームレートが１０フレーム／秒になっている期間では、３回に１回の割合で、奥行決定部３７０は第一、第二の奥行推定部３５０，３６０の双方の奥行情報から、最終的な奥行情報を生成する。そして、３回に２回の割合で、奥行決定部３７０は、第一の奥行推定部３５０からの奥行情報を最終的な奥行情報として決定する。第二の奥行決定部３６０による奥行情報の更新は１／１０秒となっているため、時間軸に対する精度が逆に落ちるためである。かかる点は、以下に説明する他の実施形態でも同様である。

上記説明では、測定対象物が写っているか否かを、奥行決定部３７０が決定した奥行情報と、測定対象情報が示す形状情報とのマッチング処理で判定するものとしたが、これに限定されない。例えば、ユーザの手の色を測定対象情報としても構わない。この場合、マッチングするする対象は、奥行情報ではなく、画像記憶部３１０に記憶された撮像画像となる。すなわち、制御部４００は、撮像画像中に、手の色を示す所定サイズの領域が存在するか否かを判定すればよい。また、エッジ検出した画像を予め用意した手の姿勢のライブラリと照合し、その有無を判定しても良い。

また、上記説明では、第一の奥行推定情報と第二の奥行推定情報とを併用することによって、測定対象物の最終的な奥行き情報を決定している。しかし、本実施形態は、第二の奥行推定情報（デプスカメラによる距離情報）のみで最終的な奥行き情報を決定する場合にも適用可能である。その場合にも、測定対象物が映っているか否かによってデプスカメラ１２０の撮像頻度を制御することによって、その電力消費を抑制することが可能になる。

［第１の実施形態の変形例］
上記第１の実施形態では、ＨＭＤ２００はビデオシースルー型であるものとして説明したが、ＨＭＤ２００は光学シースルー型であっても構わない。

図８は、この場合の複合現実感提示システムのブロック構成図である。図１（ａ）との違いは２つある。１つ目は、図１の画像合成部３８０が無くなる点である。つまり、画像生成部３４０が生成したＣＧオブジェクト１６０が、ＨＭＤ２００に直接送信され、ＨＭＤ２００の表示部２３０に表示される。

２つ目は、画像生成部３４０が、ＨＭＤ２００を装着するユーザの「手」が示す領域を認識する。そして、「手」がＣＧオブジェクトよりユーザに近い場合には、画像生成部３４０はＣＧオブジェクトを、手が示す領域でマスクして描画する点である。

なお、ＨＭＤ２００を装着するユーザが視覚するユーザの手の画像を得る必要があるので、ＨＭＤ２００には第１の実施形態と同様、カメラ１００、１１０、画像取得部２１０を有することになる。

以下に説明する第２、第３の実施形態では、ＨＭＤ２００がビデオシースルー型であることを前提に説明するが、本変形例のごとく、ＨＭＤ２００が光学シースルー型であっても良い。

［第２の実施形態］
上記実施形態では、撮像画像に測定対象物が存在するか否かの判定に基づき、奥行推定に係る一方の構成の測定精度を落し、消費電力を削減した。本第２の実施形態では、ＣＧオブジェクトから所定の範囲に測定対象物が存在するか否かに基づいて、測定頻度を制御するものである。より具体的には、ＣＧオブジェクト（空間内の位置はモデル形状記憶部３３０に格納された情報から一意に判定できる）とＨＭＤ２００の間に、前後関係を判断すべき測定対象物が存在するか否かに基づき、奥行推定に係る一方の構成の測定精度を落し、消費電力の削減を行う。

具体的には、表示すべき仮想オブジェクトとＨＭＤ２００（カメラ１１０、１１０）の位置との距離に対して、奥行き推定する測定対象物とＨＭＤ２００との距離が十分に離れている場合には、奥行推定に係る一方の構成の測定精度を落し、消費電力の削減を行う。

図４（ａ），（ｂ）は、測定対象物がテーブルとする例を示している。図４（ａ）に示すテーブルとＨＭＤ２００との距離をＬ１，図４（ｂ）におけるテーブルとＨＭＤ２００との距離をＬ２と表す。ここで、表示するＣＧオブジェクトが、テーブルと同じ方向に、ＨＭＤから距離Ｌ０だけ隔てた場所に位置しているものとする。また、予め設定された閾値をＴとする。

今、図４（ａ）において、Ｌ０＋Ｔ≧Ｌ１であったとする。この場合、ＣＧオブジェクトと被測定対処物間の距離が近いので、いずれがＨＭＤに対して手前に位置するのか、奥に位置するのかを高い精度で判定する必要があると判断する。一方、図４（ｂ）において、Ｌ０＋Ｔ＜Ｌ２であると判定された場合には、測定対象物は仮想オブジェクトから十分に離れて位置していると見なし、高い精度でいずれが奥に位置するのかを判定する必要はないので、消費電力の削減を行う。

図５は第２の実施形態における情報処理装置３００における制御部４００の処理手順を示している。以下、同図に従い、制御部４００の処理を説明する。

Ｓ５０１、Ｓ５０２にて、制御部４００は、第一、第二の奥行推定部３５０、３６０による奥行推定処理を行わせ、それぞれにて奥行情報を生成させる。Ｓ５０３にて、制御部４００は、奥行決定部３７０を制御し、第一、第二の奥行推定部３５０、３６０からの奥行情報からより高い精度の奥行情報を生成する。そして、Ｓ５０４にて、制御部４００は、ＨＭＤ２００の位置姿勢、及び、表示すべき仮想ＣＯオブジェクトの位置を取得し、奥行情報を参照して、ＨＭＤとＣＧオブジェクトの間に、測定対象物が存在するか否かを判定する。具体的には、ＨＭＤとＣＧとの距離をＬ０とし、奥行情報内の画素値（距離を示す）をＬ（ｘ、ｙ）と表す。そして、条件：Ｌ（ｘ、ｙ）≦Ｌ０＋Ｔを満たす画素が存在する場合、ＨＭＤとＣＧオブジェクトとの間に測定対象物が有るものと推定する。そして、制御部４００は、Ｓ５０５にて、第二の奥行推定部３６０への動作クロックの周波数を高い状態（３０フレーム／秒に対応する周波数）に設定すると共に、ＨＭＤ２００の制御部２５０に対し、デプスカメラ１２０の撮像頻度（フレームレート）を高い状態（実施形態では３０フレーム／秒）となるよう要求する。一方、上記の条件を満たす画素が存在しない場合には、制御部４００は、ＨＭＤとＣＧオブジェクトとの間に測定対象物が存在しないと推定する。すなわち、Ｓ５０６にて、制御部４００は、第二の奥行推定部３６０への動作クロックの周波数を低い状態（１０フレーム／秒に対応する周波数）に設定すると共に、ＨＭＤ２００の制御部２５０に対しても、デプスカメラ１２０の撮像頻度（フレームレート）を低い状態（実施形態では１０フレーム／秒）となるよう要求する。

なお、上記説明では、ＣＧオブジェクトから所定の範囲に測定対象物が存在するか否かに基づいて、測定頻度を制御する形態を示したが、この所定の範囲とは、奥行き方向における、ＨＭＤとＣＧオブジェクトとの間の範囲であった。これに限らず、例えば、画面平面内において、測定対象物がＣＧオブジェクトから所定の範囲内にあるか否かを判断してもよい。すなわち、画面平面内において、測定対象物が所定範囲内にある（すなわち、ＣＧオブジェクトの近くにある）場合には、測定頻度を高頻度に設定する。一方、画面平面内において、測定対象物が所定範囲内にない（すなわち、ＣＧオブジェクトの遠くにある）場合には、測定頻度を低頻度に設定する。このような形態においても、測定対象物とＣＧオブジェクトとの奥行き方向における前後関係の推定が必要なときだけ、測定頻度を高めているので、消費電力の抑制となる。

［第３の実施形態］
本第３の実施形態では、測定対象物が、ＨＭＤ２００を装着するユーザの視野内に近づいているか否か、遠ざかっているか否かに基づき、省電力モードに移行するか否かを決定する例を説明する。

本第３の実施形態を実現するため、カメラ１００、１１０は、ＨＭＤ２００の表示部２３０に表示する表示範囲よりも十分に広い撮像範囲（視野角）を有するものとする。換言すれば、表示部２３０に表示する画像は、カメラ１００、１１０による撮像画像の中心部分の画像とする。

図６（ａ）、（ｂ）は、カメラ１００、１１０による撮像範囲（外枠）と、表示部２３０の表示範囲（内枠）の関係を示している。図示の如く表示部２３０が表示する領域は、カメラ１００、１１０が撮像した画像範囲よりも狭く、且つ、その中央部となっている。本実施形態では、測定対象物（ユーザの「手」）が表示範囲に近づいている状態が検出された場合（図６（ａ）の状態）、高い精度での奥行情報の推定処理の実行を開始する。一方、測定対象物が表示範囲外にあり、且つ、遠ざかっている状態が検出された場合（図６（ｂ）の状態）では、奥行情報に高い精度は要求されないので、消費電力を下げる。なお、カメラ１００、１１０による撮像範囲と、ＨＭＤ２００の表示部に表示する表示範囲との関係は既知であるので、撮像画像内の測定対象物の位置から、その測定対象物が表示範囲内にあるのか、外にあるのかの判定できる。また、実施形態では、カメラ１００、１１０は３０フレーム／秒で撮像するものとしているので、１／３０秒の間隔で測定対象物の位置が判明する。従って、現在と前回（１／３０秒前）の測定対象物の位置、及び、表示範囲から、測定対象物が表示範囲に近づいているか、表示範囲外にあって遠ざかっているのかを判定すればよい。

図７は、第３の実施形態における情報処理装置３００における制御部４００の処理手順を示している。以下、同図に従い、制御部４００の処理を説明する。

Ｓ７０１、Ｓ７０２にて、制御部４００は、第一、第二の奥行推定部３５０、３６０による奥行推定処理を行わせ、それぞれにて奥行情報を生成させる。Ｓ７０３にて、制御部４００は、奥行決定部３７０を制御し、第一、第二の奥行推定部３５０、３６０からの奥行情報からより高い精度の奥行情報を生成する。そして、Ｓ７０４にて、制御部４００は、被測定対象情報（モデル形状記憶部に予め記憶されているものとする）に基づき、現在の奥行情報における測定対象物の位置と、前回求めた測定対象物の位置、並びに表示範囲に基づき、測定対象情報が表示範囲に近づいているか否かを判定する。表示範囲に向かって、測定対象物が近づいていると判定された場合には、制御部４００は、Ｓ７０５にて、第二の奥行推定部３６０への動作クロックの周波数を高い状態（３０フレーム／秒に対応する周波数）に設定すると共に、ＨＭＤ２００の制御部２５０に対し、デプスカメラ１２０の撮像頻度（フレームレート）を高い状態（実施形態では３０フレーム／秒）となるよう要求する。一方、測定対象物が表示範囲外に位置し、且つ、表示範囲から遠ざかっていると判定された場合、Ｓ７０６にて、制御部４００は、第二の奥行推定部３６０への動作クロックの周波数を低い状態（１０フレーム／秒に対応する周波数）に設定すると共に、ＨＭＤ２００の制御部２５０に対しても、デプスカメラ１２０の撮像頻度（フレームレート）を低い状態（実施形態では１０フレーム／秒）となるよう要求する。

なお、測定対象物が表示範囲に近づいていると判定された以降であって、表示範囲から遠ざかっていると判定されるまでの期間は、Ｓ７０４の判定はＹｅｓとして処理されるものとする。また、上記実施形態では、測定対象物が表示範囲に近づく、遠ざかるを判定するものとしたが、移動速度を加味しても良い。

また、測定体操物が表示範囲内に存在する場合の処理は、第１の実施形態、又は、第２の実施形態に従うものとする。

以上説明したように実施形態によれば、複数の位置検出部を搭載しても、常に高い消費電力を必要とせず、且つ、ユーザには、十分な精度で仮想オブジェクトと現実空間での測定対象物とを正しい位置関係で仮想現実感を提示することが可能になる。なお、実施形態では、カメラ１００、１１０以外の実空間における測定対象物の位置検出に係る構成としてデプスカメラ１２０の１つを示したが、位置検出の種類及び数に特に制限はない。

なお、上記実施形態で示したＨＭＤ２００の代わりに、同機能を持つのであればスマートホン等のデバイスを用いても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００、１１０…カメラ、１２０…デプスカメラ、２００…ＨＭＤ、２１０…画像取得部、２２０…奥行計測部、２３０…表示部、２５０…制御部、３００…情報処理装置、３１０…画像記憶部、３２０…位置姿勢推定部、３３０…モデル形状記憶部、３４０…画像生成部、３５０…第一の奥行推定部、３６０…第二の奥行推定部、３７０…奥行決定部、３８０…画像合成部

Claims (15)

1. 画像表示装置と接続された情報処理装置であって、
   画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する第１の取得手段と、
   前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する第２の取得手段と、
   前記第２の取得手段により取得した距離を示すデータに基づいて、前記第１の取得手段により取得した画像とＣＧとを重畳することにより合成画像を生成する生成手段と、
   前記第１の取得手段により取得した画像に特定の物体が含まれている場合、前記測定手段の測定頻度を第１の測定頻度に設定し、
   前記第１の取得手段により取得した画像に前記特定の物体が含まれていない場合、前記測定手段の測定頻度を前記第１の測定頻度よりも低い第２の測定頻度に設定する設定手段と
   を有することを特徴とする情報処理装置。
2. 前記撮像手段は現実空間のステレオ画像を撮影する撮像手段であって、
   前記撮像手段により撮像された現実空間のステレオ画像に基づいて、前記画像表示装置から前記物体までの距離を推定する推定手段と、
   前記推定手段により推定した距離と、前記測定手段によって測定された画像表示装置から前記物体までの距離とに基づいて、前記測定手段によって測定された画像表示装置から前記物体までの距離を決定する決定手段と
   を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像表示装置が表示する表示範囲は、前記撮像手段が撮像する撮像範囲よりも狭く、且つ、前記撮像範囲の中央部であって、
   前記設定手段は、
   前記撮像手段で撮像された画像内に前記表示範囲に向かって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第１の測定頻度に設定し、
   前記撮像手段で撮像された画像内に、前記表示範囲外にあって当該表示範囲から遠ざかって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第２の測定頻度に設定する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記画像表示装置はＨＭＤであって、
   前記撮像手段及び前記測定手段は前記ＨＭＤに搭載される
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記特定の物体は、ユーザの手であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記測定手段はＴＯＦ方式のセンサーであることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 画像表示装置と接続された情報処理装置であって、
   画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する第１の取得手段と、
   前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する第２の取得手段と、
   前記第２の取得手段により取得した距離を示すデータに基づいて、前記第１の取得手段により取得した画像とＣＧとを重畳することにより合成画像を生成する生成手段と、
   前記第１の取得手段により取得した画像における特定の物体が前記ＣＧから所定の範囲内に存在する場合、前記測定手段の測定頻度を第１の測定頻度に設定し、
   前記第１の取得手段により取得した画像における特定の物体が前記所定の範囲外に存在する場合、前記測定手段の測定頻度を前記第１の測定頻度よりも低い第２の測定頻度に設定する設定手段と
   を有することを特徴とする情報処理装置。
8. 前記撮像手段は現実空間のステレオ画像を撮影する撮像手段であって、
   前記撮像手段により撮像された現実空間のステレオ画像に基づいて、前記画像表示装置から前記物体までの距離を推定する推定手段と、
   前記推定手段により推定した距離と、前記測定手段によって測定された画像表示装置から前記物体までの距離とに基づいて、前記測定手段によって測定された画像表示装置から前記物体までの距離を決定する決定手段と
   を更に有することを特徴とする請求項７に記載の情報処理装置。
9. 前記所定の範囲とは、前記撮像画像の画像平面内において、前記ＣＧからの距離が所定値以内の範囲であることを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記所定の範囲とは、前記撮像画像の奥行き方向において、前記画像表示装置の位置と前記ＣＧが表示される現実空間の位置との間の範囲であることを特徴とする請求項７又は８に記載の情報処理装置。
11. 前記画像表示装置が表示する表示範囲は、前記撮像手段が撮像する撮像範囲よりも狭く、且つ、前記撮像範囲の中央部であって、
    前記設定手段は、
    前記撮像手段で撮像された画像内に前記表示範囲に向かって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第１の測定頻度に設定し、
    前記撮像手段で撮像された画像内に、前記表示範囲外にあって当該表示範囲から遠ざかって移動する現実物体が存在する場合に、前記測定手段の測定頻度を前記第２の測定頻度に設定する
    ことを特徴とする請求項７乃至１０のいずれか１項に記載の情報処理装置。
12. 画像表示装置はＨＭＤであって、
    前記撮像手段及び前記測定手段は前記ＨＭＤに搭載される
    ことを特徴とする請求項７乃至１１のいずれか１項に記載の情報処理装置。
13. 画像表示装置と接続された情報処理装置の制御方法であって、
    画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する工程と、
    前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する工程と、
    前記取得した距離を示すデータに基づいて、前記取得した画像とＣＧとを重畳することにより合成画像を生成する工程と、
    前記取得した画像に特定の物体が含まれている場合、前記測定手段の測定頻度を第１の測定頻度に設定する工程と、
    前記取得した画像に前記特定の物体が含まれていない場合、前記測定手段の測定頻度を前記第１の測定頻度よりも低い第２の測定頻度に設定する工程と
    を有することを特徴とする情報処理装置の制御方法。
14. 画像表示装置と接続された情報処理装置の制御方法であって、
    画像表示装置に備えられた撮像手段により撮像された現実空間の画像を取得する工程と、
    前記画像表示装置に備えられた測定手段により測定された、前記画像表示装置から前記現実空間に含まれる物体までの距離を示すデータを取得する工程と、
    前記取得した距離を示すデータに基づいて、前記取得した画像とＣＧとを重畳することにより合成画像を生成する工程と、
    前記取得した画像における特定の物体が前記ＣＧから所定の範囲内に存在する場合、前記測定手段の測定頻度を第１の測定頻度に設定する工程と、
    前記取得した画像における特定の物体が前記所定の範囲外に存在する場合、前記測定手段の測定頻度を前記第１の測定頻度よりも低い第２の測定頻度に設定する工程と
    を有することを特徴とする情報処理装置の制御方法。
15. コンピュータが読み込み実行することで、前記コンピュータに、請求項１３又は１４に記載の方法の各工程を実行させるためのプログラム。

Images