JP7176520B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、情報処理技術および表示技術の発展に伴い、現実感のある映像を表示する技術が提供されるようになってきている。このような技術として、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術がある。ＡＲ技術は、実世界に付加的な情報を重畳してユーザに提示する技術であり、ＡＲ技術によりユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコン又はアニメーション等、様々な形態の仮想オブジェクトとして可視化される。

上述のようなＡＲ技術は、例えば、ユーザの頭部等に装着されるヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：以下、「ＨＭＤ」と称する）等により具現化される。詳細には、ＨＭＤは、ユーザに装着された際にユーザの眼前に位置するディスプレイを有し、ユーザの眼前に上述の仮想オブジェクトを表示する。このようなＨＭＤには、上記ディスプレイが非透過である非透過型と、上記ディスプレイが透過する透過型とがある。ディスプレイが透過型であった場合、上述の仮想オブジェクトは、ディスプレイを介してユーザが視認する実空間に重畳されるようにリアルタイムで表示される。ＡＲ技術によれば、このように仮想オブジェクトを表示することにより、ユーザに対して、仮想オブジェクトをあたかも実空間に存在する現実物体のように知覚させることができる。例えば、このような透過型のディスプレイを用いたＨＭＤは、下記の特許文献１及び２に開示されている。さらに、これらＨＭＤは、ユーザの頭部等に装着されることから、コンパクトな形態を有している。

特開２０１６－２０８３８０号公報 特開２０１６－１５７４５８号公報

一般的に、情報処理装置に搭載されるバッテリの容量には制限があり、それに伴いプロセッサ等の処理能力についても制限がある。従って、情報処理装置において、仮想オブジェクトの表示処理量が増加し、プロセッサの処理能力に余裕がなくなった場合、仮想オブジェクトの表示フレームレート等が低下することがある。なお、上述の仮想オブジェクトの表示処理量とは、仮想オブジェクトを表示する際に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）において行われる処理の量を意味する。

そこで、本開示では、仮想オブジェクトの表示フレームレートの低下を避けることが可能な、新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させる制御部を備える、情報処理装置が提供される。

また、本開示によれば、ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させることを含む、情報処理方法が提供される。

さらに、本開示によれば、コンピュータを、ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させる制御部として機能させる、プログラムが提供される。

以上説明したように本開示によれば、仮想オブジェクトの表示フレームレートの低下を避けることが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る情報処理装置１の概要構成を説明するための図である。 同実施形態に係る情報処理装置１の詳細構成の一例を示すブロック図である。 同実施形態に係る仮想オブジェクト８００の表示例を説明するための説明図（その１）である。 同実施形態に係る仮想オブジェクト８００の表示例を説明するための説明図（その２）である。 同実施形態に係る仮想オブジェクト８００の表示例を説明するための説明図（その３）である。 同実施形態に係る処理フローを示すフローチャート（その１）である。 同実施形態に係る処理フローを示すフローチャート（その２）である。 同実施形態に係る処理の一例を説明するための説明図（その１）である。 同実施形態に係る処理の一例を説明するための説明図（その２）である。 本開示の第１の実施形態に係る処理フローを示すフローチャート（その１）である。 同実施形態に係る処理フローを示すフローチャート（その２）である。 同実施形態に係る処理の一例を説明するための説明図である。 同実施形態の変形例に係る処理の一例を説明するための説明図である。 本開示の第３の実施形態に係る仮想オブジェクト８１０の表示例を説明するための説明図である。 同実施形態に係る処理フローを示すフローチャートである。 同実施形態に係る処理の一例を説明するための説明図である。 同実施形態の変形例１に係る処理の一例を説明するための説明図である。 同実施形態の変形例２に係る処理の一例を説明するための説明図である。 同実施形態の変形例３に係る処理の一例を説明するための説明図である。 本開示の一実施形態に係る情報処理装置９００のハードウェア構成の一例を示したブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、以下の説明においては、「表示フレームレート」は、仮想オブジェクトの表示において、単位時間あたりに処理されるフレーム数（コマ数）を意味する。また、「認識フレームレート」は、所定の情報を認識する処理において、単位時間あたりに当該情報を検出するサンプリング回数を意味する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施形態に係る情報処理装置の概要構成
２．本開示の技術的背景
３．第１の実施形態
３．１．第１の実施形態に係る情報処理装置の詳細構成
３．２．第１の実施形態に係る仮想オブジェクトの表示例
３．３．第１の実施形態に係る情報処理方法
４．第２の実施形態
４．１．第２の実施形態に係る情報処理方法
４．２．第２の実施形態の変形例
５．第３の実施形態
５．１．第３の実施形態に係る情報処理方法
５．２．第３の実施形態の変形例
６．まとめ
７．ハードウェア構成について
８．補足

＜＜１．本開示の実施形態に係る情報処理装置の概要構成＞＞
まず、本開示の実施形態に係る情報処理装置の概要について、図１を参照して説明する。図１は、本実施形態に係る情報処理装置１の概要構成を説明するための図である。図１に示すように、本実施形態に係る情報処理装置１は、例えば、ユーザ７００の頭部に装着される眼鏡型のＨＭＤにより実現される。すなわち、情報処理装置１は、ユーザ７００に装着されるウェアラブル装置である。装着時にユーザ７００の眼前に位置する眼鏡レンズ部分に相当する表示部１６は、眼鏡レンズ部分の外側を視認することができる透過型、又は、眼鏡レンズ部分の外側を視認することができない非透過型ディスプレイであってもよい。なお、以下の説明においては、透過型ディスプレイの表示部１６を持つＨＭＤを「スマートアイグラス」と呼ぶ。

本実施形態に係る情報処理装置１は、表示部１６に仮想オブジェクトを表示することにより、ユーザ７００の眼前に仮想オブジェクトを提示することができる。なお、以下の説明においては、仮想オブジェクトとは、ユーザ７００によって実空間に存在する現実物体のように知覚することができる仮想物体のことを意味する。さらに、本実施形態においては、情報処理装置１の一例であるＨＭＤは、ユーザ７００の両眼に対して仮想オブジェクトを表示する形態に限定されるものではなく、ユーザ７００の片眼に対してのみ仮想オブジェクトを表示する形態を持っていてもよい。

例えば、情報処理装置１がスマートアイグラスである場合を例に説明すると、図１に示すようにユーザ７００の頭部に装着された情報処理装置１は、ユーザ７００の眼前に、左眼用と右眼用の一対の表示部１６Ａ及び表示部１６Ｂが配置されるような構成を持つ。これら表示部１６Ａ、１６Ｂには、例えば透過型ディスプレイが用いられ、情報処理装置１は、当該透過型ディスプレイの透過率を制御することで、表示をスルー状態、すなわち透明又は半透明の状態にできる。また、表示部１６Ａ、１６Ｂがスルー状態となることで、情報処理装置１を眼鏡のように常時装着する場合であっても、ユーザ７００は周囲の実空間を知覚することが可能であるため、ユーザ７００の通常の生活に支障を与えることはない。さらに、表示部１６Ａ及び１６Ｂは、スルー状態のまま、テキストや図等の画像を表示することができ、すなわち、拡張現実（ＡＲ）として、実空間に仮想オブジェクトを重畳して表示することができる。このような透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザ７００の眼前に保持し、当該虚像光学系の内側に仮想オブジェクトを表示させる。

なお、本実施形態においては、非透過型ディスプレイを用いた場合には、表示部１６は、情報処理装置１に設けられた外向きカメラ１２０（詳細については、後述する）で撮像された実空間の撮像画像を表示しつつ、当該実空間の撮像画像に仮想オブジェクトを重畳表示してもよい。

さらに、本実施形態においては、表示部１６は、ユーザ７００の網膜に直接的に映像を投影するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光源等として実現されてもよい。すなわち、情報処理装置１は、プロジェクション型のＨＭＤとして実現されてもよい。

また、表示部１６には、多様なコンテンツが仮想オブジェクトとして表示され得る。仮想オブジェクトは、例えば、ユーザ７００へ提示される情報を模式的に示すマーカ（標識等）や、マップ、現実物体を模式的に示す形状（人物、電話機、看板等）等であってもよい。さらに、仮想オブジェクトは、映画やビデオクリップ等の動画コンテンツ、デジタルスチルカメラ等で撮像された静止画コンテンツ、電子書籍等のデータ等であってもよい。すなわち、仮想オブジェクトとして表示され得るコンテンツとしては、表示対象となり得るあらゆるものを想定することができる。

情報処理装置１には、ユーザ７００の周囲の実空間を撮像する外向きカメラ１２０が設けられている。詳細には、当該外向きカメラ１２０は、ユーザ７００が情報処理装置１を装着した状態において、ユーザ７００が視認する方向の実空間を撮像範囲として撮像するように、情報処理装置１に設置されている。なお、外向きカメラ１２０が複数設けられている場合、これら外向きカメラ１２０による視差情報からデプス画像（距離画像）を得ることができることから、情報処理装置１は、周囲の環境の情報、例えば、実空間に存在する実物体の形状及び位置関係等を認識することができる。

さらに、図１には図示していないが、情報処理装置１には、装着時にユーザ７００の表情等を撮像する内向きカメラ１２２（図２ 参照）が設けられていてもよい。詳細には、内向きカメラ１２２は、ユーザ７００が情報処理装置１を装着した状態において、ユーザ７００の表情やユーザ７００の両眼を撮像範囲として撮像するように、情報処理装置１に設置されている。なお、内向きカメラ１２２が複数設けられている場合、情報処理装置１は、これら内向きカメラ１２２によって得られた視差情報から、ユーザ７００の眼球の位置、瞳孔の位置、視線の向き、及び動き等を精度よく認識することができる。

また、図１には図示していないが、情報処理装置１には、音声等を取得するマイクロフォン１２４（以下、「マイク」と示す。）（図２参照）等の各種センサが設けられていてもよい。さらに、図１には図示していないが、情報処理装置１にはスピーカ１８（図２参照）が設けられていてもよい。例えば、スピーカ１８は、ユーザ７００の左右の耳に対応する１対のイヤホンスピーカにいって実現されてもよい。また、このように、情報処理装置１に同種のセンサが複数設けられていてもよい。

図１には図示していないが、情報処理装置１には、ユーザ７００により入力操作を行うためのボタンやスイッチ等（操作入力部の一例）が設けられていてもよい。さらに、情報処理装置１に対するユーザ７００の入力操作としては、ボタン等に対する操作だけでなく、音声による入力、手又は頭部によるジェスチャ入力、視線による入力等の様々な入力方式を選択することができる。なお、これら各種の入力方式による入力操作は、情報処理装置１に設けられた各種センサ等により取得されることができる。

なお、本実施形態においては、情報処理装置１の形態は図１に示す例に限定されるものではない。例えば、情報処理装置１は、ヘッドバンド型のＨＭＤや、ヘルメットタイプ（例えば、ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。すなわち、本実施形態においては、情報処理装置１は、ユーザ７００に装着されることができるウェアラブル装置であり、装着時にユーザ７００の眼前に位置する表示部１６を有していれば、特にその形態は限定されるものではない。なお、上述のヘッドバンド型は、ユーザ７００の頭部の全周を回るバンドで装着されるタイプのことを意味する。また、当該ヘッドハンド型には、ユーザ７００の側頭部だけでなく頭頂部を通るバンドを設ける場合も含まれる。

なお、先に説明したように、以下の説明においては、情報処理装置１が透過型ディスプレイを持つスマートアイグラスと呼ばれるＨＭＤである場合を例に挙げて説明する。

＜＜２．本開示の技術的背景＞＞
以上、本実施形態に係る情報処理装置１の概要について説明した。続いて、このような情報処理装置１における技術的背景を説明する。

先に説明したように、本実施形態に係る情報処理装置１は、実空間に仮想オブジェクトを重畳表示する。そして、ユーザ７００と情報処理装置１との間のインタラクションは、重畳表示された仮想オブジェクトを介して行うことが可能である。より具体的には、情報処理装置１は、ユーザ７００の眼前に仮想オブジェクトを表示することにより、ユーザ７００に所定の情報を提示することができる。さらに、ユーザ７００は、仮想オブジェクトに触れる等の動作を行うことにより、情報処理装置１に対して操作を行うことができる。

さらに、表示される仮想オブジェクトは、仮想オブジェクトを介したユーザ７００と情報処理装置１とのリアルタイムのインタラクションの実現をすべく、好適な表示形態、表示位置、及び表示タイミング等を持って表示される。このように表示することにより、ユーザ７００は、仮想オブジェクトをあたかも実空間に存在する現実物体のように知覚することができ、ユーザ７００は、直感的に仮想オブジェジェクトを介して情報処理装置１から提供される情報を理解することができる。さらに、ユーザ７００は、情報処理装置１に対するインタラクションの方法を、仮想オブジェクトを介して直感的に理解し、当該仮想オブジェクトを利用して情報処理装置１に対して容易に操作を行うことができる。

しかしながら、仮想オブジェクトが好適なタイミングで表示されない表示フレームレートの低下や、フレーム落ちのようなスムーズではない仮想オブジェクトの表示が生じた場合には、仮想オブジェクトによりユーザ７００に与えられる体験は、混乱等を生じさせる。その結果、ユーザ７００と情報処理装置１との間には、仮想オブジェクトを介したリアルタイムのインタラクションの実現が難しくなる。言い換えると、仮想オブジェクトを介したユーザ７００と情報処理装置１との間におけるリアルタイムのインタラクションの実現のためには、表示フレームレートの低下等を避けることが求められる。なお、上述のフレーム落ちとは、例えば、仮想オブジェクトが、現実物体と異なり、不自然に断続的に表示されていることをユーザ７００が知覚することができるような表示状態であることを意味する。「フレーム落ち」は、「コマ落ち」とも呼ばれ、本来表示されるべきフレームが表示されずにスキップして、次に表示されるべきフレームが表示されることにより起きる。また、以下の説明においては、表示フレームレートの低下に、上記フレーム落ちが含まれるものとする。

ところで、上述のようなＨＭＤ等からなる情報処理装置１は、ユーザ７００の頭部に装着されることから、コンパクトな形態を有している。情報処理装置１をコンパクトな形態にするために、情報処理装置１に搭載されるバッテリの容量には制限があり、それに伴いプロセッサ等の処理能力や処理による発熱許容量等についても制限が生じる。例えば、上述のような情報処理装置１においては、仮想オブジェクトの表示処理量が増加し、情報処理装置１の処理能力に余裕がなくなった場合、表示フレームレートの低下が生じることがある。言い換えると、情報処理装置１の処理能力に余裕がない状況においては、表示フレームレートの低下やフレーム落ち等が生じることがある。このような場合、表示フレームレートの低下等に起因して、仮想オブジェクトによりユーザ７００に与えられる体験は不快感や混乱を生じさせ、仮想オブジェクトを介したユーザ７００と情報処理装置１との間におけるリアルタイムのインタラクションの実現が難しくなる。

上述した表示フレームレートの低下は、透過型ディスプレイを有するスマートアイグラスである情報処理装置１以外にも、非透過型ディスプレイを有するＨＭＤである情報処理装置１でも生じ得る。例えば、このような情報処理装置１においては、外向きカメラ１２０により撮像された実空間の撮像画像をリアルタイムに表示部１６に表示しつつ、仮想オブジェクトを上記撮像画像に重畳表示する際に、仮想オブジェクトの表示フレームレートの低下が生じ得る。

そこで、上述のような技術背景を鑑みて、本発明者らは、仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、仮想オブジェクトの表示詳細度を動的に変化させる本開示の実施形態に係る情報処理装置１を創作するに至った。詳細には、当該情報処理装置１は、仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知した場合には、仮想オブジェクトの表示詳細度を変化させて情報処理装置１の処理能力において余裕を確保することにより、仮想オブジェクトの表示フレームレートの低下を避ける。その結果、当該情報処理装置１によれば、仮想オブジェクトを介したユーザ７００と情報処理装置１との間におけるリアルタイムのインタラクションを実現することができる。なお、以下の説明においては、表示詳細度は、表示解像度等の表示の精細さを示す指標の総称を意味する。

＜＜３．第１の実施形態＞＞
以上、本開示の技術的背景について説明した。続いて、本開示の第１の実施形態について説明する。本実施形態においては、情報処理装置１は、仮想オブジェクトの表示処理量として仮想オブジェクトの表示位置を検知し、検知した表示位置に応じて、仮想オブジェクトの表示詳細度として表示解像度（表示のおける画素密度の指標）やエフェクト処理（表示に対して行う加工処理、例えば、シェーディング処理等）を動的変化させる。

例えば、ユーザ７００から遠い位置に仮想オブジェクトが表示される場合には、実空間に存在する現実物体と同様に、仮想オブジェクトは小さく表示される。一方、ユーザ７００から近い位置に仮想オブジェクトが表示される場合には、実空間に存在する現実物体と同様に、仮想オブジェクトは大きく表示される。そして、仮想オブジェクトの大きさに従って情報処理装置１における表示処理量は変化する。例えば、大きな仮想オブジェクトを表示させる際、仮想オブジェクトの表示処理量が増加し、情報処理装置１の処理能力に余裕がない状況になった場合には、表示フレームレートの低下を生じることがある。そこで、本実施形態においては、仮想オブジェクトの表示フレームレートの低下を生じさせる状態、すなわち、仮想オブジェクトの表示フレームレートの低下の原因ともなる仮想オブジェクトの表示位置を検知する。さらに、本実施形態においては、検知した表示位置に応じて仮想オブジェクトの表示解像度を変化させる。言い換えると、本実施形態においては、仮想オブジェクトのユーザ７００からの表示距離が第１の距離である場合には、上記表示距離が上記第１の距離よりも小さい第２の距離であるような他の仮想オブジェクトよりも、表示詳細度を大きくする。このようにすることで、本実施形態によれば、情報処理装置１の処理能力において余裕を確保し、仮想オブジェクトの表示フレームレートの低下を避ける。

なお、以下の説明においては、仮想オブジェクトがユーザ７００に非常に近い位置に表示される場合（例えば、ユーザ７００から仮想オブジェクトの表示位置までの距離が０．８ｍ未満である場合）には、仮想オブジェクトによる視覚疲労や「映像酔い」を防ぐために、仮想オブジェクトを半透明化する、又は、消去するというエフェクト処理を行う。

＜３．１．第１の実施形態に係る情報処理装置の詳細構成＞
まずは、本実施形態に係る情報処理装置１の詳細構成について図２を参照して説明する。図２は、本実施形態に係る情報処理装置１の詳細構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、制御部１０、センサ部１２、記憶部１４、表示部１６、スピーカ１８、通信部２０、及び操作入力部２２を主に有する。以下に、情報処理装置１の各機能部の詳細について説明する。

（制御部１０）
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ、ＧＰＵといったマイクロプロセッサの電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んでいてもよい。例えば、制御部１０は、仮想オブジェクトの表示位置等に応じて、仮想オブジェクトの表示解像度等を動的に変化させるように制御する。詳細には、本実施形態に係る制御部１０は、図２に示すように、情報取得部１００、表示パラメータ計算部１０２、表示形式判断部１０４、及び出力制御部１０６として機能することができる。以下に、制御部１０の各ブロックの詳細について説明する。

－情報取得部１００－
情報取得部１００は、後述するセンサ部１２により検知された検知結果を用いてユーザ７００又は当該ユーザ７００の周囲の各種状態に関する情報を取得することができる。具体的には、情報取得部１００は、例えば、ユーザ７００の姿勢や状態を認識するユーザ姿勢認識エンジン、ユーザ７００周辺の実空間におけるデプス情報を認識するデプス認識エンジン、ユーザ７００の位置を同定するＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）認識エンジンを含むことができる。さらに、情報取得部１００は、ユーザ７００の視線検知を行う視線認識エンジン、ユーザ７００又はユーザ７００の周囲の環境音の認識を行う音声認識エンジン、及び、情報処理装置１（ユーザ７００）の絶対位置を認識する位置認識エンジン等を含むこともできる。また、情報取得部１００は、実空間における現実物体を認識する実オブジェクト認識エンジン等を含んでもよい。なお、これらの認識エンジンはあくまでも一例であり、本実施形態はこれに限定されるものではない。

詳細には、ユーザ姿勢認識エンジンは、センサ部１２により検知された検知結果を用いて、ユーザ７００の頭部等の姿勢（身体に対する顔の向き、又は、傾きを含む）を認識する。例えば、ユーザ姿勢認識エンジンは、外向きカメラ１２０により撮像された撮像画像や、後述するジャイロセンサ１２６により取得されたジャイロ情報等を利用して、ユーザ７００の姿勢等を認識する。また、ユーザ姿勢認識エンジンは、後述する加速度センサ１２８により取得された加速度情報や、後述する方位センサにより取得された方位情報等を利用して、ユーザ７００の姿勢等を認識してもよい。なお、ユーザ７００の姿勢等の認識アルゴリズムは一般的に知られているアルゴリズムを用いることができ、本実施形態においては特に限定されるものではない。

デプス認識エンジンは、センサ部１２により検知された検知結果を用いて、ユーザ７００の周囲の実空間におけるデプス情報を認識する。具体的には、デプス認識エンジンは、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を利用して、現実物体からの反射光の戻り時間の測定結果に基づいて、実空間におけるセンサ部１２と現実物体との間の距離及び凹凸等の形状情報（デプス情報）を認識することができる。また、デプス認識エンジンは、複数の外向きカメラ１２０による異なる視点から同一の実空間を撮像対象とした複数の撮像画像上での現実物体の違い（両眼視差）に基づいて、実空間における現実物体の位置及び形状を認識してもよい。なお、デプス情報の認識アルゴリズムについては一般的に知られているアルゴリズムを用いることができ、本実施形態においては特に限定されるものではない。

ＳＬＡＭ認識エンジンは、センサ部１２により検知された検知結果を用いて、情報処理装置１（ユーザ７００）の自己位置の推定とユーザ７００の周囲の実空間の地図作成を同時に行い、当該実空間における情報処理装置１の位置を同定する。例えば、ＳＬＡＭ認識エンジン（特に、Ｖｉｓｕａｌ ＳＬＡＭ）は、外向きカメラ１２０により撮像された撮像画像に基づき、撮像された現実物体の３次元形状を逐次的に復元する。そして、ＳＬＡＭ認識エンジンは、復元結果を外向きカメラ１２０の位置及び姿勢の検知結果と関連付けることで、ユーザ７００の周囲の実空間の地図の作成と、当該実空間における外向きカメラ１２０（ユーザ７００）の位置及び姿勢の推定とを行う。なお、外向きカメラ１２０の位置及び姿勢については、例えば、センサ部１２に設けられた加速度センサ１２８等の各種センサにより検知された検知結果に基づき、相対的な変化を示す情報として推定することも可能である。また、ＳＬＡＭ認識のアルゴリズムについては一般的に知られているアルゴリズムを用いることができ、本実施形態においては特に限定されるものではない。

なお、情報取得部１００は、上述したデプス認識エンジンの認識結果及びＳＬＡＭ認識エンジンの認識結果の両方に基づいて、空間認識（空間把握）を行い、ユーザ７００の周囲の３次元の実空間における情報処理装置１（ユーザ７００）の詳細位置を認識することもできる。

視線認識エンジンは、センサ部１２により検知された検知結果を用いて、ユーザ７００の視線検知を行う。例えば、視線認識エンジンは、内向きカメラ１２２により取得したユーザ７００の眼球の撮像画像を解析して、ユーザ７００の視線方向を認識する。なお、本実施形態においては、視線検知のアルゴリズムについては特に限定されるものではないが、例えば、目頭と虹彩の位置関係、又は、角膜反射と瞳孔の位置関係に基づいて、ユーザ７００の視線方向を認識することが可能である。

音声認識エンジンは、センサ部１２により検知された検知結果を用いて、ユーザ７００、又は、ユーザ７００の周囲の環境音の認識を行う。例えば、音声認識エンジンは、後述するマイク１２４により取得した収音情報に対してノイズ除去や音源分離等を行い、音声認識、形態素解析、音源認識、又は、騒音レベルの認識等を行うことが可能である。また、音声認識エンジンは、認識された音声情報から、所定の文言を抽出してもよい。

位置認識エンジンは、センサ部１２により検知された検知結果を用いて、情報処理装置１（ユーザ７００）の絶対位置を認識する。例えば、位置認識エンジンは、後述する位置測位部１３２により測位された位置情報、及び、予め取得した地図情報に基づいて、情報処理装置１の場所（例えば駅、学校、家等）を認識することができる。

実オブジェクト認識エンジンは、外向きカメラ１２０等により撮像された撮像画像等に基づいて、現実物体を認識する機能を有する。例えば、実オブジェクト認識エンジンは、外向きカメラ１２０により撮像された撮像画像から計算される現実物体の特徴量を、予め登録された現実物体の特徴量と照合することにより、現実物体の種類等を認識する。なお、上記特徴量は、例えば、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）法、又はＲａｎｄｏｍ Ｆｅｒｎｓ法などの公知の特徴量算出技術によって算出することができる。

なお、情報取得部１００は、情報処理装置１における処理の状態を示す装置プロファイル（例えば、表示処理速度、センサ部１２の検知状態、上述した各種認識エンジンにおける認識フレームレート等）を取得してもよい。さらに、情報取得部１００は、仮想オブジェクトの表示を行うアプリケーションで定義された、仮想オブジェクトの表示位置、表示面積、表示個数、表示形態（例えば、仮想オブジェクトとして表示されるコンテンツの種別、表示される仮想オブジェクトの移動速度等）を取得してもよい。

－表示パラメータ計算部１０２－
表示パラメータ計算部１０２は、仮想オブジェクトの表示処理量の指標等を算出する。例えば、表示パラメータ計算部１０２は、情報取得部１００が取得した、仮想オブジェクトの表示を行うアプリケーションで定義された、仮想オブジェクトの表示位置を用いて、ユーザ７００からの仮想オブジェクトの表示位置までの距離を算出する。なお、本実施形態においては、表示パラメータ計算部１０２は、情報取得部１００が取得した装置プロファイルを用いて、仮想オブジェクトの表示フレームレート等のような制御部１０における処理の状態を示す指標等を算出してもよい。

－表示形式判断部１０４－
表示形式判断部１０４は、表示パラメータ計算部１０２による算出結果に基づいて、仮想オブジェクトの表示詳細度（例えば、解像度等）を設定する。さらに、表示形式判断部１０４は、表示パラメータ計算部１０２による算出結果に基づいて、仮想オブジェクトに対して行う表示エフェクト処理（例えば、透明化、テクスチャ変更等）を設定する。なお、表示形式判断部１０４が表示詳細度等を設定する際に上記算出結果と比較する閾値等は、事前に仮想オブジェクトを表示する試験を行い、その表示により生じる、情報処理装置１における処理の負荷や、ユーザ７００が感じる表示品質に基づいて決定される。

－出力制御部１０６－
出力制御部１０６は、後述する表示部１６に対して、表示形式判断部１０４の決定に基づいて仮想オブジェクトを表示させるように制御を行う。

（センサ部１２）
センサ部１２は、ユーザ７００又はユーザ７００の周辺環境（実空間）に関する各種情報を取得する機能を有する。例えば、センサ部１２は、図２に示されるように、外向きカメラ１２０、内向きカメラ１２２、マイク１２４、ジャイロセンサ１２６、加速度センサ１２８、方位センサ１３０、位置測位部１３２、及び生体センサ１３４を主に含む。なお、上述したセンサは一例であり、本実施形態はこれに限定されるものではない。また、上述した各種センサは、センサ部１２にそれぞれ複数設けられていてもよい。以下に、センサ部１２に含まれる各センサの詳細について説明する。

－外向きカメラ１２０及び内向きカメラ１２２－
先に説明したように、外向きカメラ１２０はユーザ７００の周囲の実空間を撮像し、内向きカメラ１２２はユーザ７００の表情等を撮像し、撮像情報を上述の制御部１０に出力する。詳細には、外向きカメラ１２０及び内向きカメラ１２２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、外向きカメラ１２０及び内向きカメラ１２２は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

－マイク１２４－
マイク１２４は、ユーザ７００の音声や周囲の環境音を収音し、収音した音声情報を制御部１０に出力する。例えば、マイク１２４は、ユーザ７００が発声した指示を収音し、制御部１０に出力する。例えば、制御部１０は、マイク１２４から出力された音声情報を解析することにより、ユーザ７００の指示を認識することができる。

－ジャイロセンサ１２６及び加速度センサ１２８－
ジャイロセンサ１２６は、例えば、３軸ジャイロセンサにより実現され、ユーザ７００の運動による角速度（回転速度）を検知する。また、加速度センサ１２８は、例えば、３軸加速度センサ（Ｇセンサとも呼ばれる）により実現され、ユーザ７００の運動による加速度を検知する。これらのセンサによる検知結果により、ユーザ７００の動作を認識することができる。

－方位センサ１３０及び位置測位部１３２－
方位センサ１３０は、例えば、３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検知する。なお、ここで、絶対方位とは、実空間における世界座標系（東西南北）における方位のことをいう。

位置測位部１３２は、外部からの取得信号に基づいて情報処理装置１（ユーザ７００）の絶対位置を検知する。なお、ここで、絶対位置とは、実空間における世界座標系（経緯）における位置のことをいう。具体的には、位置測位部１３２は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１（ユーザ７００）が存在する位置を検知し、検知した位置情報を制御部１０に出力する。また、位置測位部１３２は、ＧＰＳの他、例えばＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ‐ｐｈｏｎｅ Ｓｙｓｔｅｍ）・スマートフォン等との送受信、又は、近距離通信等により位置を検知するデバイスであってもよい。

－生体センサ１３４－
生体センサ１３４は、ユーザ７００の各種生体情報を検知する。具体的には、生体センサ１３４は、例えば、ユーザ７００の身体の一部に直接的又は間接的に装着され、ユーザ７００の心拍数、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定する１つ又は複数のセンサを含む。これら生体センサ１３４は、検知された生体情報を制御部１０に出力する。

さらに、本実施形態に係るセンサ部１２は、上述したセンサの他に、ユーザ７００の周囲の環境温度を検知する温度センサ（図示省略）、ユーザ７００の周囲の環境の明るさを検知する照度センサ（図示省略）等を含んでもよい。さらに、センサ部１２は、ユーザ７００の周囲の環境の大気圧を検知する気圧センサ（図示省略）、赤外線を検知する赤外線センサ（図示省略）、電波を検知する電波センサ（図示省略）等、様々なセンサを含んでもよい。

（記憶部１４）
記憶部１４は、上述した制御部１０が各機能を実行するためのプログラムやパラメータを格納する。例えば、記憶部１４は、情報取得部１００による認識処理に用いる認識アルゴリズムや、表示形式判断部１０４で用いる各種閾値等を格納する。

（表示部１６）
表示部１６は、例えば、ホログラム光学技術を用いて表示を行うレンズ部（シースルータイプのディスプレイの一例）、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等により実現される。

（スピーカ１８）
スピーカ１８は、上述した制御部１０の制御に従って、音声信号等を再生する。例えば、スピーカ１８は、ユーザ７００の左右の耳に対応する１対のイヤホンスピーカ（図示省略）により実現されることができる。

（通信部２０）
通信部２０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部２０は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接又はネットワークアクセスポイント（図示省略）を介して通信することができる。なお、通信部２０は、電波を検知する電波センサとして用いられてもよい。

（操作入力部２２）
操作入力部２２は、スイッチ、ボタン、又は、レバー等の物理的な構造を有する操作部材（図示省略）により実現される。例えば、ユーザ７００は、操作入力部２２に対して操作を行うことで、情報処理装置１に対して所望の入力を行うことができる。また、操作入力部２２により入力された操作の内容は、上述した表示部１６によって表示されてもよい。

以上、本実施形態に係る情報処理装置１の構成について具体的に説明したが、本実施形態に係る情報処理装置１の詳細構成は図２に示す例に限定されるものではない。例えば、情報処理装置１の制御部１０の少なくとも一部の処理は、通信部２０を介して接続するクラウド上のサーバ（図示省略）において行われてもよい。

＜３．２．第１の実施形態に係る仮想オブジェクトの表示例＞
以上、本実施形態に係る情報処理装置１の詳細構成について説明した。続いて、このような情報処理装置１による仮想オブジェクトの表示例について、図３から図５を参照して説明する。図３から図５は、本実施形態に係る仮想オブジェクト８００の表示例を説明するための説明図である。

本実施形態に係る情報処理装置１は、例えば、ユーザ７００が所定の動作を行ったことをセンサ部１２が検知したことにより、仮想オブジェクト８００を表示することができる。図３に示すように、情報処理装置１は、センサ部１２により、ユーザ７００が自身の足元を見るようにユーザ７００の頭部が下方に向いたことを検知した場合には、ユーザ７００の足元に重畳するように仮想オブジェクト８００を表示する。当該仮想オブジェクト８００は、ユーザ７００の位置情報を示すマップの形態を持つ仮想オブジェクト８００であり、詳細には、マップである仮想オブジェクト８００上に仮想のマーカ６００を併せて表示することにより、ユーザ７００の現在位置を示している。情報処理装置１は、このような仮想オブジェクト８００を実空間に重畳して表示することにより、ユーザ７００に対して情報（ここでは、ユーザ７００の位置情報）を提示することができる。従って、ユーザ７００は、このように表示される仮想オブジェクト８００を介して、情報処理装置１により提示された情報を直感的に把握することができる。

なお、本実施形態においては、ユーザ７００の頭部の向きを検知した場合だけでなく、ユーザ７００の頭部の動き（例えば、首振り、うなずき等）を検知したことにより、情報処理装置１は仮想オブジェクト８００を表示してもよい。さらに、情報処理装置１は、歩行、走行、停止等のユーザ７００の身体全体の動作を検知したことにより、仮想オブジェクト８００を表示してもよい。また、情報処理装置１は、外向きカメラ１２０等を利用して、ユーザ７００の手の所定の動き（例えば、手をかざす、手を振る、手を伸ばす等のジェスチャ）を検知したことにより、仮想オブジェクト８００を表示してもよい。

さらに、本実施形態においては、情報処理装置１は、実空間における所定の現実物体に対してユーザ７００が興味を持って見ていることをユーザ７００の視線認識によって検知したことにより、仮想オブジェクト８００を表示してもよい。また、情報処理装置１は、ユーザ７００が所定の文言を発話したことを検知したことにより、もしくは、ユーザ７００が操作入力部２２に対して操作を行ったことを検知したことにより、仮想オブジェクト８００を表示してもよい。

また、本実施形態に係る情報処理装置１は、例えば、情報処理装置１が所定の状態になったことにより、仮想オブジェクト８００を表示することができる。例えば、図４に示すように、情報処理装置１は、外部装置からの音声通話のための無線通信を検知したことにより、ユーザ７００の周囲に位置する壁面（現実物体）６０２に重畳するように、電話機の形態を持つ仮想オブジェクト８００を表示する。当該仮想オブジェクト８００は、ユーザ７００に対して音声通話を受信した旨の情報を直感的に把握させるために、電話機の形状を持っており、表示と併せて所定の着信音を出力することにより、情報処理装置１は、ユーザ７００に上記情報を提示することができる。さらに、例えば、情報処理装置１は、外向きカメラ１２０等を利用して、ユーザ７００の手７０２が図４に示される仮想オブジェクト８００に伸びたことを検知したことにより、音声通話を行う処理に移行してもよい。

なお、本実施形態においては、情報処理装置１が音声通話のための無線通信を検知した場合だけでなく、情報処理装置１は、ユーザ７００の近傍に位置する人物が携帯する携帯端末からの無線通信を検知したことにより、仮想オブジェクト８００を表示してもよい。さらに、情報処理装置１は、既に表示した仮想オブジェクト８００に対するユーザ７００の所定の動作（例えば、仮想オブジェクト８００に触れる、つかむ等）を検知したことにより、情報処理装置１で行う処理を変化させたり、表示する仮想オブジェクトの形態を変化させたりしてもよい。

また、本実施形態に係る情報処理装置１は、例えば、情報処理装置１（ユーザ７００）が所定のエリアに入ったことを検知したことにより、仮想オブジェクト８００を表示することもできる。例えば、図５に示すように、情報処理装置１は、位置測位部１３２により所定のエリアに入ったことを検知したことにより、ユーザ７００の周囲の実空間に重畳するように、通行禁止を通知するテープの形態を持つ仮想オブジェクト８００を表示する。

なお、本実施形態においては、情報処理装置１が所定のエリアに入ったことを検知した場合だけでなく、例えば、情報処理装置１は、ユーザ７００が所定の現実物体（例えば、図５においては、自動車６０４）に近づいたことを検知したことにより、仮想オブジェクト８００を表示してもよい。

このように、本実施形態においては、情報処理装置１が所定の状況等を検知したことにより、仮想オブジェクト８００を実空間に重畳するように表示することができる。なお、仮想オブジェクト８００は、内向きカメラ１２２等を利用して検知したユーザ７００の視野範囲に基づいて、ユーザ７００が確実に視認できるような位置に表示される。さらに、所定の情報を提示するための仮想オブジェクト８００を表示させる際には、情報処理装置１は、当該情報に応じて適切な位置に仮想オブジェクトを表示させる。例えば、情報処理装置１が道路上に陥没が生じていることからユーザ７００に対して注意喚起する情報を提示させようとする状況について説明する。この場合、情報処理装置１は、ユーザ７００が陥没地点に仮想オブジェクトが位置しているよう知覚することができるように、陥没地点に仮想オブジェクト８００を表示する。

＜３．３．第１の実施形態に係る情報処理方法＞
以上、本実施形態に係る仮想オブジェクト８００の表示例について説明した。続いて、本実施形態に係る情報処理方法について、図６Ａ、図６Ｂ、図７及び図８を参照して説明する。図６Ａ及び図６Ｂは、本実施形態に係る処理フローを示すフローチャートである。また、図７及び図８は、本実施形態に係る処理の一例を説明するための説明図である。図６Ａ及び図６Ｂに示すように、本実施形態に係る情報処理方法には、ステップＳ１００からステップＳ１３２までの複数のステップが含まれている。以下に、本実施形態に係る方法に含まれる各ステップの詳細を説明する。

先に説明したように、例えば、情報処理装置１は、ユーザ７００が所定の動作を行った等が検知した場合には、仮想オブジェクトの表示処理を開始する。なお、以下に説明するフローは、表示する仮想オブジェクトの表示フレーム毎に行われ、表示フレームが変わるごとに繰り返されることとなる。

（ステップＳ１００）
情報取得部１００は、センサ部１２により検知された検知結果を用いて、ユーザ７００又は当該ユーザ７００の周囲の各種状態に関する情報を取得する。また、情報取得部１００は、仮想オブジェクトの表示を行うアプリケーションで定義された、仮想オブジェクトの表示位置等の情報を取得する。さらに、表示パラメータ計算部１０２は、取得した表示位置の情報に基づき、ユーザ７００から仮想オブジェクトの表示位置までの表示距離を算出する。仮想オブジェクトの表示距離は、例えば、予め仮想オブジェクトの表示を行うアプリケーションで定義された表示位置と、上述したＳＬＡＭ等によって取得した情報処理装置１（ユーザ７００）の自己位置情報とに基づいて算出することができる。

（ステップＳ１０２）
表示形式判断部１０４は、上記ステップＳ１００で算出された表示距離を予め設定された閾値αと比較する。具体的には、表示形式判断部１０４が、算出された表示距離がα（例えば、３ｍ）以上であると判断した場合には、ステップＳ１０４へ進む。一方、算出された表示距離がα未満であると判断した場合には、ステップＳ１０８へ進む。

（ステップＳ１０４）
表示形式判断部１０４は、仮想オブジェクトの表示解像度を最高ランク（例えば、９６０×７６８ピクセル）に設定する。

（ステップＳ１０６）
表示形式判断部１０４は、表示する仮想オブジェクトに対するエフェクト処理を通常モードに設定する。例えば、通常モードにおいては、仮想オブジェクトは、実空間の現実物体のように３次元表示されるように加工処理される。

（ステップＳ１０８）
表示形式判断部１０４は、上記ステップＳ１００で算出された表示距離を予め設定された閾値α、βと比較する。具体的には、表示形式判断部１０４は、算出された表示距離が、α未満、且つ、β（例えば、１．５ｍ）以上であると判断した場合には、ステップＳ１１０へ進む。一方、算出された表示距離がβ未満であると判断した場合には、ステップＳ１１４へ進む。

（ステップＳ１１０）
表示形式判断部１０４は、仮想オブジェクトの表示解像度を高ランク（例えば、６４０×４８０ピクセル）に設定する。このように、ステップＳ１０４に比べて表示解像度を低くすることにより、表示処理量を減らすことができる。

（ステップＳ１１２）
表示形式判断部１０４は、ステップＳ１０６と同様に、表示する仮想オブジェクトに対するエフェクト処理を通常モードに設定する。

（ステップＳ１１４）
表示形式判断部１０４は、上記ステップＳ１００で算出された表示距離を予め設定された閾値β、γと比較する。具体的には、表示形式判断部１０４は、算出された表示距離がβ未満、且つ、γ（例えば、０．８ｍ）以上であると判断した場合には、ステップＳ１１６へ進む。一方、算出された表示距離がγ未満であると判断した場合には、ステップＳ１２０へ進む。

（ステップＳ１１６）
表示形式判断部１０４は、仮想オブジェクトの表示解像度を中ランク（例えば、３８４×２４０ピクセル）に設定する。

（ステップＳ１１８）
表示形式判断部１０４は、仮想オブジェクトに対するエフェクト処理をワイヤーフレームモードに設定する。例えば、ワイヤーフレームモードにおいては、仮想オブジェクトは、ワイヤーフレームを用いて立体的に表示されるように加工処理される。言い換えると、ワイヤーフレームモードにおいては、仮想オブジェクトは、線だけで表現される立体図形として表示される(例えば、図１０の仮想オブジェクト８０６ａ)。このように、ワイヤーフレームにより仮想オブジェクトを表示することにより、上述の３次元表示に比べて表示処理量を減らすことができる。

（ステップＳ１２０）
表示形式判断部１０４は、上記ステップＳ１００で算出された表示距離を予め設定された閾値γ、σと比較する。具体的には、表示形式判断部１０４は、算出された表示距離がγ未満、且つ、σ（例えば、０．３５ｍ）以上であると判断した場合には、ステップＳ１２２へ進む。一方、算出された表示距離がσ未満であると判断した場合には、ステップＳ１２８へ進む。

（ステップＳ１２２）
表示形式判断部１０４は、仮想オブジェクトの表示解像度を低ランク（例えば、１９２×１２０ピクセル）に設定する。

（ステップＳ１２４）
表示形式判断部１０４は、仮想オブジェクトに対するエフェクト処理を半透明モードに設定する。例えば、半透明モードにおいては、仮想オブジェクトは、実空間が透かして見える半透明な図形として表示されるように加工処理される。このように、仮想オブジェクトを半透明で表示することにより、上述の３次元表示に比べて表示処理量を減らすことができる。

（ステップＳ１２６）
表示形式判断部１０４は、仮想オブジェクトの表示形式を３次元表示から２次元表示に設定変更する。従って、仮想オブジェクトは、平面的な２次元図形として表示されることとなる。このように、仮想オブジェクトを２次元図形で表示することにより、３次元表示に比べて表示処理量を減らすことができる。

（ステップＳ１２８）
表示形式判断部１０４は、上記ステップＳ１００で算出された表示距離がσ未満であることを確認する。

（ステップＳ１３０）
表示形式判断部１０４は、仮想オブジェクトに対するエフェクト処理を消去モードに設定する。例えば、消去モードにおいては、仮想オブジェクトは表示されない。

（ステップＳ１３２）
出力制御部１０６は、これまでの一連のステップにおいて表示形式判断部１０４が設定した表示解像度及びエフェクト処理に従って仮想オブジェクトが表示されるように、表示部１６に対して制御を行う。そして、表示部１６は、アプリケーションで定義した表示ルールに加えて、表示形式判断部１０４が設定した表示解像度及びエフェクト処理に従って、仮想オブジェクトを表示する。さらに、仮想オブジェクトの表示フレームの表示が完了したら、次の表示フレームの表示処理を行うために、ステップＳ１００へ戻る。

なお、上述の説明においては、仮想オブジェクトの表示フレーム毎にフローを繰り返すものとして説明したが、本実施形態はこれに限定されるものではない。例えば、情報処理装置１での処理状態が変化したことを検知したことにより、もしくは、ユーザ７００の状態が変化したことを検知したことにより、フローを繰り返してもよく、特に限定されるものではない。

なお、本実施形態においては、上述した図６Ａ、図６Ｂ及び図７に示される閾値α、β、γ、σの値、設定される表示解像度及びエフェクト処理の内容については、上述の値等に限定されるものではない。本実施形態においては、仮想オブジェクトの表示フレームレートを好適に維持しつつ、ユーザ７００から見た仮想オブジェクトの表示品質を好適に維持することができる閾値等であれば、適宜選択することが可能である。また、エフェクト処理についても、例えば、表示する仮想オブジェクトの透明度のレベルを変化させてもよく、もしくは、仮想オブジェクトの表示形式を２次元表示から３次元表示に設定変更してもよい。

さらに、上述のフローにおいては、表示距離が長い場合（例えば、表示距離が３ｍ以上）には、仮想オブジェクトの表示解像度を高くしているが、本実施形態においてはこれに限定されるものではない。例えば、表示距離が長い場合、すなわち、ユーザ７００から遠い位置に仮想オブジェクトが表示される場合には、ユーザ７００は仮想オブジェクトの表示品質の違いを知覚し難くなることから、表示解像度を中ランクや低ランクに設定してもよい。

上述のフローにおける処理を模式的に示した図が図７である。図７は、ユーザ７００から仮想オブジェクトの表示位置までの表示距離に応じて、表示される人物画像の仮想オブジェクトの大きさ及び表示解像度が変化していることを模式的に示す。例えば、表示距離が短い場合（例えば、０．８ｍ程度）には、大きく、且つ、表示解像度が低い仮想オブジェクト８０２ａが表示される。当該仮想オブジェクト８０２ａは、図７に示されているように、全体的にぼやけて、薄く表示されている。また、例えば、表示距離が中程度である場合（例えば、１．５ｍ程度）には、上記仮想オブジェクト８０２ａと比べて、小さく、且つ、高い表示解像度を持つ仮想オブジェクト８０２ｂが表示される。さらに、表示距離が長い場合（例えば、３ｍ程度）には、上記仮想オブジェクト８０２ｂと比べて、小さく、且つ、高い表示解像度を持つ仮想オブジェクト８０２ｃが表示される。なお、図７に示されているように、仮想オブジェクト８０２ａの大きさ（表示面積）は、ユーザ７００に近いほどより拡大し、これによって遠近感が表現され得る。言い換えると、本実施形態においては、仮想オブジェクトの表示距離が第１の距離である場合、当該仮想オブジェクトの表示面積を、表示距離が第１の距離よりも小さい第２の距離である他の仮想オブジェクトよりも大きくすることにより、ユーザ７００は遠近感を感じることができる。すなわち、遠近感を表現するために、表示距離が近くなるほど仮想オブジェクトのサイズを拡大することとなる。そこで、本実施形態においては、上述の際の表示面積の拡大に伴って増加する表示処理量を抑制するように、解像度を制御する。

上述のフローによる、仮想オブジェクトの表示の一例について、図８を参照して説明する。図８の左側に示すように、ユーザ７００から遠い位置に、仮想オブジェクト８０４ａが実空間における現実物体である自動車６０４に重畳して表示されている。そして、ユーザ７００が上記自動車６０４に近づくように移動した場合には、仮想オブジェクトの表示位置とユーザ７００との間の表示距離が縮まることとなる。従って、このような場合には、図８の右側に示すように、仮想オブジェクト８０４ｂは、仮想オブジェクト８０４ａと比べて大きいものの、低い表示解像度をもつように表示される。さらに、仮想オブジェクト８０４ｂは、実空間の現実物体（例えば、自動車６０４）が透かして見える半透明な図形として表示される。

表示位置が近いことに起因して大きな仮想オブジェクトを表示させる際には、仮想オブジェクトの表示処理量が増加し、情報処理装置１の処理能力に余裕がなくなり、表示フレームレートの低下が生じることがある。そこで、本実施形態においては、表示処理量を増加させる原因ともなる仮想オブジェクトの表示位置を検知し、検知した表示位置に応じて、仮想オブジェクトの表示解像度等を動的に変化させる。このようにすることで、本実施形態によれば、表示フレームレートが低下する前に、情報処理装置１の処理能力において余裕を確保し、表示フレームレートの低下の発生を避けることができる。従って、本実施形態によれば、仮想オブジェクトの表示フレームレートを好適に維持しつつ、ユーザ７００から見た仮想オブジェクトの品質を好適に維持することができる。その結果、本実施形態によれば、仮想オブジェクトを介したユーザ７００と情報処理装置１との間におけるリアルタイムのインタラクションを実現することができ、ユーザ７００に対して有意義な体験を提供することができる。加えて、本実施形態によれば、仮想オブジェクトの表示解像度等を動的に変化させることにより、情報処理装置１における表示処理量を減らし、ひいては消費電力を減らすことができる。その結果、本実施形態によれば、バッテリ容量を小さくすることも可能となり、よりコンパクトな情報処理装置１を提供することができる。

＜＜４．第２の実施形態＞＞
上述した本開示の第１の実施形態においては、表示距離に応じて仮想オブジェクトの表示解像度等を動的に変化させていた。しかしながら、本開示の実施形態においては、表示距離だけでなく、仮想オブジェクトの他の表示処理量に応じて、仮想オブジェクトの表示解像度等を変化させてもよい。そこで、本開示の第２の実施形態においては、仮想オブジェクトの表示面積に応じて、仮想オブジェクトの表示解像度等を変化させる。先に説明したように、仮想オブジェクトの大きさに従って情報処理装置１における表示処理量は変化する。従って、例えば大きな仮想オブジェクトを表示させる際には、表示処理量が増加し、情報処理装置１の処理能力に余裕がなくなり、表示フレームレートの低下が生じることがある。そこで、本実施形態においては、仮想オブジェクトの表示フレームレートの低下を生じさせる状態、すなわち、仮想オブジェクトの表示フレームレートの低下の原因ともなる仮想オブジェクトの表示面積を検知する。さらに、本実施形態においては、検知した表示面積に応じて、仮想オブジェクトの表示解像度等を変化させる。従って、本実施形態によれば、情報処理装置１の処理能力において余裕を確保し、仮想オブジェクトの表示フレームレートの低下を避けることができる。以下に、本実施形態の詳細について説明する。

なお、第２の実施形態に係る情報処理装置１の詳細構成については、第１の実施形態と共通するため、ここでは説明を省略する。

＜４．１．第２の実施形態に係る情報処理方法＞
第２の実施形態に係る情報処理方法について、図９Ａ、図９Ｂ、及び図１０を参照して説明する。図９Ａ及び図９Ｂは、本実施形態に係る処理フローを示すフローチャートである。また、図１０は、本実施形態に係る処理の一例を説明するための説明図である。図９Ａ及び図９Ｂに示すように、本実施形態に係る情報処理方法には、ステップＳ２００からステップＳ２３２までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。なお、以下の説明においては、第１の実施形態と異なる点のみを説明し、第１の実施形態と共通する点については、説明を省略する。

なお、以下の説明においては、仮想オブジェクトの表示面積割合とは、表示部１６が表示可能な表示面積に対する、表示する当該仮想オブジェクトの表示面積の割合を意味する。

情報処理装置１は、仮想オブジェクトの表示処理を開始する。なお、以下に説明するフローは、第１の実施形態と同様に、表示する仮想オブジェクトの表示フレーム毎に行われ、表示フレームが変わるごとに繰り返されることとなる。

（ステップＳ２００）
情報取得部１００は、センサ部１２により検知された検知結果を用いて、ユーザ７００又は当該ユーザ７００の周囲の各種状態に関する情報を取得する。また、情報取得部１００は、仮想オブジェクトの表示を行うアプリケーションで定義された、仮想オブジェクトの表示面積等の情報を取得する。さらに、表示パラメータ計算部１０２は、取得した表示面積の情報に基づき、上記表示面積割合を算出する。

（ステップＳ２０２）
表示形式判断部１０４は、上記ステップＳ２００で算出された表示面積割合を予め設定された閾値αと比較する。具体的には、表示形式判断部１０４が、算出された表示面積割合がα％（例えば、１０％）未満であると判断した場合には、ステップＳ２０４へ進む。一方、算出された表示面積割合がα％以上であると判断した場合には、ステップＳ２０８へ進む。

（ステップＳ２０４、ステップＳ２０６）
図６Ａに示される第１の実施形態のステップＳ１０４及びステップＳ１０６と同様の処理を実施する。

（ステップＳ２０８）
表示形式判断部１０４は、上記ステップＳ２００で算出された表示面積割合を予め設定された閾値α、βと比較する。具体的には、表示形式判断部１０４は、算出された表示面積割合がα％以上、且つ、β％（例えば、２０％）未満であると判断した場合には、ステップＳ２１０へ進む。一方、算出された表示面積割合がβ％以上と判断した場合には、ステップＳ２１４へ進む。

（ステップＳ２１０、ステップＳ２１２）
図６Ａに示される第１の実施形態のステップＳ１１０及びステップＳ１１２と同様の処理を実施する。

（ステップＳ２１４）
表示形式判断部１０４は、上記ステップＳ２００で算出された表示面積割合を予め設定された閾値β、γと比較する。具体的には、表示形式判断部１０４は、算出された表示面積割合がβ％以上、且つ、γ％（例えば、３０％）未満であると判断した場合には、ステップＳ２１６へ進む。一方、算出された表示面積割合がγ％以上であると判断した場合には、ステップＳ２２０へ進む。

（ステップＳ２１６、ステップＳ２１８）
図６Ａに示される第１の実施形態のステップＳ１１６及びステップＳ１１８と同様の処理を実施する。

（ステップＳ２２０）
表示形式判断部１０４は、上記ステップＳ２００で算出された表示面積割合を予め設定された閾値γ、σと比較する。具体的には、表示形式判断部１０４は、算出された表示面積割合がγ％以上、且つ、σ％（例えば、５０％）未満であると判断した場合には、ステップＳ２２２へ進む。一方、算出された表示面積割合がσ％以上であると判断した場合には、ステップＳ２２８へ進む。

（ステップＳ２２２、ステップＳ２２４、ステップＳ２２６）
図６Ａに示される第１の実施形態のステップＳ１２２、ステップＳ１２４及びステップＳ１２６と同様の処理を実施する。

（ステップＳ２２８）
表示形式判断部１０４は、上記ステップＳ２００で算出された表示面積割合がσ％以上であることを確認する。

（ステップＳ２３０、ステップＳ２３２）
図６Ａに示される第１の実施形態のステップＳ１３０及びステップＳ１３２と同様の処理を実施する。

なお、本実施形態においても、第１の実施形態と同様に、上述した図９Ａ及び図９Ｂに示される閾値α、β、γ、σの値、設定される表示解像度及びエフェクト処理の内容については、上述の値等に限定されるものではない。本実施形態においては、仮想オブジェクトの表示フレームレートを好適に維持しつつ、ユーザ７００から見た仮想オブジェクトの品質を好適に維持することができる閾値等であれば、適宜選択することが可能である。

上述のフローにおける処理を模式的に示した図が図１０である。図１０は、仮想オブジェクトの表示面積に応じて、表示される球形の仮想オブジェクトの表示解像度や表示形式（ワイヤーフレーム表示）が変化していることを模式的に示す。例えば、仮想オブジェクトの表示面積が大きい場合には、表示解像度が低く、且つ、ワイヤーフレーム表示による球形の仮想オブジェクト８０６ａが表示される。また、表示面積が中程度の場合には、仮想オブジェクト８０６ａに比べて表示解像度が高く、且つ、球形に非常に近似したポリゴン形状を持つ仮想オブジェクト８０６ｂが表示される。さらに、表示面積が小さい場合には、仮想オブジェクト８０６ｂに比べて表示解像度が高く、且つ、球形の形状を持つ仮想オブジェクト８０６ｃが表示される。

以上のように、大きな仮想オブジェクトを表示させる際には、仮想オブジェクトの表示処理量が増加し、情報処理装置１の処理能力に余裕がなくなり、表示フレームレートの低下が生じることがある。そこで、本実施形態においては、表示処理量を増加させる原因ともなる仮想オブジェクトの表示面積を検知し、検知した表示面積に応じて、仮想オブジェクトの表示解像度等を動的に変化させる。このようにすることで、本実施形態によれば、表示フレームレートが低下する前に、情報処理装置１の処理能力において余裕を確保し、表示フレームレートの低下の発生を避けることができる。

＜４．２．第２の実施形態の変形例＞
上述した第２の実施形態においては、表示面積に応じて仮想オブジェクトの表示解像度等を動的に変化させていた。しかしながら、先に説明したように、本実施形態においては、仮想オブジェクトの他の表示処理量に応じて、仮想オブジェクトの表示解像度等を変化させてもよい。例えば、以下に説明する変形例においては、表示する仮想オブジェクトの個数に応じて、仮想オブジェクトの表示解像度等を変化させる。詳細には、仮想オブジェクトの表示個数に従って情報処理装置１における表示処理量は変化する。従って、多くの仮想オブジェクトを表示させる際には、表示処理量が増加し、情報処理装置１の処理能力に余裕がなくなり、表示フレームレートの低下が生じることがある。そこで、本変形例においては、仮想オブジェクトの表示フレームレートの低下の原因ともなる仮想オブジェクトの表示個数に応じて、仮想オブジェクトの表示解像度等を変化させる。従って、本変形例によれば、情報処理装置１の処理能力において余裕を確保し、仮想オブジェクトの表示フレームレートの低下を避けることができる。

以下に、図１１を参照して、本変形例の詳細について説明する。図１１は、第２の実施形態の変形例に係る処理の一例を説明するための説明図であり、詳細には仮想オブジェクトの表示個数に応じて、表示される球形の仮想オブジェクトの表示解像度や表示形式（ワイヤーフレーム表示）が変化していることを模式的に示す。図１１に示すように、仮想オブジェクトの表示個数が多い場合（例えば、６個以上の場合）には、表示解像度が低く、且つ、ワイヤーフレーム表示による球形の仮想オブジェクト８０８ａが表示される。また、表示個数が中程度の場合（例えば、６個未満３個以上の場合）には、仮想オブジェクト８０８ａに比べて表示解像度が高く、且つ、球形に非常に近似したポリゴン形状を持つ仮想オブジェクト８０８ｂが表示される。さらに、表示個数が少ない場合（例えば、３個未満の場合）には、仮想オブジェクト８０８ｂに比べて表示解像度が高く、且つ、球形の形状を持つ仮想オブジェクト８０８ｃが表示される。

また、本変形例においては、仮想オブジェクトの種別（テキストデータ、物体、動画、記号等）に従って情報処理装置１における表示処理量は変化することから、仮想オブジェクトの種別に応じて、仮想オブジェクトの表示解像度等を変化させてもよい。具体的には、仮想オブジェクトが動画像である場合には、仮想オブジェクトが記号である場合に比べて、表示処理量が多くなる。そこで、本変形例においては、仮想オブジェクトが動画像である場合には、仮想オブジェクトの表示解像度等を低くする。

また、本変形例においては、仮想オブジェクトがユーザ７００の眼前で移動するものであれば、仮想オブジェクトの移動速度に従って情報処理装置１における表示処理量は変化することから、移動速度に応じて仮想オブジェクトの表示解像度等を変化させてもよい。具体的には、仮想オブジェクトが高速で移動する場合には、仮想オブジェクトが低速で移動する場合に比べて表示処理量が多くなる。そこで、本変形例においては、仮想オブジェクトが高速で移動する場合には、仮想オブジェクトの表示解像度等を低くする。

＜＜５．第３の実施形態＞＞
上述した第１及び第２の実施形態においては、仮想オブジェクトの表示距離等に応じて仮想オブジェクトの表示解像度等を動的に変化させていた。しかしながら、本開示の実施形態においては、上述のような仮想オブジェクトの表示処理量だけでなく、制御部１０による処理の状態に応じて、仮想オブジェクトの表示解像度等を動的に変化させてもよい。

例えば、表示させようとする仮想オブジェクトが複雑な処理を必要とする複雑な形状であった場合には、情報処理装置１における処理は増加する。この場合、先に説明したように、情報処理装置１の処理能力に余裕がない状況になり、表示フレームレートの低下が生じることがある。

より具体的な例を、図１２を参照して説明する。図１２は、本実施形態に係る仮想オブジェクト８１０の表示例を説明するための説明図であり、詳細には、実空間に重畳して表示された仮想オブジェクト８１０を示している。図１２に示すように、ユーザ７００の眼前に表示された仮想オブジェクト８１０に対して、ユーザ７００が自身の手７０２を伸ばしている。このような状況においては、ユーザ７００に対して仮想オブジェクト８１０があたかも実空間に存在する現実物体のように知覚させるようにするため、仮想オブジェクト８１０は、ユーザ７００の手７０２の後ろを位置しているように表示される。すなわち、ユーザ７００の手７０２が、仮想オブジェクト８１０の手前に位置して、仮想オブジェクト８１０の一部を遮蔽しているように、仮想オブジェクト８１０は表示される。なお、以下の説明においては、このようにユーザ７００の手７０２等により仮想オブジェクト８１０の一部又は全体が遮蔽されている状態を「手遮蔽」と呼ぶ。そして、情報処理装置１は、手遮蔽された仮想オブジェクト８１０を表示するために、以下のように表示処理を行う。まず、情報処理装置１は、仮想オブジェクトを表示するためのアプリケーションで定義した仮想オブジェクトの形状と、外向きカメラ１２０等により撮像された手７０２の画像とを取得する。次に、情報処理装置１は、取得した情報を用いて、手７０２によって遮蔽される部分を上記定義された仮想オブジェクトの形状から抜き取った形状を持つ仮想オブジェクト８１０を生成し、生成した当該仮想オブジェクト８１０の表示を行う。このような表示処理は、表示処理量が大きく、情報処理装置１には大きな負荷となるため、仮想オブジェクトの表示フレームレートの低下が生じる。

そこで、本実施形態においては、処理の状態が情報処理装置１の処理能力の限界に近づいたことをリアルタイムで検知し、検知した結果に基づき、仮想オブジェクトの表示解像度等を動的に変化させる。より具体的には、本実施形態においては、情報処理装置１の処理の状態を示す指標として表示フレームレートを検知する。詳細には、仮想オブジェクトの表示フレームレートが高い場合には、情報処理装置１の処理能力に余裕があることを示し、一方、表示フレームレートが低い場合には、情報処理装置１の処理能力に余裕がないことを示す。すなわち、表示フレームレートは、情報処理装置１の処理の状態を示す指標として用いることができる。なお、本実施形態においては、表示フレームレートとして、１秒間あたりのフレーム数を指標として用いることから、以下の説明においては、表示フレームレートをＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）と称する。そこで、本実施形態においては、ＦＰＳに応じて、仮想オブジェクト８１０の表示解像度等を動的に変化させる。詳細には、ＦＰＳが高い場合には、情報処理装置１の処理能力に余裕があることを意味することから、仮想オブジェクトの表示解像度等を高く設定することができる。一方、ＦＰＳが低い場合には、情報処理装置１の処理能力に余裕があることを意味することから、仮想オブジェクトの表示解像度等を低く設定する。このように、本実施形態においては、ＦＰＳの低下を直接的に検知し、検知したＦＰＳに応じて、仮想オブジェクトの表示解像度等を変化させて情報処理装置１の処理能力において余裕を確保し、今後の表示フレームにおけるＦＰＳの低下を避けることができる。以下に、本実施形態の詳細について説明する。

なお、第３の実施形態に係る情報処理装置１の詳細構成については、第１の実施形態と共通するため、ここでは説明を省略する。

＜５．１．第３の実施形態に係る情報処理方法＞
第３の実施形態に係る情報処理方法について、図１３及び図１４を参照して説明する。図１３は、本実施形態に係る処理フローを示すフローチャートである。また、図１４は、本実施形態に係る処理の一例を説明するための説明図である。図１３に示すように、本実施形態に係る情報処理方法には、ステップＳ３００からステップＳ３２８までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。なお、以下の説明においては、第１の実施形態と異なる点のみを説明し、第１の実施形態と共通する点については、説明を省略する。

情報処理装置１は、仮想オブジェクトの表示処理を開始する。なお、以下に説明するフローは、表示する仮想オブジェクトの表示フレーム毎に行われ、表示フレームが変わるごとに繰り返されることとなる。

（ステップＳ３００）
情報取得部１００は、センサ部１２により検知された検知結果を用いて、ユーザ７００又は当該ユーザ７００の周囲の各種状態に関する情報を取得する。また、情報取得部１００は、情報処理装置１の処理の状態を示す表示処理速度を取得する。さらに、情報取得部１００は、併せて他の装置プロファイル（例えば、上述した各種認識エンジンにおける認識フレームレート等）を取得してもよく、すなわち、情報取得部１００が取得する装置プロファイルは、情報処理装置１の処理の状態を示す情報であれば特に限定されない。

（ステップＳ３０２）
表示パラメータ計算部１０２は、ステップＳ３００で取得された表示処理速度に基づき、仮想オブジェクトのＦＰＳを算出する。

（ステップＳ３０４）
表示形式判断部１０４は、前回算出したＦＰＳとステップＳ３０２で今回算出したＦＰＳとの差が所定の範囲（例えば、１０）を超えているかどうかを判断する。例えば、表示形式判断部１０４は、上記差が１０を超えていると判断した場合には、ステップＳ３０４へ進み、一方、上記差が１０以下であると判断した場合には、ステップＳ３２６へ進む。

（ステップＳ３０６）
表示形式判断部１０４は、上記ステップＳ３０２で算出されたＦＰＳを予め設定された閾値αと比較する。具体的には、表示形式判断部１０４が、算出されたＦＰＳがα（例えば、６０）以上であると判断した場合には、ステップＳ３０８へ進む。一方、算出されたＦＰＳがα未満であると判断した場合には、ステップＳ３１２へ進む。

（ステップＳ３０８、ステップＳ３１０）
図６Ａに示される第１の実施形態のステップＳ１０４及びステップＳ１０６と同様の処理を実施する。

（ステップＳ３１２）
表示形式判断部１０４は、上記ステップＳ３０２で算出されたＦＰＳを予め設定された閾値α、βと比較する。具体的には、表示形式判断部１０４は、算出されたＦＰＳがα未満、且つ、β（例えば、３０）以上であると判断した場合には、ステップＳ３１４へ進む。一方、算出されたＦＰＳがβ未満であると判断した場合には、ステップＳ３１８へ進む。

（ステップＳ３１４、ステップＳ３１６）
図６Ａに示される第１の実施形態のステップＳ１１０及びステップＳ１１２と同様の処理を実施する。

（ステップＳ３１８）
表示形式判断部１０４は、上記ステップＳ３０２で算出されたＦＰＳを予め設定された閾値β、γと比較する。具体的には、表示形式判断部１０４は、算出されたＦＰＳがβ未満、且つ、γ（例えば、２０）以上と判断した場合には、ステップＳ３２０へ進む。一方、算出されたＦＰＳがγ未満と判断した場合には、ステップＳ３２４へ進む。

（ステップＳ３２０、ステップＳ３２４）
ステップＳ３２０として図６Ａに示される第１の実施形態のステップＳ１１６と同様の処理を行い、ステップＳ３２４として図６Ｂに示される第１の実施形態のステップＳ１３０と同様の処理を行う。

（ステップＳ３２６）
表示形式判断部１０４は、前回設定した表示解像度及びエフェクト処理を維持する。

（ステップＳ３２８）
図６Ｂに示される第１の実施形態のステップＳ１３２と同様の処理を実施する。

なお、上述の説明においては、仮想オブジェクトの表示フレーム毎に前回算出されたＦＰＳとの差に応じて、表示解像度等の各種設定を変化させるかどうかを判断しているが、本実施形態はこれに限定されるものではない。例えば、前回の設定から所定の時間経過した場合や、ユーザ７００の移動が検知された場合や、仮想オブジェクトの表示位置がユーザ７００の視野範囲からはずれたことを検知した場合に、各種設定を変化させるかどうかの判断を行ってもよい。

また、本実施形態においては、第１の実施形態と同様に、上述した図１３に示される閾値α、β、γの値、設定される表示解像度及びエフェクト処理の内容については、上述の値等に限定されるものではない。本実施形態においては、仮想オブジェクトのＦＰＳを好適に維持しつつ、ユーザ７００から見た仮想オブジェクトの表示品質が好適に維持することができる閾値等であれば、適宜選択することが可能である。

上述のフローにおける処理を模式的に示した図が図１４である。図１４は、ＦＰＳに応じて、人物画像の仮想オブジェクトの表示解像度が変化していることを模式的に示す。例えば、ＦＰＳが高い場合には、表示解像度が高い仮想オブジェクト８１２ａが表示される。また、例えば、ＦＰＳが中程度である場合には、上記仮想オブジェクト８１２ａと比べて低い表示解像度を持つ仮想オブジェクト８１２ｂが表示される。さらに、ＦＰＳが低い場合には、上記仮想オブジェクト８１２ｂと比べて低い表示解像度を持つ仮想オブジェクト８１２ｃが表示される。

以上のように、本実施形態においては、ＦＰＳによって、情報処理装置１の処理能力に余裕があるか否かを判断することができることから、ＦＰＳに応じて、仮想オブジェクトの表示解像度等を動的に変化させる。従って、本実施形態によれば、情報処理装置１の処理能力において余裕を確保し、今後の表示フレームにおけるＦＰＳの低下を避けることができる。

本実施形態においては、情報処理装置１（制御部１０）の処理能力が、少なくとも仮想オブジェクトの表示処理とユーザ７００の周囲等の各種状態を認識するための認識エンジンによる認識処理とに分配されている場合には、認識の処理に分配した処理能力の状態に応じて、仮想オブジェクトの表示詳細度を変化させてもよい。また、ユーザ７００の要求等に応じて、表示処理と認識処理とに分配される情報処理装置１の処理能力の割合が変化する場合には、それぞれに分配される割合に応じて仮想オブジェクトの表示詳細度を変化させてもよい。

さらに、本実施形態においては、ＦＰＳに応じて仮想オブジェクトの表示解像度等を変化させるだけでなく、装置プロファイルから得られる処理の状態に関する情報に応じて、仮想オブジェクトの表示解像度等を動的に変化させてもよい。例えば、装置プロファイルから、ユーザ７００又は当該ユーザ７００の周囲の各種状態を認識するための認識エンジンによる認識フレームレートを取得し、認識フレームレートに応じて、仮想オブジェクトの表示解像度等を動的に変化させてもよい。

＜５．２．第３の実施形態の変形例＞
上述した本開示の第３の実施形態においては、ＦＰＳに応じて仮想オブジェクトの表示解像度を動的に変化させていた。しかしながら、本実施形態においては、表示解像度を変化させることに限定されるものではなく、仮想オブジェクトの他の表示詳細度を変化させてもよい。以下に、本実施形態の変形例として、仮想オブジェクトの表示詳細度の様々な例について説明する。

（変形例１）
変形例１においては、ＦＰＳに応じて仮想オブジェクトのエフェクト処理としてシェーディング処理を動的に変化させる。以下に、図１５を参照して本変形例の詳細を説明する。図１５は、変形例１に係る処理の一例を説明するための説明図である。

詳細には、図１５の左側に示すように、ＦＰＳが高い場合には、情報処理装置１の処理能力に余裕があることを意味することから、仮想オブジェクトを例えばフォーンシェーディング法により表示する。フォーンシェーディング法とは、立体的な物体表面での光の反射モデルを用いて仮想オブジェクトにおける陰影計算を行い、陰影計算に基づいて、仮想オブジェクトを表示するための各ピクセルの色彩等を設定する。このようなフォーンシェーディング法を用いることにより、仮想オブジェクト８１４ａは、あたかも実空間に存在する現実物体のように表示される。なお、上記フォーンシェーディング法による陰影計算は、情報処理装置１における処理量（負荷）が高い。従って、本変形例においては、情報処理装置１の処理能力に余裕がある場合に、フォーンシェーディング法を用いて仮想オブジェクトを表示する。

また、図１５の中央に示すように、ＦＰＳが中程度である場合には、情報処理装置１の処理能力に多少の余裕があるため、仮想オブジェクトを例えばグローシェーディング法により表示する。グローシェーディング法とは、ポリゴン形状を持つ仮想オブジェクトの表面での光の反射モデルを用いて仮想オブジェクトにおける陰影計算を行い、陰影計算に基づいて、仮想オブジェクトを表示するための各ピクセルの色彩等を設定する。このようなグローシェーディング法を用いることにより、上記仮想オブジェクト８１４ａに比べて見た目の品質が低下するものの、仮想オブジェクト８１４ｂは立体的な物体のように表示される。なお、仮想オブジェクト８１４ｂをポリゴン形状と仮定して陰影計算を行うことから、グローシェーディング法はフォーンシェーディング法に比べて情報処理装置１における処理量（負荷）が低い。従って、本変形例においては、情報処理装置１の処理能力に多少の余裕がある場合に、負荷の少ないグローシェーディング法を用いて仮想オブジェクトを表示する。

さらに、図１５の右側に示すように、ＦＰＳが低い場合には、情報処理装置１の処理能力に余裕がないため、仮想オブジェクトを例えばフラットシェーディング法により表示する。フラットシェーディング法とは、粗いポリゴン形状の仮想オブジェクトの面毎に光の反射モデルを用いて仮想オブジェクトにおける陰影計算を行い、陰影計算に基づいて、仮想オブジェクトを構成する面毎の色彩等を設定する。このようなフラットシェーディング法を用いることにより、仮想オブジェクト８１４ｃは上記仮想オブジェクト８１４ｂに比べて見た目の品質が低下する。しかしながら、本変形例においては、情報処理装置１の処理能力に余裕がない場合であっても、フラットシェーディング法はグローシェーディング法に比べて情報処理装置１における処理量（負荷）が低いことから、ＦＰＳが低下することを避けることができる。

（変形例２）
変形例２においては、ＦＰＳに応じて、球状の仮想オブジェクトのエフェクト処理として、表示形式を３次元表示から、フレームワイヤー表示、２次元表示へと動的に変化させる。以下に、図１６を参照して本変形例の詳細を説明する。図１６は、変形例２に係る処理の一例を説明するための説明図である。

詳細には、図１６の左側に示すように、ＦＰＳが高い場合には、情報処理装置１の処理能力に余裕があることを意味することから、仮想オブジェクト８１６ａを例えばあたかも実空間に存在する現実物体のように３次元表示させる。

また、図１６の中央に示すように、ＦＰＳが中程度である場合には、情報処理装置１の処理能力に多少の余裕があるため、仮想オブジェクト８１６ｂを例えばワイヤーフレーム表示により表示する。当該仮想オブジェクト８１６ｂは、ワイヤーフレームにより、頂点の数が多い、球形に近似したポリゴン形状を持っていることから、上記仮想オブジェクト８１６ａに比べて見た目の品質が低下するものの、立体的な物体のように表示される。このようなワイヤーフレーム表示は、上述の３次元表示に比べて表示処理量（負荷）を減らすことができる。従って、本変形例においては、情報処理装置１の処理能力に多少の余裕がある場合に、負荷の少ないワイヤーフレーム表示を用いて仮想オブジェクトを表示する。

ＦＰＳがさらに低下した場合には、情報処理装置１の処理能力に余裕がなくなりつつあることから、球状の仮想オブジェクト８１６ｃを、ワイヤーフレームにより上記仮想オブジェクト８１６ｂに比べて頂点の数が少ないポリゴン形状で表示する。このように頂点の数が少ないポリゴン形状で表示することにより、より表示処理量（負荷）を減らすことができる。従って、本変形例においては、情報処理装置１の処理能力に余裕がなくなりつつある場合には、ワイヤーフレーム表示の状態を変化させて、詳細には、より負荷の少ない頂点の数が少ないポリゴン形状で仮想オブジェクトを表示する。

さらに、図１６の右側に示すように、ＦＰＳが非常に低い場合には、情報処理装置１の処理能力に余裕がないため、仮想オブジェクト８１６ｄを２次元で表示する。このように仮想オブジェクトを２次元で表示することにより、３次元表示等に比べて表示処理量（負荷）を減らすことができる。このような２次元表示を用いることにより、仮想オブジェクト８１６ｄは上記仮想オブジェクト８１６ｃに比べて見た目の品質が低下する。しかしながら、本変形例においては、情報処理装置１の処理能力に余裕がない場合であっても、２次元表示により情報処理装置１における処理量（負荷）が低くなることから、表示フレームレートの低下を避けることができる。

なお、本開示の実施形態及び変形例においては、変化させる仮想オブジェクトの他の表示詳細度として、上述のシェーディング処理等だけでなく、仮想オブジェクトのテクスチャ（仮想オブジェクトの質感）、表示濃度、透明度、明度等を挙げることができる。

（変形例３）
上述した本開示の実施形態及び変形例においては、仮想オブジェクトの表示処理量や処理の状態に応じて、仮想オブジェクトの表示詳細度を動的に変化させていた。さらに、これら実施形態及び変形例においては、ユーザ７００の状態をも加味して、仮想オブジェクトの表示詳細度を動的に変化させてもよい。そこで、このような変形例の１つとして、ユーザ７００の視線方向に応じて、仮想オブジェクトの表示解像度を変化させる変形例３を、図１７を参照して説明する。図１７は、変形例３に係る処理の一例を説明するための説明図である。

ここで、これまで説明した実施形態等において、仮想オブジェクトの表示処理量や処理の状態に応じて、仮想オブジェクトの表示解像度を低下させた場合を検討する。例えば、図１７に示すように、表示された仮想オブジェクト８１８が手紙等の文字コンテンツである場合には、表示解像度を低下させて表示させるとユーザ７００によって仮想オブジェクト８１８内の文字を解読できない場合がある。一方、このように文字が解読できないことを考慮して表示解像度を高くした場合には、表示処理量が増加し、情報処理装置１の処理能力に余裕がなくなり、表示フレームレートの低下が生じることとなる。そこで、本変形例においては、仮想オブジェクト８１８の全体の表示解像度を高くするのではなく、ユーザ７００の視線方向を検知し、当該視線の先に位置する仮想オブジェクト８１８の部分においてのみ表示解像度を高くする。すなわち、本変形例においては、制御部１０は、文字コンテンツのように相対的に高い識別要求度が求められる仮想オブジェクト（第２の仮想オブジェクト）をユーザ７００が注視していると判定された場合には、当該仮想オブジェクトの表示解像度（表示詳細度）を、他の仮想オブジェクト（例えば、高い識別要求度が求められない、図形等のような仮想オブジェクト）（第１の仮想オブジェクト）をユーザ７００が注視していると判定された場合よりも、高くする。このようにすることで、本変形例によれば、表示処理量を抑えて、表示フレームレートの低下を避けつつ、ユーザ７００により仮想オブジェクト８１８を介して提示された情報を容易に知覚できるような表示品質を維持することができる。なお、本変形例においては、相対的に高い識別要求度を有する仮想オブジェクトは文字コンテンツに限定されるものではなく、任意に設定されることができる。

詳細には、情報処理装置１は、ユーザ７００の視線方向を例えば内向きカメラ１２２による撮像画像を用いて検知する。そして、情報処理装置１は、当該検知結果に基づいて、表示されている低表示解像度の仮想オブジェクト８１８のうち、ユーザ７００の視線の先に位置する仮想オブジェクトの部分８１８ａの表示解像度を高く設定する。より具体的には、ユーザ７００の視線の先が、当該仮想オブジェクト８１８の部分８１８ａにあることを検知した場合には、部分８１８ａにおける表示解像度を高め、部分８１８ａにおける文字（図１７の例では、「Ｄｅａｒ Ｍｒ．Ｓｍｉｔｈ」）をユーザ７００が解読できるようにする。一方、ユーザ７００の視線の先に位置していない、仮想オブジェクト８１８の他の部分８１８ｂについては、部分８１８ａに比べて表示解像度が低い。従って、ユーザ７００は、部分８１８ｂに文字がなにかしら表示されていることを知覚することができるものの、具体的に文字を解読することができない。

このように、本変形例においては、ユーザ７００が所望する仮想オブジェクト８１８の部分８１８ａを鮮明に表示し、ユーザ７００が所望していない他の仮想オブジェクト８１８の部分８１８ｂを不鮮明に表示する。従って、本変形例によれば、表示処理量を抑えて表示フレームレートの低下を避けつつ、ユーザ７００により仮想オブジェクト８１８を介して提示された情報を容易に知覚できるような表示品質を維持することができる。

なお、本変形例においては、ユーザ７００の視線の先が部分８１８ｂに移動した場合には、情報処理装置１は、部分８１８ａの表示解像度を低下させ、部分８１８ｂの表示解像度を高くする。また、本変形例においては、同時に複数の仮想オブジェクトが表示されている場合には、ユーザ７００の視線方向に応じて、各仮想オブジェクトの表示解像度を変化させてもよい。

また、本変形例においては、ユーザ７００の視線方向に応じて、仮想オブジェクトの表示解像度変化させることに限定されるものではなく、例えば、ユーザ７００の手７０２が伸びた方向に応じて、仮想オブジェクトの表示解像度を変化させてもよい。詳細には、同時に複数の仮想オブジェクトが表示されている場合、ユーザ７００が手を伸ばした先に位置する仮想オブジェクトを他の仮想オブジェクトに比べて高い表示解像度で表示する。このように、本変形例においては、上述した実施形態等と組み合わせて、ユーザ７００の状態に応じて、仮想オブジェクトの表示詳細度を動的に変化させてもよい。

＜＜６．まとめ＞＞
以上説明したように、本開示の実施形態及び変形例においては、仮想オブジェクトの表示フレームレート（ＦＰＳ）の低下を生じさせる状態を検知し、検知した結果に応じて、仮想オブジェクトの表示詳細度を動的に変化させる。このようにして、本実施形態等によれば、情報処理装置１の処理能力において余裕を確保し、表示フレームレートの低下の発生を避けることができる。すなわち、本実施形態等によれば、仮想オブジェクトの表示フレームレートを好適に維持しつつ、ユーザ７００から見た仮想オブジェクトの品質を好適に維持することができる。その結果、本実施形態によれば、仮想オブジェクトを介したユーザ７００と情報処理装置１との間におけるリアルタイムのインタラクションを実現することができ、ユーザ７００に対して有意義な体験を提供することができる。

加えて、本実施形態等によれば、仮想オブジェクトの表示詳細度を動的に変化させることにより、情報処理装置１における表示処理量を減らし、ひいては消費電力を減らすことができる。その結果、本実施形態等によれば、バッテリ容量を小さくすることも可能となり、よりコンパクトな情報処理装置１を提供することもできる。

なお、これまで説明した本開示の実施形態及び変形例については互いに組み合わせて実施することもできる。また、上述の説明においては、透過型ディスプレイを持つスマートアイグラスに適用した場合を例として挙げたが、本開示の実施形態においてはこれに限定されるものではなく、例えば、非透過型ディスプレイを持つＨＭＤに適用することもできる。

＜＜７．ハードウェア構成について＞＞
図１８は、本開示の一実施形態に係る情報処理装置９００のハードウェア構成の一例を示したブロック図である。図１８では、情報処理装置９００は、上述の情報処理装置１のハードウェア構成の一例を示している。

情報処理装置９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インタフェース９５８と、操作入力デバイス９６０とを有する。さらに、情報処理装置９００は、表示デバイス９６２と、音声出力デバイス９６４と、通信インタフェース９６８と、センサ９８０とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。

（ＣＰＵ９５０）
ＣＰＵ９５０は、例えば、ＣＰＵ、ＧＰＵ等の演算回路で構成される、１又は２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する制御部（例えば、上述の制御部１０）として機能する。具体的には、ＣＰＵ９５０は、情報処理装置９００において、例えば、上述の情報取得部１００、表示パラメータ計算部１０２、表示形式判断部１０４、及び出力制御部１０６等の機能を果たす。

（ＲＯＭ９５２及びＲＡＭ９５４）
ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。

（記録媒体９５６）
記録媒体９５６は、上述の記憶部１４として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。

（入出力インタフェース９５８、操作入力デバイス９６０、表示デバイス９６２、音声出力デバイス９６４）
入出力インタフェース９５８は、例えば、操作入力デバイス９６０や、表示デバイス９６２等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。

操作入力デバイス９６０は、例えば上述の操作入力部２２として機能し、情報処理装置９００の内部で入出力インタフェース９５８と接続される。

表示デバイス９６２は、例えば上述の表示部１６として機能し、情報処理装置９００に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等が挙げられる。

音声出力デバイス９６４は、例えば上述のスピーカ１８として機能し、例えば、情報処理装置９００に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。

なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。

また、入出力インタフェース９５８は、ドライブ（図示省略）と接続されていてもよい。当該ドライブは、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。当該ドライブは、装着されているリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９５４に出力する。また、当該ドライブは、装着されているリムーバブル記録媒体に記録を書き込むこともできる。

（通信インタフェース９６８）
通信インタフェース９６８は、例えば通信ネットワーク（図示省略）を介して（あるいは、直接的に）、他の外部装置と、無線または有線で通信を行うための通信部２０として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナ及びＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポート及び送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポート及び送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子及び送受信回路（有線通信）等が挙げられる。

（センサ９８０）
センサ９８０は、上述のセンサ部１２として機能する。さらに、センサ９８０は、照度センサ等の各種のセンサをさらに含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、図１８に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース９６８を備えていなくてもよい。また、通信インタフェース９６８は、複数の通信方式によって、１又は２以上の外部装置と通信を行うことが可能な構成を有していてもよい。また、情報処理装置９００は、例えば、記録媒体９５６や、操作入力デバイス９６０等を備えない構成をとることも可能である。

また、本実施形態に係る情報処理装置９００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置９００は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。

＜＜８．補足＞＞
また、以上に説明した実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含むことができる。また、上記プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

さらに、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させる制御部を備える、情報処理装置。
（２）前記制御部は、検知した前記仮想オブジェクトの表示処理量に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させる、上記（１）に記載の情報処理装置。
（３）前記制御部は、前記ユーザから前記仮想オブジェクトの表示位置までの表示距離に応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、上記（２）に記載の情報処理装置。
（４）前記制御部は、前記表示距離が第１の距離である場合、前記表示距離が前記第１の距離よりも小さい第２の距離である場合よりも、前記表示詳細度を大きくする、上記（３）に記載の情報処理装置。
（５）前記制御部は、前記表示距離が前記第１の距離である場合、前記表示距離が前記第２の距離である場合よりも、前記仮想オブジェクトの表示面積を大きくする、上記（４）に記載の情報処理装置。
（６）前記仮想オブジェクトを表示する表示部を更に備え、前記制御部は、前記表示部の表示面積に対する前記仮想オブジェクトの表示面積の割合に応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、上記（２）に記載の情報処理装置。
（７）前記制御部は、前記仮想オブジェクトの表示個数に応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、上記（２）に記載の情報処理装置。
（８）前記制御部は、前記仮想オブジェクトの種別に応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、上記（２）に記載の情報処理装置。
（９）前記制御部は、検知した前記制御部における処理の状態に応じて、前記仮想オブジェクトの前記表示詳細度を動的に変化させる、上記（１）に記載の情報処理装置。
（１０）前記制御部は、前記仮想オブジェクトの前記表示フレームレートに応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、上記（９）に記載の情報処理装置。
（１１）前記制御部は、前記ユーザ又は前記ユーザの周囲の状態を認識する認識フレームレートに応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、上記（９）に記載の情報処理装置。
（１２）前記制御部は、当該制御部の処理能力を少なくとも前記仮想オブジェクトの表示の処理と前記認識の処理とに分配し、前記認識の処理に分配した前記処理能力に応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、上記（１１）に記載の情報処理装置。
（１３）前記制御部は、検知した前記ユーザの状態に応じて、前記仮想オブジェクトの前記表示詳細度を動的に変化させる、上記（９）～（１１）のいずれか１つに記載の情報処理装置。
（１４）前記仮想オブジェクトは、第１の仮想オブジェクトと、前記第１の仮想オブジェクトよりも高い識別要求度を有する第２の仮想オブジェクトとを含み、前記制御部は、前記第２の仮想オブジェクトを前記ユーザが注視していると判定した場合には、前記第１の仮想オブジェクトを前記ユーザが注視していると判定した場合よりも、前記第２の仮想オブジェクトの前記表示詳細度を高くする、上記（１３）に記載の情報処理装置。
（１５）前記制御部は、前記仮想オブジェクトの表示解像度及び前記仮想オブジェクトに対するエフェクト処理のうちの少なくとも一方を変化させる、上記（１）に記載の情報処理装置。
（１６）前記制御部は、前記エフェクト処理として、前記仮想オブジェクトに対するシェーディング処理の変更、前記仮想オブジェクトのワイヤーフレーム表示の状態の変更、前記仮想オブジェクトの２次元表示と３次元表示との間の変更、及び、前記仮想オブジェクトの透明度の変更のうちの少なくとも１つを行う、上記（１５）に記載の情報処理装置。
（１７）前記情報処理装置は、前記ユーザの頭部に装着されるウェアラブル装置であって、装着時に前記ユーザの眼前に位置する表示部をさらに備える、上記（１）に記載の情報処理装置。
（１８）前記表示部は透過型ディスプレイであって、前記表示部は、前記仮想オブジェクトを実空間に重畳して表示する、上記（１７）に記載の情報処理装置。
（１９）ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させることを含む、情報処理方法。
（２０）コンピュータを、ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させる制御部として機能させる、プログラム。

１、９００ 情報処理装置
１０ 制御部
１２ センサ部
１４ 記憶部
１６、１６Ａ、１６Ｂ 表示部
１８ スピーカ
２０ 通信部
２２ 操作入力部
１００ 情報取得部
１０２ 表示パラメータ計算部
１０４ 表示形式判断部
１０６ 出力制御部
１２０ 外向きカメラ
１２２ 内向きカメラ
１２４ マイク
１２６ ジャイロセンサ
１２８ 加速度センサ
１３０ 方位センサ
１３２ 位置測位部
１３４ 生体センサ
６００ マーカ
６０２ 壁面
６０４ 自動車
７００ ユーザ
７０２ 手
８００、８０２ａ～ｃ、８０４ａ～ｂ、８０６ａ～ｃ、８０８ａ～ｃ、８１０、８１２ａ～ｃ、８１４ａ～ｃ、８１６ａ～ｄ、８１８ 仮想オブジェクト
８１８ａ、ｂ 部分
９５０ ＣＰＵ
９５２ ＲＯＭ
９５４ ＲＡＭ
９５６ 記録媒体
９５８ 入出力インタフェース
９６０ 操作入力デバイス
９６２ 表示デバイス
９６４ 音声出力デバイス
９６８ 通信インタフェース
９７０ バス
９８０ センサ

Claims (8)

1. ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させる制御部を備え、
   前記制御部は、前記ユーザ又は前記ユーザの周囲の状態を認識する認識フレームレートに応じて、前記仮想オブジェクトの前記表示詳細度を動的に変化させる、
   情報処理装置。
2. 前記制御部は、当該制御部の処理能力を少なくとも前記仮想オブジェクトの表示の処理と前記認識の処理とに分配し、前記認識の処理に分配した前記処理能力に応じて、前記仮想オブジェクトの前記表示詳細度を変化させる、請求項１に記載の情報処理装置。
3. 前記制御部は、検知した前記ユーザの状態に応じて、前記仮想オブジェクトの前記表示詳細度を動的に変化させる、請求項１に記載の情報処理装置。
4. 前記仮想オブジェクトは、第１の仮想オブジェクトと、前記第１の仮想オブジェクトよりも高い識別要求度を有する第２の仮想オブジェクトとを含み、
   前記制御部は、前記第２の仮想オブジェクトを前記ユーザが注視していると判定した場合には、前記第１の仮想オブジェクトを前記ユーザが注視していると判定した場合よりも、前記第２の仮想オブジェクトの前記表示詳細度を高くする、
   請求項３に記載の情報処理装置。
5. 前記情報処理装置は、前記ユーザの頭部に装着されるウェアラブル装置であって、
   装着時に前記ユーザの眼前に位置する表示部をさらに備える、請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記表示部は透過型ディスプレイであって、
   前記表示部は、前記仮想オブジェクトを実空間に重畳して表示する、請求項５に記載の情報処理装置。
7. コンピュータが、ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させることを含み、
   前記コンピュータが、前記ユーザ又は前記ユーザの周囲の状態を認識する認識フレームレートに応じて、前記仮想オブジェクトの前記表示詳細度を動的に変化させる、
   情報処理方法。
8. コンピュータを、ユーザに提示される仮想オブジェクトの表示フレームレートの低下を生じさせる状態を検知し、検知した結果に応じて、前記仮想オブジェクトの表示詳細度を動的に変化させる制御部として機能させる、プログラムであって、
   前記制御部は、前記ユーザ又は前記ユーザの周囲の状態を認識する認識フレームレートに応じて、前記仮想オブジェクトの前記表示詳細度を動的に変化させる、
   プログラム。

Images