JP6437811B2 - 表示装置及び表示方法 - Google Patents

Description

本発明は、拡張現実感技術を利用した表示装置及び表示方法に関する。

撮像装置などで撮像された現実空間の画像に仮想オブジェクトを同期して表示する拡張現実感（ＡＲ：Augmented Reality）技術が知られている。例えば特許文献１には、現実空間の画像に仮想オブジェクトを同期して表示する際、現実空間の重力方向を仮想空間に反映させる情報処理装置が開示されている。

特開２０１１−１９７７７７号公報

ところで、現実空間の物体はそれ自体の位置が変化する（動く）場合がある。このような場合に、特許文献１の情報処理装置のように単に現実空間の重力方向を考慮しただけでは、仮想オブジェクトの表示をリアリティのある態様で表示できないおそれがある。例えば、現実空間において、ボールを入れた箱を上下方向に動かすと、箱の中からボールが飛び出すことが考えられる。しかしながら、現実空間の物体を箱、仮想オブジェクトをボールとした場合に、単に重力方向を考慮しただけでは、仮想オブジェクトであるボールが常に現実空間の物体である箱に追従するように表示され、現実の物理現象に沿った表示とならないおそれがある。また、撮像装置が動くことにより、画像として表示される物体の位置が相対的に変化する場合がある。このような場合においても、現実の物体の動きに応じて、仮想オブジェクトをリアリティのある態様で表示できないおそれがある。

本発明は上記問題点に鑑みてなされたものであり、現実空間の物体の動きに合わせて、仮想オブジェクトをリアリティのある態様で表示することを目的とする。

本発明の一態様に係る表示装置は、仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置であって、現実空間を撮像することにより生成された撮像画像を取得する画像取得手段と、画像取得手段により取得された複数の撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、撮像画像における物体の加速度である画像加速度を導出する加速度導出手段と、測定された表示装置の加速度である装置加速度を取得する加速度取得手段と、加速度導出手段により導出された画像加速度を、加速度取得手段により取得された装置加速度によって補正した補正加速度を導出し、補正加速度を用いて仮想オブジェクトの表示態様を決定する決定手段と、決定手段が決定した表示態様によって、仮想オブジェクトを現実空間の撮像画像に同期させて表示する表示手段と、を備える。

この表示装置によれば、同一の物体の各撮像画像間での位置の差及び各撮像画像が撮像された時刻の差に基づいて画像加速度が導出されるとともに、装置加速度が取得される。そして、画像加速度を装置加速度によって補正した補正加速度が導出され、当該補正加速度に基づいた表示態様によって仮想オブジェクトが撮像画像に同期表示される。このように、撮像された物体の加速度である画像加速度が考慮されて仮想オブジェクトの表示態様が決定されることにより、現実空間の物体の加速度に応じて仮想オブジェクトが表示される。これにより、現実の物理現象に沿った、リアリティのある態様で仮想オブジェクトを表示することができる。更に、画像加速度を装置加速度によって補正した補正加速度が用いられているので、表示装置自体の動きが考慮されて仮想オブジェクトの表示態様が決定される。例えば表示装置が動きながら撮像した複数の撮像画像から画像加速度が導出される場合においては、表示装置自体の動きに起因して撮像画像に表示される物体の位置が相対的に変化し、導出される画像加速度の値が物体の現実の動きから乖離した値となるおそれがある。この点、装置加速度によって画像加速度を補正した補正加速度を用いることにより、表示装置自体の動きを考慮して、現実空間の物体の動きに合わせた仮想オブジェクトを表示することができる。以上より、現実空間の物体の動きに合わせて、仮想オブジェクトをリアリティのある態様で表示することができる。

決定手段は、画像加速度から装置加速度を減算することにより補正加速度を導出してもよい。これにより、画像加速度から装置加速度を適切にキャンセルすることができ、現実の物体の動きを適切に反映した補正加速度を導出できる。

決定手段は、装置加速度の大きさが所定の値よりも大きい場合に、画像加速度、及び装置加速度を０として、表示態様を決定してもよい。装置加速度が大きい場合すなわち表示装置が激しく動いている場合には、各撮像画像間における物体の位置の差から導出される画像加速度の値の信頼性が低いと考えられる。このため、装置加速度が所定の値よりも大きい場合に、画像加速度及び装置加速度を０として表示態様を決定することにより、信頼性が低い情報に基づいて仮想オブジェクトの表示態様が決定されることを回避することができる。

加速度取得手段により取得された装置加速度を、装置加速度が測定された時刻と対応づけて記憶する装置加速度記憶手段を更に備え、決定手段は、加速度導出手段により画像加速度が導出された時刻を導出タイミングとして特定するとともに、装置加速度記憶手段に記憶された装置加速度のうち、導出タイミングよりも所定の時間分だけ過去の装置加速度を用いて、画像加速度を補正してもよい。画像加速度は、異なる時刻に撮像された複数の撮像画像から導出される。そのため導出には撮像間隔（複数の撮像画像のうち最初に撮像された撮像画像の撮像時刻と最後に撮像された撮像画像の撮像時刻との差）が必要となる。また、画像加速度の導出には計算時間が必要となる。当該撮像間隔及び計算時間等を考慮すると、導出された画像加速度は導出タイミングよりも所定の時間分だけ過去の装置加速度に対応する。このため、導出タイミングよりも所定の時間分だけ過去の装置加速度を用いて画像加速度を補正することによって、より適切に現実の物体の動きを反映した補正加速度を導出できる。

決定手段は、装置加速度の大きさが所定の値よりも大きい場合に、所定の時間よりも長い一定時間の間、画像加速度、及び装置加速度を０として、表示態様を決定してもよい。装置加速度が大きくなったときに、所定の時間よりも長い一定時間、画像加速度及び装置加速度を０とすることによって、少なくとも、装置加速度が大きくなったタイミングに係る画像加速度及び装置加速度を０として表示態様を決定することができる。これにより、信頼性が低い情報に基づいて仮想オブジェクトの表示態様が決定されることをより確実に回避することができる。

加速度導出手段は、画像取得手段により取得された撮像画像を記憶する画像記憶手段と、画像記憶手段に記憶された複数の撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、物体の速度である画像速度を計算する速度計算手段と、速度計算手段により計算された画像速度を記憶する速度記憶手段と、速度記憶手段に記憶された複数の画像速度の差に基づき、画像加速度を計算する加速度計算手段と、加速度計算手段により計算された画像加速度を記憶する画像加速度記憶手段と、を有していてもよい。このような構成により、撮像画像から画像加速度を導出することができる。

ところで、本発明は、上記のように表示装置の発明として記述できる他に、以下のように表示方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

すなわち、本発明の別の態様に係る表示方法は、仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置が行う表示方法であって、現実空間を撮像することにより生成された撮像画像を取得するステップと、撮像画像を取得するステップにおいて取得された複数の撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、撮像画像における物体の加速度である画像加速度を導出するステップと、測定された表示装置の加速度である装置加速度を取得するステップと、画像加速度を導出するステップにおいて導出された画像加速度を、装置加速度を取得するステップにおいて取得された装置加速度によって補正した補正加速度を導出し、補正加速度を用いて仮想オブジェクトの表示態様を決定するステップと、決定するステップにおいて決定された表示態様によって、仮想オブジェクトを現実空間の撮像画像に同期させて表示するステップと、を含む。

本発明によれば、現実空間の物体の動きに合わせて、仮想オブジェクトをリアリティのある態様で表示することができる。

本実施形態に係る端末装置の表示イメージを示す図である。 本実施形態に係る端末装置の機能ブロック図である。 本実施形態に係る端末装置のハードウェア構成図である。 図２の端末加速度記憶部の加速度テーブルを示す表である。 撮像画像から画像加速度を導出するイメージを示す図である。 図６（ａ）は図２のオブジェクト記憶部が記憶するオブジェクトのイメージを示す図であり、図６（ｂ）は図２のオブジェクト記憶部のオブジェクトテーブルを示す表である。 図２の端末装置が行う表示方法の一連の処理を示すフローチャートである。 比較例に係る端末装置の表示イメージを示す図である。 比較例に係る端末装置の表示イメージを示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

本実施形態に係る表示装置は、拡張現実感（ＡＲ：AugmentedReality）技術を利用することにより、撮像装置によって撮像した現実空間の画像に仮想オブジェクトを同期して表示する装置である。より詳細には、本実施形態に係る表示装置は、撮像した物体の動きから撮像画像における物体の加速度を計算し、当該計算した加速度により仮想オブジェクトを制御することによって、現実の物理現象に沿ったリアリティのある態様で仮想オブジェクトを表示する装置である。

図１は、本実施形態に係る端末装置の表示イメージを示す図である。図１（ａ）に示される表示イメージでは、撮像装置により撮像された現実空間の物体である箱Ｒと、箱Ｒの中に入っているかのように表示された仮想オブジェクトであるボールＢＶとが端末装置のディスプレイに表示されている。そして、図１（ｂ）に示されるように箱Ｒが上方向に移動させられると、箱Ｒ及び仮想オブジェクトであるボールＢＶがともに上方向に移動して表示される。更に、図１（ｃ）に示されるように上方向に移動していた箱Ｒの移動方向が下方向に変化させられると、箱Ｒは下方向に移動して表示される。一方で、ボールＢＶは図１（ｂ）に示した上方向への移動によって上方向の速度を有しているため図１（ｃ）に示されるように箱Ｒが下方向に移動した場合には箱Ｒから離れて上方向に跳ね上げられるように表示される。このような表示は現実の物理現象に沿ったリアリティのある表示であり、撮像画像における物体の加速度を導出することによって実現している。以下、図２を参照しながら本実施形態に係る表示装置の一例である端末装置の機能について詳細に説明する。

図２は、本実施形態に係る端末装置の機能ブロック図である。図２に示される端末装置１は、仮想空間のオブジェクト（仮想オブジェクト）を現実空間の画像に同期させて表示する表示装置である。仮想オブジェクトとは、例えばコンピュータを用いて作成されるコンピュータグラフィックス（ＣＧ：computer graphics）である。現実空間の画像とは、例えば撮像装置により撮像された静止画像（撮像画像）である。仮想オブジェクトを現実空間の画像に同期させて表示するとは、現実空間の画像のうち仮想オブジェクトが関連付けられた所定の位置に、仮想オブジェクトを重畳表示することをいう。例えば、図１（ａ）に示される表示イメージでは、現実空間の物体である箱Ｒの中に仮想オブジェクトであるボールＢＶが入っているように見える位置が、仮想オブジェクトが関連付けられた所定の位置であり、当該所定の位置にボールＢＶが表示されている。

端末装置１は、ユーザにより用いられ、撮像機能を有する装置である。端末装置１は、例えば、スマートフォン等の携帯電話機、タブレット型端末、ノートＰＣ（Personal Computer）等である。端末装置１は、機能的には、画像取得部１１と、画像記憶部２１と、速度計算部２２と、速度記憶部２３と、加速度計算部２４と、画像加速度記憶部２５と、端末加速度取得部３１と、端末加速度記憶部３２と、決定部４１と、オブジェクト記憶部４２と、画像合成部４３と、表示部４４と、を備える。

端末装置１は、図３に示されるハードウェアによって構成される。図３は、本実施形態に係る端末装置のハードウェア構成図である。図３に示されるように、端末装置１は、物理的には、１又は複数のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（RandomAccessMemory）１０２及びＲＯＭ（Read Only Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリ等の補助記憶装置１０５、タッチパネル等のユーザの入力を受け付ける入力装置１０６、ディスプレイ等の出力装置１０７、カメラ等の撮像装置１０８、並びに、端末装置１の加速度を測定する加速度センサ１０９等のハードウェアを備えるコンピュータとして構成される。撮像装置１０８は、現実空間を撮像することにより撮像画像を生成する。図２における端末装置１の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７、撮像装置１０８及び加速度センサ１０９を動作させるとともに、ＲＡＭ１０２及び補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。

図２に戻って、端末装置１の機能構成について詳細に説明する。画像取得部１１は、撮像装置１０８により撮像されて生成された撮像画像を取得する画像取得手段として機能する。画像取得部１１は、撮像装置１０８によって撮像画像が生成される度に撮像画像を取得するものであってもよいし、所定の間隔で撮像装置１０８から撮像画像を取得するものであってもよい。画像取得部１１が取得する撮像画像のメタ情報には、少なくとも撮像時刻（画像を撮像した時刻）が含まれている。画像取得部１１は、取得した撮像画像及び該撮像画像のメタ情報を画像記憶部２１に格納する。

画像記憶部２１は、画像取得部１１により取得された複数の撮像画像を記憶する画像記憶手段として機能する。画像記憶部２１は、第１記憶領域と第２記憶領域とを有している。第１記憶領域には、画像取得部１１により取得された複数の撮像画像のうち最新の撮像画像及び該撮像画像のメタ情報が記憶されている。第２記憶領域には、第１記憶領域に記憶された撮像画像よりも過去の（撮像時刻が古い）撮像画像及び該撮像画像のメタ情報が記憶されている。画像取得部１１は、画像記憶部２１に新たな撮像画像を格納する際には、第１記憶領域に記憶された情報を第２記憶領域に格納し直した後に、新たな撮像画像及び該撮像画像のメタ情報を第１記憶領域に格納する。

速度計算部２２は、画像記憶部２１に記憶された複数の撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、物体の速度である画像速度を計算する速度計算手段として機能する。なお、以下の説明において、ベクトル量である速度及び加速度等の演算は、全てベクトル量の演算を示している。速度計算部２２は、物体特定処理、動きベクトル導出処理、及び画像速度導出処理を行う。

物体特定処理とは、撮像画像中の特徴点を抽出し、当該特徴点に基づいて撮像画像中に含まれる物体を特定する処理である。特徴点とは、画像の境目及び角等の特徴となる点であり、例えば画像の色彩が大きく変化する箇所、濃淡の濃い箇所、輪郭などである。特徴点に基づいて撮像画像中に含まれる物体を特定するために、例えば、抽出した特徴点と、予め記憶された特徴点とがマッチングされる。予め記憶された特徴点は、現実の物体に対応づけられている。上記マッチングによって、撮像画像中に含まれている物体を特定することができる。なお、物体に対応づけられた特徴点は、端末装置１中に記憶されていてもよいし、端末装置１と通信可能な外部のデータベースに記憶されていてもよい。速度計算部２２は、画像記憶部２１の第１記憶領域に格納された撮像画像（以下、第１画像と記載する場合がある）及び第２記憶領域に格納された撮像画像（以下、第２画像と記載する場合がある）の双方に対して、物体特定処理を行う。

動きベクトル導出処理とは、第１画像及び第２画像を比較することにより、物体特定処理において特定された物体の動きを動きベクトルとして導出する処理である。動きベクトルとは、基準となる画像（フレーム）からの物体の動きをベクトルで表現したものである。速度計算部２２は、第１画像及び第２画像の双方に表示されている物体について、第１画像における位置と第２画像における位置とを比較し、第２画像における位置から第１画像における位置までの移動量及び移動方向を動きベクトルとして導出する。速度計算部２２は、同一の物体に含まれる複数の特徴点それぞれの動きベクトルを導出する。すなわち、同一の物体について複数の動きベクトルが導出される。なお、複数の画像から動きベクトルを導出する処理については、例えば「Bruce D. Lucas and Takeo Kanade. An Iterative Image RegistrationTechnique with an Application to Stereo Vision.International Joint Conferenceon Artificial Intelligence, pages 674-679, 1981.」等に記載された手法を用いて行うことができる。

画像速度導出処理とは、第１記憶領域に記憶された第１画像のメタ情報及び第２記憶領域に記憶された第２画像のメタ情報と、動きベクトル導出処理において導出された動きベクトルとに基づいて、撮像画像中の物体の速度である画像速度を導出する処理である。速度計算部２２は、第２画像のメタ情報に含まれた第２画像の撮像時刻と第１画像のメタ情報に含まれた第１画像の撮像時刻との差である撮像時刻差を導出する。また、速度計算部２２は、第１画像及び第２画像から導出された、同一の物体に係る複数の特徴点の動きベクトルから一の動きベクトルを求める。当該一の動きベクトルは、例えば複数の特徴点の動きベクトルの平均のベクトル（以下、平均ベクトルと記載する場合がある）とされる。速度計算部２２は、撮像時刻差と一の動きベクトルとから画像速度を導出する。速度計算部２２は、導出した画像速度及び該画像速度の時刻情報を速度記憶部２３に格納する。ここで、画像速度の時刻情報は、例えば第１画像のメタ情報に含まれている撮像時刻とされる。

また、簡単のため撮像装置１０８による撮像画像の生成が同一間隔で周期的に行われる場合（すなわち撮像時刻差が常に一定である場合）と仮定して、平均ベクトルに定数を乗算した値を画像速度としてもよい。なお、撮像時刻差が一定でない場合には、時刻差に反比例した数を乗算して画像速度を求め、位置を更新する場合には画像速度に時刻差に比例した数を乗算したものを位置に加算すればよい。また、動きベクトルの始点の奥行が推定できる場合には、透視変換の逆変換を適用して、見かけの動きベクトルの大きさを奥行によって補正した値の平均値を画像速度としてもよい。奥行によって補正することにより、精度の高い画像速度が導出される。なお、動画像から特徴点の座標（奥行）を推定する方法としては、例えば「Carlo Tomasi and Takeo Kanade. (November 1992). "Shape andmotion from image streams under orthography: a factorization method.".International Journal of Computer Vision, 9 (2): 137-154.」に記載された公知のTomasi-Kanada法等を用いることができる。

速度記憶部２３は、速度計算部２２により導出（計算）された画像速度を記憶する速度記憶手段として機能する。速度記憶部２３は、第３記憶領域と第４記憶領域とを有している。第３記憶領域には、速度計算部２２により導出された画像速度のうち最新の画像速度及び該画像速度の時刻情報が記憶されている。第４記憶領域には、第３記憶領域に記憶された画像速度よりも過去の（時刻情報が古い）画像速度及び該画像速度の時刻情報が記憶されている。速度計算部２２は、速度記憶部２３に新たな画像速度を格納する際には、第３記憶領域に記憶された情報を第４記憶領域に格納し直した後に、新たな画像速度及び該画像速度の時刻情報を第３記憶領域に格納する。

加速度計算部２４は、速度記憶部２３に記憶された複数の画像速度の差に基づき、撮像画像における物体の加速度である画像加速度を計算する加速度計算手段として機能する。すなわち、加速度計算部２４は、第３記憶領域に記憶された画像速度及び第４記憶領域に記憶された画像速度の差である速度差と、第３記憶領域に記憶された時刻情報及び第４記憶領域に記憶された時刻情報の差である時刻差とをそれぞれ求め、当該速度差及び時刻差から画像加速度を導出（計算）する。加速度計算部２４は、導出した画像加速度及び該画像加速度の時刻情報を画像加速度記憶部２５に格納する。ここで、画像加速度の時刻情報は、例えば、第３記憶領域に記憶されている時刻情報（つまり第１画像の撮像時刻）、及び、画像加速度を導出した時刻（導出タイミング）を示す情報とされる。

画像加速度記憶部２５は、加速度計算部２４により導出（計算）された画像加速度を記憶する画像加速度記憶手段として機能する。画像加速度記憶部２５は、少なくとも、加速度計算部２４によって導出された最新の画像加速度及び該画像加速度の時刻情報を記憶している。なお、画像加速度記憶部２５は、複数の画像加速度及び時刻情報を記憶してもよい。

上述した、画像記憶部２１、速度計算部２２、速度記憶部２３、加速度計算部２４、及び画像加速度記憶部２５によって、画像加速度を導出する加速度導出部２０が構成されている。すなわち、加速度導出部２０は、画像取得部１１により取得された複数の撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、画像加速度を導出する加速度導出手段として機能する。

端末加速度取得部３１は、端末装置１の加速度である端末加速度（装置加速度）を取得する加速度取得手段として機能する。端末加速度取得部３１は、例えば加速度センサ１０９によって測定された加速度を所定の間隔（例えば数１０ｍ秒〜数秒間隔）で取得する。また、端末加速度取得部３１は、一定の間隔ではなくランダムに、加速度センサ１０９から加速度を取得してもよい。端末加速度取得部３１は、加速度とともに該加速度の測定時刻を加速度センサ１０９から取得する。加速度センサ１０９によって測定される加速度には、端末加速度及び重力加速度の双方が含まれている。そのため、端末加速度取得部３１は、加速度センサ１０９によって測定された加速度から重力加速度を減算した値を端末加速度として取得する。

端末加速度記憶部３２は、端末加速度取得部３１により取得された端末加速度を、該端末加速度の測定時刻を示すタイムスタンプと対応づけて記憶する装置加速度記憶手段として機能する。端末加速度記憶部３２は、端末加速度取得部３１によって取得された端末加速度のうち、最新の端末加速度のみではなく、該最新の端末加速度よりも過去に取得された端末加速度を、タイムスタンプと対応づけて加速度テーブルに記憶している。図４は、図２の端末加速度記憶部３２の加速度テーブルを示す表である。図４に示される例では、端末加速度記憶部３２の加速度テーブルＴにおいて、２０ミリ秒間隔で取得された端末加速度の測定時刻である１１時４１分１２．０００秒〜１２．０６０秒を示すタイムスタンプ（１１：４１：１２．０００〜１２．０６０）それぞれに対応して、端末加速度（０．１、０．２、０．０、０．０）が記憶されている。すなわち、加速度テーブルＴには、端末加速度取得部３１によって２０ミリ秒ごとに取得された端末加速度が記憶されている。

端末加速度記憶部３２は、加速度テーブルＴを記憶するためのバッファを有している。当該バッファは、一定のサイズにされてリングバッファの形態とされてもよい。この場合、端末加速度取得部３１により新たな端末加速度が格納される際に、バッファ内の最も古い（最も過去に格納された）端末加速度の値に上書きするようにして、新たな端末加速度が記憶されてもよい。

図２に戻って、決定部４１は、加速度導出部２０により導出された画像加速度を、端末加速度記憶部３２に記憶された端末加速度によって補正した補正加速度を導出し、当該補正加速度を用いて仮想オブジェクトの表示態様（具体的には表示位置）を決定する決定手段として機能する。すなわち、決定部４１は、補正加速度導出処理及び表示態様決定処理を行う。以下、それぞれの処理について詳細に説明する。

まず、補正加速度導出処理について説明する。決定部４１は、画像加速度から端末加速度を減算することにより補正加速度を導出する。また、決定部４１は、画像加速度の導出に要する時間を考慮して補正加速度を導出してもよい。すなわち、決定部４１は、加速度導出部２０（より詳細には加速度計算部２４）により画像加速度が導出された時刻を導出タイミングとして特定する。具体的には、決定部４１は、画像加速度記憶部２５を参照し、画像加速度の時刻情報（より詳細には、画像加速度を導出した時刻（導出タイミング）を示す情報）を、最新の画像加速度の導出タイミングとして特定する。そして、決定部４１は、端末加速度記憶部３２に記憶された端末加速度のうち、上述した導出タイミングよりも所定の時間分だけ過去の端末加速度により画像加速度を補正する。当該所定の時間は、撮像画像から画像加速度を導出するために要する時間（以下、導出タイムラグと記載する場合がある）に相当する時間とされる。

図５は、撮像画像から画像加速度を導出するイメージを示す図である。図５に示されるように、画像加速度ａ_Ｉを導出するためには、少なくとも異なる時刻ｔ，ｔ−１，ｔ−２に撮像された複数の撮像画像Ｉ（ｔ），Ｉ（ｔ−１），Ｉ（ｔ−２）が必要となる。このことから、導出タイムラグには、複数の撮像画像Ｉ（ｔ），Ｉ（ｔ−１），Ｉ（ｔ−２）を撮像するための撮像間隔が含まれる。この場合の撮像間隔とは、撮像画像Ｉ（ｔ−２）が撮像された時刻ｔ−２から撮像画像Ｉ（ｔ）が撮像された時刻である時刻ｔまでの時間である。また、図５に示されるように、複数の撮像画像Ｉ（ｔ），Ｉ（ｔ−１），Ｉ（ｔ−２）から少なくとも速度Ｖ（ｔ），Ｖ（ｔ−１）が計算され、速度Ｖ（ｔ），Ｖ（ｔ−１）から画像加速度ａ_Ｉが導出されるので、導出タイムラグには、計算時間が含まれる。以上より、導出タイムラグは、上述した撮像間隔及び計算時間を含んだ時間である。

図４を用いてより詳細に説明する。例えば上述した所定の時間（すなわち撮像間隔及び計算時間を含んだ時間である導出タイムラグ）が２０ミリ秒とされ、導出タイミングが１１時４１分１２．０４０秒であったとする。この場合、決定部４１は、加速度テーブルＴを参照して、導出タイミングである１１時４１分１２．０４０秒よりも２０ミリ秒過去の１１時４１分１２．０２０秒の端末加速度を画像加速度の値から減算することにより、補正加速度を導出する。なお、導出タイムラグが一定値である場合には、加速度テーブルＴにおいてタイムスタンプの記録を省略し、一定数古い画像加速度の値を用いるようにしてもよい。

つづいて、表示態様決定処理について説明する。決定部４１は、補正加速度導出処理により導出した補正加速度に基づいて、オブジェクト記憶部４２に記憶された仮想オブジェクトのパラメータ値を更新することにより、仮想オブジェクトの表示態様を決定する。決定部４１は、仮想オブジェクトのパラメータ値の更新が完了すると、画像合成部４３に更新完了通知を出力する。ここで、オブジェクト記憶部４２は、撮像画像中の仮想オブジェクト毎に、各種パラメータ値及び実世界同期フラグを記憶している。各種パラメータとは、例えば、仮想オブジェクトの位置、姿勢、形状、速度、質量、オブジェクト間の摩擦係数、衝突時の弾性係数、推進力、引力、及び電磁力等の、物理計算（詳細は後述）に用いられるパラメータである。

また、実世界同期フラグとは、仮想オブジェクトを表示する際に、現実空間の物体（すなわち撮像画像中の物体）の一部又は全てを表すオブジェクトとして表示するか否かを示すフラグである。すなわち、例えば箱を撮像している場合に箱の一部である底面を表す仮想オブジェクトは、現実空間の物体の一部そのものを表すオブジェクトであるので、仮想オブジェクトの実世界同期フラグはＹ（Ｙｅｓ）に設定される。一方で、例えば箱を撮像している場合に箱の中に入っているように見せる仮想的なボールを表す仮想オブジェクトは、現実空間の物体を表すオブジェクトではないので、仮想オブジェクトの実世界同期フラグはＮ（Ｎｏ）に設定される。実世界同期フラグがＹの仮想オブジェクトは、当該仮想オブジェクトが表す撮像画像中の物体の一部又は全てに位置合わせされて表示される。一方で、実世界同期フラグがＮの仮想オブジェクトは、速度等のパラメータ値を考慮した物理計算（詳細は後述）と、仮想オブジェクト間の衝突判定とに基づき時々刻々の位置及び速度が変化し、当該変化に応じた態様で表示される。

図６（ａ）は図２のオブジェクト記憶部４２が記憶するオブジェクトのイメージを示す図であり、図６（ｂ）は図２のオブジェクト記憶部４２のオブジェクトテーブルを示す表である。図６（ａ）に示される物体Ｂは、撮像画像中に含まれる箱の底面を表す仮想オブジェクトである。また、図６（ａ）に示される物体Ｏは、撮像画像中の箱の中に入っているように表示されるボールを表す仮想オブジェクトである。なお、図６（ａ）の例では、撮像画像中に含まれる箱の底面のみが仮想オブジェクトとされているが、箱全体が仮想オブジェクトとされていてもよい。

図６（ｂ）に示される例では、図６（ａ）に示された仮想オブジェクトである物体Ｏ及び物体Ｂに関する情報が、オブジェクト記憶部４２のオブジェクトテーブルＯＴに記憶されている。オブジェクトテーブルＯＴでは、仮想オブジェクトに関する情報として、仮想オブジェクトを特定する物体ＩＤと、仮想オブジェクトのパラメータである位置・形状及び速度と、実世界同期フラグとが対応づけられて記憶されている。図６（ｂ）に示される例では、パラメータとして位置・形状及び速度が記憶されているとして説明する。なお、各仮想オブジェクトは剛体であると仮定されており、速度のパラメータ値は一つの仮想オブジェクトにつき一つとされている。また、速度の初期値はゼロベクトルとされる。

物体ＩＤ：Ｏで示される物体Ｏは球体物体であるボールの仮想オブジェクトであるところ、中心座標（物体Ｏの中心を示す撮像画像中の座標）ｐ_０及び半径ｒが位置・形状のパラメータ値とされている。また、物体Ｏでは速度ｖ_０が速度のパラメータ値とされている。また、物体Ｏは撮像画像中の物体（現実空間の物体）を表すオブジェクトではないので実世界同期フラグがＮとされている。

一方で、物体ＩＤ：Ｂで示される物体Ｂは平面物体である箱の底面の仮想オブジェクトであるところ、頂点座標（物体Ｂの頂点を示す撮像画像中の座標）ｐ_１，ｐ_２，ｐ_３，ｐ_４が位置・形状のパラメータ値とされている。また、物体Ｂでは速度ｖ_ｂが速度のパラメータ値とされている。また、物体Ｂは撮像画像中の物体（現実空間の物体）である箱の一部（底面）そのものを表すオブジェクトであるので実世界同期フラグがＹとされている。

ここで、実世界同期フラグがＮの仮想オブジェクトである物体Ｏの時々刻々の位置及び速度は、仮想オブジェクト間の衝突判定を考慮した上で、パラメータ値及び補正加速度に基づく物理計算によって導出される。なお、仮想オブジェクト間の衝突判定については、周知の衝突判定技術を用いて行うことができるので、詳細な説明を省略する。

決定部４１は、時刻ｔにおける物体Ｏの速度ｖ_０（ｔ）を、オブジェクト記憶部４２のオブジェクトテーブルＯＴに記憶された時刻ｔ−１の速度ｖ_０（ｔ−１）、重力加速度ｇ、及び補正加速度ａ_ｃから導出しており、例えば以下の（１）式により求めることができる。なお、以下の（１）式における重力加速度ｇ及び補正加速度ａ_ｃは、単位時間あたりの値である。重力加速度ｇの向きは、加速度センサ１０９により測定されてもよいし、端末装置１の下方向とみなされてもよい。決定部４１は導出した速度ｖ_０（ｔ）を物体Ｏの速度の新たなパラメータ値とし、オブジェクトテーブルＯＴを更新する。

また、決定部４１は、時刻ｔにおける物体Ｏの位置ｐ_０（ｔ）を、オブジェクト記憶部４２のオブジェクトテーブルＯＴに記憶された時刻ｔ−１の位置ｐ_０（ｔ−１）及び時刻ｔ−１の速度ｖ_０（ｔ−１）から導出しており、例えば以下の（２）式により求めることができる。なお、以下の（２）式における速度ｖ_０は、単位時間あたりの値である。決定部４１は導出した位置ｐ_０（ｔ）を物体Ｏの位置の新たなパラメータ値とし、オブジェクトテーブルＯＴを更新する。

このように、物体Ｏの位置ｐ_０が補正加速度及び速度ｖ_０に基づいて求められるので、物体Ｏを現実の物理現象に沿ったリアリティのある態様で表示することができる。なお、物体Ｏの速度及び位置を求める方法は、上述した簡便な手法（オイラー法）に限られず、より精度の高いルンゲ＝クッタ法であってもよい。

ここで、決定部４１は、端末加速度記憶部３２に記憶された端末加速度の大きさが所定の値よりも大きい場合に、画像加速度及び端末加速度を共に０として、すなわち補正加速度を０として仮想オブジェクトの表示態様を決定してもよい。端末加速度の大きさとは、端末加速度取得部３１によって取得された端末加速度の絶対値である。端末装置１が激しく動いている状態で導出された画像加速度は信頼性が低いと考えられる。そこで、上記所定の値は、例えば、撮像された撮像画像から導出される画像加速度の値の信頼性が低くなると考えられる端末加速度の下限値とされる。また、決定部４１は、端末加速度記憶部３２に記憶されている端末加速度の大きさが所定の値よりも大きいと判定した場合に、当該判定した時点から上述した所定の時間（すなわち撮像間隔及び計算時間を含んだ時間である導出タイムラグ）よりも長い一定時間の間、画像加速度及び端末加速度を共に０として、すなわち補正加速度を０として仮想オブジェクトの表示態様を決定してもよい。

画像合成部４３は、仮想オブジェクトを現実空間の撮像画像に合成する（同期させる）。画像合成部４３は、決定部４１からの更新完了通知を契機として、画像記憶部２１から、更新完了通知に係る更新に用いられた画像加速度に関する撮像画像を取得する。そして、オブジェクト記憶部４２のオブジェクトテーブルＯＴを参照し、実世界同期フラグがＹの仮想オブジェクトを特定するとともに、当該仮想オブジェクトの最新の位置を撮像画像から特定する。画像合成部４３は、実世界同期フラグがＹの仮想オブジェクトの位置が、撮像画像から特定した最新の位置となるように、オブジェクト記憶部４２のオブジェクトテーブルＯＴを更新する。その後、画像合成部４３は、オブジェクト記憶部４２のオブジェクトテーブルＯＴを参照し、記憶された全ての仮想オブジェクト（実世界同期フラグがＹの仮想オブジェクト及びＮの仮想オブジェクト）の位置・形状を特定する。そして、画像合成部４３は、各仮想オブジェクトの位置・形状が、上記特定した位置・形状となるように、取得済みの撮像画像に対して各仮想オブジェクトを合成し、合成画像を生成する。画像合成部４３は、合成画像を表示部４４に出力する。

表示部４４は、決定部４１が決定した表示態様によって、仮想オブジェクトを現実空間の撮像画像に同期させて表示する表示手段として機能する。具体的には、表示部４４は、画像合成部４３が生成した合成画像を出力装置１０７に表示させる。

次に、図７を参照して端末装置１による一連の処理を説明する。図７は、図２の端末装置１が行う表示方法の一連の処理を示すフローチャートである。図７に示される処理は、例えば、端末装置１にインストールされた専用のソフトウェア（アプリケーション）が起動された後に、撮像装置１０８が撮像画像を生成することに応じて開始される。

まず、画像取得部１１により、撮像装置１０８が現実空間を撮像して生成した撮像画像が取得される（ステップＳ１、撮像画像を取得するステップ）。画像取得部１１は、取得した撮像画像及び該撮像画像のメタ情報を画像記憶部２１に格納する。つづいて、速度計算部２２により、画像記憶部２１に記憶された複数の撮像画像から動きベクトルが導出される（ステップＳ３、画像加速度を導出するステップ）。具体的には、速度計算部２２は、第１画像及び第２画像の双方に対して、物体特定処理を行った後に、第１画像及び第２画像の双方に表示されている物体について、第１画像における位置と第２画像における位置とを比較し、第２画像における位置から第１画像における位置までの移動量及び移動方向を動きベクトルとして導出する。

つづいて、速度計算部２２により、動きベクトルと、第１画像のメタ情報及び第２画像のメタ情報とに基づいて、画像速度が導出される（ステップＳ５、画像加速度を導出するステップ）。速度計算部２２は、導出した画像速度及び該画像速度の時刻情報を速度記憶部２３に格納する。つづいて、加速度計算部２４により、速度記憶部２３に記憶された複数の画像速度の差に基づき、画像加速度が導出される（ステップＳ７、画像加速度を導出するステップ）。具体的には、加速度計算部２４は、第３記憶領域に記憶された画像速度及び第４記憶領域に記憶された画像速度の差である速度差と、第３記憶領域に記憶された時刻情報及び第４記憶領域に記憶された時刻情報の差である時刻差とをそれぞれ求め、当該速度差及び時刻差から画像加速度を導出（計算）する。加速度計算部２４は、導出した画像加速度及び該画像加速度の時刻情報を画像加速度記憶部２５に格納する。

つづいて、端末加速度取得部３１により、加速度センサ１０９が測定した加速度に基づき端末加速度が取得される（ステップＳ９、装置加速度を取得するステップ）。端末加速度取得部３１は、端末加速度、及び該端末加速度の測定時刻を示すタイムスタンプを端末加速度記憶部３２に格納する。つづいて、決定部４１により、画像加速度を端末加速度によって補正した補正加速度が導出される（ステップＳ１１、表示態様を決定するステップ）。具体的には、決定部４１は、画像加速度から端末加速度を減算することにより補正加速度を導出する。

つづいて、決定部４１により、補正加速度に基づき仮想オブジェクトの表示態様が決定される（ステップＳ１３、表示態様を決定するステップ）。具体的には、決定部４１は、補正加速度導出処理により導出した補正加速度に基づいて、オブジェクト記憶部４２に記憶された仮想オブジェクトのパラメータ値を更新することにより、仮想オブジェクトの表示態様を決定する。決定部４１は、仮想オブジェクトのパラメータ値の更新が完了すると、画像合成部４３に更新完了通知を出力する。そして、画像合成部４３が仮想オブジェクトを現実空間の撮像画像に合成した後に、表示部４４により、決定部４１が決定した表示態様にて、仮想オブジェクトが現実空間の撮像画像に同期して表示される（ステップＳ１５、表示するステップ）。

次に、本実施形態に係る端末装置１の作用・効果について説明する。

ＡＲ技術を用いて撮像画像に仮想オブジェクトを同期して表示する際、現実空間の物体の位置が変化する（現実空間の物体が動く）場合がある。このような場合には、衝突判定を行うとともに現実空間の重力方向を考慮して、現実空間の物体に位置合わせするようにして仮想オブジェクトを表示することが考えられる。例えば、図８に示した比較例に係る端末装置１５１は、撮像された物体の加速度を考慮せず単に現実空間の重力方向のみを考慮した端末装置である。端末装置１５１では、撮像装置により撮像された現実空間の物体である箱Ｒと、箱Ｒの中に入っているかのように表示された仮想オブジェクトであるボールＢＶとが端末装置のディスプレイに表示されている。そして、図８（ｂ）に示されるように箱Ｒが上方向に移動させられると、箱Ｒ及び仮想オブジェクトであるボールＢＶがともに上方向に移動して表示される。更に、図８（ｃ）に示されるように上方向に移動していた箱Ｒの移動方向が下方向に変化させられると、箱Ｒは下方向に移動して表示され、仮想オブジェクトであるボールＢＶも箱Ｒに追従して下方向に移動して表示される。しかしながら、現実空間においてボールを入れた箱を上下方向に動かした場合には、箱の中からボールが飛び出すことがあると考えられる。つまり、図８の例のように、衝突判定が行われるとともに現実空間の重力方向が考慮されたのみでは、仮想オブジェクトであるボールＢＶが常に箱に追従するように表示されてしまい、現実の物理現象に沿った表示とならないおそれがある。

この点、本実施形態の端末装置１によれば、加速度導出部２０によって同一の物体の各撮像画像間での位置の差及び各撮像画像が撮像された時刻の差に基づいて画像加速度が導出されるとともに、端末加速度取得部３１によって端末加速度が取得される。そして、決定部４１によって画像加速度を端末加速度にて補正した補正加速度が導出され、表示部４４によって当該補正加速度に基づいた表示態様にて仮想オブジェクトが撮像画像に同期表示される。

このように、撮像された物体の加速度である画像加速度が考慮されて仮想オブジェクトの表示態様が決定されることにより、現実空間の物体の加速度に応じて仮想オブジェクトが表示される。これにより、現実の物理現象に沿った、リアリティのある態様で仮想オブジェクトを表示することができる。例えば、図１（ｃ）に示されるように、上方向に移動していた箱Ｒの移動方向が下方向に変化させられると、箱Ｒは下方向に移動して表示される。一方で、ボールＢＶは図１（ｂ）に示した上方向への移動によって上方向の速度を有しているため図１（ｃ）に示されるように箱Ｒが下方向に移動した場合には箱Ｒから離れて上方向に跳ね上げられるように表示される。このような表示は現実の物理現象に沿ったリアリティのある表示であり、撮像画像における物体の加速度を考慮することによって実現している。

また、例えば端末装置自体が動きながら撮像した複数の撮像画像から画像加速度が導出される場合においては、端末装置自体の動きに起因して撮像画像に表示される物体の位置が相対的に変化し、導出される画像加速度の値が物体の現実の動きから乖離した値となるおそれがある。例えば、図９に示した比較例に係る端末装置１５２は、端末装置自体の動き（加速度）を考慮しない端末装置である。端末装置１５２では、撮像装置により撮像された現実空間の物体である箱Ｒと、箱Ｒの中に入っているかのように表示された仮想オブジェクトであるボールＢＶとが表示装置のディスプレイに表示されている。そして、図９（ｂ）に示されるように箱Ｒが上方向に移動させられると、箱Ｒ及び仮想オブジェクトであるボールＢＶがともに上方向に移動して表示される。この場合において、箱Ｒの現実空間における位置を変化させずに、端末装置１５２自体の位置を上方向に移動させると、撮像画像に表示される箱の位置が相対的に下方向に変化するため、図９（ｃ）に示されるように、ボールＢＶが上方向に跳ね上げられるように表示されてしまう。現実空間では箱Ｒの位置は変化していないため、ボールＢＶの表示（上方向に跳ね上げられるような表示）は現実の物理現象に沿ったリアリティのある表示とは言い難い。

この点、本実施形態の端末装置１では、画像加速度を端末加速度によって補正した補正加速度が用いられているので、端末装置１自体の動きが考慮されて仮想オブジェクトの表示態様が決定される。このことにより、端末装置１が動きながら撮像した複数の撮像画像を用いる場合であっても、現実空間の物体の動きに合わせた仮想オブジェクトを表示することができる。

また、本実施形態の端末装置１では、決定部４１が画像加速度から端末加速度を減算することにより補正加速度を導出するので、画像加速度から、端末装置１の動きに応じた端末加速度を適切にキャンセルすることができ、現実の物体の動きを適切に反映した補正加速度を導出できる。

また、本実施形態の端末装置１では、決定部４１が、端末加速度の大きさが所定の値よりも大きい場合に、画像加速度、及び端末加速度を０として、表示態様を決定する。端末加速度が大きい場合すなわち端末装置１が激しく動いている場合には、各撮像画像間における物体の位置の差から導出される画像加速度の値の信頼性が低いと考えられる。このため、端末加速度が所定の値よりも大きい場合に、画像加速度及び端末加速度を０として表示態様を決定することにより、信頼性が低い情報に基づいて仮想オブジェクトの表示態様が決定されることを回避することができる。

また、本実施形態の端末装置１は、端末加速度取得部３１により取得された端末加速度を、端末加速度が測定された時刻と対応づけて記憶する端末加速度記憶部３２を備えている。そして、決定部４１は、加速度導出部２０（より詳細には加速度計算部２４）により画像加速度が導出された時刻を導出タイミングとして特定するとともに、端末加速度記憶部３２に記憶された端末加速度のうち、導出タイミングよりも所定の時間分だけ過去の端末加速度を用いて、画像加速度を補正する。画像加速度は、異なる時刻に撮像された複数の撮像画像から導出されるので、その導出には撮像間隔が必要となる。また、画像加速度の導出には計算時間が必要となる。当該撮像間隔及び計算時間等を考慮すると、導出された画像加速度は導出タイミングよりも所定の時間分だけ過去の端末加速度に対応している。このため、導出タイミングよりも所定の時間分だけ過去の端末加速度を用いて画像加速度を補正することによって、より適切に現実の物体の動きを反映した補正加速度を導出することができる。

また、本実施形態の端末装置１では、決定部４１が、端末加速度の大きさが所定の値よりも大きい場合に、上記所定の時間よりも長い一定時間の間、画像加速度、及び端末加速度を０として、表示態様を決定する。端末加速度が大きくなったときに、所定の時間よりも長い一定時間、画像加速度及び端末加速度を０とすることによって、少なくとも、端末加速度が大きくなったタイミングに係る画像加速度及び端末加速度を０として表示態様を決定することができる。これにより、信頼性が低い情報に基づいて仮想オブジェクトの表示態様が決定されることをより確実に回避することができる。

以上、本発明の実施形態について説明したが本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では画像取得部１１は、端末装置１の撮像装置１０８により撮像された撮像画像を取得しているがこれに限定されず、端末装置の外部において撮像された撮像画像を取得してもよい。また、決定部４１は、画像加速度から端末加速度を減算することにより補正加速度を導出しているが、例えば減算以外の演算により、画像加速度及び端末加速度に基づき補正加速度を導出してもよい。

また、図７を用いた処理フローの説明においては、画像加速度が導出された後に端末加速度が取得されるとして説明したがこれに限定されず、画像加速度の導出よりも前に端末加速度が取得されるものであってもよい。また、決定部４１が補正加速度を用いて決定する仮想オブジェクトの表示態様の例として仮想オブジェクトの表示位置を説明したが、補正加速度に基づき決定される仮想オブジェクトの表示態様はこれに限定されない。例えば、決定部４１は、補正加速度を用いて、仮想オブジェクトの形状を仮想オブジェクトの表示態様として決定してもよい。具体例として、撮像画像中の物体である板に位置合わせされて表示される、実世界同期フラグがＹ（Ｙｅｓ）である板の仮想オブジェクト（以下、板オブジェクトと記載する）と、板の仮想オブジェクトの動きに合わせて、板オブジェクトに弾かれるように表示される、実世界同期フラグがＮ（Ｎｏ）である柔らかいボールの仮想オブジェクト（以下、ボールオブジェクトと記載する）とが仮想オブジェクトとして表示される例を説明する。決定部４１は、現実空間において勢いよく板が振り回されて撮像画像中の板の加速度である画像加速度が大きくなり補正加速度が大きくなるほど、板オブジェクトに弾かれる際のボールオブジェクトの形状が潰された形状（変形した形状）となるようにボールオブジェクトの形状を決定してもよい。なお、補正加速度に基づき決定される仮想オブジェクトの表示態様は、仮想オブジェクトの表示位置、及び仮想オブジェクトの形状に限られず、仮想オブジェクトをリアリティのある態様で表示することを可能にする他の表示態様であってもよい。

１…端末装置、１１…画像取得部、２０…加速度導出部、２１…画像記憶部、２２…速度計算部、２３…速度記憶部、２４…加速度計算部、２５…画像加速度記憶部、３１…端末加速度取得部、３２…端末加速度記憶部、４１…決定部、４４…表示部。

Claims (7)

1. 仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置であって、
   現実空間を撮像することにより生成された撮像画像を取得する画像取得手段と、
   前記画像取得手段により取得された複数の撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、前記撮像画像における前記物体の加速度である画像加速度を導出する加速度導出手段と、
   測定された前記表示装置の加速度である装置加速度を取得する加速度取得手段と、
   前記加速度導出手段により導出された前記画像加速度を、前記加速度取得手段により取得された前記装置加速度によって補正した補正加速度を導出し、前記補正加速度を用いて前記仮想オブジェクトの表示態様を決定する決定手段と、
   前記決定手段が決定した前記表示態様によって、前記仮想オブジェクトを現実空間の前記撮像画像に同期させて表示する表示手段と、を備える表示装置。
2. 前記決定手段は、前記画像加速度から前記装置加速度を減算することにより前記補正加速度を導出する、請求項１記載の表示装置。
3. 前記決定手段は、前記装置加速度の大きさが所定の値よりも大きい場合に、前記画像加速度、及び前記装置加速度を０として、前記表示態様を決定する、請求項１又は２記載の表示装置。
4. 前記加速度取得手段により取得された前記装置加速度を、前記装置加速度が測定された時刻と対応づけて記憶する装置加速度記憶手段を更に備え、
   前記決定手段は、前記加速度導出手段により前記画像加速度が導出された時刻を導出タイミングとして特定するとともに、前記装置加速度記憶手段に記憶された前記装置加速度のうち、前記導出タイミングよりも所定の時間分だけ過去の前記装置加速度を用いて、前記画像加速度を補正する、請求項１〜３のいずれか一項記載の表示装置。
5. 前記決定手段は、前記装置加速度の大きさが所定の値よりも大きい場合に、前記所定の時間よりも長い一定時間の間、前記画像加速度、及び前記装置加速度を０として、前記表示態様を決定する、請求項４記載の表示装置。
6. 前記加速度導出手段は、
   前記画像取得手段により取得された撮像画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶された複数の前記撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、前記物体の速度である画像速度を計算する速度計算手段と、
   前記速度計算手段により計算された前記画像速度を記憶する速度記憶手段と、
   前記速度記憶手段に記憶された複数の前記画像速度の差に基づき、前記画像加速度を計算する加速度計算手段と、
   前記加速度計算手段により計算された前記画像加速度を記憶する画像加速度記憶手段と、を有する、請求項１〜５のいずれか一項記載の表示装置。
7. 仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置が行う表示方法であって、
   現実空間を撮像することにより生成された撮像画像を取得するステップと、
   前記撮像画像を取得するステップにおいて取得された複数の撮像画像それぞれに表示された同一の物体の各撮像画像間での位置の差、及び各撮像画像が撮像された時刻の差に基づき、前記撮像画像における前記物体の加速度である画像加速度を導出するステップと、
   測定された前記表示装置の加速度である装置加速度を取得するステップと、
   前記画像加速度を導出するステップにおいて導出された前記画像加速度を、前記装置加速度を取得するステップにおいて取得された前記装置加速度によって補正した補正加速度を導出し、前記補正加速度を用いて前記仮想オブジェクトの表示態様を決定するステップと、
   前記決定するステップにおいて決定された前記表示態様によって、前記仮想オブジェクトを現実空間の前記撮像画像に同期させて表示するステップと、を含む表示方法。
   

Images