JP5769392B2 - 情報処理装置およびその方法 - Google Patents

Description

本発明は、情報処理装置および方法に関し、複合現実感において仮想情報を選択し表示する為の情報処理装置および方法に関する。

従来、複数ページを持つテキスト及び画像を有する文章等の仮想情報の表示を行なう際、ディスプレイを見る事が一般的である。また、仮想ページの切り替えには、観察者がマウス、キーボード、ボタン、タッチパネル等のデバイスを利用する。

一方、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像から検出した現実物体の一つ一つに仮想物体を重ねわせるように、画像上に撮像装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳描画した画像を表示する。例えば、仮想空間の画像として、コンピュータグラフィックスにより描画された仮想物体や文字情報等がある。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。

また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想現実空間の画像を表示する光学シースルー方式によっても実現される。

このような画像表示装置の応用として、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲーム等がある。この他にも、例えば、市街地を撮像することで得られる現実空間の画像中に含まれる著名な建造物等の名称や案内を仮想空間画像として重畳表示するナビゲーションがある。この他にも、例えば、ビルの建設予定地を撮像することで得られる画像中に建設予定のビルのコンピュータグラフィックス映像を重畳表示する景観シミュレーションがある。

特許文献１には、例えば、電子的に生成された画像及び／又はテキストを現実世界の用紙に関連付けて表示する手法が開示されている。そして、指をマウスポインタとして動かすことにより、用紙に関連づけられた画像やテキストの表示を動かすことができる。つまり、複合現実感の仕組みを用いて、用紙を１つのあたかも従来のＣＲＴや液晶のようなディスプレイとする手法が開示されている。

特開２００１−９２９９５号公報 特開２００７−１７２５９６号公報

しかし、この手法では、映像から用紙のどの位置に対してどのような指の動作や挙動を行ったかを認識し、複雑な処理を必要とするため、表示内容を変更することが容易でないという課題があった。

上記課題を解決するため、本発明は、複合現実感において、観察者が複数の仮想情報の切り替えることを容易に可能にする事を目的とする。

本発明は以下の装置により上記目的を達成する。

撮像装置で、現実空間中の現実物体である紙を撮像した撮像画像を入力する画像入力手段と、
前記撮像装置の位置および姿勢を計測する第１の計測手段と、
前記紙の姿勢を計測する第２の計測手段と、
前記撮像装置の姿勢と前記紙の姿勢とに基づいて、前記紙の第１の面と、前記第１の面の裏の面である第２の面とのうち、前記撮像装置の方に向いている面を決定する決定手段と、
前記決定された前記撮像装置の方に向いている面に応じて、複数の仮想情報のうち何れかを選択する選択手段と、
前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成手段とを有することを特徴とする情報処理装置。

本発明の構成によれば、複合現実感において、複数ページを持つ仮想情報の表示を切り替えて表示することが容易に可能となる。

第１の実施形態の仮想物体操作装置の概略構成を示すブロック図である。 第１の実施形態の情報処理装置の構成の模式図である。 第１の実施形態における現実物体の姿勢の変化を示す図である。 第１の実施形態における処理手順を示すフローチャートである。 第１の実施形態における現実物の操作によるページ切り替えを示す図である。 変形例１の撮像画像から現実物体に触れている部位の計測例を示す図である。 第２の実施形態における現実物体の例を示す図である。 コンピュータの構成例を示す図である。

以下添付画像を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。

〔第１の実施形態〕
＜構成＞
図１は本実施形態の複合現実感における現実物体の操作を適用した概略構成を示す。図２は本実施形態における装置の構成の模式図である。

ＨＭＤ１０００には、撮像部１０１０、表示部１０２０が取り付けられ互いに固定されている。なお、本実施形態では、図２に示すように、撮像部１０１０と表示部１０２０をＨＭＤ内にそれぞれ２基搭載しており、ステレオで現実空間の撮像と複合現実感における合成画像の表示が可能である。観察者はこのＨＭＤ１０００を頭部に装着することで、表示部１０２０に映るステレオの複合現実感の合成画像（以下、ＭＲ画像とする）を見ることができる。本実施形態では、ステレオの撮像と表示を行うことに限定するものではなく、少なくとも１つ以上の撮像部と表示部があれば適応可能である。さらに、本実施形態では、ＨＭＤ１０００を使用することに限定するものではなく、撮像部１０１０が装備されていないタイプでも適応可能である。また、ＨＭＤ１０００は、外部のワークステーション２３００とカメラ映像や表示映像のデータを送受信する。なお、ワークステーション２３００は外部に限らず、ＨＭＤ１０００の機能の一部として内蔵されていてもよい。

画像入力部１０３０は、撮像部１０１０において撮像された撮像画像を画像データとして入力する。

撮像部位置姿勢計測部１０４０では、画像入力部１０３０で得られた撮像画像から画像処理を行ない撮像部の位置姿勢の計測を行う。ここでは、特許文献２に記載の方法を用いてもよい。この計測には、現実空間での位置が既知である特徴点を用いて求める方法や、センサの誤差を推定して修正する方法などを適応してもよい。また、この撮像部位置姿勢計測部１０４０は、前記画像処理に限る物ではなく、画像認識による処理、磁気式センサ、光学式センサなど撮像部の位置姿勢を計測できるものであれば適応可能である。

現実物***置姿勢計測部１０５０では、画像入力部１０３０で得られた撮像画像から画像処理を行ない現実物体の位置および姿勢、または姿勢の計測を行う。ここでも、特許文献２に記載の方法を用いてもよい。画像処理により現実物体の位置姿勢の計測を行う場合、例えば厚紙のような現実物体２０００にマーカ２０１０を印刷する平面の物体でもよい。また、この現実物***置姿勢計測部１０５０は、前記画像処理に限る物ではなく、画像認識による処理、磁気式センサ、光学式センサなど撮像部の位置姿勢を計測できるものであればよい。

図３は、本実施形態における現実物体の姿勢の変化を示す図である。

位置姿勢管理部１０５０では、観察者またはシステムが指定する時刻ｓでの撮像部位置姿勢計測部１０４０から得られた位置と現実物***置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１００と現実物体２０００の法線方向２２００を記憶する。

また、時刻ｓ以降かつ観察者システムが指定した時刻ｔでの撮像部位置姿勢計測部１０４０から得られた位置と現実物***置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１２０と現実物体２０００の法線方向２２００を記憶する。

また、時刻ｔ以降の観察者システムが指定した時刻ｕでの撮像部位置姿勢計測部１０４０から得られた位置と現実物***置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１００と現実物体２０００の法線方向２２００を記憶する。

また、この時、世界座標系は、頂点３０００を原点とし、軸３０３０をＸ軸とし、軸３０２０をＹ軸とし、軸３０１０をＺ軸とする。この時、観察者またはユーザが指定する任意の時刻だけではなくシステムが開始されてから一定の間隔で前記現実物体の位置姿勢及び前記撮像部の位置姿勢を記憶しても良い。

位置姿勢管理部１０６０では、時刻ｓ、ｔ、ｕのように、複数の時刻において、上方から見た場合のベクトル方向３１００（単位ベクトル）と法線方向３２００のなす角度３３００を算出する。

複数の時刻において、角度３３００が、９０度以上１８０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＡを発行し、仮想情報管理部１０７０に送る。

一方、複数の時刻において、角度３３００が、１８０度以上２７０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＢを発行し、仮想情報管理部１０７０に送る。

このように、位置姿勢管理部１０６０では、複数の時刻において、現実物体の姿勢がどのように変化したかを推定する。そして推定した結果を条件として当てはめ、条件に該当したことをイベントとして発行し、仮想情報管理部１０７０に送る。

この時、前記イベントを発行させる条件は、観察者の位置または姿勢の少なくとも一つと現実物体の位置または姿勢の少なくとも一つを用いて導き出した物であれば良い。

また、ここで取り上げた角度は、０、９０、１８０、２７０度に限るものではなく、予め設定しておいてよい。また、上方から見た場合に限るものではない。また、現実物体の姿勢の角度を１つの軸において固定したものを取り上げたが、複数の軸の角度を組み合わせた条件を用意してもよい。

仮想情報管理部１０７０では、現実物***置姿勢計測部１０５０から受けとった現実物体の位置姿勢情報から仮想情報の位置姿勢設定し位置姿勢管理部１０６０から受け取ったイベントから仮想情報の選択を行なう。この時、仮想情報を順方向や逆方向に切り替える。例えば、仮想情報が電子的な書類や書籍情報のような複数のページで構成される情報である場合、現在がページ１０の情報であったら、イベントＡを受けた時、ページ１１の情報に切り替える。また、イベントＢを受けた時、仮想情報を逆方向に切り替える。例えば、仮想情報がページ１０の情報であったら、ページ９の情報に切り替える。

仮想画像生成部１０８０は、撮像部位置姿勢計測部１０４０と仮想情報管理部１０７０に基づいて仮想画像を生成する。また、仮想画像生成部１０８０では、撮像部位置姿勢計測部１０４０ではなく、位置姿勢管理部１０６０から撮像部と現実物体の各々の位置および姿勢から仮想画像を生成してもよい。これにより、現実物体の位置や姿勢に仮想情報が追従する仮想画像を生成することができる。

画像合成部１０９０は、画像入力部１０３０と仮想画像生成部１０８０から得られる画像とを合成する。

画像出力部１１００では、合成された画像を表示部１０２０に転送する。ＨＭＤ１０００内にある表示部１０２０には観察者の視点位置に対応した合成画像が表示される。観察者はこの画像を見ることで複合現実感を知覚でき、同時に現実空間上の現実物体の操作も同時に行う。

なお、本実施形態においては、前述の画像入力部１０３０、撮像部位位置姿勢計測部１０４０、仮想情報管理部１０７０、仮想画像生成部１０８０、画像合成部１０９０、画像出力部１１００を図２におけるワークステーション２３００内に格納する。ワークステーション２３００は、基本構成の機器の他に、撮像部の画像をキャプチャする為の２系統の映像出力装置を備える。本実施形態においては、このようなワークステーションに限られるものではなく、前述の機能と同等の機能を持つ計算機であればよい。

＜処理の手順＞
本実施形態における処理の手順を図４のフローチャートを参照して説明する。図４で示すフローチャートは、ＭＲ画像を１枚描画するごとに繰り返し行われる処理である。

ステップＳ４０１０では、画像入力部１０３０で入力された画像から撮像部位置姿勢計測部１０４０で位置姿勢を計測する。

ステップＳ４０２０では、同様に現実物***置姿勢計測部１０５０で位置姿勢を計測する。

ステップＳ４０３０では、システム又はユーザが指定した時間が経過した場合に、ステップＳ４０４０に進む。満たしていない場合はステップＳ４０９０に進む。ここでの時間は、一定の時間ごとや特定の時刻ごとに処理を繰り返すことができればよく、時間の経過に限るものではない。これにより、例えば、現実物体を少ししか動かさないときでも、意図せず勝手に仮想情報が切り替わる可能性を軽減することができる。

ステップＳ４０４０では、撮像部の位置姿勢と現実物体の位置姿勢を位置姿勢管理部１０６０に保存する。

ステップＳ４０５０では、位置姿勢管理部１０６０で保存された、過去の時刻の撮像部の位置姿勢と現実物体の位置姿勢とを推定する。そして、撮像部と現実物体とを結ぶベクトル方向２１２０と現実物体の表面に対する法線方向２２２０を求め、ベクトル方向２１２０と法線方向２２２０とがなす角４１１０を求める。また、同様にして現在時刻のベクトル方向２１２０と法線方向２２２０とがなす角４１２０を求める。

ステップＳ４０６０では、求めた角度を元にイベントを発行する条件に該当するか否かを判定する。すなわち、角度４１１０と角度４１２０が条件１の時は、ステップＳ４０７０に進み、条件２の時は、ステップＳ４０８０へ進み、条件３のときは、ステップＳ４１００へ進む。

条件１は、角度３３００が、９０度以上１８０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＡを仮想情報管理部１０７０に送る。

条件２は、角度３３００が、１８０度以上２７０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＢを仮想情報管理部１０７０に送る。

条件３は、条件１及び条件２以外の場合である。

このように、角度３３００は、予め定められた複数の角度の範囲を遷移する。この遷移の内容を条件として発行するイベントを切り替える。

ここでは、撮影部１０１０と現実物体２０００との相対的な姿勢の変化のみを条件として加えた。一方、現実物体計測部１０５０で計測した現実物体２０００の現実空間における姿勢の変化も組み合わせた条件を用意してもよい。具体的には、条件１や条件２に加えて、現実物体２０００の現実空間の姿勢の変化が一定以上の場合を合接する条件として更に加えてもよい。これにより、例えば、現実物体を動かさないときでも、勝手に仮想情報が切り替わる可能性を軽減することができる。

ステップＳ４０７０では、イベントＡを発行する。
ステップＳ４０８０では、イベントＢを発行する。

このように、現実物体の姿勢がどのように変化したかを推定する。そして推定した結果を条件として当てはめ、条件に該当したことをイベントとして発行する。

ステップＳ４０９０では、仮想情報管理部１０７０の仮想情報の切り替え対象となる仮想情報を選択する。イベントＡを受け取った時は仮想情報を順方向に切り替える。また、イベントＢを受け取った時は仮想情報を逆方向に切り替える。

具体的に言えば、仮想情報管理部１０７０に記憶されている複数の仮想情報は、予め並びが決められている。そして、条件に該当したときに、順方向または逆方向の何れか一方の方向を決める。そして、複数の仮想情報に対し、現在選択されている仮想物体から決められた方向にある仮想情報を選択する。

ステップＳ４１００では、仮想画像生成部１０８０で仮想情報管理部１０７０に記憶され、選択されている仮想情報から仮想画像の生成を行う。

ステップＳ４１１０では、ステップＳ４１００で得られた撮像画像に、ステップＳ４１００で得られた仮想画像を重畳して画像出力部１１００によって表示部１０２０に表示する。

従来の技術を用いると、複合現実感において、複数の仮想情報を提示するには、撮像するマーカの模様など識別内容がそれぞれ異なるマーカに対して１つずつの仮想情報が割り当てていた。マーカを撮像することで、そのマーカに割り当てられた仮想情報を提示していた。すなわち、撮像したマーカが別のマーカに切り替わることに応じてのみ仮想情報を切り替えることができた。

以上の実施形態によれば、現実物体とＨＭＤとの位置もしくは姿勢の変化を検知して、同一の識別内容のマーカに割り当てられる仮想物体を容易に切り替えることができる。

図５は、現実物の操作によるページ切り替えを示す図である。

例えば、図５には、紙などの両面にマーカが５０１０印刷されている。このマーカ５０１０を撮像することで、現実物体の姿勢の変化である紙の表と裏のめくり操作を検知し、仮想情報であるページを切り替えることができる。なお、現実物体は、紙に限定するものではなく、木材でも樹脂でも金属でも材料は問わない。

〔変形例１〕
図６は、撮像画像から現実物体に触れている部位を計測する例である。

上記第１の実施形態では、位置姿勢管理部１０６０では、撮像部の位置姿勢と現実物体の位置姿勢から計算を行っている。一方、図４に示すように観察者が現実物体の特定の部位を押さえた場合にどの部位を押さえているか、画像入力部１０３０から入力された画像から計測を行ない、その情報を仮想情報管理部１０７０に送っても良い。

この結果から図６にしめす部位６０１０が観察者の部位６０２０で押さえられて前記条件１となり前記イベントＡが発行された場合は、任意の数だけ順方向にすすめ切り替えを行なう。また、部位６０１０を押さえられて前記条件２となりイベントＢが発行された場合は、任意の数だけ逆方向にすすめ切り替えを行なう。

またこの時、ユーザまたはシステムが指定した任意のページの仮想情報に切り替えても良い。また、例えば、押さえている現実物体の特定部位ごとに、ページのめくり量を決めてもよい。具体的には、現実物体の姿勢の変化に応じて、めくる量を１ページ、１０ページ、１００ページとすることができる。

このように、選択を切り替えられた仮想物体は、マーカ６０２０の位置に合わせて仮想画像を生成、重畳される。

〔変形例２〕
上記第１の実施形態では、図７に示すように、現実物体２０００は冊子７０１０であっても良い。この冊子は、図５に示すような現実物体の複数の部品を複数束ねたものである。この複数の部品の個々に対して、第１の実施形態の現実物体と同様の処理を行う。冊子をめくり続けることにより、一度仮想物体を提示したマーカ７１１０、７１２０を再度検出しても、同じマーカに対して前回提示した仮想情報とは異なる仮想情報、例えば異なるページを提示することができる。

より具体的には、紙は２枚だけでもよいし、１枚の紙を折り曲げたものでもよい。数多くのページを持った冊子をめくるという体感を残しつつ、冊子の構成を少なくすることができる。

また、冊子のように折り曲げる部分が固定されているものであれば、冊子を構成する複数の部品において、それぞれの部品は他の部品に対する稼働範囲を定義してもよい。これにより、現実物体の姿勢の変化を計測する軸が、例えば折り曲げる部分に固定され、変化の検出をより容易にすることができる。

〔変形例３〕
上記変形例１及び２を組み合わせてもよい。例えば、冊子をめくるときに、何度も繰り返しめくることなく、閲覧したい仮想情報を簡単に提示させることができる。

〔その他の実施形態〕
図８はコンピュータの構成例を示す図である。

本実施形態の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の情報処理の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体８０２、８０３である。そして、そのシステムあるいは装置のコンピュータ８０１（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (16)

1. 撮像装置で、現実空間中の現実物体である紙を撮像した撮像画像を入力する画像入力手段と、
   前記撮像装置の位置および姿勢を計測する第１の計測手段と、
   前記紙の姿勢を計測する第２の計測手段と、
   前記撮像装置の姿勢と前記紙の姿勢とに基づいて、前記紙の第１の面と、前記第１の面の裏の面である第２の面とのうち、前記撮像装置の方に向いている面を決定する決定手段と、
   前記決定された前記撮像装置の方に向いている面に応じて、複数の仮想情報のうち何れかを選択する選択手段と、
   前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成手段とを有することを特徴とする情報処理装置。
2. 撮像装置で、現実空間中の現実物体である平面物体を撮像した撮像画像を入力する画像入力手段と、
   前記撮像装置の位置および姿勢を計測する第１の計測手段と、
   前記平面物体の姿勢を計測する第２の計測手段と、
   前記撮像装置の姿勢と前記平面物体の姿勢とに基づいて、前記平面物体の第１の面と、前記第１の面の裏の面である第２の面とのうち、前記撮像装置の方に向いている面を決定する決定手段と、
   前記決定された前記撮像装置の方に向いている面に応じて、複数の仮想情報のうち何れかを選択する選択手段と、
   前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成手段とを有することを特徴とする情報処理装置。
3. 撮像装置で、現実空間中の現実物体である複数の紙が束ねられた冊子を撮像した撮像画像を入力する画像入力手段と、
   前記撮像装置の位置および姿勢を計測する第１の計測手段と、
   前記複数の紙の姿勢を計測する第２の計測手段と、
   前記撮像装置の姿勢と前記紙の姿勢に基づいて、前記複数の紙それぞれに対して、前記複数の紙それぞれの面のうち、第１の面と、前記第１の面の裏の面である第２の面とのうち、前記前記撮像装置の方に向いている紙を決定する決定手段と、
   前記複数の紙それぞれに対して、前記決定された前記撮像装置の方に向いている面に応じて、複数の仮想情報のうち何れかを選択する選択手段と、
   前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成手段とを有することを特徴とする情報処理装置。
4. 撮像装置で、現実空間中の現実物体を撮像した撮像画像を入力する画像入力手段と、
   前記撮像装置の位置および姿勢を計測する第１の計測手段と、
   前記現実物体の姿勢を計測する第２の計測手段と、
   前記撮像装置の姿勢と前記現実物体の姿勢とに基づいて、前記現実物体の複数の面のうち、前記前記撮像装置の方に向いている面を決定する決定手段と、
   前記決定された前記撮像装置の方に向いている面と現在選択されている仮想情報とに基づいて、予め並びが決められている複数の仮想情報のうち、前記現在選択されている仮想情報に対して、順方向または逆方向のいずれかの方向にある仮想情報を選択する選択手段と、
   前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成手段とを有することを特徴とする情報処理装置。
5. 前記現実物体を撮像する撮像手段
   を更に有し、
   前記画像入力手段が、前記撮像装置から前記撮像画像を入力することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記第１の計測手段は、画像認識を用いて計測することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記第２の計測手段および前記第２の計測手段は、画像認識を用いて計測することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記決定手段は、前記撮像装置の撮像の方向を示すベクトルと、前記現実物体の複数の面のうち、着目面の法線ベクトルとのなす角度に基づいて、前記撮像装置の方に向いている面を決定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記選択手段は、更に、前記複数の仮想情報のうち現在選択されている仮想情報に基づいて、前記複数の仮想情報のうち何れかを選択することを特徴とする請求項１乃至３または５乃至８の何れか１項に記載の情報処理装置。
10. 前記第２の計測手段が、前記現実物体の位置を計測し、
    前記合成手段が、前記撮像装置の位置および姿勢と前記現実物体の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記合成された合成画像を表示する表示手段と
    を更に有することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 撮像装置で、現実空間中の現実物体である紙を撮像した撮像画像を入力する画像入力工程と、
    前記撮像装置の位置および姿勢を計測する第１の計測工程と、
    前記紙の姿勢を計測する第２の計測工程と、
    前記撮像装置の姿勢と前記紙の姿勢とに基づいて、前記紙の第１の面と、前記第１の面の裏の面である第２の面とのうち、前記撮像装置の方に向いている面を決定する決定工程と、
    前記決定された前記撮像装置の方に向いている面に応じて、複数の仮想情報のうち何れかを選択する選択工程と、
    前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成工程とを有することを特徴とする情報処理方法。
13. 撮像装置で、現実空間中の現実物体である平面物体を撮像した撮像画像を入力する画像入力工程と、
    前記撮像装置の位置および姿勢を計測する第１の計測工程と、
    前記平面物体の姿勢を計測する第２の計測工程と、
    前記撮像装置の姿勢と前記平面物体の姿勢とに基づいて、前記平面物体の第１の面と、前記第１の面の裏の面である第２の面とのうち、前記撮像装置の方に向いている面を決定する決定工程と、
    前記決定された前記撮像装置の方に向いている面に応じて、複数の仮想情報のうち何れかを選択する選択工程と、
    前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成工程とを有することを特徴とする情報処理方法。
14. 撮像装置で、現実空間中の現実物体である複数の紙が束ねられた冊子を撮像した撮像画像を入力する画像入力工程と、
    前記撮像装置の位置および姿勢を計測する第１の計測工程と、
    前記複数の紙の姿勢を計測する第２の計測工程と、
    前記撮像装置の姿勢と前記紙の姿勢に基づいて、前記複数の紙それぞれに対して、前記複数の紙それぞれの面のうち、第１の面と、前記第１の面の裏の面である第２の面とのうち、前記前記撮像装置の方に向いている紙を決定する決定工程と、
    前記複数の紙それぞれに対して、前記決定された前記撮像装置の方に向いている面に応じて、複数の仮想情報のうち何れかを選択する選択工程と、
    前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成工程とを有することを特徴とする情報処理方法。
15. 撮像装置で、現実空間中の現実物体を撮像した撮像画像を入力する画像入力工程と、
    前記撮像装置の位置および姿勢を計測する第１の計測工程と、
    前記現実物体の姿勢を計測する第２の計測工程と、
    前記撮像装置の姿勢と前記現実物体の姿勢とに基づいて、前記現実物体の複数の面のうち、前記前記撮像装置の方に向いている面を決定する決定工程と、
    前記決定された前記撮像装置の方に向いている面と現在選択されている仮想情報とに基づいて、予め並びが決められている複数の仮想情報のうち、前記現在選択されている仮想情報に対して、順方向または逆方向のいずれかの方向にある仮想情報を選択する選択工程と、
    前記撮像装置の位置および姿勢に基づいて、前記撮像画像と前記選択された仮想情報とを合成した合成画像を生成する合成工程とを有することを特徴とする情報処理方法。
16. 請求項１２乃至１５の何れか１項に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。

Images