JP2010118002A - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP2010118002A JP2010118002A JP2008292585A JP2008292585A JP2010118002A JP 2010118002 A JP2010118002 A JP 2010118002A JP 2008292585 A JP2008292585 A JP 2008292585A JP 2008292585 A JP2008292585 A JP 2008292585A JP 2010118002 A JP2010118002 A JP 2010118002A
- Authority
- JP
- Japan
- Prior art keywords
- index
- image
- information
- orientation
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Studio Devices (AREA)
Abstract
【課題】現実空間に存在する表示装置の表示画面に表示されている指標を、現実空間に存在する指標として誤検出することを精度良く防止できるようにする。
【解決手段】指標検出部1040は、撮像装置1010から出力される撮像画像データから指標及びその画像座標を取得し、位置姿勢算出部1050は、その取得した画像座標と、uQknと、既知な情報として予め保持されている世界座標xW Qknとから撮像装置1010の位置及び姿勢を算出する。さらに、誤検出防止処理部1060は、前記算出した撮像装置1010の位置及び姿勢と、予め保持されている世界座標xW Qknとから指標候補領域を探索し、指標検出部1040において検出されなかった指標を検出して、その部分に図形又は小画像を重畳する。
【選択図】図1
【解決手段】指標検出部1040は、撮像装置1010から出力される撮像画像データから指標及びその画像座標を取得し、位置姿勢算出部1050は、その取得した画像座標と、uQknと、既知な情報として予め保持されている世界座標xW Qknとから撮像装置1010の位置及び姿勢を算出する。さらに、誤検出防止処理部1060は、前記算出した撮像装置1010の位置及び姿勢と、予め保持されている世界座標xW Qknとから指標候補領域を探索し、指標検出部1040において検出されなかった指標を検出して、その部分に図形又は小画像を重畳する。
【選択図】図1
Description
本発明は情報処理装置、情報処理方法、プログラム及び記憶媒体に関し、特に、画像中の指標の誤検出を防止するために用いて好適な技術に関する。
現実空間を撮像するカメラなどの撮像部(以下、カメラと称す)の位置及び姿勢(位置姿勢)を計測する技術は、例えば、現実空間と仮想空間とを融合して表示する複合現実感システムにおいて必要となる。このような従来技術としては、例えば、特許文献1、特許文献2及び非特許文献1において開示されている。具体的には、現実空間に配置した位置である既知のマーカを用いたり、または現実空間中の位置である既知の特徴点を用いたりして、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正している。以下、マーカ及び特徴点を合わせて指標と称す。
これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。
また、指標は同時に複数利用されることが多く、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める必要がある。その手段の1つとして、画像から検出した指標の座標と、指標の絶対位置として位置姿勢センサの計測値を基にして投影して得られる画像面上での指標の座標との間の関係を利用することが知られている。
このようなカメラの位置姿勢を推定する方法においては、ある特定の色の小さな円形のシート状の物体を指標とすることができる。この場合、指標が有する情報は、3次元位置(座標)及び色である。位置姿勢センサの計測値を利用して、指標の3次元位置をカメラの画像面へ投影し、一方で、その指標の色を画像から検出する色領域検出処理を行い、画像中における重心位置を計算する。そして、画像面上へ投影した3次元位置と、画像から計算した重心位置とを比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。
一方、例えば、非特許文献2及び3において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢を推定する方法も知られている。そして、これらの非特許文献2及び3においては、正方形の指標を利用して、正方形の4頂点の座標を基に、カメラの位置姿勢を推定している。
但し、正方形はその中心点(対角線の交点)を面に垂直に通る軸を回転軸として90°毎の回転対称形であることから、頂点の座標のみからは上下左右の判定を行うことができない。そのため、正方形の指標の内部に、上下左右の判定を行うための更なる画像特徴が設けられている。さらに、指標を複数利用する場合には、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要がある。このため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。
正方形マーカのように図形的な拡がりのある指標を利用する方法では、完全に画像のみから個々のマーカを識別する必要が生じる。このため、符号情報やテンプレートとなりうる記号情報などを指標に埋め込んでいる。図8は、記号情報などが埋め込まれた指標である具体的な正方形マーカの例を示す図である。
また、前述したような複合現実感の提示を行う画像表示装置は、カメラによって撮影された現実空間の画像に、カメラの位置及び姿勢に応じて生成した仮想空間の画像を重畳描画する。そして、観察者の頭部に装着されたディスプレイにその重畳描画した画像を表示するビデオシースルー方式が用いられる。なお、仮想空間としては、例えば、コンピュータ・グラフィックスにより描画された仮想物体や文字情報などがある。
さらに、観察者が観察している情景を第三者に提示するために、カメラによって撮影された現実空間の画像、またはその現実空間の画像に仮想空間の画像を重畳描画した画像を、情景中に配した表示装置に表示する場合もある。
以上説明したいずれの従来技術においても、原理上、カメラが撮影する現実空間の中に、指標以外のものであって指標と同じ色や図形のものが存在すると、それらを誤って指標と同定してしまうことがある。例えば、カメラによって撮影された現実空間の画像、またはその画像に仮想空間の画像を重畳描画した画像を表示する表示装置が情景中に配されている場合には、その表示画面がカメラによって撮影されてしまう状況が発生することがあった。したがって、情景中に配されている表示画面に表示されている指標を、誤って情景中の指標として検出してしまうという問題があった。
そこで、現実空間に存在する表示装置の表示画面に表示されている指標を現実空間に存在する指標として誤検出することを防止するために、様々な提案がなされている。例えば、検出された指標の画像領域に対して図形又は小画像を重畳表示する方法、または指標の世界座標の組とカメラの位置姿勢の情報とから推定される指標の位置に図形又は小画像を重畳表示する方法が特許文献3に開示されている。
しかしながら、特許文献3に記載されている方法では、必ずしも有効ではない状況が発生する。
例えば、検出された指標の画像領域に対して図形又は小画像を重畳表示する方法では、指標が検出できる場合は、表示装置に指標の誤認識防止のための重畳表示が行われる。ところが、カメラによって撮影された指標が照明環境など何らかの原因によって検出されなかった場合は、図形または小画像が重畳表示されない。このため、再度指標が検出できる環境下になった時に、表示装置に表示されている指標を誤って指標と検出してしまう問題がある。また、情景が薄暗いなどの理由によって撮像画像では指標として検出されなかった指標が、表示装置に表示された時に指標として検出してしまう問題がある。
さらに、指標の世界座標の組とカメラの位置姿勢の情報とから推定される指標の位置に図形又は小画像を重畳表示する方法では、現実物によって指標の一部又は全部が隠され、カメラに撮影されない状態になっても、指標の誤認識防止のための重畳表示が行われる。つまり、不要な重畳表示を行ってしまうことがある。また、何らかの原因によってカメラの位置姿勢が本来の値とずれてしまった時には、指標の存在する位置と異なる場所に指標の誤認識防止のための重畳表示が行われ、表示装置に表示されている指標を誤って指標と検出してしまう問題がある。
本発明は前述の問題点に鑑み、現実空間に存在する表示装置の表示画面に表示されている指標を、現実空間に存在する指標として誤検出することを精度良く防止できるようにすることを目的としている。
本発明の情報処理装置は、情景を撮影する撮像手段によって取得された画像データを入力する画像入力手段と、前記画像入力手段によって入力された画像データから前記情景に含まれる指標を検出する第1の検出手段と、前記情景に含まれる指標の世界座標の情報を記憶する記憶手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記第1の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第2の検出手段と、前記画像入力手段によって入力された画像データに含まれる前記第1の検出手段及び第2の検出手段によって検出された指標を修正した画像を生成する画像生成手段と、前記画像生成手段により生成された画像を表示手段に表示する表示制御手段とを備えることを特徴とする。
また、本発明の情報処理装置の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力手段と、前記画像入力手段によって入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出手段と、前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報とを記憶する記憶手段と、前記記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出手段と、前記画像入力手段によって入力された各画像データに含まれる前記第1の検出手段及び第2の検出手段によって検出された指標を修正した画像をそれぞれ生成する画像生成手段と、前記画像生成手段によって生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御手段とを備えることを特徴とする。
また、本発明の情報処理装置の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力手段と、前記画像入力手段によって入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出手段と、前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報とを記憶する記憶手段と、前記記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出手段と、前記画像入力手段によって入力された各画像データに含まれる前記第1の検出手段及び第2の検出手段によって検出された指標を修正した画像をそれぞれ生成する画像生成手段と、前記画像生成手段によって生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御手段とを備えることを特徴とする。
本発明の情報処理方法は、情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第1の検出工程と、記憶手段に記憶された指標の世界座標の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第2の検出工程と、前記画像入力工程において入力された画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像を生成する画像生成工程と、前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とを備えることを特徴とする。
また、本発明の情報処理方法の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とを備えることを特徴とする。
また、本発明の情報処理方法の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とを備えることを特徴とする。
本発明のプログラムは、情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第1の検出工程と、記憶手段に記憶された指標の世界座標の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第2の検出工程と、前記画像入力工程において入力された画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像を生成する画像生成工程と、前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とする。
本発明のプログラムの他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とする。
本発明のプログラムの他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とする。
本発明の記憶媒体は、前記の何れかに記載のプログラムを記憶したことを特徴とする。
本発明によれば、指標を直接検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
(第1の実施形態)
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
本実施形態に係る情報処理装置は、画像から検出された指標領域及び指標候補領域に図形又は小画像を局所的に重畳表示することによって指標の誤検出を防止する。なお、指標候補領域とは、撮像装置の位置及び姿勢を算出するために用いる指標としては扱わないものであるが、指標に特徴が近い領域のものを指す。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
本実施形態に係る情報処理装置は、画像から検出された指標領域及び指標候補領域に図形又は小画像を局所的に重畳表示することによって指標の誤検出を防止する。なお、指標候補領域とは、撮像装置の位置及び姿勢を算出するために用いる指標としては扱わないものであるが、指標に特徴が近い領域のものを指す。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
図1は、本実施形態における情報処理装置1000の構成例を示すブロック図である。
図1に示すように、本実施形態における情報処理装置1000は、画像入力部1020、データ記憶部1030、指標検出部1040、位置姿勢算出部1050、誤検出防止処理部1060、画像生成部1070、及び画像出力部1080を有している。また、情報処理装置1000は、撮像装置1010及び表示装置1090に接続されている。
図1に示すように、本実施形態における情報処理装置1000は、画像入力部1020、データ記憶部1030、指標検出部1040、位置姿勢算出部1050、誤検出防止処理部1060、画像生成部1070、及び画像出力部1080を有している。また、情報処理装置1000は、撮像装置1010及び表示装置1090に接続されている。
現実空間中の複数の位置には、撮像装置1010によって撮影するための指標として、複数個の指標Qk(k=1,2,,,KQ)が配置されている。なお、複数個の指標Qkは位置情報が既知のものである。位置情報では、現実空間の1点を原点として定義し、更に互いに直交する3軸を夫々X軸、Y軸、Z軸として定義した座標系(世界座標系)によって位置xW Qkが定義されている。
本実施形態においては、指標Qkは、撮像装置1010によって取得される撮像画像上において、少なくとも3個以上の指標が常に観測されるように設定されていることが望ましい。図1に示す例では、4個の指標Q1,Q2,Q3,Q4が設定されており、そのうちの3個の指標Q1,Q3,Q4が撮像装置1010の視野内に含まれている状況を示している。
なお、指標Qkは、例えば、それぞれが異なる色を有する円形状のマーカによって構成されてもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成されてもよい。また、ある程度の面積を有する四角形の単色領域によって形成されるような、四角形指標を用いてもよい。撮像画像上に投影された像の座標が検出可能であって、かついずれの指標であるかが何らかの方法で識別可能であるような指標であれば、何れの形態であってもよい。さらに、指標は、故意に設定されたものであってもよいし、故意に設定されたものではない、情景に元来存在する特徴であってもよい。
以下、本実施形態における情報処理装置1000の各構成について説明する。
撮像装置1010から出力される画像データ(以下、撮像画像データと呼ぶ)が、画像入力部1020に入力されると、画像入力部1020は、撮像画像データをデジタルデータに変換し、データ記憶部1030に保存する。
撮像装置1010から出力される画像データ(以下、撮像画像データと呼ぶ)が、画像入力部1020に入力されると、画像入力部1020は、撮像画像データをデジタルデータに変換し、データ記憶部1030に保存する。
指標検出部1040は第1の検出手段として機能し、データ記憶部1030より撮像画像データを読み出し、画像の中に含まれている主観視点による指標の画像座標を検出する。例えば、各々の指標が互いに異なる色のマーカによって構成されている場合には、画像上から各々のマーカ色に対応する領域を検出し、その重心位置を指標の画像座標とする。また、各々の指標が互いに異なるテクスチャを有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像を用いて画像上でテンプレートマッチングを行う。これにより、指標の位置を検出する。
また、四角形指標を用いる場合は、画像データに2値化処理を施した後にラベリングを行い、4つの直線によって形成されている領域を指標候補領域として検出する。さらに、指標候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を防止して、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本実施形態では、4つの頂点の個々によって形成される4つの指標であるものとする。
指標検出部1040は、さらに、検出された指標の画像座標とその指標の識別子との情報をデータ記憶部1030へ出力する。以下、撮像画像上で検出された指標を、検出された各々の指標に付けられた識別子n(n=1,2,,,N)を用いて、Qknと表記する。ここで、Nは撮像画像上で検出された指標の数を表している。また、検出された指標Qknの画像座標をuQknと表記する。例えば、図1に示す例の場合には、N=3であり、指標の識別子k1=1,k2=3,k3=4と、これらに対応する画像座標uQk1,uQk2,uQk3との情報が指標検出部1040から出力される。
位置姿勢算出部1050は、指標検出部1040によって検出された各々の指標の画像座標uQknと、既知な情報として予め保持されている世界座標xW Qknとの情報をデータ記憶部1030から読み出す。そして、これらの情報に基づいて、撮像装置1010の位置及び姿勢を算出する。算出した位置及び姿勢の情報は、例えば、位置を表す3次元ベクトルxW Cと、姿勢を表す3×3行列RWCとの組合せの情報としてデータ記憶部1030に出力される。
なお、指標の世界座標と画像座標との組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において提案されている(例えば、非特許文献4及び非特許文献5参照)。したがって、その詳細な説明は省略する。
誤検出防止処理部1060は、表示装置1090が撮像装置1010によって撮影されるときに、指標検出部1040によって検出された撮影画像の指標の位置に、図形又は小画像を局所的に重畳する。これは、表示装置1090に表示された指標(例えば、図1に示すQ1',Q3',Q4')が指標検出部1040で検出されることを防止するために行うものである。
さらに、誤検出防止処理部1060は第2の検出手段として機能し、指標検出部1040によって検出されなかった指標に関して、指標候補領域が存在するか否か領域探索を行う。そして、指標候補領域が存在する場合は、指標候補領域に図形または小画像を局所的に重畳する。ここで、小画像とは、撮影画像よりも小さなサイズの画像のことを指すものとする。また、重畳する画像は3次元仮想物体などのほかの図形でも構わない。
画像生成部1070は、表示装置1090に表示するための表示画像データを生成する。画像出力部1080は表示制御手段として機能し、画像生成部1070で生成された表示画像データを表示装置1090に出力するためのデータに変換して、表示装置1090へ出力する。
データ記憶部1030は、画像入力部1020から出力される撮影画像データ、指標検出部1040から出力される各々の指標の画像座標及び識別子の情報を記憶する。また、既知の情報としての指標Qkの世界座標xW Qkの情報、及び撮像装置1010のカメラパラメータ等のデータも記憶する。そして、必要に応じてこれらのデータを出力する。
なお、図1に示した画像入力部1020、データ記憶部1030、指標検出部1040、位置姿勢算出部1050、誤検出防止処理部1060、画像生成部1070、及び画像出力部1080の夫々の構成については、独立した装置として扱ってもよい。また、夫々ソフトウェアとして1つもしくは複数のコンピュータにインストールし、夫々のコンピュータのCPUにより実行することにより、その機能を実現するようにしてもよい。本実施形態では、画像入力部1020、データ記憶部1030、指標検出部1040、位置姿勢算出部1050、誤検出防止処理部1060、画像生成部1070、及び画像出力部1080の各部を1台のコンピュータ内で実行対象となるソフトウェアとして扱う。
図2は、図1における画像入力部1020〜画像出力部1080の夫々をソフトウェアとして実行する情報処理装置1000の基本構成例を示す図である。
図2において、2001はCPUであり、RAM2002やROM2003に格納されたプログラムやデータを用いて情報処理装置1000全体の制御を行う。さらに、画像入力部1020、データ記憶部1030、指標検出部1040、位置姿勢算出部1050、誤検出防止処理部1060、画像生成部1070、及び画像出力部1080の夫々のソフトウェアの実行を制御して、各部の機能を実現する。
図2において、2001はCPUであり、RAM2002やROM2003に格納されたプログラムやデータを用いて情報処理装置1000全体の制御を行う。さらに、画像入力部1020、データ記憶部1030、指標検出部1040、位置姿勢算出部1050、誤検出防止処理部1060、画像生成部1070、及び画像出力部1080の夫々のソフトウェアの実行を制御して、各部の機能を実現する。
2002はRAMであり、外部記憶装置2007や記憶媒体ドライブ2008から読み出されたプログラムやデータを一時的に記憶するエリアを備えるとともに、CPU2001が各種の処理を行うために必要とするワークエリアを備える。本実施形態では、データ記憶部1030の機能は、RAM2002によって実現される。
2003はROMであり、情報処理装置1000の記憶プログラムや設定データなどが格納されている。2004はキーボードであり、2005はマウスである。操作者は、キーボード2004及びマウス2005を用いて、各種の指示をCPU2001に入力することができる。
2006は表示部であり、CRTや液晶画面などにより構成されている。例えば、撮像装置1010の位置姿勢計測のために表示すべきメッセージ等を表示することができる。
2007は外部記憶装置であり、ハードディスクなどの大容量情報記憶装置として機能する装置である。外部記憶装置2007は、OS(オペレーティングシステム)やソフトウェアのプログラム等を保存している。また、本実施形態において、その他の必要な情報が外部記憶装置2007に保存されており、必要に応じてRAM2002に読み出される。
2008は記憶媒体ドライブであり、CD−ROMやDVD−ROMなどの記憶媒体に記憶されているプログラムやデータをCPU2001からの指示に従って読み出して、RAM2002や外部記憶装置2007に出力する。
2009はI/Fであり、撮像装置1010を接続するためのアナログビデオポート、IEEE1394等のデジタル入出力ポート、識別した指標に関わる情報を外部へ出力するためのイーサネット(登録商標)ポート等によって構成されている。入力したデータはI/F2009を介してRAM2002に取り込まれる。なお、画像入力部1020の機能の一部は、I/F2009によって実現される。2010は図2に示した各構成を繋ぐバスである。
図3は、本実施形態において、表示装置1090に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。なお、図3に示す各処理は、CPU2001が誤検出防止処理部1060のソフトウェアのプログラムを実行することにより行われる。なお、以下の処理を行う前段として、図3のフローチャートに従ったプログラムコードは、RAM2002に既にロードされているものとする。図3では、誤検出防止処理部1060により、表示装置1090に表示する表示画像における指標部分及び指標候補領域に対して図形または小画像を重畳する処理手順について説明する。
まず、ステップS3010において、誤検出防止処理部1060は、位置姿勢算出部1050により算出した撮像装置1010の位置及び姿勢の情報をデータ記憶部1030から読み出す。さらに、既知な情報として予め保持されている指標Qk及びその世界座標xW Qkの情報と、指標検出部1040において検出された指標Qkn及びその画像座標uQknの情報とをデータ記憶部1030から読み出す。
次に、ステップS3020において、誤検出防止処理部1060は、初期設定としてk=1と定める。そして、ステップS3030において、誤検出防止処理部1060は、指標Qknの中に指標Qkが存在するか、つまり指標Qkが検出されているか否かを判定する。この判定の結果、指標Qkが検出されている場合は、ステップS3040へ進み、指標Qkが検出されていない場合は、ステップS3050へ進む。
ステップS3040においては、誤検出防止処理部1060は、指標検出部1040により指標検出処理を行った撮像画像上の画像座標uQknの位置に、図形又は小画像を局所的に重畳する。そして、ステップS3090へ進む。
例えば、各々の指標が異なる色を有するマーカによって構成されている場合には、マーカ色として登録されていない色の図形(例えば、円)を画像座標uQknの位置に重畳してマーカを覆い隠す。また、各々の指標が異なるテクスチャを有する特徴点によって構成されている場合には、テクスチャの一部を覆い隠すように、図形又は小画像を重畳する。また、四角形指標を用いるような場合は、四角形指標として認識されなくなるように、図形又は小画像を重畳する。
図4は、四角形指標の指標領域400中の特定パターンの一部を覆い隠すように四角形410を重畳表示した場合の一例を示す図である。図4に示す例では、四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠している。
一方、ステップS3050においては、誤検出防止処理部1060は、撮像装置1010の位置及び姿勢に基づいて、指標Qkの世界座標xW Qkを透視投影変換して指標の探索領域を定める。なお、探索領域としては、例えば指標の推定位置を中心として予め定めておいた領域の大きさや形状(矩形・円形等)を探索領域としてもよい。また、探索領域の大きさを、指標Qkの世界座標xW Qkを透視投影変換した結果から推定される撮像装置1010から撮影される指標の大きさにある一定量を増加した大きさとして、指標の推定位置情報に基づいて探索領域を定めてもよい。さらに、その他の何れの手法を用いて指標の探索領域を求めてもよい。
次に、ステップS3060において、誤検出防止処理部1060は、ステップS3050の処理において定めた探索領域内において指標候補領域を探索する。指標候補領域の探索については、例えば、四角形指標の場合、探索領域内のエッジを抽出して三方以上がエッジに囲まれている領域を指標候補領域とする等の方法によって探索を行う。
そして、ステップS3070において、誤検出防止処理部1060は、ステップS3060の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップS3080へ進み、指標候補領域が存在しなかった場合は、ステップS3090へ進む。
次に、ステップS3080において、誤検出防止処理部1060は、ステップS3060において探索された指標候補領域に、図形又は小画像を局所的に重畳する。
図5は、四角形指標の指標候補領域の特定パターンを覆い隠すように図形を重畳表示した場合の一例を示す図である。
図5(a)において、四角形指標の指標候補領域500は、現実物510によって指標の一部が隠されているため指標候補領域として扱う。そして、四角形520を重畳することにより四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠して修正する。また、図5(b)において、四角形指標の指標候補領域530は、撮影画像に四角形指標の一部しか映っていないため、指標候補領域として扱う。そして、四角形540を重畳することにより四角形指標の内部に設けられた上下左右の判別を行う為の画像特徴を覆い隠して修正する。
図5(a)において、四角形指標の指標候補領域500は、現実物510によって指標の一部が隠されているため指標候補領域として扱う。そして、四角形520を重畳することにより四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠して修正する。また、図5(b)において、四角形指標の指標候補領域530は、撮影画像に四角形指標の一部しか映っていないため、指標候補領域として扱う。そして、四角形540を重畳することにより四角形指標の内部に設けられた上下左右の判別を行う為の画像特徴を覆い隠して修正する。
次に、ステップS3090において、誤検出防止処理部1060は、kの数値を1増加する。そして、ステップS3100において、誤検出防止処理部1060は、kがKQ以下であるか否か判定する。この判定の結果、kがKQ以下である場合は、ステップS3030に戻り、kがKQよりも大きい場合は、ステップS3110に進む。
そして、ステップS3110において、誤検出防止処理部1060は、撮像画像に図形又は小画像を重畳した画像のデータをデータ記憶部1030に出力する。図形又は小画像が局所的に重畳された画像は、データとして画像生成部1070及び画像出力部1080を介して、表示装置1090において表示される。
以上の処理により、指標領域及び指標候補領域に対して図形又は小画像を局所的に重畳した画像が表示装置1090に表示されるため、表示画像が撮像装置1010により撮影されたとしても、表示画像上に表示された指標が指標として検出されない。なお、本実施形態において、撮像装置1010に位置姿勢センサを装着することにより撮像装置1010の位置及び姿勢を計測してもよい。この場合には、画像情報を用いる場合と比較して、撮像装置1010の位置及び姿勢を安定的に推定することができる。
また、本実施形態において、撮像装置1010に慣性センサを装着して、例えば非特許文献6に開示されている手法によって、撮像装置1010の位置及び姿勢を算出してもよい。この場合、撮像装置1010によって取得される撮像画像上において、少なくとも2個以上の指標が常に観測されるように設定されていればよい。そして、この場合においても、画像情報のみを用いる場合と比較して、撮像装置1010の位置及び姿勢を安定的に推定することができる。
以上のように本実施形態によれば、指標の世界座標と、検出された指標の画像上における画像座標とに基づいて、撮像装置の位置及び姿勢を算出する。また、このように算出した撮像装置の位置及び姿勢に基づいて、検出できなかった指標を指標候補領域として検出し、図形又は小画像を重畳表示するようにした。これにより、指標を直接検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
(第2の実施形態)
第1の実施形態では、撮像装置及び表示装置が1台であったが、撮像装置同士の相対位置及び姿勢の関係が既知である場合には、撮像装置が複数台であっても、表示装置が複数台の構成であってもよい。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
第1の実施形態では、撮像装置及び表示装置が1台であったが、撮像装置同士の相対位置及び姿勢の関係が既知である場合には、撮像装置が複数台であっても、表示装置が複数台の構成であってもよい。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
図6は、本実施形態に係る情報処理装置6000の構成例を示すブロック図である。なお、図1と同じ構成については同じ番号、記号を付しているため、その説明は省略する。
図6に示すように、本実施形態における情報処理装置6000は、画像入力部6020、データ記憶部1030、指標検出部1040、位置姿勢算出部6030、誤検出防止処理部6040、画像生成部6050、及び画像出力部6060を有している。また、情報処理装置6000は、第1の撮像装置6010、第2の撮像装置6011、第1の表示装置6070、第2の表示装置6071に接続されている。なお、第1の撮像装置6010は図1の撮像装置1010と同一であり、第1の表示装置6070は図1の表示装置1090と同一であるため、説明は省略する。
図6に示すように、本実施形態における情報処理装置6000は、画像入力部6020、データ記憶部1030、指標検出部1040、位置姿勢算出部6030、誤検出防止処理部6040、画像生成部6050、及び画像出力部6060を有している。また、情報処理装置6000は、第1の撮像装置6010、第2の撮像装置6011、第1の表示装置6070、第2の表示装置6071に接続されている。なお、第1の撮像装置6010は図1の撮像装置1010と同一であり、第1の表示装置6070は図1の表示装置1090と同一であるため、説明は省略する。
現実空間中の複数の位置には、第1の撮像装置6010によって撮影するための指標として、複数個の指標Qk(k=1,2,,,KQ)が配置されている。なお、複数個の指標Qkは位置情報が既知のものであり、世界座標系によって位置xW Qkが定義されている。
本実施形態においては、指標Qkは、第1の撮像装置6010によって取得される撮像画像上において、少なくとも3個以上の指標が常に観測されるように設定されていることが望ましい。図6に示す例では、4個の指標Q1,Q2,Q3,Q4が設定されており、そのうちの3個の指標Q1,Q3,Q4が撮像装置1010の視野内に含まれている状況を示している。
以下、本実施形態における情報処理装置6000の各構成について説明する。
第1の撮像装置6010及び第2の撮像装置6011から出力される撮影画像データが、画像入力部6020に入力されると、画像入力部6020は、撮像画像データをデジタルデータに変換し、データ記憶部1030に保存する。
第1の撮像装置6010及び第2の撮像装置6011から出力される撮影画像データが、画像入力部6020に入力されると、画像入力部6020は、撮像画像データをデジタルデータに変換し、データ記憶部1030に保存する。
位置姿勢算出部6030は、指標検出部1040によって検出された各々の指標の画像座標uQknと、既知な情報として予め保持されている世界座標xW Qknとの情報をデータ記憶部1030から読み出す。そして、これらの情報に基づいて、第1の撮像装置6010の位置及び姿勢を算出する。
さらに、第1の撮像装置6010と第2の撮像装置6011との相対的な位置及び姿勢の情報をデータ記憶部1030から読み出し、これらの情報に基づいて、第2の撮像装置6011の相対的な位置及び姿勢を算出する。算出した位置及び姿勢の情報は、例えば、位置を表す3次元ベクトルxW Cと姿勢を表す3×3行列RWCとの組合せの情報としてデータ記憶部1030に出力される。
誤検出防止処理部6040は、第1の表示装置6070及び第2の表示装置6071が第1の撮像装置6010及び第2の撮像装置6011によって撮影されるときに、指標検出部1040によって検出された指標の位置に図形又は小画像を局所的に重畳する。これは、第1の表示装置6070に表示された指標(例えば、図6のQ1',Q3',Q4')及び第2の表示装置6071に表示される指標(例えば、図6のQ1",Q3",Q4")が指標検出部1040で検出されることを防止するために行うものである。
さらに、誤検出防止処理部6040は、さらに、第1の撮像装置6010から出力された撮影画像に対しては、指標検出部1040によって検出されなかった指標に関して、指標候補領域が存在するか否か領域探索を行う。また、第2の撮像装置6011から出力された撮影画像に対しては、全ての指標に関して、指標候補領域が存在するか否か領域探索を行う。そして、指標候補領域が存在する場合は、指標候補領域に図形または小画像を局所的に重畳する。ここで、小画像とは、撮影画像よりも小さなサイズの画像のことを指すものとする。また、重畳する画像は3次元仮想物体などのほかの図形でも構わない。
画像生成部6050は、第1の表示装置6070及び第2の表示装置6071に表示するための表示画像データを生成する。画像出力部6060は、画像生成部6050で生成された表示画像データを第1の表示装置6070または第2の表示装置6071に出力するためのデータに変換し、第1の表示装置6070または第2の表示装置6071へ出力する。
なお、図6に示した画像入力部6020、データ記憶部1030、指標検出部1040、位置姿勢算出部6030、誤検出防止処理部6040、画像生成部6050、及び画像出力部6060の夫々の構成については、独立した装置として扱ってもよい。また、夫々ソフトウェアとして1つもしくは複数のコンピュータにインストールし、夫々のコンピュータのCPUにより実行することにより、その機能を実現するようにしてもよい。本実施形態では、画像入力部6020、データ記憶部1030、指標検出部1040、位置姿勢算出部6030、誤検出防止処理部6040、画像生成部6050、及び画像出力部6060の各部を1台のコンピュータ内で実行対象となるソフトウェアとして扱う。また、このコンピュータのハード構成は図2に示した構成と同様であるため、説明は省略する。
図7は、本実施形態において、第1の表示装置6070及び第2の表示装置6071に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。なお、図7に示す各処理は、CPU2001が誤検出防止処理部6040のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、図7のフローチャートに従ったプログラムコードは、RAM2002に既にロードされているものとする。
まず、ステップS7010において、誤検出防止処理部6040は、位置姿勢算出部6030により算出した第1の撮像装置6010の位置及び姿勢と第2の撮像装置6011の位置及び姿勢との情報をデータ記憶部1030から読み出す。さらに、既知な情報として予め保持されている指標Qk及びその世界座標xW Qkの情報と、指標検出部1040において検出された指標Qkn及びその画像座標uQknの情報とをデータ記憶部1030から読み出す。
次に、ステップS7020において、誤検出防止処理部6040は、初期設定としてk=1と定める。そして、ステップS7030において、誤検出防止処理部6040は、指標Qknの中に指標Qkが存在するか、つまり指標Qkが検出されているか否かを判定する。この判定の結果、指標Qkが検出されている場合は、ステップS7040へ進み、指標Qkが検出されていない場合は、ステップS7050へ進む。
ステップS7040においては、誤検出防止処理部6040は、指標検出部1040により指標検出処理を行った第1の撮像装置6010の撮像画像上の画像座標uQknの位置に、図形又は小画像を局所的に重畳する。そして、ステップS7090へ進む。
一方、ステップS7050においては、誤検出防止処理部6040は、第1の撮像装置6010の位置及び姿勢に基づいて、指標Qkの世界座標xW Qkを透視投影変換して第1の撮像装置6010の撮影画像における指標の探索領域を定める。そして、ステップS7060において、誤検出防止処理部6040は、ステップS7050の処理において定めた探索領域内において指標候補領域を探索する。
次に、ステップS7070において、誤検出防止処理部6040は、ステップS7060の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップS7080へ進み、指標候補領域が存在しなかった場合は、ステップS7090へ進む。
次に、ステップS7080において、誤検出防止処理部6040は、ステップS7060において探索された指標候補領域に、図形又は小画像を局所的に重畳する。そして、ステップS7090において、誤検出防止処理部6040は、kの数値を1増加する。
そして、ステップS7100において、誤検出防止処理部6040は、kがKQ以下であるか否かを判定する。この判定の結果、kがKQ以下である場合は、ステップS7030に戻り、kがKQよりも大きい場合は、ステップS7110へ進む。そして、ステップS7110において、誤検出防止処理部6040は、初期設定として再度k=1と定める。
次に、ステップS7120において、誤検出防止処理部6040は、第2の撮像装置6011の位置及び姿勢に基づいて、指標Qkの世界座標xW Qkを透視投影変換して第2の撮像装置6011の撮影画像における指標の探索領域を定める。そして、ステップS7130において、誤検出防止処理部6040は、ステップS7120の処理において定めた探索領域内において指標候補領域を探索する。
次に、ステップS7140において、誤検出防止処理部6040は、ステップS7130の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップS7150へ進み、指標候補領域が存在しなかった場合は、ステップS7160へ進む。
次に、ステップS7150において、誤検出防止処理部6040は、ステップS7130の処理において探索された指標候補領域に、図形又は小画像を局所的に重畳する。そして、ステップS7160において、誤検出防止処理部6040は、kの数値を1増加する。
次に、ステップS7170において、誤検出防止処理部6040は、kがKQ以下であるか否かを判定する。この判定の結果、kがKQ以下である場合は、ステップS7120に戻り、kがKQよりも大きい場合は、ステップS7180へ進む。
そして、ステップS7180において、誤検出防止処理部6040は、第1の撮像装置6010から出力された撮像画像及び第2の撮像装置6011から出力された撮像画像に図形又は小画像を重畳した画像のデータをデータ記憶部1030に出力する。図形又は小画像が局所的に重畳された画像は、画像生成部1070及び画像出力部1080を介して、それぞれ第1の表示装置6070及び第2の表示装置6071において表示される。このとき、第1の撮像装置6010において撮影された撮像画像に対応する画像データは、第1の表示装置6070に表示され、第2の撮像装置6011において撮影された撮像画像に対応する画像データは、第2の表示装置6071に表示される。
以上の処理により、指標領域及び指標候補領域に対して図形又は小画像を局所的に重畳した画像が表示されるため、表示画像が第1の撮像装置6010により撮影されたとしても、表示画像上の指標及び指標候補領域が現実空間上の指標として検出されない。
以上のように本実施形態によれば、撮像装置や表示装置が複数台接続されている場合であっても、第1の実施形態と同様に、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。つまり、指標を検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
(本発明に係る他の実施形態)
前述した第1及び第2の実施形態は、ビデオシースルー方式ヘッドマウントディスプレイを用いた複合現実感を提示するシステムにも適用することもできる。この場合、例えば、ヘッドマウントディスプレイの撮影部が、例えば、図1に示す撮像装置1010に相当する。そして、指標を用いてヘッドマウントディスプレイの位置及び姿勢を求め、求められた位置及び姿勢に応じた仮想画像を生成し、仮想画像を撮影部で撮影された撮影画像に合成する。これにより、ユーザに複合現実感を提示することができる。
前述した第1及び第2の実施形態は、ビデオシースルー方式ヘッドマウントディスプレイを用いた複合現実感を提示するシステムにも適用することもできる。この場合、例えば、ヘッドマウントディスプレイの撮影部が、例えば、図1に示す撮像装置1010に相当する。そして、指標を用いてヘッドマウントディスプレイの位置及び姿勢を求め、求められた位置及び姿勢に応じた仮想画像を生成し、仮想画像を撮影部で撮影された撮影画像に合成する。これにより、ユーザに複合現実感を提示することができる。
さらに、ヘッドマウントディスプレイに表示されている画像に相当する画像を、例えば図1に示すような表示装置1090に表示することにより、複合現実感を体験しているユーザ以外の観客に対しても、ユーザが体験している状況を提示することができる。さらには、このようなシステムにおいて、表示画像に表示されている指標を現実空間に存在する指標として誤検出することにより複合現実感の精度が低下することを防ぐことができる。
前述した本発明の実施形態における情報処理装置を構成する各手段、並びに情報処理方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図3、図7に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
1000 情報処理装置
1010 撮像装置
1020 画像入力部
1030 データ記憶部
1040 指標検出部
1050 位置姿勢算出部
1060 誤検出防止処理部
1070 画像生成部
1080 画像出力部
1090 表示装置
2001 CPU
2002 RAM
2003 ROM
2004 キーボード
2005 マウス
2006 表示部
2007 外部記憶装置
2008 記憶媒体ドライブ
2009 I/F
2010 バス
1010 撮像装置
1020 画像入力部
1030 データ記憶部
1040 指標検出部
1050 位置姿勢算出部
1060 誤検出防止処理部
1070 画像生成部
1080 画像出力部
1090 表示装置
2001 CPU
2002 RAM
2003 ROM
2004 キーボード
2005 マウス
2006 表示部
2007 外部記憶装置
2008 記憶媒体ドライブ
2009 I/F
2010 バス
Claims (11)
- 情景を撮影する撮像手段によって取得された画像データを入力する画像入力手段と、
前記画像入力手段によって入力された画像データから前記情景に含まれる指標を検出する第1の検出手段と、
前記情景に含まれる指標の世界座標の情報を記憶する記憶手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記第1の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第2の検出手段と、
前記画像入力手段によって入力された画像データに含まれる前記第1の検出手段及び第2の検出手段によって検出された指標を修正した画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を表示手段に表示する表示制御手段とを備えることを特徴とする情報処理装置。 - 情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力手段と、
前記画像入力手段によって入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出手段と、
前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報とを記憶する記憶手段と、
前記記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出手段と、
前記画像入力手段によって入力された各画像データに含まれる前記第1の検出手段及び第2の検出手段によって検出された指標を修正した画像をそれぞれ生成する画像生成手段と、
前記画像生成手段によって生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御手段とを備えることを特徴とする情報処理装置。 - 前記第2の検出手段は、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢に基づいて指標の探索領域を設定し、前記設定した探索領域において前記情景に含まれる指標を検出することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記画像生成手段は、前記指標が四角形指標である場合は、前記四角形指標の内部の特徴を修正した画像を生成することを特徴とする請求項1〜3の何れか1項に記載の情報処理装置。
- 情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第1の検出工程と、
記憶手段に記憶された指標の世界座標の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第2の検出工程と、
前記画像入力工程において入力された画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像を生成する画像生成工程と、
前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とを備えることを特徴とする情報処理方法。 - 情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、
前記画像入力工程において入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出工程と、
記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出工程と、
前記画像入力工程において入力された各画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、
前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とを備えることを特徴とする情報処理方法。 - 前記第2の検出工程においては、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢に基づいて指標の探索領域を設定し、前記設定した探索領域において前記情景に含まれる指標を検出することを特徴とする請求項5又は6に記載の情報処理方法。
- 前記画像生成工程においては、前記指標が四角形指標である場合は、前記四角形指標の内部の特徴を修正した画像を生成することを特徴とする請求項5〜7の何れか1項に記載の情報処理方法。
- 情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第1の検出工程と、
記憶手段に記憶された指標の世界座標の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第2の検出工程と、
前記画像入力工程において入力された画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像を生成する画像生成工程と、
前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。 - 情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、
前記画像入力工程において入力された複数の画像データの中の1つから前記情景に含まれる指標を検出する第1の検出工程と、
記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第1の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第1の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第2の検出工程と、
前記画像入力工程において入力された各画像データに含まれる前記第1の検出工程及び第2の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、
前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。 - 請求項9又は10に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292585A JP2010118002A (ja) | 2008-11-14 | 2008-11-14 | 情報処理装置及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292585A JP2010118002A (ja) | 2008-11-14 | 2008-11-14 | 情報処理装置及び情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010118002A true JP2010118002A (ja) | 2010-05-27 |
Family
ID=42305625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008292585A Pending JP2010118002A (ja) | 2008-11-14 | 2008-11-14 | 情報処理装置及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010118002A (ja) |
-
2008
- 2008-11-14 JP JP2008292585A patent/JP2010118002A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10140723B2 (en) | Information processing apparatus and method | |
US9325969B2 (en) | Image capture environment calibration method and information processing apparatus | |
US7529387B2 (en) | Placement information estimating method and information processing device | |
JP4926817B2 (ja) | 指標配置情報計測装置および方法 | |
US7519218B2 (en) | Marker detection method and apparatus, and position and orientation estimation method | |
JP4739004B2 (ja) | 情報処理装置及び情報処理方法 | |
EP1739622B1 (en) | Image feature identification with two cameras | |
JP5196825B2 (ja) | 画像処理装置、画像処理方法 | |
JP2008070267A (ja) | 位置姿勢計測方法及び装置 | |
JP4502361B2 (ja) | 指標姿勢検出方法および装置 | |
JP4282067B2 (ja) | 指標識別方法および装置 | |
JP2006293485A (ja) | 指標表示方法及び画像表示装置 | |
JP2010118002A (ja) | 情報処理装置及び情報処理方法 | |
JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
JP4497880B2 (ja) | 指標識別方法および装置 | |
JP5127165B2 (ja) | 情報処理方法および装置 | |
JP2014215821A (ja) | 情報処理装置、情報処理方法及びプログラム |