JP2008070267A - 位置姿勢計測方法及び装置 - Google Patents

位置姿勢計測方法及び装置 Download PDF

Info

Publication number
JP2008070267A
JP2008070267A JP2006249962A JP2006249962A JP2008070267A JP 2008070267 A JP2008070267 A JP 2008070267A JP 2006249962 A JP2006249962 A JP 2006249962A JP 2006249962 A JP2006249962 A JP 2006249962A JP 2008070267 A JP2008070267 A JP 2008070267A
Authority
JP
Japan
Prior art keywords
image
orientation
imaging device
index
subjective viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006249962A
Other languages
English (en)
Other versions
JP5036260B2 (ja
JP2008070267A5 (ja
Inventor
Takaaki Endo
隆明 遠藤
Kiyohide Sato
清秀 佐藤
Shinji Uchiyama
晋二 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006249962A priority Critical patent/JP5036260B2/ja
Priority to US11/854,121 priority patent/US8019114B2/en
Priority to EP07116329.9A priority patent/EP1901029B1/en
Publication of JP2008070267A publication Critical patent/JP2008070267A/ja
Publication of JP2008070267A5 publication Critical patent/JP2008070267A5/ja
Application granted granted Critical
Publication of JP5036260B2 publication Critical patent/JP5036260B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 現実空間中の指標を用いて撮像装置の位置及び姿勢を算出する際の精度及び／又は安定性を向上させる。
【解決手段】 主観視点カメラ１６０の撮像画像から現実空間中の指標を
検出する主観視点指標検出部１３０と、主観視点カメラ１６０と空間分解
能の異なる追加主観視点カメラ１７０の撮像画像から現実空間中の指標を
検出する追加主観視点指標検出部１４０と、検出された指標の画像座標に
関する情報を用いて主観視点カメラ１６０の位置及び姿勢を算出する位置
姿勢推定部１５０とを有する。
【選択図】 図１

Description

本発明は、物体の位置及び姿勢、特に撮像装置の位置及び姿勢を計測する方法及び装置に関するものである。
現実空間を撮像するカメラなどの撮像部（以下、適宜、カメラと言い換える）の位置及び姿勢の計測は、例えば、現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。
［従来技術１］
特許文献１乃至２及び非特許文献１には、位置姿勢センサを用いてカメラの位置姿勢を計測する手法が開示されている。また、これら従来技術には、現実空間中の配置位置が既知のマーカ、又は現実空間中の位置が既知の特徴点（以下、マーカと特徴点をまとめて指標という）を用い、位置姿勢センサの計測誤差を補正する手法についても開示している。
［従来技術２］
一方で、非特許文献２乃至３において開示されているように、位置姿勢センサを用いず、カメラで撮像したマーカの情報からカメラの位置姿勢を推定する方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として９０°毎の回転対称形であることから、頂点の座標からだけでは方向性（上下左右）の判定を行うことができない。そのため、正方形の指標内部に、指標を撮像した画像から上下左右を判定するための、方向性を有する図形等が描画されている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標内部には指標毎に異なる固有のパターンや符号などの図形情報も描画されている。
［従来技術３］
また、特許文献３において開示されているように、ステレオカメラで指標を撮像することで、カメラを１台だけ使う場合と比べて検出される指標の総数を増やして、カメラの位置姿勢推定の精度や安定性を向上させる方法も知られている。特許文献３においては、ステレオカメラを構成する夫々のカメラは同一の解像度及び画角となっている。また、夫々のカメラの光軸の向きはほぼ同一となっている。
［従来技術４］
画角の異なる複数のカメラを利用したシステムにおいて、カメラの位置姿勢を推定する方法が、特許文献５において開示されている。特許文献５においては、一方の画角のカメラが位置姿勢の推定に利用され、他方の画角のカメラは外界の映像の撮像に利用されている。そして、頭部搭載型の表示装置に、夫々の画角のカメラで撮像された映像を合成して表示している。
［従来技術５］
一方、非特許文献７においては、近距離用と遠距離用の２種類の２眼ステレオカメラによる計測結果を相互に補完して、被写体の３次元計測を行う装置が開示されている。非特許文献７の装置では、近距離用と遠距離用に対応して基線長と焦点距離が選ばれており、近距離の対象物と遠距離の対象物を同時に計測することができるようになっている。
特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 特開２００４−２３３３３４号公報 特登録３４６７０１７号公報 特開２００４−２０５７１１号公報 A.State,G.Hirota,D.T.Chen, B.Garrett,and M.Livingston:Superior augmented reality registration by integrating landmark tracking and magnetic tracking,Proc.SIGGRAPH '96,pp.429-438,July 1996. 加藤，Billinghurst,浅野,橘:マーカー追跡に基づく拡張現実感システムとそのキャリブレーション,日本バーチャルリアリティ学会論文誌,vol.4,no.4,pp.607-616,Dec.1999. X.Zhang,S.Fronz,N.Navab:Visualmarker detection and decoding in AR systems:A comparative study,Proc.of International Symposium on Mixed and Augmented Reality(ISMAR'02),2002. R.M.Haralick,C.Lee,K.Ottenberg,and M.Nolle:Review and analysis of solutions of the three point perspective pose estimation problem,International Journal of Computer Vision,vol.13,no.3,pp.331-356,1994. D.G.Lowe:Fitting parameterizedthree-dimensional models to images,IEEE Transactions on PAMI,vol.13,no.5,pp.441-450,1991. 藤井博文，神原誠之，岩佐英彦，竹村治雄，横矢直和，拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ，電子情報通信学会技術研究報告ＰＲＭＵ９９−１９２（信学技報ｖｏｌ．９９，ｎｏ．５７４，ｐｐ．１−８） 桑島茂純：２Ｗａｙステレオシステム miniBEE,日本バーチャルリアリティ学会学会誌,vol.10,no.3,pp.50-51,Sep.2005.
従来技術１の方法においては、ある特定の色の、小さな円形のシート状の物体を指標として配置することができる。この場合、指標のもつ情報は、３次元位置（座標）と色である。位置姿勢センサの計測値を利用して指標の３次元位置をカメラの画像面へと投影する一方で、画像から指標の色を検出する色領域検出処理を行い、画像中の色領域の重心位置を計算する。そして、画像面上へ投影した指標の３次元位置と、画像から計算した色領域の重心位置を比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。
従来技術１において、位置及び姿勢の計測対象であるカメラは、観察者に提示する画像を撮像するための装置である。従って、カメラの解像度、画角、向き等を、指標の検出に適したものに自由に変更することができなかった。つまり、カメラの位置及び姿勢の計測精度が、指標の検出に最適とは限らないカメラの空間分解能に依存して決まるという問題があった。
一方で、従来技術２で利用されている正方形マーカのように、頂点や描画されたパターンなど、画像からより多くの情報を検出可能な指標を利用してカメラの位置及び姿勢を計測する方法がある。従来技術２では位置姿勢センサを用いず、画像のみから個々のマーカを識別する必要があるため、指標に符号情報や、テンプレートとなりうる記号情報などを含める必要がある。
図６（ａ）〜（ｃ）は、非特許文献２および非特許文献３で利用されている具体的な正方形マーカの例である。
このような複雑な特徴を有する指標を撮像画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。換言すれば、現実空間の広い領域を指標配置のために確保しなければならない。あるいは、カメラが指標に十分に近づかなければならない。または、指標の配置条件が厳しいということもできる。
そして、従来技術２においても、従来技術１と同様、位置及び姿勢の計測対象であるカメラは、観察者に提示する画像を撮像するための装置である。従って、やはり従来技術１と同様、カメラの位置及び姿勢の計測精度が、指標の検出に最適とは限らないカメラの空間分解能に依存して決まるという問題があった。
また、従来技術３においても、ステレオカメラを構成する夫々のカメラは、観察者に提示する画像を撮像するための装置である。従って、従来技術１及び従来技術２と同様に、カメラの位置及び姿勢の計測精度や検出可能な指標の大きさが、指標の検出に最適とは限らないカメラの空間分解能に依存して決まるという問題があった。
従来技術４においては、カメラの位置及び姿勢を算出する際に、画角の異なる複数のカメラは同時には利用されておらず、一方の画角のカメラしか利用されていなかった。従って、カメラの位置及び姿勢の推定精度は複数のカメラを用いる場合よりも低いという問題があった。
一方、従来技術５においては、画角の異なる複数のカメラが同時に利用されているものの、同一画角のカメラでステレオ計測を行ってから、複数のステレオ計測結果を組み合わせる、という方法に限定されていた。また、従来技術５の手法を適用するには、４台以上のカメラが必要になるという問題があった。
本発明はこのような従来技術の問題点を解決するためになされたものであり、本願発明の目的は、現実空間中の指標を用い、撮像装置の位置及び姿勢を計測する位置姿勢計測方法及び装置において、計測精度及び／又は安定性を向上させることを目的とする。
上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、第１の検出工程及び第２の検出工程で検出された、指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程とを備えることを特徴とする位置姿勢計測方法によって達成される。
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出工程で算出された第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正工程と、を備えることを特徴とする位置姿勢計測方法によっても達成される。
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出工程で算出された第１の撮像装置の位置を補正する補正工程と、を備えることを特徴とする位置姿勢計測方法によっても達成される。
さらに、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、第１の検出手段及び第２の検出手段で検出された、指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段とを備えることを特徴とする位置姿勢計測装置によっても達成される。
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出手段で算出された第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正手段と、を備えることを特徴とする位置姿勢計測装置によっても達成される。
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出手段で算出された第１の撮像装置の位置を補正する補正手段と、を備えることを特徴とする位置姿勢計測装置によっても達成される。
本発明によれば、計測対象の撮像装置に加え、空間分解能の異なる撮像装置を併用することによって、計測対象の撮像装置の位置及び姿勢を算出する際の精度及び／又は安定性を向上させることができる。
以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
［第１の実施形態］
本発明の第１の実施形態に係る位置姿勢計測装置は、主観視点カメラ及び追加主観視点カメラで撮像した画像から検出された指標に基づいて、主観視点カメラの位置及び姿勢を算出する。
図１は、本実施形態における位置姿勢計測装置の構成例を示す図である。本実施形態における位置姿勢計測装置１００は、画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０によって構成されている。位置姿勢計測装置１００は、主観視点カメラ１６０、及び、追加主観視点カメラ１７０に接続されている。
なお、本実施形態において、計測対象の撮像装置である主観視点カメラ１６０は、例えば観察者が装着する頭部搭載型表示装置（ＨＭＤ）に固定的に設置され、ほぼ観察者の視点（主観視点）位置から観察される現実空間を撮像するために用いられるものとする。また、追加撮像装置である追加主観視点カメラ１７０は、主観視点カメラ１６０との相対的な位置姿勢が既知で、かつ不変な位置に設けられる。追加主観視点カメラ１７０の撮像範囲は、主観視点カメラ１６０の撮像範囲と重複している。なお、追加主観視点カメラ１７０の撮像範囲は、主観視点カメラ１６０の撮像範囲と重複してもよいし、独立していても良い。主観視点カメラ１６０及び追加主観視点カメラ１７０は、市販のカラービデオカメラにより実現できる。
なお、本実施形態では便宜上「主観視点」カメラを用いているが、計測対象の撮像装置が必ずしも観察者の視点位置から観察される現実空間を撮影するカメラである必要はない。
ここで、追加主観視点カメラ１７０は、主観視点カメラ１６０と画像解像度（撮像画像の画素数）が同じで、かつ主観視点カメラ１６０よりも画角が狭い。その結果、主観視点カメラ１６０よりも空間分解能が高い画像が得られる。従って、追加主観視点カメラ１７０が撮像した画像からは、主観視点カメラ１６０で撮像した画像からは検出不可能な指標を検出することができる。また、空間分解能が高いため、主観視点カメラ１６０で撮像される画像を用いるよりも高い位置精度で指標を検出することができる。
なお、追加主観視点カメラ１７０の空間分解能を高くするには、追加主観視点カメラ１７０の画像解像度を高くするという方法も考えられる。しかし、画像解像度は変えずに画角を狭くした方が、追加主観視点カメラ１７０を小型で安価にできる。加えて、画像処理に要する時間の増加を抑えることができるという利点がある。
現実空間中の複数の位置には、主観視点カメラ１６０又は追加主観視点カメラ１７０によって撮像するための指標（以下、主観視点指標という）が配置される。ここで、主観観点指標Ｑｋ（ｋ＝１，，，ＫＱ）は、世界座標系における位置ｘＷ Ｑｋが既知である。なお、世界座標系とは、現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系である。
これらの主観視点指標は、主観視点カメラ１６０が計測対象範囲内で移動した時に、主観視点カメラ１６０及び追加主観視点カメラ１７０が撮像する画像上で観察される指標の総数が、常に３個以上となるように設置されることが望ましい。なお、以下、主観視点カメラ１６０が撮像する画像を主観視点画像、追加主観視点カメラ１７０が撮像する画像を追加主観視点画像と呼ぶ。
図１に示す例では、４個の主観視点指標Ｑ１，Ｑ２，Ｑ３，Ｑ４が配置されている。そして、３個の主観視点指標Ｑ１，Ｑ３，Ｑ４が主観視点カメラ１６０の視野内に、２個の主観視点指標Ｑ１，Ｑ３が追加主観視点カメラ１７０の視野内に含まれている。
なお、図１では、主観視点カメラ１６０及び追加主観視点カメラ１７０の視野には２個の主観視点指標Ｑ１，Ｑ３が共通して含まれている。しかし、両カメラの視野に共通して含まれる主観視点指標の数に制限はなく、例えば０個であっても良い。
ここで、主観視点指標Ｑｋは、例えば、それぞれが異なる色を有する円形状のマーカであってもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点であっても良い。また、ある程度の面積を有する四角形の単色領域によって形成されるような、四角形指標を用いることも可能である。すなわち、撮像画像上における投影像の画像座標が検出可能であって、かついずれの指標であるかが何らかの方法で同定可能であるような指標であれば、任意の形態の指標を用いることができる。主観視点指標は、操作者により設定されたものであってもよいし、操作者により設定されたものではない、自然形状のものを用いても良い。
なお、画角が主観視点カメラ１６０より狭い追加主観視点カメラ１７０の視野内に含まれる指標の数は、主観視点カメラ１６０の視野内に含まれる指標の数よりも一般的に少なく、場合によっては０個となることもある。そのような場合であっても、主観視点画像上において観測される指標の数が３個以上であれば、主観視点カメラ１６０の位置及び姿勢を算出することができる。主観視点指標の世界座標と、主観視点画像中の座標とから、主観視点カメラ１６０の位置及び姿勢を算出する方法は、写真測量等の分野において知られている（例えば、非特許文献４、非特許文献５を参照）ため、その詳細については省略する。
一方、主観視点画像からは検出不可能な大きさの指標であっても、空間分解能の高い追加主観視点カメラ１７０で撮像した追加主観視点画像からは検出できる場合がある。従って、追加主観視点カメラ１７０の空間分解能に適した追加主観視点指標を主観視点指標とは別に設定しても良い。追加主観視点指標としては、例えば、主観視点指標よりも半径の小さな円形状のマーカを用いることができる。また、主観視点指標よりも微細なテクスチャ特徴を有する自然特徴等の特徴点を用いても良い。または、主観視点指標よりも面積の小さな四角形指標を用いることも可能である。
画像入力部１１０は、位置姿勢計測装置１００へ入力される主観視点画像及び追加主観視点画像をデジタルデータに変換し、データ記憶部１２０に保存する。
主観視点指標検出部１３０は、データ記憶部１２０より主観視点画像を読み出し、主観視点画像中に撮像されている主観視点指標の画像座標を検出する。例えば、主観視点指標の各々が異なる色を有するマーカである場合には、画像上から各々のマーカ色に対応する領域を検出し、その重心位置を各主観視点指標の画像座標とする。
主観視点指標の各々が異なるテクスチャ特徴を有する特徴点である場合には、既知の情報として予め保持している各々の主観視点指標のテンプレート画像によるテンプレートマッチングを行なうことにより、主観視点指標の画像座標を検出する。
また、四角形指標を用いる場合は、画像に２値化処理を施した後にラベリングを行い、４つの直線によって形成されている領域を指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除し、また、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本実施形態では、４つの頂点の個々によって特定される４つの指標であると考える。
主観視点指標検出部１３０は、さらに、検出された主観視点指標の画像座標とその指標の識別子をデータ記憶部１２０へと出力する。なお、以下では、主観視点画像上で検出された指標を、検出された指標の夫々に付けられた識別子ｎ（ｎ＝１，，，Ｎ）を用いて、Ｑｋｎと表記する。ここで、Ｎは主観視点画像上で検出された指標の数を表している。また、検出された指標Ｑｋｎの画像座標をｕＱｋｎと表記する。
例えば図１の場合には、Ｎ＝３であり、指標の識別子ｋ１＝１，ｋ２＝３，ｋ３＝４と、これらに対応する画像座標ｕＱｋ１，ｕＱｋ２，ｕＱｋ３が出力される。
追加主観視点指標検出部１４０は、主観視点指標検出部１３０と同様に、データ記憶部１２０より追加主観視点画像を読み出し、追加主観視点画像中に撮像されている主観視点指標の画像座標を検出する。
追加主観視点指標検出部１４０は、さらに、検出された主観視点指標の画像座標とその指標の識別子をデータ記憶部１２０へと出力する。なお、以下では、追加主観視点画像上で検出された指標を、検出された指標の夫々に付けられた識別子ｍ（ｍ＝１，，，Ｍ）を用いて、Ｑｋｍと表記する。ここで、Ｍは追加主観視点画像上で検出された指標の数を表している。また、検出された指標Ｑｋｍの画像座標をｕＱｋｍと表記する。例えば図１の場合には、Ｍ＝２であり、指標の識別子ｋ１＝１，ｋ２＝３と、これらに対応する画像座標ｕＱｋ１，ｕＱｋ２が出力される。
位置姿勢算出部１５０は、
・主観視点指標検出部１３０によって検出された各々の主観視点指標の画像座標ｕＱｋｎ
・追加主観視点指標検出部１４０によって検出された各々の主観視点指標の画像座標ｕＱｋｍ
・既知な情報として予め保持されている主観視点指標の世界座標ｘＷ Ｑｋ
の組を、データ記憶部１２０から取得する。
そして、これらの情報に基づいて主観視点カメラ１６０の位置及び姿勢を算出（推定）する。算出した位置及び姿勢は、例えば、位置を表す３次元ベクトルｘＷ Ｃ１と姿勢を表す３×３行列ＲＷＣ１との組の形態によってデータ記憶部１２０に出力される。
データ記憶部１２０は、既知の値である主観視点指標の世界座標、主観視点カメラ１６０及び追加主観視点カメラ１７０のカメラパラメータ等のデータを予め保持する。また、データ記憶部１２０は、画像入力部１１０から入力される主観視点画像及び追加主観視点画像、主観視点指標検出部１３０及び追加主観視点指標検出部１４０から入力される各々の指標の画像座標及び識別子を保持する。さらに、データ記憶部１２０は、位置姿勢算出部１５０から入力される主観視点カメラ１６０の位置及び姿勢の値を保持する。
なお、図１に示した画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０の夫々は、それぞれ独立したハードウェアで構成することができる。また、図示しないＣＰＵがプログラムを実行することによりソフトウェア的に各部の機能を実現するようにしても良い。また、各部をソフトウェア的に実現するＣＰＵは、共通のＣＰＵであっても、複数の異なるＣＰＵであっても良い。また、ネットワーク接続された複数のコンピュータにより分散処理して各部の機能を実現しても良い。本実施形態では、各部（画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０）は１つのＣＰＵがプログラムを実行することにより、各部の機能を実現する構成を有するものとする。
図２は、本実施形態の位置姿勢計測装置１００として機能しうるコンピュータの基本構成例を示す図である。
上述の通り、本実施形態では、画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０の夫々を、プログラムの実行によりソフトウェア的に実現する。
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、及び位置姿勢算出部１５０の夫々の機能を実現するプログラムを実行し、各部として機能する。
ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備える。また、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。本実施形態において、データ記憶部１２０の機能は、ＲＡＭ１００２によって実現される。
ＲＯＭ１００３は、一般に、ＣＰＵ１００１がコンピュータの起動時に実行するプログラムや、各種設定データなどが格納されている。キーボード１００４、マウス１００５は、入力装置であり、操作者はこれら入力装置を用いて、各種の指示をコンピュータに入力することができる。入力装置による入力は、ＣＰＵ１００１によって検知される。
表示部１００６は、ＣＲＴモニタやＬＣＤなどであり、例えば、主観視点カメラ１６０の位置姿勢計測のために表示すべきメッセージ等を表示することができる。
外部記憶装置１００７はハードディスクなどの大容量情報記憶装置であり、ＯＳ（オペレーティングシステム）やアプリケーションプログラム等を保存する。また本実施形態において、既知の情報として説明される情報は外部記憶装置１００７に保存されており、必要に応じてＲＡＭ１００２にロードされる。
記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出し、ＲＡＭ１００２や外部記憶装置１００７に出力する。
Ｉ／Ｆ１００９は、外部機器を接続するための各種インタフェースである。本実施形態でＩ／Ｆ１００９は、主観視点カメラ１６０や追加主観視点カメラ１７０を接続するためのインタフェースや、計測結果等を出力するためのネットワークインタフェースを含む。具体的には、アナログビデオインタフェース、デジタル入出力インタフェース（ＵＳＢ、ＩＥＥＥ１３９４等）や、イーサネット（登録商標）インタフェース等によって構成される。
Ｉ／Ｆ１００９を介して入力されたデータはＲＡＭ１００２に取り込まれる。画像入力部１１０の機能の一部は、Ｉ／Ｆ１００９によって実現される。
バス１０１０は、上述の各部を相互に通信可能に接続する。
（位置姿勢算出処理）
図３は、本実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。
上述のように、本実施形態では、ＣＰＵ１００１がプログラムを実行することで位置姿勢算出部１５０として機能する。なお、以下に説明する処理を行う前に、この処理をＣＰＵ１００１が実現するために必要なプログラムコードは、ＲＡＭ１００２にロードされているものとする。本実施形態において、主観視点カメラ１６０の位置及び姿勢は、繰り返し演算による数値計算的手法によって算出される。
位置姿勢算出部１５０は、算出すべき主観視点カメラ１６０の位置及び姿勢を、それぞれ３値ベクトル［ｘ ｙ ｚ］Ｔ及び［ξ ψ ζ］Ｔによって内部的に表現している。姿勢を３値によって表現する方法には様々なものが存在するが、ここでは、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって表現されているものとする。このとき、求めるべき未知パラメータは、６値の状態ベクトルｓ＝［ｘ ｙ ｚ ξ ψ ζ］Ｔと記述される。
ステップＳ３０００において、位置姿勢算出部１５０は、状態ベクトルｓに適当な初期値（位置及び姿勢の推定値）を設定する。例えば、主観視点画像及び追加主観視点画像の各画像フレームに対して位置姿勢を算出する場合、前フレーム（時刻ｔｋ−１）の処理において導出されたｓを初期値とすることができる。また、直近の所定期間内におけるｓの変化に基づいた予測値を初期値としても良い。
ステップＳ３０１０において、位置姿勢算出部１５０は、主観視点指標検出部１３０において検出された各々の主観視点指標Ｑｋｎの画像座標の実測値ｕＱｋｎとその識別子ｋｎをデータ記憶部１２０から取得する。また、位置姿勢算出部１５０は、追加主観視点指標検出部１４０において検出された各々の主観視点指標Ｑｋｍの画像座標の実測値ｕＱｋｍとその識別子ｋｍについても、データ記憶部１２０から取得する。
ステップＳ３０２０において、位置姿勢算出部１５０は、主観視点画像から検出された主観視点指標Ｑｋｎ及び、追加主観視点画像から検出された主観視点指標Ｑｋｍに対し、画像座標の推定値ｕＱｋｎ＊及びｕＱｋｍ＊を算出する。
ｕＱｋｎ＊の算出は、データ記憶部１２０に既知な情報として予め保持している指標Ｑｋｎ各々の世界座標ｘＷ Ｑｋｎと現在の状態ベクトルｓの関数：
（式１）
Figure 2008070267
に基づいて行われる。
また、ｕＱｋｍ＊の算出は、データ記憶部１２０に既知な情報として予め保持している指標Ｑｋｍ各々の世界座標ｘＷ Ｑｋｍと現在の状態ベクトルｓの関数：
（式２）
Figure 2008070267
に基づいて行われる。
具体的には、関数Ｆｃ１（）は、ｘＷ Ｑｋｎとｓから当該指標の主観視点カメラ座標（主観視点カメラ１６０上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）ｘＣ１ Ｑｋｎを求める次式、
（式３）
Figure 2008070267
及び、主観視点カメラ座標ｘＣ１ Ｑｋｎから主観視点画像座標ｕＱｋｎ＊を求める次式、
（式４）
Figure 2008070267
によって構成されている。
ここでｆＣ１ ｘ及びｆＣ１ ｙは、それぞれｘ軸方向及びｙ軸方向における主観視点カメラ１６０の焦点距離であり、データ記憶部１２０に既知の値として予め保持されているものとする。また、ＭＷＣ１（ｓ）はｓによって定まるモデリング変換行列（すなわち、主観視点カメラ座標系における座標を世界座標系における座標に変換する行列）であり、次式によって定義される。
（式５）
Figure 2008070267
一方、関数Ｆｃ２（）は、ｘＷ Ｑｋｍとｓから当該指標の追加主観視点カメラ座標（追加主観視点カメラ１７０上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）ｘＣ２ Ｑｋｍを求める次式、
（式６）
Figure 2008070267
及び、追加主観視点カメラ座標ｘＣ２ Ｑｋｍから追加主観視点画像座標ｕＱｋｍ＊を求める次式、
（式７）
Figure 2008070267
によって構成されている。
ここで、ＭＣ１Ｃ２は追加主観視点カメラ座標系から主観視点カメラ座標系への変換行列である。ＭＣ１Ｃ２は、主観視点カメラ座標系における追加主観視点カメラ１７０の位置及び姿勢（データ記憶部１２０に既知の値として予め保持されている）に基づいて、予め算出されているものとする。また、ｆＣ２ ｘ及びｆＣ２ ｙは、それぞれｘ軸方向及びｙ軸方向における追加主観視点カメラ１７０の焦点距離であり、データ記憶部１２０に既知の値として予め保持されているものとする。
ステップＳ３０３０において、位置姿勢算出部１５０は、各々の主観視点指標Ｑｋｎに対して、画像座標の推定値ｕＱｋｎ＊と実測値ｕＱｋｎとの誤差ΔｕＱｋｎを、次式によって算出する。
（式８）
Figure 2008070267
また、各々の追加主観視点指標Ｑｋｍに対して、画像座標の推定値ｕＱｋｍ＊と実測値ｕＱｋｍとの誤差ΔｕＱｋｍを、次式によって算出する。
（式９）
Figure 2008070267
ステップＳ３０４０において、位置姿勢算出部１５０は、各々の主観視点指標Ｑｋｎに対して、式１の関数Ｆｃ１（）を状態ベクトルｓの各要素で偏微分した解を各要素に持つ２行×６列のヤコビ行列Ｊｕｓ Ｑｋｎ（＝∂ｕＱｋｎ／∂ｓ）を求める。また、位置姿勢算出部１５０は、各々の追加主観視点指標Ｑｋｍに対して、式２の関数Ｆｃ２（）を状態ベクトルｓの各要素で偏微分した解を各要素に持つ２行×６列のヤコビ行列Ｊｕｓ Ｑｋｍ（＝∂ｕＱｋｍ／∂ｓ）を算出する。
具体的には、式４の右辺を主観視点カメラ座標ｘＣ１ Ｑｋｎの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Ｊｕｘ Ｑｋｎ（＝∂ｕＱｋｎ／∂ｘＱｋｎ）と、式３の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ３行×６列のヤコビ行列Ｊｘｓ Ｑｋｎ（＝∂ｘＱｋｎ／∂ｓ）を算出し、次式によってＪｕｓ Ｑｋｎを算出する。
（式１０）
Figure 2008070267
また、式７の右辺を追加主観視点カメラ座標ｘＣ２ Ｑｋｍの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Ｊｕｘ Ｑｋｍ（＝∂ｕＱｋｍ／∂ｘＱｋｍ）と、式６の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ３行×６列のヤコビ行列Ｊｘｓ Ｑｋｍ（＝∂ｘＱｋｍ／∂ｓ）を算出し、次式によってＪｕｓ Ｑｋｍを算出する。
（式１１）
Figure 2008070267
ステップＳ３０５０において、位置姿勢算出部１５０は、ステップＳ３０３０及びステップＳ３０４０において算出した誤差ΔｕＱｋｎ及びΔｕＱｋｍ、及び、ヤコビ行列Ｊｕｓ Ｑｋｎ及びＪｕｓ Ｑｋｍに基づいて、状態ベクトルｓの補正値Δｓを算出する。具体的には、誤差ΔｕＱｋｎ及びΔｕＱｋｍを垂直に並べた２（Ｎ＋Ｍ）次元の誤差ベクトル
（式１２）
Figure 2008070267
及び、ヤコビ行列Ｊｕｓ Ｑｋｎ及びＪｕｓ Ｑｋｍを垂直に並べた２（Ｎ＋Ｍ）行×６列の行列
（式１３）
Figure 2008070267
を作成し、Θの擬似逆行列 Θ＋を用いて、
（式１４）
Figure 2008070267
として算出する。図１の例ではＮ＝３，Ｍ＝２であるので、Ｕは１０次元ベクトル、Θは１０行×６列の行列となる。
ここで、追加主観視点カメラ１７０の方が主観視点カメラ１６０よりも空間分解能が高いため、追加主観視点画像上において観測される指標の方が、主観視点画像上において観察される指標よりも信頼度が高い。そこで、式１４の演算工程で、追加主観視点画像上において観察される指標の方の重みを高くすることによって、Δｓの計算精度を向上させる。すなわち、式１４の擬似逆行列Θ＋を、
（式１５）
Figure 2008070267
として求める。ただし、Ｗは重みを表す２（Ｎ＋Ｍ）行×２（Ｎ＋Ｍ）列の行列であり、次式によって定義する。
（式１６）
Figure 2008070267
ここで、ｗｎ（ｎ＝１，，，２Ｎ）及びｗｍ（ｍ＝２Ｎ＋１，，，２（Ｎ＋Ｍ））は、それぞれ一定値である。
そして、例えば、
主観視点カメラ１６０の画角（°）／追加主観視点カメラ１７０の画角（°）＝α
である場合、
ｗｍ＝α×ｗｎ
となるように定めることができる。
ステップＳ３０６０において、位置姿勢算出部１５０は、ステップＳ３０５０において算出した補正値Δｓを用いて式１７に従って状態ベクトルｓを補正し、得られた値をｓの新たな推定値とする。
（式１７）
Figure 2008070267
ステップＳ３０７０において、位置姿勢算出部１５０は、誤差ベクトルＵあるいは補正値Δｓの大きさが予め定めた閾値より小さいかといった何らかの判定基準を用い、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを用いて、再度ステップＳ３０２０以降の処理を行う。
ステップＳ３０７０において、計算が収束したと判定される場合、ステップＳ３０８０において、位置姿勢算出部１５０は、得られた状態ベクトルｓを主観視点カメラ１６０の位置及び姿勢の情報としてデータ記憶部１２０に出力する。位置及び姿勢の情報は、例えば、位置を表す３次元ベクトルｘＷ Ｃ１と姿勢を表す３×３行列ＲＷＣ１（ｓ）との組の形態によって出力する。
以上の処理によって、主観視点画像のみを用いる場合や同一の空間分解能を有するステレオカメラを用いる場合よりも高い精度で主観視点カメラ１６０の位置及び姿勢を算出することができる。
なお、本実施形態では、計算が収束するまでＳ３０２０〜Ｓ３０６０の処理を繰り返し実行（繰り返し演算）する。この繰り返しの中で、最初の数回の繰り返し演算では主観視点画像の情報のみを使い、数回目以降の繰り返し演算から空間分解能の高い追加主観視点画像の情報も同時に使うように構成しても良い。そうすることにより、最終的に算出される主観視点カメラ１６０の位置及び姿勢の精度を劣化させることなく、処理時間を短縮することができる。
なお、本実施形態では、主観視点カメラ１６０と追加主観視点カメラ１７０の光軸の向きが略同一となっているが、異なる向きであっても良い。一般的に、カメラの光軸方向と画面内方向では位置精度が異なる。従って、例えば、主観視点カメラ１６０の光軸と追加主観視点カメラ１７０の光軸を異なる向きとすれば、お互いに位置精度を補完し合って、主観視点カメラ１６０の光軸方向と画面内方向の両方の位置精度を向上させることができる。ここで、主観視点カメラ１６０の光軸と、追加主観視点カメラ１７０の光軸を９０度異なる向きとすれば、一方のカメラの光軸方向がもう一方のカメラの画面内方向と一致することになる。この場合、主観視点カメラ１６０の光軸方向と画面内方向の両方の位置精度を最大限に向上させることができる。
以上のように、本実施形態によれば、位置姿勢の計測対象である第１のカメラに加え、空間分解能がより高い第２のカメラを併用し、両方のカメラで撮像した画像から検出した指標の情報を用いて第１のカメラの位置姿勢を算出する。第２のカメラで撮像した画像から検出される指標の情報は、第１のカメラで撮像した画像から検出した指標の画像よりも信頼度が高いため、より精度の高い位置姿勢を得ることができる。
例えば、ＭＲシステムのように、第１のカメラが観察者に表示するための主観視点映像を撮像する必要があり、第１のカメラの画角等を変更することができない場合がある。この場合でも、本実施形態によれば、第２のカメラを追加し、両方のカメラで撮像した画像を用いて位置姿勢を算出することで、第１のカメラの位置姿勢測定精度を向上することができる。
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
本実施形態に係る位置姿勢計測装置は、まず、主観視点カメラで撮像した画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出する。そして、その位置及び／又は姿勢を、空間分解能の高い追加主観視点カメラで撮像した画像から検出された指標に基づいて補正する。
以下、本実施形態に係る位置姿勢計測装置について説明する。なお、本実施形態に係る位置姿勢計測装置の構成は図１と同じでよく、位置姿勢算出部１５０の動作のみ異なるため、位置姿勢算出部１５０の動作についてのみ説明する。
図４は、本実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。本実施形態においても、ＣＰＵ１００１がプログラムを実行することで位置姿勢算出部１５０として機能する。なお、以下に説明する処理を行う前に、この処理をＣＰＵ１００１が実現するために必要なプログラムコードは、ＲＡＭ１００２にロードされているものとする。本実施形態において、主観視点カメラ１６０の位置及び姿勢は、繰り返し演算による数値計算的手法によって算出される。
ステップＳ４０００において、位置姿勢算出部１５０は、主観視点指標検出部１３０において検出された主観視点指標の画像座標を、データ記憶部１２０から取得する。
ステップＳ４０１０において、位置姿勢算出部１５０は、主観視点画像上における指標間の誤差を最小とするような主観視点カメラ１６０の位置及び姿勢を算出する。具体的には、例えば非特許文献４や非特許文献５に記載される方法を用いて、主観視点カメラ１６０の位置及び姿勢を算出することができる。
ステップＳ４０２０において、位置姿勢算出部１５０は、追加主観視点指標検出部１４０において検出された主観視点指標の画像座標を、データ記憶部１２０から取得する。
ステップＳ４０３０において、位置姿勢算出部１５０は、追加主観視点指標検出部１４０において検出された主観視点指標の画像座標を使って、主観視点カメラ１６０の姿勢を補正する。追加主観視点カメラ１７０は主観視点カメラ１６０よりも空間分解能が高いため、追加主観視点指標検出部１４０において検出された主観視点指標の画像座標を使うことで、主観視点カメラ１６０の姿勢を高精度に算出することができる。一方、追加主観視点カメラ１７０の画角は主観視点カメラ１６０よりも狭く、より正射影に近い。従って、位置の計算に利用するという観点からは主観視点画像の方が適している。そのため、本実施形態では、例えば特許文献４の方法３に記載される方法によって、主観視点カメラ１６０の姿勢のみを補正する。ここで、ステップＳ４０１０において算出された主観視点カメラ１６０の位置及び姿勢に基づいて予測される夫々の主観視点指標の画像座標を、特許文献４の方法３のＰｉとすればよい。また、追加主観視点指標検出部１４０において検出された夫々の主観視点指標の画像座標を、特許文献４の方法３のＱｉとすればよい。
ここで、追加主観視点カメラ１７０を用いて検出するための追加主観視点指標を、主観視点指標とは別に設定することもできる。例えば、本実施形態では、単体では個別識別できない指標も追加主観視点指標として用いることができる。つまり、追加主観視点指標は、略同一色を有する円形状のマーカや、エッジ等の自然特徴や、繰り返しパターンを有するテクスチャ等であっても良い。そのような指標であっても、予めステップＳ４０１０において算出された主観視点カメラ１６０の概略の位置及び姿勢を使って同定することができれば、追加主観視点指標として使えることになる。
なお、主観視点カメラ１６０と追加主観視点カメラ１７０の画角の差が閾値よりも小さいような場合には、例えば特許文献４の方法によって、主観視点カメラ１６０の位置及び姿勢の両方を補正しても良い。
ステップＳ４０４０において、位置姿勢算出部１５０は、算出した主観視点カメラ１６０の位置及び姿勢の情報を、例えば、位置を表す３次元ベクトルｘＷ Ｃ１と姿勢を表す３×３行列ＲＷＣ１との組の形態によってデータ記憶部１２０に出力する。
以上の処理によって、主観視点画像のみを用いる場合よりも高い精度で主観視点カメラ１６０の位置及び姿勢を算出することができる。
以上のように、本実施形態によれば、主観視点画像から検出された指標に基づいて算出した主観視点カメラ１６０の位置及び姿勢を、空間分解能の高い追加主観視点カメラ１７０による撮像画像から検出された指標に基づいて補正する。これにより、主観視点カメラ１６０の位置及び姿勢を算出する際の精度を向上させることができる。
なお、処理の順番は上記とは逆にしても良い。すなわち、追加主観視点画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出し、次に、主観視点画像から検出された指標に基づいて、例えば特許文献４の方法によって、主観視点カメラの位置を補正しても良い。
（変形例１）
上記の実施形態の夫々において、主観視点カメラの画角よりも追加主観視点カメラの画角の方が広くなるようにしても良い。そうすれば、追加主観視点カメラの視野内に含まれる指標が増加し、主観視点カメラの位置及び姿勢を安定して算出することができる。
この場合、第１の実施形態の繰り返し演算処理において、最初の数回の繰り返しでは空間分解能の低い追加主観視点カメラの情報のみを使い、途中のステップから空間分解能の高い主観視点カメラの情報も同時に使うようにしても良い。
また、第２の実施形態の順次処理において、追加主観視点画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出し、次に、主観視点画像から検出された指標に基づいて主観視点カメラの姿勢を補正すれば良い。主観視点カメラよりも画角の広い追加主観視点カメラを用いると、追加主観視点画像に投影される指標は正射影から離れるため、追加主観視点画像を用いると主観視点カメラの位置をより高精度に算出することができる。従って、主観視点画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出し、次に、追加主観視点画像から検出された指標に基づいて、例えば特許文献４の方法５に記載される方法によって、主観視点カメラの位置を補正しても良い。
（変形例２）
上記の実施形態の夫々において、主観視点カメラの位置又は姿勢又はそれらの時間微分に関する情報を計測するセンサを主観視点カメラに設置して、主観視点カメラの位置及び姿勢を算出しても良い。
位置センサを設置した場合には、例えば特許文献３の手法によって、主観視点カメラの位置及び姿勢を算出することができる。この場合、主観視点カメラによって取得される主観視点画像上及び追加主観視点カメラによって取得される追加主観視点画像上において、少なくとも合計２個以上の指標が常に観測されるように設定されていれば良い。そして、この場合には、画像情報のみを用いる場合と比較して、主観視点カメラの位置及び姿勢を安定して算出することができる。
姿勢センサを設置した場合には、例えば非特許文献６の手法によって、主観視点カメラの位置及び姿勢を算出することができる。この場合、主観視点カメラによって取得される主観視点画像上及び追加主観視点カメラによって取得される追加主観視点画像上において、少なくとも合計２個以上の指標が常に観測されるように設定されていれば良い。そして、この場合にも、画像情報のみを用いる場合と比較して、主観視点カメラの位置及び姿勢を安定して算出することができる。
（変形例３）
上記の実施形態の夫々において、主観視点カメラを撮像する客観視点カメラを併用しても良い。図５は、図１の位置姿勢計測装置に客観視点カメラを追加接続した際の構成を示すブロック図である。
客観視点カメラ５９０は、位置及び姿勢が既知である。客観視点カメラ５９０は、客観視点指標Ｐを撮像する。客観視点指標Ｐは、主観視点カメラ１６０との相対的な位置及び姿勢が不変である。客観視点指標検出部５８０は、客観視点カメラ５９０が撮像した画像から、客観視点指標Ｐの画像座標を検出する。客観視点指標Ｐの画像座標を例えば特許文献３の手法に適用することで、主観視点カメラ１６０の位置及び姿勢を算出することができる。なお、客観視点指標検出部５８０もまた、ＣＰＵ１００１がプログラムを実行することによりソフトウェア的に実現可能である。
本変形例では、客観視点画像を用いることにより、主観視点カメラ１６０の位置及び姿勢を安定して算出することができる。
（変形例４）
上記の実施形態の夫々において、追加主観視点カメラ１７０が１台の場合について説明したが、追加主観視点カメラ１７０の台数は１台に限らず、複数台であっても良い。この場合、第１の実施形態と同様の処理によって、主観視点カメラ１６０の位置及び姿勢を算出することができる。
追加主観視点カメラ１７０の台数をＡ、夫々の追加主観視点画像上で検出された指標の数を、Ｍ１，Ｍ２，・・・，ＭＡとする。この場合、誤差ベクトルＵは２（Ｎ＋Ｍ１＋Ｍ２＋・・・＋ＭＡ）次元のベクトルとなる。また、行列Θは２（Ｎ＋Ｍ１＋Ｍ２＋・・・＋ＭＡ）行×６列の行列となる。
なお、追加主観視点カメラ１７０のうちの少なくとも一つは主観視点カメラ１６０よりも空間分解能が高く、残りの追加主観視点カメラ１７０のうちの少なくとも一つは主観視点カメラ１６０よりも画角が広くなるように構成しても良い。そうすれば、主観視点カメラ１６０の位置及び姿勢を高精度かつ安定して算出することができる。
また、追加主観視点カメラ１７０のうちの少なくとも一つの光軸の向きが、残りの追加主観視点カメラ１７０のうちの少なくとも一つの光軸の向きと異なるように構成しても良い。主観視点カメラ１６０よりも画角の広い追加主観視点カメラ１７０を用いることで、主観視点カメラ１６０の位置を高精度に算出することができる。従って、主観視点カメラ１６０の光軸と、画角の広い追加主観視点カメラ１７０の光軸を異なる向きとすることで、お互いに位置精度を補完し合って、主観視点カメラ１６０の光軸方向と画面内方向の両方の位置精度を向上させることができる。一方、主観視点カメラ１６０よりも空間分解能の高い追加主観視点カメラ１７０からは、信頼度の高い指標が検出できるので、上述した実施形態で述べたように、主観視点カメラ１６０の姿勢を高精度に算出することができる。
（変形例５）
上記の実施形態の夫々において、追加主観視点カメラ１７０として、可視光とは異なる波長の光を撮像するカメラを使うことも可能である。例えば、追加主観視点カメラ１７０として赤外光を撮像するカメラを使い、追加主観視点指標として赤外光を発光又は反射する指標を使っても良い。この場合、例えば、天井に配置した赤外光を発光する指標を、追加主観視点カメラ１７０によって撮像することによって、可視光を撮像するカメラを用いる場合と比較して安定して指標を検出することができる。
なお、主観視点カメラ１６０として赤外光を撮像するカメラを用い、主観視点指標として赤外光を発光又は反射する指標を用いることも可能である。さらに、主観視点カメラ１６０と追加主観視点カメラ１７０の両方に赤外光を撮像するカメラを用い、主観視点指標と追加主観視点指標の両方に赤外光を発光又は反射する指標を用いても良い。
また、可視光とは異なる波長の光を撮像するカメラとしては、赤外光を撮像するカメラに限らず、紫外光を撮像するカメラなどを用いても良い。さらに、可視光とは異なる波長の光と可視光の両方を同時に撮像するカメラを用いても良い。
なお、追加主観視点カメラ１６０としてモノクロカメラを使い、追加主観視点指標として色情報が含まれない指標を使っても良い。この場合、カラーカメラを追加主観視点カメラ１７０に使う場合と比較して、処理時間の増加を抑えることができる。
（変形例６）
上記の実施形態の夫々は、式１４で表現される方法を用いて補正値Δｓを算出し、ｓをｓ＋Δｓに置き換えることで推定値ｓの更新を行っている。しかしながら、行列Θ及び誤差ベクトルＵに基づいてｓを算出する方法はこの方法に限定されない。例えば公知の非線形方程式の反復解法であるＬＭ法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法）を組み合わせて求めても良い。また、公知のロバスト推定手法であるＭ推定等の統計的手法を組み合わせても良い。他の何れの数値計算手法を併用してもよい。
［その他の実施形態］
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
本発明の第１の実施形態に係る位置姿勢計測装置の構成例を示す図である。 本発明の実施形態に係る位置姿勢計測装置１００として機能しうるコンピュータの基本構成例を示す図である。 第１の実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。 第２の実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。 図１の位置姿勢計測装置に客観視点カメラを追加接続した際の構成を示す図である。 従来技術で利用されている指標の例を示す図である。

Claims (17)

  1. 現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
    前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、
    前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、
    前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、
    前記第１の検出工程及び前記第２の検出工程で検出された、前記指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程とを備えることを特徴とする位置姿勢計測方法。
  2. 前記位置姿勢算出工程が、前記第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に、前記空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された前記指標の画像座標に関わる特徴量よりも高い重み付けを行って、前記位置及び姿勢の算出を行なうことを特徴する請求項１記載の位置姿勢算出方法。
  3. 現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
    前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、
    前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、
    前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、
    前記第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、
    前記第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出工程で算出された前記第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正工程と、
    を備えることを特徴とする位置姿勢計測方法。
  4. 現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
    前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、
    前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、
    前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、
    前記第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、
    前記第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出工程で算出された前記第１の撮像装置の位置を補正する補正工程と、
    を備えることを特徴とする位置姿勢計測方法。
  5. 前記第１の撮像装置と前記第２の撮像装置は、画像解像度が同じで、画角が異なることを特徴とする、請求項１乃至請求項４のいずれか１項に記載の位置姿勢計測方法。
  6. 前記第１の撮像装置の位置又は姿勢又はそれらの時間微分に関する情報を計測するセンサから計測値を入力するセンサ計測値入力工程をさらに備え、
    前記位置姿勢算出工程では、前記第１の検出工程及び前記第２の検出工程で検出された指標の画像座標に関わる特徴量と、前記センサ計測値入力工程で入力された計測値とに基づいて、前記第１の撮像装置の位置及び姿勢を算出することを特徴とする、請求項１乃至請求項５のいずれか１項に記載の位置姿勢計測方法。
  7. 前記第１の撮像装置を撮像する、位置姿勢が固定された第３の撮像装置で撮像された第３の画像を入力する第３の画像入力工程と、
    前記第３の画像から、前記第１の撮像装置との相対的な位置及び姿勢が固定された第２の指標の画像座標に関わる特徴量を検出する第３の検出工程とをさらに備え、
    前記位置姿勢算出工程では、前記第１の検出工程及び前記第２の検出工程で検出された指標の画像座標に関わる特徴量と、該第３の検出工程で検出された前記第２の指標の画像座標に関わる特徴量とに基づいて、前記第１の撮像装置の位置及び姿勢を算出することを特徴とする、請求項１乃至請求項６のいずれか１項に記載の位置姿勢計測方法。
  8. 前記第１の画像は、観察者に提示するための画像であり、前記第１の撮像装置は、前記観察者に前記第１の画像を提示するための表示手段との相対的な位置又は姿勢、又は画角が固定されていることを特徴とする、請求項１乃至請求項６のいずれか１項に記載の位置姿勢計測方法。
  9. 前記第１の撮像装置の光軸の向きと前記第２の撮像装置の光軸の向きが異なることを特徴とする、請求項１乃至請求項８のいずれか１項に記載の位置姿勢計測方法。
  10. 前記第２の撮像装置が、複数の撮像装置を含み、
    前記第２の画像入力工程が、前記複数の撮像装置の各々から前記第２の画像を入力し、
    前記第２の検出工程では、前記第２の画像入力工程で入力された複数の前記第２の画像から、前記現実空間中の指標の画像座標に関わる特徴量を夫々検出することを特徴とする、請求項１記載の位置姿勢計測方法。
  11. 前記複数の撮像装置が、前記第１の撮像装置よりも空間分解能の高い撮像装置と、前記第１の撮像装置よりも空間分解能の低い撮像装置とを含むことを特徴とする、請求項１０記載の位置姿勢計測方法
  12. 前記複数の撮像装置のうちの少なくとも一つの光軸の向きが、他の撮像装置のうちの少なくとも一つの光軸の向きと異なることを特徴とする、請求項１０又は請求項１１に記載の位置姿勢計測方法。
  13. 前記第１の撮像装置と前記第２の撮像装置は、異なる波長領域で観察される画像を撮像することを特徴とする、請求項１乃至請求項１２のいずれか１項に記載の位置姿勢計測方法。
  14. 現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
    前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、
    前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、
    前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、
    前記第１の検出手段及び前記第２の検出手段で検出された、前記指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段とを備えることを特徴とする位置姿勢計測装置。
  15. 現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
    前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、
    前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、
    前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、
    前記第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
    前記第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出手段で算出された前記第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正手段と、
    を備えることを特徴とする位置姿勢計測装置。
  16. 現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
    前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、
    前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、
    前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、
    前記第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
    前記第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出手段で算出された前記第１の撮像装置の位置を補正する補正手段と、
    を備えることを特徴とする位置姿勢計測装置。
  17. コンピュータに、請求項１乃至請求項１３のいずれか１項に記載の位置姿勢算出方法を実行させるプログラム。
JP2006249962A 2006-09-14 2006-09-14 位置姿勢算出方法及び装置 Expired - Fee Related JP5036260B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006249962A JP5036260B2 (ja) 2006-09-14 2006-09-14 位置姿勢算出方法及び装置
US11/854,121 US8019114B2 (en) 2006-09-14 2007-09-12 Position and orientation measurement method and apparatus
EP07116329.9A EP1901029B1 (en) 2006-09-14 2007-09-13 Position and orientation measurement method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006249962A JP5036260B2 (ja) 2006-09-14 2006-09-14 位置姿勢算出方法及び装置

Publications (3)

Publication Number Publication Date
JP2008070267A true JP2008070267A (ja) 2008-03-27
JP2008070267A5 JP2008070267A5 (ja) 2009-11-05
JP5036260B2 JP5036260B2 (ja) 2012-09-26

Family

ID=38858923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006249962A Expired - Fee Related JP5036260B2 (ja) 2006-09-14 2006-09-14 位置姿勢算出方法及び装置

Country Status (3)

Country Link
US (1) US8019114B2 (ja)
EP (1) EP1901029B1 (ja)
JP (1) JP5036260B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002398A1 (ja) 2012-06-28 2014-01-03 日本電気株式会社 カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
WO2016016955A1 (ja) * 2014-07-30 2016-02-04 株式会社日立製作所 自律移動装置及び自己位置推定方法
JP2016151841A (ja) * 2015-02-17 2016-08-22 レノボ・シンガポール・プライベート・リミテッド ステレオ・カメラによる物体の存在の判別方法、デバイス制御システム、およびコンピュータ・プログラム
WO2017043181A1 (ja) * 2015-09-09 2017-03-16 ソニー株式会社 センサ装置、センサシステム及び情報処理装置
US9892516B2 (en) 2014-09-26 2018-02-13 Fujitsu Limited Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing
US10102647B2 (en) 2015-06-16 2018-10-16 Fujitsu Limited Image processing device, image processing method, and non-transitory computer-readable storage medium that determines camera position based on a comparison of estimated postures
WO2018207426A1 (ja) * 2017-05-09 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019026390A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
JP2019086511A (ja) * 2017-11-07 2019-06-06 カシオ計算機株式会社 位置算出システム、位置算出装置、位置算出方法及びプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739622B1 (en) * 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
JP5403861B2 (ja) * 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
US8121389B2 (en) * 2008-06-11 2012-02-21 Sirona Dental Systems Gmbh System, apparatus, method and computer program product for optical position recognition
US8290240B2 (en) * 2008-06-11 2012-10-16 Sirona Dental Systems Gmbh System, apparatus, method, and computer program product for determining spatial characteristics of an object using a camera and a search pattern
WO2010077389A2 (en) * 2008-08-05 2010-07-08 University Of Florida Research Foundation, Inc. Systems and methods for maintaining multiple objects within a camera field-of-view
US20110039573A1 (en) * 2009-08-13 2011-02-17 Qualcomm Incorporated Accessing positional information for a mobile station using a data code label
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
US9229089B2 (en) 2010-06-10 2016-01-05 Qualcomm Incorporated Acquisition of navigation assistance information for a mobile station
EP2719160A2 (en) * 2011-06-06 2014-04-16 3Shape A/S Dual-resolution 3d scanner
DE102012107153A1 (de) * 2012-08-03 2014-02-27 Hendrik Fehlis Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
DE102013206569B4 (de) 2013-04-12 2020-08-06 Siemens Healthcare Gmbh Gestensteuerung mit automatisierter Kalibrierung
KR101830249B1 (ko) * 2014-03-20 2018-03-29 한국전자통신연구원 이동체의 위치 인식 장치 및 방법
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102149276B1 (ko) * 2014-10-23 2020-08-28 한화테크윈 주식회사 영상 정합 방법
KR102225617B1 (ko) * 2014-11-03 2021-03-12 한화테크윈 주식회사 영상 정합 알고리즘을 설정하는 방법
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
JP6917701B2 (ja) * 2016-11-30 2021-08-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US20180374237A1 (en) * 2017-06-23 2018-12-27 Canon Kabushiki Kaisha Method, system and apparatus for determining a pose for an object
CN109916300A (zh) * 2019-03-20 2019-06-21 天远三维（天津）科技有限公司 基于在线图像处理的面向三维扫描的标志点粘贴指示方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152255A (ja) * 1990-10-16 1992-05-26 Ricoh Co Ltd 表面検査装置
JPH11257926A (ja) * 1998-03-16 1999-09-24 Shimadzu Corp ビデオ式非接触伸び計
JP2001141425A (ja) * 1999-11-12 2001-05-25 Laboratories Of Image Information Science & Technology ３次元形状計測装置
JP2003134375A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP3467017B2 (ja) * 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体
JP2004205711A (ja) * 2002-12-24 2004-07-22 Canon Inc 表示装置
JP2004233334A (ja) * 2003-01-10 2004-08-19 Canon Inc 位置姿勢計測方法
JP2005043233A (ja) * 2003-07-23 2005-02-17 Fuji Xerox Co Ltd ３次元形状測定装置および方法
JP2005076402A (ja) * 2003-09-03 2005-03-24 Sekisui Jushi Co Ltd 自発光式矢羽根及びこれを用いた積雪深モニタリング装置並びに積雪深測定装置
JP2005107966A (ja) * 2003-09-30 2005-04-21 Canon Inc 指標識別方法および装置
JP2005351886A (ja) * 2004-05-14 2005-12-22 Canon Inc 位置姿勢計測方法および情報処理装置
JP2006058142A (ja) * 2004-08-20 2006-03-02 Fuji Xerox Co Ltd ３次元形状測定装置および方法
JP2006090896A (ja) * 2004-09-24 2006-04-06 Fuji Heavy Ind Ltd ステレオ画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1184307A (ja) 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
JP3976900B2 (ja) 1998-07-23 2007-09-19 キヤノン株式会社 視点位置姿勢の決定方法及びカメラ装置
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
JP5403861B2 (ja) * 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152255A (ja) * 1990-10-16 1992-05-26 Ricoh Co Ltd 表面検査装置
JPH11257926A (ja) * 1998-03-16 1999-09-24 Shimadzu Corp ビデオ式非接触伸び計
JP2001141425A (ja) * 1999-11-12 2001-05-25 Laboratories Of Image Information Science & Technology ３次元形状計測装置
JP3467017B2 (ja) * 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体
JP2003134375A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP2004205711A (ja) * 2002-12-24 2004-07-22 Canon Inc 表示装置
JP2004233334A (ja) * 2003-01-10 2004-08-19 Canon Inc 位置姿勢計測方法
JP2005043233A (ja) * 2003-07-23 2005-02-17 Fuji Xerox Co Ltd ３次元形状測定装置および方法
JP2005076402A (ja) * 2003-09-03 2005-03-24 Sekisui Jushi Co Ltd 自発光式矢羽根及びこれを用いた積雪深モニタリング装置並びに積雪深測定装置
JP2005107966A (ja) * 2003-09-30 2005-04-21 Canon Inc 指標識別方法および装置
JP2005351886A (ja) * 2004-05-14 2005-12-22 Canon Inc 位置姿勢計測方法および情報処理装置
JP2006058142A (ja) * 2004-08-20 2006-03-02 Fuji Xerox Co Ltd ３次元形状測定装置および方法
JP2006090896A (ja) * 2004-09-24 2006-04-06 Fuji Heavy Ind Ltd ステレオ画像処理装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367752B2 (en) 2012-06-28 2016-06-14 Nec Corporation Camera position posture evaluating device, camera position posture evaluating method, and camera position posture evaluating program
WO2014002398A1 (ja) 2012-06-28 2014-01-03 日本電気株式会社 カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム
JP2014127735A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
WO2016016955A1 (ja) * 2014-07-30 2016-02-04 株式会社日立製作所 自律移動装置及び自己位置推定方法
JPWO2016016955A1 (ja) * 2014-07-30 2017-04-27 株式会社日立製作所 自律移動装置及び自己位置推定方法
US9892516B2 (en) 2014-09-26 2018-02-13 Fujitsu Limited Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing
JP2016151841A (ja) * 2015-02-17 2016-08-22 レノボ・シンガポール・プライベート・リミテッド ステレオ・カメラによる物体の存在の判別方法、デバイス制御システム、およびコンピュータ・プログラム
US10102647B2 (en) 2015-06-16 2018-10-16 Fujitsu Limited Image processing device, image processing method, and non-transitory computer-readable storage medium that determines camera position based on a comparison of estimated postures
US10976343B2 (en) 2015-09-09 2021-04-13 Sony Corporation Sensor device, sensor system, and information processing device
WO2017043181A1 (ja) * 2015-09-09 2017-03-16 ソニー株式会社 センサ装置、センサシステム及び情報処理装置
JPWO2018207426A1 (ja) * 2017-05-09 2020-03-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018207426A1 (ja) * 2017-05-09 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3624060A4 (en) * 2017-05-09 2020-03-25 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US11263777B2 (en) 2017-05-09 2022-03-01 Sony Corporation Information processing apparatus and information processing method
JP7147753B2 (ja) 2017-05-09 2022-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019026390A1 (ja) * 2017-08-01 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
WO2019026390A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
US11257248B2 (en) 2017-08-01 2022-02-22 Sony Corporation Information processing device, information processing method, recording medium, and image capturing apparatus for self-position-posture estimation
JP7160036B2 (ja) 2017-08-01 2022-10-25 ソニーグループ株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
US11842515B2 (en) 2017-08-01 2023-12-12 Sony Group Corporation Information processing device, information processing method, and image capturing apparatus for self-position-posture estimation
JP2019086511A (ja) * 2017-11-07 2019-06-06 カシオ計算機株式会社 位置算出システム、位置算出装置、位置算出方法及びプログラム
JP7056495B2 (ja) 2017-11-07 2022-04-19 カシオ計算機株式会社 位置算出システム、位置算出装置、位置算出方法及びプログラム

Also Published As

Publication number Publication date
JP5036260B2 (ja) 2012-09-26
US8019114B2 (en) 2011-09-13
US20080069405A1 (en) 2008-03-20
EP1901029A2 (en) 2008-03-19
EP1901029A3 (en) 2016-01-27
EP1901029B1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
JP5036260B2 (ja) 位置姿勢算出方法及び装置
JP5230114B2 (ja) 情報処理装置、情報処理方法
US7529387B2 (en) Placement information estimating method and information processing device
JP4859205B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5746477B2 (ja) モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
JP4757142B2 (ja) 撮影環境校正方法及び情報処理装置
JP4976756B2 (ja) 情報処理方法および装置
US7613361B2 (en) Information processing method and device
JP4914039B2 (ja) 情報処理方法および装置
US20050253870A1 (en) Marker placement information estimating method and information processing device
JP5728372B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2008261755A (ja) 情報処理装置、情報処理方法
JP2006317223A (ja) 位置姿勢計測方法及び装置
JP2008134161A (ja) 位置姿勢計測方法、位置姿勢計測装置
JP2005326275A (ja) 情報処理方法および装置
JP4726191B2 (ja) 位置姿勢補正装置、位置姿勢補正方法、そのプログラムおよび記憶媒体
JP4566786B2 (ja) 位置姿勢計測方法および情報処理装置
JP5726024B2 (ja) 情報処理方法および装置
JP6109213B2 (ja) 情報処理装置および方法、プログラム
JP4612804B2 (ja) 位置姿勢計測方法および情報処理装置
JP5620972B2 (ja) 情報処理装置、情報処理方法
JP4810403B2 (ja) 情報処理装置、情報処理方法
JP5127165B2 (ja) 情報処理方法および装置
JP2016065830A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5036260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees