JP2008176509A - 情報処理装置および方法 - Google Patents
情報処理装置および方法 Download PDFInfo
- Publication number
- JP2008176509A JP2008176509A JP2007008496A JP2007008496A JP2008176509A JP 2008176509 A JP2008176509 A JP 2008176509A JP 2007008496 A JP2007008496 A JP 2007008496A JP 2007008496 A JP2007008496 A JP 2007008496A JP 2008176509 A JP2008176509 A JP 2008176509A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- imaging
- information
- candidate position
- orientation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims description 101
- 238000003384 imaging method Methods 0.000 claims abstract description 170
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 230000036544 posture Effects 0.000 claims description 118
- 238000003860 storage Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 57
- 238000004364 calculation method Methods 0.000 claims description 52
- 230000001133 acceleration Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 29
- 238000005259 measurement Methods 0.000 description 20
- 238000003708 edge detection Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 239000002245 particle Substances 0.000 description 15
- 239000003550 marker Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 239000002131 composite material Substances 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002940 Newton-Raphson method Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 複数の撮像位置情報に基づいて3個の候補位置情報を求めると共に、複数の撮像姿勢情報に基づいて3個の候補姿勢情報を求める。1つの候補位置情報と1つの候補姿勢情報とを組み合わせたセットを、全ての組み合わせについて求める。それぞれのセットについて、セットを構成する候補位置情報、候補姿勢情報を補正する。補正したそれぞれのセットについて評価値を求め、求めたそれぞれの評価値に基づいて、それぞれのセットのうち1つを選択する。選択したセットを構成する候補位置情報、候補姿勢情報をそれぞれ、撮像位置情報、撮像姿勢情報としてメモリに記録する。
【選択図】 図4
Description
加藤, M. Billinghurst, 浅野, 橘, "マーカー追跡に基づく拡張現実感システムとそのキャリブレーション", 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-617, 1999. T. Drummond and R. Cipolla, "Real-time visual tracking of complex structures," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002. A. I. Comport, E. Marchand, and F. Chaumette, "A real-time tracker for markerless augmented reality," Proc. The 2nd IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR03), pp.36-45, 2003. L. Vacchetti, V. Lepetit, and P. Fua, "Combining edge and texture information for real-time accurate 3D camera tracking," Proc. The 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR04), pp.48-57, 2004. E. Rosten and T. Drummond, "Fusing points and lines for high performance tracking," Proc. The 10th IEEE International Conference on Computer Vision (ICCV’05), pp.1508-1515, 2005. M. Pupilli and A. Calway, "Real-time camera tracking using known 3D models and a particle filter," Proc. The 18th International Conference on Pattern Recognition (ICPR’06), pp.199-203, 2006. G. Klein and D. Murray, "Full-3D edge tracking with a particle filter," Proc. British Machine Vision Conference 2006, 2006. I. Skrypnyk and D. G. Lowe, "Scene modelling, recognition and tracking with invariant image features," Proc. The 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR04), pp.110-119, 2004. H. Wuest, F. Vial, and D. Stricker, "Adaptive line tracking with multiple hypotheses for augmented reality," Proc. The Fourth Int’l Symp. on Mixed and Augmented Reality (ISMAR05), pp.62-69, 2005. K. Satoh, S. Uchiyama, H. Yamamoto, and H. Tamura, "Robust vision-based registration utilizing bird’s-eye view with user’s view," Proc. The Second Int’l Symp. on Mixed and Augmented Reality (ISMAR03), pp.46-55, 2003.
非特許文献5で開示されている手法は、位置合わせの破綻を回避するために、点特徴の情報を利用することで複数のカメラの位置及び姿勢を生成していた。しかしながら、コーナー点などの点特徴が現実空間中に存在しない又は少ない場合や、見た目が類似している点特徴が多い場合には、非特許文献5で開示されている手法は利用することができない。また、カメラの2つの位置及び姿勢のどちらが用いられるかは次フレームにならないとわからないため、AR技術において仮想物体を描画する際に、必ずしも正しいカメラの位置及び姿勢を用いることができないという問題がある。
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢を求める計算手段と、
前記計算手段が求めた撮像位置及び撮像姿勢を示す撮像位置姿勢情報を、メモリに記録する記録手段とを備え、
前記計算手段は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1手段と、
前記第1手段が求めたそれぞれの候補位置姿勢情報を補正する第2手段と、
前記第2手段が補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち1つを選択する第3手段とを備え、
前記記録手段は、
前記第3手段が選択した候補位置姿勢情報を、前記撮像位置姿勢情報として前記メモリに記録する
ことを特徴とする。
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢の候補として予め設定された個数の撮像位置、撮像姿勢を求める計算手段と、
前記予め設定された個数の撮像位置及び撮像姿勢を示す撮像位置姿勢情報を、メモリに記録する記録手段とを備え、
前記計算手段は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1手段と、
前記第1手段が求めたそれぞれの候補位置姿勢情報を補正する第2手段と、
前記第2手段が補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち予め設定された個数の候補位置姿勢情報を選択する第3手段とを備え、
前記記録手段は、
前記第3手段が選択した候補位置姿勢情報を、前記撮像位置姿勢情報として前記メモリに記録する
ことを特徴とする。
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢を求める計算工程と、
前記計算工程で求めた撮像位置及び撮像姿勢を示す撮像位置姿勢情報を、メモリに記録する記録工程とを備え、
前記計算工程は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1工程と、
前記第1工程で求めたそれぞれの候補位置姿勢情報について、候補位置姿勢情報を補正する第2工程と、
前記第2工程で補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち1つを選択する第3工程とを備え、
前記記録工程は、
前記第3工程で選択した候補位置姿勢情報を構成する候補位置姿勢情報を前記メモリに記録する
ことを特徴とする。
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢の候補として予め設定された個数の撮像位置、撮像姿勢を求める計算工程と、
前記予め設定された個数の撮像位置及び姿勢を示す撮像位置姿勢情報を、メモリに記録する記録工程とを備え、
前記計算工程は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1工程と、
前記第1工程で求めたそれぞれの候補位置姿勢情報を補正する第2工程と、
前記第2工程で補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち予め設定された個数の候補位置姿勢情報を選択する第3工程とを備え、
前記記録工程は、
前記第3工程で選択した候補位置姿勢情報を前記メモリに記録する
ことを特徴とする。
図1は、本実施形態に係る位置姿勢計測装置1の機能構成を示すブロック図である。図1に示す如く、位置姿勢計測装置1は、画像入力部110、画像特徴検出部120、モデルデータ保存部130、位置姿勢算出部140、位置姿勢選択部150、位置姿勢生成部160、位置姿勢保存部170により構成されている。また、画像入力部110には、撮像装置100が接続されている。
ステップS1010では、位置姿勢保存部170に、撮像装置100Lの初期位置を示す初期位置情報、初期姿勢を示す初期姿勢情報を格納する。
ステップS1020では、撮像装置100Lが撮像した画像(現実空間画像)のデータを画像入力部110が取得し、後段の画像特徴検出部120に転送する。
ステップS1030では、画像特徴検出部120は、画像入力部110から受けた現実空間画像から、画像特徴の検出処理を行う。本実施形態では画像特徴はエッジであるとする。図5は、ステップS1030における処理の詳細を示すフローチャートである。
ステップS1031では、位置姿勢算出部140は、3フレーム分の位置情報、姿勢情報が位置姿勢保存部170に格納されているか否かをチェックする。即ち、1つ前のフレームにおける撮像装置100Lの位置及び姿勢、2つ前のフレームにおける撮像装置100Lの位置及び姿勢、3つ前のフレームにおける撮像装置100Lの位置及び姿勢、が位置姿勢保存部170に格納されているか否かをチェックする。係るチェックの結果、格納されている場合には処理をステップS1040に進める。一方、格納されていない場合には、処理をステップS1032に進める。
次にステップS1040では先ず、位置姿勢生成部160は、位置姿勢保存部170に保存されている位置情報(Porg t-1、Porg t-2、Porg t-3)を用いて、複数の位置情報(候補位置情報)pi(i=1,2,…,I)を求める。また、位置姿勢生成部160は、位置姿勢保存部170に保存されている姿勢情報(qorg t-1、qorg t-2、qorg t-3)を用いて、複数の姿勢情報(候補姿勢情報)qi(i=1,2,…,I)を求める。
次にステップS1050では、変数i(例えば、位置姿勢算出部140が有するレジスタ)の値を1に初期化する。
ステップS1060では、非線形最適化計算を用いて、St(i)を構成する位置情報、姿勢情報を反復演算により補正することで、撮像装置100Lの位置及び姿勢を算出する。ここで、分割点DPjのうち、隠蔽されておらず、ステップS1030において対応点が求まった分割点の総数をNcとする。
ステップS1070では、全てのセットSt(1)〜St(9)について、ステップS1060における処理を行ったか否かをチェックする。即ち、i=Mであるか否かをチェックする。係るチェックの結果、全てのセットSt(1)〜St(9)についてステップS1060における処理を行った場合(i=Mの場合)には処理をステップS1090に進める。一方、全てのセットSt(1)〜St(9)についてステップS1060における処理を行っていない場合(i<Mの場合)には処理をステップS1080に進める。
ステップS1080では変数iの値を1つインクリメントする。
ステップS1090では、位置姿勢選択部150は、ステップS1060において算出されたSt(1)〜St(9)のうち、最も妥当なものを一つ選択し、選択したセットを構成する位置情報、姿勢情報を位置姿勢保存部170に保存する。本実施形態では、位置及び姿勢の妥当性の評価尺度としてとして、上述したロバスト推定で用いられる重みの平均値を用いる。妥当性Cは次式により算出される。
ステップS1032では、位置姿勢保存部170には、k(1≦k<3)フレーム分の位置情報、姿勢情報しか格納されていないので、p1〜pk、q1〜qkを用いてステップS1040〜ステップS1090の処理を行う。即ち、位置姿勢保存部170に格納されている位置情報、姿勢情報が何フレーム分であるのかが異なる以外、ステップS1032において行う処理と、ステップS1040〜ステップS1090で行う処理とは実質的には同じである。
ステップS1095では、図4のフローチャートに従った処理の終了指示が外部から入力された、若しくは終了する条件が満たされた場合には、本処理の終了させる。一方、終了指示は入力されていないし、終了する条件も満たされていない場合には、処理をステップS1020に戻し、以降の処理を繰り返す。
以上の説明では、各フレームにつきエッジ検出は一回しか行わなかった。すなわち、位置姿勢保存部170に保存された最新の位置情報、姿勢情報を用いて、エッジ検出を一回行っていた。しかしながら、エッジ検出は1フレームに一回だけ行うことに限るものではない。
第1の実施形態では、フレーム毎に、1組の位置情報、姿勢情報を位置姿勢保存部170に格納していた。本実施形態では、フレーム毎に、複数組の位置情報、姿勢情報を位置姿勢保存部270に格納する。
ステップS2010では、位置姿勢保存部270に、撮像装置100Lの初期位置を示す初期位置情報、初期姿勢を示す初期姿勢情報をそれぞれ、主要位置情報、主要姿勢情報として格納する。本ステップにおいて行われる処理は上記ステップS1010と同じである。
ステップS2020では、上記ステップS1020と同様に、撮像装置100Lが撮像した画像(現実空間画像)のデータを画像入力部110が取得し、後段の画像特徴検出部220に転送する。
ステップS2030では、画像特徴検出部220は、位置姿勢保存部270に保存された主要位置、主要姿勢を用いて、上記ステップS1030と同様の処理でもって、画像からエッジの検出を行う。
ステップS2031では、位置姿勢算出部140は、3フレーム分の位置情報、姿勢情報が位置姿勢保存部270に格納されているか否かをチェックする。係るチェックの結果、格納されている場合には処理をステップS2040に進める。一方、格納されていない場合には、処理をステップS2032に進める。
次にステップS2040では先ず、位置姿勢生成部260は、位置姿勢保存部270に保存されている位置情報(porg t-1(j) (j=1,2,…,N)、porg t-2、porg t-3を用いて、複数の位置情報pi(j) (i=1,2,…,I)を求める。なお、位置情報は第1の実施形態と同様、3次元空間における撮像装置100Lの位置を表す3次元ベクトルである。
ステップS2050では、変数iの値、変数jの値を共に1に初期化する。
ステップS2060では、非線形最適化計算を用いて、Stj(i)を構成する位置情報、姿勢情報を反復演算により補正することで、撮像装置100Lの位置及び姿勢を算出する。係る処理については、上記ステップS1060と同様にして行う。
ステップS2070では、i=9であるか否かをチェックする。係るチェックの結果、i=9である場合には処理をステップS2071に進め、i<9である場合には処理をステップS2080に進める。
ステップS2080では、変数iの値を1つインクリメントし、処理をステップS2060に戻す。
ステップS2071では、j=Nであるか否かをチェックする。係るチェックの結果、j=Nである場合には処理をステップS2090に進め、j<Nである場合には、処理をステップS2072に進める。
ステップS2072では、変数jの値を1つインクリメントする。
ステップS2073では、変数iの値を1に初期化し、処理をステップS2060に戻す。
ステップS2090では、位置姿勢選択部250は、ステップS2060において算出されたM個の位置及び姿勢のうち、同一の位置及び姿勢と見なせるものについては統合する。そして、最も妥当な位置及び姿勢を選択し、主要位置情報、主要姿勢情報として位置姿勢保存部270に保存する。また、妥当性が上位の複数の位置及び姿勢を位置姿勢保存部270に保存する。
先ずステップS2110では、位置姿勢選択部250は、ステップS2060において算出されたM個のセット(位置及び姿勢)のうち、位置姿勢保存部270に格納する数(最大値)T(上記Nに相当)を設定する。係る最大数Tは予め定められたものでも良いし、ユーザが適宜選択入力するようにしても良い。
ステップS2032では、位置姿勢保存部270には、k(1≦k<3)フレーム分の位置情報、姿勢情報しか格納されていないので、p1(j)〜pk(j)、q1(j)〜qk(j)を用いてステップS2040〜ステップS2090の処理を行う。即ち、位置姿勢保存部270に格納されている位置情報、姿勢情報が何フレーム分であるのかが異なる以外、ステップS2032において行う処理と、ステップS2040〜ステップS2090で行う処理とは実質的には同じである。
図11に戻って、次にステップS2095では、図11のフローチャートに従った処理の終了指示が外部から入力された、若しくは終了する条件が満たされた場合には、本処理の終了させる。一方、終了指示は入力されていないし、終了する条件も満たされていない場合には、処理をステップS2020に戻し、以降の処理を繰り返す。
第2の実施形態では、各フレームにつきエッジ検出は一回しか行わなかった。すなわち、位置姿勢保存部270に保存された主要位置姿勢に基づきエッジ検出を一回行っていた。しかしながら、エッジ検出は1フレームに一回に限るものではない。エッジ検出処理にかける時間に余裕があれば、位置姿勢生成部260にて生成された各位置及び姿勢に応じてモデル投影を行って、エッジ検出を行ってもよい。また、位置姿勢保存部270に保存されているN個の位置及び姿勢に基づいてモデル投影を行ってエッジ検出を行ってもよい。なるべく近い値の位置及び姿勢を用いてエッジ検出を行うことによって、反復演算の収束性が向上することが期待されるため、位置姿勢計測の精度が向上する。
以下に、各種の変形例を示す。
第1,2の実施形態において、エッジ検出を行う際に、各分割点について一つのエッジを対応点として検出していた。しかしながら、検出される対応点の数は一つに限るものではなく、非特許文献4に示すように、複数のエッジを対応点候補として検出してもよい。
第1,2の実施形態において、位置姿勢選択部150、250は、位置及び姿勢の妥当性に基づいて、位置及び姿勢を選択するだけであった。しかしながら、最も妥当性の高い位置及び姿勢の妥当性が十分でない場合、即ち式19により算出される妥当性がある閾値以下の場合には、位置姿勢算出が破綻していると考えられるため、位置姿勢計測装置に再初期化処理を促してもよい。
第1,2の実施形態では、位置姿勢生成部160、260において、静止モデル、等速度/等角速度モデル、等加速度/等角加速度モデルといった運動モデルに基づいて位置及び姿勢を生成していた。しかしながら、位置及び姿勢の生成方法はこれに限るものではなく、例えば、位置姿勢保存部170、または270に保存されている位置及び姿勢を起点としたランダムな動きによって生成してもよい。また、上述の運動モデルと、ランダムな動きの両方から新たな位置及び姿勢を生成してもよい。その他、物体の動きを規定するものであればいかなる動きモデルであってもよい。
第1,2の実施形態では、位置姿勢選択部150、250において、ロバスト推定の重みの平均値に基づいて位置及び姿勢の妥当性を決定していた。しかしながら、妥当性の決定方法はこれに限るものではない。
第1,2の実施形態では、同一位置であるかどうかの判定は二点間の距離、同一姿勢であるかどうかの判定は二つの姿勢の間の回転角の絶対値に基づいて行っていた。しかしながら、同一位置、同一姿勢の判定方法はこれに限るものではない。
第1、2の実施形態では、自然特徴としてエッジを用いたが、これに限るものではない。例えば、Harris検出器や非特許文献8に示されるSIFT検出器などによって検出される点特徴を利用してもよい。この場合、3次元モデルとしては、点特徴の基準座標系における3次元位置と、特徴周辺における画像情報がモデルデータ保存部に保存される。また、自然特徴に限らず、人工的なマーカであっても良い。
図1,10にそれぞれ示した位置姿勢計測装置1,2を構成する各部は、第12の実施形態ではそれぞれハードウェアで構成されているものとして説明した。しかし、モデルデータ保存部130、位置姿勢保存部170、270を除く各部についてはソフトウェアでもって構成するようにしても良い。この場合、このソフトウェアをPC(パーソナルコンピュータ)等のコンピュータに読み込ませ、このコンピュータが有するCPUが係るソフトウェアを実行することで、このコンピュータは、第1,2の実施形態で説明したような動作を行うことになる。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (14)
- 現実空間の動画像を撮像する撮像装置に接続されている情報処理装置であって、
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢を求める計算手段と、
前記計算手段が求めた撮像位置及び撮像姿勢を示す撮像位置姿勢情報を、メモリに記録する記録手段とを備え、
前記計算手段は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1手段と、
前記第1手段が求めたそれぞれの候補位置姿勢情報を補正する第2手段と、
前記第2手段が補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち1つを選択する第3手段とを備え、
前記記録手段は、
前記第3手段が選択した候補位置姿勢情報を、前記撮像位置姿勢情報として前記メモリに記録する
ことを特徴とする情報処理装置。 - 前記第1手段は、複数の動きモデルに基づいて候補位置姿勢情報を求めることを特徴とする請求項1に記載の情報処理装置。
- 前記第1手段は、位置と姿勢について同一または異なる動きモデルを用いて独立に候補位置及び候補姿勢を求めて候補位置姿勢情報とすることを特徴とする請求項2に記載の情報処理装置。
- 前記動きモデルには、静止、等速度、等加速度、ランダムが含まれていることを特徴とする請求項2乃至3の何れか1項に記載の情報処理装置。
- 前記第2手段は、前記それぞれの候補位置姿勢情報について、
取得したフレームの画像中における画像特徴の検出位置と、前記候補位置姿勢情報を構成する候補位置情報、候補姿勢情報と当該画像特徴に対応する既知の3次元情報とから推定される当該画像上における当該画像特徴の推定位置と、の誤差に基づいて当該候補位置情報、候補姿勢情報の補正値を算出し、当該算出した補正値に基づいて、当該候補位置姿勢情報を補正することを特徴とする請求項1に記載の情報処理装置。 - 前記第2手段は、前記それぞれの候補位置姿勢情報について、
前記補正値の算出の際に、画像特徴毎に前記誤差の大小に応じた重みを求めることを特徴とする請求項5に記載の情報処理装置。 - 前記第3手段は、前記それぞれの候補位置姿勢情報について、前記重みの平均値を前記評価値として算出し、当該平均値の最も大きい候補位置姿勢情報を選択することを特徴とする請求項6に記載の情報処理装置。
- 前記画像特徴は、画像中におけるエッジであり、前記3次元情報は当該エッジの集合によって表現されるものであることを特徴とする請求項5に記載の情報処理装置。
- 現実空間の動画像を撮像する撮像装置に接続されている情報処理装置であって、
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢の候補として予め設定された個数の撮像位置、撮像姿勢を求める計算手段と、
前記予め設定された個数の撮像位置及び撮像姿勢を示す撮像位置姿勢情報を、メモリに記録する記録手段とを備え、
前記計算手段は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1手段と、
前記第1手段が求めたそれぞれの候補位置姿勢情報を補正する第2手段と、
前記第2手段が補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち予め設定された個数の候補位置姿勢情報を選択する第3手段とを備え、
前記記録手段は、
前記第3手段が選択した候補位置姿勢情報を、前記撮像位置姿勢情報として前記メモリに記録する
ことを特徴とする情報処理装置。 - 前記第3手段は、参照した候補位置姿勢情報が示す位置及び姿勢に近い位置、姿勢を有するものとして判断された候補位置姿勢情報を、被統合候補位置姿勢情報として前記参照した候補位置姿勢情報に統合し、
前記被統合候補位置姿勢情報以外の候補位置姿勢情報のうち、評価値の大きいものから上位予め設定された個数分の候補位置姿勢情報を選択することを特徴とする請求項9に記載の情報処理装置。 - 現実空間の動画像を撮像する撮像装置に接続されている情報処理装置が行う情報処理方法であって、
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢を求める計算工程と、
前記計算工程で求めた撮像位置及び撮像姿勢を示す撮像位置姿勢情報を、メモリに記録する記録工程とを備え、
前記計算工程は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1工程と、
前記第1工程で求めたそれぞれの候補位置姿勢情報について、候補位置姿勢情報を補正する第2工程と、
前記第2工程で補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち1つを選択する第3工程とを備え、
前記記録工程は、
前記第3工程で選択した候補位置姿勢情報を構成する候補位置姿勢情報を前記メモリに記録する
ことを特徴とする情報処理方法。 - 現実空間の動画像を撮像する撮像装置に接続されている情報処理装置が行う情報処理方法であって、
前記動画像を構成する各フレームの画像を前記撮像装置から取得する毎に、取得したフレームの画像の撮像時における前記撮像装置の撮像位置、撮像姿勢の候補として予め設定された個数の撮像位置、撮像姿勢を求める計算工程と、
前記予め設定された個数の撮像位置及び姿勢を示す撮像位置姿勢情報を、メモリに記録する記録工程とを備え、
前記計算工程は、
前記メモリに記録されている複数の撮像位置姿勢情報に基づいて、予め設定された個数の候補位置姿勢情報を求める第1工程と、
前記第1工程で求めたそれぞれの候補位置姿勢情報を補正する第2工程と、
前記第2工程で補正した前記それぞれの候補位置姿勢情報について評価値を求め、求めたそれぞれの評価値に基づいて、当該それぞれの候補位置姿勢情報のうち予め設定された個数の候補位置姿勢情報を選択する第3工程とを備え、
前記記録工程は、
前記第3工程で選択した候補位置姿勢情報を前記メモリに記録する
ことを特徴とする情報処理方法。 - コンピュータに請求項11又は12に記載の情報処理方法を実行させるためのコンピュータプログラム。
- 請求項13に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007008496A JP4898464B2 (ja) | 2007-01-17 | 2007-01-17 | 情報処理装置および方法 |
US12/013,123 US8391589B2 (en) | 2007-01-17 | 2008-01-11 | Information processing apparatus and method for calculating the position and orientation of an image sensing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007008496A JP4898464B2 (ja) | 2007-01-17 | 2007-01-17 | 情報処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008176509A true JP2008176509A (ja) | 2008-07-31 |
JP4898464B2 JP4898464B2 (ja) | 2012-03-14 |
Family
ID=39618418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007008496A Expired - Fee Related JP4898464B2 (ja) | 2007-01-17 | 2007-01-17 | 情報処理装置および方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8391589B2 (ja) |
JP (1) | JP4898464B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026670A (ja) * | 2013-10-21 | 2014-02-06 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2014106602A (ja) * | 2012-11-26 | 2014-06-09 | Kddi Corp | 情報端末装置 |
WO2016199605A1 (ja) * | 2015-06-12 | 2016-12-15 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US10636165B2 (en) | 2017-03-02 | 2020-04-28 | Fujitsu Limited | Information processing apparatus, method and non-transitory computer-readable storage medium |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI493506B (zh) * | 2009-06-09 | 2015-07-21 | Univ Nat Taiwan | 三維指標裝置及三維指標裝置定位方法 |
JP5393318B2 (ja) * | 2009-07-28 | 2014-01-22 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
JP5746477B2 (ja) * | 2010-02-26 | 2015-07-08 | キヤノン株式会社 | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム |
KR101856947B1 (ko) | 2011-10-07 | 2018-05-11 | 삼성전자주식회사 | 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체 |
US10311595B2 (en) * | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
US10055892B2 (en) | 2014-11-16 | 2018-08-21 | Eonite Perception Inc. | Active region determination for head mounted displays |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
US9928660B1 (en) * | 2016-09-12 | 2018-03-27 | Intel Corporation | Hybrid rendering for a wearable display attached to a tethered computer |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285789A (ja) * | 2005-04-01 | 2006-10-19 | Canon Inc | 画像処理方法、画像処理装置 |
JP2007164631A (ja) * | 2005-12-15 | 2007-06-28 | Canon Inc | 指標識別方法及び指標識別装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6307959B1 (en) * | 1999-07-14 | 2001-10-23 | Sarnoff Corporation | Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation |
US8305430B2 (en) * | 2005-09-16 | 2012-11-06 | Sri International | System and method for multi-camera visual odometry |
-
2007
- 2007-01-17 JP JP2007008496A patent/JP4898464B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-11 US US12/013,123 patent/US8391589B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285789A (ja) * | 2005-04-01 | 2006-10-19 | Canon Inc | 画像処理方法、画像処理装置 |
JP2007164631A (ja) * | 2005-12-15 | 2007-06-28 | Canon Inc | 指標識別方法及び指標識別装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014106602A (ja) * | 2012-11-26 | 2014-06-09 | Kddi Corp | 情報端末装置 |
JP2014026670A (ja) * | 2013-10-21 | 2014-02-06 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
WO2016199605A1 (ja) * | 2015-06-12 | 2016-12-15 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US10636168B2 (en) | 2015-06-12 | 2020-04-28 | Sony Corporation | Image processing apparatus, method, and program |
US10636165B2 (en) | 2017-03-02 | 2020-04-28 | Fujitsu Limited | Information processing apparatus, method and non-transitory computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20080172201A1 (en) | 2008-07-17 |
US8391589B2 (en) | 2013-03-05 |
JP4898464B2 (ja) | 2012-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4898464B2 (ja) | 情報処理装置および方法 | |
JP5111210B2 (ja) | 画像処理装置、画像処理方法 | |
JP4789745B2 (ja) | 画像処理装置および方法 | |
JP2010134649A (ja) | 情報処理装置、その処理方法及びプログラム | |
JP4976756B2 (ja) | 情報処理方法および装置 | |
JP5290864B2 (ja) | 位置姿勢推定装置及び方法 | |
JP5388932B2 (ja) | 情報処理装置およびその制御方法 | |
JP4136859B2 (ja) | 位置姿勢計測方法 | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP5290865B2 (ja) | 位置姿勢推定方法および装置 | |
JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
JP6762913B2 (ja) | 情報処理装置、情報処理方法 | |
JP2017129567A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5693691B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
JP5726024B2 (ja) | 情報処理方法および装置 | |
JP6109213B2 (ja) | 情報処理装置および方法、プログラム | |
JP7029501B2 (ja) | 情報処理装置、情報処理方法 | |
EP4292777A1 (en) | Assistance system, image processing device, assistance method and program | |
van Liere et al. | An Experimental Comparison of Three Optical Trackers for Model Based Pose Determination in Virtual Reality. | |
Gava et al. | A Unifying Structure from Motion Framework for Central Projection Cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4898464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |