JP2008506283A - カメラ・ポーズを決定する方法および装置 - Google Patents
カメラ・ポーズを決定する方法および装置 Download PDFInfo
- Publication number
- JP2008506283A JP2008506283A JP2007518260A JP2007518260A JP2008506283A JP 2008506283 A JP2008506283 A JP 2008506283A JP 2007518260 A JP2007518260 A JP 2007518260A JP 2007518260 A JP2007518260 A JP 2007518260A JP 2008506283 A JP2008506283 A JP 2008506283A
- Authority
- JP
- Japan
- Prior art keywords
- ray
- world point
- capture device
- image
- image capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
Description
本願は、参照により本明細書にその全体が組み込まれる2004年6月22日出願の米国仮特許出願第60/581,868号の特典を主張するものである。
本発明は、米国陸軍によって与えられた交付番号DAAD19−01−2−0012の下で政府援助を伴ってなされたものである。政府は、本発明における一定の権利を有する。
Book III of Euclid’s Elements D.Nister、An Efficient Solution to the Five−Point Relative Pose Problem、IEEE Conference on Computer Vision and Pattern Recognition、Volume 2、pp.195−202、2003
ただしsは投射の傾きである。
一実施形態では、変換は第1ワールド・ポイント3021をy軸上に維持しなければならない。したがって、第1ワールド・ポイント3021の位置はy=mであると求められる。さらに、投射800の直線方程式が以下のようになるように、第1および第2ワールド・ポイント3021、3022を通る軸の投射線800が配置される。
ただしkは投射800の傾きである。
さらに、変換は、第2ワールド・ポイント3022を第2光線3002上に維持する。したがって、第2光線3002の投射と投射800とは第2ワールド・ポイント3022の投射(b,c)で交わり、投射(b,c)は、以下のようなx座標bを有する。
図8から明らかなように、有効な変換は、以下の式に従ってワールド・ポイント302のxy座標(x,y)をxy座標(x’,y’)に写像する。
u≡D/b (式5)
のようにスカラuを定義し、ピタゴラスの定理により、(k2+1)b2=D2であることに注目することによって式4を書き直すことができる。
u2=1+k2 (式6)
したがって、式2、3、および5により、式4の変換を以下のように書き直すことができる。
図6に戻ると、第1および第2ワールド・ポイント3021、3022が対応する光線300上に適切に変換された後、方法600はステップ608に進み、図4の円404で画定される円筒の周りの垂直軸(例えば垂直軸400)の回転運動によって第3光線上に写像されたワールド・ポイントのファミリを求める。方法600はステップ610で終了する。
一実施形態では、式7の変換を、ワールド・ポイントの均質座標X=[x y z 1]Tを新しい均質座標X’に写像する完全3次元変換として解釈することにより、第3光線上に写像されるワールド・ポイントのファミリを求めることができ、以下が得られる。
a1+ka2+ua3=0 (式9)
である場合にのみ、平面L=[l1 l2 l3 l4]T上にある。
ただし、
a1≡xl1+yl2+sDI2 (式10)
a2≡xl2−yl1−DI2 (式11)
a3≡zl3+l4 (式12)
第3光線は、2つの平面LおよびL’で表すことができ、L’を用いて同様にa1’、a2’、a3’を定義した場合、以下を得る。
a1+ka2+ua3=0 (式9)
a1’+ka2’+ua3’=0 (式13)
kおよびuをそれぞれ取り除くと、
u(a2’a3−a2a3’)=(a2a1’−a2’a1) (式14)
−k(a2’a3−a2a3’)=(a3a1’−a3’a1) (式15)
式15および16を式6に挿入すると、
(a2a1’−a2’a1)2=(a2’a3−a2a3’)2+(a3a1’−a3’a1)2 (式16)
d4≡(d1×d2)/|d1×d2| (式17)
これはz軸に平行となるべき方向である。
次いで、x軸に平行となる方向は、以下のように定義される。
d5≡d1×d4 (式18)
式17および式18の条件は、光線が以下の回転で回転する場合に満たされる。
R1≡[d5 d1 d4]T (式19)
式1で定義される第2光線の傾きsは、
s≡(d1Td2)/(d5Td2) (式20)
さらに、第1光線が垂直軸と交わる点が原点に配置され、それによってその点が以下のように与えられる。
ただし、α≡(d1−sd5)T(p2−p1) (式22)
したがって、光線をその開始位置に移動させる変換は、
ステップ1006では、方法1000は、ワールド・ポイント(例えばワールド・ポイント302)をその正準位置に整列させる。一実施形態では、ワールド・ポイントはq1、q2、およびq3として与えられる。ワールド・ポイントをその開始位置に移動させるために、まず、第2光線がそのときにz座標eがz座標p2であるz平面内に完全にあることを観察することができる。
さらに、以下を観察することができる。
d6≡[D 0 e]T/|q1−q2| (式25)
は、原点から、第2ワールド・ポイントを配置すべき位置に向かう方向の単位ベクトルである。変換前は、この方向は、
d7≡(q1−q2)/|q1−q2| (式26)
d8≡[0 1 0]T (式27)
および
d9≡(d7×(q3−q1))/|d7×(q3−q1)| (式28)
も定義される。ただしd8およびd9は、それぞれd6およびd7に対して垂直な単位ベクトルである。したがって、所望の回転は、
R2≡[d6 d8 (d6×d8)][d7 d9 d7×d9]T (式29)
となり、点に適用される変換は、
L≡[nT−nTp3]T (式31)
および
L≡[n’T−n’Tp3]T (式32)
となる。
[x y z]d6=q3 Td6 (式33)
これにより、
x=k1 (式34)
が得られる。ただし、
x2+y2+z2=|q3|2 (式36)
の間の交差である。
式34を式36に代入した場合、以下が得られる。
y2=k2 (式37)
ただし、k2=|q3|2−z2−k1 2 (式38)
式34を式10および11に次々に代入することにより、以下が得られる。
a1=yk3+k4 (式39)
a2=yk5+k6 (式40)
a3=k7 (式41)
a1’=yk8+k9 (式42)
a2’=yk10+k11 (式43)
a3’=k12 (式44)
ただし、
k3≡l2 (式45)
k4≡l1k1+sDl2 (式46)
k5≡−l1 (式47)
k6≡l2k1−Dl2 (式48)
k7≡zl3+l4 (式49)
k8≡l’2 (式50)
k9≡l’1k1+sDl’2 (式51)
k10≡−l’1 (式52)
k11≡l’2k1−Dl’2 (式53)
k12≡zl’3+l’4 (式54)
式39から44および式38を適用すると、式17の表現は以下のように拡張される。
a2a’1−a’2a1=k13y+k14 (式55)
a’2a3−a2a’3=k15y+k16 (式56)
a3a’1−a’3a’1=k17y+k18 (式57)
ただし、
k13≡k5k9+k6k8−k3k11−k4k10 (式58)
k14≡k6k9−k4k11+k2(k5k8−k3k10) (式59)
k15≡k7k10−k5k12 (式60)
k16≡k7k11−k6k12 (式61)
k17≡k7k8−k3k12 (式62)
k18≡k7k9−k4k12 (式63)
式55〜57の右辺を2乗し、式16に代入し、再び式38を適用すると、
k19=k20y (式64)
ただし
k19≡k2(k13 2−k15 2−k17 2)+k14 2−k16 2−k18 2 (式65)
k20≡2(k15k16+k17k18−k13k14 (式66)
式64を2乗し、再び式38を適用すると、以下が得られる。
k21=0 (式67)
ただし、
k21≡k19 2−k2k20 2 (式68)
ステップ1010で8次多項式が確立された後、方法1000はステップ1012に進み、8次多項式の根を抽出する。一実施形態では、根は、随伴行列を固有値分解することによって抽出される。
一実施形態では、8次多項式がまず正規化され、その結果以下のように書くことができる。
z8+β7z7+β6z6+...+β0 (式69)
次いで、根が8×8随伴行列の固有値として見つけられる。
d10=(d6×[x y z]T)/|d6×[x y z]T| (式71)
次いで、所望の回転は、
R4≡[d6 d10 (d6×d10)][d6 d8 (d6×d8)]T (式72)
また、ワールド・ポイントに適用される変換は、
H=H1 −1H3H4H2 (式74)
図12は、汎用コンピューティング装置1200を使用して実装されるカメラ・ポーズ推定方法の高レベルブロック図である。一実施形態では、汎用コンピューティング装置1200はプロセッサ1202、メモリ1204、カメラ・ポーズ推定モジュール1205、およびディスプレイ、キーボード、マウス、モデムなどの様々な入出力(I/O)装置1206を備えることができる。一実施形態では、少なくとも1つのI/O装置は記憶装置(例えばディスク・ドライブ、光ディスク・ドライブ、フロッピィ・ディスク・ドライブ)である。通信チャネルを介してプロセッサに結合された物理的装置またはサブシステムとしてカメラ・ポーズ推定モジュール1205を実装できることを理解されたい。
Claims (10)
- イメージ取込み装置の潜在的ポーズを決定する方法において、前記潜在的ポーズが6つの自由度を有する方法であって、
前記イメージ取込み装置で取り込んだイメージを受け取るステップであって、前記イメージが少なくとも第1の既知のワールド・ポイント、第2の既知のワールド・ポイント、および第3の既知のワールド・ポイントのイメージを含み、および
前記イメージ取込み装置に対する前記イメージの既知の関係に従って前記潜在的ポーズに対して制約を実施するステップと、
第1光線、第2光線、および第3光線によって与えられる制約を実施するステップであって、前記第1光線、前記第2光線、および前記第3光線がそれぞれ、前記イメージ取込み装置から、それぞれ前記第1の既知のワールド・ポイント、前記第2の既知のワールド・ポイント、および前記第3の既知のワールド・ポイントに投射し、および
前記制約に従って少なくとも1つの潜在的ポーズを決定するステップと
を含むこと
を含む方法。 - 前記実施するステップが、
前記潜在的ポーズが残りの2つの自由度に制限されるように前記第1光線および前記第2光線で与えられる制約をまず実施するステップ、および
前記第3ポイント、前記第3光線、および前記残りの2つの自由度に従って前記潜在的ポーズをさらに制限するステップと
を含む請求項1に記載の方法。 - 前記残りの2つの自由度が、
前記第3の既知のワールド・ポイントの変換を表す第1自由度と、
前記イメージ取込み装置を前記第3既知のワールド・ポイントに投射する第3光線の少なくとも1つの可能な位置を表す第2自由度と
を含む請求項2に記載の方法。 - 前記第1自由度が、前記イメージ取込み装置に対する前記第3の既知のワールド・ポイントの位置を円で画定されるエリア内に制限し、前記第2自由度が、前記イメージ取込み装置に対する前記第3光線の位置を線織4次曲面で画定されるエリア内に制限し、前記円と前記線織4次曲面が複数の交点を有する請求項3に記載の方法。
- 前記複数の交点のそれぞれが、前記第1ワールド・ポイント、前記第2ワールド・ポイント、および前記第3ワールド・ポイントに対する前記イメージ取込み装置の潜在的ポーズを特定する請求項4に記載の方法。
- 前記イメージ取込み装置が非中心投射イメージ形成モデルに準拠する請求項1に記載の方法。
- 前記イメージ取込み装置が、マルチカメラ・リグ、カタディオプトリック・カメラ、ジオプトリック・カメラ、またはマルチレンズ・カメラのうちの少なくとも1つを含む請求項6に記載の方法。
- 前記イメージ取込み装置が、異なる位置に配置された複数のカメラを含み、前記複数のカメラの相対的向きが既知である請求項6に記載の方法。
- 複数の命令が格納されたコンピュータ可読媒体であって、前記複数の命令が、プロセッサで実行されたときに、イメージ取込み装置の潜在的ポーズを決定する方法の工程をプロセッサに実行させる命令を含み、前記潜在的ポーズが6つの自由度を有し、前記方法が、
前記イメージ取込み装置で取り込んだイメージを受け取るステップであって、前記イメージが少なくとも第1の既知のワールド・ポイント、第2の既知のワールド・ポイント、および第3の既知のワールド・ポイントのイメージを含み、および
前記イメージ取込み装置に対する前記イメージの既知の関係に従って前記潜在的ポーズに対して制約を実施することであって、
第1光線、第2光線、および第3光線によって与えられる制約を実施するステップであって、前記第1光線、前記第2光線、および前記第3光線がそれぞれ、前記イメージ取込み装置から、それぞれ前記第1の既知のワールド・ポイント、前記第2の既知のワールド・ポイント、および前記第3の既知のワールド・ポイントに投射し、および
前記制約に従って少なくとも1つの潜在的ポーズを決定するステップと
を含む
コンピュータ可読媒体。 - イメージ取込み装置の潜在的ポーズを決定する装置において、前記潜在的ポーズが6つの自由度を有し、
前記イメージ取込み装置で取り込んだイメージを受け取る手段であって、前記イメージが少なくとも第1の既知のワールド・ポイント、第2の既知のワールド・ポイント、および第3の既知のワールド・ポイントのイメージを含む手段と、
前記イメージ取込み装置に対する前記イメージの既知の関係に従って前記潜在的ポーズに対して制約を実施する手段であって、
第1光線、第2光線、および第3光線によって与えられる制約を実施する手段であって、前記第1光線、前記第2光線、および前記第3光線がそれぞれ、前記イメージ取込み装置から、それぞれ前記第1の既知のワールド・ポイント、前記第2の既知のワールド・ポイント、および前記第3の既知のワールド・ポイントに投射する手段と、
前記制約に従って少なくとも1つの潜在的ポーズを決定する手段と
を含む
装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US58186804P | 2004-06-22 | 2004-06-22 | |
US60/581,868 | 2004-06-22 | ||
PCT/US2005/022211 WO2006002298A2 (en) | 2004-06-22 | 2005-06-22 | Method and apparatus determining camera pose |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008506283A true JP2008506283A (ja) | 2008-02-28 |
JP4772789B2 JP4772789B2 (ja) | 2011-09-14 |
Family
ID=35782335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007518260A Expired - Fee Related JP4772789B2 (ja) | 2004-06-22 | 2005-06-22 | カメラ・ポーズを決定する方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7613323B2 (ja) |
EP (1) | EP1759332A2 (ja) |
JP (1) | JP4772789B2 (ja) |
WO (1) | WO2006002298A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324386A (zh) * | 2008-08-22 | 2013-09-25 | 谷歌公司 | 移动设备上的三维环境中的导航 |
US8224071B2 (en) * | 2009-06-30 | 2012-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for registering 3D points with 3D planes |
US8971641B2 (en) * | 2010-12-16 | 2015-03-03 | Microsoft Technology Licensing, Llc | Spatial image index and associated updating functionality |
TWI425454B (zh) * | 2010-12-28 | 2014-02-01 | Ind Tech Res Inst | 行車路徑重建方法、系統及電腦程式產品 |
US8825373B1 (en) * | 2012-12-05 | 2014-09-02 | Google Inc. | Correcting path errors for vehicle navigation |
US9904852B2 (en) | 2013-05-23 | 2018-02-27 | Sri International | Real-time object detection, tracking and occlusion reasoning |
US20150097929A1 (en) * | 2013-10-09 | 2015-04-09 | United Sciences, Llc. | Display for three-dimensional imaging |
US11372455B2 (en) * | 2019-02-15 | 2022-06-28 | The Johns Hopkins University | Imaging sensor-based position detection |
WO2021236884A1 (en) | 2020-05-20 | 2021-11-25 | Passio, Inc. | Food-recognition systems and methods |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001180579A (ja) * | 1999-12-27 | 2001-07-03 | Kawasaki Heavy Ind Ltd | 作業船支援方法および作業船支援システム |
JP2003106813A (ja) * | 2001-06-22 | 2003-04-09 | Jena Optronik Gmbh | ビデオメータを用いて空間内の剛体の状態値を決定するための方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5259037A (en) | 1991-02-07 | 1993-11-02 | Hughes Training, Inc. | Automated video imagery database generation using photogrammetry |
US5633995A (en) * | 1991-06-19 | 1997-05-27 | Martin Marietta Corporation | Camera system and methods for extracting 3D model of viewed object |
EP0576843A2 (en) * | 1992-06-24 | 1994-01-05 | Siemens Corporate Research, Inc. | A method and apparatus for orienting a camera |
US5525883A (en) * | 1994-07-08 | 1996-06-11 | Sara Avitzour | Mobile robot location determination employing error-correcting distributed landmarks |
US5699444A (en) * | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
US5974348A (en) * | 1996-12-13 | 1999-10-26 | Rocks; James K. | System and method for performing mobile robotic work operations |
US5798563A (en) * | 1997-01-28 | 1998-08-25 | International Business Machines Corporation | Polytetrafluoroethylene thin film chip carrier |
JP4794708B2 (ja) * | 1999-02-04 | 2011-10-19 | オリンパス株式会社 | 3次元位置姿勢センシング装置 |
JP3776340B2 (ja) * | 2000-09-27 | 2006-05-17 | エムヴイテック・ソフトウェア・ゲーエムベーハー | 対象物認識システム及び方法 |
US7362969B2 (en) * | 2001-05-29 | 2008-04-22 | Lucent Technologies Inc. | Camera model and calibration procedure for omnidirectional paraboloidal catadioptric cameras |
US6974348B2 (en) * | 2004-03-04 | 2005-12-13 | Commscope Solutions Properties, Llc. | High-density multi-port-module patch panel system |
-
2005
- 2005-06-22 US US11/159,967 patent/US7613323B2/en not_active Expired - Fee Related
- 2005-06-22 WO PCT/US2005/022211 patent/WO2006002298A2/en not_active Application Discontinuation
- 2005-06-22 EP EP05763253A patent/EP1759332A2/en not_active Withdrawn
- 2005-06-22 JP JP2007518260A patent/JP4772789B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001180579A (ja) * | 1999-12-27 | 2001-07-03 | Kawasaki Heavy Ind Ltd | 作業船支援方法および作業船支援システム |
JP2003106813A (ja) * | 2001-06-22 | 2003-04-09 | Jena Optronik Gmbh | ビデオメータを用いて空間内の剛体の状態値を決定するための方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1759332A2 (en) | 2007-03-07 |
US7613323B2 (en) | 2009-11-03 |
US20060013437A1 (en) | 2006-01-19 |
WO2006002298A2 (en) | 2006-01-05 |
JP4772789B2 (ja) | 2011-09-14 |
WO2006002298A3 (en) | 2006-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4772789B2 (ja) | カメラ・ポーズを決定する方法および装置 | |
Scaramuzza et al. | Appearance-guided monocular omnidirectional visual odometry for outdoor ground vehicles | |
KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
EP3428875A1 (en) | Methods and apparatuses for panoramic image processing | |
JP2019536170A (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
CN110070598B (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
US20040239756A1 (en) | Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments | |
JP2014032666A (ja) | 周囲状況に対するカメラの姿勢を求めるための方法 | |
Won et al. | End-to-end learning for omnidirectional stereo matching with uncertainty prior | |
JP2004062758A (ja) | 情報処理装置および方法 | |
CN108917753B (zh) | 基于从运动恢复结构的飞行器位置确定方法 | |
JP2005115420A (ja) | 三次元形状生成装置 | |
CN109300143A (zh) | 运动向量场的确定方法、装置、设备、存储介质和车辆 | |
KR20140054710A (ko) | 3차원 지도 생성 장치 및 3차원 지도 생성 방법 | |
JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
CN113345032B (zh) | 一种基于广角相机大畸变图的初始化建图方法及*** | |
KR102361133B1 (ko) | 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치 | |
Pachidis et al. | Pseudostereo-vision system: A monocular stereo-vision system as a sensor for real-time robot applications | |
KR102333768B1 (ko) | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 | |
JP4389663B2 (ja) | 画像処理方法及び画像処理装置 | |
Ohnishi et al. | Featureless robot navigation using optical flow | |
Lee et al. | Large motion estimation for omnidirectional vision | |
Murray et al. | Patchlets: Representing stereo vision data with surface elements | |
CN113048985B (zh) | 已知相对旋转角度条件下的像机相对运动估计方法 | |
KR102310958B1 (ko) | 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110601 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110622 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |