JP4195382B2

JP4195382B2 - 線の自動較正によって拡張可能な追跡システム

Info

Publication number: JP4195382B2
Application number: JP2003538815A
Authority: JP
Inventors: ウルリッヒノイマン，; ボランジャン，
Original assignee: ユニバーシティオブサウザーンカリフォルニア
Priority date: 2001-10-22
Filing date: 2002-10-22
Publication date: 2008-12-10
Anticipated expiration: 2022-10-22
Also published as: US20030076996A1; US7239752B2; JP2005507109A; DE10297343T5; AU2002337944A1; WO2003036384A3; WO2003036384A2

Description

発明の背景

[0001]本発明は概して、拡張現実感の用途に関連して使用する追跡システムに関する。

[0002]拡張現実感（ＡＲ）システムは、実環境に仮想の物体を表示するのに使用される。ＡＲシステムには、映画の特殊効果、医療データの表示、及びシミュレーション環境を使用した訓練など、広範囲に渡る用途がある。仮想の物体を実環境に挿入する錯覚を効果的に生じさせるためには、ユーザが実環境内を動き回るときには、その実環境内におけるユーザの視点（以下「カメラ姿勢」）が変化するので、変化のたびに正確に追跡せねばならない。

[0003]概して、実環境におけるカメラ姿勢は、その環境内の現実の物体の前較正を行うことによって初期設定できる。実環境における特定の物体や特徴の位置を前較正し、カメラ姿勢の初期写像によって生成された画像を分析することによって、初期のカメラ姿勢に関するパラメータを計算できる。このようにして、カメラ姿勢を初期設定する。次に、所与のフレーム内のカメラの視点に従って、適切にかつ現実に即した形で仮想の物体を実環境内に統合できるよう、その実環境内で移動するカメラの視点を、変化のたびに追跡していかねばならない。この種の追跡は「物体中心追跡」と称され、変化するカメラ姿勢を追跡するために実環境内の物体を利用する。ＡＲシステムの効果は、少なくとも部分的には、実環境内での現実の物体の整合と注釈に依存している。

[0004]過去に、拡張現実感システムと共に使用するための、様々な種類の物体中心追跡システムが利用されてきた。例えば、環境内のカメラ姿勢を追跡するために、実環境内の物体上に存在している点特徴を用いる自己追跡システムが使用されてきた（Ｒ．Ａｚｕｍａ、“ＳｕｒｖｅｙｏｆＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ”、Ｐｒｅｓｅｎｃｅ：ＴｅｌｅｏｐｅｒａｔｏｒｓａｎｄＶｉｒｔｕａｌＥｎｖｉｒｏｎｍｅｎｔｓ（拡張現実感の調査、存在：遠隔操作装置と仮想環境）６（４）、３５５−３８５（１９９７年８月）、Ｕ．ＮｅｕｍａｎｎａｎｄＹ．Ｃｈｏ、“ＡＳｅｌｆ−ＴｒａｃｋｉｎｇＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＳｙｓｔｅｍ”、ＰｒｏｃｅｅｄｉｎｇｓｏｆＡＣＭＶｉｒｔｕａｌＲｅａｌｉｔｙＳｏｆｔｗａｒｅａｎｄＴｅｃｈｏｌｏｇｙ（自己追跡拡張現実感システム、ＡＣＭ仮想現実ソフトウェアと技術会報）、１０９−１１５（１９９６年７月）、Ｊ．Ｐａｒｋ、Ｂ．Ｊｉａｎｇ、ａｎｄＵ．Ｎｅｕｍａｎｎ、“Ｖｉｓｉｏｎ−ｂａｓｅｄＰｏｓｅＣｏｍｐｕｔａｔｉｏｎ：ＲｏｂｕｓｔａｎｄＡｃｃｕｒａｔｅＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＴｒａｃｋｉｎｇ”、ＰｒｏｃｅｅｄｉｎｇｓｏｆＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ（ＩＷＡＲ）’９９（仮想ベースの位置計算：堅牢で正確な拡張現実感）（１９９９年１０月）、Ａ．Ｓｔａｔｅ、Ｇ．Ｈｉｏｒｔａ、Ｄ．Ｃｈｅｎ、Ｂ．Ｇａｒｒｅｔｔ、ａｎｄＭ．Ｌｉｖｉｎｇｔｏｎ、“ＳｕｐｅｒｉｏｒＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＲｅｇｉｓｔｒａｔｉｏｎｂｙＩｎｔｅｇｒａｔｅｉｎｇＬａｎｄｍａｒｋＴｒａｃｋｉｎｇａｎｄＭａｇｎｅｔｉｃＴｒａｃｋｉｎｇ”、ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ’９６（ランドマーク追跡機能と磁気追跡機能の統合による、優れた拡張現実感の登録、ＳＩＧＧＲＡＰＨ会報９６）、Ｇ．ＷｅｌｃｈａｎｄＧ．Ｂｉｓｈｏｐ、“ＳＣＡＡＴ：ＩｎｃｒｅｍｅｎｔａｌＴｒａｃｋｉｎｇｗｉｔｈＩｎｃｏｍｐｌｅｔｅＩｎｆｏｒｍａｔｉｏｎ”、ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＧＲＡＰＨ’９６（ＳＩＧＧＲＡＰＨ:不完全情報でのインクリメンタル追跡、ＳＩＧＧＲＡＰＨ会報９６）、４２９−４３８（Ａｕｇｕｓｔ１９９６））。これらのシステム及びその他の類似したシステムでは、システムオペレータが人為的ランドマークを配置及び較正できる調整された環境が必要である。そして、変化するカメラ姿勢を追跡するために、前較正したランドマークの既知の特徴を使用する。残念ながら、このような前較正点特徴追跡法の使用は、前較正ランドマークが目視可能な環境内に制限されてしまう。カメラ姿勢が前較正点特徴を目視できる環境部分から逸れた場合には、この追跡法の確度は低下し、ついには機能しなくなる。したがって、このようなシステムの範囲と有用性には限界がある。

[0005]可視ランドマークに対する依存度を軽減し、それによって環境内の追跡範囲を拡張するため、環境内の未知の点特徴を自動較正することによる、他の追跡法が利用されてきた（Ｕ．ＮｅｕｍａｎｎａｎｄＪ．Ｐａｒｋ、“ＥｘｔｅｎｄｉｂｌｅＯｂｊｅｃｔ−ＣｅｎｔｒｉｃＴｒａｃｋｉｎｇｆｏｒＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ”（拡張現実感用拡張可能物体中心追跡）、ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＶｉｒｔｕａｌＲｅａｌｉｔｙＡｎｎｕａｌＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍ１９９８（ＩＥＥＥ仮想現実年次国際シンポジウム１９９８）、１４８−１５５（１９９８年３月）、Ｂ．Ｊｉａｎｇ、Ｓ．ＹｏｕａｎｄＵ．Ｎｅｕｍａｎｎ、“ＣａｍｅｒａＴｒａｃｋｉｎｇｆｏｒＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＭｅｄｉａ”（拡張現実感メディア用カメラ追跡）、ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａａｎｄＥｘｐｏ２０００（ＩＥＥＥマルチメディア国際会議およびＥｘｐｏ２０００の会報）、１６３７−１６４０（２０００年７月３０−８月２日）、ＮｅｗＹｏｒｋ、ＮＹ．）。これらの追跡法及び類似の追跡法では「自動較正」が用いられているが、これは、変化するカメラ姿勢を追跡しながら、未較正の特徴を感知して追跡データベースに統合することにより、この新特徴を動的に較正する追跡システムの能力に関する。追跡データベースは、前較正されたデータだけを使用して初期設定されるため、このような点特徴自動較正追跡法のデータベースの成長によって、追跡領域が半自動的に拡張する。このような点特徴自動較正技術により、追跡範囲は前較正されたランドマークに占められた小さな調整済み領域から、前較正されたランドマークのどれもユーザの視野にない大きな未調整の領域へと効果的に拡張した。しかし残念なことに、このような追跡法は、環境内の点特徴のみに依存している。したがって、これらの方法は、識別可能な点特徴のない環境や目視できる点特徴の位置座標が未知であるような環境では効果を発揮しない。さらに、その場面でのカメラ姿勢と物体の構造を再生するこのような方法では、絶対カメラ姿勢ではなく、相対カメラ姿勢が生成されるので、拡張現実感の用途に適さない場合もある。

[0006]さらに、他の追跡法では、環境内で前較正された線特徴を利用する（Ｒ．ＫｕｍａｒａｎｄＡ．Ｈａｎｓｏｎ、“ＲｏｂｕｓｔＭｅｔｈｏｄｓｆｏｒＥｓｔｉｍａｔｉｎｇＰｏｓｅａｎｄａＳｅｎｓｉｔｉｖｉｔｙＡｎａｌｙｓｉｓ”（カメラのポーズ点を推測するための堅牢な方法と感度分析）、ＣＶＧＩＰ：ＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ（ＣＶＧＩＰ：画像の理解）、第６０巻、３号、１１月、３１３−３４２、１９９４年）。線特徴は、点特徴に比べ数多くの情報を提供するので、点特徴よりも高い信頼性の下に追跡を行うことができる。線特徴は、点特徴がまったくない環境や未知の点特徴だけの環境における追跡の目的にも有効である。しかし、線に関する数学的定義は、単純な点特徴のそれに比べ、非常に複雑である。線の定義には数学的複雑さが伴うため、数学的にあまり複雑ではない点特徴が自動較正法に適していたようには、線特徴は適さなかった。したがって、線特徴を利用する追跡法は前較正したランドマークの可視性に依存しており、元々、環境の範囲に限界があった。このように、線特徴追跡法は、線特徴が未知で未較正であったり、前較正された線特徴が目視できない広い環境には適さなかった。

[0007]上記の様々な問題を考えると、追跡に未較正の線特徴を使用する堅牢な拡張現実感追跡システムが必要である。さらに、目視できる前較正線特徴に依存しない線特徴追跡システムも必要である。

[0008]本発明の一つの態様では、実環境の画像を観察するときのカメラ姿勢の推定方法は、画像内の線特徴の特定と、線特徴を定義する４つのパラメータの各値の特定と、カメラ姿勢に関する複数のパラメータの各値の推定と、４つの各線特徴パラメータの特定値とカメラ姿勢に関する複数のパラメータの推定値とを挿入することによって、４つの線特徴パラメータとカメラ姿勢パラメータに関する連立方程式の求解とを含んでいる。

[0009]本発明のもう一つの態様では、実環境内の線特徴の自動較正方法は、第一のカメラ姿勢から観察した環境の第一の画像の線特徴の特定と、第二のカメラ姿勢から観察した環境の第二の画像の線特徴の特定と、その特定された線特徴を定義する４つの線特徴パラメータの計算のための第一のカメラ姿勢を定義する第一のカメラ姿勢パラメータ組と第二のカメラ姿勢を定義する第二のカメラ姿勢パラメータ組との使用とを含んでいる。

[0010]本発明のさらにもう一つの態様では、コンピュータ可読媒体が、コンピュータにロードされた後の実行時に、実環境の画像が観察されるカメラ姿勢の推定方法を引き起こす、コンピュータに実行可能な命令を格納しており、この方法は、画像の線特徴の特定と、線特徴を定義する４つのパラメータの各値の特定と、カメラ姿勢に関する複数のパラメータの各値を推定する処理と、４つの各線特徴パラメータの特定値とカメラ姿勢に関する複数のパラメータの推定値とを挿入することによって、４つの線特徴パラメータとカメラ姿勢パラメータに関する連立方程式の求解を含む。

[0011]本発明のさらにもう一つの態様では、コンピュータ可読媒体が、コンピュータにロードされた後の実行時に、実環境内の線特徴を自動較正する方法を引き起こすコンピュータが実行できる命令を格納しており、この方法は、第一のカメラ姿勢から観察した環境内の第一の画像の線特徴の特定と、第二のカメラ姿勢から観察した環境内の第二の画像の線特徴の特定と、この特定された線特徴を定義する４つの線特徴パラメータを計算するための第一のカメラ姿勢を定義する第一のカメラ姿勢パラメータ組と第二のカメラ姿勢を定義する第二のカメラ姿勢パラメータ組との使用とを含む。

[0012]本発明のその他の実施形態は、当業者であれば、図解により本発明の模範的実施形態だけを記載した以下の詳細な説明から、すぐに理解できると考えられる。これらの説明から分かるように、本発明は、他の実施形態および異なる実施形態でも可能であり、そのいくつかの詳細な内容は、本発明の意図や適用範囲から一切逸脱することなく他の様々な観点から修正してもよい。したがって、図面や詳細な説明は、本発明を制限することを目的とするのではなく、単に説明することだけを目的としていると見なされるべきである。

[0013]本発明の態様を、制限するのではなく例としてあげる目的で、以下の添付図面に図解する。

実施形態の詳細な説明

[0019]添付の図面に関連して以下に記載されている詳細な説明は、本発明の模範的実施形態を説明することを目的としており、本発明を実施できる実施形態だけを記述することを目的としているわけではない。本説明全体を通じて使用されている「代表」という用語は、「例、事例、または図解としての役割を果たす」という意味であり、必ずしも他の実施形態より好ましいかあるいは有利なように構成されていることを意味するわけではない。詳細な説明には、本発明を完全に理解できるようにすることを目的とした、特定の詳細な説明が記載されている。ただし、当業者であれば、これらの特定の詳細な説明がなくても本発明を実施できることを理解するであろう。本発明の概念のあいまいさを極力排除するために、よく知られた構造や装置はブロック図の形式で表した。

[0020]図１は、仮想物体を環境内に適正に追加することができるように、環境内の現実の物体の位置と相対的にカメラ姿勢を追跡する環境を表している。具体的には、図１に示されている環境には、現実のテーブル１０２が含まれており、カメラ１０４によって観察されている。環境内の各物体をそこにある他のすべての物体と関連付けられるように、物体のそれぞれの局所座標系間で変換が行われている。例えば、テーブル１０２は、「実」座標系１０６内に存在しており、仮想の椅子１０８は、「仮想」座標系１１０内に存在しており、カメラ１０４は、「カメラ」座標系１１２内に存在しており、これらのそれぞれが現実世界の「ワールド」座標系１１４に個別に関連付けられている。

[0021]カメラ姿勢が環境内で変化するごとに、固定ワールド座標系と相対的にカメラ姿勢を追跡することによって、テーブル１０２と椅子１０８の相対的位置が維持される。追跡プロセスでは、各局所座標系間での変換が行われる。弧１１６は、「実」座標系１０６と「カメラ」座標系１１２との間で行われた変換を表し、弧１１８は、「実」座標系１０６と「仮想」座標系１１０との間で行われた変換を表している。同様に、弧１２０は、「カメラ」座標系１１２と「仮想」座標系１１０との間で行われた変換を表している。これらの弧のそれぞれが相関関係を持っており、環境内の物体によって表現されているおよびワールド座標系のいずれかとの間で行われた変換を表している。環境内の物体のそれぞれは、適切な変換マトリクスで変換されたときに別の座標系内に正しく表現できるよう、固有の座標系内に位置座標を所有している。したがって、弧１１６及び弧１１８によって表される適切な変換を実施することによって、各物体の位置座標をそれぞれ相対的に保持することができる。これは、どのような仮想物体を環境内に挿入するのであっても、その配置を正確に決定するために必要である。局所「カメラ」座標系１１２内と「仮想」座標系１１０内の各仮想物体間の変換を知ることにより、各仮想物体を環境内に正しく配置することができ、カメラの視点からの見かけが妥当なものとなる。

[0022]前述のように、本発明の一実施形態は、カメラ姿勢が変化するときに、環境内における未較正の線特徴の追跡を含む。例えば、図１では、テーブル１０２は、テーブルの上面やテーブルの足のいずれか１つを構成する線特徴など、複数の線特徴を含んでいる。カメラ１０４によって環境を観察する最初のフレーム内で、このような線特徴の１つを選択し、複数の後続フレームを通じて追跡してもよい。複数のフレームを通じて単一の線特徴を追跡することによって、カメラ姿勢そのものを含む各物体の相対的位置を追跡することができ、またその相対的位置に従ってそれらを保持することができる。上記のような複数の一連の変換を伴う追跡計算は、概して複雑である。したがって、効率的で実行可能であるようにするために、追跡する線特徴を最小表現でモデル化する。本発明の代表的実施形態では、線特徴は４つ以下の変数パラメータを持つ最小表現でモデル化されている。したがって、最小表現でモデル化された線特徴の自由度は４でしかないから、ここに記載する動的較正追跡法に関連する複雑な数学計算に適している。

[0023]図２は、追跡した線特徴を４つの一意変数パラメータ（ｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2）及び４つの定数パラメータ（Ｔ₁、Ｒ₁、Ｔ₂、Ｒ₂）によって表現するための方法の代表例を表している。４つの定数パラメータのそれぞれに、複数の要素が含まれていることを理解されたい。例えば、この代表的実施形態では、Ｔ₁とＴ₂がそれぞれ３次元ベクトルであり、Ｒ₁とＲ₂がそれぞれ３×３の回転マトリクスである。したがって、Ｔ₁とＴ₂は、合計６個の要素を表し、Ｒ₁とＲ₂は合計１８個の要素を表している。ただし、ここでは、各ベクトルＴ₁、Ｔ₂及び各回転マトリクスＲ₁、Ｒ₂を単に「定数パラメータ」と呼んでおり、各定数パラメータは複数の要素を含んでいることを理解されたい。代表的実施形態では、カメラによって異なるカメラ姿勢で捕捉されたその環境の複数の画像を通しての環境内の線特徴の追跡は、最初に線分の特定及び較正を伴う。画像内に３次元（３Ｄ）線（Ｌ）２０２が観され、かつ、この画像のカメラ姿勢がすでに判明している場合には、カメラの中心（Ｏ₁）２０４と検出された線分ｌ ₁ ２１２が、３Ｄ線（Ｌ）２０２を通過する背景映写面（π₁）２０６を構成する。第二の背景映写面（π₂）２１０が３Ｄ線（Ｌ）２０２を通過するように、カメラの新しい中心（Ｏ₂）２０８の位置からカメラが３Ｄ線（Ｌ）２０２を第二の画像内に観察すると、これら２つの背景映写面（π₁、π₂）２０６、２１０が、３Ｄ線（Ｌ）２０２を定義できる。具体的には、面２０６と面２１０の交点が、線２０２を定義する。

[0024]面π₁ ２０６は、ｎ₁が３次元ベクトルであり、ｄ₁がスカラーであるワールド座標で

として表現できる。同様に、面π₂は、

として表現できる。３Ｄ線（Ｌ）２０２は、これら２つの面の交点によって表現できるが、３Ｄ線（Ｌ）２０２についての表現、すなわち

及び

は最小ではない。つまるところ３Ｄ線（Ｌ）２０２は、４つの一意変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2及び４つの定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂によって表現される。４つの変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2は、２種類の局所座標系内で３Ｄ線（Ｌ）２０２を定義する２つの面を定義しているが、これらは逆に定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂によって定義されている。原点が第一のカメラの中心Ｏ₁ ２０４である第一の局所座標系内では、面が、この面に対する法線ベクトルＮ₁＝（Ｌ_x1，Ｌ_y1，Ｌ_z1）によって表現される。同様に、面π₂は、法線Ｎ₂＝（Ｌ_x2，Ｌ_y2，Ｌ_z2）によって、第二の局所座標系内で局所的に定義でき、この座標系の原点は第二のカメラの中心Ｏ₂ ２０８である。この場合、２つの面の表現は以下のような局所表現によって４つの次元に縮小できる。

ここで

である。

ここで

である。上記のように、定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂は、２つの局所座標系とワールド座標系それぞれの間における変換を表している。当然のことながら、カメラの中心Ｏ₁ ２０４とＯ₂ ２０８は、局所座標系の原点を配置するための唯一の選択肢ではないことを理解されたい。むしろ、局所座標系の中心は、３Ｄ線（Ｌ）２０２そのもの上ではなく、他のどこか別の点に置くことができる。しかし、このような制約条件は別として、カメラの他の中心の原点Ｏ₁ ２０４とＯ₂ ２０８が、３Ｄ線（Ｌ）２０２を持つ２つの異なる面を定義して、この線を表現する。この場合、上記の連立方程式を使用して、これら２種類の面について最小表現するためのパラメータを計算する。所与の定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂に関しては、４つの変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2を変えることによって、３Ｄ線（Ｌ）２０２の表現を一意に定義してもよい。ただし、当業者であれば、所与の定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂に関して、３Ｄ空間内のすべての線を４つの変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2によって表現できるわけではないということを認識するであろう。例えば、カメラの中心Ｏ₁ ２０４とＯ₂ ２０８を通過する線、及び面π₁ ２０６と面π₂ ２１０に対する法線の一つがその対応する局所座標系のＸ−Ｙ面に平行な線は、ここに記載の最小表現によって定義されない可能性がある。しかし、所与の定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂の組で３Ｄ空間内のすべての線のサブグループを表現するには、４つの変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2によって表現される最小表現で十分である。要するに、定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂に対して１つの共通の値の組を共有する線のサブグループ内では、サブグループ内の各線を一意に定義するには、変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2の組で十分である。定変数Ｔ₁、Ｒ₁、Ｔ₂、Ｒ₂に対する異なる値により、所与の空間内のすべての３Ｄ線の異なるサブグループを表すことができる。したがって、異なるサブグループの表現を統合すれば、空間内の３Ｄ線のすべての表現を求めることができる。ある３Ｄ線は、定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂の組の異なる値で異なるサブグループ内でを表現でき、この３Ｄ線の変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2の対応する値は、異なるサブグループのそれぞれで異なる。

[0025]３Ｄ線（Ｌ）２０２の２つの写像を表す上記式では、４つのマトリクスＴ₁、Ｒ₁、Ｔ₂、Ｒ₂は定数である。Ｔ₁とＴ₂は、それぞれ、面π₁ ２０６と面π₂ ２１０のそれぞれの２つの局所座標系のワールド座標系への平行移動を定義している。Ｒ₁とＲ₂は、それぞれ、ワールド座標系に対する局所座標系の向きを定義している。Ｒ₁、Ｒ₂の定数は、第一の面π₁ ２０６と第二の面π₂２１０に対する法線がそれぞれ第一および第二の局所座標系のＺ軸に整合されるように選択されている。図２に示されているように、第一の面π₁２０６の法線はＮ₁で、第二の面π₂ ２１０の法線はＮ₂である。Ｔ₁、Ｔ₂の定数は、第一のカメラの中心（Ｏ₁）２０４と第二のカメラの中心（Ｏ₂）２０８が、それぞれ局所座標系の原点となるように選択されている。当然のことながら、当業者であれば、定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂の値は、可能な組み合わせからどれか一つを選択すればよく、これら定数に他の値を選択してもよいということは、認識できるであろう。パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2を解くのに使用される上記連立方程式では、変数ｎ₁、ｄ₁、ｎ₂、ｄ₂は、次に記載するように、２つの個別の画像に対する既知のカメラ姿勢と、３Ｄ線（Ｌ）２０２、ｌ ₁ ２１２及びｌ ₂ ２１４の画像写像とから得られる。

[0026]線（Ｌ）２０２の第一のカメラの中心（Ｏ₁）２０４から観察された部分は、ｌ ₁ ２１２として定義され、線（Ｌ）２０２の第二のカメラの中心（Ｏ₂）２０８から観察された部分は、ｌ ₂ ２１４として定義される。ｌ ₁ ２１２とｌ ₂ ２１４は、それぞれ第一のカメラの中心２０４と第二のカメラの中心２０８の局所座標系内の線（Ｌ）２０２の写像画像を表すベクトルである。ｌ ₁ ２１２とｌ ₂ ２１４は、写像された線分であるが、３Ｄ線（Ｌ）２０２は、無限の線であることを理解されたい。カメラのパラメータは既知であるので、各画像のカメラ写像マトリクスも既知である。具体的には、第一のカメラ姿勢を第一のカメラの中心（Ｏ₁）２０４に関して（Ｔ_c1，Ｒ_c1）として定義し、第二のカメラ姿勢を第二のカメラの中心（Ｏ₂）２０８に関して（Ｔ_c2，Ｒ_c2）として定義する場合には、固有のカメラマトリクスが

となり、ここでｆは焦点長、αは、アスペクト比、（ｕ ₀，ｖ ₀）は画像の中心である。第一のカメラの中心（Ｏ₁）２０４に関してＰ₁と定義されている写像マトリクスと、第二のカメラの中心（Ｏ₂）２０８に関してＰ₂と定義されている写像マトリクスは、次のように計算される。

この場合、背景映写面（π₁、π₂）２０６、２１０は、下記のように「ワールド」座標系に表現される。

写像マトリクスＰ₁とＰ₂は既知であり、線分ｌ ₁とｌ ₂の座標を観察し、特定しているので、ｎ₁、ｄ₁、ｎ₂、及びｄ₂の解は容易に求めることができる。これらの値を取得したなら、前述の連立方程式に使用して、線（Ｌ）２０２の４つの変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2と、定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂の解を求め、それに基づいて自由度が４度以下の最小表現に動的に較正される。

[0027]３Ｄ線（Ｌ）２０２は、検出され、較正されたなら、以後、別のカメラ姿勢による後続の画像内で連続的にしかも動的に較正することができる。上記の線の最小表現では、所与の定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂による４つの変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2の更新だけが必要なので、推定値更新プロセス中に環境内の画像の線特徴の動的較正が効率的に達成される。

[0028]環境に関するもう一つの代表的実施形態では、画像で目視できる線特徴の既知の表現を用いると、その画像が生成されたときの未知のカメラ姿勢が計算できる。上記のように、３Ｄ線は、面π₁と面π₂の交点によって表現される。上記のように、これら２つの面のそれぞれが、変数パラメータｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2と定数パラメータＴ₁、Ｒ₁、Ｔ₂、Ｒ₂の最小表現によって表される。

[0029]２つの面π₁とπ₂の「ワールド」座標系における表現は、それぞれ、

及び

であり、次のように計算できる。

ここで

である。カメラ平行移動マトリクスＴ_cと回転マトリクスＲ_cを有するカメラ姿勢ｘ_cは、「ワールド」座標系と「カメラ」座標系との間の変換に使用するので、決定しておかねばならない。これら２つのマトリクスは、３Ｄ線（Ｌ）の既知の特徴に従って上に定義されている面π₁と面π₂の既知の特徴から計算できる。具体的には、２つの面π₁とπ₂は、それぞれ

と

として、「カメラ」座標系に表現できる。

[0030]図３は、追跡中であり、姿勢が未知であるカメラによって捕捉された画像上に写像された代表的線特徴を表しており、カメラ姿勢はここに記載する代表的方法に従って算出される。検出された線分３０４は、捕捉された画像上で検出された線特徴の画像写像である。写像線３０２は、カメラ姿勢と３Ｄ線構造の現在の推定値に基づいた、線特徴の画像写像の推定である。写像線（ｌ _p）３０２は、式ｘｍ_x＋ｙｍ_y＋ｍ_z ＝０として表現できる。したがって、写像線３０２は、以下のように３つの定数ｍ_x、ｍ_y、ｍ_zによって表される。

写像線に関するこの式を解くためには、カメラ姿勢の初期推定値を式に挿入する。本発明の代表的実施形態では、第一の推定値は、既知のカメラ姿勢か、または前のフレームか同じ環境の近くの別の画像から計算したカメラ姿勢でよい。カメラ姿勢の推定値は、上記線の式（ｌ _p）にＲ_cとＴ_cの初期値を提供するのに使用する。４つの変数パラメータ（ｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2）と４つの定数パラメータ（Ｔ₁、Ｒ₁、Ｔ₂、Ｒ₂）を有する３Ｄ線の最小表現は、（ｎ₁、ｄ₁、ｎ₂、ｄ₂）を提供するのに使用する。ここで、写像線（ｍ_x、ｍ_y、ｍ_z）の推定値が計算され、この推定された線と実際に検出された線３０４の両端点間のオフセットｈ ₁とｈ ₂が計算される。具体的には、これらのオフセット（ｈ ₁）３０６と（ｈ ₂）３０８は、以下のように定義される。

[0031]次に、当業者にとって明らかなように、例えばカルマンフィルタなどの非線形ソルバを応用して、これらのオフセットを最小化することにより初期のカメラ姿勢推定値を調整して、線の式の近似解を求めてもよい。拡張カルマンフィルタは、位置、インクリメンタルな向き、及びそれらの第一の導関数を含むカメラの状態表現を処理することによって、カメラ姿勢を推測する。カルマンフィルタをどのように応用して、カメラ姿勢を推測し、３Ｄ線（Ｌ）２０２の写像画像を較正したらよいかは、当業者であれば明らかであろう。カルマンフィルタリングに関する詳細は、例えば、参考としてここに引用する“Ｖｉｏｓｉｏｎ−ｂａｓｅｄＰｏｓｅＣｏｍｐｕｔａｔｉｏｎ：ＲｏｂｕｓｔａｎｄＡｃｃｕｒａｔｅＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＴｒａｃｋｉｎｇ（Ｖｉｏｓｉｏｎベースのカメラ姿勢計算：堅牢で正確な拡張現実感追跡）”及び“ＣａｍｅｒａＴｒａｃｋｉｎｇｆｏｒＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＭｅｄｉａ（拡張現実感メディア用カメラ追跡）”に記載されている。

[0032]次に、カルマンフィルタの出力として得られる調整済みのカメラ姿勢の推定値は、未知であったカメラ姿勢のパラメータを提供するのに使用される。当然のことながら、オフセットを最小化し、カメラ姿勢パラメータの実際の値の最も近い推定値に近づける目的で、他の非線形ソルバを利用してもよく、本発明はカルマンフィルタの利用に限定されないことを理解されたい。カメラ姿勢の推測に使用される線特徴の３Ｄ構造に関する推定値を、その後、非線形ソルバで更新してもよい。代表的実施形態の非線形ソルバは、カメラ姿勢の推定に使用するものと同じものであってもよい。さらに、カメラ姿勢と線特徴の３Ｄ構造は、同時に推定してもよい。あるいは、個別の非線形ソルバを用いて、線特徴の３Ｄ構造を推定し、カメラ姿勢を推測してもよい。いずれの場合も、３Ｄ線特徴の４つの変数パラメータ（ｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2）の値は、非線形ソルバによって調整される一方、定数パラメータ（Ｔ₁、Ｒ₁、Ｔ₂、Ｒ₂）は変更されない。

[0033]ここに記載の各種方法を利用して追跡可能な環境を拡張できるだけでなく、上記の代表的方法を画像捕捉ルーチンを実行してリアルタイムで使用し、実際のシーン内の仮想物体の配置が後再生処理に制限されないようにしてもよい。これらの方法は、ソフトウェア誘導型なので、ビデオカメラや他の画像捕捉装置と直接接続していてもよい。

[0034]図４は、未知のカメラ姿勢を、その未知のカメラ姿勢から画像を観察した環境内で最小表現された線の既知のパラメータから計算できる代表的ソフトウェアの実施形態によって実施されているプロセスを表した機能ブロック図である。実環境のカメラ画像から、カメラ画像上に写像された環境内の線特徴が、ブロック４０２で検出される。３Ｄ線の表現は、線特徴が、カメラ画像を捕捉する前に前較正されていたかまたは動的に較正されていたかのどちらかの理由で、既知である。線を動的に較正する必要がある場合には、４つの変数パラメータと定数パラメータを有する最小表現が使用される。動的に較正する必要のない前較正された線に関しては、本発明の最小表現は必要がないことが、当業者によって理解されよう。ブロック４０４では、推測されたカメラ姿勢に関するパラメータが、検出された線特徴の既知のパラメータとともに、連立方程式に挿入されている。例えば、推測されたカメラ姿勢は、前のフレームからすでに計算されたカメラ姿勢（例えば、処理中の現在の画像を含む画像シーケンス内に捕捉されている前の画像など）であってもよい。推定されたカメラ姿勢に関するパラメータに基づいて、ブロック４０６で線特徴の推定値を得るため連立方程式が解かれる。実際に検出された線の端点は、図３で３０６、３０８に示されている写像線推定値からのオフセットとなる。このオフセットは、ブロック４０８で計算される。次に、推測されたカメラ姿勢が、オフセットを最小化するために、ブロック４１０に示されているように、非線形ソルバを使用することによって調整される。オフセットが最小化されると、調整済みのカメラ姿勢が、計算された画像のカメラ姿勢として出力される。すでに説明したように、非線形ソルバは、例えばカルマンフィルタ、数値法アプリケーション、または他の線特徴オフセットを最小化し、調整済みカメラ姿勢の解に近づけるのに適した他の反復型アプローチであってもよい。このようにすると、３Ｄ線の４つの変数パラメータを、必要に応じて、同じ非線形ソルバまたは個別の非線形ソルバによって動的に較正できる。

[0035]図５は、各画像のカメラ姿勢が既知である場合に、４つのパラメータを計算して環境の２種類の画像間で追跡された線特徴の最小表現を決定する、代表的ソフトウェアの実施形態に従って実施されるプロセスを表している機能的ブロック図である。ブロック５０２では、第一のカメラ姿勢で観察された３Ｄ線特徴が検出される。この第一のカメラ姿勢に関するパラメータは既知であり、ブロック５０４で検索される。カメラ姿勢と検出された線特徴により、ワールド座標系内の第一の背景写像面の表現が、ブロック５０６で再生される。同様に、ブロック５１０では、同じ３Ｄ線特徴が、同じ環境の第二のカメラ画像上に観察されたとおりに検出される。第二のカメラ姿勢に関するパラメータも既知であり、ブロック５１２で検索される。第二の背景写像面は、ブロック５１４で再生される。ここでは、２つの局所座標系（Ｔ₁，Ｒ₁）、及び（Ｔ₂，Ｒ₂）の変換が、ブロック５０８及び５１６で上記のように定義される。最小表現に関する４つの変数パラメータ（ｎ_x1、ｎ_y1、ｎ_x2、ｎ_y2）の解は、上記の代表的方法に従って求められる。

[0036]当業者が本発明を実現したり使用したりできるように、前述の開示実施形態の説明を提供した。これらの実施形態に対する様々な修正は、当業者にとって容易に理解できるものであり、ここに定義されている一般原理は、本発明の意図や適用範囲から逸脱することなく他の実施形態に適用してもよい。したがって、本発明は、ここに記載されている実施形態に限定することを目的とせず、ここに開示されている原理や新奇な特徴と一貫性のある幅広い適用範囲で実施されることが好ましい。

仮想物体を環境内に適切に追加できるように、環境内の現実物体の位置と相対的にカメラ姿勢を追跡する環境の代表例を示す図である。追跡された線特徴の最小表現の計算方法の代表例を表しており、この最小表現は４つ以下の変数パラメータを含む。追跡中であり、姿勢が不明で算出中であるカメラによって捕捉された画像に写像される線特徴の代表例を示している。較正された線特徴を含む画像を観察するときのカメラ姿勢を計算するのに実施するステップを図解した機能ブロック図である。カメラ姿勢が判明している２種類の異なる画像に写像された線特徴の最小表現のためのパラメータを計算するのに実施するステップを図解した機能ブロック図である。

Claims

実環境の画像が観察されるカメラ姿勢の推定方法であって、
（ａ）画像内の線特徴の特定と、
（ｂ）局所座標系内で線特徴を定義する４つの変数パラメータのそれぞれの値の特定と、
（ｃ）カメラ姿勢の複数のパラメータのそれぞれの値の推定と、
（ｄ）４つの変数パラメータのそれぞれの特定された値とカメラ姿勢の複数のパラメータの推定値を挿入することによって、４つの変数パラメータとカメラ姿勢パラメータに関する連立方程式の求解と、
（ｅ）ワールド座標系で線特徴を定義する４つの定数パラメータのそれぞれの値の指定と、
を含み、
前記変数パラメータが、２種類の局所座標系内で線分を定義する２つの面を定義し、
前記定数パラメータが、局所座標系とワールド座標系との間の回転及び平行移動変換を定義する、
カメラ姿勢の推定方法。
前記画像内の線特徴の特定は、３次元線の線分の画像写像の検出を含む、請求項１に記載の方法。
連立方程式が、前記４つの定数パラメータをさらに含む、請求項１に記載の方法。
前記カメラ姿勢の複数のパラメータの推定値は、実環境での異なる画像から導出される、請求項１に記載の方法。
前記連立方程式の求解は、カメラ姿勢の複数のパラメータのそれぞれの推定値を向上するための、非線形ソルバの応用を含む、請求項１に記載の方法。
前記カメラ姿勢の複数のパラメータのそれぞれの推定値を向上するための、非線形ソルバの応用が、
（ａ）特定された線特徴の写像線分画像の端点の特定と、
（ｂ）カメラ姿勢の複数のパラメータのそれぞれの推定値に従った、推定された線特徴の写像画像の推定と、
（ｃ）特定された線特徴の写像線画像と、推定された線特徴の推定された写像画像との特定された端点間のオフセット値の算出と、
（ｄ）オフセット値を縮小させるための、カメラ姿勢の複数のパラメータのそれぞれの推定値の変更と、
を含む、請求項５に記載の方法。
前記非線形ソルバがカルマンフィルタである、請求項５又は６に記載の方法。
実環境における線特徴の自動較正方法であって、
（ａ）第一のカメラ姿勢から観察した、環境の第一の画像の線特徴の第一の画像写像の特定と、
（ｂ）第二のカメラ姿勢から観察した環境の第二の画像の線特徴の第二の画像写像の特定と、
（ｃ）特定された線特徴を局所座標系で定義する４つの線特徴変数パラメータの算出と、
を含み、
前記線特徴の変数パラメータの算出が、さらに、４つの線特徴変数パラメータに関連して、ワールド座標系で線特徴を定義する４つの定数パラメータの定義を含み、
前記線特徴変数パラメータが、２種類の局所座標系内で線分を定義する２つの面を定義し、
前記定数パラメータが、局所座標系とワールド座標系との間の回転及び平行移動変換を定義し、
前記４つの線特徴変数パラメータの算出が、さらに
（ａ）第一のカメラ姿勢におけるカメラ原点と線特徴の特定された第一の画像写像とを通過する第一の平面の特定と、
（ｂ）第二のカメラ姿勢におけるカメラ原点と特定された線特徴の第二の画像写像とを通過する第二の平面の特定と、
を含み、
前記第一の平面の特定が、
（ａ）第一のカメラ姿勢のカメラ原点に対して局所的な座標系での、第一の画像の特定された線特徴の画像写像のベクトル座標の決定と、
（ｂ）第一のカメラ姿勢を定義する写像マトリクスによるそのベクトル座標の乗算と、
（ｃ）乗算の結果に従って、ワールド座標系への第一の平面の記述と、
を含む、自動較正方法。
実環境における線特徴の自動較正方法であって、
（ａ）第一のカメラ姿勢から観察した、環境の第一の画像の線特徴の第一の画像写像の特定と、
（ｂ）第二のカメラ姿勢から観察した環境の第二の画像の線特徴の第二の画像写像の特定と、
（ｃ）特定された線特徴を局所座標系で定義する４つの線特徴変数パラメータの算出と、
を含み、
前記線特徴の変数パラメータの算出が、さらに、４つの線特徴変数パラメータに関連して、ワールド座標系で線特徴を定義する４つの定数パラメータの定義を含み、
前記線特徴変数パラメータが、２種類の局所座標系内で線分を定義する２つの面を定義し、
前記定数パラメータが、局所座標系とワールド座標系との間の回転及び平行移動変換を定義し、
前記４つの線特徴変数パラメータの算出が、さらに
（ａ）第一のカメラ姿勢におけるカメラ原点と線特徴の特定された第一の画像写像とを通過する第一の平面の特定と、
（ｂ）第二のカメラ姿勢におけるカメラ原点と特定された線特徴の第二の画像写像とを通過する第二の平面の特定と、
を含み、
前記４つの線特徴変数パラメータの算出と前記４つの定数パラメータの定義が、
（ａ）４つの線特徴変数パラメータと、４つの定数パラメータと、特定された第一及び第二の平面の成分に関する連立方程式の求解を含み、さらに
（ｂ）この連立方程式の解が、４つの定数パラメータによって定義されている、第一の平面の第一の局所座標系と、第二の平面の第二の局所座標系上の制限によって制約されており、
前記制約が、連立方程式に応用したときに、第一及び第二の平面の局所座標系をそれぞれ整合する、定回転マトリクスを含む、
自動較正方法。
実環境における線特徴の自動較正方法であって、
（ａ）第一のカメラ姿勢から観察した、環境の第一の画像の線特徴の第一の画像写像の特定と、
（ｂ）第二のカメラ姿勢から観察した環境の第二の画像の線特徴の第二の画像写像の特定と、
（ｃ）特定された線特徴を局所座標系で定義する４つの線特徴変数パラメータの算出と、
を含み、
前記線特徴の変数パラメータの算出が、さらに、４つの線特徴変数パラメータに関連して、ワールド座標系で線特徴を定義する４つの定数パラメータの定義を含み、
前記線特徴変数パラメータが、２種類の局所座標系内で線分を定義する２つの面を定義し、
前記定数パラメータが、局所座標系とワールド座標系との間の回転及び平行移動変換を定義し、
前記４つの線特徴変数パラメータの算出が、さらに
（ａ）第一のカメラ姿勢におけるカメラ原点と線特徴の特定された第一の画像写像とを通過する第一の平面の特定と、
（ｂ）第二のカメラ姿勢におけるカメラ原点と特定された線特徴の第二の画像写像とを通過する第二の平面の特定と、
を含み、
前記４つの線特徴変数パラメータの算出と前記４つの定数パラメータの定義が、
（ａ）４つの線特徴変数パラメータと、４つの定数パラメータと、特定された第一及び第二の平面の成分に関する連立方程式の求解を含み、さらに
（ｂ）この連立方程式の解が、４つの定数パラメータによって定義されている、第一の平面の第一の局所座標系と、第二の平面の第二の局所座標系上の制限によって制約されており、
前記制約が、連立方程式に応用したときに、ワールド座標系で第一及び第二の局所座標系の中心をそれぞれ定義する、定平行移動ベクトルを含む、
自動較正方法。
コンピュータにロードされ実行された時に、コンピュータが実行可能な命令を格納しているコンピュータ可読媒体であって、
（ａ）画像内の線特徴の特定と、
（ｂ）この線特徴を局所座標系で定義する４つの変数パラメータのそれぞれの値の特定と、
（ｃ）カメラ姿勢の複数のパラメータのそれぞれの値の推定と、
（ｄ）この４つの変数パラメータのそれぞれに特定された値とカメラ姿勢の複数のパラメータの推定値とを挿入することによって、４つの変数パラメータとカメラ姿勢変数に関連する連立方程式の求解と、
（ｅ）ワールド座標系で線特徴を定義する４つの定数パラメータのそれぞれの値の指定と、
によって、実環境の画像を観察するときのカメラ姿勢を推定し、
前記変数パラメータが、２種類の局所座標系内で線分を定義する２つの面を定義し、
前記定数パラメータが、局所座標系とワールド座標系との間の回転及び平行移動変換を定義する、コンピュータ可読媒体。
前記画像の線特徴の特定は、３次元線の線分の画像写像の検出を含む、請求項１１に記載のコンピュータ可読媒体。
前記連立方程式が、前記４つの定数パラメータをさらに含む、請求項１１に記載のコンピュータ可読媒体。
カメラ姿勢の複数のパラメータの推定値は、実環境の異なる画像から導出される、請求項１１に記載のコンピュータ可読媒体。
前記連立方程式の求解が、カメラ姿勢の複数のパラメータのそれぞれの推定値を向上するための、非線形ソルバの応用を含む、請求項１１に記載のコンピュータ可読媒体。
カメラ姿勢の複数のパラメータのそれぞれの推定値を改良するための非線形ソルバの応用が、
（ａ）特定された線特徴の写像線分画像の端点の特定と、
（ｂ）カメラ姿勢の複数のパラメータのそれぞれの推定値に従った、推定された線特徴の写像画像の推定と、
（ｃ）特定された線特徴の写像線画像と、推定された線特徴の推定された写像画像との特定された端点間のオフセット値の算出と、
（ｄ）オフセット値を縮小させるための、カメラ姿勢の複数のパラメータのそれぞれの推定値の変更と、
を含む、請求項１５に記載のコンピュータ可読媒体。
前記非線形ソルバがカルマンフィルタである、請求項１５又は１６に記載のコンピュータ可読媒体。
コンピュータにロードされ、実行された時に、コンピュータが実行可能な命令を格納しているコンピュータ可読媒体であって、
（ａ）第一のカメラ姿勢から観察した環境の第一の画像における線特徴の第一の画像写像の特定と、
（ｂ）第二のカメラ姿勢から観察した環境の第二の画像における線特徴の第二の画像写像の特定と、
（ｃ）特定された線特徴を局所座標系内で定義する４つの線特徴変数パラメータの算出と、
によって、実環境における線特徴を自動較正し、
前記線特徴変数パラメータの算出が、４つの線特徴変数パラメータに関連した、ワールド座標系で線特徴を定義する４つの定数パラメータの定義をさらに含み、
前記線特徴変数パラメータが、２種類の局所座標系内で線分を定義する２つの面を定義し、
前記定数パラメータが、局所座標系とワールド座標系との間の回転及び平行移動変換を定義し、
前記４つの線特徴変数パラメータの算出が、さらに
（ａ）第一のカメラ姿勢におけるカメラ原点と、線特徴の特定された第一の画像写像とを通過する第一の平面の特定と、
（ｂ）第二のカメラ姿勢におけるカメラ原点と、特定された線特徴の第二の画像写像とを通過する第二の平面の特定と、
を含み、
前記４つの線特徴変数パラメータの算出と前記４つの定数パラメータの定義とが、さらに
（ａ）４つの線特徴変数パラメータと、４つの定数パラメータと、特定された第一及び第二の平面の成分に関連する連立方程式の求解を含んでおり、
（ｂ）この連立方程式の解が、４つの定数パラメータによって定義されるように、第一の平面の第一の局所座標系と、第二の平面の第二の局所座標系における制限によって制約され、
前記制約が、連立方程式に応用したときに、第一及び第二の平面の局所座標系をそれぞれ整合する定回転マトリクスを含む、コンピュータ可読媒体。
コンピュータにロードされ、実行された時に、コンピュータが実行可能な命令を格納しているコンピュータ可読媒体であって、
（ａ）第一のカメラ姿勢から観察した環境の第一の画像における線特徴の第一の画像写像の特定と、
（ｂ）第二のカメラ姿勢から観察した環境の第二の画像における線特徴の第二の画像写像の特定と、
（ｃ）特定された線特徴を局所座標系内で定義する４つの線特徴変数パラメータの算出と、
によって、実環境における線特徴を自動較正し、
前記線特徴変数パラメータの算出が、４つの線特徴変数パラメータに関連した、ワールド座標系で線特徴を定義する４つの定数パラメータの定義をさらに含み、
前記線特徴変数パラメータが、２種類の局所座標系内で線分を定義する２つの面を定義し、
前記定数パラメータが、局所座標系とワールド座標系との間の回転及び平行移動変換を定義し、
前記４つの線特徴変数パラメータの算出が、さらに
（ａ）第一のカメラ姿勢におけるカメラ原点と、線特徴の特定された第一の画像写像とを通過する第一の平面の特定と、
（ｂ）第二のカメラ姿勢におけるカメラ原点と、特定された線特徴の第二の画像写像とを通過する第二の平面の特定と、
を含み、
前記４つの線特徴変数パラメータの算出と前記４つの定数パラメータの定義とが、さらに
（ａ）４つの線特徴変数パラメータと、４つの定数パラメータと、特定された第一及び第二の平面の成分に関連する連立方程式の求解を含んでおり、
（ｂ）この連立方程式の解が、４つの定数パラメータによって定義されるように、第一の平面の第一の局所座標系と、第二の平面の第二の局所座標系における制限によって制約され、
前記制約が、連立方程式に応用したときに、ワールド座標系で第一及び第二の局所座標系の中心をそれぞれ定義する定平行移動ベクトルを含む、コンピュータ可読媒体。
前記第一の平面の特定が、
（ａ）第一のカメラ姿勢におけるカメラ原点に対して局所的な座標系で、第一の画像で特定された線特徴の画像写像のためのベクトル座標決定と、
（ｂ）第一のカメラ姿勢を定義する写像マトリクスでのベクトル座標の乗算と、
（ｃ）乗算の結果に従って、ワールド座標系への第一の平面の記述と、
を含む、請求項１８又は１９に記載のコンピュータ可読媒体。