JP2005351883A - Index calibration device and information processing method - Google Patents
Index calibration device and information processing method Download PDFInfo
- Publication number
- JP2005351883A JP2005351883A JP2004320637A JP2004320637A JP2005351883A JP 2005351883 A JP2005351883 A JP 2005351883A JP 2004320637 A JP2004320637 A JP 2004320637A JP 2004320637 A JP2004320637 A JP 2004320637A JP 2005351883 A JP2005351883 A JP 2005351883A
- Authority
- JP
- Japan
- Prior art keywords
- information
- index
- calibration
- image
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
Description
本発明は、撮像装置に装着した指標の撮像装置に対する配置情報を較正するものである。 The present invention calibrates arrangement information of an index attached to an imaging apparatus with respect to the imaging apparatus.
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に、撮像装置の位置及び姿勢に応じて生成した仮想空間(たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など)の画像を重畳描画してそれを表示するビデオシースルー方式によって実現される。 In recent years, research on mixed reality has been actively conducted for the purpose of seamless connection between the real space and the virtual space. An image display device that presents a mixed reality is drawn on a virtual space (for example, computer graphics) generated in accordance with the position and orientation of an imaging device on an image of a real space that is captured by an imaging device such as a video camera. This is realized by a video see-through method in which an image of a virtual object, character information, etc.) is overlaid and displayed.
このような画像表示装置の応用としては、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲームなど、今までのバーチャルリアリティとは異なった新たな分野が期待されている。 Applications of such image display devices include virtual reality, such as surgical support that superimposes the state of the body on the patient's body surface, and mixed reality games that fight against virtual enemies floating in real space. Different new fields are expected.
これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。複合現実感における位置合わせの問題は、情景中における(すなわち、世界座標系における)撮像装置の位置及び姿勢を求める問題に帰結される。 A common requirement for these applications is how to accurately align the real space and the virtual space, and many efforts have been made in the past. The alignment problem in mixed reality results in the problem of determining the position and orientation of the imaging device in the scene (ie, in the world coordinate system).
この問題を解決する方法として、情景中に複数の指標を配置あるいは設定し、その指標の世界座標系における座標と、撮像装置が撮像した画像内における指標の投影像の座標とを利用して、情景中における該撮像装置の位置及び姿勢を求めることが一般的に行われている。 As a method of solving this problem, by arranging or setting a plurality of indicators in the scene, using the coordinates in the world coordinate system of the indicators and the coordinates of the projected image of the indicators in the image captured by the imaging device, Generally, the position and orientation of the imaging device in a scene are obtained.
情景中の指標の世界座標系における座標とその投影像の画像座標の組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において古くから提案されている(例えば、非特許文献1、非特許文献2を参照)。 A method for calculating the position and orientation of an imaging device from a set of coordinates in a world coordinate system of an index in a scene and image coordinates of a projected image has been proposed for a long time in the field of photogrammetry (for example, non-patent literature). 1, see Non-Patent Document 2).
また、計測対象物体に複数の指標を設定し、外部に設置した客観視点カメラによって対象物体を撮影し、撮像した客観視点画像内における指標の投影像の画像座標を検出することで、対象物体の位置及び姿勢を求めることも行われている(例えば、非特許文献2、特許文献1を参照)。 In addition, by setting a plurality of indices on the measurement target object, photographing the target object with an objective viewpoint camera installed outside, and detecting the image coordinates of the projected image of the index in the captured objective viewpoint image, The position and orientation are also obtained (see, for example, Non-Patent Document 2 and Patent Document 1).
さらに、本件の発明者らも、特願2003−323101において、計測対象物体である撮像装置自身が撮像した画像から情景中の指標の投影像を検出することで撮像装置の位置及び姿勢を算出する方法と、計測対象物体である撮像装置を客観視点位置から撮像した客観視点画像から撮像装置自身の上に設定した指標の投影像を検出することで撮像装置の位置及び姿勢を算出する方法を統合した、撮像装置の位置及び姿勢の計測方法を提案している。
ところで、客観視点画像内における指標の投影像の画像座標を検出することで対象物体の位置及び姿勢を算出する方法においては、計測対象物体に設定した複数の指標と、計測対象物体との相対的な位置関係は、既知でなければならない。個々の指標の相対的な位置関係が未知である場合、例えば、着色された球状の指標や円形状の指標を用いてその画像上における指標の投影像の重心位置を特徴として利用する場合のように、特徴が一つの点で記述されるような指標が計測対象物体上に個々に設置されている場合には、計測対象物体座標系における個々の指標の3次元位置が予め計測されていなくてはならない。一方、指標同士の相対的な位置関係が既知である場合、例えば、上記と同様な指標を用いる場合であっても、それらの指標が予めベースとなる治具に装着されており、この治具の座標系(このように指標の相対的な位置を記述するための座標系を以下では指標座標系と呼ぶ)における各指標の位置が既に計測されており、この治具が計測対象物体に装着されているような場合には、計測対象物体座標系におけるこの治具の位置と姿勢が既知であれば良い(なお、特徴が複数の点で記述されるような指標、例えば、形状の既知な四角形や三角形の指標を用いてその画像上における指標の投影像の各頂点を特徴として利用する場合は、この指標自体が複数の指標の集まりであると解釈して、「指標同士の相対的な位置関係が既知である場合」の一種として考えることにする)。しかしながら、これらを正確に較正する方法は一般的に知られておらず、従来までは手動計測によって得られる不正確な位置または位置及び姿勢を既知の値として利用する以外に方策がなかった。その結果、上記の客観視点画像内における指標の投影像の画像座標を検出することで対象物体の位置及び姿勢を算出する方法においては、対象物体の位置及び姿勢を実用上低い精度でしか計測できないという改善の余地があった。 By the way, in the method of calculating the position and orientation of the target object by detecting the image coordinates of the projected image of the index in the objective viewpoint image, the relative of the plurality of indices set to the measurement target object and the measurement target object The correct positional relationship must be known. When the relative positional relationship of each index is unknown, for example, when using the colored spherical index or the circular index and using the center of gravity of the projected image of the index on the image as a feature In addition, in the case where an index whose feature is described by one point is individually installed on the measurement target object, the three-dimensional position of each index in the measurement target object coordinate system is not measured in advance. Must not. On the other hand, when the relative positional relationship between the indices is known, for example, even when the indices similar to those described above are used, these indices are mounted on a base jig in advance. The position of each index has already been measured in this coordinate system (the coordinate system for describing the relative position of the index is referred to as the index coordinate system in the following), and this jig is attached to the object to be measured In such a case, the position and orientation of the jig in the measurement target object coordinate system need only be known (in addition, an index whose feature is described by a plurality of points, for example, a known shape If each vertex of the projected image of the index on the image is used as a feature using a square or triangle index, the index itself is interpreted as a collection of a plurality of indices, "When the positional relationship is known" To be considered as). However, a method for accurately calibrating them is not generally known, and until now there has been no measure other than using an inaccurate position or position and orientation obtained by manual measurement as a known value. As a result, in the method for calculating the position and orientation of the target object by detecting the image coordinates of the projected image of the index in the objective viewpoint image, the position and orientation of the target object can be measured only with practically low accuracy. There was room for improvement.
本発明は以上の問題を鑑みてなされたものであり、撮像装置に対する指標の配置情報を簡便かつ正確に取得できるようにすることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to enable easy and accurate acquisition of index placement information with respect to an imaging apparatus.
上記目的を達成するために、請求項1記載の発明は、撮像装置に装着した較正対象指標の撮像装置に対する配置情報を較正情報として算出する指標較正装置であって、前記撮像装置を客観視点位置から撮影する客観視点撮像手段と、前記撮像装置から第一の画像を入力する第一の画像入力手段と、前記客観視点撮像手段から第二の画像を入力する第二の画像入力手段と、情景に配置された基準指標の画像座標に関する情報を前記第一の画像から検出する第一の検出手段と、前記較正対象指標の画像座標に関する情報を前記第二の画像から検出する第二の検出手段と、前記第一の検出手段と前記第二の検出手段が検出した夫々の指標の画像座標に関する情報を用いて、前記較正情報を算出する較正情報算出手段とを有することを特徴とする。 In order to achieve the above object, the invention according to claim 1 is an index calibration device that calculates, as calibration information, arrangement information of a calibration target index mounted on an imaging device with respect to the imaging device, and the imaging device is an objective viewpoint position. Objective viewpoint imaging means for photographing from, first image input means for inputting a first image from the imaging device, second image input means for inputting a second image from the objective viewpoint imaging means, and a scene First detection means for detecting information about the image coordinates of the reference index arranged in the first image, and second detection means for detecting information about the image coordinates of the calibration target index from the second image And calibration information calculation means for calculating the calibration information using information on the image coordinates of the respective indices detected by the first detection means and the second detection means.
本発明によれば、撮像装置に対する指標の配置情報を、簡便かつ正確に取得することができる。 According to the present invention, it is possible to easily and accurately acquire index placement information with respect to an imaging apparatus.
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[第1の実施形態]
本実施形態に係る指標較正装置は、撮像装置に装着した指標の撮像装置に対する位置を、指標ごとに取得する。以下、本実施形態に係る指標較正装置及び指標較正方向について説明する。
[First Embodiment]
The index calibration apparatus according to the present embodiment acquires the position of the index attached to the imaging apparatus with respect to the imaging apparatus for each index. Hereinafter, the index calibration apparatus and index calibration direction according to the present embodiment will be described.
図1は、本実施形態に係る指標較正装置100の概略構成を示す図である。図1に示したように、本実施形態に係る指標較正装置100は、主観視点指標検出部110、位置姿勢算出部120、客観視点カメラ140、客観視点指標検出部150、指示部160、データ管理部170、較正情報算出部180によって構成されており、較正対象である撮像装置130に接続されている。
FIG. 1 is a diagram illustrating a schematic configuration of an index calibration apparatus 100 according to the present embodiment. As shown in FIG. 1, the index calibration apparatus 100 according to the present embodiment includes a subjective viewpoint
なお、撮像装置130上には、本実施形態に係る指標較正装置を使用する使用者によって、較正される対象である指標Pk(k=1,,,K2)(以下、これを客観視点指標と呼ぶ)が1つ以上設定されているものとする。主観視点カメラ座標系(撮像装置130上の1点を原点として定義し、更に互いに直交する3軸を夫々X軸、Y軸、Z軸として定義した座標系)における客観視点指標の位置は未知であり、この未知である主観視点カメラ座標系における客観視点指標の位置が、本実施形態に係る指標較正装置が較正する情報、すなわち、本実施形態に係る指標較正装置の出力となる。
On the
現実空間中の複数の位置には、撮像装置130によって撮影するための指標(以下、主観視点指標(基準指標))として、世界座標系(現実空間の1点を原点として定義し、更に互いに直交する3軸を夫々X軸、Y軸、Z軸として定義した座標系)における位置が既知である複数個の主観視点指標Qk(k=1,,,K1)が配置されている。主観視点指標Qkは、指標較正用のデータを取得する時の撮像装置130によって、少なくとも3個以上の指標が観測されるように設置されていることが望ましい。図1の例は、4個の主観視点指標Q1,Q2,Q3,Q4が配置されており、そのうちの3個Q1,Q3,Q4が撮像装置130の視野内に含まれている状況を示している。
At a plurality of positions in the real space, the world coordinate system (one point in the real space is defined as the origin as an index for photographing with the imaging device 130 (hereinafter referred to as a subjective viewpoint index (reference index)) and orthogonal to each other. A plurality of subjective viewpoint indices Q k (k = 1,, K 1 ) whose positions in the three axes are defined in the coordinate system defined as the X axis, the Y axis, and the Z axis, respectively, are arranged. It is desirable that the subjective viewpoint index Q k is installed so that at least three or more indices are observed by the
主観視点指標Qkは、例えば、それぞれが異なる色を有する円形状のマーカによって構成してもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形領域によって形成されるような四角形指標を用いることも可能である。撮影画像上における投影像の画像座標が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。 The subjective viewpoint index Q k may be constituted by, for example, circular markers each having a different color, or may be constituted by feature points such as natural features each having a different texture feature. It is also possible to use a square index formed by a square area having a certain area. Any form may be used as long as the image coordinates of the projected image on the photographed image can be detected and the index can be identified.
撮像装置130が出力する画像(以下、これを主観視点画像と呼ぶ)は、主観視点指標検出部110に入力される。
An image output from the imaging device 130 (hereinafter referred to as a subjective viewpoint image) is input to the subjective viewpoint
主観視点指標検出部110は、撮像装置130より主観視点画像を入力し、入力した画像中に撮影されている主観視点指標Qkの画像座標を検出する。例えば、主観視点指標Qkの各々が異なる色を有するマーカによって構成されている場合には、主観視点画像上から各々のマーカ色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、主観視点指標Qkの各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを主観視点画像上に施すことにより、指標の位置を検出する。基準指標として四角形指標を用いる場合は、画像に2値化処理を施した後にラベリングを行い、一定面積以上の領域の中から4つの直線によって形成されているものを指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除し、また、指標の方向と識別子を取得する。なお、このようにして検出される四角形指標は、本明細では、4つの頂点の個々によって形成される4つの指標であると考える。
Person view
さらに、主観視点指標検出部110は、検出された各々の主観視点指標Qknの画像座標uQknとその識別子knを位置姿勢算出部120へと出力する。ここで、n(n=1,,,N)は検出された指標夫々に対するインデックスであり、Nは検出された指標の総数を表している。例えば図1の場合には、N=3であり、識別子k1=1,k2=3,k3=4とこれらに対応する画像座標uQk1,uQk2,uQk3が出力される。本実施形態における主観視点指標検出部110は、撮像装置130からの画像の入力をトリガとして上記の指標検出処理を逐次実行しているが、位置姿勢算出部120からの要求に応じて(その時点で入力している主観視点画像を利用して)処理を実行する構成としても良い。
Furthermore, subjective-view-
位置姿勢算出部120は、検出された各々の主観視点指標Qknの画像座標uQknと、既知な情報として予め保持している指標の世界座標xW Qknとの対応関係に基づいて、撮像装置130の位置及び姿勢を算出する。主観視点指標の世界座標と画像座標の組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において古くから提案されている(例えば、非特許文献1、非特許文献2を参照)。例えば、主観視点指標が同一平面上に配置されている場合には、4点以上の指標を検出することで、2次元ホモグラフィの計算に基づいて撮像装置の位置及び姿勢を得ることができる。また、同一平面上にない6点以上の指標を用いて撮像装置の位置と姿勢を用いる方法も良く知られている。また、撮像装置の位置と姿勢の推定値から算出される指標の画像座標の理論値と指標の画像座標の実測値との誤差を、画像ヤコビアンを用いたガウス・ニュートン法のような繰り返し計算によって最小化することにより、位置と姿勢の推定値を最適化する方法などを用いることもできる。算出した撮像装置130の世界座標系における位置及び姿勢は、データ管理部170の要求に従って、データ管理部170へと出力される。なお、本実施形態における位置姿勢算出部120は、主観視点指標検出部110からのデータの入力をトリガとして上記の位置及び姿勢の算出処理を逐次実行しているが、データ管理部170からの要求に応じて(その時点での入力データを利用して)処理を実行する構成としても良い。以下では、撮像装置130の位置及び姿勢は、4×4の同次座標行列MWC(モデリング変換行列;主観視点カメラ座標系における座標を世界座標系における座標に変換する行列)によって保持されているものとする。
The position /
客観視点カメラ140は、指標較正用のデータ取得を行う時の撮像装置130を撮像可能な位置に固定して配置されている。世界座標系における客観視点カメラ140の位置及び姿勢は、既知の値として較正情報算出部180に予め保持されているものとする。
The
客観視点指標検出部150は、客観視点カメラ140が撮影した画像(客観視点画像)を入力し、主観視点指標検出部110と同様な処理によって画像中に撮影されている客観視点指標Pkの画像座標を検出し、データ管理部170の要求に従って検出された客観視点指標Pkmの画像座標uPkmとその識別子kmをデータ管理部170へと出力する。ここで、m(m=1,,,M)は検出された指標夫々に付けられたインデックスであり、Mは検出された指標の総数を表している。例えば図1の場合には、M=2であり、識別子k1=1,k2=2とこれらに対応する画像座標uPk1,uPk2が出力される。本実施形態における客観視点指標検出部150は、客観視点画像の入力をトリガとして上記の指標検出処理を逐次実行しているが、データ管理部170からの要求に応じて(その時点で入力している客観視点画像を利用して)処理を実行する構成としても良い。
The objective viewpoint index detection unit 150 inputs an image (objective viewpoint image) captured by the
指示部160は、不図示のオペレータからデータ取得コマンドが入力された時には「データ取得」の指示をデータ管理部170に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部180に送信する。指示部160へのコマンド入力は、例えばキーボードを用いて、特定のコマンドを割り当てたキーを押すことによって行うことができる。また、コマンドの入力は、ディスプレイ上に表示されたGUIで行うなどの、いずれの方法で行ってもよい。
The
データ管理部170は、指示部160から「データ取得」の指示を受けると、位置姿勢算出部120から撮像装置130の世界座標系における位置及び姿勢を入力し、客観視点指標検出部150から客観視点指標の画像座標とその識別子を入力し、[撮像装置130の位置及び姿勢−客観視点指標の画像座標]の組を、客観視点指標の識別子毎に用意したデータリストに追加しこれを保持する。ここで、位置姿勢算出部120から入力される撮像装置130の位置及び姿勢は、客観視点指標検出部150から入力される客観視点指標の画像座標を検出した画像の撮影時刻と、同一時刻のものである。また、データ管理部170は、較正情報算出部180からの要求にしたがって、生成した客観視点指標の識別子毎のデータリストを較正情報算出部180に出力する。
When receiving the “data acquisition” instruction from the
較正情報算出部180は、指示部160から「較正情報算出」の指示を受けると、データ管理部170からデータリストを入力し、これをもとに較正処理を行い、その結果として得られた較正情報(すなわち、各客観視点指標の主観視点カメラ座標系における位置)を出力する。
Upon receiving an instruction “calculation information calculation” from the
図2は、本実施形態の較正装置が較正情報を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のRAMやROMなどのメモリ内に格納され、不図示のCPUにより読み出され、実行される。 FIG. 2 is a flowchart of processing performed when the calibration apparatus according to the present embodiment obtains calibration information. The program code according to the flowchart is stored in a memory such as a RAM or a ROM (not shown) in the apparatus according to the present embodiment, and is read and executed by a CPU (not shown).
ステップS2010において、指示部160は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。オペレータは、指標較正用のデータ取得を行う位置に撮像装置130を配置した時に、データ取得コマンドを入力する。指示部160は、データ取得コマンドが入力されている場合には、ステップS2020へと処理を移行させる。
In step S2010, the
ステップS2020において、データ管理部170は、位置姿勢算出部120から、撮像装置130の世界座標系における位置及び姿勢MWCを入力する。
In step S2020, the
ステップS2030において、データ管理部170は、客観視点指標検出部150から、客観視点指標検出部150によって検出された客観視点指標Pkmの画像座標uPkmとその識別子kmを入力する。以上のステップS2020,S2030の処理により、撮像装置の位置と姿勢がMWCであるときの客観視点指標の画像座標を得ることができる。なお、客観視点指標検出部150から入力される情報は、必ずしも全ての客観視点指標に関するものである必要はなく、その時点で客観視点画像上において検出されている指標に関する情報であればよい。
In step S2030, the
次に、ステップS2040において、データ管理部170は、検出された客観視点指標Pkm毎に、入力したデータの組をデータリストLPkに追加する。具体的には、位置姿勢算出部120から入力するMWCをMWCiとし、客観視点指標検出部150から入力するuPkmをui Pkとして、[MWCi,ui Pk]の組を、客観視点指標検出部150から入力する識別子kmを参照することで振り分けながら、Pkに関するi番目のデータとして客観視点指標Pkに関するデータリストLPkに登録する。ここでi(i=1,,,IPk)は、データリストLPkに登録したデータの組夫々に対するインデックスであり、IPkは、客観視点指標Pkに関して登録したデータの総組数を表している。
Next, in step S2040, the
以上の処理によって、データの取得が行われる。 Data is acquired by the above processing.
ステップS2050では、データ管理部170によって、それまでに取得された、全ての客観視点指標に関するデータリスト、もしくは、少なくとも1つの客観視点指標に関するデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。少なくとも1つのデータリスト、もしくは、全てのデータリストが条件を満たしていない場合には、再びステップS2010へと戻り、データ取得コマンドの入力を待つ。一方、全てのデータリスト、もしくは、少なくとも1つのデータリストが較正情報算出の条件を満たしている場合には、ステップS2060へと処理を移行させる。ある客観視点指標Pkに関するデータリストが較正情報を算出するに足るだけの情報を有す条件としては、例えば、データリストLPkが異なるデータ[MWCi,ui Pk]を2組以上得ていること、が挙げられる。後述するように、1組のデータから2つの方程式が得られるため(式3参照)、2組以上のデータを得ていれば、4つの方程式から3パラメータである客観視点指標の主観視点カメラ座標系における位置を決定することができる。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。
In step S2050, the data list related to all objective viewpoint indexes or the data list related to at least one objective viewpoint index acquired so far by the
次にステップS2060において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップS2070へと処理を移行し、入力されていない場合には、再びステップS2010へと戻り、データ取得コマンドの入力を待つ。 In step S2060, it is determined whether a calibration information calculation command has been input from the operator. If the calibration information calculation command has been input, the process proceeds to step S2070. If not input, the process returns to step S2010 and waits for the input of the data acquisition command.
較正情報算出部180は、求めるべき較正情報、すなわち客観視点指標の主観視点カメラ座標系における位置を3値ベクトル[xCyCzC]Tとして扱う。以下では、この未知パラメータを状態ベクトルsPk=[xC PkyC PkzC Pk]Tと記述する。以下、ある客観視点指標Pkに対する処理を想定して説明を続けるが、各処理は較正情報算出の条件を満たしたデータリストに対応する全ての客観視点指標に対して共通に行われるものとする。
The calibration
ステップS2070において、較正情報算出部180は、状態ベクトルsPkに適当な初期値(例えば[000]T)を与える。
In step S2070, the calibration
ステップS2080において、較正情報算出部180は、データリストLPk中の各データ[MWCi,ui Pk](i=1,2,,,,IPk)および状態ベクトルsPkから、全てのiに対して、客観視点指標Pkの客観視点画像座標の理論値ui Pk’=[uxi Pk’,uyi Pk’]を算出する。ここで客観視点指標の客観視点画像座標の理論値とは、主観視点カメラ座標系における位置が与えられている客観視点指標Pkの、客観視点画像中に見えるべき位置(座標)のデータを指す。ui Pk’の算出は、客観視点指標Pkの主観視点カメラ座標系における位置を表す状態ベクトルsPkの関数
In step S2080, the calibration
具体的には、関数Fi( )は、i番目のデータを取得した時の(すなわち、撮像装置130の位置と姿勢がMWCiである時の)客観視点指標Pkの客観視点カメラ座標における位置ベクトルxBi Pkを、sPkから求める次式、
Specifically, the function F i () is obtained from the objective viewpoint camera coordinates of the objective viewpoint index P k when the i-th data is acquired (that is, when the position and orientation of the
及び、xBi Pkから客観視点指標Pkの客観視点画像上の座標ui Pk’を求める次式、 And the following equation for obtaining the coordinates u i Pk ′ on the objective viewpoint image of the objective viewpoint index P k from x Bi Pk ,
によって構成されている。ここでfB x及びfB yは、それぞれx軸方向及びy軸方向における客観視点カメラ140の焦点距離であり、既知の値として予め保持されているものとする。また、MWBは客観視点カメラ座標系における座標を世界座標に変換する変換行列であり、既知の値として予め保持されている世界座標系における客観視点カメラ140の位置及び姿勢に基づいて、予め算出されているものとする。
It is constituted by. Here, f B x and f B y are focal lengths of the
ステップS2090において、較正情報算出部180は、全てのiに対して、データリストLPk中の各データに含まれる客観視点指標Pkの実際の画像座標ui Pkと、それに対応する画像座標の理論値ui Pk’との誤差△ui Pkを次式によって算出する。
In step S2090, the calibration
ステップS2100において、較正情報算出部180は、全てのiに対して、状態ベクトルsPkに関する画像ヤコビアン(すなわち、式1の関数Fi()を状態ベクトルsPkの各要素で偏微分した解を各要素に持つ2行×3列のヤコビ行列)Juis Pk(=∂ui Pk/∂sPk)を算出する。具体的には、式3の右辺を客観視点カメラ座標系上の位置ベクトルxBi Pkの各要素で偏微分した解を各要素に持つ2行×3列のヤコビ行列JuixBi Pk(=∂ui Pk/∂xBi Pk)と、式2の右辺を状態ベクトルsPkの各要素で偏微分した解を各要素に持つ3行×3列のヤコビ行列JxBis Pk(=∂xBi Pk/∂sPk)を算出し、次式によってJuis Pkを算出する。
In step S2100, the calibration
ステップS2110において、較正情報算出部180は、以上のステップで算出した、全てのiに対する誤差△ui Pk及びヤコビ行列Juis Pkに基づいて、sPkの補正値△sPkを算出する。具体的には、全てのiに対する誤差△ui Pkを垂直に並べた2IPk次元ベクトルの誤差ベクトル
In step S2110, the calibration
及びヤコビ行列Juis Pkを垂直に並べた2IPk行×3列の行列 And a Jacobian matrix Juis Pk vertically arranged in 2I Pk rows × 3 columns matrix
を作成し、Φの擬似逆行列Φ+を用いて、△sPkを次式より算出する。 And Δs Pk is calculated from the following equation using the pseudo inverse matrix Φ + of Φ.
ここで、△sPkは3次元ベクトルであるから、2IPkが3以上、すなわちIPkが2以上であれば、△sPkを求めることができる。なおΦ+は、例えばΦ+=(ΦTΦ)−1ΦTによって求めることができるが、他の方法によって求めてもよい。 Here, since Δs Pk is a three-dimensional vector, if 2I Pk is 3 or more, that is, I Pk is 2 or more, Δs Pk can be obtained. Note that Φ + can be determined by, for example, Φ + = (Φ T Φ) −1 Φ T , but may be determined by other methods.
ステップS2120において、較正情報算出部180は、ステップS2110において算出した補正値△sPkを用いて、式11に従って客観視点指標Pkの主観視点カメラ座標系における位置ベクトルsPkを補正し、得られた値を新たなsPkとする。
In step S2120, the calibration
ステップS2130において、較正情報算出部180は、誤差ベクトルUが予め定めた閾値より小さいかどうか、あるいは、補正値△sPkが予め定めた閾値より小さいかどうかといった何らかの判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルsPkを用いて、再度ステップS2080以降の処理を行う。
In step S2130, the calibration
ステップS2130において計算が収束したと判定されると、ステップS2140において、較正情報算出部180は、得られた状態ベクトルsPkを、客観視点指標Pkの主観視点カメラ座標系における位置を示すパラメータとして出力する。
The calculation is determined to have converged in step S2130, in step S2140, the calibration
最後にステップS2150では、較正処理を終了するか否かの判定が行われる。オペレータが、指標較正装置100に対して、較正処理の終了を指示した場合には、処理を終了させ、較正処理の継続(再較正)を指示した場合には、再びステップS2010へと戻り、データ取得コマンドの入力を待つ。 Finally, in step S2150, it is determined whether or not to end the calibration process. When the operator instructs the index calibration apparatus 100 to end the calibration process, the process ends. When the operator instructs the continuation (recalibration) of the calibration process, the process returns to step S2010 again, and the data Wait for input of get command.
以上の処理によって、撮像装置に装着した指標の撮像装置に対する位置を、簡便かつ正確に取得することができる。 Through the above processing, the position of the index attached to the imaging apparatus with respect to the imaging apparatus can be acquired easily and accurately.
<変形例1−1>
なお、本実施形態においては、状態ベクトルの補正値の算出に式10で表現される最急降下法を用いているが、補正値の算出は必ずしも最急降下法によって行わなくてもよい。例えば公知の非線形方程式の反復解法であるLM法(Levenberg−Marquardt法)を用いて求めてもよいし、公知のロバスト推定手法であるM推定等の統計的手法を組み合わせてもよいし、他の何れの数値計算手法を適用しても本発明の本質が損なわれないことは言うまでもない。また、本実施形態では、ステップS2070からステップS2130までの処理において、求めるべき指標の位置に初期値を与え、画像ヤコビアンを利用した繰り返し演算によって最適値を求めたが、より簡便な計算方法によって指標の位置を求めることも可能である。例えば、式3を展開すると、
<Modification 1-1>
In the present embodiment, the steepest descent method expressed by Equation 10 is used to calculate the correction value of the state vector. However, the correction value need not necessarily be calculated by the steepest descent method. For example, the LM method (Levenberg-Marquardt method) which is an iterative solution of a known nonlinear equation may be used, or a statistical method such as M estimation which is a known robust estimation method may be combined. Needless to say, the essence of the present invention is not impaired by any numerical calculation method. In this embodiment, in the processing from step S2070 to step S2130, an initial value is given to the position of the index to be obtained, and the optimum value is obtained by iterative calculation using the image Jacobian. It is also possible to obtain the position of. For example, if Equation 3 is expanded,
の関係が得られる。この関係を利用すると、 The relationship is obtained. Using this relationship,
のようにして、データリストLPk=[MWCi,ui Pk](i=1,,,IPk)から、sPkを直接得ることができる。ここで、 Thus, s Pk can be obtained directly from the data list L Pk = [M WCi , u i Pk ] (i = 1,, I Pk ). here,
を表している。 Represents.
<変形例1−2>
また、本実施形態では、位置姿勢算出部120は、撮像装置130の撮影画像から検出された各々の主観視点指標Qknの画像座標uQknと、既知な情報として予め保持している指標の世界座標xW Qknとの対応関係に基づいて、撮像装置130の位置及び姿勢を算出したが、撮像装置の位置及び姿勢を求めるために用いる画像特徴は必ずしも点で表されるようなものである必要はない。例えば、非特許文献2に示されているような線特徴を用いて撮像装置の位置及び姿勢を求める手法や、非特許文献5に示されているような楕円などの幾何特徴を用いて撮像装置の位置及び姿勢を求める手法によって、主観視点指標検出部110及び位置姿勢算出部120を実現しても良いし、これらを組み合わせたものであっても良いし、他の何れの画像特徴を用いるカメラ位置姿勢推定方法を用いても良い。また、磁気センサのような6自由度位置姿勢センサや、ジャイロセンサのような3自由度姿勢センサを撮像装置130に取り付け、撮像装置130の撮影画像から検出された画像特徴と、既知な情報として予め保持している指標の世界座標との対応関係、ならびに、撮像値130に取り付けたセンサの計測値、の両方に基づいたハイブリッドな方法で、撮像装置130の位置及び姿勢を算出しても良い(具体的な算出方法は、例えば、非特許文献3、非特許文献4を参照)。
<Modification 1-2>
Further, in the present embodiment, the position /
[第2の実施形態]
本実施形態に係る指標較正装置は、撮像装置に装着した複数の指標が指標座標系を有しており、指標座標系における各指標の座標は既知であるとした場合の、撮像装置に対する指標座標系の位置と姿勢、あるいは、撮像装置に対する各指標の位置を取得する。以下、本実施形態に係る指標較正装置及び指標較正方向について説明する。
[Second Embodiment]
In the index calibration apparatus according to the present embodiment, the index coordinates for the imaging apparatus when a plurality of indices mounted on the imaging apparatus have an index coordinate system and the coordinates of each index in the index coordinate system are known. The position and orientation of the system, or the position of each index with respect to the imaging device is acquired. Hereinafter, the index calibration apparatus and index calibration direction according to the present embodiment will be described.
図3は、本実施形態に係る指標較正装置の概略構成を示す図である。図1と同じ部分については同じ番号、記号を付けており、その詳細な説明は省略する。図3に示したように、本実施形態に係る指標較正装置300は、主観視点指標検出部110、位置姿勢算出部120、客観視点カメラ140、客観視点指標検出部150、指示部160、データ管理部370、較正情報算出部380によって構成されており、較正対象である撮像装置130に接続されている。
FIG. 3 is a diagram illustrating a schematic configuration of the index calibration apparatus according to the present embodiment. The same parts as those in FIG. 1 are given the same numbers and symbols, and detailed description thereof will be omitted. As shown in FIG. 3, the
なお、撮像装置130上には、本実施形態に係る指標較正装置を使用する使用者によって、較正される対象である複数の指標Pk(k=1,,,K2)(第一の実施形態と同様、以下ではこれを客観視点指標と呼ぶ)が設定されているものとする。第一の実施形態と同様に、主観視点カメラ座標系における客観視点指標の位置は未知であるが、本実施形態では、各指標の相対的な位置関係は既知であるとする。例えば、4点の客観視点指標Pk(k=1,2,3,4)の集合が、サイズが既知な1つの四角形指標R1を形成する場合が相当する。図3は、その状況を示している。この時、四角形指標R1上のある1点を原点として定義し、更に互いに直交する3軸を夫々X軸、Y軸、Z軸として定義した座標系を指標座標系と呼ぶと、指標座標系における各客観視点指標Pkの座標は既知である。よって、主観視点カメラ座標系における指標座標系の位置及び姿勢(=指標座標系における座標を主観視点カメラ座標に変換する変換行列)が判明すれば、未知である夫々の客観視点指標Pkの主観視点カメラ座標系における位置を算出することができる。このことより、本実施形態に係る指標較正装置が較正する情報は、主観視点カメラ座標系における指標座標系の位置及び姿勢であるとする。
On the
現実空間中の複数の位置には、第1の実施形態と同様に、撮像装置130によって撮影するための指標として、世界座標系における位置が既知である主観視点指標Qkが設定されている。
The plurality of positions in real space, as in the first embodiment, as an index for taking by the
主観視点指標検出部110は、第1の実施形態と同様に、撮像装置130が撮影した主観視点画像を入力し、画像中に撮影されている主観視点指標Qkの画像座標を検出し、検出された主観視点指標Qknの画像座標uQknとその識別子knを位置姿勢算出部120へと出力する。
Person view
位置姿勢算出部120は、第1の実施形態と同様に、検出された各々の主観視点指標Qknの画像座標uQknと、既知な情報として予め保持している指標の世界座標xW Qknとの対応関係に基づいて、撮像装置130の位置及び姿勢を算出する。この算出方法については、第1の実施形態を説明する部分で述べたとおりである。算出した撮像装置130の世界座標系における位置及び姿勢は、データ管理部370の要求に従って、データ管理部370へと出力される。
Similar to the first embodiment, the position /
客観視点カメラ140は、第1の実施形態と同様に、指標較正用のデータ取得を行う時の撮像装置130を撮像可能な位置に固定して配置されている。世界座標系における客観視点カメラ140の位置及び姿勢は、既知の値として較正情報算出部380に予め保持されているものとする。
Similar to the first embodiment, the
客観視点指標検出部150は、第1の実施形態と同様に、客観視点カメラ140が撮影した客観視点画像を入力し、主観視点指標検出部110と同様な処理によって画像中に撮影されている客観視点指標Pkの画像座標を検出し、データ管理部370の要求に従って検出された客観視点指標Pkmの画像座標uPkmとその識別子kmをデータ管理部370へと出力する。図3の例では、指標として四角形指標を用いているので、第1の実施形態で述べた四角形指標の検出処理が実行される。
The objective viewpoint index detection unit 150 receives the objective viewpoint image captured by the
指示部160は、第1の実施形態と同様に、不図示のオペレータからデータ取得コマンドが入力された時には「データ取得」の指示をデータ管理部370に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部380に送信する。
In the same way as in the first embodiment, the
データ管理部370は、指示部160から「データ取得」の指示を受けると、位置姿勢算出部120から撮像装置130の世界座標系における位置及び姿勢を入力し、客観視点指標検出部150から客観視点指標の画像座標とその識別子を入力し、[撮像装置130の位置及び姿勢−客観視点指標の画像座標−客観視点指標の識別子]の組を、一つのデータリストに追加しこれを保持する。ここで、位置姿勢算出部120から入力される撮像装置130の位置及び姿勢は、客観視点指標検出部150から入力される客観視点指標の画像座標を検出した画像の撮影時刻と、同一時刻のものである。また、データ管理部370は、較正情報算出部380からの要求にしたがって、生成したデータリストを較正情報算出部380に出力する。
Upon receiving the “data acquisition” instruction from the
較正情報算出部380は、指示部160から「較正情報算出」の指示を受けると、データ管理部370からデータリストを入力し、これをもとに較正処理を行い、その結果として得られた較正情報(すなわち、主観視点カメラ座標系における指標座標系の位置と姿勢)を出力する。
When the calibration
図4は、本実施形態の較正装置が較正情報を求める際に行う処理のフローチャートである。図2と同じ部分については同じ番号、記号を付けており、その詳細な説明は省略する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のRAMやROMなどのメモリ内に格納され、不図示のCPUにより読み出され、実行される。 FIG. 4 is a flowchart of processing performed when the calibration apparatus according to the present embodiment obtains calibration information. The same parts as those in FIG. 2 are given the same numbers and symbols, and detailed description thereof is omitted. The program code according to the flowchart is stored in a memory such as a RAM or a ROM (not shown) in the apparatus according to the present embodiment, and is read and executed by a CPU (not shown).
ステップS2010からステップS2030までは、第1の実施形態と同様の処理を行う。ステップS2030を終えると、ステップS4040へと処理を移行する。 From step S2010 to step S2030, processing similar to that of the first embodiment is performed. When step S2030 is completed, the process proceeds to step S4040.
次に、ステップS4040において、データ管理部370は、検出された客観視点指標Pkm全てについて、入力したデータの組をデータリストLにデータDjとして追加する。具体的には、位置姿勢算出部120から入力するMWCをMWCjとし、客観視点指標検出部150から入力する識別子kmをkjとし、同じく客観視点指標検出部150から入力するuPkmをuj Pkjとして、Dj=[MWCj,uj Pkj,kj]の組を、j番目のデータとしてデータリストLに登録する。ここでj(j=1,,,J)は、データリストLに登録したデータの組夫々に対するインデックスであり、Jは、登録したデータの総組数を表している。
Next, in step S4040, the
以上の処理によって、データの取得が行われる。 Data is acquired by the above processing.
ステップS4050では、データ管理部370によって、それまでに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。条件を満たしていない場合には、再びステップS2010へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップS2060へと処理を移行させる。データリストが較正情報を算出するに足るだけの情報を有す条件としては、例えば、少なくとも異なる3つ以上の客観視点指標Pkに関するデータが、データリストLに含まれていること、が挙げられる。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。
In step S4050, the
次にステップS2060において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップS4070へと処理を移行し、入力されていない場合には、再びステップS2010へと戻り、データ取得コマンドの入力を待つ。 In step S2060, it is determined whether a calibration information calculation command has been input from the operator. If the calibration information calculation command has been input, the process proceeds to step S4070. If not input, the process returns to step S2010 and waits for the input of the data acquisition command.
較正情報算出部380は、求めるべき較正情報、すなわち指標系座標の主観視点カメラ座標系における位置及び姿勢を6値ベクトル[xyzξψζ]Tとして扱う。以下では、この未知パラメータを状態ベクトルs=[xyzξψζ]Tと記述する。
The calibration
ステップS4070において、較正情報算出部380は、状態ベクトルsに適当な初期値を与える。初期値としては、オペレータが指示部160を介しておおよその値を手入力しても良いし、ある同一時刻に入力された(すなわち、同一の客観視点画像から検出された)複数の客観視点指標の検出座標をリストLから抽出し、このデータを用いて、客観視点座標系における指標座標系の同時刻における位置と姿勢を公知の方法によって算出し、得られた位置と姿勢から指標座標系における座標を客観視点カメラ座標系に変換する変換行列MBMを求め、さらに、リストL中に保持されている、同時刻において入力された撮像装置の位置と姿勢MWCを用いて、次式によって、主観視点カメラ座標系における指標系座標の位置及び姿勢を表す変換行列MCMを得て、この行列によって表される位置と姿勢をsの初期値として利用しても良い。
In step S4070, the calibration
ここで、MWBは、客観視点カメラ座標系における座標を世界座標に変換する変換行列であり、既知の値として予め保持されている世界座標系における客観視点カメラ140の位置及び姿勢に基づいて、予め算出されているものとする。
Here, MWB is a transformation matrix that converts coordinates in the objective viewpoint camera coordinate system into world coordinates, and is based on the position and orientation of the
なお、客観視点座標系における指標座標系の位置と姿勢を算出する公知の手法としては、例えば、指標が同一平面上に配置されている場合には、4点以上の指標を用いて2次元ホモグラフィの計算に基づいて指標座標系の位置と姿勢を得る手法を用いることが可能である。また、同一平面上にない6点以上の指標を用いる手法や、これらの解を初期値にして、ガウス・ニュートン法のような繰り返し計算によって最適解を得る手法を用いることもできる。 As a known method for calculating the position and orientation of the index coordinate system in the objective viewpoint coordinate system, for example, when the indices are arranged on the same plane, two-dimensional homology is used by using four or more indices. It is possible to use a technique for obtaining the position and orientation of the index coordinate system based on the calculation of the graphic. It is also possible to use a technique that uses six or more indices that are not on the same plane, or a technique that uses these solutions as initial values and obtains an optimal solution by iterative calculations such as the Gauss-Newton method.
ステップS4080において、較正情報算出部380は、データリストL中の各データDj=[MWCj,uj Pkj,kj](j=1,2,,,,J)および状態ベクトルsから、全てのjに対して、各客観視点指標Pkjの客観視点画像座標の理論値uj Pkj’=[uxj Pkj’,uyj Pkj’]を算出する。ここで客観視点指標の客観視点画像座標の理論値とは、指標座標系における位置ベクトルxM Pkjが既知な客観視点指標Pkjの、主観視点カメラ座標系における指標座標系の位置及び姿勢がsである時に客観視点画像中に見えるべき位置(座標)のデータを指す。uj Pkj’の算出は、指標座標系の主観視点カメラ座標系における位置を表す状態ベクトルsの関数
In step S4080, the calibration
に基づいて行われる。 Based on.
具体的には、関数Fj( )は、j番目のデータを取得した時の(すなわち、撮像装置130の位置と姿勢がMWCjである時の)客観視点指標Pkjの客観視点カメラ座標における位置ベクトルxBj Pkjを、sから求める次式、
Specifically, the function F j () is obtained from the objective viewpoint camera coordinates of the objective viewpoint index P kj when the j-th data is acquired (that is, when the position and orientation of the
及び、xBj Pkjから客観視点指標Pkjの客観視点画像上の座標uj Pkj’を求める次式、 And the following equation for obtaining the coordinates u j Pkj ′ on the objective viewpoint image of the objective viewpoint index P kj from x Bj Pkj :
によって構成されている。ここでfB x及びfB yは、それぞれx軸方向及びy軸方向における客観視点カメラ140の焦点距離であり、既知の値として予め保持されているものとする。また、MCM(s)はsによって定まるモデリング変換行列(指標座標系における座標を主観視点カメラ座標系における座標に変換する行列)であり、次式によって定義される。
It is constituted by. Here, f B x and f B y are focal lengths of the
ただし、 However,
である。 It is.
ステップS4090において、較正情報算出部380は、全てのjに対して、データリストL中の各データに含まれる客観視点指標Pkjの実際の画像座標uj Pkjと、それに対応する画像座標の理論値uj Pkj’との誤差△uj Pkjを次式によって算出する。
In step S4090, the calibration
ステップS4100において、較正情報算出部380は、全てのjに対して、状態ベクトルsに関する画像ヤコビアン(すなわち、式17の関数Fj()を状態ベクトルsの各要素で偏微分した解を各要素に持つ2行×6列のヤコビ行列)Juj Pkj s(=∂uj Pkj/∂s)を算出する。具体的には、式19の右辺を客観視点カメラ座標系上の位置ベクトルxBj Pkjの各要素で偏微分した解を各要素に持つ2行×3列のヤコビ行列JujxBj Pkj(=∂uj Pkj/∂xBj Pkj)と、式18の右辺を状態ベクトルsの各要素で偏微分した解を各要素に持つ3行×6列のヤコビ行列JxBj Pkj s(=∂xBj Pkj/∂s)を算出し、次式によってJuj Pkj sを算出する。
In step S4100, the calibration
ステップS4110において、較正情報算出部380は、以上のステップで算出した、全てのjに対する誤差△uj Pkj及びヤコビ行列Juj Pkj sに基づいて、sの補正値△sを算出する。具体的には、全てのjに対する誤差△uj Pkjを垂直に並べた2J次元ベクトルの誤差ベクトル
In step S4110, the calibration
及びヤコビ行列Juj Pkj sを垂直に並べた2J行×6列の行列 And Jacobi matrix J uj Pkj s vertically arranged in 2J rows × 6 columns matrix
を作成し、Φの擬似逆行列Φ+を用いて、△sを次式より算出する。 And Δs is calculated from the following equation using the pseudo inverse matrix Φ + of Φ.
ここで、△sは6次元ベクトルであるから、2Jが6以上、すなわちJが3以上であれば、△sを求めることができる。なおΦ+は、例えばΦ+=(ΦTΦ)−1ΦTによって求めることができるが、他の方法によって求めてもよい。 Here, since Δs is a six-dimensional vector, Δs can be obtained when 2J is 6 or more, that is, J is 3 or more. Note that Φ + can be determined by, for example, Φ + = (Φ T Φ) −1 Φ T , but may be determined by other methods.
ステップS4120において、較正情報算出部380は、ステップS4110において算出した補正値△sを用いて、式27に従って指標系座標の主観視点カメラ座標系における位置及び姿勢を表す状態ベクトルsを補正し、得られた値を新たなsとする。
In step S4120, the calibration
ステップS4130において、較正情報算出部380は、誤差ベクトルUが予め定めた閾値より小さいかどうか、あるいは、補正値△sが予め定めた閾値より小さいかどうかといった何らかの判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルsを用いて、再度ステップS4080以降の処理を行う。
In step S4130, calibration
ステップS4130において計算が収束したと判定されると、ステップS4140において、較正情報算出部380は、得られた状態ベクトルsを、較正情報、すなわち、主観視点カメラ座標系における指標座標系の位置及び姿勢として出力する。この時の出力の形態は、sそのものであっても良いし、sの位置成分を3値のベクトルで表し、姿勢成分をオイラー角や3×3の回転行列で表したものであっても良いし、sから生成した座標変換行列MCMであっても良い。
If it is determined in step S4130 that the calculation has converged, in step S4140, the calibration
最後にステップS2150では、較正処理を終了するか否かの判定が行われる。オペレータが、指標較正装置300に対して較正処理の終了を指示した場合には、処理を終了させ、較正処理の継続(再較正)を指示した場合には、再びステップS2010へと戻り、データ取得コマンドの入力を待つ。
Finally, in step S2150, it is determined whether or not to end the calibration process. If the operator instructs the
以上の処理によって、撮像装置に装着した指標の撮像装置に対する位置または位置姿勢を、簡便かつ正確に取得することができる。 Through the above processing, the position or position / orientation of the index attached to the imaging apparatus with respect to the imaging apparatus can be acquired easily and accurately.
<変形例2−1>
なお、本実施形態においては、較正情報として、主観視点カメラ座標系における指標座標系の位置及び姿勢を出力していたが、得られた状態ベクトルsから、主観視点カメラ座標系における客観視点指標Pkの位置を個々に算出して、これらを較正情報として出力しても良い。この場合、主観視点カメラ座標系における客観視点指標Pkの位置は、sから求められる座標変換行列MCMと、指標座標系における客観視点指標Pkの既知の位置xM Pkとの積によって得ることができる。
<Modification 2-1>
In this embodiment, the position and orientation of the index coordinate system in the subjective viewpoint camera coordinate system are output as the calibration information, but the objective viewpoint index P in the subjective viewpoint camera coordinate system is obtained from the obtained state vector s. The positions of k may be calculated individually and output as calibration information. In this case, the position of the objective viewpoint index P k in the subjective viewpoint camera coordinate system is obtained by the product of the coordinate transformation matrix M CM obtained from s and the known position x M Pk of the objective viewpoint index P k in the index coordinate system. be able to.
<変形例2−2>
また、本実施形態では、位置姿勢算出部120は、撮像装置130の撮影画像から検出された各々の主観視点指標Qknの画像座標uQknと、既知な情報として予め保持している指標の世界座標xW Qknとの対応関係に基づいて、撮像装置130の位置及び姿勢を算出したが、第1の実施例の<変形例1−2>と同様に、他の画像情報を利用した位置姿勢算出や、他のセンサを併用した位置姿勢算出を行っても良い。
<Modification 2-2>
Further, in the present embodiment, the position /
<変形例2−3>
なお、本実施形態においては、状態ベクトルの補正値の算出に式26で表現される最急降下法を用いているが、補正値の算出は必ずしも最急降下法によって行わなくてもよい。例えば公知の非線形方程式の反復解法であるLM法(Levenberg−Marquardt法)を用いて求めてもよいし、公知のロバスト推定手法であるM推定等の統計的手法を組み合わせてもよいし、他の何れの数値計算手法を適用しても本発明の本質が損なわれないことは言うまでもない。また、本実施形態においては、主観視点カメラ座標系における指標座標系の位置及び姿勢sに適当な初期値を与え、画像ヤコビアンを用いた繰り返し計算によって、全入力データに対するsの最適値を求める方法について説明したが、他の簡易的な算出方法を用いることでも、主観視点カメラ座標系における指標座標系の位置及び姿勢を得ることができる。例えば、ステップS4070の説明で述べたような処理手順によって、1枚の客観視点画像上における複数の客観視点指標の検出座標のみを用いて、主観視点カメラ座標系における指標系座標の位置及び姿勢を得て、これを較正情報として出力してもよい。
<Modification 2-3>
In the present embodiment, the steepest descent method expressed by Expression 26 is used to calculate the correction value of the state vector. However, the correction value need not necessarily be calculated by the steepest descent method. For example, the LM method (Levenberg-Marquardt method) which is an iterative solution of a known nonlinear equation may be used, or a statistical method such as M estimation which is a known robust estimation method may be combined. Needless to say, the essence of the present invention is not impaired by any numerical calculation method. Further, in the present embodiment, a method for obtaining an optimal value of s for all input data by giving appropriate initial values to the position and orientation s of the index coordinate system in the subjective viewpoint camera coordinate system, and by iterative calculation using the image Jacobian. However, the position and orientation of the index coordinate system in the subjective viewpoint camera coordinate system can also be obtained by using another simple calculation method. For example, the position and orientation of the index system coordinates in the subjective viewpoint camera coordinate system are determined by using only the detection coordinates of a plurality of objective viewpoint indices on one objective viewpoint image by the processing procedure described in the description of step S4070. It may be obtained and output as calibration information.
<変形例2−4>
なお、本実施形態においては、客観視点指標として四角形指標を用いていたが、指標座標系における各指標の位置が既知である指標群であれば、指標の種類は何れのものでもよい。例えば、第一の実施形態で用いたような複数の円形状指標の組であってもよいし、複数種の指標が混在していてもよい。また、複数の指標座標系を有する場合であっても、個々の指標座標系毎に上記の処理を個別に行うか、或いは、個々の指標座標系毎に上記の処理を並列的に行うことで、同様に較正することが可能である。
<Modification 2-4>
In the present embodiment, a square index is used as the objective viewpoint index, but any index type may be used as long as the index group has a known position of each index in the index coordinate system. For example, it may be a set of a plurality of circular indicators as used in the first embodiment, or a plurality of types of indicators may be mixed. Further, even when a plurality of index coordinate systems are provided, the above processing is performed individually for each index coordinate system, or the above processing is performed in parallel for each index coordinate system. Can be calibrated as well.
[第3の実施形態]
本実施形態に係る指標較正装置は、第2の実施形態と同様に、撮像装置に装着した複数の指標が指標座標系を有しており、指標座標系における各指標の座標は既知であるとした場合の、撮像装置に対する指標座標系の位置と姿勢、あるいは、撮像装置に対する各指標の位置を取得する。以下、本実施形態に係る指標較正装置及び指標較正方向について説明する。
[Third Embodiment]
In the index calibration device according to the present embodiment, as in the second embodiment, a plurality of indexes mounted on the imaging apparatus have an index coordinate system, and the coordinates of each index in the index coordinate system are known. In this case, the position and orientation of the index coordinate system with respect to the imaging apparatus or the position of each index with respect to the imaging apparatus is acquired. Hereinafter, the index calibration apparatus and index calibration direction according to the present embodiment will be described.
図5は、本実施形態に係る指標較正装置の概略構成を示す図である。図3と同じ部分については同じ番号、記号を付けており、その詳細な説明は省略する。図5に示したように、本実施形態に係る指標較正装置500は、主観視点指標検出部110、客観視点カメラ140、客観視点指標検出部150、指示部160、位置姿勢算出部520、データ管理部570、較正情報算出部580によって構成されており、較正対象である撮像装置130に接続されている。なお、撮像装置130上には、第2の実施形態と同様に、較正される対象である複数の指標Pk(k=1,,,K2)が設定されているものとする。
現実空間中の複数の位置には、第2の実施形態と同様に主観視点指標Qkが設定されており、また、主観視点指標検出部110、客観視点カメラ140、客観視点指標検出部150、指示部160の動作も第2の実施形態と同様であるので、詳細な説明は省略する。ただし、主観視点指標検出部110がデータ管理部570の要求に応じてデータ管理部570へ検出結果を出力する点と、客観視点指標検出部150が位置姿勢算出部520へ検出結果を出力する点が、第2の実施形態とは異なっている。また、第2の実施形態では、主観視点指標の検出結果を用いて撮像装置130の位置と姿勢を求めていたので、撮像装置130の位置と姿勢を算出するのに必要なだけの指標が1枚の主観視点画像から検出されていなければならなかったが、本実施形態では、1枚の主観視点画像から検出される指標の数は1点以上であればよい。
FIG. 5 is a diagram showing a schematic configuration of the index calibration device according to the present embodiment. The same parts as those in FIG. 3 are given the same numbers and symbols, and detailed description thereof is omitted. As shown in FIG. 5, the index calibration apparatus 500 according to the present embodiment includes a subjective viewpoint
The subjective viewpoint index Q k is set at a plurality of positions in the real space, as in the second embodiment, and the subjective viewpoint
位置姿勢算出部520は、客観視点指標検出部150から客観視点指標Pkmの画像座標uPkmとその識別子を入力し、既知な情報として予め保持している指標座標系における各指標の3次元座標xM Pkmとの対応関係に基づいて、客観視点カメラ座標系における指標座標系の位置及び姿勢を算出する。この算出方法は第2の実施形態のステップS4070で述べた処理と同様のものであるので、詳細な説明は省略する。算出した位置及び姿勢は、データ管理部370の要求に従って、データ管理部370へと出力される。以下では、客観視点カメラ座標系における指標座標系の位置及び姿勢は、4×4の同次座標行列MBM(指標座標系における座標を客観視点カメラ座標系における座標に変換する行列)によって保持されているものとする。
The position / orientation calculation unit 520 receives the image coordinates uPkm of the objective viewpoint index P km and its identifier from the objective viewpoint index detection unit 150, and the three-dimensional coordinates of each index in the index coordinate system held in advance as known information. Based on the correspondence with x M Pkm , the position and orientation of the index coordinate system in the objective viewpoint camera coordinate system are calculated. Since this calculation method is the same as the processing described in step S4070 of the second embodiment, detailed description thereof is omitted. The calculated position and orientation are output to the
データ管理部570は、指示部160から「データ取得」の指示を受けると、主観視点指標検出部110から主観視点指標の画像座標とその識別子を入力し、位置姿勢算出部520から客観視点カメラ座標系における指標座標系の位置及び姿勢を入力し、[客観視点カメラ座標系における指標座標系の位置及び姿勢−主観視点指標の画像座標−主観視点指標の識別子]の組を、入力した夫々の主観視点指標毎に作成し、一つのデータリストに追加しこれを保持する。また、データ管理部570は、較正情報算出部580からの要求にしたがって、生成したデータリストを較正情報算出部580に出力する。
Upon receiving the “data acquisition” instruction from the
較正情報算出部580は、指示部160から「較正情報算出」の指示を受けると、データ管理部570からデータリストを入力し、これをもとに較正処理を行い、その結果として得られた較正情報(すなわち、主観視点カメラ座標系における指標座標系の位置と姿勢)を出力する。
When the calibration
図6は、本実施形態の較正装置が較正情報を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のRAMやROMなどのメモリ内に格納され、不図示のCPUにより読み出され、実行される。 FIG. 6 is a flowchart of processing performed when the calibration apparatus according to the present embodiment obtains calibration information. The program code according to the flowchart is stored in a memory such as a RAM or a ROM (not shown) in the apparatus according to the present embodiment, and is read and executed by a CPU (not shown).
ステップS6010において、指示部160は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。オペレータは、指標較正用のデータ取得を行う位置に撮像装置130を配置した時に、データ取得コマンドを入力する。指示部160は、データ取得コマンドが入力されている場合には、ステップS6020へと処理を移行させる。
In step S6010, the
ステップS6020において、データ管理部570は、位置姿勢算出部520から、客観視点カメラ座標系における指標座標系の位置及び姿勢MBMを入力する。 In step S6020, the data management unit 570, from the position and orientation calculation unit 520 inputs the position and orientation M BM index coordinate system in the objective view camera coordinate system.
ステップS6030において、データ管理部570は、主観視点指標検出部110から、主観視点指標検出部110によって検出された夫々の主観視点指標Qknの画像座標uQknとその識別子knを入力する。
In step S6030, the data management unit 570, from the subjective-view-
ステップS6040において、データ管理部570は、入力した夫々の主観視点指標Qknを、データリストLにデータDjとして追加する。具体的には、位置姿勢算出部520から入力する客観視点カメラ座標系における指標座標系の位置及び姿勢MBMをMBMjとし、主観視点指標検出部110から入力する識別子knをkjとし、同じく主観視点指標検出部110から入力するuQknをuj Qkjとして、Dj=[MBMj,uj Qkj,kj]の組を、j番目のデータとしてデータリストLに登録する。ここでj(j=1,,,J)は、データリストLに登録したデータの組夫々に対するインデックスであり、Jは、登録したデータの総組数を表している。
In step S6040, the data management unit 570 adds each input subjective viewpoint index Q kn to the data list L as data D j . Specifically, the objective viewpoint camera coordinate position and orientation M BM index coordinate system in system input from the position and orientation calculating section 520 and M BMj, the identifier k n input from the subjective-view-
以上の処理によって、データの取得が行われる。 Data is acquired by the above processing.
ステップS6050では、データ管理部570によって、それまでに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。条件を満たしていない場合には、再びステップS6010へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップS6060へと処理を移行させる。データリストが較正情報を算出するに足るだけの情報を有す条件としては、例えば、少なくとも異なる3つ以上の主観視点指標Qkに関するデータが、データリストLに含まれていること、が挙げられる。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。 In step S6050, the data management unit 570 determines whether the data list acquired so far has enough information to calculate calibration information. If the condition is not satisfied, the process returns to step S6010 again and waits for the input of a data acquisition command. On the other hand, if the data list satisfies the condition for calculating the calibration information, the process proceeds to step S6060. The condition that the data list has sufficient information to calculate the calibration information includes, for example, that the data list L includes data relating to at least three different subjective viewpoint indices Q k. . However, since the accuracy of the calibration information derived as the diversity of input data increases, the condition may be set so as to request more data.
次にステップS6060において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップS6070へと処理を移行し、入力されていない場合には、再びステップS6010へと戻り、データ取得コマンドの入力を待つ。 In step S6060, it is determined whether a calibration information calculation command has been input from the operator. If the calibration information calculation command has been input, the process proceeds to step S6070. If not, the process returns to step S6010 again to wait for the input of the data acquisition command.
較正情報算出部580は、第2の実施形態と同様に、求めるべき較正情報、すなわち指標系座標の主観視点カメラ座標系における位置及び姿勢を6値ベクトル[xyzξψζ]Tとして扱う。以下では、この未知パラメータを状態ベクトルs=[xyzξψζ]Tと記述する。
As in the second embodiment, the calibration
ステップS6070において、較正情報算出部580は、状態ベクトルsに適当な初期値を与える。初期値としては、例えば、オペレータが指示部160を介しておおよその値を手入力する。
In step S6070, the calibration
ステップS6080において、較正情報算出部580は、データリストL中の各データDj(j=1,2,,,,J)および状態ベクトルsから、全てのjに対して、各主観視点指標Qkjの主観視点画像座標の理論値uj Qkj’=[uxj Qkj’,uyj Qkj’]を算出する。ここで主観視点指標の主観視点画像座標の理論値とは、客観視点カメラ座標系における指標座標系の位置及び姿勢がMBMj、主観視点カメラ座標系における指標座標系の位置及び姿勢がsである時に、世界座標系における位置xW Qkjが既知な主観視点指標Qkjの、主観視点画像中に見えるべき位置(座標)のデータを指す。uj Qkj’の算出は、sの関数
In step S6080, the calibration
に基づいて行われる。 Based on.
具体的には、関数Fj( )は、j番目のデータを取得した時の(すなわち、客観視点カメラ座標系における指標座標系の位置及び姿勢がMBMjである時の)主観視点指標Qkjの主観視点カメラ座標における位置xCj Qkjを、sから求める次式、 Specifically, the function F j () is the subjective viewpoint index Q kj when the j-th data is acquired (that is, when the position and orientation of the index coordinate system in the objective viewpoint camera coordinate system is M BMj ). The position x Cj Qkj in the subjective viewpoint camera coordinates of
及び、xCj Qkjから主観視点指標Qkjの主観視点画像上の座標uj Qkj’を求める次式、 And the following equation for obtaining the coordinates u j Qkj ′ on the subjective viewpoint image of the subjective viewpoint index Q kj from x Cj Qkj :
によって構成されている。ここでfC x及びfC yは、それぞれx軸方向及びy軸方向における撮像装置130の焦点距離、MWBは客観視点カメラ座標系における座標を世界座標に変換する変換行列であり、それぞれ既知の値として予め保持されているものとする。また、MCM(s)はsによって定まるモデリング変換行列(指標座標系における座標を主観視点カメラ座標系における座標に変換する行列)であり、式20によって定義される。なお、式29における右辺の行列の積(MCM(s)・MBMj −1・MWB −1)は、s及びMBMjによって定まる世界座標系における撮像装置130の位置及び姿勢(MWC −1)を表している。
It is constituted by. Here, f C x and f C y are the focal lengths of the
ステップS6090において、較正情報算出部580は、全てのjに対して、データリストL中の各データに含まれる主観視点指標Qkjの実際の画像座標uj Qkjと、それに対応する画像座標の理論値uj Qkj’との誤差△uj Qkjを次式によって算出する。
In step S6090, the calibration
ステップS6100において、較正情報算出部580は、全てのjに対して、状態ベクトルsに関する画像ヤコビアン(すなわち、式28の関数Fj()を状態ベクトルsの各要素で偏微分した解を各要素に持つ2行×6列のヤコビ行列)Juj Qkj s(=∂uj Qkj/∂s)を算出する。具体的には、式30の右辺を主観視点カメラ座標系上の位置ベクトルxCj Qkjの各要素で偏微分した解を各要素に持つ2行×3列のヤコビ行列JujxCj Qkj(=∂uj Qkj/∂xCj Qkj)と、29の右辺を状態ベクトルsの各要素で偏微分した解を各要素に持つ3行×6列のヤコビ行列JxCj Qkj s(=∂xCj Qkj/∂s)を算出し、次式によってJuj Qkj sを算出する。
In step S6100, the calibration
ステップS6110において、較正情報算出部580は、以上のステップで算出した、全てのjに対する誤差△uj Qkj及びヤコビ行列Juj Qkj sに基づいて、sの補正値△sを算出する。具体的には、全てのjに対する誤差△uj Qkjを垂直に並べた2J次元ベクトルの誤差ベクトルU及びヤコビ行列Juj Qkj sを垂直に並べた2J行×6列の行列Φを作成し、Φの擬似逆行列Φ+を用いて、△sを式26より算出する。ここで、△sは6次元ベクトルであるから、2Jが6以上、すなわちJが3以上であれば、△sを求めることができる。なおΦ+は、例えばΦ+=(ΦTΦ)−1ΦTによって求めることができるが、他の方法によって求めてもよい。
In step S6110, the calibration
ステップS6120において、較正情報算出部580は、ステップS6110において算出した補正値△sを用いて、式27に従って状態ベクトルsを補正し、得られた値を新たなsとする。
In step S6120, calibration
ステップS6130において、較正情報算出部580は、誤差ベクトルUが予め定めた閾値より小さいかどうか、あるいは、補正値△sが予め定めた閾値より小さいかどうかといった何らかの判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルsを用いて、再度ステップS6080以降の処理を行う。
In step S6130, calibration
ステップS6130において計算が収束したと判定されると、ステップS6140において、較正情報算出部580は、得られた状態ベクトルsを、較正情報、すなわち、主観視点カメラ座標系における指標座標系の位置及び姿勢として出力する。この時の出力の形態は、sそのものであっても良いし、sの位置成分を3値のベクトルで表し、姿勢成分をオイラー角や3×3の回転行列で表したものであっても良いし、sから生成した座標変換行列MCMであっても良い。
If it is determined in step S6130 that the calculation has converged, in step S6140, the calibration
最後にステップS6150では、較正処理を終了するか否かの判定が行われる。オペレータが、指標較正装置500に対して較正処理の終了を指示した場合には、処理を終了させ、較正処理の継続(再較正)を指示した場合には、再びステップS6010へと戻り、データ取得コマンドの入力を待つ。 Finally, in step S6150, it is determined whether or not to end the calibration process. When the operator instructs the index calibration device 500 to end the calibration process, the process is ended. When the operator instructs the continuation (recalibration) of the calibration process, the process returns to step S6010 again to acquire data. Wait for command input.
以上の処理によって、撮像装置に装着した指標の撮像装置に対する位置または位置姿勢を、簡便かつ正確に取得することができる。 Through the above processing, the position or position / orientation of the index attached to the imaging apparatus with respect to the imaging apparatus can be acquired easily and accurately.
<変形例3−1>
なお、本実施形態においては、較正情報として、主観視点カメラ座標系における指標座標系の位置及び姿勢を出力していたが、得られた状態ベクトルsから、主観視点カメラ座標系における客観視点指標Pkの位置を個々に算出して、これらを較正情報として出力しても良い。
<Modification 3-1>
In this embodiment, the position and orientation of the index coordinate system in the subjective viewpoint camera coordinate system are output as the calibration information, but the objective viewpoint index P in the subjective viewpoint camera coordinate system is obtained from the obtained state vector s. The positions of k may be calculated individually and output as calibration information.
<変形例3−2>
なお、本実施形態においては、状態ベクトルの補正値の算出に式26で表現される最急降下法を用いているが、補正値の算出は必ずしも最急降下法によって行わなくてもよい。例えば公知の非線形方程式の反復解法であるLM法(Levenberg−Marquardt法)を用いて求めてもよいし、公知のロバスト推定手法であるM推定等の統計的手法を組み合わせてもよいし、他の何れの数値計算手法を適用しても本発明の本質は損なわれない。
<Modification 3-2>
In the present embodiment, the steepest descent method expressed by Expression 26 is used to calculate the correction value of the state vector. However, the correction value need not necessarily be calculated by the steepest descent method. For example, the LM method (Levenberg-Marquardt method) which is an iterative solution of a known nonlinear equation may be used, or a statistical method such as M estimation which is a known robust estimation method may be combined. Regardless of which numerical calculation method is applied, the essence of the present invention is not impaired.
<変形例3−3>
なお、本実施形態においては、客観視点指標として四角形指標を用いていたが、指標座標系における各指標の位置が既知である指標群であれば、指標の種類は何れのものでもよい。例えば、第一の実施形態で用いたような複数の円形状指標の組であってもよいし、複数種の指標が混在していてもよい。また、複数の指標座標系を有する場合であっても、個々の指標座標系毎に上記の処理を個別に行うか、或いは、個々の指標座標系毎に上記の処理を並列的に行うことで、同様に較正することが可能である。
<Modification 3-3>
In the present embodiment, a square index is used as the objective viewpoint index, but any index type may be used as long as the index group has a known position of each index in the index coordinate system. For example, it may be a set of a plurality of circular indicators as used in the first embodiment, or a plurality of types of indicators may be mixed. Further, even when a plurality of index coordinate systems are provided, the above processing is performed individually for each index coordinate system, or the above processing is performed in parallel for each index coordinate system. Can be calibrated as well.
<変形例3−4>
また、本実施形態においては、画像上で2次元座標を与えるような指標を主観視点指標として用いているが、非特許文献2や非特許文献5で開示されているような線特徴や幾何特徴を、評価のための基準指標として用いてもよい。例えば、線特徴を用いる場合には、直線の原点からの距離を誤差評価基準として、画像からの検出値dと状態ベクトルsからの推定値d’から算出する誤差△dによって誤差ベクトルUを構成し、d’の算出式を状態ベクトルsの各要素で偏微分した解を各要素に持つ1行×4列のヤコビ行列Jds(=∂d/∂s)によって行列Φを構成することで、上記実施形態と同様な枠組みによって補正値の算出を行うことが出来る。なお、d’の算出式は、非特許文献2や非特許文献5等で撮像装置の位置姿勢の関数として開示されており、かつ、撮像装置の位置姿勢はsの関数として得られる(式29右辺の3行列の積)ので、これらから容易に得ることができる。また、線特徴と点特徴、その他の指標から得られる誤差及び画像ヤコビアンを積み重ねることによって、それらの特徴を併用することが可能である。
<Modification 3-4>
In this embodiment, an index that gives a two-dimensional coordinate on an image is used as a subjective viewpoint index. However, line features and geometric features as disclosed in Non-Patent Document 2 and Non-Patent Document 5 are used. May be used as a reference index for evaluation. For example, when a line feature is used, the error vector U is constituted by an error Δd calculated from the detected value d from the image and the estimated value d ′ from the state vector s using the distance from the origin of the straight line as an error evaluation criterion. Then, the matrix Φ is constituted by a 1 row × 4 column Jacobian matrix J ds (= ∂d / ∂s) having a solution obtained by partial differentiation of the calculation formula of d ′ with each element of the state vector s. The correction value can be calculated by the same framework as in the above embodiment. Note that the calculation formula of d ′ is disclosed as a function of the position and orientation of the imaging apparatus in Non-Patent Document 2, Non-Patent Document 5, and the like, and the position and orientation of the imaging apparatus is obtained as a function of s (Formula 29) Therefore, it can be easily obtained from these. In addition, it is possible to use these features together by stacking line features and point features, errors obtained from other indices, and image Jacobians.
[他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
[Other Embodiments]
An object of the present invention is to supply a storage medium (or recording medium) in which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus. Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した(図2、図4及び/又は図6に示す)フローチャートに対応するプログラムコードが格納されることになる。 When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above (shown in FIGS. 2, 4, and / or 6).
Claims (16)
前記撮像装置を客観視点位置から撮影する客観視点撮像手段と、
前記撮像装置から第一の画像を入力する第一の画像入力手段と、
前記客観視点撮像手段から第二の画像を入力する第二の画像入力手段と、
情景に配置された基準指標の画像座標に関する情報を前記第一の画像から検出する第一の検出手段と、
前記較正対象指標の画像座標に関する情報を前記第二の画像から検出する第二の検出手段と、
前記第一の検出手段と前記第二の検出手段が検出した夫々の指標の画像座標に関する情報を用いて、前記較正情報を算出する較正情報算出手段とを有することを特徴とする指標較正装置。 An index calibration device that calculates, as calibration information, arrangement information of a calibration target index mounted on an imaging device with respect to the imaging device,
Objective viewpoint imaging means for imaging the imaging device from an objective viewpoint position;
First image input means for inputting a first image from the imaging device;
Second image input means for inputting a second image from the objective viewpoint imaging means;
First detection means for detecting information on the image coordinates of the reference index arranged in the scene from the first image;
Second detection means for detecting information on the image coordinates of the calibration target index from the second image;
An index calibration apparatus comprising calibration information calculation means for calculating the calibration information using information on image coordinates of each index detected by the first detection means and the second detection means.
前記第一の検出手段が検出した基準指標の画像座標に関する情報を用いて、前記撮像装置の位置姿勢を算出する撮像装置位置姿勢算出手段をさらに有し、
前記撮像装置位置姿勢算出手段が算出した前記撮像装置の位置姿勢と、前記第二の検出手段が検出した前記較正対象指標の画像座標に関する情報に基づいて、前記較正情報を算出することを特徴とする請求項1または請求項2に記載の指標較正装置。 The calibration information calculation means includes
The image pickup apparatus position and orientation calculation means for calculating the position and orientation of the image pickup apparatus using information on the image coordinates of the reference index detected by the first detection means,
The calibration information is calculated based on the position / orientation of the imaging device calculated by the imaging device position / orientation calculation unit and information on the image coordinates of the calibration target index detected by the second detection unit. The index calibration apparatus according to claim 1 or 2.
前記撮像装置位置姿勢算出手段が算出した前記撮像装置の位置姿勢と、前記較正情報の推定値に基づいて、前記第二の検出手段で検出されている前記較正対象指標の前記第二の画像内における画像座標に関する情報を推定する推定手段と、
前記第二の検出手段が検出した前記較正対象指標の画像座標に関する情報と、前記推定手段が推定した当該較正対象指標の画像座標に関する情報との間の誤差を軽減させるように、前記較正情報の推定値を補正する補正手段とをさらに有することを特徴とする請求項3に記載の指標較正装置。 The calibration information calculation means includes
In the second image of the calibration target index detected by the second detection means based on the position and orientation of the imaging apparatus calculated by the imaging apparatus position and orientation calculation means and the estimated value of the calibration information Estimating means for estimating information about image coordinates in
In order to reduce an error between the information about the image coordinates of the calibration target index detected by the second detection unit and the information about the image coordinates of the calibration target index estimated by the estimation unit, the calibration information The index calibration apparatus according to claim 3, further comprising a correction unit that corrects the estimated value.
前記較正情報算出手段は、
前記第二の検出手段が検出した前記較正対象指標の画像座標に関する情報と、現在の較正情報の推定値とに基づいて、前記撮像装置の位置姿勢を算出する撮像装置位置姿勢算出手段をさらに有し、
前記撮像装置位置姿勢算出手段が算出した前記撮像装置の位置姿勢と、前記第一の検出手段が検出した前記基準指標の画像座標に関する情報に基づいて、前記較正情報を算出することを特徴とする請求項1または請求項2のいずれかに記載の指標較正装置。 The calibration information is a position and orientation of the calibration target index attached to the imaging apparatus with respect to the imaging apparatus,
The calibration information calculation means includes
There is further provided an imaging device position / orientation calculating unit that calculates the position / orientation of the imaging device based on the information on the image coordinates of the calibration target index detected by the second detection unit and the estimated value of the current calibration information. And
The calibration information is calculated based on the position / orientation of the imaging apparatus calculated by the imaging apparatus position / orientation calculation means and information on the image coordinates of the reference index detected by the first detection means. The index calibration apparatus according to claim 1 or 2.
前記較正情報算出手段は、
前記第二の検出手段が検出した前記較正対象指標の画像座標に関する情報と、現在の較正情報の推定値とに基づいて、前記第一の検出手段で検出されている前記基準指標の前記第一の画像内における画像座標に関する情報を推定する推定手段と、
前記第一の検出手段が検出した前記基準指標の画像座標に関する情報と、前記推定手段が推定した当該基準指標の画像座標に関する情報との間の誤差を軽減させるように、前記較正情報の推定値を補正する補正手段とをさらに有することを特徴とする請求項1または請求項2のいずれかに記載の指標較正装置。 The calibration information is a position and orientation of the calibration target index attached to the imaging apparatus with respect to the imaging apparatus,
The calibration information calculation means includes
The first of the reference indices detected by the first detection means based on the information about the image coordinates of the calibration target index detected by the second detection means and the estimated value of the current calibration information. Estimating means for estimating information related to image coordinates in the image of
The estimated value of the calibration information so as to reduce an error between the information about the image coordinates of the reference index detected by the first detection unit and the information about the image coordinates of the reference index estimated by the estimation unit. The index calibration apparatus according to claim 1, further comprising a correction unit that corrects the error.
前記撮像装置によって撮影された第一の画像を取得し、
前記撮像装置を客観視点位置から撮影することにより得られた第二の画像を取得し、
情景に配置された基準指標の画像座標に関する情報を前記第一の画像から検出し、
前記較正対象指標の画像座標に関する情報を前記第二の画像から検出し、
前記検出された情景に配置された基準指標の画像座標に関する情報および前記較正対象指標の画像座標に関する情報を用いて、前記較正情報を求めることを特徴とする情報処理方法。 An index calibration method for obtaining, as calibration information, arrangement information of a calibration target index mounted on an imaging apparatus with respect to an imaging apparatus,
Obtaining a first image taken by the imaging device;
Obtaining a second image obtained by photographing the imaging device from an objective viewpoint position;
Detecting information about the image coordinates of the reference index arranged in the scene from the first image,
Detecting information about the image coordinates of the calibration target index from the second image;
An information processing method characterized in that the calibration information is obtained by using information on image coordinates of a reference index arranged in the detected scene and information on image coordinates of the calibration target index.
前記撮像装置の位置姿勢および前記較正対象指標の画像座標に関する情報に基づいて、前記較正情報を算出することを特徴とする請求項8または請求項9に記載の情報処理方法。 Using the information about the image coordinates of the reference index, calculate the position and orientation of the imaging device,
The information processing method according to claim 8 or 9, wherein the calibration information is calculated based on information on a position and orientation of the imaging apparatus and image coordinates of the calibration target index.
前記較正対象指標の画像座標に関する情報と、前記推定手段が推定した当該較正対象指標の画像座標に関する情報との間の誤差を軽減させるように、前記較正情報の推定値を補正することを特徴とする請求項10記載の情報処理方法。 Based on the position and orientation of the imaging device and the estimated value of the calibration information, estimate information related to image coordinates in the second image of the calibration target index,
Correcting the estimated value of the calibration information so as to reduce an error between the information about the image coordinates of the calibration target index and the information about the image coordinates of the calibration target index estimated by the estimation unit. The information processing method according to claim 10.
前記較正対象指標の画像座標に関する情報と、現在の較正情報の推定値とに基づいて、前記撮像装置の位置姿勢を算出し、
前記撮像装置の位置姿勢と前記基準指標の画像座標に関する情報とに基づいて、前記較正情報を算出することを特徴とする請求項8または請求項9のいずれかに記載の情報処理方法。 The calibration information is a position and orientation of the calibration target index attached to the imaging apparatus with respect to the imaging apparatus,
Based on the information about the image coordinates of the calibration target index and the estimated value of the current calibration information, calculate the position and orientation of the imaging device,
10. The information processing method according to claim 8, wherein the calibration information is calculated based on a position and orientation of the imaging apparatus and information on image coordinates of the reference index.
前記較正対象指標の画像座標に関する情報と、現在の較正情報の推定値とに基づいて、前記基準指標の前記第一の画像内における画像座標に関する情報を推定し、
前記基準指標の画像座標に関する情報と、前記推定手段が推定した当該基準指標の画像座標に関する情報との間の誤差を軽減させるように、前記較正情報の推定値を補正することを特徴とする請求項8または請求項9のいずれかに記載の情報処理方法。 The calibration information is a position and orientation of the calibration target index attached to the imaging apparatus with respect to the imaging apparatus,
Based on the information on the image coordinates of the calibration target index and the estimated value of the current calibration information, the information on the image coordinates in the first image of the reference index is estimated,
The correction value of the calibration information is corrected so as to reduce an error between the information about the image coordinates of the reference index and the information about the image coordinates of the reference index estimated by the estimation unit. The information processing method according to claim 8 or 9.
A storage medium for storing the program code according to claim 15.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004320637A JP4533090B2 (en) | 2004-05-14 | 2004-11-04 | Index calibration apparatus and information processing method |
US11/127,000 US7613361B2 (en) | 2004-05-14 | 2005-05-11 | Information processing method and device |
EP05252972A EP1596333B1 (en) | 2004-05-14 | 2005-05-13 | Calibration for mixed reality |
DE602005009994T DE602005009994D1 (en) | 2004-05-14 | 2005-05-13 | Calibration for Mixed Reality |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004144895 | 2004-05-14 | ||
JP2004320637A JP4533090B2 (en) | 2004-05-14 | 2004-11-04 | Index calibration apparatus and information processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005351883A true JP2005351883A (en) | 2005-12-22 |
JP4533090B2 JP4533090B2 (en) | 2010-08-25 |
Family
ID=35586476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004320637A Expired - Fee Related JP4533090B2 (en) | 2004-05-14 | 2004-11-04 | Index calibration apparatus and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4533090B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006153848A (en) * | 2004-11-04 | 2006-06-15 | Canon Inc | Method and apparatus for processing information |
JP2007033257A (en) * | 2005-07-27 | 2007-02-08 | Canon Inc | Information processing method and device |
JP2008224626A (en) * | 2007-03-15 | 2008-09-25 | Canon Inc | Information processor, method for processing information, and calibration tool |
JP2009521671A (en) * | 2005-12-23 | 2009-06-04 | ジーコデール システムズ アクチボラゲット | Positioning pattern |
JP5415948B2 (en) * | 2008-02-28 | 2014-02-12 | パナソニック株式会社 | Gaze detection apparatus and gaze detection method |
JP2017096725A (en) * | 2015-11-20 | 2017-06-01 | キヤノン株式会社 | Information processor and information processing method |
WO2019097577A1 (en) * | 2017-11-14 | 2019-05-23 | 日本電気株式会社 | Measurement system, correction processing device, correction processing method, and computer readable recording medium |
CN114615441A (en) * | 2020-12-04 | 2022-06-10 | 株式会社日立制作所 | Calibration device and calibration method |
US11514606B2 (en) | 2017-11-01 | 2022-11-29 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001074428A (en) * | 1999-09-03 | 2001-03-23 | Sanyo Electric Co Ltd | Method and jig for calibrating shape measuring apparatus |
JP2003329423A (en) * | 2002-05-14 | 2003-11-19 | Sanyo Electric Co Ltd | Camera parameter calibrating method in three- dimensional shape measuring instrument |
-
2004
- 2004-11-04 JP JP2004320637A patent/JP4533090B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001074428A (en) * | 1999-09-03 | 2001-03-23 | Sanyo Electric Co Ltd | Method and jig for calibrating shape measuring apparatus |
JP2003329423A (en) * | 2002-05-14 | 2003-11-19 | Sanyo Electric Co Ltd | Camera parameter calibrating method in three- dimensional shape measuring instrument |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006153848A (en) * | 2004-11-04 | 2006-06-15 | Canon Inc | Method and apparatus for processing information |
JP2007033257A (en) * | 2005-07-27 | 2007-02-08 | Canon Inc | Information processing method and device |
JP2009521671A (en) * | 2005-12-23 | 2009-06-04 | ジーコデール システムズ アクチボラゲット | Positioning pattern |
JP2008224626A (en) * | 2007-03-15 | 2008-09-25 | Canon Inc | Information processor, method for processing information, and calibration tool |
JP5415948B2 (en) * | 2008-02-28 | 2014-02-12 | パナソニック株式会社 | Gaze detection apparatus and gaze detection method |
JP2017096725A (en) * | 2015-11-20 | 2017-06-01 | キヤノン株式会社 | Information processor and information processing method |
US11514606B2 (en) | 2017-11-01 | 2022-11-29 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
WO2019097577A1 (en) * | 2017-11-14 | 2019-05-23 | 日本電気株式会社 | Measurement system, correction processing device, correction processing method, and computer readable recording medium |
JPWO2019097577A1 (en) * | 2017-11-14 | 2020-11-26 | 日本電気株式会社 | Measurement system, correction processing device, correction processing method, and program |
US11519780B2 (en) | 2017-11-14 | 2022-12-06 | Nec Corporation | Measurement system, correction processing apparatus, correction processing method, and computer-readable recording medium |
CN114615441A (en) * | 2020-12-04 | 2022-06-10 | 株式会社日立制作所 | Calibration device and calibration method |
Also Published As
Publication number | Publication date |
---|---|
JP4533090B2 (en) | 2010-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1596333B1 (en) | Calibration for mixed reality | |
JP4914038B2 (en) | Information processing method and apparatus | |
JP4136859B2 (en) | Position and orientation measurement method | |
JP4914039B2 (en) | Information processing method and apparatus | |
JP4593968B2 (en) | Position and orientation measurement method and apparatus | |
JP4976756B2 (en) | Information processing method and apparatus | |
JP4689380B2 (en) | Information processing method and apparatus | |
JP4886560B2 (en) | Information processing apparatus and information processing method | |
JP5036260B2 (en) | Position and orientation calculation method and apparatus | |
JP4708752B2 (en) | Information processing method and apparatus | |
US7529387B2 (en) | Placement information estimating method and information processing device | |
US7630555B2 (en) | Position and orientation measuring method and apparatus | |
JP5196825B2 (en) | Image processing apparatus and image processing method | |
JP2005326275A (en) | Information processing method and device | |
JP4533193B2 (en) | Information processing apparatus and information processing method | |
JP4956456B2 (en) | Image processing apparatus and image processing method | |
JP2008261755A (en) | Information processing apparatus and information processing method | |
JP2008134161A (en) | Position attitude measuring method, and position attitude measuring device | |
JP4095320B2 (en) | Sensor calibration device, sensor calibration method, program, storage medium | |
JP4533090B2 (en) | Index calibration apparatus and information processing method | |
JP4566786B2 (en) | Position and orientation measurement method and information processing apparatus | |
JP5726024B2 (en) | Information processing method and apparatus | |
JP6109213B2 (en) | Information processing apparatus and method, program | |
JP4612804B2 (en) | Position and orientation measurement method and information processing apparatus | |
CN100430686C (en) | Information processing method and device therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100611 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |