JP4996585B2 - Image calibration evaluation apparatus and image calibration evaluation program - Google Patents
Image calibration evaluation apparatus and image calibration evaluation program Download PDFInfo
- Publication number
- JP4996585B2 JP4996585B2 JP2008297032A JP2008297032A JP4996585B2 JP 4996585 B2 JP4996585 B2 JP 4996585B2 JP 2008297032 A JP2008297032 A JP 2008297032A JP 2008297032 A JP2008297032 A JP 2008297032A JP 4996585 B2 JP4996585 B2 JP 4996585B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- line segment
- evaluation
- graphic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims description 74
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 36
- 238000000034 method Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012854 evaluation process Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像校正評価装置及び画像校正評価プログラムに係り、特に、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させるための画像校正評価装置及び画像校正評価プログラムに関する。 The present invention relates to an image calibration evaluation apparatus and an image calibration evaluation program, and more particularly to an image calibration evaluation apparatus and an image calibration for improving the robustness and accuracy of evaluation by quantifying the success or failure of calibration based on image information. Regarding the evaluation program.
従来のカメラ校正では、既定或いは予め測定済みのパターンを校正対象のカメラで撮影し、パターンの像の形状から解析的手法或いは繰り返し収束演算する手法によりカメラパラメータを求めることが行われている。 In conventional camera calibration, a predetermined or previously measured pattern is photographed by a camera to be calibrated, and camera parameters are obtained by an analytical method or a method of repeatedly performing a convergence calculation from the shape of the pattern image.
ここで、上述した繰り返し収束演算による手法の代表例としては、例えば実際に観測されたパターンの像と、カメラパラメータ及びパターンのモデルから推測した観測されるべきパターンの像との一致の度合を評価しつつ、その一致の度合が最大となるようにカメラパラメータを逐次修正する手法がある。また、上述したパターンとしては、複数の観測点とモデル上の点との対応関係を用いる手法（例えば、非特許文献１参照。）や、観測された複数の線（直線、線分、曲線等）とモデル上の線との対応関係を用いる手法がある。 Here, as a representative example of the method based on the repeated convergence calculation described above, for example, the degree of coincidence between the actually observed pattern image and the observed pattern image estimated from the camera parameters and the pattern model is evaluated. However, there is a method of sequentially correcting the camera parameters so that the degree of coincidence is maximized. In addition, as the above-described pattern, a method using a correspondence relationship between a plurality of observation points and points on the model (see, for example, Non-Patent Document 1), a plurality of observed lines (straight lines, line segments, curves, etc.) ) And a line on the model.
また、上述した複数の点情報を用いる手法では、例えば線同士の交差した点や折れ線の頂点、円或いは矩形等の特定パターンの代表点（重心等）を特徴点として抽出し、モデルとの対応関係を求めることが主流である。 Further, in the method using the plurality of point information described above, for example, a representative point (centroid, etc.) of a specific pattern such as a point where lines intersect, a vertex of a broken line, a circle or a rectangle is extracted as a feature point, and correspondence with a model The mainstream is to seek relationships.
一方、複数の線情報を用いる手法では、例えばハフ変換や一般化ハフ変換によって、直線や曲線のパラメータを算出し、そのパラメータとモデルとの対応を取ることが行われている（例えば、特許文献１参照。）。
ところで、上述した従来のカメラ校正手法では、画像内の特徴点や直線、曲線を抽出し、その座標やパラメータを得ることが最初の段階として行われ、続いてモデルを投影変換した点や線の座標やパラメータと、観測画像から得た座標やパラメータとの距離の比較が行われる。 By the way, in the above-described conventional camera calibration method, feature points, straight lines, and curves in an image are extracted, and the coordinates and parameters are obtained as an initial stage, and then the points and lines obtained by projecting the model are converted. The distance between the coordinates and parameters and the coordinates and parameters obtained from the observed image is compared.
ここで、通常、点や線の抽出処理は、画像に対する非線形の演算であり、元の画像情報の多くを喪失する傾向にある。このため、画像からの点や線の抽出が不安定になると、校正の成否を評価することができなくなり、カメラパラメータの推定が不可能となってしまう。 Here, the point and line extraction processing is usually a non-linear operation on the image and tends to lose much of the original image information. For this reason, if the extraction of points and lines from the image becomes unstable, the success or failure of the calibration cannot be evaluated, and the camera parameters cannot be estimated.
本発明は、上述した問題点に鑑みなされたものであり、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させるための画像校正評価装置及び画像校正評価プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an image calibration evaluation apparatus and an image calibration evaluation program for improving evaluation robustness and accuracy by quantifying the success or failure of calibration based on image information. The purpose is to provide.
なお、具体的には、本発明におけるカメラ校正評価は、点や線の抽出処理における情報喪失を回避するため、校正対象のカメラで撮影された画像の画素値の情報を直接的に用いて校正の成否を判定できるようにすることを目的とする。 Specifically, in the camera calibration evaluation in the present invention, in order to avoid the loss of information in the point and line extraction processing, the calibration is performed by directly using the pixel value information of the image captured by the camera to be calibrated. The purpose is to be able to determine the success or failure of.
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。 In order to solve the above problems, the present invention employs means for solving the problems having the following characteristics.
請求項１に記載された発明は、撮像手段により得られる画像から、前記撮像手段の撮像パラメータにおける画像校正の成否を評価する画像校正評価装置において、前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有し、前記評価値演算手段は、前記スキャン線分設定手段で得られた全ての線分上の各画素の画素値に、各線分上の位置に応じて予め設定される重み係数を掛けて積分値又は総和の評価値を求め、更に前記各線分上の位置に応じて予め設定される重み係数は、前記重み係数の積分値又は総和が零となるよう設定されることを特徴とする。 According to the first aspect of the present invention, in an image calibration evaluation apparatus that evaluates the success or failure of image calibration in the imaging parameters of the imaging unit from an image obtained by the imaging unit, an image to be calibrated captured by the imaging unit is obtained. An image input unit to be captured, a pattern storage unit that holds a graphic feature of a three-dimensional pattern including a straight line or a curve that is a calibration graphic, and the graphic feature and the input imaging parameter are used to project the image onto the image coordinate system. A scanning means for setting one or more points on the projected image of the calibration graphic based on the graphic projected by the projection means for obtaining the graphic feature, and a line passing through each set point based on the graphic projected by the projection means In the image captured by the line segment setting means and the image input means, the pixel value of each pixel on the line segment is acquired, and the success or failure of the calibration is quantified using the acquired pixel value. Possess the evaluation value calculating means for calculating an evaluation value, the evaluation value calculating means, pixel value of each pixel on all the line segments obtained in the scan line setting means, the position on the line segment The integrated value or the sum total evaluation value is obtained by multiplying the weighting factor set in advance according to the values, and the weighting factor set in advance according to the position on each line segment is zero in the integrated value or sum total of the weighting factors. It is set so that it becomes .
請求項１記載の発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。また、例えば画像校正に必要な近距離部分の重みを重くすることで、より高精度な評価値を算出することができる。 According to the first aspect of the present invention, the robustness and accuracy of the evaluation can be improved by quantifying the success or failure of the calibration based on the image information. In addition, for example, by increasing the weight of the short distance portion necessary for image calibration, a more accurate evaluation value can be calculated.
請求項２に記載された発明は、前記投影手段は、前記パターン記憶手段に記憶された複数の幾何特徴情報から、前記撮像パラメータに対応した幾何特徴情報を前記図形特徴として取得し、取得した幾何特徴情報を投影変換して、画像座標系における幾何特徴情報を出力することを特徴とする。 According to a second aspect of the present invention, the projection unit acquires geometric feature information corresponding to the imaging parameter as the graphic feature from a plurality of pieces of geometric feature information stored in the pattern storage unit, and acquires the acquired geometric feature. The feature information is projected and converted to output geometric feature information in an image coordinate system.
請求項２記載の発明によれば、幾何特徴情報を用いることで、より高精度な評価値を容易に算出することができる。 According to the second aspect of the present invention, it is possible to easily calculate a more accurate evaluation value by using the geometric feature information.
請求項３に記載された発明は、前記図形特徴は、前記撮像手段により得られる直線又は曲線を含むパターン上の１以上の代表点と、前記代表点における前記直線又は曲線の接線方向とを含むことを特徴とする。 According to a third aspect of the present invention, the graphic feature includes one or more representative points on a pattern including a straight line or a curve obtained by the imaging unit, and a tangential direction of the straight line or the curve at the representative point. It is characterized by that.
請求項３記載の発明によれば、パターンの代表点とその代表点における接線方向と含む図形特徴を利用することで、画像校正を容易に行うことができる。 According to the third aspect of the present invention, image calibration can be easily performed by utilizing the graphic features including the representative point of the pattern and the tangent direction at the representative point.
請求項４に記載された発明は、前記スキャン線分設定手段は、前記図形特徴における前記代表点毎の像を通り、前記代表点における接線方向の像に直交する線分をスキャン線分として設定することを特徴とする。 According to a fourth aspect of the present invention, the scan line segment setting means sets, as a scan line segment, a line segment that passes through the image for each representative point in the graphic feature and is orthogonal to the tangential image at the representative point. It is characterized by doing.
請求項４記載の発明によれば、容易に校正評価に必要なスキャン線分を効率的に取得することができる。 According to the fourth aspect of the present invention, it is possible to easily acquire scan line segments necessary for calibration evaluation easily.
請求項５に記載された発明は、コンピュータを、請求項１乃至４の何れか１項に記載の画像校正評価装置が有する各手段として機能させるための画像校正評価プログラムである。
The invention described in claim 5, a computer, an image calibration evaluation program to function as each unit included in the image calibration evaluation apparatus according to any one of
請求項５記載の発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。更に、実行プログラムをコンピュータにインストールすることにより、容易に画像校正評価を実現することができる。 According to the invention described in claim 5, the robustness and accuracy of the evaluation can be improved by quantifying the success or failure of the calibration based on the image information. Furthermore, image calibration evaluation can be easily realized by installing an execution program in a computer.
本発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。 According to the present invention, the robustness and accuracy of evaluation can be improved by quantifying the success or failure of calibration based on image information.
＜本発明の概要＞
本発明は、撮像手段であるカメラの位置、姿勢、又は焦点距離の各情報のうち、１以上からなるカメラパラメータ（撮像パラメータ）が、正しいか否かを評価する校正評価装置に関し、特に校正対象のカメラにより撮影された画像に基づいて評価を行う装置に関する。
<Outline of the present invention>
The present invention relates to a calibration evaluation apparatus that evaluates whether or not a camera parameter (imaging parameter) consisting of one or more of each piece of information on the position, orientation, or focal length of a camera as an imaging means is correct. The present invention relates to an apparatus that performs evaluation based on an image captured by a camera.
具体的には本発明は、撮影空間中に含まれる既知の直線又は曲線パターンを用いて撮像手段であるカメラの設置位置、姿勢、又は焦点距離を校正する場合において、撮影したカメラにより得られた画像情報に基づき校正の成否の度合を定量化する。 Specifically, the present invention is obtained by a camera that has photographed when calibrating the installation position, posture, or focal length of a camera that is an imaging means using a known straight line or curve pattern included in the photographing space. The degree of success or failure of calibration is quantified based on image information.
例えば、カメラによって直線又は曲線を含むパターンを撮影し、次に直線又は曲線パターン（以下、曲線群）の既知のモデルに基づいて、曲線群上に点（代表点）を１以上取得する。また、代表点及び代表点における曲線の接線方向を、評価対象となるカメラパラメータ（カメラの設置位置、姿勢又は焦点距離）に基づき、画像座標系へ投影する。 For example, a pattern including a straight line or a curve is photographed by a camera, and then one or more points (representative points) are obtained on the curve group based on a known model of the straight line or curve pattern (hereinafter, curve group). Further, the representative point and the tangential direction of the curve at the representative point are projected onto the image coordinate system based on the camera parameter (camera installation position, posture or focal length) to be evaluated.
次に、各代表点の投影像に関して、上述の投影像を通り、接線の投影像と直交する線分（スキャン線分）を求める。また、撮影画像においては、全てスキャン線分上の画素に対し、その画素値に各スキャン線分上の位置に応じて予め設定された重み係数を掛けつつ、その積分値若しくは総和を求め、校正の成否を定量化した評価値を算出して出力する。 Next, regarding the projection image of each representative point, a line segment (scan line segment) that passes through the above-described projection image and is orthogonal to the tangential projection image is obtained. Also, in the captured image, all the pixels on the scan line segment are obtained by multiplying the pixel value by a weighting factor set in advance according to the position on each scan line segment, and obtaining the integral value or sum, thereby calibrating. An evaluation value obtained by quantifying the success or failure of is calculated and output.
以下に、上述したような特徴を有する本発明における画像校正評価装置及び画像校正評価プログラムを好適に実施した形態について、図面を用いて詳細に説明する。 In the following, a preferred embodiment of an image calibration evaluation apparatus and an image calibration evaluation program according to the present invention having the above-described features will be described in detail with reference to the drawings.
＜画像校正評価装置：機能構成＞
図１は、本実施形態における映像構成評価装置の機能構成の一例を示す図である。図１に示す画像校正評価装置１０は、画像入力手段１１と、パターン記憶手段１２と、投影手段１３と、スキャン線分設定手段１４と、評価値演算手段１５とを有するよう構成されている。
<Image calibration evaluation device: functional configuration>
FIG. 1 is a diagram illustrating an example of a functional configuration of a video configuration evaluation apparatus according to the present embodiment. The image
画像入力手段１１は、校正対象である撮像手段としてのカメラにより撮影された画像を読み込み、読み取った画像を内蔵されるメモリ等に記憶する。なお、画像入力手段１１は、画像の記憶において、例えば画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な形式で記憶する。
The image input means 11 reads an image photographed by a camera as an imaging means that is a calibration target, and stores the read image in a built-in memory or the like. Note that the
ここで、上述のｘ及びｙは整数値とし、例えばｘは画像座標の水平成分を表し、ｙは画像座標の垂直成分を表すものとする。このとき、画像入力手段１１は、例えば画像の左上の隅の画素の画像座標をｘ＝０，ｙ＝０とおき、右に１画素移動する毎にｘの値を１ずつ増加させ、下に１画素移動する毎にｙの値を１ずつ増加させるように画像座標系を定義することができる。 Here, x and y described above are integer values. For example, x represents a horizontal component of image coordinates, and y represents a vertical component of image coordinates. At this time, for example, the image input means 11 sets the image coordinates of the pixel at the upper left corner of the image as x = 0, y = 0, and increases the value of x by 1 every time one pixel is moved to the right. The image coordinate system can be defined so that the value of y is increased by 1 every time one pixel is moved.
また、校正対象のカメラとしては、例えばスチルカメラであってもよく、またビデオカメラであってもよい。また、出力される画像は、デジタル画像でもよく、また電子的なアナログ画像でもよい。ここで、校正対象のカメラがデジタル画像出力を有する場合、画像入力手段１１は、カメラから出力されるデータから各画素位置における画素値を取り出して、取り出した画素値をメモリに記憶することで、画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。また、校正対象のカメラが電子的なアナログ画像出力を有する場合、画像入力手段１１は、カメラから出力される画像に対してアナログ／デジタル変換を施し、各画素位置における画素値を取得し、これらの画素値をメモリに記憶することで画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。 The camera to be calibrated may be, for example, a still camera or a video camera. The output image may be a digital image or an electronic analog image. Here, when the camera to be calibrated has a digital image output, the image input means 11 extracts the pixel value at each pixel position from the data output from the camera, and stores the extracted pixel value in the memory. It is assumed that the pixel value I (x, y) with respect to the image coordinates (x, y) can be referred to. When the camera to be calibrated has an electronic analog image output, the image input means 11 performs analog / digital conversion on the image output from the camera, acquires pixel values at each pixel position, and Is stored in the memory so that the pixel value I (x, y) with respect to the image coordinate (x, y) can be referred to.
更に、校正対象のカメラとしては、例えば化学反応によって画像を記録する方式（例えば、銀塩写真等）を用いることができる。このような場合、画像入力手段１１は、カメラにより撮影され現像されたフィルム、乾板、印画紙、若しくはこれらを光学的に拡大、縮小、等倍に転写したフィルム、乾板、印画紙を写真スキャナにより読み込む。また、画像入力手段１１は、読み込まれた画素値をメモリに記憶することで画像座標（ｘ，ｙ）に対する画素値Ｉ（ｘ，ｙ）を参照可能な状態とする。 Furthermore, as a camera to be calibrated, for example, a method of recording an image by a chemical reaction (for example, a silver salt photograph) can be used. In such a case, the image input means 11 is a film, dry plate, photographic paper photographed and developed by a camera, or a film, dry plate, photographic paper obtained by optically enlarging, reducing, or magnifying these images, using a photographic scanner. Read. Further, the image input means 11 stores the read pixel value in the memory so that the pixel value I (x, y) with respect to the image coordinate (x, y) can be referred to.
パターン記憶手段１２は、実空間内に描画又は設置される直線群、曲線群又はこれらの組み合わせ（以下、曲線群という）によるカメラ校正に用いるカメラパターン（校正用パターン）の幾何特徴（図形特徴）を記憶するメモリである。 The pattern storage means 12 is a geometric feature (graphic feature) of a camera pattern (calibration pattern) used for camera calibration based on a straight line group, a curve group, or a combination thereof (hereinafter referred to as a curve group) drawn or installed in real space. Is a memory for storing.
ここで、校正用パターンは、予め設定された寸法や角度、曲率に基づき作成されたパターンであってもよく、既に実空間内に存在する人工物や自然物の寸法や形状を測定したものであってもよい。 Here, the calibration pattern may be a pattern created on the basis of preset dimensions, angles, and curvatures, and is obtained by measuring the dimensions and shapes of artifacts and natural objects already existing in real space. May be.
ここで、図２は、カメラ校正に用いるカメラパターンの一例を示す図である。例えば、図２に示すような各線分の長さや配置、姿勢が既知の線図を校正用パターン２１として用いることができる。したがって、例えばカメラからの撮影映像から取得できるサッカー場やラグビー場における競技場上のライン等、スポーツ競技に用いられるコートのライン等を校正用パターン２１として用いることができる。
Here, FIG. 2 is a diagram illustrating an example of a camera pattern used for camera calibration. For example, a diagram whose length, arrangement, and orientation are known as shown in FIG. 2 can be used as the
なお、スポーツ競技のコートのラインを校正用パターン２１として用いる場合には、曲線群の長さや配置、姿勢、曲率等を予め測定しておくか、或いは競技ルールに定める値を用いるか、或いはそれらの併用によるものとする。
In addition, when using a sport competition court line as the
つまり、パターン記憶手段１２には、校正用パターンを構成する曲線群の幾何特徴を表す数値群等からなる幾何特徴情報が記憶される。ここで、上述した幾何特徴情報とは、校正用パターンを構成する曲線（直線、半直線、及び線分を含む、以下同じ）上の、１以上の代表点の座標と、各代表点における曲線の接線方向を記述することができる情報とを含むものとする。
That is, the
例えば、幾何特徴情報としては、校正用パターンに含まれる線分の両端点の３次元座標、円の中心及び半径、楕円の中心、短半径、長半径及び長軸の位相角、円弧の中心、半径、始点の位相角及び終点の位相角、曲線上の代表点の座標及び代表点における接線方向等を用いることができる。 For example, as geometric feature information, three-dimensional coordinates of both end points of a line segment included in the calibration pattern, circle center and radius, ellipse center, minor radius, major radius and major axis phase angle, arc center, The radius, the phase angle at the start point and the phase angle at the end point, the coordinates of the representative point on the curve, the tangent direction at the representative point, and the like can be used.
ここで、図３は、本実施形態における幾何特徴情報の一例を示す図である。図３に示す幾何特徴情報は、上述した図２に示す校正用パターン２１の曲線（この場合、線分）上に設定した代表点及び代表点における接線方向の例を示している。つまり、校正用パターン２１のライン上に有する１以上の代表点３１と、その代表点３１における接線方向３２とにより、幾何特徴情報を定義することができる。
Here, FIG. 3 is a diagram showing an example of geometric feature information in the present embodiment. The geometric feature information shown in FIG. 3 shows an example of the representative point set on the curve (in this case, the line segment) of the
なお、複数の代表点の設置間隔は、予め設定された画像中に存在するラインを基準にした間隔でもよく、また実際に撮影された場所に存在するラインを基準にした間隔でもよい。また、その間隔は、等間隔でも不等間隔でもよい。つまり、本発明における代表点の数及び位置については特に限定されるものではない。また、代表点３１における接線方向３２についても校正用パターン２１の線分上であればよい。
The installation interval of the plurality of representative points may be an interval based on a line that exists in a preset image, or may be an interval that is based on a line that exists in an actual imaged location. The intervals may be equal or unequal. That is, the number and position of the representative points in the present invention are not particularly limited. Further, the
投影手段１３は、画像入力手段１１から入力される画像を撮影したカメラ（撮像手段）に対応して入力されたカメラパラメータ（撮像パラメータ）θに基づき、パターン記憶手段１２に記憶された幾何特徴情報から対応するカメラパラメータの幾何特徴情報を抽出し、抽出した幾何特徴情報を投影変換し、画像座標系における幾何特徴情報を出力する。
The
ここで、上述したカメラパラメータθには、例えば、カメラの設置位置、姿勢、及びレンズ（反射鏡、ピンホールを含む、以下同じ）の焦点距離（又は画角）のうち、１以上のパラメータを含むものとする。また、カメラパラメータθは、これらに加えてレンズの歪みパラメータや、光軸と画像平面の交点の画像座標、光軸の画像平面に対する傾き等の各パラメータのうち、１以上のパラメータを含んでいても構わない。 Here, the above-described camera parameter θ includes, for example, one or more parameters of the camera installation position, posture, and focal length (or angle of view) of a lens (including a reflector and a pinhole, the same applies hereinafter). Shall be included. In addition to these, the camera parameter θ includes at least one of parameters such as a lens distortion parameter, an image coordinate of an intersection of the optical axis and the image plane, and an inclination of the optical axis with respect to the image plane. It doesn't matter.
また、投影手段１３における投影変換は、校正対象のカメラのレンズ及び撮像面の構成や形状に対応して予め設定された投影を行う変換である。例えば、ピンホールやピンホールモデルによる近似が可能なレンズや反射鏡を用いて平面の画像面に投影する場合においては、透視投影を行うものとする。また、魚眼レンズによる場合には、等距離射影、等立体角射影、或いは正射影等の使用レンズと撮像面の関係に最も適合した投影モデルを適用する。
The projection conversion in the
ここで、実空間における座標（Ｘ，Ｙ，Ｚ）からカメラパラメータθの投影手段１３により画像座標（ｘ，ｙ）へ変換する数式を、以下に示す（１）式とおく。
Here, a mathematical expression for converting the coordinates (X, Y, Z) in the real space into the image coordinates (x, y) by the
例えば、スキャン線分設定手段１４は、上述した（２）式の各代表点の像（ｘｉ，ｙｉ）を通り、その代表点における接線方向の像（ｕｉ，ｖｉ）に直交する線分を、スキャン線分として設定する。 For example, the scan line segment setting means 14 passes through the image (x i , y i ) of each representative point in the above-described equation (2) and is orthogonal to the image (u i , v i ) in the tangential direction at the representative point. Set the line as the scan line.
また、スキャン線分は、例えば以下に示す（５）式のようにｔを媒介変数として、（ｐｉ（ｔ），ｑｉ（ｔ））の軌跡として表すことができる。 Further, the scan line segment can be expressed as a locus of (p i (t), q i (t)) using t as a parameter, for example, as shown in the following equation (5).
ここで、図４は、スキャン線分の一例を示す図である。図４に示すように、スキャン線分は、校正用図形の投影像４１に対して上述した各代表点３１の像を通り、接線方向の像に直交する線分をスキャン線分４２として設定する。
Here, FIG. 4 is a diagram illustrating an example of the scan line segment. As shown in FIG. 4, the scan line segment passes through the image of each
なお、複数のスキャン線分４２の設置間隔は、例えば予め設定された画像中の投影像４１を基準にした間隔でもよく、また実際に撮影された場所に存在するラインを基準にした間隔でもよい。また、その間隔は、等間隔でも不等間隔でもよい。つまり、本発明におけるスキャン線分の数及び位置については特に限定されるものではない。
The installation interval of the plurality of
評価値演算手段１５は、画像Ｉ（ｘ，ｙ）において、スキャン線分設定手段１４により設定された全線分上を走査し、走査された画素の画素値群に基づき評価値Ｅを算出して出力する。 The evaluation value calculation means 15 scans all line segments set by the scan line segment setting means 14 in the image I (x, y), and calculates an evaluation value E based on the pixel value group of the scanned pixels. Output.
例えば、評価値演算手段１５は、以下に示す（６）式により評価値Ｅを計算することができる。 For example, the evaluation value calculation means 15 can calculate the evaluation value E by the following equation (6).
例えば、画素値Ｉが赤ＩＲ、緑ＩＧ、及び青ＩＢの各色成分からなるベクトルである場合に、以下に示す（７）式からなる線形結合により、ｆ（Ｉ）を定義することができる。 For example, the pixel value I red I R, green I G, and when a vector consisting of the respective color components of blue I B, a linear combination consisting shown below (7), to define f (I) Can do.
また、例えば、ｆ（Ｉ）は、Ｉの画素値が色空間の既定の領域Ｃに含まれる場合と、そうでない場合とに応じて、以下に示す（８）式に示すように返す値を変化させるものとしてもよい。 Further, for example, f (I) is a value to be returned as shown in the following equation (8) depending on whether the pixel value of I is included in the predetermined area C of the color space or not. It may be changed.
また、Ｉの値のそれぞれに応じて、ｆ（Ｉ）の返す値を全て定義しても構わない。つまり、画素値Ｉが離散的である場合には、例えばｆ（Ｉ）は画素値Ｉに対するルックアップテーブルを用いて実現可能である。 Further, all the values returned by f (I) may be defined according to each value of I. That is, when the pixel value I is discrete, for example, f (I) can be realized using a lookup table for the pixel value I.
また、上述した（６）式の重み関数ｗ（ｔ）は、スキャン線分上の点の位置を表す媒介変数ｔに応じて変化する重み関数である。したがって、重み関数ｗ（ｔ）は、以下に示す（９）式を満たすことが好ましい。 Further, the weight function w (t) in the above-described equation (6) is a weight function that changes according to the parameter t representing the position of the point on the scan line segment. Therefore, it is preferable that the weight function w (t) satisfies the following expression (9).
更に、図６は、図５と異なる引数が連続値である場合の重み関数の一例を示す図である。例えば、重み関数ｗ（ｔ）として、図５に示す連続関数の他にコサインカーブ（余弦波）を用いて図６（ａ），（ｂ）に示すような関数を用いることができる。具体的には、例えば図６（ａ）の関数は、以下に示す（１１）式により表すことができる。 Furthermore, FIG. 6 is a diagram illustrating an example of a weighting function when an argument different from that in FIG. 5 is a continuous value. For example, as the weighting function w (t), a function as shown in FIGS. 6A and 6B can be used using a cosine curve (cosine wave) in addition to the continuous function shown in FIG. Specifically, for example, the function of FIG. 6A can be expressed by the following equation (11).
また、上述した（６）式の積分の部分を離散化し、総和演算に置き換えても構わない。この場合には、評価値Ｅは、例えば以下に示す（１２）式で表すことができる。 Further, the integral part of the above-described equation (6) may be discretized and replaced with a sum operation. In this case, the evaluation value E can be expressed by, for example, the following expression (12).
更に、例えばｔｊとしてＴ０≦τ≦Ｔ１を満たす整数τを昇順に並べたものとすることができ、以下に示す（１４）式とすることができる。 Further, for example, integers τ satisfying T 0 ≦ τ ≦ T 1 can be arranged in ascending order as t j , and the following equation (14) can be obtained.
また、上述した（１７）式の他にも、例えば重み関数ｗ（ｔ）において、Ｔ０≦Ｔ≦Ｔ１の範囲の場合には、上に凸となる連続する関数であり、それ以外は０となる関数であれば、任意に適用することができる。 In addition to the above equation (17), for example, in the weighting function w (t), in the case of T 0 ≦ T ≦ T 1 , it is a continuous function that is convex upward, and otherwise Any function that can be zero can be applied.
ここで、上述した（６）式、（１２）式、及び（１６）式において、画像座標（ｐ，ｑ）が、画像の外側にある場合には、画素値Ｉ（ｐ，ｑ）を零（０）又は零ベクトルと定義する。 Here, in the above-described equations (6), (12), and (16), when the image coordinates (p, q) are outside the image, the pixel value I (p, q) is set to zero. (0) or zero vector.
また、画像座標（ｐ，ｑ）の成分ｐ又はｑの何れか一方又は両方が非整数値である場合には、例えば画像座標（ｐ，ｑ）の最近傍にある格子点（ｐ’，ｑ’）の画素値Ｉ（ｐ’，ｑ’）を用いて画素値Ｉ（ｐ，ｑ）とおくことができる。また、例えば画像座標（ｐ，ｑ）の周囲の複数の格子点における画素値からの補間処理により画素値Ｉ（ｐ，ｑ）を定めることもできる。 Further, when one or both of the components p and q of the image coordinates (p, q) are non-integer values, for example, the lattice point (p ′, q) that is closest to the image coordinates (p, q) The pixel value I (p ', q') of ') can be used as the pixel value I (p, q). Further, for example, the pixel value I (p, q) can be determined by interpolation processing from pixel values at a plurality of grid points around the image coordinates (p, q).
また、例えば画像座標（ｐ，ｑ）が画像の内側になるか否かを判定する関数として、以下に示す（１８）式を用いる。 Further, for example, the following equation (18) is used as a function for determining whether or not the image coordinates (p, q) are inside the image.
上述した実施形態により、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。具体的には、校正用図形のパターンの幾何特徴を画像面へ投影し、校正対象のカメラで撮影された画像上における幾何特徴情報の投影像近傍において、画素値を評価することができる。これにより、特徴点や線を予め抽出する従来の手法では喪失されてしまう原画像の画素値情報を有効活用することができ、校正の成否の評価の頑健性や精度を向上させることができる。 According to the embodiment described above, the robustness and accuracy of evaluation can be improved by quantifying the success or failure of calibration based on image information. Specifically, the geometric feature of the pattern of the calibration figure can be projected onto the image plane, and the pixel value can be evaluated in the vicinity of the projected image of the geometric feature information on the image taken by the camera to be calibrated. Thereby, the pixel value information of the original image that is lost in the conventional method of extracting feature points and lines in advance can be effectively used, and the robustness and accuracy of the evaluation of the success or failure of the calibration can be improved.
＜画像校正評価プログラム＞
ここで、上述した画像校正評価装置１０は、上述した専用の装置構成により本発明における画像校正評価処理を行うこともできるが、画像校正評価装置１０の一部、例えば、画像入力手段、パターン記憶手段、投影手段、スキャン線分設定手段、評価値演算手段等における各機能をコンピュータで実現するようにしてもよい。
<Image calibration evaluation program>
Here, the above-described image
この場合、上述した各制御機能を実現するための実行プログラム（画像校正評価プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等のコンピュータに実行プログラムをインストールすることにより、本発明における画像校正評価処理を実現することができる。 In this case, an execution program (image calibration evaluation program) for realizing each of the control functions described above is generated, and the execution program is installed in a computer such as a general-purpose personal computer or a server, for example. Processing can be realized.
また、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体等により提供することができる。この場合、実行プログラムを記録した記録媒体は、コンピュータが備えるドライブ装置等にセットされ、記録媒体に含まれる実行プログラムが、記録媒体からドライブ装置を介してコンピュータが備える補助記憶装置等にインストールされる。 The execution program installed in the computer main body can be provided by a recording medium such as a CD-ROM. In this case, the recording medium in which the execution program is recorded is set in a drive device or the like provided in the computer, and the execution program included in the recording medium is installed from the recording medium to the auxiliary storage device or the like provided in the computer via the drive device. .
なお、記録媒体としては、ＣＤ−ＲＯＭ以外でも、例えばフレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。 As a recording medium, other than a CD-ROM, for example, a recording medium that records information optically, electrically, or magnetically, such as a flexible disk or a magneto-optical disk, a ROM (Read Only Memory), a flash memory, or the like As described above, various types of recording media such as a semiconductor memory for electrically recording information can be used.
また、コンピュータは、通信ネットワークに接続可能なネットワーク接続装置等を備え、通信ネットワークに接続されている他の端末等から実行プログラムを取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。 The computer also includes a network connection device that can be connected to a communication network, and obtains an execution program from another terminal connected to the communication network or the execution result obtained by executing the program or The execution program itself in the invention can be provided to other terminals.
なお、コンピュータが備える補助記憶装置は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、コンピュータが備えるメモリ装置は、ＣＰＵにより補助記憶装置から読み出された実行プログラム等を格納する。なお、メモリ装置は、ＲＯＭやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。 The auxiliary storage device provided in the computer is a storage means such as a hard disk, and can store the execution program in the present invention, a control program provided in the computer, and perform input / output as necessary. The memory device included in the computer stores an execution program read from the auxiliary storage device by the CPU. The memory device includes a ROM, a RAM (Random Access Memory), and the like.
また、コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラムや実行プログラムに基づいて、各種演算や各構成部間のデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。 The computer also has a CPU (Central Processing Unit), and controls the overall processing of the computer, such as various operations and input / output of data between each component, based on a control program such as an OS (Operating System) and an execution program. Thus, each processing can be realized.
これにより、特別な装置構成を必要とせず、低コストで効率的に画像校正評価処理を実現することができる。また、プログラムをインストールすることにより、画像校正評価処理を容易に実現することができる。 As a result, the image calibration evaluation process can be efficiently realized at a low cost without requiring a special apparatus configuration. In addition, by installing the program, the image proofreading evaluation process can be easily realized.
＜画像校正評価処理＞
次に、本発明における実行プログラムによる画像校正評価処理手順についてフローチャートを用いて説明する。
<Image calibration evaluation process>
Next, an image proofreading evaluation processing procedure by the execution program in the present invention will be described using a flowchart.
＜画像校正評価処理手順＞
図８は、本実施形態における画像校正評価処理手順の一例を示すフローチャートである。図８において、まず校正対象のカメラで撮影された映像に含まれる画像を取り込む（Ｓ０１）。次に、予め蓄積された校正用図形である直線又は曲線を含む３次元パターンの図形特徴（幾何特徴）と、入力されたカメラパラメータとに基づき、画像座標系に投影された図形特徴を求める（Ｓ０２）。
<Image calibration evaluation processing procedure>
FIG. 8 is a flowchart showing an example of an image calibration evaluation processing procedure in the present embodiment. In FIG. 8, first, an image included in a video photographed by a camera to be calibrated is captured (S01). Next, a graphic feature projected on the image coordinate system is obtained based on a graphic feature (geometric feature) of a three-dimensional pattern including a straight line or a curve as a calibration graphic stored in advance and an input camera parameter ( S02).
次に、上述したＳ０２の処理において、投影された図形に基づき、画像平面上において、校正用図形の投影像上に１以上の点を設定し（Ｓ０３）、その各点について、その点を通る線分をスキャン線分として設定する（Ｓ０４）。 Next, in the above-described processing of S02, one or more points are set on the projected image of the calibration graphic on the image plane based on the projected graphic (S03), and each point passes through that point. A line segment is set as a scan line segment (S04).
次に、Ｓ０１の処理により、画像入力手段１１から取り込まれた画像において、スキャン線分群上の画素に対し、その画素値に各スキャン線分上の位置に応じた予め設定された重み係数を掛けつつ、その総和を求め（Ｓ０５）、求めた総和に基づいて校正の成否を定量化した評価値を上述した数式等により算出して出力する（Ｓ０６）。
Next, in the image captured from the
これにより、カメラ校正評価を数値により確実且つ迅速に行うことができる。また、その結果に応じて、校正対象のカメラの各種カメラパラメータにフィードバックする等の制御を行うことができる。 Thereby, camera calibration evaluation can be reliably and quickly performed by numerical values. Further, according to the result, control such as feedback to various camera parameters of the camera to be calibrated can be performed.
＜評価値Ｅの算出処理手順＞
次に、上述したＳ０６の処理における本実施形態における評価値の算出処理手順についてフローチャートを用いて具体的に説明する。図９は、本実施形態における評価値の算出処理手順の一例を示すフローチャートである。なお、以下に示す説明では、上述した評価値Ｅの算出手法に基づいて説明する。
<Evaluation Value E Calculation Processing Procedure>
Next, the evaluation value calculation processing procedure in the present embodiment in the processing of S06 described above will be specifically described with reference to a flowchart. FIG. 9 is a flowchart illustrating an example of an evaluation value calculation processing procedure in the present embodiment. In the following description, description will be made based on the above-described method for calculating the evaluation value E.
評価値Ｅを算出する場合、まず初期化（ｉ＝０，Ｅ＝０）を行い（Ｓ１１）、次にパターン記憶手段１２により第ｉ番目（但し、ｉ∈｛０，１，Ｎ−１｝、Ｎは１以上の整数）の代表点の座標（Ｘｉ，Ｙｉ，Ｚｉ）と接線方向（Ｕｉ，Ｖｉ，Ｗｉ）を読み出す（Ｓ１２）。次に、座標（Ｘｉ，Ｙｉ，Ｚｉ）と上述した（２）式とにより、代表点の像（ｘｉ，ｙｉ）を取得する（Ｓ１３）。また、座標（Ｘｉ，Ｙｉ，Ｚｉ）、接線方向（Ｕｉ，Ｖｉ，Ｗｉ）、及び上述した（３）式、（４）式により、接線方向の像（ｕｉ，ｖｉ）を取得する（Ｓ１４）。
When calculating the evaluation value E, first, initialization (i = 0, E = 0) is performed (S11), and then the i th (where i∈ {0, 1, N−1}) is performed by the
ここで、変数であるｊの値を初期化（ｊ＝０）とし（Ｓ１５）、ｔｊ＝［Ｔ０］＋ｊとして（Ｓ１６）、代表点の像（ｘｉ，ｙｉ）と接線方向の像（ｕｉ，ｖｉ）と上述した（４）式とに基づいて、スキャン線分上の点（ｐｉ（ｔｊ），ｑｉ（ｔｊ））を取得する（Ｓ１７）。また、評価値Ｅは、Ｅ＋ｗ（ｔｊ）ｆ（Ｉ（ｐｉ（ｔｊ），ｑｉ（ｔｊ）））とし（Ｓ１８）、変数ｊを１増加し（ｊ＝ｊ＋１）（Ｓ１９）、変数ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”以上であるか否かを判断する（Ｓ２０）。ここで、ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”未満である場合（Ｓ２０において、ＮＯ）、Ｓ１６に戻り後述の処理を行う。また、Ｓ２０の処理において、ｊが“ｆｌｏｏｒ［Ｔ１］−ｃｅｉｌ［Ｔ０］＋１”以上である場合（Ｓ２０において、ＹＥＳ）、ｉに１を増加し（ｉ＝ｉ＋１）（Ｓ２１）、ｉがＮ以上であるか否かを判断する（Ｓ２２）。
Here, the value of j as a variable is initialized (j = 0) (S15), t j = [T 0 ] + j (S16), and the representative point image (x i , y i ) and the tangential direction A point (p i (t j ), q i (t j )) on the scan line segment is acquired based on the image (u i , v i ) and the above-described equation (4) (S17). The evaluation value E, E + w (t j) f (I (p i (t j), q i (t j))) and to (S18), the
ここで、ｉがＮ未満である場合（Ｓ２２において、ＮＯ）、Ｓ１２に戻り後述の処理を行う。また、Ｓ２２の処理において、ｉがＮ以上である場合（Ｓ２２において、ＹＥＳ）、その評価値Ｅを出力し（Ｓ２３）、処理を終了する。 Here, if i is less than N (NO in S22), the process returns to S12 and the processing described later is performed. If i is equal to or greater than N in the process of S22 (YES in S22), the evaluation value E is output (S23), and the process ends.
上述したような処理により、本実施形態における評価値Ｅを高精度に算出することができる。また、上述の処理にて得られた評価値Ｅに基づいて、正確且つ迅速に画像校正評価を行うことができ、その結果に対応させて正確な映像を取得するためにフィードバック処理による制御を行って高精度な処理を実現することができる。 Through the processing described above, the evaluation value E in the present embodiment can be calculated with high accuracy. Further, based on the evaluation value E obtained by the above-described processing, image calibration evaluation can be performed accurately and quickly, and control by feedback processing is performed in order to obtain an accurate video corresponding to the result. Highly accurate processing can be realized.
上述したように本発明によれば、画像情報に基づいて校正の成否を定量化することにより評価の頑健性や精度を向上させることができる。具体的には、校正用図形のパターンの幾何特徴（図形特徴）を画像面へ投影し、校正対象のカメラで撮影された画像上における幾何特徴情報の投影像近傍において、画素値を評価することができる。これにより、特徴点や線を予め抽出する従来の手法では喪失されてしまう原画像の画素値情報を有効活用することができ、校正の成否の評価の頑健性や精度を向上させることができる。 As described above, according to the present invention, the robustness and accuracy of the evaluation can be improved by quantifying the success or failure of the calibration based on the image information. Specifically, the geometric feature (graphic feature) of the pattern for calibration is projected onto the image plane, and the pixel value is evaluated in the vicinity of the projected image of the geometric feature information on the image taken by the camera to be calibrated. Can do. Thereby, the pixel value information of the original image that is lost in the conventional method of extracting feature points and lines in advance can be effectively used, and the robustness and accuracy of the evaluation of the success or failure of the calibration can be improved.
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and various modifications, within the scope of the gist of the present invention described in the claims, It can be changed.
１０ 画像校正評価装置
１１ 画像入力手段
１２ パターン記憶手段
１３ 投影手段
１４ スキャン線分設定手段
１５ 評価値演算手段
２１ 校正用パターン
３１ 代表点
３２ 接線方向
４１ 投影像
４２ スキャン線分
DESCRIPTION OF
Claims (5)
前記撮像手段で撮影された校正対象の画像を取り込む画像入力手段と、
校正用図形である直線又は曲線を含む３次元パターンの図形特徴を保持するパターン記憶手段と、
前記図形特徴と入力された撮像パラメータとを用いて、画像座標系に投影された図形特徴を求める投影手段と、
前記投影手段により投影された図形に基づき、前記校正用図形の投影像上に１以上の点を設定し、設定された各点を通る線分を設定するスキャン線分設定手段と、
前記画像入力手段により取り込まれた画像において、前記線分上の各画素の画素値を取得し、取得した画素値を用いて校正の成否を定量化した評価値を算出する評価値演算手段とを有し、
前記評価値演算手段は、前記スキャン線分設定手段で得られた全ての線分上の各画素の画素値に、各線分上の位置に応じて予め設定される重み係数を掛けて積分値又は総和の評価値を求め、
更に前記各線分上の位置に応じて予め設定される重み係数は、前記重み係数の積分値又は総和が零となるよう設定されることを特徴とする画像校正評価装置。 In an image calibration evaluation apparatus that evaluates the success or failure of image calibration in the imaging parameters of the imaging means from the image obtained by the imaging means,
Image input means for capturing an image to be calibrated imaged by the imaging means;
Pattern storage means for holding a graphic feature of a three-dimensional pattern including a straight line or a curve as a calibration graphic;
Projecting means for obtaining a graphic feature projected on an image coordinate system using the graphic feature and the input imaging parameter;
A scan line segment setting unit that sets one or more points on the projected image of the calibration graphic based on the graphic projected by the projection unit, and sets a line segment passing through each set point;
Evaluation value calculation means for obtaining a pixel value of each pixel on the line segment in the image captured by the image input means and calculating an evaluation value obtained by quantifying the success or failure of the calibration using the obtained pixel value; Yes, and
The evaluation value calculating means multiplies the pixel value of each pixel on all the line segments obtained by the scan line segment setting means by a weighting factor set in advance according to the position on each line segment, or an integrated value or Find the evaluation value of the sum,
Further, the weighting factor set in advance according to the position on each line segment is set so that the integrated value or the total sum of the weighting factors becomes zero .
前記パターン記憶手段に記憶された複数の幾何特徴情報から、前記撮像パラメータに対応した幾何特徴情報を前記図形特徴として取得し、取得した幾何特徴情報を投影変換して、画像座標系における幾何特徴情報を出力することを特徴とする請求項１に記載の画像校正評価装置。 The projection means includes
Geometric feature information corresponding to the imaging parameter is obtained as the graphic feature from a plurality of geometric feature information stored in the pattern storage means, and the obtained geometric feature information is projected and converted to obtain geometric feature information in an image coordinate system. The image calibration evaluation apparatus according to claim 1 , wherein:
前記撮像手段により得られる直線又は曲線を含むパターン上の１以上の代表点と、前記代表点における前記直線又は曲線の接線方向とを含むことを特徴とする請求項１又は２に記載の画像校正評価装置。 The graphic feature is:
3. The image calibration according to claim 1, comprising at least one representative point on a pattern including a straight line or a curve obtained by the imaging unit, and a tangential direction of the straight line or the curve at the representative point. Evaluation device.
前記図形特徴における前記代表点毎の像を通り、前記代表点における接線方向の像に直交する線分をスキャン線分として設定することを特徴とする請求項３に記載の画像校正評価装置。 The scan line segment setting means includes
The image calibration evaluation apparatus according to claim 3 , wherein a line segment that passes through the image for each representative point in the graphic feature and is orthogonal to an image in a tangential direction at the representative point is set as a scan line segment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008297032A JP4996585B2 (en) | 2008-11-20 | 2008-11-20 | Image calibration evaluation apparatus and image calibration evaluation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008297032A JP4996585B2 (en) | 2008-11-20 | 2008-11-20 | Image calibration evaluation apparatus and image calibration evaluation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010122976A JP2010122976A (en) | 2010-06-03 |
| JP4996585B2 true JP4996585B2 (en) | 2012-08-08 |
Family
ID=42324251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008297032A Expired - Fee Related JP4996585B2 (en) | 2008-11-20 | 2008-11-20 | Image calibration evaluation apparatus and image calibration evaluation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4996585B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4865065B1 (en) * | 2010-07-14 | 2012-02-01 | Ｂｉ２−Ｖｉｓｉｏｎ株式会社 | Stereo imaging device control system |
| JP6456244B2 (en) * | 2015-05-25 | 2019-01-23 | Kddi株式会社 | Camera calibration method and apparatus |
| CN113465548B (en) * | 2021-08-23 | 2022-06-07 | 广东维正科技有限公司 | Calibration and precision evaluation method of fringe projection three-dimensional measurement system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006067272A (en) * | 2004-08-27 | 2006-03-09 | Matsushita Electric Ind Co Ltd | Apparatus and method for camera calibration |
| JP4789745B2 (en) * | 2006-08-11 | 2011-10-12 | キヤノン株式会社 | Image processing apparatus and method |
-
2008
- 2008-11-20 JP JP2008297032A patent/JP4996585B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010122976A (en) | 2010-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5074322B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
| KR100653200B1 (en) | Method and apparatus for providing panoramic view with geometry correction | |
| JP6394005B2 (en) | Projection image correction apparatus, method and program for correcting original image to be projected | |
| JP5075757B2 (en) | Image processing apparatus, image processing program, image processing method, and electronic apparatus | |
| JPWO2018235163A1 (en) | Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method | |
| JP2009230537A (en) | Image processor, image processing program, image processing method, and electronic equipment | |
| JP6071257B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP4948552B2 (en) | Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium recording the program | |
| JP2011215082A (en) | Method, apparatus and program for determination of imaging parameter | |
| WO2012029658A1 (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
| JP6615486B2 (en) | Camera calibration apparatus, method and program | |
| CN113155053A (en) | Three-dimensional geometry measuring device and three-dimensional geometry measuring method | |
| JP2022024688A (en) | Depth map generation device and program thereof, and depth map generation system | |
| JP4996585B2 (en) | Image calibration evaluation apparatus and image calibration evaluation program | |
| JP6153318B2 (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
| US20230377102A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| KR102195762B1 (en) | Acquisition method for high quality 3-dimension spatial information using photogrammetry | |
| JP2006113832A (en) | Stereoscopic image processor and program | |
| JP5446285B2 (en) | Image processing apparatus and image processing method | |
| JP4548228B2 (en) | Image data creation method | |
| JP2020173726A (en) | Virtual viewpoint conversion device and program | |
| KR101028171B1 (en) | Determination of aspect ratio from perspective projection images | |
| JP5206499B2 (en) | Measuring method, measuring device, measurement control program | |
| JP2010041416A (en) | Image processing unit, image processing method, image processing program, and imaging apparatus | |
| JP6384961B2 (en) | Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120511 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |