JP2001229388A - Matching method for image data - Google Patents
Matching method for image dataInfo
- Publication number
- JP2001229388A JP2001229388A JP2000046737A JP2000046737A JP2001229388A JP 2001229388 A JP2001229388 A JP 2001229388A JP 2000046737 A JP2000046737 A JP 2000046737A JP 2000046737 A JP2000046737 A JP 2000046737A JP 2001229388 A JP2001229388 A JP 2001229388A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- data
- difference layer
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像から地図を作
成する分野や、撮影画像をもとに画像を加工処理する分
野に関する。The present invention relates to the field of creating a map from an image and the field of processing an image based on a photographed image.
【0002】[0002]
【従来の技術】本発明に関する画像から対応点を求める
画像マッチング技術の従来技術は、高木幹雄、下田陽久
監修「画像解析ハンドブック」、707頁から712
頁、(東京大学出版会、平成3年1月発行)に記載され
ているように、テンプレートマッチング(チップマッチ
ングとも言う、以下チップマッチングと記す)が、一般
的によく知られている。チップマッチングは、基準の画
像から小領域のチップ画像を切り出し、もう一方の画像
中に設定した探索領域(サーチエリア)内で類似度(マ
ッチ度)の大きな所を求め、対応点として算出するもの
である。マッチ度は、一般的に小領域での差分の絶対値
を平均して算出する。2. Description of the Related Art A conventional image matching technique for obtaining corresponding points from images according to the present invention is described in "Image Analysis Handbook", supervised by Mikio Takagi and Yoshihisa Shimoda, pages 707 to 712.
As described on page, (The University of Tokyo Press, published in January 1991), template matching (also referred to as chip matching, hereinafter referred to as chip matching) is generally well known. In chip matching, a chip image of a small area is cut out from a reference image, a point having a high similarity (match degree) is set in a search area (search area) set in another image, and calculated as a corresponding point. It is. The degree of matching is generally calculated by averaging the absolute values of the differences in the small area.
【0003】チップ画像の切り出しでは、基準となる画
像の着目画素I(x,y)を中心としたmxm(mは任意の定数)
の領域の画素にて作成する。また、着目画素I(x,y)をx:
0〜x軸の最大値、y:0〜y軸の最大値として、順次処理す
ることにより、基準画像の全点に対応するもう一方の画
像の対応点を求めることができる。In clipping a chip image, mxm (m is an arbitrary constant) centered on a target pixel I (x, y) of a reference image
It is created with the pixels in the area of. Also, let the pixel of interest I (x, y) be x:
By sequentially processing as the maximum value of 0 to x axis and the maximum value of y: 0 to y axis, it is possible to obtain corresponding points of the other image corresponding to all points of the reference image.
【0004】[0004]
【発明が解決しようとする課題】前記従来技術では、基
準の画像からチップ画像をとり、もう一方の画像の対応
点を求めるマッチングを基準画像の全点について繰り返
し行っていた。このため、次の問題点があった。In the prior art, a chip image is taken from a reference image, and matching for finding a corresponding point of the other image is repeatedly performed for all points of the reference image. Therefore, there are the following problems.
【0005】(1)マッチ度を求める差分計算の計算量
は、全点とチップの大きさおよびサーチエリアの大きさ
の乗算を必要とした。この膨大な計算量のため、画像の
対応点を求めるマッチングは低速な処理にとどまってい
た。(1) The calculation amount of the difference calculation for obtaining the degree of match requires multiplication of the size of all points, the size of a chip, and the size of a search area. Due to this enormous amount of calculation, matching for finding corresponding points in an image has been a slow process.
【0006】(2)全画素の対応点には、片方の画像に
映っていない隠蔽部分(オクルージョンとも言う)のミ
スマッチした対応点も含まれていた。このミスマッチし
た対応点を判断する基準がなく除去修正することができ
なかった。(2) The corresponding points of all pixels include mismatched corresponding points of a concealed portion (also called occlusion) that is not reflected in one of the images. There was no criterion for judging the mismatched corresponding points, and no removal correction could be made.
【0007】以上、従来技術のマッチングでは、高速で
精度よく対応点を探索することができなかった。As described above, in the matching of the prior art, a corresponding point cannot be searched at high speed and with high accuracy.
【0008】[0008]
【課題を解決するための手段】上記課題を解決するため
に、以下の手段を創案した。Means for Solving the Problems To solve the above problems, the following means have been devised.
【0009】撮影した画像に対し、各々画像に映った物
体あるいは場所をもとに、画像に映った物体の形状を計
測する3次元形状計測処理において、1つの画像を基準
画像として基準以外の画像と差分をとり、差層データを
作成する差層作成処理と、差層データの各場所から類似
の程度を評価値として計算し、評価データを作成する評
価処理と、評価データから、立体形状の位置を決定する
位置決定処理を設け、差層作成処理は、基準以外の画像
を視差方向に順次ずらし、ずらした画像と基準画像との
画素ごとの差分をとり差画像を順次作成し、順次作成し
た差画像を積み重ねて、層状の3次元構造をもつ差層デ
ータに登録する。評価処理は、差層データ上の着目デー
タ近傍領域を決め、着目データおよび近傍領域のデータ
から類似度を求め、求めた類似度を評価値として、評価
データである層状の3次元構造をもつ評価層データに登
録する。位置決定処理は、評価データである層状の3次
元構造をもつ評価層データから3次元上の複数の対応点
候補を選択し、選択した複数の対応点候補を1つの集団
とみなし、1つの集団の位置から外れた不適切な場所を
示す対応点候補を削除修正する。In a three-dimensional shape measurement process for measuring the shape of an object reflected in an image based on an object or a place reflected in the image, the image other than the reference image is used as one image as a reference image. And difference, creating difference data, calculating the degree of similarity from each location in the difference data as an evaluation value, creating evaluation data, and evaluating the three-dimensional shape from the evaluation data. A position determination process for determining a position is provided, and the difference layer creation process sequentially shifts images other than the reference in the parallax direction, sequentially creates a difference image by taking a difference for each pixel between the shifted image and the reference image, and sequentially creates the difference image. The obtained difference images are stacked and registered in difference layer data having a layered three-dimensional structure. In the evaluation processing, an area having a layered three-dimensional structure which is evaluation data is determined by determining a region of interest on the difference layer data in the vicinity of the data of interest, obtaining a similarity from the data of interest and the data of the adjacent region, and using the obtained similarity as an evaluation value. Register in layer data. In the position determination process, a plurality of three-dimensional corresponding point candidates are selected from evaluation layer data having a layered three-dimensional structure as evaluation data, and the selected plurality of corresponding point candidates are regarded as one group, and one group is determined. And deletes and corrects the corresponding point candidate indicating an inappropriate place outside the position.
【0010】このことにより、高速で精度よく対応点を
探索することができる。As a result, a corresponding point can be searched at high speed and with high accuracy.
【0011】[0011]
【発明の実施の形態】(実施の形態1)画像に映った物
体の形状を計測する3次元形状計測処理について、実施
の形態を述べる。3次元形状計測処理の構成を図2に示
す。本実施の形態では、2枚の画像を入力とした例を示
す。以下、図に従い説明する。(Embodiment 1) An embodiment of a three-dimensional shape measuring process for measuring the shape of an object shown in an image will be described. FIG. 2 shows the configuration of the three-dimensional shape measurement processing. This embodiment shows an example in which two images are input. Hereinafter, description will be given with reference to the drawings.
【0012】図に示す3次元形状計測処理210は、左
視点の画像110と右視点の画像120を入力とし、画
像中に映った立体の形状を示す立体形状データ150を
出力する。3次元形状計測処理210は、画像入力処理
201、差層作成処理202、評価処理203、位置決
定処理204および出力処理205よりなる。本発明の
実施の形態1では、3次元形状計測処理210を差層作
成処理202、評価処理203、位置決定処理204の
3つの処理で構成したことに特徴がある。A three-dimensional shape measurement process 210 shown in FIG. 1 receives a left viewpoint image 110 and a right viewpoint image 120 and outputs three-dimensional shape data 150 indicating a three-dimensional shape reflected in the image. The three-dimensional shape measurement process 210 includes an image input process 201, a difference layer creation process 202, an evaluation process 203, a position determination process 204, and an output process 205. The first embodiment of the present invention is characterized in that the three-dimensional shape measurement processing 210 is composed of three processings: a difference layer creation processing 202, an evaluation processing 203, and a position determination processing 204.
【0013】以下、処理の詳細を(1.1)、(1.
2)、(1.3)、(1.4)および(1.5)にて述
べる。Hereinafter, the details of the processing will be described in (1.1), (1.
2), (1.3), (1.4) and (1.5).
【0014】(1.1)画像入力処理201 左視点画像110および右視点画像120をファイルか
ら入力する。(1.1) Image input processing 201 A left viewpoint image 110 and a right viewpoint image 120 are input from a file.
【0015】(1.2)差層作成処理202 図1に差層作成処理202の概要を、図3に差層作成処
理202のフローチャートを示す。(1.2) Difference Layer Creation Process 202 FIG. 1 shows an outline of the difference layer creation process 202, and FIG. 3 shows a flowchart of the difference layer creation process 202.
【0016】以下、図3のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will be described below with reference to the flowchart of FIG. 3 using the figure numbers as step numbers.
【0017】ステップ301:初期設定 左視点画像110と右視点画像120の撮影位置による
視差方向から、右視点画像120をずらす初期位置α
(αは任意の定数)と刻み幅β(βは任意の定数)をル
ープ終了回数γ(γは任意の定数)を設定する。視差方
向は、一般的にエピポーララインと呼ばれ、詳細は以下
に示す文献に記載されており、本発明の実施の形態では
省略する。Step 301: Initial Setting An initial position α for shifting the right viewpoint image 120 from the parallax direction based on the shooting positions of the left viewpoint image 110 and the right viewpoint image 120.
(Α is an arbitrary constant) and a step size β (β is an arbitrary constant) are set as the loop end frequency γ (γ is an arbitrary constant). The parallax direction is generally called an epipolar line, details are described in the following literature, and are omitted in the embodiments of the present invention.
【0018】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 図1の概要では、視差方向がx座標の方向である例を示
す。以下、実施の形態1では、視差方向をx座標の方向
とした場合について述べる。"Image Analysis Handbook" supervised by Mikio Takagi and Hirohisa Shimoda, pages 594 to 600, (The University of Tokyo Press,
The outline of FIG. 1 shows an example in which the parallax direction is the direction of the x coordinate. Hereinafter, a case will be described in Embodiment 1 where the parallax direction is the direction of the x coordinate.
【0019】ステップ302:視差方向ずらし 右視点画像120を視差方向にずらす。初期位置αと刻
み幅βからずれ量を求め、ずれ量をもとに右視点画像1
20の全画素を移動する。これにより、ずらした右視点
画像130を作成する。Step 302: Shift parallax direction The right viewpoint image 120 is shifted in the parallax direction. The shift amount is obtained from the initial position α and the step width β, and the right viewpoint image 1 is calculated based on the shift amount.
Move all 20 pixels. Thereby, a shifted right viewpoint image 130 is created.
【0020】ステップ303:差分計算 左視点画像110とずらした右視点画像120を画素ご
とに差分する。差分計算を次式に示す。Step 303: Difference calculation The right viewpoint image 120 shifted from the left viewpoint image 110 is differentiated for each pixel. The difference calculation is shown in the following equation.
【0021】[0021]
【数1】 (Equation 1)
【0022】上記式を全画素について計算することによ
り、差分画像を作成する。A difference image is created by calculating the above equation for all pixels.
【0023】ステップ304:差分登録 上記ステップ303にて作成した差分画像を差層データ
140に登録する。差層データ140は、図1に示すよ
うに両視点画像のx座標y座標のほかに、z座標からな
る3次元の配列構造である。z座標は、差分画像を順次
保存するための軸であり、ループ回数の値に相当する。Step 304: Register the difference The difference image created in step 303 is registered in the difference layer data 140. The difference layer data 140 has a three-dimensional array structure including z-coordinates in addition to x-coordinates and y-coordinates of both viewpoint images as shown in FIG. The z coordinate is an axis for sequentially storing the difference images, and corresponds to the value of the number of loops.
【0024】差層データ140のz座標に対し、ループ
回数の層に、上記ステップにて作成した差分画像を保存
し、差分登録を実行する。For the z-coordinate of the difference layer data 140, the difference image created in the above step is stored in the layer of the number of loops, and the difference is registered.
【0025】ステップ305:ループ終了 ループ回数を1増加させ、ループ回数がループ終了回数
γとなるまで、ステップ302からステップ304を繰
り返し実行する。Step 305: End of Loop The number of loops is increased by 1, and Steps 302 to 304 are repeatedly executed until the number of loops reaches the number of loop end times γ.
【0026】上記の差層作成処理202において、上記
手順を実行し差層データを作成することにより、従来技
術では必要であった差分計算の重複範囲が、本発明では
不必要となり、高速に処理することができる。In the above-described difference layer creation processing 202, by executing the above-described procedure to create difference layer data, the overlapping range of the difference calculation, which is required in the prior art, becomes unnecessary in the present invention, and the processing speed is increased. can do.
【0027】(1.3)評価処理203 図4に、評価処理203のフローチャートを示す。(1.3) Evaluation Process 203 FIG. 4 shows a flowchart of the evaluation process 203.
【0028】以下、図4のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will be described below with reference to the flowchart of FIG. 4 using the figure numbers as step numbers.
【0029】ステップ401:初期設定 評価値を求めるためのmxm(mは任意の定数)評価範囲を
設定する。Step 401: Initial setting An mxm (m is an arbitrary constant) evaluation range for obtaining an evaluation value is set.
【0030】ステップ402:評価値計算 評価範囲をもとに、差層データの着目点における評価値
を計算する。評価値計算を次式に示す。Step 402: Calculation of evaluation value An evaluation value at a point of interest of the difference layer data is calculated based on the evaluation range. The evaluation value calculation is shown in the following equation.
【0031】[0031]
【数2】 (Equation 2)
【0032】ステップ403:評価値登録 上記ステップ403にて算出した評価値を評価層データ
に登録する。評価層データは、差層データと同様の3次
元の配列構造である。差層データ140における着目点
の座標(x,y,z)と同様の評価層データの位置に、評価値
を保存することで、評価登録を実行する。Step 403: Register evaluation value The evaluation value calculated in step 403 is registered in the evaluation layer data. The evaluation layer data has the same three-dimensional array structure as the difference layer data. The evaluation registration is executed by storing the evaluation value at the same position of the evaluation layer data as the coordinates (x, y, z) of the point of interest in the difference layer data 140.
【0033】ステップ404:終了判断 差層データの全点が処理されるまで、ステップ402か
らステップ403を繰り返し実行する。Step 404: End Judgment Steps 402 to 403 are repeatedly executed until all points of the difference layer data are processed.
【0034】上記の評価処理203において、上記手順
を実行し評価層データを作成することにより、次に述べ
る位置決定処理204にて、対応点の削除修正が容易と
なり、精度よく3次元形状計測することができる。In the above-described evaluation process 203, by executing the above-described procedure and creating the evaluation layer data, in the position determination process 204 described below, the corresponding point can be easily deleted and corrected, and the three-dimensional shape can be measured with high accuracy. be able to.
【0035】(1.4)位置決定処理204 図5に、位置決定処理204のフローチャートを示す。(1.4) Position Determination Processing 204 FIG. 5 shows a flowchart of the position determination processing 204.
【0036】以下、図5のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will now be described with reference to the flowchart of FIG.
【0037】ステップ501:対応点選定 上記評価処理203にて作成した評価層データを探索
し、評価の最大値を順次求める。図6に評価層データ6
10の探索方向の例を示す。探索の方向には2つの方向
を定める。1つは、x座標、y座標上で、z座標の方向
611に探索する。2つめは、右視点画像120の視差
方向とz座標の方向で合成された方向612に探索す
る。実施の形態1では、視差方向がx座標の方向を例と
してるため、2つめの探索方向612は、x座標の方向
とz座標の方向に順に増加する斜め方向となる。この2
つの方向にて、最大評価値の位置を対応点の候補として
選定する。Step 501: Selection of Corresponding Points The evaluation layer data created in the evaluation processing 203 is searched for, and the maximum value of the evaluation is sequentially obtained. FIG. 6 shows the evaluation layer data 6
10 shows examples of 10 search directions. Two directions are determined for the search direction. One is to search in the direction 611 of the z coordinate on the x coordinate and the y coordinate. The second is to search in the direction 612 synthesized in the parallax direction of the right viewpoint image 120 and the direction of the z coordinate. In the first embodiment, since the parallax direction is an x-coordinate direction as an example, the second search direction 612 is an oblique direction that sequentially increases in the x-coordinate direction and the z-coordinate direction. This 2
In each direction, the position of the maximum evaluation value is selected as a candidate for the corresponding point.
【0038】ステップ502:対応点修正 上記選定した対応点の候補のなかで、立体形状として不
適切な対応点を削除修正する。図6に、探索し選定した
対応点の候補の削除修正の例を示す。図に示す対応点の
候補601は、周囲の対応点候補からかけ離れた位置に
あり、探索方向612上に対応点の候補602が存在す
る。Step 502: Corresponding point correction Among the selected corresponding point candidates, a corresponding point that is inappropriate as a three-dimensional shape is deleted and corrected. FIG. 6 shows an example of deletion and correction of a candidate for a corresponding point searched and selected. The corresponding point candidate 601 shown in the figure is located far away from surrounding corresponding point candidates, and the corresponding point candidate 602 exists in the search direction 612.
【0039】この場合、対応点の候補601を削除ある
いは周囲の対応点の平均的な位置に修正する。また、対
応点の候補603は、周囲の対応点候補から離れた位置
にあり、探索方向611および探索方向612上に対応
点の候補は見当たらない。この場合についても、対応点
の候補603を削除あるいは周囲の対応点の候補の平均
的な位置に修正する。ここで、平均的な位置とは、周囲
の対応点の候補で構成する仮想面604の位置である。In this case, the corresponding point candidate 601 is deleted or corrected to an average position of surrounding corresponding points. The corresponding point candidate 603 is located at a position distant from surrounding corresponding point candidates, and no corresponding point candidate is found in the search direction 611 and the search direction 612. Also in this case, the corresponding point candidate 603 is deleted or corrected to an average position of surrounding corresponding point candidates. Here, the average position is the position of the virtual plane 604 formed by surrounding corresponding point candidates.
【0040】ステップ503:立体形状位置計算 上記ステップにて修正し決定した対応点から、立体形状
位置を計算をする。対応点のx座標、y座標から、左視
点画像110上の点L(x,y)と、視差方向および対応点の
z座標から右視点画像120上の点R(x+z,y)を画像対応
点として、3次元形状位置を計算する。3次元形状位置
の算出の細は以下に示す文献に記載されており、本発明
の実施の形態では省略する。Step 503: Calculation of the position of the three-dimensional shape The position of the three-dimensional shape is calculated from the corresponding points determined and corrected in the above steps. From the x coordinate and y coordinate of the corresponding point, a point L (x, y) on the left viewpoint image 110, and a point R (x + z, y) on the right viewpoint image 120 from the parallax direction and the z coordinate of the corresponding point. A three-dimensional shape position is calculated as an image corresponding point. The details of the calculation of the three-dimensional shape position are described in the following documents, and are omitted in the embodiments of the present invention.
【0041】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 上記の位置決定処理204において、3次元構造上で対
応点の修正を行うことにより、対応点の削除修正が容易
となり、精度よく3次元形状計測することができる。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pages 594 to 600, (The University of Tokyo Press,
In the above-mentioned position determination processing 204, by correcting the corresponding points on the three-dimensional structure, the corresponding points can be easily deleted and corrected, and the three-dimensional shape can be measured with high accuracy.
【0042】(1.5)出力処理205 立体形状データをファイルへ出力する。(1.5) Output processing 205 The three-dimensional shape data is output to a file.
【0043】以上、実施の形態1では、3次元構造をも
つ差層データを作成し、差層データを評価し3次元上の
対応点候補を求め、対応点候補の3次元位置から、不適
切な対応点候補を修正する。このことにより、高速で精
度よく対応点を探索でき、3次元形状計測することがで
きる。As described above, in the first embodiment, difference layer data having a three-dimensional structure is created, the difference layer data is evaluated, a corresponding point candidate on three dimensions is obtained, and an inappropriate three-dimensional position of the corresponding point candidate is determined. Correct corresponding point candidates. As a result, a corresponding point can be searched at high speed and with high accuracy, and three-dimensional shape measurement can be performed.
【0044】(実施の形態1の変更例1)上記実施の形
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例1では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ140に登録する方法について述べる。図7
に変更例の概要を示し、図8に変更した差層作成処理1
40のフローチャートを示す。(First Modification of First Embodiment) In the difference layer creation processing 202 of the first embodiment, only the difference between the right viewpoint image 120 shifted from the left viewpoint image 110 is registered in the difference layer data 140. In the first modification, a method of setting the edge of the target in the image as a direction vector and registering the similarity of the direction vector in the difference layer data 140 will be described. FIG.
FIG. 8 shows an outline of a modification example, and FIG.
40 shows a flowchart of 40.
【0045】以下、図8のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will be described below with reference to the flowchart of FIG.
【0046】ステップ801:初期設定 初期設定は、実施の形態1のステップ301と同様であ
る。Step 801: Initial Setting Initial setting is the same as step 301 of the first embodiment.
【0047】ステップ802:視差方向ずらし 視差方向ずらしは、実施の形態1のステップ302と同
様である。Step 802: Parallax direction shift The parallax direction shift is the same as step 302 of the first embodiment.
【0048】ステップ803:差分計算 差分計算は、実施の形態1のステップ303と同様であ
る。Step 803: Difference Calculation The difference calculation is the same as step 303 of the first embodiment.
【0049】ステップ804:差分登録 差分登録は、実施の形態1のステップ304と同様であ
る。Step 804: Difference Registration Difference registration is the same as step 304 of the first embodiment.
【0050】ステップ805:ループ終了 ループ終了は、実施の形態1のステップ305と同様で
ある。Step 805: End of Loop The end of the loop is the same as step 305 of the first embodiment.
【0051】ステップ806:微分画像作成 左視点画像110および右視点画像120を微分し、画
像中の対象物エッジからなる画像を作成する。微分方法
についての詳細は以下に示す文献に記載されており、本
発明の実施の形態では省略する。Step 806: Creation of Differential Image The left viewpoint image 110 and the right viewpoint image 120 are differentiated to create an image composed of an object edge in the image. The details of the differentiation method are described in the following documents, and are omitted in the embodiments of the present invention.
【0052】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、550頁から575頁、(東京大学出版会、
平成3年1月発行) ステップ807:微分画像の視差方向ずらし 右視点の微分画像を視差方向にずらし、ずらした右視点
の画像720を作成する。作成方法は、ステップ802
の対象画像である右視点画像120を右視点の微分画像
に置き換え、ステップ802と同様の処理を実行する。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pp. 550-575, (The University of Tokyo Press,
(Issued January 1991) Step 807: Shifting the differential image in the parallax direction The right viewpoint differential image is shifted in the parallax direction, and a shifted right viewpoint image 720 is created. The creation method is step 802.
Then, the right viewpoint image 120, which is the target image, is replaced with the right viewpoint differential image, and the same processing as in step 802 is executed.
【0053】ステップ808:エッジ方向ベクトル計算 左視点の微分画像710およびずらした右視点の微分画
像720から各々エッジ方向ベクトルを計算する。着目
画素I(x,y)において、着目画素がδ以上の値(δは任意
の定数)であり、着目画素の近傍画素にδ値以上の画素
値があれば、着目画素からδ値以上の近傍画素の方向を
エッジ方向ベクトルとする。図7に示すように、左視点
の微分画像におけるエッジ方向ベクトル730およびず
らした右視点の微分画像におけるエッジ方向ベクトル7
40となる。両ベクトルを全画素について算出する。Step 808: Edge direction vector calculation An edge direction vector is calculated from the left viewpoint differential image 710 and the shifted right viewpoint differential image 720, respectively. In the target pixel I (x, y), if the target pixel has a value equal to or greater than δ (δ is an arbitrary constant), and if there is a pixel value equal to or greater than the δ value in a neighboring pixel of the target pixel, the target pixel has a value equal to or greater than δ. The direction of the neighboring pixels is defined as an edge direction vector. As shown in FIG. 7, the edge direction vector 730 in the differential image of the left viewpoint and the edge direction vector 7
It will be 40. Both vectors are calculated for all pixels.
【0054】ステップ809:エッジ類似度計算 左視点の微分画像におけるエッジ方向ベクトル730お
よびずらした右視点の微分画像におけるエッジ方向ベク
トル740から類似度を算出する。類似度は、両ベクト
ルの内積の絶対値とする。内積についての詳細は以下に
示す文献に記載されており、本発明の実施の形態では省
略する。Step 809: Edge similarity calculation The similarity is calculated from the edge direction vector 730 in the left viewpoint differential image and the shifted edge direction vector 740 in the right viewpoint differential image. The similarity is the absolute value of the inner product of both vectors. Details of the inner product are described in the following documents, and are omitted in the embodiments of the present invention.
【0055】村上正康ほか「教養の線形代数」、98頁
から101頁、(培風館、1989年1月発行) ステップ810:エッジ類似度登録 上記類似度を差層データ140に登録する。この処理に
より、差層データ140は、差分データとエッジ方向類
似度からなる差エッジベクトル750を3次元の配列構
造の成分として持つ。Murakami Masayasu et al., "Linear Algebra of Culture", pp. 98-101, Baifukan, issued January 1989. Step 810: Register Edge Similarity The similarity is registered in the difference layer data 140. By this process, the difference layer data 140 has a difference edge vector 750 composed of the difference data and the edge direction similarity as a component of the three-dimensional array structure.
【0056】ステップ811:ループ終了 終了条件を満たすまで、ステップ806からステップ8
10を繰り返し実行する。Step 811: loop end Steps 806 to 8 until the end condition is satisfied.
Step 10 is repeated.
【0057】差層作成処理140にて上記ステップを実
行し、評価処理203にてステップ402の評価値計算
を、数2およびベクトル類似度から計算することによ
り、高精度の評価値を求めることができ、実施の形態1
と同様の効果が得られる。The above steps are executed in the difference layer creation processing 140, and the evaluation value calculation in step 402 is calculated from the equation (2) and the vector similarity in the evaluation processing 203, thereby obtaining a highly accurate evaluation value. Yes, Embodiment 1
The same effect can be obtained.
【0058】(実施の形態1の変更例2)上記実施の形
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例2では、視差方向が未知であるとき
の差層データ140の作成する方法について述べる。図
9に変更例の概要を示し、図10に変更した差層作成処
理202のフローチャートを示す。(Modification 2 of Embodiment 1) In the difference layer creation processing 202 of Embodiment 1, only the difference between the right viewpoint image 120 shifted from the left viewpoint image 110 is registered in the difference layer data 140. In Modification Example 2, a method of creating the difference layer data 140 when the disparity direction is unknown will be described. FIG. 9 shows an outline of a modified example, and FIG. 10 shows a flowchart of the modified difference layer creation processing 202.
【0059】以下、図10のフローチャートに基づき、
図番号をステップ番号として手順を説明する。Hereinafter, based on the flowchart of FIG.
The procedure will be described using the figure numbers as step numbers.
【0060】ステップ1001:格子点設定 差層データ140上にx座標にa間隔(aは任意の定
数)、y座標にb間隔(bは任意の定数)、z座標にc
間隔(cは任意の定数)毎の格子点を設定する。Step 1001: Setting grid points On the difference layer data 140, an a interval (a is an arbitrary constant) at the x coordinate, a b interval (b is an arbitrary constant) at the y coordinate, and c at the z coordinate
Grid points are set for each interval (c is an arbitrary constant).
【0061】ステップ1002:視線ベクトル計算 着目格子点930から、両画像の視点までの視線ベクト
ルを計算する。視線ベクトルの詳細については、以下に
示す文献に記載されており、本発明の実施の形態では省
略する。Step 1002: Line-of-sight vector calculation A line-of-sight vector from the grid point of interest 930 to the viewpoints of both images is calculated. The details of the line of sight vector are described in the following documents, and are omitted in the embodiments of the present invention.
【0062】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 画像Aの実際に撮影した場所の視点911までの視線ベ
クトル912および画像Bの実際に撮影した場所の視点
921までの視線ベクトル922を算出する。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pages 594 to 600, (The University of Tokyo Press,
A gaze vector 912 up to a viewpoint 911 of a place where the image A is actually photographed and a gaze vector 922 up to a viewpoint 921 of the place where the image B is actually photographed are calculated.
【0063】ステップ1003:交点計算 上記算出した視線ベクトルと撮影面との交点を計算す
る。交点計算は、上記視線ベクトル計算と同様の文献に
記載されており、本発明の実施の形態では省略する。Step 1003: Intersection Calculation The intersection between the calculated line-of-sight vector and the photographing plane is calculated. The intersection calculation is described in the same literature as the line-of-sight vector calculation, and is omitted in the embodiment of the present invention.
【0064】画像Aの撮影面910における視線ベクト
ル912との交点913および画像Bの撮影面920に
おける視線ベクトル922との交点923を求める。An intersection 913 of the image A with the line-of-sight vector 912 on the imaging plane 910 and an intersection 923 of the image B with the line-of-sight vector 922 on the imaging plane 920 are obtained.
【0065】ステップ1004:輝度計算 画像Aの交点913の輝度を算出する。画像Aの交点9
13は、画素上の格子点ではなく、一般に浮動小数点で
あり、この浮動小数点近傍の4x4格子点の画素値を用
いて、キュービックコンボリューションにより、交点9
13の輝度を算出する。Step 1004: Calculation of luminance The luminance of the intersection 913 of the image A is calculated. Intersection 9 of image A
Numeral 13 denotes a floating point, not a grid point on a pixel, and a cubic convolution using a pixel value of a 4 × 4 grid point near the floating point.
13 is calculated.
【0066】キュービックコンボリューションの詳細は
以下に示す文献に記載されており、本発明の実施の形態
では省略する。The details of the cubic convolution are described in the following documents, and are omitted in the embodiments of the present invention.
【0067】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、443頁から444頁、(東京大学出版会、
平成3年1月発行) 画像Bの交点923についても、同様の処理を実行し、
輝度を計算する。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pages 443 to 444, (The University of Tokyo Press,
The same processing is executed for the intersection 923 of the image B.
Calculate the brightness.
【0068】ステップ1005:輝度差分 上記二つの輝度の差分を実行し、着目格子点930に登
録する。Step 1005: Luminance difference The difference between the above two luminances is executed and registered in the grid point of interest 930.
【0069】ステップ1006:終了判断 差層データ140の全格子点について、ステップ100
2からステップ1005を繰り返し実行する。Step 1006: Judgment of end Step 1006 is performed for all grid points of the difference layer data 140.
Steps 2 to 1005 are repeatedly executed.
【0070】以上の変更例により、実施の形態1と同様
の効果が得られる。According to the above modification, the same effect as in the first embodiment can be obtained.
【0071】(実施の形態2)実施の形態1の代替案と
して、複数の画像を伴う3次元形状計測処理210につ
いて、実施の形態を示す。以下、3つの画像に対する処
理について、実施の形態1との変更点のみを述べる。(Second Embodiment) As an alternative to the first embodiment, an embodiment of a three-dimensional shape measurement process 210 involving a plurality of images will be described. In the following, only the differences from the first embodiment in the processing for three images will be described.
【0072】(2.1)画像入力処理201 画像1、画像2および画像3をファイルから入力する。(2.1) Image Input Processing 201 Images 1, 2 and 3 are input from a file.
【0073】(2.2)差層作成処理202 ステップ301:初期設定 初期設定は、実施の形態1と同様である。(2.2) Difference layer creation processing 202 Step 301: Initial setting Initial setting is the same as in the first embodiment.
【0074】ステップ302:視差方向ずらし 図11に差層作成処理202の概要を示す。画像1(1
110)を基準画像とし、基準以外の画像である画像2
(1120)および画像3(1130)を各々の視差方
向にずらし、ずらした画像2’(1140)および画像
3’(1150)を作成する。Step 302: Shifting parallax direction FIG. 11 shows an outline of the difference layer creation processing 202. Image 1 (1
110) is a reference image, and image 2 is an image other than the reference image.
(1120) and the image 3 (1130) are shifted in the respective parallax directions, and the shifted images 2 '(1140) and 3' (1150) are created.
【0075】ステップ303:差分計算 上記ステップにて作成した画像2’(1140)および
画像3’(1150)と基準画像である画像1(111
0)とを差分する。Step 303: Difference calculation The image 2 ′ (1140) and the image 3 ′ (1150) created in the above steps and the image 1 (111
0).
【0076】ステップ304:差分登録 画像1(1110)と画像2’(1140)の差分およ
び画像1(1110)と画像3’(1150)の 差分
を差ベクトル1160として、差層データ140に登録
する。Step 304: Registration of difference The difference between image 1 (1110) and image 2 '(1140) and the difference between image 1 (1110) and image 3' (1150) are registered as difference vector 1160 in difference layer data 140. .
【0077】ステップ305:ループ終了 ループ終了は、実施の形態1と同様である。Step 305: End of Loop The end of the loop is the same as in the first embodiment.
【0078】(2.3)評価処理203 ステップ401:初期設定 初期設定は、実施の形態1と同様である。(2.3) Evaluation Process 203 Step 401: Initial Setting Initial setting is the same as in the first embodiment.
【0079】ステップ402:評価値計算 評価範囲をもとに、差層データ140の着目点における
差ベクトル1160を用いて評価値を計算する。評価値
の計算は、差ベクトル1150の各成分について、実施
の形態1と同様に算出し、各成分の算出結果を自乗平均
することで求める。Step 402: Evaluation Value Calculation Based on the evaluation range, an evaluation value is calculated using a difference vector 1160 at a point of interest of the difference layer data 140. The evaluation value is calculated by calculating each component of the difference vector 1150 in the same manner as in Embodiment 1, and averaging the calculation results of each component.
【0080】ステップ403:評価値登録 初期設定は、実施の形態1と同様である。Step 403: Evaluation Value Registration Initial settings are the same as in the first embodiment.
【0081】ステップ404:終了判断 終了判断は、実施の形態1と同様である。Step 404: End Determination The end determination is the same as in the first embodiment.
【0082】(2.4)位置決定処理204 位置決定処理204は、実施の形態1と同様である。(2.4) Position Determination Processing 204 The position determination processing 204 is the same as in the first embodiment.
【0083】(2.5)出力処理205 出力処理205は、実施の形態1と同様である。(2.5) Output Processing 205 The output processing 205 is the same as in the first embodiment.
【0084】以上、実施の形態2では、2枚以上の複数
の画像に対して、差層データを作成することで、精度よ
く3次元形状計測することができる。As described above, in the second embodiment, three-dimensional shape measurement can be performed with high accuracy by creating difference layer data for two or more images.
【0085】(実施の形態2の変更例1)上記実施の形
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例1では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ140に登録することもできる。(First Modification of Second Embodiment) In the difference layer creation processing 202 of the first embodiment, only the difference between the left viewpoint image 110 and the right viewpoint image 120 shifted from the left viewpoint image 110 is registered in the difference layer data 140. In the first modification, the edge of the object in the image may be set as a direction vector, and the similarity of the direction vector may be registered in the difference layer data 140.
【0086】差層作成処理202において、実施の形態
1の変更例1と同様に、3つの画像から各々の微分画像
を作成し、基準以外の微分画像をずらし、各々の着目画
素におけるエッジ方向ベクトルを計算し、エッジ類似度
を求め、差層データに登録する。In the difference layer creating process 202, similarly to the first modification of the first embodiment, each differential image is created from three images, the differential image other than the reference image is shifted, and the edge direction vector at each pixel of interest is shifted. Is calculated, the edge similarity is obtained, and registered in the difference layer data.
【0087】評価処理203において、実施の形態1の
変更例1と同様に、ステップ402の評価値計算を、差
分およびベクトル類似度から計算する。In the evaluation process 203, similarly to the first modification of the first embodiment, the evaluation value calculation in step 402 is calculated from the difference and the vector similarity.
【0088】以上の変更例により、高精度の評価値を求
めることができ、実施の形態2と同様の効果が得られ
る。According to the above modification, a highly accurate evaluation value can be obtained, and the same effect as in the second embodiment can be obtained.
【0089】(実施の形態2の変更例2)実施の形態2
では視差方向が既知であったが、視差方向が未知である
ときでも、差層データ140を作成することができる。(Modification 2 of Embodiment 2) Embodiment 2
Although the parallax direction is already known, the difference layer data 140 can be created even when the parallax direction is unknown.
【0090】差層作成処理202において、実施の形態
1の変更例2と同様に、差層データ140上に格子点設
定し、着目格子点から、両画像の視点までの視線ベクト
ルを計算する。さらに、算出した視線ベクトルと撮影面
との交点から輝度を算出する。各々の画像にて算出した
輝度について、差分をとる。In the difference layer creation processing 202, grid points are set on the difference layer data 140, and a line-of-sight vector from the grid point of interest to the viewpoints of both images is calculated, similarly to the second modification of the first embodiment. Further, the luminance is calculated from the intersection between the calculated line-of-sight vector and the imaging plane. The difference is calculated for the luminance calculated for each image.
【0091】以上の変更例により、実施の形態2と同様
の効果が得られる。According to the above modification, the same effect as in the second embodiment can be obtained.
【0092】[0092]
【発明の効果】本発明によれば、以下の効果がある。According to the present invention, the following effects can be obtained.
【0093】複数の画像から3次元構造をもつ差層デー
タを作成し、差層データを評価し3次元上の対応点候補
を求め、対応点候補の3次元位置から、不適切な対応点
候補を修正する。このことにより、高速で精度よく対応
点を探索でき、3次元形状計測することができる。[0093] Difference layer data having a three-dimensional structure is created from a plurality of images, the difference layer data is evaluated, and corresponding point candidates on three dimensions are obtained. To correct. As a result, a corresponding point can be searched at high speed and with high accuracy, and three-dimensional shape measurement can be performed.
【図1】本実施の形態1の差層作成処理の概要を示す図
である。FIG. 1 is a diagram illustrating an outline of a difference layer creation process according to a first embodiment.
【図2】本実施の形態1の3次元形状計測処理のフロー
チャートを示す図である。FIG. 2 is a diagram illustrating a flowchart of a three-dimensional shape measurement process according to the first embodiment.
【図3】本実施の形態1の差層作成処理のフローチャー
トを示す図である。FIG. 3 is a diagram illustrating a flowchart of a difference layer creation process according to the first embodiment.
【図4】本実施の形態1の評価処理のフローチャートを
示す図である。FIG. 4 is a diagram illustrating a flowchart of an evaluation process according to the first embodiment.
【図5】本実施の形態1の位置決定処理のフローチャー
トを示す図である。FIG. 5 is a diagram illustrating a flowchart of a position determination process according to the first embodiment.
【図6】本実施の形態1の位置決定処理の概要を示す図
である。FIG. 6 is a diagram illustrating an outline of a position determination process according to the first embodiment.
【図7】本実施の形態1の変更例1の差層作成処理の概
要を示す図である。FIG. 7 is a diagram illustrating an outline of a difference layer creation process according to a first modification of the first embodiment;
【図8】本実施の形態1の変更例1の差層作成処理のフ
ローチャートを示す図である。FIG. 8 is a diagram showing a flowchart of a difference layer creation process according to a first modification of the first embodiment.
【図9】本実施の形態1の変更例2の差層作成処理の概
要を示す図である。FIG. 9 is a diagram illustrating an outline of a difference layer creation process according to a second modification of the first embodiment;
【図10】本実施の形態1の変更例2の差層作成処理の
フローチャートを示す図である。FIG. 10 is a diagram showing a flowchart of a difference layer creation process according to a second modification of the first embodiment.
【図11】本実施の形態2の差層作成処理の概要を示す
図である。FIG. 11 is a diagram illustrating an outline of a difference layer creation process according to the second embodiment.
110…左視点画像、120…右視点画像、130…ず
らした右視点画像、140…差層データ、150…立体
形状データ、201…画像入力処理、202…差層作成
処理、203…評価処理、204…位置決定処理、20
5…出力処理、210…3次元形状計測処理、301…
初期設定、302…視差方向ずらし、303…差分計
算、304…差分登録、305…ループ終了、401…
初期設定、402…評価値計算、403…評価値登録、
404…終了判断、501…対応点選定、502…対応
点修正、503…立体形状位置計算、601…対応点の
候補、602…対応点の候補、603…対応点の候補、
604…仮想面、610…評価層データ、611…探索
方向、612…探索方向、710…左視点の微分画像、
720…ずらした右視点の画像、730…左視点の微分
画像におけるエッジ方向ベクトル、740…右視点の微
分画像におけるエッジ方向ベクトル、750…差エッジ
ベクトル、801…初期設定、802…視差方向ずら
し、803…差分計算、804…差分登録、805…ル
ープ終了、806…微分画像作成、807…微分画像の
視差方向ずらし、808…エッジ方向ベクトル計算、8
09…エッジ類似度計算、810…エッジ類似度登録、
811…ループ終了、910…画像Aの撮影面、911
…画像Aの視点、912…画像Aの視線ベクトル、91
3…画像Aの交点、920…画像Bの撮影面、921…
画像Bの視点、922…画像Bの視線ベクトル、923
…画像Bの交点、930…着目格子点、1001…格子
点設定、1002…視線ベクトル計算、1003…交点
計算、1004…輝度計算、1005…輝度差分、10
06…終了判断、1110…画像1、1120…画像
2、1130…画像3、1140…画像2’、1150
…画像3’、1160…差ベクトル。110: left viewpoint image, 120: right viewpoint image, 130: shifted right viewpoint image, 140: difference layer data, 150: three-dimensional shape data, 201: image input process, 202: difference layer creation process, 203: evaluation process, 204 position determination processing, 20
5 output processing, 210 three-dimensional shape measurement processing, 301.
Initial setting, 302: Parallax direction shift, 303: Difference calculation, 304: Difference registration, 305: Loop end, 401 ...
Initial setting, 402: evaluation value calculation, 403: evaluation value registration,
404: End judgment, 501: Corresponding point selection, 502: Corresponding point correction, 503: Three-dimensional shape position calculation, 601: Corresponding point candidate, 602: Corresponding point candidate, 603: Corresponding point candidate,
604: virtual plane, 610: evaluation layer data, 611: search direction, 612: search direction, 710: differential image of left viewpoint,
720 ... shifted right viewpoint image, 730 ... edge direction vector in left viewpoint differential image, 740 ... edge direction vector in right viewpoint differential image, 750 ... difference edge vector, 801 ... initial setting, 802 ... parallax direction shifted, 803: Difference calculation, 804: Difference registration, 805: Loop end, 806: Differential image creation, 807: Disparity direction shift of the differential image, 808: Edge direction vector calculation, 8
09: Edge similarity calculation, 810: Edge similarity registration,
811: End of loop, 910: Shooting surface of image A, 911
... viewpoint of image A, 912 ... gaze vector of image A, 91
3: intersection of image A, 920: shooting surface of image B, 921
View point of image B, 922... Gaze vector of image B, 923
... intersection of image B, 930 ... lattice point of interest, 1001 ... grid point setting, 1002 ... line-of-sight vector calculation, 1003 ... intersection calculation, 1004 ... luminance calculation, 1005 ... luminance difference, 10
06 ... End judgment, 1110 ... Image 1, 1120 ... Image 2, 1130 ... Image 3, 1140 ... Image 2 ', 1150
... Image 3 ', 1160 ... Difference vector.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/20 G01B 11/24 M G06F 17/40 G06F 15/62 350V G09B 29/00 15/70 400 15/74 330A Fターム(参考) 2C032 HC23 2F065 AA51 DD06 FF05 GG10 QQ13 QQ38 UU05 5B050 BA02 BA04 BA09 BA17 DA01 EA07 EA12 EA18 EA28 5B057 AA13 AA14 CA12 CA16 CB12 CB16 CD02 DA07 DB03 DC08 DC09 DC16 DC32 5L096 CA05 DA02 EA15 FA06 FA10 FA67 FA69 GA02 GA08 JA04 JA11 KA13 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 7/20 G01B 11/24 M G06F 17/40 G06F 15/62 350V G09B 29/00 15/70 400 15 / 74 330A F-term (Reference) 2C032 HC23 2F065 AA51 DD06 FF05 GG10 QQ13 QQ38 UU05 5B050 BA02 BA04 BA09 BA17 DA01 EA07 EA12 EA18 EA28 5B057 AA13 AA14 CA12 CA16 CB12 CB16 CD02 DA07 DB06 FA09 DC09 FA09 GA02 GA08 JA04 JA11 KA13
Claims (6)
物体あるいは場所をもとに、画像に映った物体の形状を
計測する3次元形状計測処理において、 1つの画像を基準画像として基準以外の画像と差分をと
り、差層データを作成する差層作成処理と、 該差層データの各場所から類似の程度を評価値として計
算し、評価データを作成する評価処理と、 該評価データから、立体形状の位置を決定する位置決定
処理を設け、 該差層作成処理は、該基準以外の画像を視差方向に順次
ずらし、該ずらした画像と該基準画像との画素ごとの差
分をとり差画像を順次作成し、該順次作成した差画像を
積み重ねて、層状の3次元構造をもつ該差層データに登
録することを特徴とする画像データのマッチング方法。1. A three-dimensional shape measurement process for taking two images and measuring the shape of an object reflected in the image based on the object or location reflected in each image, wherein one image is used as a reference image. Difference layer creation processing for creating a difference layer data by taking a difference from an image other than the reference, calculating similarity from each location of the difference layer data as an evaluation value, and creating evaluation data; A position determination process for determining the position of the three-dimensional shape from the data is provided. The difference layer creation process sequentially shifts images other than the reference in the parallax direction, and calculates a difference between each pixel of the shifted image and the reference image. A method of matching image data, comprising sequentially creating difference images, stacking the sequentially created difference images, and registering the difference images in the difference layer data having a layered three-dimensional structure.
ータおよび該近傍領域のデータから類似度を求め、求め
た該類似度を評価値として、該評価データである層状の
3次元構造をもつ評価層データに登録することを特徴と
する画像データのマッチング方法。2. The evaluation process according to claim 1, wherein a region near the data of interest on the difference layer data is determined, a similarity is obtained from the data of interest and the data of the nearby region, and the obtained similarity is used as an evaluation value. And registering the evaluation data as evaluation layer data having a layered three-dimensional structure.
タから3次元上の複数の対応点候補を選択し、選択した
該複数の対応点候補を1つの集団とみなし、該1つの集
団の位置から外れた不適切な場所を示す対応点候補を削
除修正することを特徴とする画像データのマッチング方
法。3. The position determination process according to claim 1, wherein a plurality of three-dimensional corresponding point candidates are selected from the evaluation data, which is the evaluation data having a layered three-dimensional structure, and the selected corresponding points are selected. A method for matching image data, wherein a candidate is regarded as one group, and a corresponding point candidate indicating an inappropriate place deviating from the position of the one group is deleted and corrected.
像と基準画像との画素ごとの差分をとり差画像を順次作
成し、該順次作成した差画像を積み重ねて、層状の3次
元構造をもつ該差層データに登録し、 各々の画像を着目画素と着目画素の近傍とで微分した各
々の微分画像を作成し、基準以外の微分画像を視差方向
に順次ずらし、該ずらした微分画像と該基準の微分画像
との画素ごとのエッジ方向の類似度を順次算出し、該順
次算出したエッジ方向の類似度を順次積み重ねて、該差
層データに登録することを特徴とする画像データのマッ
チング方法。4. As an alternative to the difference layer creation processing of claim 1, images other than the reference are sequentially shifted in the parallax direction, and a difference image is sequentially created by taking a difference for each pixel between the shifted image and the reference image. Stacking the sequentially created difference images, registering them in the difference layer data having a layered three-dimensional structure, creating each differential image by differentiating each image with a pixel of interest and the vicinity of the pixel of interest, The other differential images are sequentially shifted in the parallax direction, the similarity in the edge direction for each pixel between the shifted differential image and the reference differential image is sequentially calculated, and the sequentially calculated edge direction similarities are sequentially stacked. Registering the difference data.
て、 各々の画像において、撮影した視点位置と差層データ上
の着目位置から視線ベクトルを計算し、該視線ベクトル
と画像撮影面の交点を求め、該画像撮影面の交点の画素
輝度を算出し、 各々の画像における該算出した画素輝度の差分をとり、
該差層データに登録することを特徴とする画像データの
マッチング方法。5. As an alternative to the difference layer creation processing of claim 1, in each image, a gaze vector is calculated from a captured viewpoint position and a position of interest on difference layer data, and the gaze vector and the image shooting plane are calculated. Find the intersection, calculate the pixel brightness at the intersection of the image capturing surface, take the difference of the calculated pixel brightness in each image,
A method for matching image data, wherein the method is registered in the difference layer data.
体あるいは場所をもとに、画像に映った物体の形状を計
測する3次元形状算出処理において、 1つの画像を基準画像として基準以外の各々の画像と差
分をとり、差層データを作成する差層作成処理と、 該差層データの各場所から類似の程度を評価値として計
算し、評価データを作成する評価処理と、 該評価データから、立体形状の位置を決定する位置決定
処理を設け、 該差層作成処理は、該基準以外の各々の画像を視差方向
に順次ずらし、ずらした各々の画像と基準画像との画素
ごとの差分をとり、各々の画素ごとの差分を成分とした
差ベクトルのデータを順次作成し、該順次作成した差ベ
クトルのデータを順次積み重ねて、層状の3次元構造を
もつ該差層データに登録することを特徴とする画像デー
タのマッチング方法。6. A three-dimensional shape calculation process for photographing a plurality of images and measuring the shape of an object reflected in the image based on the object or location reflected in each image, wherein one image is used as a reference image. A difference layer creation process of creating a difference layer data by taking a difference from each of the images other than the above, an evaluation process of calculating the degree of similarity from each location of the difference layer data as an evaluation value, and creating evaluation data; A position determination process for determining the position of the three-dimensional shape from the evaluation data is provided. The difference layer creation process sequentially shifts each image other than the reference in the parallax direction, and for each pixel of each shifted image and the reference image. , And sequentially creates difference vector data having the difference of each pixel as a component, sequentially stacks the sequentially created difference vector data, and registers the data in the difference layer data having a layered three-dimensional structure. Specially Matching method of image data to be used.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000046737A JP2001229388A (en) | 2000-02-18 | 2000-02-18 | Matching method for image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000046737A JP2001229388A (en) | 2000-02-18 | 2000-02-18 | Matching method for image data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001229388A true JP2001229388A (en) | 2001-08-24 |
Family
ID=18569101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000046737A Pending JP2001229388A (en) | 2000-02-18 | 2000-02-18 | Matching method for image data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001229388A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2390792A (en) * | 2002-07-08 | 2004-01-14 | Vision Rt Ltd | Patient positioning system using images from two viewpoints |
JP2012128623A (en) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | Object discrimination device, method, and program |
US8463420B2 (en) | 2010-03-19 | 2013-06-11 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
US8527083B2 (en) | 2010-03-19 | 2013-09-03 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
JP2020095519A (en) * | 2018-12-13 | 2020-06-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Shape estimation device, shape estimation method, program, and recording medium |
CN112504237A (en) * | 2020-11-30 | 2021-03-16 | 贵州北斗空间信息技术有限公司 | Lightweight rapid generation method for inclination data |
-
2000
- 2000-02-18 JP JP2000046737A patent/JP2001229388A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2390792A (en) * | 2002-07-08 | 2004-01-14 | Vision Rt Ltd | Patient positioning system using images from two viewpoints |
GB2390792B (en) * | 2002-07-08 | 2005-08-31 | Vision Rt Ltd | Image processing system for use with a patient positioning device |
US7889906B2 (en) | 2002-07-08 | 2011-02-15 | Vision Rt Limited | Image processing system for use with a patient positioning device |
US8135201B2 (en) | 2002-07-08 | 2012-03-13 | Vision Rt Limited | Image processing system for use with a patient positioning device |
US8463420B2 (en) | 2010-03-19 | 2013-06-11 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
US8527083B2 (en) | 2010-03-19 | 2013-09-03 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
JP2012128623A (en) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | Object discrimination device, method, and program |
JP2020095519A (en) * | 2018-12-13 | 2020-06-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Shape estimation device, shape estimation method, program, and recording medium |
CN112504237A (en) * | 2020-11-30 | 2021-03-16 | 贵州北斗空间信息技术有限公司 | Lightweight rapid generation method for inclination data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
JP6736257B2 (en) | Information processing device, information processing method, and program | |
US20110235897A1 (en) | Device and process for three-dimensional localization and pose estimation using stereo image, and computer-readable storage medium storing the program thereof | |
EP2568253B1 (en) | Structured-light measuring method and system | |
JP5955028B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2013186816A (en) | Moving image processor, moving image processing method and program for moving image processing | |
US11348323B2 (en) | Information processing apparatus for correcting three-dimensional map, information processing method for correcting three-dimensional map, and non-transitory computer-readable storage medium for correcting three-dimensional map | |
JP2015056057A (en) | Method of estimating posture and robot | |
US20110235898A1 (en) | Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof | |
JP2011192214A (en) | Geometric feature extracting device, geometric feature extraction method and program, three-dimensional measuring device and object recognition device | |
JP2008082870A (en) | Image processing program, and road surface state measuring system using this | |
CN110567441B (en) | Particle filter-based positioning method, positioning device, mapping and positioning method | |
JP2012013514A (en) | Information processor, three dimensional position calculation method and program | |
US20100128972A1 (en) | Stereo matching processing system, stereo matching processing method and recording medium | |
KR101453143B1 (en) | Stereo matching process system, stereo matching process method, and recording medium | |
JP2020013560A (en) | Information processing device, information processing method, and program | |
CN112184811A (en) | Monocular space structured light system structure calibration method and device | |
CN114187246A (en) | Focal length measuring method of laser marking machine | |
JP2001229388A (en) | Matching method for image data | |
JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
CN113642397A (en) | Object length measuring method based on mobile phone video | |
JP2001116513A (en) | Distance image calculating device | |
KR20080001794A (en) | Apparatus and method for estimating fundamental matrix using robust correspondence point | |
CN111583108B (en) | Tunnel lining surface linear array image TOF fusion splicing method and device and storage medium | |
CN112991372A (en) | 2D-3D camera external parameter calibration method based on polygon matching |