JP2001229388A - Matching method for image data - Google Patents
Matching method for image dataInfo
- Publication number
- JP2001229388A JP2001229388A JP2000046737A JP2000046737A JP2001229388A JP 2001229388 A JP2001229388 A JP 2001229388A JP 2000046737 A JP2000046737 A JP 2000046737A JP 2000046737 A JP2000046737 A JP 2000046737A JP 2001229388 A JP2001229388 A JP 2001229388A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- data
- difference layer
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像から地図を作
成する分野や、撮影画像をもとに画像を加工処理する分
野に関する。The present invention relates to the field of creating a map from an image and the field of processing an image based on a photographed image.
【０００２】[0002]
【従来の技術】本発明に関する画像から対応点を求める
画像マッチング技術の従来技術は、高木幹雄、下田陽久
監修「画像解析ハンドブック」、７０７頁から７１２
頁、（東京大学出版会、平成３年１月発行）に記載され
ているように、テンプレートマッチング（チップマッチ
ングとも言う、以下チップマッチングと記す）が、一般
的によく知られている。チップマッチングは、基準の画
像から小領域のチップ画像を切り出し、もう一方の画像
中に設定した探索領域（サーチエリア）内で類似度（マ
ッチ度）の大きな所を求め、対応点として算出するもの
である。マッチ度は、一般的に小領域での差分の絶対値
を平均して算出する。2. Description of the Related Art A conventional image matching technique for obtaining corresponding points from images according to the present invention is described in "Image Analysis Handbook", supervised by Mikio Takagi and Yoshihisa Shimoda, pages 707 to 712.
As described on page, (The University of Tokyo Press, published in January 1991), template matching (also referred to as chip matching, hereinafter referred to as chip matching) is generally well known. In chip matching, a chip image of a small area is cut out from a reference image, a point having a high similarity (match degree) is set in a search area (search area) set in another image, and calculated as a corresponding point. It is. The degree of matching is generally calculated by averaging the absolute values of the differences in the small area.
【０００３】チップ画像の切り出しでは、基準となる画
像の着目画素I(x,y)を中心としたmxm(mは任意の定数）
の領域の画素にて作成する。また、着目画素I(x,y)をx:
0〜x軸の最大値、y:0〜y軸の最大値として、順次処理す
ることにより、基準画像の全点に対応するもう一方の画
像の対応点を求めることができる。In clipping a chip image, mxm (m is an arbitrary constant) centered on a target pixel I (x, y) of a reference image
It is created with the pixels in the area of. Also, let the pixel of interest I (x, y) be x:
By sequentially processing as the maximum value of 0 to x axis and the maximum value of y: 0 to y axis, it is possible to obtain corresponding points of the other image corresponding to all points of the reference image.
【０００４】[0004]
【発明が解決しようとする課題】前記従来技術では、基
準の画像からチップ画像をとり、もう一方の画像の対応
点を求めるマッチングを基準画像の全点について繰り返
し行っていた。このため、次の問題点があった。In the prior art, a chip image is taken from a reference image, and matching for finding a corresponding point of the other image is repeatedly performed for all points of the reference image. Therefore, there are the following problems.
【０００５】（１）マッチ度を求める差分計算の計算量
は、全点とチップの大きさおよびサーチエリアの大きさ
の乗算を必要とした。この膨大な計算量のため、画像の
対応点を求めるマッチングは低速な処理にとどまってい
た。(1) The calculation amount of the difference calculation for obtaining the degree of match requires multiplication of the size of all points, the size of a chip, and the size of a search area. Due to this enormous amount of calculation, matching for finding corresponding points in an image has been a slow process.
【０００６】（２）全画素の対応点には、片方の画像に
映っていない隠蔽部分（オクルージョンとも言う）のミ
スマッチした対応点も含まれていた。このミスマッチし
た対応点を判断する基準がなく除去修正することができ
なかった。(2) The corresponding points of all pixels include mismatched corresponding points of a concealed portion (also called occlusion) that is not reflected in one of the images. There was no criterion for judging the mismatched corresponding points, and no removal correction could be made.
【０００７】以上、従来技術のマッチングでは、高速で
精度よく対応点を探索することができなかった。As described above, in the matching of the prior art, a corresponding point cannot be searched at high speed and with high accuracy.
【０００８】[0008]
【課題を解決するための手段】上記課題を解決するため
に、以下の手段を創案した。Means for Solving the Problems To solve the above problems, the following means have been devised.
【０００９】撮影した画像に対し、各々画像に映った物
体あるいは場所をもとに、画像に映った物体の形状を計
測する３次元形状計測処理において、１つの画像を基準
画像として基準以外の画像と差分をとり、差層データを
作成する差層作成処理と、差層データの各場所から類似
の程度を評価値として計算し、評価データを作成する評
価処理と、評価データから、立体形状の位置を決定する
位置決定処理を設け、差層作成処理は、基準以外の画像
を視差方向に順次ずらし、ずらした画像と基準画像との
画素ごとの差分をとり差画像を順次作成し、順次作成し
た差画像を積み重ねて、層状の３次元構造をもつ差層デ
ータに登録する。評価処理は、差層データ上の着目デー
タ近傍領域を決め、着目データおよび近傍領域のデータ
から類似度を求め、求めた類似度を評価値として、評価
データである層状の３次元構造をもつ評価層データに登
録する。位置決定処理は、評価データである層状の３次
元構造をもつ評価層データから３次元上の複数の対応点
候補を選択し、選択した複数の対応点候補を１つの集団
とみなし、１つの集団の位置から外れた不適切な場所を
示す対応点候補を削除修正する。In a three-dimensional shape measurement process for measuring the shape of an object reflected in an image based on an object or a place reflected in the image, the image other than the reference image is used as one image as a reference image. And difference, creating difference data, calculating the degree of similarity from each location in the difference data as an evaluation value, creating evaluation data, and evaluating the three-dimensional shape from the evaluation data. A position determination process for determining a position is provided, and the difference layer creation process sequentially shifts images other than the reference in the parallax direction, sequentially creates a difference image by taking a difference for each pixel between the shifted image and the reference image, and sequentially creates the difference image. The obtained difference images are stacked and registered in difference layer data having a layered three-dimensional structure. In the evaluation processing, an area having a layered three-dimensional structure which is evaluation data is determined by determining a region of interest on the difference layer data in the vicinity of the data of interest, obtaining a similarity from the data of interest and the data of the adjacent region, and using the obtained similarity as an evaluation value. Register in layer data. In the position determination process, a plurality of three-dimensional corresponding point candidates are selected from evaluation layer data having a layered three-dimensional structure as evaluation data, and the selected plurality of corresponding point candidates are regarded as one group, and one group is determined. And deletes and corrects the corresponding point candidate indicating an inappropriate place outside the position.
【００１０】このことにより、高速で精度よく対応点を
探索することができる。As a result, a corresponding point can be searched at high speed and with high accuracy.
【００１１】[0011]
【発明の実施の形態】（実施の形態１）画像に映った物
体の形状を計測する３次元形状計測処理について、実施
の形態を述べる。３次元形状計測処理の構成を図２に示
す。本実施の形態では、２枚の画像を入力とした例を示
す。以下、図に従い説明する。(Embodiment 1) An embodiment of a three-dimensional shape measuring process for measuring the shape of an object shown in an image will be described. FIG. 2 shows the configuration of the three-dimensional shape measurement processing. This embodiment shows an example in which two images are input. Hereinafter, description will be given with reference to the drawings.
【００１２】図に示す３次元形状計測処理２１０は、左
視点の画像１１０と右視点の画像１２０を入力とし、画
像中に映った立体の形状を示す立体形状データ１５０を
出力する。３次元形状計測処理２１０は、画像入力処理
２０１、差層作成処理２０２、評価処理２０３、位置決
定処理２０４および出力処理２０５よりなる。本発明の
実施の形態１では、３次元形状計測処理２１０を差層作
成処理２０２、評価処理２０３、位置決定処理２０４の
３つの処理で構成したことに特徴がある。A three-dimensional shape measurement process 210 shown in FIG. 1 receives a left viewpoint image 110 and a right viewpoint image 120 and outputs three-dimensional shape data 150 indicating a three-dimensional shape reflected in the image. The three-dimensional shape measurement process 210 includes an image input process 201, a difference layer creation process 202, an evaluation process 203, a position determination process 204, and an output process 205. The first embodiment of the present invention is characterized in that the three-dimensional shape measurement processing 210 is composed of three processings: a difference layer creation processing 202, an evaluation processing 203, and a position determination processing 204.
【００１３】以下、処理の詳細を（１．１）、（１．
２）、（１．３）、（１．４）および（１．５）にて述
べる。Hereinafter, the details of the processing will be described in (1.1), (1.
2), (1.3), (1.4) and (1.5).
【００１４】（１．１）画像入力処理２０１ 左視点画像１１０および右視点画像１２０をファイルか
ら入力する。(1.1) Image input processing 201 A left viewpoint image 110 and a right viewpoint image 120 are input from a file.
【００１５】（１．２）差層作成処理２０２ 図１に差層作成処理２０２の概要を、図３に差層作成処
理２０２のフローチャートを示す。(1.2) Difference Layer Creation Process 202 FIG. 1 shows an outline of the difference layer creation process 202, and FIG. 3 shows a flowchart of the difference layer creation process 202.
【００１６】以下、図３のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will be described below with reference to the flowchart of FIG. 3 using the figure numbers as step numbers.
【００１７】ステップ３０１：初期設定 左視点画像１１０と右視点画像１２０の撮影位置による
視差方向から、右視点画像１２０をずらす初期位置α
（αは任意の定数）と刻み幅β（βは任意の定数）をル
ープ終了回数γ（γは任意の定数）を設定する。視差方
向は、一般的にエピポーララインと呼ばれ、詳細は以下
に示す文献に記載されており、本発明の実施の形態では
省略する。Step 301: Initial Setting An initial position α for shifting the right viewpoint image 120 from the parallax direction based on the shooting positions of the left viewpoint image 110 and the right viewpoint image 120.
(Α is an arbitrary constant) and a step size β (β is an arbitrary constant) are set as the loop end frequency γ (γ is an arbitrary constant). The parallax direction is generally called an epipolar line, details are described in the following literature, and are omitted in the embodiments of the present invention.
【００１８】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、５９４頁から６００頁、（東京大学出版会、
平成３年１月発行） 図１の概要では、視差方向がｘ座標の方向である例を示
す。以下、実施の形態１では、視差方向をｘ座標の方向
とした場合について述べる。"Image Analysis Handbook" supervised by Mikio Takagi and Hirohisa Shimoda, pages 594 to 600, (The University of Tokyo Press,
The outline of FIG. 1 shows an example in which the parallax direction is the direction of the x coordinate. Hereinafter, a case will be described in Embodiment 1 where the parallax direction is the direction of the x coordinate.
【００１９】ステップ３０２：視差方向ずらし 右視点画像１２０を視差方向にずらす。初期位置αと刻
み幅βからずれ量を求め、ずれ量をもとに右視点画像１
２０の全画素を移動する。これにより、ずらした右視点
画像１３０を作成する。Step 302: Shift parallax direction The right viewpoint image 120 is shifted in the parallax direction. The shift amount is obtained from the initial position α and the step width β, and the right viewpoint image 1 is calculated based on the shift amount.
Move all 20 pixels. Thereby, a shifted right viewpoint image 130 is created.
【００２０】ステップ３０３：差分計算 左視点画像１１０とずらした右視点画像１２０を画素ご
とに差分する。差分計算を次式に示す。Step 303: Difference calculation The right viewpoint image 120 shifted from the left viewpoint image 110 is differentiated for each pixel. The difference calculation is shown in the following equation.
【００２１】[0021]
【数１】 (Equation 1)
【００２２】上記式を全画素について計算することによ
り、差分画像を作成する。A difference image is created by calculating the above equation for all pixels.
【００２３】ステップ３０４：差分登録 上記ステップ３０３にて作成した差分画像を差層データ
１４０に登録する。差層データ１４０は、図１に示すよ
うに両視点画像のｘ座標ｙ座標のほかに、ｚ座標からな
る３次元の配列構造である。ｚ座標は、差分画像を順次
保存するための軸であり、ループ回数の値に相当する。Step 304: Register the difference The difference image created in step 303 is registered in the difference layer data 140. The difference layer data 140 has a three-dimensional array structure including z-coordinates in addition to x-coordinates and y-coordinates of both viewpoint images as shown in FIG. The z coordinate is an axis for sequentially storing the difference images, and corresponds to the value of the number of loops.
【００２４】差層データ１４０のｚ座標に対し、ループ
回数の層に、上記ステップにて作成した差分画像を保存
し、差分登録を実行する。For the z-coordinate of the difference layer data 140, the difference image created in the above step is stored in the layer of the number of loops, and the difference is registered.
【００２５】ステップ３０５：ループ終了 ループ回数を１増加させ、ループ回数がループ終了回数
γとなるまで、ステップ３０２からステップ３０４を繰
り返し実行する。Step 305: End of Loop The number of loops is increased by 1, and Steps 302 to 304 are repeatedly executed until the number of loops reaches the number of loop end times γ.
【００２６】上記の差層作成処理２０２において、上記
手順を実行し差層データを作成することにより、従来技
術では必要であった差分計算の重複範囲が、本発明では
不必要となり、高速に処理することができる。In the above-described difference layer creation processing 202, by executing the above-described procedure to create difference layer data, the overlapping range of the difference calculation, which is required in the prior art, becomes unnecessary in the present invention, and the processing speed is increased. can do.
【００２７】（１．３）評価処理２０３ 図４に、評価処理２０３のフローチャートを示す。(1.3) Evaluation Process 203 FIG. 4 shows a flowchart of the evaluation process 203.
【００２８】以下、図４のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will be described below with reference to the flowchart of FIG. 4 using the figure numbers as step numbers.
【００２９】ステップ４０１：初期設定 評価値を求めるためのmxm（mは任意の定数）評価範囲を
設定する。Step 401: Initial setting An mxm (m is an arbitrary constant) evaluation range for obtaining an evaluation value is set.
【００３０】ステップ４０２：評価値計算 評価範囲をもとに、差層データの着目点における評価値
を計算する。評価値計算を次式に示す。Step 402: Calculation of evaluation value An evaluation value at a point of interest of the difference layer data is calculated based on the evaluation range. The evaluation value calculation is shown in the following equation.
【００３１】[0031]
【数２】 (Equation 2)
【００３２】ステップ４０３：評価値登録 上記ステップ４０３にて算出した評価値を評価層データ
に登録する。評価層データは、差層データと同様の３次
元の配列構造である。差層データ１４０における着目点
の座標(x,y,z)と同様の評価層データの位置に、評価値
を保存することで、評価登録を実行する。Step 403: Register evaluation value The evaluation value calculated in step 403 is registered in the evaluation layer data. The evaluation layer data has the same three-dimensional array structure as the difference layer data. The evaluation registration is executed by storing the evaluation value at the same position of the evaluation layer data as the coordinates (x, y, z) of the point of interest in the difference layer data 140.
【００３３】ステップ４０４：終了判断 差層データの全点が処理されるまで、ステップ４０２か
らステップ４０３を繰り返し実行する。Step 404: End Judgment Steps 402 to 403 are repeatedly executed until all points of the difference layer data are processed.
【００３４】上記の評価処理２０３において、上記手順
を実行し評価層データを作成することにより、次に述べ
る位置決定処理２０４にて、対応点の削除修正が容易と
なり、精度よく３次元形状計測することができる。In the above-described evaluation process 203, by executing the above-described procedure and creating the evaluation layer data, in the position determination process 204 described below, the corresponding point can be easily deleted and corrected, and the three-dimensional shape can be measured with high accuracy. be able to.
【００３５】（１．４）位置決定処理２０４ 図５に、位置決定処理２０４のフローチャートを示す。(1.4) Position Determination Processing 204 FIG. 5 shows a flowchart of the position determination processing 204.
【００３６】以下、図５のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will now be described with reference to the flowchart of FIG.
【００３７】ステップ５０１：対応点選定 上記評価処理２０３にて作成した評価層データを探索
し、評価の最大値を順次求める。図６に評価層データ６
１０の探索方向の例を示す。探索の方向には２つの方向
を定める。１つは、ｘ座標、ｙ座標上で、ｚ座標の方向
６１１に探索する。２つめは、右視点画像１２０の視差
方向とｚ座標の方向で合成された方向６１２に探索す
る。実施の形態１では、視差方向がｘ座標の方向を例と
してるため、２つめの探索方向６１２は、ｘ座標の方向
とｚ座標の方向に順に増加する斜め方向となる。この２
つの方向にて、最大評価値の位置を対応点の候補として
選定する。Step 501: Selection of Corresponding Points The evaluation layer data created in the evaluation processing 203 is searched for, and the maximum value of the evaluation is sequentially obtained. FIG. 6 shows the evaluation layer data 6
10 shows examples of 10 search directions. Two directions are determined for the search direction. One is to search in the direction 611 of the z coordinate on the x coordinate and the y coordinate. The second is to search in the direction 612 synthesized in the parallax direction of the right viewpoint image 120 and the direction of the z coordinate. In the first embodiment, since the parallax direction is an x-coordinate direction as an example, the second search direction 612 is an oblique direction that sequentially increases in the x-coordinate direction and the z-coordinate direction. This 2
In each direction, the position of the maximum evaluation value is selected as a candidate for the corresponding point.
【００３８】ステップ５０２：対応点修正 上記選定した対応点の候補のなかで、立体形状として不
適切な対応点を削除修正する。図６に、探索し選定した
対応点の候補の削除修正の例を示す。図に示す対応点の
候補６０１は、周囲の対応点候補からかけ離れた位置に
あり、探索方向６１２上に対応点の候補６０２が存在す
る。Step 502: Corresponding point correction Among the selected corresponding point candidates, a corresponding point that is inappropriate as a three-dimensional shape is deleted and corrected. FIG. 6 shows an example of deletion and correction of a candidate for a corresponding point searched and selected. The corresponding point candidate 601 shown in the figure is located far away from surrounding corresponding point candidates, and the corresponding point candidate 602 exists in the search direction 612.
【００３９】この場合、対応点の候補６０１を削除ある
いは周囲の対応点の平均的な位置に修正する。また、対
応点の候補６０３は、周囲の対応点候補から離れた位置
にあり、探索方向６１１および探索方向６１２上に対応
点の候補は見当たらない。この場合についても、対応点
の候補６０３を削除あるいは周囲の対応点の候補の平均
的な位置に修正する。ここで、平均的な位置とは、周囲
の対応点の候補で構成する仮想面６０４の位置である。In this case, the corresponding point candidate 601 is deleted or corrected to an average position of surrounding corresponding points. The corresponding point candidate 603 is located at a position distant from surrounding corresponding point candidates, and no corresponding point candidate is found in the search direction 611 and the search direction 612. Also in this case, the corresponding point candidate 603 is deleted or corrected to an average position of surrounding corresponding point candidates. Here, the average position is the position of the virtual plane 604 formed by surrounding corresponding point candidates.
【００４０】ステップ５０３：立体形状位置計算 上記ステップにて修正し決定した対応点から、立体形状
位置を計算をする。対応点のｘ座標、ｙ座標から、左視
点画像１１０上の点L(x,y)と、視差方向および対応点の
ｚ座標から右視点画像１２０上の点R(x+z,y)を画像対応
点として、３次元形状位置を計算する。３次元形状位置
の算出の細は以下に示す文献に記載されており、本発明
の実施の形態では省略する。Step 503: Calculation of the position of the three-dimensional shape The position of the three-dimensional shape is calculated from the corresponding points determined and corrected in the above steps. From the x coordinate and y coordinate of the corresponding point, a point L (x, y) on the left viewpoint image 110, and a point R (x + z, y) on the right viewpoint image 120 from the parallax direction and the z coordinate of the corresponding point. A three-dimensional shape position is calculated as an image corresponding point. The details of the calculation of the three-dimensional shape position are described in the following documents, and are omitted in the embodiments of the present invention.
【００４１】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、５９４頁から６００頁、（東京大学出版会、
平成３年１月発行） 上記の位置決定処理２０４において、３次元構造上で対
応点の修正を行うことにより、対応点の削除修正が容易
となり、精度よく３次元形状計測することができる。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pages 594 to 600, (The University of Tokyo Press,
In the above-mentioned position determination processing 204, by correcting the corresponding points on the three-dimensional structure, the corresponding points can be easily deleted and corrected, and the three-dimensional shape can be measured with high accuracy.
【００４２】（１．５）出力処理２０５ 立体形状データをファイルへ出力する。(1.5) Output processing 205 The three-dimensional shape data is output to a file.
【００４３】以上、実施の形態１では、３次元構造をも
つ差層データを作成し、差層データを評価し３次元上の
対応点候補を求め、対応点候補の３次元位置から、不適
切な対応点候補を修正する。このことにより、高速で精
度よく対応点を探索でき、３次元形状計測することがで
きる。As described above, in the first embodiment, difference layer data having a three-dimensional structure is created, the difference layer data is evaluated, a corresponding point candidate on three dimensions is obtained, and an inappropriate three-dimensional position of the corresponding point candidate is determined. Correct corresponding point candidates. As a result, a corresponding point can be searched at high speed and with high accuracy, and three-dimensional shape measurement can be performed.
【００４４】（実施の形態１の変更例１）上記実施の形
態１の差層作成処理２０２では、差層データ１４０に左
視点画像１１０とずらした右視点画像１２０の差分のみ
を登録した。変更例１では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ１４０に登録する方法について述べる。図７
に変更例の概要を示し、図８に変更した差層作成処理１
４０のフローチャートを示す。(First Modification of First Embodiment) In the difference layer creation processing 202 of the first embodiment, only the difference between the right viewpoint image 120 shifted from the left viewpoint image 110 is registered in the difference layer data 140. In the first modification, a method of setting the edge of the target in the image as a direction vector and registering the similarity of the direction vector in the difference layer data 140 will be described. FIG.
FIG. 8 shows an outline of a modification example, and FIG.
40 shows a flowchart of 40.
【００４５】以下、図８のフローチャートに基づき、図
番号をステップ番号として手順を説明する。The procedure will be described below with reference to the flowchart of FIG.
【００４６】ステップ８０１：初期設定 初期設定は、実施の形態１のステップ３０１と同様であ
る。Step 801: Initial Setting Initial setting is the same as step 301 of the first embodiment.
【００４７】ステップ８０２：視差方向ずらし 視差方向ずらしは、実施の形態１のステップ３０２と同
様である。Step 802: Parallax direction shift The parallax direction shift is the same as step 302 of the first embodiment.
【００４８】ステップ８０３：差分計算 差分計算は、実施の形態１のステップ３０３と同様であ
る。Step 803: Difference Calculation The difference calculation is the same as step 303 of the first embodiment.
【００４９】ステップ８０４：差分登録 差分登録は、実施の形態１のステップ３０４と同様であ
る。Step 804: Difference Registration Difference registration is the same as step 304 of the first embodiment.
【００５０】ステップ８０５：ループ終了 ループ終了は、実施の形態１のステップ３０５と同様で
ある。Step 805: End of Loop The end of the loop is the same as step 305 of the first embodiment.
【００５１】ステップ８０６：微分画像作成 左視点画像１１０および右視点画像１２０を微分し、画
像中の対象物エッジからなる画像を作成する。微分方法
についての詳細は以下に示す文献に記載されており、本
発明の実施の形態では省略する。Step 806: Creation of Differential Image The left viewpoint image 110 and the right viewpoint image 120 are differentiated to create an image composed of an object edge in the image. The details of the differentiation method are described in the following documents, and are omitted in the embodiments of the present invention.
【００５２】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、５５０頁から５７５頁、（東京大学出版会、
平成３年１月発行） ステップ８０７：微分画像の視差方向ずらし 右視点の微分画像を視差方向にずらし、ずらした右視点
の画像７２０を作成する。作成方法は、ステップ８０２
の対象画像である右視点画像１２０を右視点の微分画像
に置き換え、ステップ８０２と同様の処理を実行する。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pp. 550-575, (The University of Tokyo Press,
(Issued January 1991) Step 807: Shifting the differential image in the parallax direction The right viewpoint differential image is shifted in the parallax direction, and a shifted right viewpoint image 720 is created. The creation method is step 802.
Then, the right viewpoint image 120, which is the target image, is replaced with the right viewpoint differential image, and the same processing as in step 802 is executed.
【００５３】ステップ８０８：エッジ方向ベクトル計算 左視点の微分画像７１０およびずらした右視点の微分画
像７２０から各々エッジ方向ベクトルを計算する。着目
画素I(x,y)において、着目画素がδ以上の値（δは任意
の定数）であり、着目画素の近傍画素にδ値以上の画素
値があれば、着目画素からδ値以上の近傍画素の方向を
エッジ方向ベクトルとする。図７に示すように、左視点
の微分画像におけるエッジ方向ベクトル７３０およびず
らした右視点の微分画像におけるエッジ方向ベクトル７
４０となる。両ベクトルを全画素について算出する。Step 808: Edge direction vector calculation An edge direction vector is calculated from the left viewpoint differential image 710 and the shifted right viewpoint differential image 720, respectively. In the target pixel I (x, y), if the target pixel has a value equal to or greater than δ (δ is an arbitrary constant), and if there is a pixel value equal to or greater than the δ value in a neighboring pixel of the target pixel, the target pixel has a value equal to or greater than δ. The direction of the neighboring pixels is defined as an edge direction vector. As shown in FIG. 7, the edge direction vector 730 in the differential image of the left viewpoint and the edge direction vector 7
It will be 40. Both vectors are calculated for all pixels.
【００５４】ステップ８０９：エッジ類似度計算 左視点の微分画像におけるエッジ方向ベクトル７３０お
よびずらした右視点の微分画像におけるエッジ方向ベク
トル７４０から類似度を算出する。類似度は、両ベクト
ルの内積の絶対値とする。内積についての詳細は以下に
示す文献に記載されており、本発明の実施の形態では省
略する。Step 809: Edge similarity calculation The similarity is calculated from the edge direction vector 730 in the left viewpoint differential image and the shifted edge direction vector 740 in the right viewpoint differential image. The similarity is the absolute value of the inner product of both vectors. Details of the inner product are described in the following documents, and are omitted in the embodiments of the present invention.
【００５５】村上正康ほか「教養の線形代数」、９８頁
から１０１頁、（培風館、１９８９年１月発行） ステップ８１０：エッジ類似度登録 上記類似度を差層データ１４０に登録する。この処理に
より、差層データ１４０は、差分データとエッジ方向類
似度からなる差エッジベクトル７５０を３次元の配列構
造の成分として持つ。Murakami Masayasu et al., "Linear Algebra of Culture", pp. 98-101, Baifukan, issued January 1989. Step 810: Register Edge Similarity The similarity is registered in the difference layer data 140. By this process, the difference layer data 140 has a difference edge vector 750 composed of the difference data and the edge direction similarity as a component of the three-dimensional array structure.
【００５６】ステップ８１１：ループ終了 終了条件を満たすまで、ステップ８０６からステップ８
１０を繰り返し実行する。Step 811: loop end Steps 806 to 8 until the end condition is satisfied.
Step 10 is repeated.
【００５７】差層作成処理１４０にて上記ステップを実
行し、評価処理２０３にてステップ４０２の評価値計算
を、数２およびベクトル類似度から計算することによ
り、高精度の評価値を求めることができ、実施の形態１
と同様の効果が得られる。The above steps are executed in the difference layer creation processing 140, and the evaluation value calculation in step 402 is calculated from the equation (2) and the vector similarity in the evaluation processing 203, thereby obtaining a highly accurate evaluation value. Yes, Embodiment 1
The same effect can be obtained.
【００５８】（実施の形態１の変更例２）上記実施の形
態１の差層作成処理２０２では、差層データ１４０に左
視点画像１１０とずらした右視点画像１２０の差分のみ
を登録した。変更例２では、視差方向が未知であるとき
の差層データ１４０の作成する方法について述べる。図
９に変更例の概要を示し、図１０に変更した差層作成処
理２０２のフローチャートを示す。(Modification 2 of Embodiment 1) In the difference layer creation processing 202 of Embodiment 1, only the difference between the right viewpoint image 120 shifted from the left viewpoint image 110 is registered in the difference layer data 140. In Modification Example 2, a method of creating the difference layer data 140 when the disparity direction is unknown will be described. FIG. 9 shows an outline of a modified example, and FIG. 10 shows a flowchart of the modified difference layer creation processing 202.
【００５９】以下、図１０のフローチャートに基づき、
図番号をステップ番号として手順を説明する。Hereinafter, based on the flowchart of FIG.
The procedure will be described using the figure numbers as step numbers.
【００６０】ステップ１００１：格子点設定 差層データ１４０上にｘ座標にａ間隔（ａは任意の定
数）、ｙ座標にｂ間隔（ｂは任意の定数）、ｚ座標にｃ
間隔（ｃは任意の定数）毎の格子点を設定する。Step 1001: Setting grid points On the difference layer data 140, an a interval (a is an arbitrary constant) at the x coordinate, a b interval (b is an arbitrary constant) at the y coordinate, and c at the z coordinate
Grid points are set for each interval (c is an arbitrary constant).
【００６１】ステップ１００２：視線ベクトル計算 着目格子点９３０から、両画像の視点までの視線ベクト
ルを計算する。視線ベクトルの詳細については、以下に
示す文献に記載されており、本発明の実施の形態では省
略する。Step 1002: Line-of-sight vector calculation A line-of-sight vector from the grid point of interest 930 to the viewpoints of both images is calculated. The details of the line of sight vector are described in the following documents, and are omitted in the embodiments of the present invention.
【００６２】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、５９４頁から６００頁、（東京大学出版会、
平成３年１月発行） 画像Ａの実際に撮影した場所の視点９１１までの視線ベ
クトル９１２および画像Ｂの実際に撮影した場所の視点
９２１までの視線ベクトル９２２を算出する。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pages 594 to 600, (The University of Tokyo Press,
A gaze vector 912 up to a viewpoint 911 of a place where the image A is actually photographed and a gaze vector 922 up to a viewpoint 921 of the place where the image B is actually photographed are calculated.
【００６３】ステップ１００３：交点計算 上記算出した視線ベクトルと撮影面との交点を計算す
る。交点計算は、上記視線ベクトル計算と同様の文献に
記載されており、本発明の実施の形態では省略する。Step 1003: Intersection Calculation The intersection between the calculated line-of-sight vector and the photographing plane is calculated. The intersection calculation is described in the same literature as the line-of-sight vector calculation, and is omitted in the embodiment of the present invention.
【００６４】画像Ａの撮影面９１０における視線ベクト
ル９１２との交点９１３および画像Ｂの撮影面９２０に
おける視線ベクトル９２２との交点９２３を求める。An intersection 913 of the image A with the line-of-sight vector 912 on the imaging plane 910 and an intersection 923 of the image B with the line-of-sight vector 922 on the imaging plane 920 are obtained.
【００６５】ステップ１００４：輝度計算 画像Ａの交点９１３の輝度を算出する。画像Ａの交点９
１３は、画素上の格子点ではなく、一般に浮動小数点で
あり、この浮動小数点近傍の４ｘ４格子点の画素値を用
いて、キュービックコンボリューションにより、交点９
１３の輝度を算出する。Step 1004: Calculation of luminance The luminance of the intersection 913 of the image A is calculated. Intersection 9 of image A
Numeral 13 denotes a floating point, not a grid point on a pixel, and a cubic convolution using a pixel value of a 4 × 4 grid point near the floating point.
13 is calculated.
【００６６】キュービックコンボリューションの詳細は
以下に示す文献に記載されており、本発明の実施の形態
では省略する。The details of the cubic convolution are described in the following documents, and are omitted in the embodiments of the present invention.
【００６７】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、４４３頁から４４４頁、（東京大学出版会、
平成３年１月発行） 画像Ｂの交点９２３についても、同様の処理を実行し、
輝度を計算する。"Image Analysis Handbook", supervised by Mikio Takagi and Hirohisa Shimoda, pages 443 to 444, (The University of Tokyo Press,
The same processing is executed for the intersection 923 of the image B.
Calculate the brightness.
【００６８】ステップ１００５：輝度差分 上記二つの輝度の差分を実行し、着目格子点９３０に登
録する。Step 1005: Luminance difference The difference between the above two luminances is executed and registered in the grid point of interest 930.
【００６９】ステップ１００６：終了判断 差層データ１４０の全格子点について、ステップ１００
２からステップ１００５を繰り返し実行する。Step 1006: Judgment of end Step 1006 is performed for all grid points of the difference layer data 140.
Steps 2 to 1005 are repeatedly executed.
【００７０】以上の変更例により、実施の形態１と同様
の効果が得られる。According to the above modification, the same effect as in the first embodiment can be obtained.
【００７１】（実施の形態２）実施の形態１の代替案と
して、複数の画像を伴う３次元形状計測処理２１０につ
いて、実施の形態を示す。以下、３つの画像に対する処
理について、実施の形態１との変更点のみを述べる。(Second Embodiment) As an alternative to the first embodiment, an embodiment of a three-dimensional shape measurement process 210 involving a plurality of images will be described. In the following, only the differences from the first embodiment in the processing for three images will be described.
【００７２】（２．１）画像入力処理２０１ 画像１、画像２および画像３をファイルから入力する。(2.1) Image Input Processing 201 Images 1, 2 and 3 are input from a file.
【００７３】（２．２）差層作成処理２０２ ステップ３０１：初期設定 初期設定は、実施の形態１と同様である。(2.2) Difference layer creation processing 202 Step 301: Initial setting Initial setting is the same as in the first embodiment.
【００７４】ステップ３０２：視差方向ずらし 図１１に差層作成処理２０２の概要を示す。画像１（１
１１０）を基準画像とし、基準以外の画像である画像２
（１１２０）および画像３（１１３０）を各々の視差方
向にずらし、ずらした画像２’（１１４０）および画像
３’（１１５０）を作成する。Step 302: Shifting parallax direction FIG. 11 shows an outline of the difference layer creation processing 202. Image 1 (1
110) is a reference image, and image 2 is an image other than the reference image.
(1120) and the image 3 (1130) are shifted in the respective parallax directions, and the shifted images 2 '(1140) and 3' (1150) are created.
【００７５】ステップ３０３：差分計算 上記ステップにて作成した画像２’（１１４０）および
画像３’（１１５０）と基準画像である画像１（１１１
０）とを差分する。Step 303: Difference calculation The image 2 ′ (1140) and the image 3 ′ (1150) created in the above steps and the image 1 (111
0).
【００７６】ステップ３０４：差分登録 画像１（１１１０）と画像２’（１１４０）の差分およ
び画像１（１１１０）と画像３’（１１５０）の 差分
を差ベクトル１１６０として、差層データ１４０に登録
する。Step 304: Registration of difference The difference between image 1 (1110) and image 2 '(1140) and the difference between image 1 (1110) and image 3' (1150) are registered as difference vector 1160 in difference layer data 140. .
【００７７】ステップ３０５：ループ終了 ループ終了は、実施の形態１と同様である。Step 305: End of Loop The end of the loop is the same as in the first embodiment.
【００７８】（２．３）評価処理２０３ ステップ４０１：初期設定 初期設定は、実施の形態１と同様である。(2.3) Evaluation Process 203 Step 401: Initial Setting Initial setting is the same as in the first embodiment.
【００７９】ステップ４０２：評価値計算 評価範囲をもとに、差層データ１４０の着目点における
差ベクトル１１６０を用いて評価値を計算する。評価値
の計算は、差ベクトル１１５０の各成分について、実施
の形態１と同様に算出し、各成分の算出結果を自乗平均
することで求める。Step 402: Evaluation Value Calculation Based on the evaluation range, an evaluation value is calculated using a difference vector 1160 at a point of interest of the difference layer data 140. The evaluation value is calculated by calculating each component of the difference vector 1150 in the same manner as in Embodiment 1, and averaging the calculation results of each component.
【００８０】ステップ４０３：評価値登録 初期設定は、実施の形態１と同様である。Step 403: Evaluation Value Registration Initial settings are the same as in the first embodiment.
【００８１】ステップ４０４：終了判断 終了判断は、実施の形態１と同様である。Step 404: End Determination The end determination is the same as in the first embodiment.
【００８２】（２．４）位置決定処理２０４ 位置決定処理２０４は、実施の形態１と同様である。(2.4) Position Determination Processing 204 The position determination processing 204 is the same as in the first embodiment.
【００８３】（２．５）出力処理２０５ 出力処理２０５は、実施の形態１と同様である。(2.5) Output Processing 205 The output processing 205 is the same as in the first embodiment.
【００８４】以上、実施の形態２では、２枚以上の複数
の画像に対して、差層データを作成することで、精度よ
く３次元形状計測することができる。As described above, in the second embodiment, three-dimensional shape measurement can be performed with high accuracy by creating difference layer data for two or more images.
【００８５】（実施の形態２の変更例１）上記実施の形
態１の差層作成処理２０２では、差層データ１４０に左
視点画像１１０とずらした右視点画像１２０の差分のみ
を登録した。変更例１では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ１４０に登録することもできる。(First Modification of Second Embodiment) In the difference layer creation processing 202 of the first embodiment, only the difference between the left viewpoint image 110 and the right viewpoint image 120 shifted from the left viewpoint image 110 is registered in the difference layer data 140. In the first modification, the edge of the object in the image may be set as a direction vector, and the similarity of the direction vector may be registered in the difference layer data 140.
【００８６】差層作成処理２０２において、実施の形態
１の変更例１と同様に、３つの画像から各々の微分画像
を作成し、基準以外の微分画像をずらし、各々の着目画
素におけるエッジ方向ベクトルを計算し、エッジ類似度
を求め、差層データに登録する。In the difference layer creating process 202, similarly to the first modification of the first embodiment, each differential image is created from three images, the differential image other than the reference image is shifted, and the edge direction vector at each pixel of interest is shifted. Is calculated, the edge similarity is obtained, and registered in the difference layer data.
【００８７】評価処理２０３において、実施の形態１の
変更例１と同様に、ステップ４０２の評価値計算を、差
分およびベクトル類似度から計算する。In the evaluation process 203, similarly to the first modification of the first embodiment, the evaluation value calculation in step 402 is calculated from the difference and the vector similarity.
【００８８】以上の変更例により、高精度の評価値を求
めることができ、実施の形態２と同様の効果が得られ
る。According to the above modification, a highly accurate evaluation value can be obtained, and the same effect as in the second embodiment can be obtained.
【００８９】（実施の形態２の変更例２）実施の形態２
では視差方向が既知であったが、視差方向が未知である
ときでも、差層データ１４０を作成することができる。(Modification 2 of Embodiment 2) Embodiment 2
Although the parallax direction is already known, the difference layer data 140 can be created even when the parallax direction is unknown.
【００９０】差層作成処理２０２において、実施の形態
１の変更例２と同様に、差層データ１４０上に格子点設
定し、着目格子点から、両画像の視点までの視線ベクト
ルを計算する。さらに、算出した視線ベクトルと撮影面
との交点から輝度を算出する。各々の画像にて算出した
輝度について、差分をとる。In the difference layer creation processing 202, grid points are set on the difference layer data 140, and a line-of-sight vector from the grid point of interest to the viewpoints of both images is calculated, similarly to the second modification of the first embodiment. Further, the luminance is calculated from the intersection between the calculated line-of-sight vector and the imaging plane. The difference is calculated for the luminance calculated for each image.
【００９１】以上の変更例により、実施の形態２と同様
の効果が得られる。According to the above modification, the same effect as in the second embodiment can be obtained.
【００９２】[0092]
【発明の効果】本発明によれば、以下の効果がある。According to the present invention, the following effects can be obtained.
【００９３】複数の画像から３次元構造をもつ差層デー
タを作成し、差層データを評価し３次元上の対応点候補
を求め、対応点候補の３次元位置から、不適切な対応点
候補を修正する。このことにより、高速で精度よく対応
点を探索でき、３次元形状計測することができる。[0093] Difference layer data having a three-dimensional structure is created from a plurality of images, the difference layer data is evaluated, and corresponding point candidates on three dimensions are obtained. To correct. As a result, a corresponding point can be searched at high speed and with high accuracy, and three-dimensional shape measurement can be performed.
【図１】本実施の形態１の差層作成処理の概要を示す図
である。FIG. 1 is a diagram illustrating an outline of a difference layer creation process according to a first embodiment.
【図２】本実施の形態１の３次元形状計測処理のフロー
チャートを示す図である。FIG. 2 is a diagram illustrating a flowchart of a three-dimensional shape measurement process according to the first embodiment.
【図３】本実施の形態１の差層作成処理のフローチャー
トを示す図である。FIG. 3 is a diagram illustrating a flowchart of a difference layer creation process according to the first embodiment.
【図４】本実施の形態１の評価処理のフローチャートを
示す図である。FIG. 4 is a diagram illustrating a flowchart of an evaluation process according to the first embodiment.
【図５】本実施の形態１の位置決定処理のフローチャー
トを示す図である。FIG. 5 is a diagram illustrating a flowchart of a position determination process according to the first embodiment.
【図６】本実施の形態１の位置決定処理の概要を示す図
である。FIG. 6 is a diagram illustrating an outline of a position determination process according to the first embodiment.
【図７】本実施の形態１の変更例１の差層作成処理の概
要を示す図である。FIG. 7 is a diagram illustrating an outline of a difference layer creation process according to a first modification of the first embodiment;
【図８】本実施の形態１の変更例１の差層作成処理のフ
ローチャートを示す図である。FIG. 8 is a diagram showing a flowchart of a difference layer creation process according to a first modification of the first embodiment.
【図９】本実施の形態１の変更例２の差層作成処理の概
要を示す図である。FIG. 9 is a diagram illustrating an outline of a difference layer creation process according to a second modification of the first embodiment;
【図１０】本実施の形態１の変更例２の差層作成処理の
フローチャートを示す図である。FIG. 10 is a diagram showing a flowchart of a difference layer creation process according to a second modification of the first embodiment.
【図１１】本実施の形態２の差層作成処理の概要を示す
図である。FIG. 11 is a diagram illustrating an outline of a difference layer creation process according to the second embodiment.
１１０…左視点画像、１２０…右視点画像、１３０…ず
らした右視点画像、１４０…差層データ、１５０…立体
形状データ、２０１…画像入力処理、２０２…差層作成
処理、２０３…評価処理、２０４…位置決定処理、２０
５…出力処理、２１０…３次元形状計測処理、３０１…
初期設定、３０２…視差方向ずらし、３０３…差分計
算、３０４…差分登録、３０５…ループ終了、４０１…
初期設定、４０２…評価値計算、４０３…評価値登録、
４０４…終了判断、５０１…対応点選定、５０２…対応
点修正、５０３…立体形状位置計算、６０１…対応点の
候補、６０２…対応点の候補、６０３…対応点の候補、
６０４…仮想面、６１０…評価層データ、６１１…探索
方向、６１２…探索方向、７１０…左視点の微分画像、
７２０…ずらした右視点の画像、７３０…左視点の微分
画像におけるエッジ方向ベクトル、７４０…右視点の微
分画像におけるエッジ方向ベクトル、７５０…差エッジ
ベクトル、８０１…初期設定、８０２…視差方向ずら
し、８０３…差分計算、８０４…差分登録、８０５…ル
ープ終了、８０６…微分画像作成、８０７…微分画像の
視差方向ずらし、８０８…エッジ方向ベクトル計算、８
０９…エッジ類似度計算、８１０…エッジ類似度登録、
８１１…ループ終了、９１０…画像Ａの撮影面、９１１
…画像Ａの視点、９１２…画像Ａの視線ベクトル、９１
３…画像Ａの交点、９２０…画像Ｂの撮影面、９２１…
画像Ｂの視点、９２２…画像Ｂの視線ベクトル、９２３
…画像Ｂの交点、９３０…着目格子点、１００１…格子
点設定、１００２…視線ベクトル計算、１００３…交点
計算、１００４…輝度計算、１００５…輝度差分、１０
０６…終了判断、１１１０…画像１、１１２０…画像
２、１１３０…画像３、１１４０…画像２’、１１５０
…画像３’、１１６０…差ベクトル。110: left viewpoint image, 120: right viewpoint image, 130: shifted right viewpoint image, 140: difference layer data, 150: three-dimensional shape data, 201: image input process, 202: difference layer creation process, 203: evaluation process, 204 position determination processing, 20
5 output processing, 210 three-dimensional shape measurement processing, 301.
Initial setting, 302: Parallax direction shift, 303: Difference calculation, 304: Difference registration, 305: Loop end, 401 ...
Initial setting, 402: evaluation value calculation, 403: evaluation value registration,
404: End judgment, 501: Corresponding point selection, 502: Corresponding point correction, 503: Three-dimensional shape position calculation, 601: Corresponding point candidate, 602: Corresponding point candidate, 603: Corresponding point candidate,
604: virtual plane, 610: evaluation layer data, 611: search direction, 612: search direction, 710: differential image of left viewpoint,
720 ... shifted right viewpoint image, 730 ... edge direction vector in left viewpoint differential image, 740 ... edge direction vector in right viewpoint differential image, 750 ... difference edge vector, 801 ... initial setting, 802 ... parallax direction shifted, 803: Difference calculation, 804: Difference registration, 805: Loop end, 806: Differential image creation, 807: Disparity direction shift of the differential image, 808: Edge direction vector calculation, 8
09: Edge similarity calculation, 810: Edge similarity registration,
811: End of loop, 910: Shooting surface of image A, 911
... viewpoint of image A, 912 ... gaze vector of image A, 91
3: intersection of image A, 920: shooting surface of image B, 921
View point of image B, 922... Gaze vector of image B, 923
... intersection of image B, 930 ... lattice point of interest, 1001 ... grid point setting, 1002 ... line-of-sight vector calculation, 1003 ... intersection calculation, 1004 ... luminance calculation, 1005 ... luminance difference, 10
06 ... End judgment, 1110 ... Image 1, 1120 ... Image 2, 1130 ... Image 3, 1140 ... Image 2 ', 1150
... Image 3 ', 1160 ... Difference vector.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/20 Ｇ０１Ｂ 11/24 Ｍ Ｇ０６Ｆ 17/40 Ｇ０６Ｆ 15/62 ３５０Ｖ Ｇ０９Ｂ 29/00 15/70 ４００ 15/74 ３３０Ａ Ｆターム(参考） 2C032 HC23 2F065 AA51 DD06 FF05 GG10 QQ13 QQ38 UU05 5B050 BA02 BA04 BA09 BA17 DA01 EA07 EA12 EA18 EA28 5B057 AA13 AA14 CA12 CA16 CB12 CB16 CD02 DA07 DB03 DC08 DC09 DC16 DC32 5L096 CA05 DA02 EA15 FA06 FA10 FA67 FA69 GA02 GA08 JA04 JA11 KA13 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 7/20 G01B 11/24 M G06F 17/40 G06F 15/62 350V G09B 29/00 15/70 400 15 / 74 330A F-term (Reference) 2C032 HC23 2F065 AA51 DD06 FF05 GG10 QQ13 QQ38 UU05 5B050 BA02 BA04 BA09 BA17 DA01 EA07 EA12 EA18 EA28 5B057 AA13 AA14 CA12 CA16 CB12 CB16 CD02 DA07 DB06 FA09 DC09 FA09 GA02 GA08 JA04 JA11 KA13
Claims (6)
物体あるいは場所をもとに、画像に映った物体の形状を
計測する３次元形状計測処理において、 １つの画像を基準画像として基準以外の画像と差分をと
り、差層データを作成する差層作成処理と、 該差層データの各場所から類似の程度を評価値として計
算し、評価データを作成する評価処理と、 該評価データから、立体形状の位置を決定する位置決定
処理を設け、 該差層作成処理は、該基準以外の画像を視差方向に順次
ずらし、該ずらした画像と該基準画像との画素ごとの差
分をとり差画像を順次作成し、該順次作成した差画像を
積み重ねて、層状の３次元構造をもつ該差層データに登
録することを特徴とする画像データのマッチング方法。1. A three-dimensional shape measurement process for taking two images and measuring the shape of an object reflected in the image based on the object or location reflected in each image, wherein one image is used as a reference image. Difference layer creation processing for creating a difference layer data by taking a difference from an image other than the reference, calculating similarity from each location of the difference layer data as an evaluation value, and creating evaluation data; A position determination process for determining the position of the three-dimensional shape from the data is provided. The difference layer creation process sequentially shifts images other than the reference in the parallax direction, and calculates a difference between each pixel of the shifted image and the reference image. A method of matching image data, comprising sequentially creating difference images, stacking the sequentially created difference images, and registering the difference images in the difference layer data having a layered three-dimensional structure.
ータおよび該近傍領域のデータから類似度を求め、求め
た該類似度を評価値として、該評価データである層状の
３次元構造をもつ評価層データに登録することを特徴と
する画像データのマッチング方法。2. The evaluation process according to claim 1, wherein a region near the data of interest on the difference layer data is determined, a similarity is obtained from the data of interest and the data of the nearby region, and the obtained similarity is used as an evaluation value. And registering the evaluation data as evaluation layer data having a layered three-dimensional structure.
タから３次元上の複数の対応点候補を選択し、選択した
該複数の対応点候補を１つの集団とみなし、該１つの集
団の位置から外れた不適切な場所を示す対応点候補を削
除修正することを特徴とする画像データのマッチング方
法。3. The position determination process according to claim 1, wherein a plurality of three-dimensional corresponding point candidates are selected from the evaluation data, which is the evaluation data having a layered three-dimensional structure, and the selected corresponding points are selected. A method for matching image data, wherein a candidate is regarded as one group, and a corresponding point candidate indicating an inappropriate place deviating from the position of the one group is deleted and corrected.
像と基準画像との画素ごとの差分をとり差画像を順次作
成し、該順次作成した差画像を積み重ねて、層状の３次
元構造をもつ該差層データに登録し、 各々の画像を着目画素と着目画素の近傍とで微分した各
々の微分画像を作成し、基準以外の微分画像を視差方向
に順次ずらし、該ずらした微分画像と該基準の微分画像
との画素ごとのエッジ方向の類似度を順次算出し、該順
次算出したエッジ方向の類似度を順次積み重ねて、該差
層データに登録することを特徴とする画像データのマッ
チング方法。4. As an alternative to the difference layer creation processing of claim 1, images other than the reference are sequentially shifted in the parallax direction, and a difference image is sequentially created by taking a difference for each pixel between the shifted image and the reference image. Stacking the sequentially created difference images, registering them in the difference layer data having a layered three-dimensional structure, creating each differential image by differentiating each image with a pixel of interest and the vicinity of the pixel of interest, The other differential images are sequentially shifted in the parallax direction, the similarity in the edge direction for each pixel between the shifted differential image and the reference differential image is sequentially calculated, and the sequentially calculated edge direction similarities are sequentially stacked. Registering the difference data.
て、 各々の画像において、撮影した視点位置と差層データ上
の着目位置から視線ベクトルを計算し、該視線ベクトル
と画像撮影面の交点を求め、該画像撮影面の交点の画素
輝度を算出し、 各々の画像における該算出した画素輝度の差分をとり、
該差層データに登録することを特徴とする画像データの
マッチング方法。5. As an alternative to the difference layer creation processing of claim 1, in each image, a gaze vector is calculated from a captured viewpoint position and a position of interest on difference layer data, and the gaze vector and the image shooting plane are calculated. Find the intersection, calculate the pixel brightness at the intersection of the image capturing surface, take the difference of the calculated pixel brightness in each image,
A method for matching image data, wherein the method is registered in the difference layer data.
体あるいは場所をもとに、画像に映った物体の形状を計
測する３次元形状算出処理において、 １つの画像を基準画像として基準以外の各々の画像と差
分をとり、差層データを作成する差層作成処理と、 該差層データの各場所から類似の程度を評価値として計
算し、評価データを作成する評価処理と、 該評価データから、立体形状の位置を決定する位置決定
処理を設け、 該差層作成処理は、該基準以外の各々の画像を視差方向
に順次ずらし、ずらした各々の画像と基準画像との画素
ごとの差分をとり、各々の画素ごとの差分を成分とした
差ベクトルのデータを順次作成し、該順次作成した差ベ
クトルのデータを順次積み重ねて、層状の３次元構造を
もつ該差層データに登録することを特徴とする画像デー
タのマッチング方法。6. A three-dimensional shape calculation process for photographing a plurality of images and measuring the shape of an object reflected in the image based on the object or location reflected in each image, wherein one image is used as a reference image. A difference layer creation process of creating a difference layer data by taking a difference from each of the images other than the above, an evaluation process of calculating the degree of similarity from each location of the difference layer data as an evaluation value, and creating evaluation data; A position determination process for determining the position of the three-dimensional shape from the evaluation data is provided. The difference layer creation process sequentially shifts each image other than the reference in the parallax direction, and for each pixel of each shifted image and the reference image. , And sequentially creates difference vector data having the difference of each pixel as a component, sequentially stacks the sequentially created difference vector data, and registers the data in the difference layer data having a layered three-dimensional structure. Specially Matching method of image data to be used.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000046737A JP2001229388A (en) | 2000-02-18 | 2000-02-18 | Matching method for image data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000046737A JP2001229388A (en) | 2000-02-18 | 2000-02-18 | Matching method for image data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001229388A true JP2001229388A (en) | 2001-08-24 |
Family
ID=18569101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000046737A Pending JP2001229388A (en) | 2000-02-18 | 2000-02-18 | Matching method for image data |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001229388A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2390792A (en) * | 2002-07-08 | 2004-01-14 | Vision Rt Ltd | Patient positioning system using images from two viewpoints |
| JP2012128623A (en) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | Object discrimination device, method, and program |
| US8463420B2 (en) | 2010-03-19 | 2013-06-11 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
| US8527083B2 (en) | 2010-03-19 | 2013-09-03 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
| JP2020095519A (en) * | 2018-12-13 | 2020-06-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Shape estimation device, shape estimation method, program, and recording medium |
| CN112504237A (en) * | 2020-11-30 | 2021-03-16 | 贵州北斗空间信息技术有限公司 | Lightweight rapid generation method for inclination data |
-
2000
- 2000-02-18 JP JP2000046737A patent/JP2001229388A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2390792A (en) * | 2002-07-08 | 2004-01-14 | Vision Rt Ltd | Patient positioning system using images from two viewpoints |
| GB2390792B (en) * | 2002-07-08 | 2005-08-31 | Vision Rt Ltd | Image processing system for use with a patient positioning device |
| US7889906B2 (en) | 2002-07-08 | 2011-02-15 | Vision Rt Limited | Image processing system for use with a patient positioning device |
| US8135201B2 (en) | 2002-07-08 | 2012-03-13 | Vision Rt Limited | Image processing system for use with a patient positioning device |
| US8463420B2 (en) | 2010-03-19 | 2013-06-11 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
| US8527083B2 (en) | 2010-03-19 | 2013-09-03 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
| JP2012128623A (en) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | Object discrimination device, method, and program |
| JP2020095519A (en) * | 2018-12-13 | 2020-06-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Shape estimation device, shape estimation method, program, and recording medium |
| CN112504237A (en) * | 2020-11-30 | 2021-03-16 | 贵州北斗空间信息技术有限公司 | Lightweight rapid generation method for inclination data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| JP6736257B2 (en) | Information processing device, information processing method, and program | |
| US20110235897A1 (en) | Device and process for three-dimensional localization and pose estimation using stereo image, and computer-readable storage medium storing the program thereof | |
| EP2568253B1 (en) | Structured-light measuring method and system | |
| JP5955028B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2013186816A (en) | Moving image processor, moving image processing method and program for moving image processing | |
| US11348323B2 (en) | Information processing apparatus for correcting three-dimensional map, information processing method for correcting three-dimensional map, and non-transitory computer-readable storage medium for correcting three-dimensional map | |
| JP2015056057A (en) | Method of estimating posture and robot | |
| US20110235898A1 (en) | Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof | |
| JP2011192214A (en) | Geometric feature extracting device, geometric feature extraction method and program, three-dimensional measuring device and object recognition device | |
| JP2008082870A (en) | Image processing program, and road surface state measuring system using this | |
| CN110567441B (en) | Particle filter-based positioning method, positioning device, mapping and positioning method | |
| JP2012013514A (en) | Information processor, three dimensional position calculation method and program | |
| US20100128972A1 (en) | Stereo matching processing system, stereo matching processing method and recording medium | |
| KR101453143B1 (en) | Stereo matching process system, stereo matching process method, and recording medium | |
| JP2020013560A (en) | Information processing device, information processing method, and program | |
| CN112184811A (en) | Monocular space structured light system structure calibration method and device | |
| CN114187246A (en) | Focal length measuring method of laser marking machine | |
| JP2001229388A (en) | Matching method for image data | |
| JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
| CN113642397A (en) | Object length measuring method based on mobile phone video | |
| JP2001116513A (en) | Distance image calculating device | |
| KR20080001794A (en) | Apparatus and method for estimating fundamental matrix using robust correspondence point | |
| CN111583108B (en) | Tunnel lining surface linear array image TOF fusion splicing method and device and storage medium | |
| CN112991372A (en) | 2D-3D camera external parameter calibration method based on polygon matching |