JP7252591B2 - Image processing method and image processing apparatus by geometric shape matching - Google Patents
Image processing method and image processing apparatus by geometric shape matching Download PDFInfo
- Publication number
- JP7252591B2 JP7252591B2 JP2018205052A JP2018205052A JP7252591B2 JP 7252591 B2 JP7252591 B2 JP 7252591B2 JP 2018205052 A JP2018205052 A JP 2018205052A JP 2018205052 A JP2018205052 A JP 2018205052A JP 7252591 B2 JP7252591 B2 JP 7252591B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- edges
- image
- contrast
- model image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title claims description 8
- 239000006185 dispersion Substances 0.000 claims description 49
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、対象画像及びモデル画像にそれぞれ示される特徴的な幾何学形状のマッチング処理を行う画像処理方法及び画像処理装置に関する。 The present invention relates to an image processing method and an image processing apparatus that perform matching processing of characteristic geometric shapes respectively shown in a target image and a model image.
従来、画像から所定の特徴的な特徴を幾何学形状として探索するマシンビジョンシステム等の画像処理システムでは、基準となる位置や向きで幾何学形状（モデル形状）を示すモデル画像が予め用意され、処理対象の幾何学形状（対象形状）を示した対象画像とモデル画像（テンプレート）とのマッチング処理（テンプレートマッチング）を行う。マッチング処理によって、対象画像における対象形状とモデル画像におけるモデル形状とが合致する場合の、対象画像に対するモデル画像の位置を探索し、その探索結果に基づいて対象画像の幾何学形状の位置決めを行う。例えば、テンプレートマッチングでは、正規化相関法が利用されることが知られている（特許文献１参照）。 Conventionally, in an image processing system such as a machine vision system that searches an image for a predetermined characteristic feature as a geometric shape, a model image showing a geometric shape (model shape) at a reference position and orientation is prepared in advance. A matching process (template matching) is performed between a target image showing a geometric shape to be processed (target shape) and a model image (template). By matching processing, when the target shape in the target image matches the model shape in the model image, the position of the model image with respect to the target image is searched, and the geometric shape of the target image is positioned based on the search result. For example, in template matching, it is known that a normalized correlation method is used (see Patent Document 1).
マッチング処理において、対象画像とモデル画像とでは、幾何学形状の位置、回転角度、スケール率、せん断変形率等の姿勢が異なることがある。そのため、対象画像及びモデル画像のそれぞれの幾何学形状の姿勢を合わせてマッチング処理が行われることが望ましい。例えば、様々な姿勢の幾何学形状のモデル画像を対象画像と比較し、合致の指標値が最も高くなる姿勢を網羅的に探索する。 In the matching process, the target image and the model image may differ in orientation such as geometrical position, rotation angle, scale ratio, shear deformation ratio, and the like. Therefore, it is desirable to perform matching processing by matching the orientations of the geometric shapes of the target image and the model image. For example, model images of geometric shapes in various poses are compared with the target image to exhaustively search for poses with the highest matching index values.
マシンビジョンシステム等の画像処理システムでは、対象画像とモデル画像とのマッチング処理を正確且つ高速に実行することが求められている。しかしながら、対象画像とモデル画像との合致度の指標を求めるために、正規化相関値等を用いる場合には、両画像の全画素を計算に用いるので、計算量が多くなり、処理時間が長くなってしまう。 Image processing systems such as machine vision systems are required to perform matching processing between a target image and a model image accurately and at high speed. However, when a normalized correlation value or the like is used to obtain an index of the degree of matching between the target image and the model image, all pixels of both images are used for calculation, so the amount of calculation increases and the processing time increases. turn into.
あるいは、マッチング処理では、モデル画像に示されるモデル形状の輪郭線形状と、対象画像に示される対象形状の輪郭線形状とを比較し、その合致度を指標として用いることがある。この場合、輪郭上のエッジ要素のみを評価するので、計算量を少なく抑えることができ、処理時間を短縮することができる。 Alternatively, in the matching process, the outline shape of the model shape shown in the model image and the outline shape of the target shape shown in the target image are compared, and the degree of matching may be used as an index. In this case, since only the edge elements on the contour are evaluated, the amount of calculation can be suppressed and the processing time can be shortened.
マッチング処理の計算量をより少なくして高速化するためには、モデル画像で比較される幾何学形状のエッジの数を減らす必要がある。例えば、モデル画像を縮小化することで画素数を減らし、これによりモデル画像から検出されるエッジの数を減らすことがある。しかしながら、モデル画像の画素数を単純に減らすことで、図９に示すように、幾何学形状の微小な構造が強調されなくなると、微小な構造のエッジを検出できず、モデル画像で比較されるエッジに微小な構造が含まれない場合がある。そうすると、幾何学形状の特徴が微小な構造にある場合には、モデル画像の特徴的な微小な構造が損なわれ、モデル画像と対象画像との適切な比較ができなくなるおそれがある。 In order to speed up the matching process by reducing the amount of computation, it is necessary to reduce the number of edges of geometric shapes compared in the model image. For example, the model image may be scaled down to reduce the number of pixels, thereby reducing the number of edges detected from the model image. However, by simply reducing the number of pixels in the model image, as shown in FIG. 9, when the fine structure of the geometric shape is no longer emphasized, the edge of the fine structure cannot be detected and compared with the model image. Edges may not contain minute structures. As a result, if the feature of the geometric shape is in a minute structure, the characteristic minute structure of the model image may be damaged, and appropriate comparison between the model image and the target image may not be possible.
あるいは、モデル画像を縮小せずに、モデル画像の幾何学形状について検出されたエッジを間引き処理して一部のみを選択的に用いることで、モデル画像で比較されるエッジの数を減らすことがある。しかしながら、間引き処理では、図１０に示すように、モデル画像からエッジが偏って選択され、幾何学形状の輪郭線形状の特徴的な構造を示すエッジが選択されない場合がある。そうすると、モデル画像の特徴的な構造が損なわれ、モデル画像と対象画像との適切な比較ができなくなるおそれがある。 Alternatively, the number of edges to be compared in the model image can be reduced by thinning out the edges detected on the geometric shape of the model image and selectively using only some of them without shrinking the model image. be. However, in the thinning process, as shown in FIG. 10, there are cases where edges are biased from the model image and edges showing the characteristic structure of the outline shape of the geometric shape are not selected. As a result, the characteristic structure of the model image may be damaged, making it impossible to properly compare the model image and the target image.
本発明は上記した課題を解決すべくなされたものであり、偏りなくエッジを選択して対象画像とモデル画像とのマッチング処理を正確且つ高速に行うことを目的とするものである。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and it is an object of the present invention to select edges evenly and perform matching processing between a target image and a model image accurately and at high speed.
上記した目的を達成するため、本発明の画像処理方法は、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理方法であって、前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出する工程と、前記モデル画像の前記複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替える工程と、並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択する工程と、前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行う工程とを含むことを特徴とする。 In order to achieve the above object, an image processing method of the present invention is an image processing method for performing matching processing of geometric shapes respectively shown in a target image and a model image, wherein the geometric shape is obtained from the target image and the model image. and rearranging the edge array of the plurality of edges of the model image so that edges with higher angle and position dispersion and higher contrast are ranked higher. and selecting, as an edge group, edges of a predetermined number of consecutive elements from the rearranged edge array, and using the plurality of edges of the target image and the edge group of the model image, and a step of performing the matching process.
また、本発明の画像処理装置は、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理装置であって、前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出し、前記モデル画像の前記複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択し、前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行うことを特徴とする。 Further, an image processing apparatus of the present invention is an image processing apparatus that performs matching processing of geometric shapes respectively indicated in a target image and a model image, wherein contours of the geometric shapes are displayed from the target image and the model image. Detecting a plurality of edges, rearranging the edge array of the plurality of edges of the model image so that the edges with higher angle and position dispersion and higher contrast are ranked higher, and in the rearranged edge array, Edges of a predetermined number of elements continuing from the head are selected as an edge group, and the matching process is performed using the plurality of edges of the target image and the edge group of the model image.
例えば、前記モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコアを算出し、前記角度分散性正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。 For example, for each edge of the model image, an angular dispersion normalized score that can evaluate the angular dispersion is calculated, and the edges of the model image are arranged so that the edge with the larger angular dispersion normalized score is ranked higher. It is preferable to rearrange the edge array.
また、前記モデル画像の各エッジについて、位置の分散性を評価可能な位置分散性正規化スコアを算出し、前記位置分散性正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。 Further, for each edge of the model image, a positional variance normalized score capable of evaluating the positional variance is calculated, and the edges of the model image are arranged so that the edge with the larger positional variance normalized score is ranked higher. It is preferable to rearrange the edge array.
また、前記モデル画像の各エッジについて、コントラストの強度を評価可能なコントラスト正規化スコアを算出し、前記コントラスト正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。 Further, for each edge of the model image, a contrast normalized score that enables evaluation of contrast intensity is calculated, and the edge array of the model image is arranged so that the edge with the larger contrast normalized score is ranked higher. should be replaced.
更に、前記モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコア、位置の分散性を評価可能な位置分散性正規化スコア、及びコントラストの強度を評価可能なコントラスト正規化スコアを算出し、前記角度分散性正規化スコア、前記位置分散性正規化スコア及び前記コントラスト正規化スコアの重み付き平均を算出して総合正規化スコアを算出し、前記総合正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うとよい。 Further, for each edge of the model image, an angular variance normalized score capable of evaluating angular variance, a position variance normalized score capable of evaluating position variance, and a contrast normalization score capable of evaluating contrast intensity. calculating a normalized score, calculating a weighted average of the angular dispersion normalized score, the position dispersion normalized score, and the contrast normalized score to calculate a total normalized score, wherein the total normalized score is large The edge array of the model image may be rearranged so that the edge is higher.
本発明によれば、偏りなくエッジを選択して対象画像とモデル画像とのマッチング処理を正確且つ高速に行うことができる。 According to the present invention, it is possible to select edges evenly and perform matching processing between a target image and a model image accurately and at high speed.
以下、図面を参照しつつ、本発明の実施形態について説明する。本発明の画像処理装置１は、画像から所定の特徴的な特徴を幾何学形状として探索するものであって、基準となる位置や向きで幾何学形状（モデル形状）を示すモデル画像を予め用意しておき、処理対象の幾何学形状（対象形状）を示した対象画像の位置決めを行うために、対象画像とモデル画像とのマッチング処理を行うように構成される。本実施形態において、マッチング処理は、モデル画像を学習させる学習動作と、対象画像に対してモデル画像を探索する探索動作とを含む。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The
なお、画像処理装置１は、様々な装置やコンピュータ、システムの一部として構成されてよい。例えば、画像処理装置１は、電子部品等の被検査物の特徴的な形状を幾何学形状とする対象画像とモデル画像とのマッチング処理を行い、対象画像に対するモデル画像の位置を探索し、その探索結果に基づいて対象画像の位置決めを行うマシンビジョンシステムに適用される。また、画像処理装置１は、他の画像処理システムや撮像システム等のシステムの一部として組み込まれてもよく、あるいは、パーソナルコンピュータ等の独立したコンピュータに適用されてもよい。
Note that the
図１に示すように、画像処理装置１は、モデル画像入力部１０と、対象画像入力部１１と、エッジ検出部１２と、エッジ群選択部１３と、探索実行部１４とを備える。また、画像処理装置１は、ＣＰＵ等からなる制御部２０と、ＲＯＭやＲＡＭ等からなる記憶部２１とを備える。画像処理装置１は、撮像システムに組み込まれる場合には、上記の制御部２０及び記憶部２１として、撮像システムに備わる制御部及び記憶部を使用してもよい。画像処理装置１は、ハードディスクや外部メモリ等の記録媒体２２を備えてもよく、また、マッチング処理を操作するためのキーボードやマウス等の操作部２３や、マッチング処理を確認するためのディスプレイ等の表示部２４を備えてもよい。
As shown in FIG. 1, the
画像処理装置１は、制御部２０がバス等を介して接続された各部を制御することで動作するように構成される。記憶部２１は、画像処理装置１の機能を制御するためのプログラムやデータを記憶している。そして、制御部２０は、記憶部２１に記憶された各プロクラム等に従って演算処理を実行して、制御部２０に接続された各部を制御する。
The
例えば、エッジ検出部１２と、エッジ群選択部１３と、探索実行部１４は、記憶部２１に記憶されて制御部２０に実行される画像処理プログラムで構成されてよく、具体的には、マッチング処理を行うマッチング処理プログラムで構成されてよい。
For example, the
モデル画像入力部１０は、モデル画像を入力するインタフェースである。モデル画像入力部１０は、ソフトウェア及びハードウェアの何れで構成されてもよい。例えば、モデル画像入力部１０は、撮像システム等に備わるカメラ等の撮像装置で撮影された画像をモデル画像として入力してもよく、記録媒体２２に記録された画像を読み取って入力してもよく、あるいは、他の装置との通信によって画像を入力してもよい。モデル画像入力部１０は、入力したモデル画像を記憶部２１又は記録媒体２２に記憶する。
A model
対象画像入力部１１は、対象画像を入力するインタフェースである。対象画像入力部１１は、ソフトウェア及びハードウェアの何れで構成されてもよい。例えば、対象画像入力部１１は、撮像システム等に備わるカメラ等の撮像装置で撮影された画像を対象画像として入力してもよく、記録媒体２２に記録された画像を読み取って入力してもよく、あるいは、他の装置との通信によって画像を入力してもよい。対象画像入力部１１は、入力した対象画像を記憶部２１又は記録媒体２２に記憶する。
The target
エッジ検出部１２は、モデル画像入力部１０によって入力されたモデル画像に示される幾何学形状（モデル形状）及び対象画像入力部１１によって入力された対象画像に示される幾何学形状（対象形状）について、輪郭線形状に対応するエッジを検出する。
The
具体的には、エッジ検出部１２は、先ず、モデル画像及び対象画像を所定の粒度に縮小化する。ここで、粒度とは、各画像を縮小するときの比率を表し、例えば、粒度が３の場合には、３×３画素が１画素になるように画像を縮小し、粒度が大きくなるほど、画像（画素）が粗くなる。エッジ検出部１２は、モデル画像の位置を比較的粗く探索する粗位置探索の場合、比較的大きい粗粒度を用いる。また、エッジ検出部１２は、モデル画像の位置を比較的詳細に探索する詳細位置探索の場合、比較的小さい詳細粒度を用いる。なお、粗粒度や詳細粒度は、予め設定されていてよく、ユーザーによって変更されてもよいが、モデル画像及び対象画像に対して共通した値に設定される。なお、粗粒度や詳細粒度は、幾何学形状の特徴的な構造が損なわれない範囲で、できるだけ大きい値が設定される。
Specifically, the
また、エッジ検出部１２は、縮小したモデル画像及び対象画像について各画素の輝度の勾配方向及び勾配強度を算出し、勾配方向及び勾配強度に基づいて幾何学形状の輪郭線形状に対応する複数のエッジ（エッジ配列）を検出する。エッジ検出部１２によるエッジ検出処理は、例えば、ソーベルフィルタを用いたフィルタリング処理や細線化処理等によって行われてよいが、これらの処理に限定されず、何れの画像処理によってエッジを検出してもよい。
In addition, the
エッジ検出部１２は、図２に示すように、モデル画像及び対象画像から検出した複数のエッジのエッジ配列のテーブルを、記憶部２１又は記録媒体２２に記憶する。各エッジは、少なくとも、エッジ毎に付加されてエッジを識別するＩＤ、エッジの方向を示す角度、エッジの位置を示す座標、エッジの強度を示すコントラスト等の情報を有する。また、各エッジのテーブルには、下記のように、エッジ群選択部１３で算出される角度分散性正規化スコアＳｄｉｒ［ｉ］、位置分散性正規化スコアＳｘｙ［ｉ］及びコントラスト正規化スコアＳｃｏｎ［ｉ］も含まれる。
The
なお、エッジ配列における複数のエッジは、エッジ検出部１２による検出時点では、何れの順に並べられていてもよく、例えば、検出された順に並べられてよい。例えば、エッジ検出部１２は、画像の左上から検出を開始して、上端から下端までの位置毎に、左端から右端まで走査して検出を行う。
The plurality of edges in the edge array may be arranged in any order at the time of detection by the
エッジ群選択部１３は、エッジ検出部１２によって検出されたモデル画像のエッジ配列（元のエッジ配列）を所定の条件に基づいて並べ替え（ソートし）、並べ替えたエッジ配列（ソート後のエッジ配列）から探索動作に用いるエッジ群（モデルエッジ群）を選択する。具体的には、エッジ群選択部１３は、先ず、元のエッジ配列の複数のエッジについて、角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコアを算出する。角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコアは、同じ基準で評価できるように換算して算出されるとよい。エッジ群選択部１３は、これらのスコアに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるような条件で、複数のエッジを並べ替える。
The edge
例えば、エッジ群選択部１３は、モデル画像の元のエッジ配列の各エッジの角度の値Ｅｄｉｒ［ｉ］に基づいて、図３に示すように、各エッジをノードとした平衡二分探索木を作成する（ｉは１～Ｎまでの整数、Ｎはエッジ数）。図３において、四角内の数値は、各エッジのＩＤを示し、括弧内の数値は、各エッジの角度を示す。
For example, the edge
そして、この平衡二分探索木において、各エッジをルートとする部分木に含まれるノード数を、各エッジの部分木の大きさλｄｉｒ［ｉ］とする。各エッジの部分木の大きさλｄｉｒ［ｉ］を、所定の単調増加関数ｆ（ｚ）を用いて増加させて各エッジの角度の評価値ｆ（λｄｉｒ［ｉ］）を算出し、各エッジの角度の評価値ｆ（λｄｉｒ［ｉ］）に基づいて、全エッジの平均値ｍｄｉｒ及び標準偏差σｄｉｒを、次の数式（１）及び（２）によって算出する。 In this balanced binary search tree, the number of nodes included in the subtree rooted at each edge is defined as the size λ dir [i] of the subtree of each edge. The size λ dir [i] of the subtree of each edge is increased using a predetermined monotonically increasing function f(z) to calculate the evaluation value f(λ dir [i]) of the angle of each edge. Based on the edge angle evaluation value f(λ dir [i]), the average value m dir and the standard deviation σ dir of all edges are calculated by the following equations (1) and (2).
なお、所定の単調増加関数ｆ（ｚ）は、各エッジの部分木の大きさλｄｉｒ［ｉ］を評価値として必要に応じて増加させるための関数であり、角度の分散性スコアが適切に評価されるように定められ、例えば、下記の角度分散性正規化スコアＳｄｉｒ［ｉ］の算出結果をフィードバックして実験的に定められてもよい。そして、次の数式（３）に示すように、各エッジの角度の評価値ｆ（λｄｉｒ［ｉ］）から平均値ｍｄｉｒを減算し、更にその減算結果を標準偏差σｄｉｒで除算し、その除算結果の値を、各エッジの角度の分散性スコアに対応する角度分散性正規化スコアＳｄｉｒ［ｉ］とする。 Note that the predetermined monotonically increasing function f(z) is a function for increasing the size λ dir [i] of the subtree of each edge as an evaluation value as necessary. For example, it may be determined experimentally by feeding back the calculation result of the angular dispersion normalized score S dir [i] below. Then, as shown in the following formula (3), the average value m dir is subtracted from the evaluation value f(λ dir [i]) of the angle of each edge, and the subtraction result is further divided by the standard deviation σ dir , Let the value of the division result be the angular dispersion normalized score S dir [i] corresponding to the angular dispersion score of each edge.
また、エッジ群選択部１３は、モデル画像の元のエッジ配列の各エッジのｘｙ座標（Ｅｘ［ｉ］，Ｅｙ［ｉ］）に基づいて、図４に示すように、各エッジを通過する分割線でモデル画像を空間分割した場合の各エッジの分布を把握し、各エッジの分布に基づいて、図５に示すように、各エッジをノードとした平衡二次元ｋｄ木を作成する（ｉは１～Ｎまでの整数、Ｎはエッジ数）。図４において、黒丸は、各エッジを示し、図５において、四角内の数値は、各エッジのＩＤを示し、括弧内の数値は、各エッジのｘｙ座標を示す。
Further, the edge
そして、この平衡二次元ｋｄ木において、各エッジをルートとする部分木に含まれるノード数を、各エッジの部分木の大きさλｘｙ［ｉ］とする。各エッジの部分木の大きさλｘｙ［ｉ］を、所定の単調増加関数ｇ（ｚ）を用いて増加させて各エッジの位置の評価値ｇ（λｘｙ［ｉ］）を算出し、各エッジの位置の評価値ｇ（λｘｙ［ｉ］）に基づいて、全エッジの平均値ｍｘｙ及び標準偏差σｘｙを、次の数式（４）及び（５）によって算出する。 In this balanced two-dimensional kd-tree, the number of nodes included in the subtree rooted at each edge is defined as the size λ xy [i] of the subtree of each edge. The size λ xy [i] of the subtree of each edge is increased using a predetermined monotonically increasing function g(z) to calculate the evaluation value g(λ xy [i]) of the position of each edge. Based on the edge position evaluation value g(λ xy [i]), the average value m xy and the standard deviation σ xy of all edges are calculated by the following equations (4) and (5).
なお、所定の単調増加関数ｇ（ｚ）は、各エッジの部分木の大きさλｘｙ［ｉ］を評価値として必要に応じて増加させるための関数であり、位置の分散性スコアが適切に評価されるように定められ、例えば、下記の位置分散性正規化スコアＳｘｙ［ｉ］の算出結果をフィードバックして実験的に定められてもよい。そして、次の数式（６）に示すように、各エッジの位置の評価値ｇ（λｘｙ［ｉ］）から平均値ｍｘｙを減算し、更にその減算結果を標準偏差σｘｙで除算し、その除算結果の値を、各エッジの位置の分散性スコアに対応する位置分散性正規化スコアＳｘｙ［ｉ］とする。 Note that the predetermined monotonically increasing function g(z) is a function for increasing the size λ xy [i] of the subtree of each edge as an evaluation value as necessary. For example, it may be determined experimentally by feeding back the calculation result of the following positional dispersion normalized score S xy [i]. Then, as shown in the following formula (6), the average value mxy is subtracted from the evaluation value g( λxy [i]) of each edge position, and the subtraction result is further divided by the standard deviation σxy , Let the value of the division result be the positional variance normalized score S xy [i] corresponding to the positional variance score of each edge.
また、エッジ群選択部１３は、モデル画像の元のエッジ配列の各エッジのコントラストＥｃｏｎ［ｉ］を、所定の単調増加関数ｈ（ｚ）を用いて増加させて各エッジのコントラストの評価値ｈ（Ｅｃｏｎ［ｉ］）を算出し、各エッジのコントラストの評価値ｈ（Ｅｃｏｎ［ｉ］）に基づいて、全エッジの平均値ｍｃｏｎ及び標準偏差σｃｏｎを、次の数式（７）及び（８）によって算出する。
Further, the edge
なお、所定の単調増加関数ｈ（ｚ）は、各エッジのコントラストＥｃｏｎ［ｉ］を評価値として必要に応じて増加させるための関数であり、コントラストの強度スコアが適切に評価されるように定められ、例えば、下記のコントラスト正規化スコアＳｃｏｎ［ｉ］の算出結果をフィードバックして実験的に定めてもよい。そして、次の数式（９）に示すように、各エッジのコントラストの評価値ｈ（Ｅｃｏｎ［ｉ］）から平均値ｍｃｏｎを減算し、更にその減算結果を標準偏差σｃｏｎで除算し、その除算結果の値を、各エッジのコントラストの強度スコアに対応するコントラスト正規化スコアＳｃｏｎ［ｉ］とする。 Note that the predetermined monotonically increasing function h(z) is a function for increasing the contrast E con [i] of each edge as an evaluation value as necessary, so that the intensity score of the contrast is appropriately evaluated. For example, it may be determined experimentally by feeding back the calculation result of the contrast normalized score S con [i] below. Then, as shown in the following formula (9), the average value m con is subtracted from the contrast evaluation value h (E con [i]) of each edge, and the subtraction result is divided by the standard deviation σ con , Let the value of the division result be the contrast normalized score S con [i] corresponding to the contrast intensity score of each edge.
そして、エッジ群選択部１３は、上記のように算出した角度分散性正規化スコアＳｄｉｒ［ｉ］、位置分散性正規化スコアＳｘｙ［ｉ］及びコントラスト正規化スコアＳｃｏｎ［ｉ］に基づいて、各エッジの総合正規化スコアＳｔｏｔａｌ［ｉ］を算出する。例えば、エッジ群選択部１３は、次の数式（１０）に示すように、角度、位置、コントラストにそれぞれ対応する所定の重み係数α、β、γを用いて、各正規化スコアの重み付き平均を算出することで総合正規化スコアＳｔｏｔａｌ［ｉ］を算出する。
Then, the edge group selection unit 13 selects a to calculate the total normalized score S total [i] of each edge. For example, as shown in the following formula (10), the edge
なお、重み係数α、β、γは、これらの和が１となるように、即ち、数式α＋β＋γ＝１が成り立つように設定され、例えば、α＝β＝γ＝１／３に設定される。重み係数α、β、γが大きくなるほど、対応する各正規化スコア、即ち、角度、位置、コントラストによる総合正規化スコアＳｔｏｔａｌ［ｉ］への依存度が高くなる。なお、重み係数α、β、γは、予め設定されていてよく、ユーザーによって変更されてもよい。また、重み係数α、β、γは、モデル画像を粗粒度で縮小した場合と詳細粒度で縮小した場合とで、共通した値に設定されてもよく、あるいは異なる値に設定されてもよい The weighting coefficients α, β, and γ are set so that the sum of them becomes 1, that is, the formula α+β+γ=1 holds, for example, α=β=γ=1/3. The greater the weighting factors α, β, γ, the more dependent they are on each corresponding normalized score, ie the total normalized score S total [i] by angle, position and contrast. Note that the weighting factors α, β, and γ may be set in advance or may be changed by the user. In addition, the weighting factors α, β, and γ may be set to common values or may be set to different values when the model image is reduced with the coarse granularity and when the model image is reduced with the fine granularity.
更に、エッジ群選択部１３は、モデル画像の元のエッジ配列における複数のエッジを、総合正規化スコアＳｔｏｔａｌ［ｉ］に関して降順（スコアの大きい順）に並べ替え（ソートし）、ソート後のエッジ配列を記憶部２１又は記録媒体２２に記憶する。即ち、総合正規化スコアＳｔｏｔａｌ［ｉ］の降順となることが、並べ替えの条件である。なお、記憶部２１又は記録媒体２２には、エッジ検出部１２での検出時点での元のエッジ配列と、ソート後のエッジ配列との両方が記憶されてよい。
Furthermore, the edge
そして、エッジ群選択部１３は、ソート後のエッジ配列において、先頭から連続する所定の要素数のエッジを、探索動作に用いるエッジ群として選択する。これにより、角度、位置、コントラストに偏りのないエッジを選択することができる。なお、要素数は、予め設定されていてよく、ユーザーによって変更されてもよい。また、要素数は、モデル画像を粗粒度で縮小した場合と詳細粒度で縮小した場合とで、共通した値に設定されてもよく、あるいは異なる値に設定されてもよい
Then, the edge
探索実行部１４は、エッジ群選択部１３によってモデル画像のソート後のエッジ配列から選択されたエッジ群（モデルエッジ群）と、エッジ検出部１２によって対象画像から検出された元のエッジ配列（対象エッジ配列）とを突き合わせて、対象画像に対してモデル画像の探索を行う。探索実行部１４は、粗粒度で縮小した場合のモデル画像及び対象画像の探索処理（粗位置探索）と、詳細粒度で縮小した場合のモデル画像及び対象画像の探索処理（詳細位置探索）とを行う。
The
粗位置探索では、対象エッジ配列に対するモデルエッジ群のおおよその位置及び姿勢を探索し、これらの位置及び姿勢を示す粗位置情報を検出して記憶部２１又は記録媒体２２に記憶する。例えば、粗位置探索では、対象エッジ配列に対してモデルエッジ群を網羅的に全探索してよく、あるいは、一般化ハフ変換等の画像処理によって対象エッジ配列に対するモデルエッジ群の合致度を算出してもよい。
In the coarse position search, approximate positions and orientations of the model edge group with respect to the target edge array are searched, and coarse position information indicating these positions and orientations is detected and stored in the
詳細位置探索では、粗位置探索によって得られた対象エッジ配列に対するモデルエッジ群のおおよその位置及び姿勢を示す既知の粗位置情報を利用しつつ、対象エッジ配列に対するモデルエッジ群の詳細な位置及び姿勢を探索し、これらの位置及び姿勢を示す詳細位置情報を検出して記憶部２１又は記録媒体２２に記憶する。そのため、詳細位置探索では、探索の範囲を狭く限定することができ、例えば、段階的にステップ幅を小さくしながら網羅的に探索するアルゴリズムや、ＩＣＰアルゴリズム又は他のアルゴリズムを適用して、高精度に探索を行うことができる。
In the fine position search, the detailed position and orientation of the model edge group with respect to the target edge array are used while using known coarse position information indicating the approximate position and orientation of the model edge group with respect to the target edge array obtained by the coarse position search. , and the detailed position information indicating these positions and orientations is detected and stored in the
なお、詳細位置探索では、何れのアルゴリズムを適用しても、対象エッジ配列とモデルエッジ群との合致度を評価するための計算量は、エッジの個数に応じて増加するが、本発明では、粗位置情報を利用し、また、モデルエッジ群のエッジ数を減らしているので、計算量を少なくして処理時間を短縮している。 In the detailed position search, the amount of calculation for evaluating the degree of matching between the target edge array and the model edge group increases according to the number of edges, regardless of which algorithm is applied. Since rough position information is used and the number of edges in the model edge group is reduced, the amount of calculation is reduced and the processing time is shortened.
探索実行部１４による詳細位置探索によって対象エッジ配列に対するモデルエッジ群の適切な位置及び姿勢を探索した結果の詳細位置情報に基づいて、対象画像に対するモデル画像の位置及び姿勢を検出することができ、更に、対象画像の幾何学形状の位置決めを行うことができる。
The position and orientation of the model image with respect to the target image can be detected based on the detailed position information obtained as a result of searching for the appropriate position and orientation of the model edge group with respect to the target edge array by the detailed position search by the
画像処理装置１において、モデル画像を学習させる学習動作について、図６に示すフローチャートを参照して説明する。
A learning operation for learning a model image in the
先ず、モデル画像入力部１０によってモデル画像を入力し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ１）。この入力したモデル画像を、元のモデル画像と称する。
First, a model image is input by the model
次に、エッジ検出部１２によって、元のモデル画像を粗粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２）。この粗粒度で縮小化したモデル画像を、粗モデル画像と称する。
Next, the
また、エッジ検出部１２によって、粗モデル画像から幾何学形状の複数のエッジを検出し、元のエッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ３）。このエッジ配列を、元の粗エッジ配列と称する。
Further, the
そして、エッジ群選択部１３によって、元の粗エッジ配列の複数のエッジについて、角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコア（コントラストスコア）を算出する（ステップＳ４、Ｓ５、Ｓ６）。また、エッジ群選択部１３によって、これらのスコアに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように、元の粗エッジ配列の複数のエッジを並べ替える（ソートする）（ステップＳ７）。ここで、並べ替えられたエッジ配列を、ソート後の粗エッジ配列と称する。
Then, the edge
更に、エッジ群選択部１３によって、ソート後の粗エッジ配列において、先頭から連続する所定の要素数のエッジを、探索動作に用いるエッジ群として選択し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ８）。このエッジ群を、粗エッジ群と称する。
Furthermore, the edge
次に、エッジ検出部１２によって、元のモデル画像を詳細粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ９）。この詳細粒度で縮小化したモデル画像を、詳細モデル画像と称する。
Next, the
また、エッジ検出部１２によって、詳細モデル画像から幾何学形状の複数のエッジを検出し、元のエッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ１０）。このエッジ配列を、元の詳細エッジ配列と称する。
Further, the
そして、エッジ群選択部１３によって、元の詳細エッジ配列の複数のエッジについて、角度の分散性スコア、位置の分散性スコア及びコントラストの強度スコアを算出する（ステップＳ１１、Ｓ１２、Ｓ１３）。また、エッジ群選択部１３によって、これらのスコアに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように、元の詳細エッジ配列の複数のエッジを並べ替える（ステップＳ１４）。ここで、並べ替えられたエッジ配列を、ソート後の詳細エッジ配列と称する。
Then, the edge
更に、エッジ群選択部１３によって、ソート後の詳細エッジ配列において、先頭から連続する所定の要素数のエッジを、探索動作に用いるエッジ群として選択し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ１５）。このエッジ群を、詳細エッジ群と称する。
Furthermore, the edge
このように、モデル画像について、粗エッジ群及び詳細エッジ群を求めて記憶させることで学習動作を終了する。 In this way, the learning operation is completed by obtaining and storing the coarse edge group and the detailed edge group for the model image.
画像処理装置１において、対象画像に対してモデル画像を探索する探索動作について、図７に示すフローチャートを参照して説明する。
A search operation for searching a target image for a model image in the
先ず、対象画像入力部１１によって対象画像を入力し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２１）。この入力した対象画像を、元の対象画像と称する。
First, a target image is input by the target
次に、エッジ検出部１２によって、元の対象画像を粗粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２２）。この粗粒度で縮小化した対象画像を、粗対象画像と称する。
Next, the
また、エッジ検出部１２によって、粗対象画像から幾何学形状の複数のエッジを検出し、エッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ２３）。このエッジ配列を、粗対象エッジ配列と称する。
Further, the
そして、探索実行部１４によって、粗モデルエッジ群と粗対象エッジ配列とを突き合わせて、対象画像に対してモデル画像の探索を行う（ステップＳ２４）。このとき、粗対象エッジ配列に対する粗モデルエッジ群のおおよその位置及び姿勢を探索し、その探索結果である粗位置情報を検出して記憶部２１又は記録媒体２２に記憶させる（ステップＳ２５）。
Then, the
次に、エッジ検出部１２によって、元の対象画像を詳細粒度で縮小化し、記憶部２１又は記録媒体２２に記憶させる（ステップＳ２６）。この詳細粒度で縮小化した対象画像を、詳細対象画像と称する。
Next, the
また、エッジ検出部１２によって、詳細対象画像から幾何学形状の複数のエッジを検出し、元のエッジ配列として記憶部２１又は記録媒体２２に記憶させる（ステップＳ２７）。このエッジ配列を、詳細対象エッジ配列と称する。
Further, the
そして、探索実行部１４によって、詳細モデルエッジ群と詳細対象エッジ配列とを突き合わせて、対象画像に対してモデル画像の探索を行う（ステップＳ２８）。このとき、粗位置情報も利用しつつ、詳細対象エッジ配列に対する詳細モデルエッジ群の詳細な位置及び姿勢を探索し、その探索結果である詳細位置情報を検出して記憶部２１又は記録媒体２２に記憶させる（ステップＳ２９）。
Then, the
更に、詳細対象エッジ配列に対する詳細モデルエッジ群の詳細位置情報を用いることで、対象画像に対するモデル画像の位置及び姿勢を検出することができ、更に、対象画像の幾何学形状の位置決めを行うことができる。 Furthermore, by using the detailed position information of the detailed model edge group with respect to the detailed target edge array, the position and orientation of the model image with respect to the target image can be detected, and the geometric shape of the target image can be positioned. can.
本実施形態によれば、上記したように、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理装置１は、エッジ検出部１２によって、対象画像及びモデル画像から幾何学形状の輪郭を示す複数のエッジを検出し、エッジ群選択部１３によって、モデル画像の複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、並べ替えたエッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択し、探索実行部１４によって、対象画像の複数のエッジとモデル画像のエッジ群とを用いて、マッチング処理を行う。
According to the present embodiment, as described above, the
換言すれば、本発明の画像処理方法は、対象画像及びモデル画像にそれぞれ示される幾何学形状のマッチング処理を行う画像処理方法であって、対象画像及びモデル画像から幾何学形状の輪郭を示す複数のエッジを検出する工程と、モデル画像の複数のエッジのエッジ配列を、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替える工程と、並べ替えたエッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択する工程と、対象画像の複数のエッジとモデル画像のエッジ群とを用いて、マッチング処理を行う工程とを含む。 In other words, the image processing method of the present invention is an image processing method that performs matching processing of geometric shapes shown in the target image and the model image, respectively, wherein a plurality of geometric shape contours representing the contours of the geometric shape are obtained from the target image and the model image. and a step of rearranging the edge array of a plurality of edges of the model image so that the edges with higher angle and position dispersion and higher contrast are ranked higher, and in the rearranged edge array, The method includes a step of selecting edges of a predetermined number of elements continuing from the beginning as an edge group, and a step of performing matching processing using a plurality of edges of the target image and the edge group of the model image.
このように、本実施形態では、マッチング処理に用いられるモデル画像のエッジ群は、角度や位置がばらついた（万遍なく分布した）エッジで構成されるので、対象画像とモデル画像のエッジ間を照合するときの確実性を向上することができる。即ち、様々な角度や位置のエッジを含むほど、エッジ群の信頼性が高くなる。 As described above, in the present embodiment, the edge group of the model image used in the matching process is composed of edges with different angles and positions (uniformly distributed). Certainty when collating can be improved. That is, the more angles and positions of edges are included, the higher the reliability of the edge group.
また、モデル画像のエッジ群は、できるだけコントラストの大きいエッジを含むとよく、即ち、強いエッジをより高く評価するとよい。そこで、本発明において、モデル画像のエッジ配列は、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替えられるので、エッジ配列の先頭から所定の要素数のエッジを選択することで、万遍なく偏りのないエッジ群を検出することができる。そのため、モデル画像の縮小を最小限に抑制しても、マッチング処理に必要な要素数のエッジを選択することができるので、対象画像やモデル画像の幾何学形状の微小な構造を失うことなく、対象画像とモデル画像とを適切に比較してマッチング処理を行うことができる。 Also, the edge group of the model image should include edges with as high a contrast as possible, ie strong edges should be evaluated more highly. Therefore, in the present invention, the edge array of the model image is rearranged so that the edges with higher angle and position dispersion and higher contrast are ranked higher. By doing so, it is possible to evenly detect edge groups without bias. Therefore, even if the reduction of the model image is kept to a minimum, it is possible to select edges with the necessary number of elements for the matching process. Matching processing can be performed by appropriately comparing the target image and the model image.
また、エッジ配列は分散性を考慮して並べられているので、間引き処理等を行う必要がなく、エッジ配列の先頭から連続したエッジを単純に抽出するだけで、モデル画像の幾何学形状から偏りなくエッジを選択することができ、エッジ群の要素数を抑制することもできる。そのため、幾何学形状の輪郭線形状の特徴的な構造を失うことなく、対象画像とモデル画像とを適切に比較してマッチング処理を行うことができる。したがって、本発明によれば、偏りなくエッジを選択して対象画像とモデル画像とのマッチング処理を正確且つ高速に行うことが可能となる。 In addition, since the edge array is arranged in consideration of dispersibility, there is no need to perform thinning processing, etc., and simply extracting continuous edges from the beginning of the edge array can produce bias from the geometric shape of the model image. It is possible to select edges without any number of edges, and it is possible to suppress the number of elements in the edge group. Therefore, the matching process can be performed by appropriately comparing the target image and the model image without losing the characteristic structure of the outline shape of the geometric shape. Therefore, according to the present invention, it is possible to select edges evenly and perform matching processing between the target image and the model image accurately and at high speed.
例えば、図８（Ａ）に示すように、エッジ配列の全エッジ数が３６である矩形の幾何学形状を有するモデル画像の場合、先頭から１８エッジのエッジ群を選択すると、図８（Ｂ）に示すように、分散したエッジが選択される。また、先頭から１０エッジのエッジ群を選択するときには、図８（Ｃ）に示すように、より分散したエッジが選択され、先頭から５エッジのエッジ群を選択するときには、図８（Ｄ）に示すように、更に分散したエッジが選択される。そのため、幾何学形状についてその特徴を把握できるようにエッジ群の要素数を設定するとよい。 For example, as shown in FIG. 8A, in the case of a model image having a rectangular geometric shape in which the edge array has 36 edges in total, if an edge group of 18 edges from the top is selected, the edge group shown in FIG. Dispersed edges are selected as shown in . When selecting the edge group of 10 edges from the top, as shown in FIG. 8(C), more scattered edges are selected, and when selecting the edge group of 5 edges from the top, as shown in FIG. 8(D). More dispersed edges are selected as shown. Therefore, it is preferable to set the number of elements of the edge group so that the feature of the geometric shape can be grasped.
例えば、エッジ群選択部１３は、モデル画像の各エッジについて、角度の分散性を評価可能な角度分散性正規化スコア、位置の分散性を評価可能な位置分散性正規化スコア、及びコントラストの強度を評価可能なコントラスト正規化スコアを算出し、これらのスコアの大きいエッジほど、上位になるように、モデル画像のエッジ配列の並べ替えを行う。このように、エッジの角度の分散性、位置の分散性及びコントラストの強度を評価可能なスコアに換算することにより、エッジ間を明瞭に比較できるので、モデル画像のエッジ配列の並べ替えをより適切に行うことができ、より適切にエッジを選択することができる。
For example, the edge
また、エッジ群選択部１３は、角度分散性正規化スコア、位置分散性正規化スコア及びコントラスト正規化スコアの重み付き平均を算出して総合正規化スコアを算出し、総合正規化スコアの大きいエッジほど、上位になるように、モデル画像のエッジ配列の並べ替えを行う。これにより、角度、位置及びコントラストの何れかに偏ることなくエッジ間を比較できるので、モデル画像のエッジ配列の並べ替えをより適切に行うことができ、より適切にエッジを選択することができる。
In addition, the edge
また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理方法や画像処理装置もまた本発明の技術思想に含まれる。 In addition, the present invention can be modified as appropriate within the scope not contrary to the gist or idea of the invention that can be read from the claims and the entire specification, and the image processing method and image processing apparatus that involve such modifications are also the present invention. It is included in the technical idea of the invention.
１ 画像処理装置
１０ モデル画像入力部
１１ 対象画像入力部
１２ エッジ検出部
１３ エッジ群選択部
１４ 探索実行部
２０ 制御部
２１ 記憶部
２２ 記録媒体
２３ 操作部
２４ 表示部
REFERENCE SIGNS
Claims (4)
前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出する工程と、
前記複数のエッジの各エッジの角度に基づいて、各エッジをノードとした平衡二分探索木を作成し、各エッジをルートとする部分木の大きさに基づいて各エッジの角度の評価値を算出し、各エッジの角度の評価値に基づいて各エッジの角度の分散性を評価可能な角度分散性正規化スコアを算出し、
また、前記複数のエッジの各エッジの座標に基づいて、各エッジをノードとした平衡二次元ｋｄ木を作成し、各エッジをルートとする部分木の大きさに基づいて各エッジの位置の評価値を算出し、各エッジの位置の評価値に基づいて各エッジの位置の分散性を評価可能な位置分散性正規化スコアを算出し、
また、前記複数のエッジの各エッジのコントラストに基づいて、各エッジのコントラストの評価値を算出し、各エッジのコントラストの評価値に基づいて各エッジのコントラストの強度を評価可能なコントラスト正規化スコアを算出し、
前記モデル画像の前記複数のエッジのエッジ配列を、各エッジの前記角度分散性正規化スコアと前記位置分散性正規化スコアと前記コントラスト正規化スコアとに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替える工程と、
並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択する工程と、
前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行う工程とを含むことを特徴とする画像処理方法。 An image processing method for matching geometric shapes respectively shown in a target image and a model image,
detecting a plurality of edges delineating the geometric shape from the target image and the model image;
Based on the angle of each edge of the plurality of edges, create a balanced binary search tree with each edge as a node, and calculate the evaluation value of the angle of each edge based on the size of a subtree rooted at each edge. and calculating an angular dispersion normalized score that can evaluate the dispersion of the angle of each edge based on the evaluation value of the angle of each edge,
Also, based on the coordinates of each edge of the plurality of edges, create a balanced two-dimensional kd tree with each edge as a node, and evaluate the position of each edge based on the size of a subtree with each edge as a root. Calculating a value, calculating a positional dispersion normalized score that can evaluate the dispersion of the position of each edge based on the evaluation value of the position of each edge,
Further, a contrast normalization score capable of calculating a contrast evaluation value of each edge based on the contrast of each edge of the plurality of edges and evaluating the contrast strength of each edge based on the contrast evaluation value of each edge to calculate
An edge array of the plurality of edges of the model image having high angular and positional dispersion based on the angular dispersion normalized score, the position dispersion normalized score, and the contrast normalized score of each edge. a step of rearranging edges such that edges with greater contrast are ranked higher;
a step of selecting, as an edge group, edges of a predetermined number of consecutive elements from the top in the rearranged edge array;
and performing the matching process using the plurality of edges of the target image and the edge group of the model image.
前記対象画像及び前記モデル画像から前記幾何学形状の輪郭を示す複数のエッジを検出し、
前記複数のエッジの各エッジの角度に基づいて、各エッジをノードとした平衡二分探索木を作成し、各エッジをルートとする部分木の大きさに基づいて各エッジの角度の評価値を算出し、各エッジの角度の評価値に基づいて各エッジの角度の分散性を評価可能な角度分散性正規化スコアを算出し、
また、前記複数のエッジの各エッジの座標に基づいて、各エッジをノードとした平衡二次元ｋｄ木を作成し、各エッジをルートとする部分木の大きさに基づいて各エッジの位置の評価値を算出し、各エッジの位置の評価値に基づいて各エッジの位置の分散性を評価可能な位置分散性正規化スコアを算出し、
また、前記複数のエッジの各エッジのコントラストに基づいて、各エッジのコントラストの評価値を算出し、各エッジのコントラストの評価値に基づいて各エッジのコントラストの強度を評価可能なコントラスト正規化スコアを算出し、
前記モデル画像の前記複数のエッジのエッジ配列を、各エッジの前記角度分散性正規化スコアと前記位置分散性正規化スコアと前記コントラスト正規化スコアとに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、
並べ替えた前記エッジ配列において、先頭から連続する所定の要素数のエッジをエッジ群として選択し、
前記対象画像の前記複数のエッジと前記モデル画像の前記エッジ群とを用いて、前記マッチング処理を行うことを特徴とする画像処理装置。 An image processing device that performs matching processing of geometric shapes respectively shown in a target image and a model image,
detecting a plurality of edges indicating contours of the geometric shape from the target image and the model image;
Based on the angle of each edge of the plurality of edges, create a balanced binary search tree with each edge as a node, and calculate the evaluation value of the angle of each edge based on the size of a subtree rooted at each edge. and calculating an angular dispersion normalized score that can evaluate the dispersion of the angle of each edge based on the evaluation value of the angle of each edge,
Also, based on the coordinates of each edge of the plurality of edges, create a balanced two-dimensional kd tree with each edge as a node, and evaluate the position of each edge based on the size of a subtree with each edge as a root. Calculating a value, calculating a positional dispersion normalized score that can evaluate the dispersion of the position of each edge based on the evaluation value of the position of each edge,
Further, a contrast normalization score capable of calculating a contrast evaluation value of each edge based on the contrast of each edge of the plurality of edges and evaluating the contrast strength of each edge based on the contrast evaluation value of each edge to calculate
An edge array of the plurality of edges of the model image having high angular and positional dispersion based on the angular dispersion normalized score, the position dispersion normalized score, and the contrast normalized score of each edge. Sort edges with higher contrast so that they are ranked higher,
In the rearranged edge array, edges of a predetermined number of elements consecutive from the head are selected as an edge group;
An image processing apparatus, wherein the matching process is performed using the plurality of edges of the target image and the edge group of the model image.
前記総合正規化スコアの大きいエッジほど、上位になるように、前記モデル画像の前記エッジ配列の並べ替えを行うことを特徴とする請求項２に記載の画像処理装置。 calculating a weighted average of the angular variance normalized score, the position variance normalized score and the contrast normalized score to calculate a total normalized score;
3. The image processing apparatus according to claim 2, wherein the edge arrangement of the model image is rearranged so that the edge with the higher total normalized score is ranked higher.
前記モデル画像を比較的粒度の大きい所定の粗粒度で縮小化して粗モデル画像とし、当該粗モデル画像から検出した前記複数のエッジを粗エッジ配列とし、 reducing the model image to a predetermined coarse granularity, which is relatively large, to form a coarse model image, and forming the plurality of edges detected from the coarse model image into a coarse edge array;
前記粗エッジ配列を、各エッジの前記角度分散性正規化スコアと前記位置分散性正規化スコアと前記コントラスト正規化スコアとに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、 Based on the angular dispersiveness normalized score, the position dispersiveness normalized score, and the contrast normalized score of each edge, the rough edge array is ranked higher for edges with higher angular and positional dispersibility and greater contrast. sorted so that
並べ替えた前記粗エッジ配列において、先頭から連続する所定の要素数のエッジを粗エッジ群として選択し、 In the rearranged coarse edge array, edges of a predetermined number of consecutive elements from the beginning are selected as a coarse edge group,
更に、前記モデル画像を前記粗粒度より粒度の小さい所定の詳細粒度で縮小化して詳細モデル画像とし、当該詳細モデル画像から検出した前記複数のエッジを詳細エッジ配列とし、 Further, the model image is reduced to a predetermined fine grain size smaller than the coarse grain size to form a detailed model image, and the plurality of edges detected from the detailed model image are made into a detailed edge array,
前記詳細エッジ配列を、各エッジの前記角度分散性正規化スコアと前記位置分散性正規化スコアと前記コントラスト正規化スコアとに基づいて、角度及び位置の分散性が高くコントラストが大きいエッジほど、上位になるように並べ替え、 Based on the angular dispersive normalized score, the position dispersive normalized score, and the contrast normalized score of each edge, the detailed edge array is ranked higher as the angle and position dispersive and the contrast are higher. sorted so that
並べ替えた前記詳細エッジ配列において、先頭から連続する所定の要素数のエッジを詳細エッジ群として選択し、 In the rearranged detailed edge array, edges with a predetermined number of consecutive elements from the top are selected as a detailed edge group,
また、前記対象画像から前記複数のエッジを検出する際に、 Further, when detecting the plurality of edges from the target image,
前記対象画像を前記粗粒度で縮小化して粗対象画像とし、当該粗対象画像から検出した前記複数のエッジを粗対象エッジ配列とし、 reducing the target image with the coarse granularity to form a coarse target image, and forming the plurality of edges detected from the coarse target image as a coarse target edge array;
更に、前記対象画像を前記詳細粒度で縮小化して詳細対象画像とし、当該詳細対象画像から検出した前記複数のエッジを詳細対象エッジ配列とし、 Further, the target image is reduced by the detail granularity to obtain a detailed target image, and the plurality of edges detected from the detailed target image are set as a detailed target edge array,
前記マッチング処理において、前記粗エッジ群と前記粗対象エッジ配列とを突き合わせて、前記粗対象エッジ配列に対する前記粗エッジ群の位置及び姿勢を探索することで粗位置情報を検出し、 In the matching process, the coarse edge group and the coarse target edge array are matched to search for the position and orientation of the coarse edge group with respect to the coarse target edge array, thereby detecting coarse position information;
更に、前記詳細エッジ群と前記詳細対象エッジ配列とを突き合わせて、前記粗位置情報も利用しつつ、前記詳細対象エッジ配列に対する前記詳細エッジ群の位置及び姿勢を探索することで詳細位置情報を検出し、 Furthermore, the detailed position information is detected by comparing the detailed edge group and the detailed target edge array and searching for the position and orientation of the detailed edge group with respect to the detailed target edge array while also using the rough position information. death,
前記詳細位置情報を用いることで、前記対象画像に対する前記モデル画像の位置及び姿勢を検出する detecting the position and orientation of the model image with respect to the target image by using the detailed position information;
ことを特徴とする請求項２に記載の画像処理装置。 3. The image processing apparatus according to claim 2, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018205052A JP7252591B2 (en) | 2018-10-31 | 2018-10-31 | Image processing method and image processing apparatus by geometric shape matching |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018205052A JP7252591B2 (en) | 2018-10-31 | 2018-10-31 | Image processing method and image processing apparatus by geometric shape matching |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020071661A JP2020071661A (en) | 2020-05-07 |
| JP7252591B2 true JP7252591B2 (en) | 2023-04-05 |
Family
ID=70549574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018205052A Active JP7252591B2 (en) | 2018-10-31 | 2018-10-31 | Image processing method and image processing apparatus by geometric shape matching |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7252591B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112269522A (en) * | 2020-10-27 | 2021-01-26 | 维沃移动通信（杭州）有限公司 | Image processing method, image processing device, electronic equipment and readable storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007072678A1 (en) | 2005-12-21 | 2007-06-28 | Nikon Corporation | Image combining method, image combining program, image combining device, template extracting method, and template extracting program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2689688B2 (en) * | 1990-05-12 | 1997-12-10 | 三菱電機株式会社 | Image processing method |
-
2018
- 2018-10-31 JP JP2018205052A patent/JP7252591B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007072678A1 (en) | 2005-12-21 | 2007-06-28 | Nikon Corporation | Image combining method, image combining program, image combining device, template extracting method, and template extracting program |
Non-Patent Citations (1)
| Title |
|---|
| Natalia Esau，３名，VisiTrack - Video Based Incremental Tracking in Real Time，Sixth IEEE International Symposium on Object-Oriented Real-Time Distributed Computing, 2003.，2003年05月16日 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020071661A (en) | 2020-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190327367A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US8675974B2 (en) | Image processing apparatus and image processing method | |
| US20060029276A1 (en) | Object image detecting apparatus, face image detecting program and face image detecting method | |
| JP4603512B2 (en) | Abnormal region detection apparatus and abnormal region detection method | |
| EP2172856A2 (en) | Image processing apparatus, image processing method and program | |
| US9298972B2 (en) | Image processing apparatus and image processing method | |
| US9576218B2 (en) | Selecting features from image data | |
| US10373014B2 (en) | Object detection method and image search system | |
| CN108573471B (en) | Image processing apparatus, image processing method, and recording medium | |
| JP5580502B1 (en) | Image processing system, image processing method, and image processing program | |
| JP4745207B2 (en) | Facial feature point detection apparatus and method | |
| JP2006338313A (en) | Similar image retrieving method, similar image retrieving system, similar image retrieving program, and recording medium | |
| US20190379795A1 (en) | Image processing device, image processing method, image processing program, and recording medium storing program | |
| KR20210020065A (en) | Systems and methods for finding and classifying patterns in images with vision systems | |
| US8965133B2 (en) | Image processing apparatus and control method therefor | |
| JP2018060453A (en) | Currency classification device and currency classification method | |
| US20230049798A1 (en) | Individual object identification system, individual object identification program, and recording medium | |
| US20220253641A1 (en) | Method and apparatus for clustering images | |
| JP7252591B2 (en) | Image processing method and image processing apparatus by geometric shape matching | |
| US9104450B2 (en) | Graphical user interface component classification | |
| Amelio | Approximate matching in ACSM dissimilarity measure | |
| US20240104890A1 (en) | Image processing device, recording medium, and image processing method | |
| WO2014178241A1 (en) | Image processing device, image processing method, and image processing program | |
| Terzić et al. | Real-time object recognition based on cortical multi-scale keypoints | |
| US9076074B2 (en) | System and method for processing a digital image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211006 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7252591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |