JPS63187374A - Automatic affine transformation processing system - Google Patents

Abstract

PURPOSE:To perform a rotational correction in an arbitrary direction, by deciding whether it is necessary to perform the rotational correction of 180 deg., and providing a correction means when the correction is needed. CONSTITUTION:By executing template pattern matching in which a template 5 is used on a binary image 1, it is possible to find the number of coincident picture elements at a position coinciding at maximum. Assuming the maximum number of coincidence at the time of executing the matching on a forward facing object 2 as S1, and that of the coincidence at the time of executing the matching on a backward facing object 3 as S2, relation is expressed as S1>S2. At this time, assuming a reference value to discriminate a direction whether it is a forward direction or a backward direction as (t), the (t) is set so as to always satisfy relation S1>t>S2. And it is decided whether the rotational correction of 180 deg. is necessary or not by an algorithm which executes no operation on the binary image 1 if the maximum number of coincidence S at the time of executing the template pattern matching is set as S>t, and executes the rotational correction 4 of 180 deg. with affine transformation if it is S<t, and a means which performs the rotational correction when the correction is needed, is provided.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像処理方式の技術分野に係り、特に、画像
処理の自動化に好適なオートアフィン変換処理方式。DETAILED DESCRIPTION OF THE INVENTION [Field of Industrial Application] The present invention relates to the technical field of image processing methods, and particularly to an auto-affine transformation processing method suitable for automating image processing.

〔従来の技術〕[Conventional technology]

従来の技術においては、２値画像メモリ中の物体を回転
補正する場合には、慣性主軸等により物体の方向を求め
、基準画像の物体の方向との差を、回転補正角として回
転補正を行っていた。しかし。In conventional technology, when correcting the rotation of an object in a binary image memory, the direction of the object is determined using the principal axis of inertia, etc., and the rotation correction is performed using the difference between the direction of the object in the reference image and the rotation correction angle. was. but.

従来の方式では、方向は判るものの、向きまでは判らな
いため、任意の向きに対する回転については配慮されて
いなかった。In the conventional method, although the direction is known, the direction is not known, so rotation with respect to an arbitrary direction is not considered.

〔発明が解決しようとする問題点〕[Problem that the invention seeks to solve]

上記従来技術は、点対称以外の物体において１８０°以
上物体が回転ズレしている場合についての配慮がされて
おらず、１８０°以上の回転ズレがある物体を回転補正
した場合、物体は逆向きになるという問題があった。The above-mentioned conventional technology does not take into consideration the case where the object has a rotational deviation of 180° or more in a non-point symmetric object, and when the rotation of an object with a rotational deviation of 180° or more is corrected, the object is oriented in the opposite direction. There was a problem with becoming.

本発明の目的は、慣性主軸をベースにした回転柚正画に
対し、更に１８０°の回転補正が必要か否かのチェック
を行い、必要に応じて１８０’回転補正することにより
、任意の向きの回転補正を実現することにある。また、
本回転補正手段を組み合わせることにより、画像取込み
から認識対象画像作成までの処理の自動化を実現するこ
とにある。The purpose of the present invention is to check whether or not further rotation correction of 180° is necessary for a rotated original image based on the principal axis of inertia, and to correct the rotation by 180' if necessary. The objective is to realize rotation correction. Also,
By combining this rotation correction means, it is possible to automate the process from image capture to creation of a recognition target image.

〔問題点を解決するための手段〕[Means for solving problems]

上記目的は、慣性主軸により回転補正した２値画像に対
し、テンプレートパターンマツチング、または、テンプ
レートパターンマツチングとの物体の重心、または、マ
ルチウィンドウを用いて得た画像処理結果情報を判定す
ることにより達成される。The above purpose is to determine image processing result information obtained using template pattern matching, the center of gravity of an object with template pattern matching, or multi-window on a binary image rotationally corrected by the principal axis of inertia. This is achieved by

〔作用〕[Effect]

テンプレートパターンマツチングは、２値画像に対して
、テンプレートの内容と最も一致する点の座標値と一致
画素数を抽出するように動作する。Template pattern matching operates on a binary image to extract the coordinate values and number of matching pixels of a point that most matches the content of a template.

これによって、座標値や、−数面素数は、２値画像中の
物体が正向きの場合と逆向きの場合とにより値が異なる
ので、向きを判定できる。As a result, the orientation can be determined because the coordinate values and the -number plane prime number differ depending on whether the object in the binary image is oriented in the forward direction or in the opposite direction.

また、マルチウィンドウは、ウィンドウ内の物体の面積
や端辺座標値を求めるように動作し、これにより、物体
の向きの正逆で値が異なるので向きを判定できる。Furthermore, the multi-window operates to obtain the area and edge coordinate values of the object within the window, and because the values differ depending on whether the object is oriented in the forward or reverse direction, the orientation can be determined.

〔実施例〕〔Example〕

以下、本発明の詳細な説明する。 The present invention will be explained in detail below.

第３図に、ハードウェア構成を示しており、画像処理装
置１４に、対象物５１の画像を入力するための映像入力
装置１５を接続しており、画像処理を実行する画像処理
プロセッサ１３および２値画像を格納する２値画像メモ
リ１２を有し、このハードウェアを用いて、以下を実現
する。FIG. 3 shows a hardware configuration in which a video input device 15 for inputting an image of an object 51 is connected to an image processing device 14, and image processing processors 13 and 2 that execute image processing. It has a binary image memory 12 that stores value images, and uses this hardware to realize the following.

まず、全体の動作について説明する。画像デーダを取込
む手段により取込んだ、画像データを２値化手段により
２値化し、第３図の２値画像メモリ１２へ格納する９第
２図に格納した２値の物体画像８の状態を示しており、
物体の方向を求める手段により方向を求め、あらかじめ
求めておいた基準画像６の物体の方向との差から回転補
正する角度を決定し、物体画像８を回転、移動する手段
により回転、移動し、この後、１８０°の回転が必要か
否かを判定し、補正が必要な場合に再度１８０°の回転
を行う手段により第３図の基準画像６と同位置、同向き
の画像を得る。First, the overall operation will be explained. The image data captured by the image data capture means is binarized by the binarization means and stored in the binary image memory 12 shown in FIG. 3. 9 State of the binary object image 8 stored in FIG. 2 It shows
The direction is determined by means for determining the direction of the object, the angle for rotation correction is determined from the difference from the direction of the object in the reference image 6 determined in advance, and the object image 8 is rotated and moved by means for rotating and moving, Thereafter, it is determined whether or not a rotation of 180 degrees is necessary, and if correction is necessary, the image is rotated by 180 degrees again to obtain an image at the same position and in the same direction as the reference image 6 in FIG.

次に、物体の方向を求める手段と回転、移動する手段に
ついて第２図により説明する。物体５０の方向は慣性主
軸により求めることができ、回転する角度は、あらかじ
め求めておいた基準の慣性主＃７と物体の慣性主＠９と
の差により求まる。Next, the means for determining the direction of the object and the means for rotating and moving the object will be explained with reference to FIG. The direction of the object 50 can be determined by the principal axis of inertia, and the rotation angle is determined by the difference between the reference principal inertia #7 determined in advance and the principal inertia @9 of the object.

このとき、物体の向きが異なっていても、物体の慣性主
軸９は同じであることがあり、回転補正角は回転補正角
θ１１０または回転補正角θ２１１との区別ができない
ため、いずれか一方の角度のみでアフィン変換により回
転補正を行う。このとき、′−心）を得る手段を用いる
ことにより、基準画像６との位置ずれを検出し、位置補
正も同時に行う。At this time, even if the orientation of the object is different, the main axis of inertia 9 of the object may be the same, and the rotation correction angle cannot be distinguished from the rotation correction angle θ110 or the rotation correction angle θ211, so either one of the angles Rotation correction is performed using affine transformation. At this time, by using a means for obtaining ′-center), a positional deviation with respect to the reference image 6 is detected, and positional correction is also performed at the same time.

上記により、回転、位置補正した画像を第１図に示す。FIG. 1 shows an image that has been rotated and position corrected as described above.

これより、１８０°回転補正が必要か否か判定し補正が
必要な場合に回転補正する手段の具体的実施例について
説明する。Hereinafter, a specific embodiment of a means for determining whether or not 180° rotation correction is necessary and performing rotation correction when correction is necessary will be described.

■テンプレートパターンマツチング法 第１−図にテンプレートパターンマツチングを用いた回
転補正手段を示している。２値画像１中の正向き物体２
の形状にのみ一致するテンプレート５をあらかじめ作成
しておき、そのテンブレー１〜５を用いたテンプレート
パターンマツチングを２値画像１に対して実行すると、
最も一致する位置での一致画素数を求めることができる
。正向き物体２に対して実行したときの最大一致数を８
１逆向き物体３に対して実行したときの最大一致数を８
２とすると、その関係はＳｌ＞８２となる。ここで、正
向きか逆向きかを判別する基準値をｔとすると、Ｓｌ＞
ｔ＞Ｓｚを常時満足するようにｔを設定しておき、２値
画像１に対して、テンプレートパターンマツチングを実
行したときの最大一致数Ｓが、Ｓ）ｉ、ならば何も実行
しないで、Ｓ〈ｔならば１８０°回転補正４をアフィン
変換で実行するアルゴリズムにより、１８０°の回転補
正が必要か否か判定し、補正が必要な場合に回転補正す
る手段を実現する。(2) Template pattern matching method Figure 1 shows a rotation correction means using template pattern matching. Positive object 2 in binary image 1
If you create a template 5 in advance that matches only the shape of , and perform template pattern matching on the binary image 1 using templates 1 to 5,
The number of matching pixels at the most matching position can be determined. The maximum number of matches when executed for the forward facing object 2 is 8.
1 The maximum number of matches when executed for the backward object 3 is 8
2, the relationship becomes Sl>82. Here, if the reference value for determining whether the direction is forward or backward is t, then Sl>
Set t so that t>Sz is always satisfied, and if the maximum number of matches S when performing template pattern matching on binary image 1 is S)i, do nothing. , S<t, an algorithm that executes 180° rotation correction 4 by affine transformation is used to determine whether or not 180° rotation correction is necessary, and to realize means for performing rotation correction when correction is necessary.

■複数テンプレートパターンマツチング法第４図に複数
テンプレートパターンマツチング法を用いた回転補正手
段を示す。正向き画像１６中の物体５０の各々の箇所に
マツチングする第１テンプレート１８、第２テンプレー
ト１９および逆向き逆向き画像１７中の物体５０の各々
の箇所にマツチングする第３テンプレート２０、第４テ
ンプレート２１をあらかじめ作成しておき、上記■テン
プレートパターンマツチング法と同様にテンプレートパ
ターンマツチングを実行し、各々の最大一致数を判定す
るアルゴリズムにより、１８０゜の回転補正手段を実現
する。また１本手段には、丁゛＼ 、正向き画像１６の場合には、第１テンプレートが最も
一致した座標（Ｘｚ　、　Ｙｔ　）と第２テンプレート
が最も一致した座標（Ｘｚ　、　Ｙｚ　）との差異と、
基準画像に対する同２種テンプレートが最も一致した座
標の差異とを比較することにより、基準画像との微小角
ずれをも検出でき、この微小角ずれを補正する効果もあ
る。(2) Multiple Template Pattern Matching Method FIG. 4 shows a rotation correction means using multiple template pattern matching method. A first template 18 and a second template 19 that match each location of the object 50 in the forward image 16, and a third template 20 and a fourth template that match each location of the object 50 in the reverse image 17. 21 is created in advance, template pattern matching is performed in the same manner as the above-mentioned template pattern matching method, and the 180° rotation correction means is realized by an algorithm that determines the maximum number of matches. In addition, one means is to calculate the difference between the coordinates (Xz, Yt) that most match the first template and the coordinates (Xz, Yz) that most match the second template in the case of the forward-facing image 16. and,
By comparing the coordinate difference between the two types of templates that most closely match the reference image, it is possible to detect even a small angular deviation from the reference image, and there is also the effect of correcting this small angular deviation.

■テンプレートパターンマツチングと重心法第５図にテ
ンプレートパターンマツチングと重心法を用いた回転補
正手段を示す。正向き画像１６中の物体５０の図示位置
にマツチングする正向き用テンプレート２３と逆向き画
像１７中の物体５０の図示位置にマツチングする逆向き
用テンプレート２４をあらかじめ作成しておき、上記■
テンプレートパターンマツチング法と同様にテンプレー
トパターンマツチングを実行し、各々の最大一致数を判
定するアルゴリズムにより、１８０゜の回転補正手段を
実現する。また、このとき、物体５０の重心２２を求め
ておき、テンプレートが最も一致した座標との相対位置
関係を、基準画像の相対位置関係と比較することにより
上記■複数テンプレートパターンマツチング法と同じく
微小′浄ずれを補正する効果がある。■Template pattern matching and centroid method FIG. 5 shows a rotation correction means using template pattern matching and centroid method. A forward template 23 that matches the illustrated position of the object 50 in the forward image 16 and a reverse template 24 that matches the illustrated position of the object 50 in the reverse image 17 are created in advance, and the above
The 180° rotation correction means is realized by an algorithm that executes template pattern matching in the same manner as the template pattern matching method and determines the maximum number of matches. In addition, at this time, the center of gravity 22 of the object 50 is determined and the relative positional relationship with the coordinates where the template most closely matches is compared with the relative positional relationship of the reference image. 'It has the effect of correcting misalignment.

■マルチウィンドウ法 第６図にマルチウィンドウ法を用いた回転補正手段を示
す。正向き画像１６中の物体５０に対して、図示位置に
第１ウインドウ２５、第２ウインドウ２６、第３ウイン
ドウ２７のウィンドウを設定し、各ウィンドウ内にあ゛
る物体５０の面積、端辺座標、重心等の情報を計測し、
基準画像の情報と比較し、判定するアルゴリズムにより
１８０゜の回転補正手段を実現する。ここで、逆向き画
像１７に使用するウィンドウは、正向き画像のウィンド
ウと同じものであり、取得する情報の値が正向きの場合
と異なるため、正逆の判定を可能としている。なお、本
方法においても、微小角ずれを補正する効果がある。■Multi-window method Figure 6 shows a rotation correction means using the multi-window method. For the object 50 in the forward-facing image 16, a first window 25, a second window 26, and a third window 27 are set at the illustrated positions, and the area and edge coordinates of the object 50 within each window are calculated. , measure information such as center of gravity,
A 180° rotation correction means is realized by an algorithm that makes a decision by comparing information with the reference image. Here, the window used for the reverse image 17 is the same as the window for the forward image, and since the value of the information to be acquired is different from that for the forward image, it is possible to determine whether the image is forward or reverse. Note that this method also has the effect of correcting minute angular deviations.

最後に１８０°の回転補正を組み合わせた、オートアフ
ィン変換手法の一連の動作について、第７図および第８
図により説明する。第７図は、オートアフィン変換手法
のフロー図であり、本図のツーに従ったイメージ図を第
８図に示す。第８図゛β取込前Ａ画像２５．取込前Ｂ画
像２６および取込画像２７で示すように、物体５０が、
外力または、自刃で動く、あるいは、映像入力装置が動
くことより、画像処理画面内外に物体５０が移動してい
る場合、物体５０の面積等が規定内になったとき自動的
に画像を取込み２値化し、取込画像２７とする（自動取
込）。取込画像２７に対し、物体の方向を求める手段お
よび画像を回転、移動する手段により回転補正画像２８
を作成し、上記１８０ａの回転補正が必要か否か判定し
、補正が必要な場合に回転補正する手段により１８０°
回転補正画像２９を作成する。ただし、判定の結果１８
０°回転補正が不要な場合には回転補正画像２８を最終
画像とする。これにより、画像認識を行うのに最適な画
像を自動的に得ることが可能である。Finally, Figures 7 and 8 show a series of operations of the autoaffine transformation method that combines 180° rotation correction.
This will be explained using figures. FIG. 7 is a flowchart of the autoaffine transformation method, and FIG. 8 shows an image diagram according to the steps in this figure. Figure 8 A image 25 before β import. As shown in the pre-capturing B image 26 and the captured image 27, the object 50 is
If the object 50 is moving in or out of the image processing screen due to external force, movement by its own blade, or movement of the video input device, the image will be automatically captured when the area etc. of the object 50 falls within the specified range. It is converted into a value and used as a captured image 27 (automatic capture). A rotationally corrected image 28 is created with respect to the captured image 27 by a means for determining the direction of the object and a means for rotating and moving the image.
180°, determines whether or not the rotation correction of the above 180a is necessary, and performs rotation correction if correction is necessary.
A rotation corrected image 29 is created. However, as a result of judgment 18
If 0° rotation correction is not required, the rotation corrected image 28 is set as the final image. Thereby, it is possible to automatically obtain an optimal image for image recognition.

〔発明の効果〕〔Effect of the invention〕

本発明によれば、物体の向きに制約をうけることなく回
転補正ができるので１画像処理装置の適用分野が広がる
効果がある。According to the present invention, since rotation correction can be performed without being restricted by the orientation of an object, there is an effect that the field of application of one image processing device is expanded.

【図面の簡単な説明】[Brief explanation of the drawing]

第１図および第４図〜第８図は具体的実施例の説明図、
第２図は従来方式の説明図、第３図はハードウェア構成
の説明図である。 １・・・２値画像、２・・・正向き物体、３・・・逆向
き物体、４・・・１．８０°回転補正、５・・・テンプ
レート。FIG. 1 and FIGS. 4 to 8 are explanatory diagrams of specific embodiments,
FIG. 2 is an explanatory diagram of the conventional system, and FIG. 3 is an explanatory diagram of the hardware configuration. 1... Binary image, 2... Forward object, 3... Reverse object, 4... 1.80° rotation correction, 5... Template.

Claims (1)

【特許請求の範囲】 １、画像データを取込む手段と、取込んだ画像データを
２値化する手段と、２値化した画像データを格納する画
像メモリを有し、画像中の物体の方向を求める手段と、
画像を回転・移動する手段より成る画像処理において、
１８０°の回転補正が必要か否か判定し、補正が必要な
場合に補正する手段を設けたことを特徴とするオートア
フィン変換処理方式。 ２、請求の範囲第１項において、自動取込手段を組み合
わせることを特徴とする画像処理のオートアフィン変換
処理方式。[Claims] 1. A means for capturing image data, a means for binarizing the captured image data, and an image memory for storing the binarized image data; a means to find
In image processing that consists of means for rotating and moving images,
An auto-affine transformation processing method characterized by providing means for determining whether or not a 180° rotation correction is necessary and for correcting the correction when the correction is necessary. 2. An auto-affine transformation processing method for image processing according to claim 1, characterized in that it is combined with an automatic capture means.