JP2982814B2 - Adaptive learning type general-purpose image measurement method - Google Patents

Description

【発明の詳細な説明】 発明の目的； （産業上の利用分野） この発明は、例えば生産ラインにおける部品の検査や
同定、材料や医用分野における画像計測（計数）などの
様々な分野において、特に２値画像として捕えられる対
象の形状や個数に関わる種々の画像計測（計数および識
別を含む）の方法に関し、特に適応的な学習機能と実時
間の高速性が要求される汎用画像計測方法として広範囲
に利用されるものである。DETAILED DESCRIPTION OF THE INVENTION Object of the Invention (Industrial Application Field) The present invention is particularly applicable to various fields such as inspection and identification of parts in a production line, image measurement (counting) in materials and medical fields, and the like. Regarding various image measurement methods (including counting and identification) related to the shape and number of objects captured as binary images, it is widely used as a general-purpose image measurement method that requires an adaptive learning function and real-time high speed. It is used for

（従来の技術） 従来この種の画像計測方法としては、所定の目的に対
して所望結果を得るために必要と思われる画像処理手法
を、第11図に示す如く逐次的に直列に組み合せて実現す
るのが普通である（逐次的・手続的方法）。例えば、半
径の異なった２種類の大きさの粒子を多数含む２値画像
において、各粒子の数を計測する場合には、まず画面
（白地）上の全ての粒子（黒い円）を見付け出し、各粒
子にラベル（番号）を付けて区別し、各粒子の直径や面
積等を計測し、どちらの種類の粒子であるかを判定し、
その判定回数を積算して最終的に２種類の粒子の個数を
求めている。(Prior art) Conventionally, as this kind of image measurement method, an image processing method considered to be necessary for obtaining a desired result for a predetermined purpose is realized by sequentially serially combining as shown in FIG. Usually (sequential and procedural methods). For example, in a binary image including many particles of two different sizes with different radii, when counting the number of each particle, first find all the particles (black circles) on the screen (white background), Label each particle with a label (number) to distinguish, measure the diameter and area of each particle, determine which type of particle,
The number of determinations is integrated to finally obtain the numbers of the two types of particles.

このような従来方法では、いくつもの複雑な画像処理
手法を次々と組み合せて実現しているため、その処理の
ための計算時間は多大であり、どうしても装置が大掛か
りとなり、高速処理には不向きである。しかも、上記計
測方法の決定的な問題点は、対象画像の複雑さ（上記の
例では粒子の個数）が増加するに従って、一般にそれに
比例して処理時間が増加することである。他の問題点
は、それら一連の処理が所定の目的のために考えられた
特別の処理であるため、そのような装置は上記所定の目
的のためのみの単用的な装置となってしまい、用途毎に
処理手法を変更する必要があることである。更に、何を
どのような手順で計測すればよいかが明確に分った問題
にしか適用することができない問題点もある。In such a conventional method, a number of complicated image processing methods are realized in combination one after another, so that the calculation time for the processing is enormous, the device becomes inevitably large, and is not suitable for high-speed processing. . Moreover, a decisive problem of the above measurement method is that, as the complexity of the target image (the number of particles in the above example) increases, the processing time generally increases in proportion thereto. Another problem is that since such a series of processes is a special process considered for a predetermined purpose, such a device becomes a single-purpose device only for the predetermined purpose, That is, it is necessary to change the processing method for each application. Furthermore, there is a problem that can be applied only to a problem in which what and what procedure should be measured is clearly understood.

（発明が解決しようとする課題） 上述のような直列的な計測方法に対して、パターン認
識にけるパーセプトロンやニューラルネットのモデルの
ような並列的・適応的な方法が考えられている。第12図
はニューラルネットの構成を示しており、これは脳の情
報処理をモデルとするものであり、神経細胞の特性をモ
デル化した素子を並列に多数並べた層（入力層，中間
層，出力層）を多段に結合し、それらの結合係数を可変
な重み（パラメータ）としておいて、入力に対して望ま
しい出力（計測結果）が出るように、学習のための多数
のデータを次々と入力し、その都度出力の誤り方に基づ
いて結合係数を逐次修正して行くという学習方法に基づ
いている。(Problem to be Solved by the Invention) In contrast to the above-described serial measurement method, a parallel / adaptive method such as a perceptron or neural network model for pattern recognition has been considered. FIG. 12 shows the configuration of a neural network, which is a model of the information processing of the brain, and has layers (input layer, intermediate layer, Output layers) are connected in multiple stages, their coupling coefficients are set as variable weights (parameters), and a large number of data for learning is input one after another so that a desired output (measurement result) is obtained for the input. Then, it is based on a learning method in which the coupling coefficient is sequentially corrected on the basis of the error of the output each time.

しかしながら、この計測方法は処理時間は並列処理の
ために速いが、学習の収束速度は非常に遅くて手間が掛
かる上、時々局所最適解に基因して良い結果が得られな
い。この計測方法は適応的方法となっているために汎用
性を有しているが、問題に対して何個の素子をどのよう
に結合すべきか、また入力を何をとるべきかは分ってい
ないため、試行錯誤とならざるを得ない欠点がある。さ
らに、このニューラルネットによる計測方法に用いる素
子は、神経細胞のモデルとして入力および出力信号の値
を“0",“1"の２値、もしくはその間の値に制限されて
いる。そのため、多数の入力信号は重みを掛けて加算さ
れ、非線形の変換を受けて一つの出力となる。However, although this measurement method has a short processing time due to parallel processing, the convergence speed of learning is very slow, it takes time and effort, and sometimes good results cannot be obtained due to local optimal solutions. Although this measurement method is versatile because it is an adaptive method, it is clear how many elements and how to combine and what inputs to take for the problem. However, there is a drawback that must be done by trial and error. Further, in the element used in the measurement method using the neural network, the values of input and output signals are limited to two values of “0” and “1” or a value between them as a model of a nerve cell. Therefore, a large number of input signals are multiplied by weights, added, and subjected to non-linear conversion to become one output.

第13図はかかる計測方法を示しており、重み付き和及
び非線形変換のニューロン素子10及び11で構成されてい
る。しかし、このような計測方式における情報の表現形
式は、神経情報処理のモデルとしては意味があるが実際
の応用にとっては余り重要ではなく、むしろ限定であっ
て非効率でもある。従っで、上記各計測方法の実際的な
画像計測装置としての応用は殆どなされていないのが実
情である。FIG. 13 shows such a measuring method, which is composed of neuron elements 10 and 11 for weighted sum and nonlinear conversion. However, the expression form of information in such a measurement method is meaningful as a model of neural information processing, but is not so important for practical application, and is rather limited and inefficient. Therefore, in reality, each of the above-mentioned measuring methods is hardly applied as a practical image measuring device.

この発明は上述のような事情よりなされたものであ
り、この発明の目的は、画像計測の基本的な条件の原理
的な考察に基づいて、比較的簡単な構造を有する２段階
の特徴抽出を行ない、更に高速な学習によって種々の用
途に対して適応的に画像計測を行ない得る適応学習型汎
用画像計測方法を提供することにある。The present invention has been made in view of the above circumstances, and an object of the present invention is to perform a two-stage feature extraction having a relatively simple structure based on a theoretical consideration of basic conditions of image measurement. It is an object of the present invention to provide an adaptive learning type general-purpose image measurement method capable of performing image measurement adaptively for various uses by faster learning.

発明の構成； （課題を解決するための手段） この発明は適応学習型汎用画像計測方法に関し、この
発明の上記目的は、画像枠内に捕えられる対象の平行移
動に関して不変で、かつ画面に関して加法性を持つ基本
的な初期特徴を多数抽出し、抽出された前記初期特徴と
教示データとを多変量解析方法を用いて解析して統計的
特徴抽出データの学習を行ない、この学習結果を使って
未知の入力画像から認識対象を自動認識すると共にその
個数又は数量的概念を自動計測することによって達成さ
れる。Means for Solving the Problems The present invention relates to an adaptive learning type general-purpose image measuring method, and an object of the present invention is to provide an invariable parallel movement of an object captured in an image frame and an addition to a screen. A large number of basic initial features having a characteristic are extracted, and the extracted initial features and the teaching data are analyzed using a multivariate analysis method to perform learning of statistical feature extraction data. This is achieved by automatically recognizing a recognition target from an unknown input image and automatically measuring the number or quantitative concept thereof.

（作用） 実際的な画像計測の多くの問題としては、画像枠内
（画面上）に捕えられた一つの対象の面積や周囲長を計
ったり、穴の数を数えたり、あるいは画面上の多数の同
一対象の個数を計数する問題が考えられる。また、計測
によって対象が何であるかを判定する認識の問題も、こ
こでは広い意味での計測（形状計測）の問題と考える。
このような多様な画像計測の問題に対する計測結果は一
般に計測値（数値）で与えられ、従って画像計測とは画
像からの特徴抽出の問題と考えることができる。その基
本的な条件としては、次の三項目が重要である。(Operation) Many problems in practical image measurement include measuring the area and perimeter of a single object captured in an image frame (on the screen), counting the number of holes, and measuring the number of holes on the screen. The problem of counting the number of the same objects can be considered. In addition, the problem of recognition for determining what an object is by measurement is also considered to be a problem of measurement (shape measurement) in a broad sense here.
Measurement results for such various image measurement problems are generally given as measurement values (numerical values), and therefore, image measurement can be considered as a problem of feature extraction from an image. The following three items are important as the basic conditions.

１）平行移動に関する不変性 ２）画面に関する加法性 ３）適応的な学習可能性 条件１）は、対象が画像枠内のどこにあっても計測値
（例えば面積）は同じ値で変わらないことを意味してい
る。また、条件２）は、例えば画面上の粒子の計数の場
合を考えてみても明らかなように、全画面を複数部分に
分割したとき、全画面上の計測値は分割画面上の計測値
の和となること意味している。さらに、条件３）は、こ
の発明の目的である汎用性のための条件として重要であ
る。1) Invariance related to translation 2) Additivity regarding screen 3) Adaptive learning possibility Condition 1) is that the measurement value (for example, area) does not change at the same value regardless of where the object is in the image frame. Means. Condition 2) is, for example, that, when the entire screen is divided into a plurality of parts, the measured value on the entire screen is equal to the measured value on the divided screen, as is clear from the case of counting particles on the screen. Means to be sum. Further, the condition 3) is important as a condition for versatility which is the object of the present invention.

上記基本的な条件１）〜３）を満たすために、次のF1
及びF2の２段階で成る特徴抽出を考える。To satisfy the above basic conditions 1) to 3), the following F1
And F2 feature extraction in two stages.

F1:全画面に対して、条件１）及び２）を満たす一般的
で基本的な特徴を初期特徴として多数抽出する（幾何学
的特徴抽出）。F1: A large number of general basic features satisfying the conditions 1) and 2) are extracted as initial features for all the screens (geometric feature extraction).

F2:上記初期特徴を線形結合することによって、様々な
用途に対して最適な特徴を学習によって適応的に抽出す
る（統計的特徴抽出）。F2: The optimal features for various applications are adaptively extracted by learning by linearly combining the initial features (statistical feature extraction).

例えば、F1の幾何学的特徴抽出としては、Ｎ次自己相
関の考えに基づく局所自己相関マスクによる特徴抽出
（特公昭58−47064号参照）を利用することができる。
また、F2の統計的特徴抽出は、多変量解析における線形
回帰分析等の手法を用いて実現することができる。統計
的特徴抽出F2における線形結合は、前記条件２）を保持
するために必要である。For example, as the geometric feature extraction of F1, feature extraction using a local autocorrelation mask based on the concept of N-order autocorrelation (see Japanese Patent Publication No. 58-47064) can be used.
Further, the statistical feature extraction of F2 can be realized using a method such as linear regression analysis in multivariate analysis. The linear combination in the statistical feature extraction F2 is necessary to maintain the condition 2).

前記F1及びF2の２段階の特徴抽出に基づく第１図に示
すようなこの発明の計測方法は、画像計測の上記基本条
件１）〜３）を満たし、構造が簡単で装置化の容易な並
列的・適応的な計測方法となり、種々の用途に対して高
速な学習によって適応的に画像計測が可能となる。The measurement method according to the present invention as shown in FIG. 1 based on the two-stage feature extraction of F1 and F2 satisfies the above basic conditions 1) to 3) of image measurement, and has a simple structure and a parallel structure that is easy to implement. It becomes a dynamic and adaptive measurement method, and image measurement can be adaptively performed by high-speed learning for various applications.

（実施例） 上記原理に基づくこの発明の計測方法について、以下
図面を参照して詳細に説明する。(Example) A measuring method according to the present invention based on the above principle will be described in detail below with reference to the drawings.

第２図に示すように計測対象は、TVカメラ（たとえば
CCD）１を通して画像枠内の濃淡（多値）画像とし３捕
えられる。この発明方法は濃淡画像（信号SG1）に対し
てもそのまま適用可能であるが、実際の画像計測では主
に計測対象の形に関して２値画像を取り扱うことが多い
ことを考慮して、ここでは特に２値化回路２で２値化さ
れた２値画像で考える。この場合、濃淡画像は２値化回
路２で所定の閾値を境に対象領域（値1:黒地）と背景領
域（値0:白地）に２値化され、画像メモリ（Ｍ×Ｍ画
素）３に入力される。As shown in FIG. 2, the measurement target is a TV camera (for example,
Through the CCD 1, the image is captured as a grayscale (multi-valued) image 3 in the image frame. Although the method of the present invention can be applied to a gray-scale image (signal SG1) as it is, in the actual image measurement, a binary image is mainly handled with respect to a shape of a measurement target in many cases. Consider a binary image binarized by the binarization circuit 2. In this case, the grayscale image is binarized by a binarization circuit 2 into a target area (value 1: black background) and a background area (value 0: white background) at a predetermined threshold, and an image memory (M × M pixels) 3 Is input to

画像枠内（画像メモリ３上、以下簡単に画面上ともい
う）に捕えられた画像ｆ（ｒ）（ここに、ｒ＝（i,j）
は画面上の位置を表わす２次元ベクトル）に対して、初
期特徴の抽出を幾何学的特徴抽出部４で行なう。抽出さ
れる特徴は具体的には次に示すＮ次自己相関関数（工業
技術院電子技術走行研究所 昭和56年７月発行 電子技
術総合研究所研究報告 第818号参照）である。なお、
以下アンダーラインはベクトルを示している。An image f ( r ) (here, r = (i, j)) captured in an image frame (in the image memory 3, hereinafter simply referred to as a screen)
Is extracted by the geometric feature extraction unit 4 for the two-dimensional vector representing the position on the screen. Specifically, the extracted feature is an N-order autocorrelation function (see the Electronic Technology Research Laboratory Research Report No. 818, issued in July 1981). In addition,
Hereinafter, the underline indicates a vector.

初期特徴の抽出は上記（１）式の考えに基づくもので
あり、位置不変、つまり対象の画像枠内の任意の平行移
動ｆ（ｒ）→ｆ（ｒ＋ｂ）に関して不変な特徴を示して
いる。ただし、変位方向（ａ ₁,…ａ _Ｎ）の取り方は無数
に考えられるが、実際的な観点から例えばＮを２次まで
に、また前記条件２）を満たすために変位方向に参照点
ｒ周りの局所３×３方向にすれば良い。第３図は局所変
位方向の例を示している。この場合、（１）式のＮ次自
己相関関数は、全画面を３×３の局所枠（中心ｒ）で一
度走査することによって計算される。２値画像の場合、
これは明らかにｆ（ｒ）ｆ（ｒ＋ａ _１）…ｆ（ｒ＋
ａ _Ｎ）＝１となる回数、つまり３×３の局所枠上のある
関数にある（Ｎ＋１）画素が全て“1"となる局所パター
ンが全画面に幾つ存在するかを計数していることにな
る。そのような（Ｎ＋１）画素点の局所パターンは、単
純に考えると３×３＝９通りから（Ｎ＋１）点を選ぶ組
み合せの数（２次までの場合、Ｎ＝0,1,2）だけ存在す
るが、走査を考えると局所枠内で互いに平行移動で移り
合うパターンは同値であり、結局２次までの独立なパタ
ーンは第４図に示す25通りとなる。第４図のパターンに
おいて、「１」は調べるとき画素を、「＊」は無視する
画素を表わしており、これらのパターンを局所自己相関
マスクとよぶ。これらのマスクM_j（ｊ＝１〜25）を用い
て全画面を一度走査し、それぞれの積和を求めることに
より、M_jに対応する25通りの局所自己相関計数x_jが初期
特徴として得られるが、その計数の手順を第５図のステ
ップS1〜S3に示す。また、計算回路方法についての詳細
は特公昭58−47064号公報に述べられている。マスクパ
ターンは第４図のものに限定されるものではなく、第10
図に示すような６角形状パターンでも良い。 The extraction of the initial feature is based on the idea of the above equation (1), and shows a position invariant, that is, a feature that is invariant with respect to any translation f ( r ) → f ( r + b ) within the target image frame. I have. However, there are innumerable ways of taking the displacement directions ( a ₁ ,... A _N ). From a practical viewpoint, for example, N is reduced to the second order, and in order to satisfy the condition 2), the reference point is set in the displacement direction.
What is necessary is just to set it to the local 3x3 direction around r . FIG. 3 shows an example of the local displacement direction. In this case, the Nth-order autocorrelation function of the equation (1) is calculated by scanning the entire screen once with a 3 × 3 local frame (center r 1 ). For binary images,
This apparently is _{f (r) f (r +} a 1) ... f (r +
a _N ) = 1, that is, how many local patterns in which all (N + 1) pixels in a certain function on a 3 × 3 local frame are “1” are counted in the entire screen. Become. Such local patterns of (N + 1) pixel points simply exist in the number of combinations for selecting (N + 1) points out of 3 × 3 = 9 (N = 0, 1, 2 for up to second order). However, in consideration of scanning, the patterns that move by parallel movement within the local frame have the same value. As a result, there are 25 independent patterns up to the second order shown in FIG. In the pattern of FIG. 4, "1" indicates a pixel to be examined, and "*" indicates a pixel to be ignored. These patterns are called local autocorrelation masks. By scanning the entire screen once using these masks M _j (j = 1 to 25) and calculating the sum of the respective products, 25 kinds of local autocorrelation coefficients x _j corresponding to M _j are obtained as initial features. However, the counting procedure is shown in steps S1 to S3 in FIG. The details of the calculation circuit method are described in JP-B-58-47064. The mask pattern is not limited to that of FIG.
A hexagonal pattern as shown in the figure may be used.

幾何学的特徴抽出部４からの初期特徴x_jは統計的特徴
抽出部５に入力されるが、次にここでの適応的特徴抽出
としての統計的特徴抽出（F2）について説明する。The initial feature x _j from the geometric feature extraction unit 4 is input to the statistical feature extraction unit 5, and next, the statistical feature extraction (F2) as the adaptive feature extraction will be described.

上記のようにして得られた初期特徴x_jは、計測課題に
依存しない一般的で基本的な特徴となっている。しか
し、計測課題に必要な対象画像の情報は全体として抽出
している。従って、これらの線形結合は、第６図に示す
ような構成で によって、計測課題に有効な新しい特徴（計測値そのも
のあるいは予測近似値）としてのy_iを求める。ここで、
Ｍは同時に計測する計測値の個数を表わしている。初期
特徴x_j及び新特徴y_iをそれぞれ縦ベクトルｘ＝（x₁,…x
₂₅）′及びｙ＝（y₁,…y_n）′にまとめて、係数行列Ａ
＝［a_ij］′を用いると、上記（２）式は、 ｙ＝Ａ′ｘ ………（２′） と簡単に表わされる（ここに、「′」は転置を表わして
いる）。ここに、係数Ａは問題によっては自明に求めら
れることがある。例えば、２値画像で捕えられた計測対
象の面積は０次の自己相関係数（マスクM₁）が“1"の画
素数を計数していることから、明らかにy₁＝x₁で求め
る。さらに、論理的な考察によってその他の計測値も線
形結合で表わされることがある。しかし、このような人
為的方法は大変であり一般的ではない。そこで、この発
明では、汎用的な方法として学習によって自動的に最適
な係数Ａを求めることを考え、そのために第７図に示す
ような多変量解析手法を用いている。The initial features x _j obtained as described above are general and basic features that do not depend on the measurement task. However, information on the target image necessary for the measurement task is extracted as a whole. Therefore, these linear combinations are constructed in a configuration as shown in FIG. Thus, y _i as a new feature (measured value itself or predicted approximate value) effective for the measurement task is obtained. here,
M represents the number of measurement values measured simultaneously. The initial feature x _j and the new feature y _i are respectively represented by a vertical vector x = (x ₁ ,.
₂₅ ) ′ and y = (y ₁ ,..., Y _n ) ′.
= [A _ij ] ′, the above equation (2) can be simply expressed as y = A ′ x (2 ′) (where “′” indicates transposition). Here, the coefficient A may be found trivially depending on the problem. For example, the area of the measurement target captured in the binary image is clearly obtained as y ₁ = x ₁ because the zero-order autocorrelation coefficient (mask M ₁ ) counts the number of pixels of “1”. . In addition, other measurements may be represented by linear combinations due to logical considerations. However, such artificial methods are difficult and uncommon. In view of this, the present invention considers that the optimum coefficient A is automatically obtained by learning as a general-purpose method, and uses a multivariate analysis method as shown in FIG. 7 for that purpose.

多変量解析手法の１つである重回帰分析は、特に計測
課題に有効で直接的な手法である。いま、学習に用いる
計測対象画像の集合をＧ＝f_i（ｒ），（ただし、ｉ＝１
〜Ｌ）として、画像f₁に対する正しい計測ベクトルをｚ
_ｉとすると共に、ステップS10で計算された初期特徴ベ
クトルをｘ _ｉ（従って、出力はｙ _ｉ＝Ａ′ｘ _１）とす
る。このとき、重回帰分析により最適な係数Ａは次の平
均２乗誤差によって を最小にするようにステップS12で求められ、最適解は
次式（４）で陽に与えられる。Multiple regression analysis, which is one of the multivariate analysis methods, is an effective and direct method especially for measurement tasks. Now, a set of measurement target images used for learning is represented by G = f _i (r), where i = 1
As ~L), a correct measured vector for the image f ₁ z
_i, and the initial feature vector calculated in step S10 is x _i (the output is y _i = A ′ x ₁ ). At this time, the optimal coefficient A is obtained by the following mean square error by the multiple regression analysis. Is minimized in step S12, and the optimal solution is explicitly given by the following equation (4).

Ａ＝R_xx ^-1R_xz ………（４） ここに、 は、それぞれ初期特徴ｘ _ｉの自己相関行列、入力データ
ｘ _ｉとｚ _ｉの相互相関行列である。また、−１乗は逆行
列を表わしている。A = R _xx ^-1 R _xz (4) where Are the autocorrelation matrix of the initial feature x _i and the input data
a cross-correlation matrix of x _i and z _i. The -1 power indicates an inverse matrix.

このように学習によってステップS11及びS12で得られ
た係数Ａを用いて、以後第２図のシステムは（２′）式
により、入力画像ｆ（ｒ）に対して計測ベクトルの良い
推定を行なうことができる。もし正しい計測ベクトルｚ
_ｉが前記（２）式の形で書ける場合には、学習によって
正しい係数Ａが自動的に求まることになる。Using the coefficient A obtained in steps S11 and S12 by the learning as described above, the system shown in FIG. 2 performs a good estimation of the measurement vector with respect to the input image f ( r ) according to the equation (2 '). Can be. If the correct measurement vector z
_{If i} can be written in the form of the above equation (2), the correct coefficient A is automatically obtained by learning.

計測対象の認識も同様に可能である。重回帰分析の場
合には、計測ベクトル（ｚ _ｉ及びｙ）を認識対象のクラ
スを区別するコードと考えて、同様な学習を行なえばよ
い。例えば２クラスからなる対象の認識の場合、学習モ
ードではクラス１に対してｚ＝（1,0）′、クラス２に
対してｚ＝（0,1）′として係数Ａを学習する。そし
て、認識モードでは、認識部６は入力対象画像に対して
得られたｙ＝（y₁,y₂）′について特徴y₁とy₂の値を比
較し（ステップS22）、特徴y_iが大きいならばクラス
１、逆ならばクラス２と識別することによって認識を行
なう。多（Ｋ）クラスの場合も同様である。このよう
に、認識の場合には特徴y_iの最大値検出などの識別処理
が必要になる。The recognition of the measurement object is also possible. When the multiple regression analysis, consider distinguishing code of the recognition target class measurement vector (z _i and y), may be performed similar learning. For example, in the case of recognizing an object composed of two classes, in the learning mode, the coefficient A is learned with z = (1, 0) 'for class 1 and z = (0, 1)' for class 2. Then, in the recognition mode, the recognition unit 6 compares the value of the feature y ₁ and y ₂ for obtained for the input target image _{y = (y 1, y 2} ) '( step S22), and is characterized y _i Recognition is performed by discriminating class 1 if it is large, and class 2 if it is converse. The same applies to the case of the many (K) class. As described above, in the case of recognition, identification processing such as detection of the maximum value of the feature y _i is required.

また、認識のための係数Ａの学習として、判別分析を
用いることもできる。この場合には、ベクトルｙが空間
としてＫクラスを最適に分離するように、係数Ａは次の
固有値問題の解（固有ベクトル）として求まる。Also, discriminant analysis can be used as learning of the coefficient A for recognition. In this case, the coefficient A is obtained as a solution (eigenvector) of the next eigenvalue problem so that the vector y optimally separates the K class as a space.

X_BA＝X_WAΛ ……（６） （Ａ′X_WA＝Ｉ） ここに、Λは固有値対角行列,Iは単位行列である。ま
た、X_W,X_Bはそれぞれ初期特徴ベクトルｘのクラス内、
クラス間共分散行列であり、次式で定義される。To _{X B A = X W AΛ ......} (6) (A'X W A = I) where, lambda is the eigenvalue diagonal matrix, I is the identity matrix. X _W and X _B are in the class of the initial feature vector x , respectively.
This is an inter-class covariance matrix and is defined by the following equation.

ここに、ω_j, _j,X_jはそれぞれクラスｊの生起確率，
平均ベクトル，共分散行列，また _rTは全平均ベクトル
である。この判別分析の場合の識別方法としては、例え
ば入力（ｙ）から各クラスの平均ベクトル（ ｊ＝Ａ′
_ｊ）への距離を計算して、最小距離を与えるクラスに
入力を識別する方法が考えられる。  Where ω_j, _j, X_jAre the occurrence probabilities of class j, respectively.
Mean vector, covariance matrix, _rTIs the overall mean vector
It is. As an identification method in the case of this discriminant analysis, for example,
Input (y) To the average vector of each class ( j = A '
_j) To calculate the distance to the class that gives the minimum distance
A method for identifying the input is conceivable.

以下に、この発明方式をいくつかの用途に適用した具
体的な実施例を示す。ここでは、２値画像の場合を考
え、適応学習による統計的特徴抽出（F2）としては重回
帰分析を用いた場合の例を示し、判別分析の場合の例は
省略する。Hereinafter, specific examples in which the method of the present invention is applied to several uses will be described. Here, the case of a binary image is considered, and an example in which multiple regression analysis is used as statistical feature extraction (F2) by adaptive learning is shown, and an example in the case of discriminant analysis is omitted.

まず、画像枠内の２種類の直径の異なる円（粒子）の
個数を、同時に計測する問題へ適用した結果を示す。ラ
ンダムに２種類の円を含む40枚の画像を作成したが、こ
れらの例を第８図（Ａ）〜（Ｄ）に示す。参考のため、
画像（Ｄ）は画像（Ｃ）がTVカメラを通り、２値化され
たシステムに取り込まれた実際の画像を示しており、か
なりノイズの影響を受けていることが分る。これらの画
像を用いて学習を行なった。各画像に対する教師入力は
この場合ｚ＝（z₁,z₂）の２次元ベクトルであり、z₁は
大きい円の個数,z₂は小さな円の個数である。学習によ
って最適な係数行列Ａ（25×２）が得られ、これを用い
た（２′）式のｙ＝（y₁,y₂）′により入力画像に対す
る計測（推定）が行われる。例えば、画像（Ａ）に対し
ては（y₁,y₂）＝（4.10,5.88），画像（Ｂ）に対しては
（y₁,y₂）＝（3.09,0.88），画像（Ｃ）に対しては
（y₁,y₂）＝（1.97,3.02）であった。ノイズの多い画像
にも拘わらず、十分良い結果が得られている（実際十分
余裕を持って四捨五入により、正しい個数が得られてい
る）。First, a result of applying the number of two types of circles (particles) having different diameters in an image frame to a problem of simultaneously measuring will be described. Forty images including two kinds of circles were randomly created, and examples of these are shown in FIGS. 8 (A) to (D). For reference,
Image (D) shows the actual image that image (C) passed through the TV camera and was captured by the binarized system, and it can be seen that it is significantly affected by noise. Learning was performed using these images. In this case, the teacher input for each image is a two-dimensional vector of z = (z ₁ , z ₂ ), where z ₁ is the number of large circles and z ₂ is the number of small circles. An optimal coefficient matrix A (25 × 2) is obtained by learning, and measurement (estimation) of the input image is performed by y = (y ₁ , y ₂ ) ′ of the expression (2 ′) using this. For example, the image for the _{(A) (y 1, y} 2) = (4.10,5.88), the image (B) for the _{(y 1, y 2) =} (3.09,0.88), image (C) Was (y ₁ , y ₂ ) = (1.97, 3.02). Despite the noisy image, a sufficiently good result is obtained (actually, the correct number is obtained by rounding with sufficient margin).

次に、さらに興味深い例として、対象画像の位相的特
徴の計測例を第９図（Ａ）〜（Ｄ）示す。例えば、画像
枠内の分離した対象の個数（第９図（Ａ），（Ｂ））や
対象の穴の個数（第９図（Ｃ），（Ｄ））である。これ
らの個数が対象や穴の形に全く無関係であることが、位
相的特徴として重要な点である。様々な形の分離した対
象を含む48枚の画像を例として、各々に対する正しい個
数を教師入力z₁として学習を行なった。第９図の（Ａ）
と（Ｂ）が、これに用いた画像の例である。その結果、
任意に与えられた入力画像に対してもシステムは正しく
分離対象の個数を計測できた。第９図（Ａ），（Ｂ）に
対してはy₁はそれぞれ1,2であった。穴の個数の計測に
ついても同様に極めて良い結果であった。第９図
（Ｃ），（Ｄ）に対しては、y₁はそれぞれ5,1であっ
た。Next, as a more interesting example, FIGS. 9A to 9D show measurement examples of the topological features of the target image. For example, the number of separated objects in the image frame (FIGS. 9A and 9B) and the number of target holes (FIGS. 9C and 9D). It is important as a topological feature that these numbers are completely independent of the object and the shape of the hole. Examples 48 images including various forms of discrete target, was subjected to learning the correct number for each as teacher input z _1. FIG. 9 (A)
And (B) are examples of images used for this. as a result,
The system was able to correctly measure the number of objects to be separated for any given input image. In FIGS. 9 (A) and 9 (B), y ₁ was 1, 2 respectively. The measurement of the number of holes was also very good. 9 (C) and 9 (D), y ₁ was 5,1 respectively.

このことは、本方法によるモデルによって、位相数学
におけりオイラーの公式がほとんど近似できることを示
している。重要なことは、オイラーの公式を（プログラ
ムとして）教えたのではなくて、本方法によるシステム
が、学習例から自動的に学んだことである。This indicates that Euler's formula can be almost approximated in topological mathematics by the model according to the present method. The important thing is that rather than teaching Euler's formula (as a program), the system according to the method learned automatically from the learning examples.

最後に認識への応用例を示す。対象は任意の形の３角
形で84個発生させて、それぞれ学習画像とした。認識課
題は、鋭角３角形と鈍角３角形のどちらであるかを識別
することであり、教師入力は鋭角３角形の場合（z₁,
z₂）＝（1,0）鈍角３角形を（z₁,z₂）＝（0,1）として
学習させた。得られた最適な係数行列Ａを用いてそれら
84個を認識させたところ、ただ１個のみ鋭角を鈍角に誤
った。しかもそれはほとんど直角３角形であった。Finally, an application example to recognition is shown. 84 objects were generated as triangles of an arbitrary shape, and each was used as a learning image. The recognition task is to discriminate between an acute triangle and an obtuse triangle, and when the teacher input is an acute triangle (z ₁ ,
(z ₂ ) = (1,0) The obtuse triangle was trained as (z ₁ , z ₂ ) = (0,1). Using the obtained optimal coefficient matrix A,
When 84 pieces were recognized, only one was mistaken for the acute angle as an obtuse angle. Moreover, it was almost a right triangle.

発明の効果； 以上のようにこの発明の計測方法によれば、従来方式
では画面から対象領域を切出し逐次に特定の画像処理や
特徴抽出を適用していたのに比べ、切出しを意識するこ
となく一度画面を走査して得られる共通の初期特徴か
ら、学習によって得られる各計測課題に適応した最適な
統計的特徴抽出を行なうことによって、極めて高速に実
時間の計測が可能となる。しかも、重要なことは計測課
題を問わず、処理時間が一定であることである。例えば
粒子計測の場合、1000個の計測時間も１個の計測に等し
い。更に、この発明によれば構造が簡単であり、本質的
に並列計算であるため装置として実現し易い。Effect of the Invention As described above, according to the measurement method of the present invention, the conventional method cuts out the target area from the screen and applies specific image processing and feature extraction one by one. By performing optimal statistical feature extraction adapted to each measurement task obtained by learning from a common initial feature obtained by scanning the screen once, real-time measurement can be performed at extremely high speed. What is important is that the processing time is constant regardless of the measurement task. For example, in the case of particle measurement, 1000 measurement times are equal to one measurement time. Further, according to the present invention, the structure is simple, and since it is essentially a parallel calculation, it can be easily realized as an apparatus.

また、適応学習によって同一装置を種々の用途に適用
することが可能であり、高い汎用性を有し、しかも多変
位量解析に基づく学習は簡単であり、高速である。特に
どのように計測するかのアルゴリズムを与える必要がな
く、単に例となる画像とそれに対する答え（求めるべき
計測値）を装置に例示すればよい。ため、従来の逐次方
法では不可能な計測アルゴリズムの不明な問題へも適用
可能である。さらに、位置不変のため、動画像（時間と
ともに移動する対象、たとえばベルトコンベヤ上の部品
等）の計測が可能である。従って、本方法は、廉価な汎
用画像計測装置の方法として優れた長所を持っている。In addition, the same device can be applied to various uses by adaptive learning, has high versatility, and learning based on multi-displacement analysis is simple and fast. In particular, it is not necessary to give an algorithm of how to measure, and an image as an example and an answer to the image (measured value to be obtained) may be shown to the apparatus. Therefore, the present invention can be applied to an unknown problem of a measurement algorithm that cannot be obtained by the conventional sequential method. Further, since the position is unchanged, it is possible to measure a moving image (a moving object with time, for example, a component on a belt conveyor). Therefore, this method has an excellent advantage as a method of an inexpensive general-purpose image measuring device.

【図面の簡単な説明】[Brief description of the drawings]

第１図はこの発明の基本方法を示す概念図、第２図はこ
の発明方法を示す構成図、第３図は局所変位方向を示す
図、第４図は２次までの局所自己相関マスクを示す図、
第５図は幾何学的特徴抽出のフロー図、第６図は統計的
特徴抽出の線形結合を示す図、第７図はそのフロー図、
第８図は大小２種類の粒子の個数計測での画像図、第９
図は位相的特徴の計測での画像図、第10図は局所自己相
関マスクの他の例を示す図、第11図は従来の計測方法を
示す概念図、第12図及び第13図は並列的・適応的方法を
示す図である。 １……TVカメラ、２……２値化回路、３……画像メモ
リ、４……幾何学的特徴抽出部、５……統計的特徴抽出
部、６……識別部。FIG. 1 is a conceptual diagram showing the basic method of the present invention, FIG. 2 is a block diagram showing the method of the present invention, FIG. 3 is a diagram showing a local displacement direction, and FIG. Diagram,
FIG. 5 is a flow diagram of geometric feature extraction, FIG. 6 is a diagram showing a linear combination of statistical feature extraction, FIG.
FIG. 8 is an image diagram in counting the number of two types of particles, large and small, and FIG.
FIG. 10 is an image diagram in the measurement of topological features, FIG. 10 is a diagram showing another example of a local autocorrelation mask, FIG. 11 is a conceptual diagram showing a conventional measurement method, and FIG. 12 and FIG. FIG. 4 is a diagram showing a target / adaptive method. 1 ... TV camera, 2 ... Binary circuit, 3 ... Image memory, 4 ... Geometric feature extractor, 5 ... Statistical feature extractor, 6 ... Identifier.

フロントページの続き 合議体 審判長 田辺 寿二 審判官 東 次男 審判官 関川 正志 (56)参考文献 特開 昭63−27899（ＪＰ，Ａ) 特公 昭58−47064（ＪＰ，Ｂ２)Continuing from the front page Judge Joji Tanabe Judge Judge Higashi Judge Judge Masashi Sekikawa (56) References JP-A-63-27899 (JP, A)

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】画像枠内にとらえられる対象の平行移動に
関して不変で、かつ画面に関して加法性を持つ基本的な
初期特徴ｘを多数抽出し、抽出された前記初期特徴ベク
トルxi（ｉ＝１〜Ｌ）と対象の教示個数を表す教示デー
タとしてのベクトル値zi（ｉ＝１〜Ｌ）とを多変量解析
を用いて解析して統計的特徴抽出データの学習を行い次
式により学習結果行列Ａを演算し、 Ａ＝Rxx^-1・Rxz ここに、 この学習結果Ａを使って未知の入力画像の個数を計測す
る方法であって、未知の入力画像に対応して得られた初
期特徴ｘを使って式ｙ＝Axで演算されたベクトル値ｙ
（y1,…,yk）から入力画像の個数を計測することを特徴
とする適応学習型汎用画像計測方法。1. A method for extracting a number of basic initial features x which are invariant with respect to the translation of an object captured in an image frame and which are additive with respect to a screen, and said extracted initial feature vectors xi (i = 1 to 1) L) and a vector value zi (i = 1 to L) as teaching data representing the number of teaching objects to be learned are analyzed using multivariate analysis to learn statistical feature extraction data, and a learning result matrix A is obtained by the following equation. A = Rxx ^-1 · Rxz where This is a method of counting the number of unknown input images using the learning result A, wherein a vector value y calculated by an equation y = Ax using an initial feature x obtained corresponding to the unknown input image
An adaptive learning-type general-purpose image measurement method characterized by measuring the number of input images from (y1,..., Yk). 【請求項２】画像枠内にとらえられる対象の平行移動に
関して不変で、かつ画面に関して加法性を持つ基本的な
初期特徴ｘを多数抽出し、抽出された前記初期特徴ベク
トルxi（ｉ＝１〜Ｌ）と教示クラスと教示個数とを表す
教示データとしてのベクトル値zi（ｉ＝１〜Ｌ）とを多
変量解析を用いて解析して統計的特徴抽出データの学習
を行い次式により学習結果行列Ａを演算し、 Ａ＝Rxx^-1・Rxz ここに、 この学習結果Ａを使って未知の入力画像のクラス毎の個
数を同時計測する方法であって、未知の入力画像に対応
して得られた初期特徴ｘを使って式ｙ＝Axで演算された
ベクトル値ｙ（y1,…,yk）から入力画像のクラス毎の個
数を同時計測するようにしたことを特徴とする適応学習
型汎用画像計測方法。2. A large number of basic initial features x that are invariant with respect to translation of an object captured in an image frame and have additive properties with respect to a screen are extracted, and the extracted initial feature vectors xi (i = 1 to 1) are extracted. L) and the vector value zi (i = 1 to L) as the teaching data representing the teaching class and the teaching number are analyzed using multivariate analysis to learn the statistical feature extraction data, and the learning result is obtained by the following equation. Calculate the matrix A, A = Rxx ^-1 · Rxz where: This is a method of simultaneously measuring the number of unknown input images for each class using the learning result A, and is calculated by an equation y = Ax using an initial feature x obtained corresponding to the unknown input image. An adaptive learning type general-purpose image measurement method, wherein the number of input images for each class is simultaneously measured from vector values y (y1,..., Yk).