JPH05280960A - Defect inspection device - Google Patents
Defect inspection deviceInfo
- Publication number
- JPH05280960A JPH05280960A JP4103544A JP10354492A JPH05280960A JP H05280960 A JPH05280960 A JP H05280960A JP 4103544 A JP4103544 A JP 4103544A JP 10354492 A JP10354492 A JP 10354492A JP H05280960 A JPH05280960 A JP H05280960A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- layer
- neural network
- shape
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、検査対象を走査して得
られる画像信号を用いて欠陥の形状や等級を識別する欠
陥検査装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a defect inspection apparatus for identifying the shape and grade of a defect by using an image signal obtained by scanning an inspection object.
【0002】[0002]
【従来の技術】鋼板やプラスチックフィルムや紙などの
表面を光学的に走査して、その表面のキズあるいは内部
の欠陥等を検出する欠陥検査装置が公知である。ここに
従来は検査対象を走査して得た画像信号を予め設定され
たしきい値と比較し、画像信号がこのしきい値を超える
時又は小さい時に欠陥であると判断していた(例えば特
願平3−60754号等参照)。2. Description of the Related Art A defect inspection apparatus is known which optically scans the surface of a steel plate, plastic film, paper or the like to detect scratches on the surface or internal defects. Here, conventionally, an image signal obtained by scanning an inspection object is compared with a preset threshold value, and when the image signal exceeds or is smaller than this threshold value, it is determined to be a defect (for example, See Japanese Patent Application No. 3-60754, etc.).
【0003】また検出した欠陥の形状や種類などを判別
できるようにした装置も提案されている。例えば欠陥か
ら得られる特徴量を基に欠陥の判別論理を構築し、これ
によって欠陥の種類を判別するものである。There has also been proposed an apparatus capable of discriminating the shape and type of the detected defect. For example, a defect discrimination logic is constructed based on the feature amount obtained from the defect, and the defect type is discriminated by this.
【0004】[0004]
【従来技術の問題点】しかしこの場合には、欠陥の特徴
量から期待される判別結果を得るための判別論理を人間
が試行錯誤的に構築しなければならず、適切な論理を構
築するためには、多大な手間を必要とした。However, in this case, it is necessary for a human to construct a discriminant logic for obtaining a discriminant result expected from a defect feature amount by trial and error, and in order to construct an appropriate logic. Requires a lot of work.
【0005】[0005]
【発明の目的】従って本発明は、学習デ−タを用いて学
習を行うことにより、短時間の内に適切な欠陥識別アル
ゴリズムが得られるようにした欠陥検査装置を提供する
ことを目的とする。SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide a defect inspection apparatus capable of obtaining an appropriate defect identification algorithm within a short time by performing learning using learning data. ..
【0006】[0006]
【発明の構成】本発明によればこの目的は、検査対象を
走査して得た画像信号を微分フィルタを含む空間フィル
タリング処理した微分画像を用いて検査対象の欠陥を含
む領域を抽出し、欠陥の形状のカテゴリを識別する欠陥
検査装置において、前記欠陥の少くとも長さと幅と面積
とを含む特徴量を求める特徴量計測処理手段と、前記特
徴量を入力として欠陥の形状のカテゴリを識別するニュ
ーラルネットワークとを備えることを特徴とする欠陥検
査装置により達成される。According to the present invention, an object of the present invention is to extract a region including a defect of an inspection target by using a differential image obtained by subjecting an image signal obtained by scanning the inspection target to spatial filtering processing including a differential filter. In the defect inspection apparatus for identifying the shape category, feature quantity measurement processing means for obtaining a feature quantity including at least the length, width, and area of the defect, and identifying the shape category of the defect by inputting the feature quantity It is achieved by a defect inspection device characterized by comprising a neural network.
【0007】すなわち欠陥の形状識別にニューラルネッ
トワークを用いたものである。ここにこのニューラルネ
ットワークは、3層構造とし、入力層のユニット数を少
くとも長さ、幅、面積を含む特徴量を成分とする特徴ベ
クトルの次元数に一致させ、中間層のユニット数を特徴
空間上での識別平面数に一致させ、出力層のユニット数
を形状のカテゴリの数に一致させたものである。That is, a neural network is used to identify the shape of a defect. Here, this neural network has a three-layer structure, and the number of units in the input layer is made equal to the number of dimensions of a feature vector having a feature amount including a length, width, and area as a component, and the number of units in the middle layer is characterized. The number of units in the output layer is made to coincide with the number of shape categories, and the number of identification planes in space is made to coincide.
【0008】更に欠陥の等級識別にニューラルネットワ
ークを用いる。この場合もニューラルネットワークを3
層構造とし、入力層のユニット数を少くとも欠陥の面積
と濃度情報を含む特徴量を成分とする特徴ベクトルの次
元数に、中間層のユニット数をこの特徴ベクトルの特徴
空間上での識別平面数に、出力層のユニット数を等級の
カテゴリ数にそれぞれ一致させるものである。Further, a neural network is used for classifying defects. Also in this case, the neural network is 3
It is a layered structure, and the number of units in the input layer is at least the dimension number of the feature vector that has the feature amount including defect area and concentration information as the component, and the number of units in the intermediate layer is the identification plane in the feature space of this feature vector. The number of units in the output layer matches the number of categories in the class.
【0009】なおニューラルネットワークの学習時に与
える教師信号をメンバーシップ関数により求めた確信度
で与え、形状あるいは等級のカテゴリの識別結果にこの
メンバーシップ関数により決まる確信度を付加するよう
にしてもよい。The teacher signal given at the time of learning of the neural network may be given by the certainty factor obtained by the membership function, and the certainty factor determined by the membership function may be added to the identification result of the shape or grade category.
【0010】[0010]
【実施例】図1は本発明の第1の実施例のブロック図、
図2はその一部の詳細ブロック図、図3は閾値TH1の
決定法の一例の説明図、図4は閾値TH2の決定法の一
例の説明図、図5は閾値TH3の説明図である。FIG. 1 is a block diagram of a first embodiment of the present invention,
2 is a detailed block diagram of a part thereof, FIG. 3 is an explanatory diagram of an example of a method of determining the threshold TH1, FIG. 4 is an explanatory diagram of an example of a method of determining the threshold TH2, and FIG. 5 is an explanatory diagram of the threshold TH3.
【0011】図1において、符号10は鋼板、紙、プラ
スチックフィルムなどの検査対象であり、この検査対象
10は供給ロール12から巻取りロール14に送られ
る。この巻取りロール14は巻取りモータ16により駆
動される。この検査対象10の送り中にフライングスポ
ット方式による画像検出手段18によって表面の画像が
読取られる。In FIG. 1, reference numeral 10 is an inspection object such as a steel plate, paper, and a plastic film, and the inspection object 10 is sent from a supply roll 12 to a winding roll 14. The winding roll 14 is driven by a winding motor 16. While the inspection object 10 is being fed, the image on the surface is read by the image detecting means 18 of the flying spot type.
【0012】この画像検出手段18は、レーザー光源2
0から射出されるレーザ光からなる走査ビームLを、モ
ータ22により回転される回転ミラー(ポリゴナルミラ
ー)24によって検査対象10の幅方向に一定の速度で
走査(主走査)する一方、検査対象10の表面による反
射光を受光ロッド26によって一対の受光器28(28
a、28b)に導いて受光するものである。すなわち受
光ロッド26は走査ビームLの主走査ライン30に近接
してこれに平行に配設され、反射光を受光すると受光ロ
ッド26の内面で全反射させてその両端に導き、フォト
マルチプライヤ(光電子増倍管)などの受光器28によ
り受光量が検出される。The image detecting means 18 is a laser light source 2.
The scanning beam L composed of the laser light emitted from 0 is scanned (main scanning) in the width direction of the inspection object 10 at a constant speed by the rotating mirror (polygonal mirror) 24 rotated by the motor 22 while the inspection object is inspected. The light reflected by the surface of 10 is received by a pair of light receivers 28 (28).
a, 28b) to receive light. That is, the light-receiving rod 26 is disposed close to and parallel to the main scanning line 30 of the scanning beam L, and when the reflected light is received, the light-receiving rod 26 is totally reflected by the inner surface of the light-receiving rod 26 and guided to both ends thereof, and the photomultiplier (photoelectron The amount of light received is detected by a light receiver 28 such as a multiplier.
【0013】各受光器28が出力する画像信号はプリア
ンプ、メインアンプで増幅され、また波形整形されてア
ナログ画像信号a1 、a2 となる。各信号a1 、a2 に
は、連続する異なる主走査ライン30に対応する信号
が、時間軸方向に一定時間毎に現れている。The image signal output from each photodetector 28 is amplified by a preamplifier and a main amplifier, and waveform-shaped into analog image signals a 1 and a 2 . In each of the signals a 1 and a 2 , signals corresponding to successive different main scanning lines 30 appear at regular time intervals in the time axis direction.
【0014】各信号a1 、a2 は走査ビームLの主走査
ライン30上の走査位置から遠くなるとレベルが低下
し、反対に走査位置に近くなるとレベルが上昇するよう
に変化する。そこでこの実施例では、両信号a1 、a2
は加算手段32で加算され、主走査ライン30上の走査
位置の変化による影響が除去されて信号a3 となる。こ
の信号a3 は、走査ビームLの検査対象10表面への入
射角度の変化、検査対象10表面のむらや地合い、導光
ロッド26内での減衰などのために、その出力レベルが
大きく湾曲している。The levels of the signals a 1 and a 2 change such that the level decreases when the scanning beam L is far from the scanning position on the main scanning line 30, and conversely the level increases when the scanning beam L approaches the scanning position. Therefore, in this embodiment, both signals a 1 and a 2
Are added by the adding means 32, and the influence due to the change of the scanning position on the main scanning line 30 is removed to become the signal a 3 . The output level of the signal a 3 is greatly curved due to a change in the incident angle of the scanning beam L on the surface of the inspection object 10, unevenness or texture of the surface of the inspection object 10, attenuation in the light guide rod 26, and the like. There is.
【0015】この加算された信号a3 はA/D変換手段
34においてデジタル信号a4 に変換される。例えば2
56階調の濃度信号a4 に変換される。そしてラインメ
モリ(図示せず)にメモリされる。The added signal a 3 is converted into a digital signal a 4 in the A / D conversion means 34. Eg 2
It is converted into a density signal a 4 of 56 gradations. Then, it is stored in a line memory (not shown).
【0016】A/D変換された信号a4 は濃度変換手段
36で濃度変換され、微分フィルタ38に入力されて空
間フィルタリング処理される。濃度変換手段36は所定
の変換テーブルにより信号a4 を例えば256階調の範
囲内で適切な濃度分布に変換する。微分フィルタ38は
注目画素を中心とする例えば3×3画素領域に所定の重
み係数をもった空間フィルタを重ね、対応する画素同志
の積を求め、これらの総和を出力とするものである。The A / D-converted signal a 4 is density-converted by the density converting means 36, is input to the differential filter 38, and is spatially filtered. The density converting means 36 converts the signal a 4 into an appropriate density distribution within a range of 256 gradations by using a predetermined conversion table. The differential filter 38 superimposes a spatial filter having a predetermined weighting coefficient on, for example, a 3 × 3 pixel area centered on the pixel of interest, calculates the product of the corresponding pixels, and outputs the sum of these.
【0017】これら濃度変換手段36および微分フィル
タ38については、特願平3−60754号等に詳細に
説明されているから、ここでは繰り返さない。なお濃度
変換手段36を省いて信号a4 を直接微分フィルタ38
に入力してもよい。微分フィルタ38で空間フィルタリ
ング処理をした信号a5 は、信号a4 にあった低周波成
分が除去されて欠陥の輪郭が強調されている。そしてこ
の信号a5 は微分画像A0 を形成するものである。The density converting means 36 and the differential filter 38 have been described in detail in Japanese Patent Application No. 3-60754, and will not be repeated here. The density converting means 36 is omitted and the signal a 4 is directly differentiated by the differential filter 38.
You may enter in. The signal a 5 spatially filtered by the differential filter 38 has the low-frequency component in the signal a 4 removed to enhance the contour of the defect. This signal a 5 forms the differential image A 0 .
【0018】40は欠陥アドレス検出手段であり、例え
ばこの信号a5 を閾値TH0と比較し、a5 >TH0
(またはa5 <TH0)の時に欠陥と判断する。そして
この欠陥を検出すると、この欠陥のアドレスAdが求め
られメモリされる。このアドレスAdは速度検出器(パ
ルスジェネレータ)42、モータ22の回転角から求め
る。なお、信号a5 を欠陥と判断する方法は、ここで述
べた方法に限定されないものとする。Reference numeral 40 denotes a defective address detecting means, which compares the signal a 5 with a threshold value TH0, and a 5 > TH0.
Determining a defect at the time of (or a 5 <TH0). When this defect is detected, the address Ad of this defect is obtained and stored. This address Ad is obtained from the rotation angle of the speed detector (pulse generator) 42 and the motor 22. The method of determining the signal a 5 as a defect is not limited to the method described here.
【0019】以上のようにして欠陥のアドレスAdを求
めるが、この過程は単に欠陥の有無を判定すればよいの
でここに用いる閾値TH0は後記の閾値TH3などに比
べて高く、すなわち欠陥の信号レベルに接近したレベル
に設定され、ノイズによる誤検出を防止している。The address Ad of the defect is obtained as described above. In this process, the presence or absence of the defect may be simply determined, so the threshold TH0 used here is higher than the threshold TH3 described later, that is, the signal level of the defect. It is set to a level close to to prevent erroneous detection due to noise.
【0020】[0020]
【2値化処理手段】一方微分フィルタ38の出力信号a
5 が形成する画像すなわち微分画像A0 は2値化処理手
段42に入力される。この手段42は図2に示すように
第1の閾値TH1と、第2の閾値TH2とから、第3の
閾値TH3を求め、この第3の閾値TH3を用いて信号
a5 を2値化するものである。[Binarization processing means] Output signal a of the differential filter 38
The image formed by 5, that is, the differential image A 0 is input to the binarization processing means 42. As shown in FIG. 2, this means 42 obtains a third threshold TH3 from the first threshold TH1 and the second threshold TH2, and binarizes the signal a 5 using the third threshold TH3. It is a thing.
【0021】第1の閾値TH1はこの微分画像の全体の
濃度分布から決めるものであり、例えば図3に示す濃度
のヒストグラムを用いて決めることができる。この図3
で濃度の分布幅がxであれば、これを用いて度数の閾値
N(TH1)を N(TH1)=(全度数)/f(x) により求める。The first threshold value TH1 is determined from the overall density distribution of this differential image, and can be determined using, for example, the density histogram shown in FIG. This Figure 3
If the distribution width of density is x, the frequency threshold N (TH1) is calculated by using N (TH1) = (total frequency) / f (x).
【0022】ここにf(x)は分布幅xの関数であり、
xの2次関数などで決める。そして度数の閾値N(TH
1)となるヒストグラムの濃度TH1を第1の閾値とす
れば、これは微分画像全体の濃度分布が反映された閾値
となる。なお、このN(TH1)の値は予め実験的に求
めておき、欠陥検出処理の過程では定数として扱っても
よい。Where f (x) is a function of the distribution width x,
It is determined by a quadratic function of x or the like. The frequency threshold N (TH
If the density TH1 of the histogram 1) is used as the first threshold value, this is a threshold value that reflects the density distribution of the entire differential image. The value of N (TH1) may be obtained experimentally in advance and treated as a constant in the process of defect detection processing.
【0023】第2の閾値TH2は、注目画素の近傍領域
の濃度平均値から得られるものである。例えば図4に示
すように、注目画素を中心とする3×3の画素の濃度d
の総和Σdn を求め、これを画素数9で割ることにより
求めることができる。The second threshold value TH2 is obtained from the average density value of the area near the target pixel. For example, as shown in FIG. 4, the density d of a 3 × 3 pixel centered on the pixel of interest
Can be obtained by obtaining the total sum Σd n of and dividing this by the number of pixels 9.
【0024】第3の閾値TH3はこれら第1、第2の閾
値TH1およびTH2を用いて決める。例えばkを定数
として TH3=TH1−k(TH1−TH2) により決める。この定数kは地合いの程度などを考慮し
て予め実験的に決めておく。The third threshold TH3 is determined using these first and second thresholds TH1 and TH2. For example, with k as a constant, TH3 = TH1-k (TH1-TH2) is determined. This constant k is experimentally determined in advance in consideration of the degree of texture.
【0025】2値化処理手段42では、この微分画像A
0 の各画素ごとに決まる第3の閾値TH3を微分画像A
0 の各画素の濃度と比較することにより(比較手段4
4)、2値画像A1 を求める。この2値画像A1 は、微
分画像A0 (信号a5 )の画素濃度がTH3以上の領域
が例えば“1”に、それ以外の領域が例えば“0”にな
った画像であり、本当の欠陥の領域だけでなくノイズに
より欠陥と判定された領域も含むものである。In the binarization processing means 42, the differential image A
The third threshold TH3 determined for each pixel of 0 is set to the differential image A
By comparing with the density of each pixel of 0 (comparing means 4
4) Obtain the binary image A 1 . This binary image A 1 is an image in which the area of the differential image A 0 (signal a 5 ) in which the pixel density is TH3 or more is, for example, “1”, and the other area is, for example, “0”. It includes not only the defective area but also the area determined to be defective due to noise.
【0026】この2値化処理手段42の作用を図5によ
ってさらに説明する。図5の(A)は全体の閾値TH1
に対し、注目画素近傍の濃度平均値TH2を重ねて表し
たものであり、両者の差(TH1−TH2)を示す。図
5の(B)はTH1からこの差に定数kを掛けた曲線k
(TH1−TH2)を減算して得たTH3を示す。図5
の(C)は微分画像A0 とこの第3の閾値TH3との関
係を示すものである。The operation of the binarization processing means 42 will be further described with reference to FIG. FIG. 5A shows the overall threshold TH1.
On the other hand, the density average value TH2 in the vicinity of the pixel of interest is shown in an overlapping manner, and the difference between them (TH1−TH2) is shown. FIG. 5B shows a curve k obtained by multiplying this difference from TH1 by a constant k.
The TH3 obtained by subtracting (TH1-TH2) is shown. Figure 5
(C) shows the relationship between the differential image A 0 and this third threshold value TH3.
【0027】この(C)から明らかなように、微分画像
A0 を2値化する第3の閾値TH3は、画像濃度の大局
的な変化に追従して変動し、微分画像A0 の微小な濃度
変化も取り出すことができる。なおここに用いる定数k
は、0に近いほどTH1の影響が大きく、1に近いほど
TH2の影響が大きくなる。従って地合いの汚い工程で
はkを0に近く、地合いのきれいな工程ではkを1に近
く設定するなどのように、工程に応じてこの2値化処理
を変えることが可能である。As is apparent from this (C), the third threshold value TH3 binarizing the differential image A 0 is to follow the global change of the image density varies and minute of the differential image A 0 The change in concentration can also be taken out. The constant k used here
Is closer to 0, the effect of TH1 is greater, and the closer to 1, the effect of TH2 is greater. Therefore, it is possible to change the binarization process depending on the process, such as setting k close to 0 in a dirty process and k close to 1 in a clean process.
【0028】[0028]
【垂直収縮処理】図2において46は垂直収縮処理手段
である。この手段46は2値画像A1 を垂直方向、すな
わち副走査方向(検査対象10の送り方向)に収縮し、
縦方向の線状欠陥の形状を損なうことなく欠陥部分と背
景ノイズとの連結を除去するものである。[Vertical Shrinkage Processing] In FIG. 2, reference numeral 46 is a vertical shrinkage processing means. This means 46 contracts the binary image A 1 in the vertical direction, that is, the sub-scanning direction (the feeding direction of the inspection object 10),
The connection between the defective portion and the background noise is removed without impairing the shape of the linear defect in the vertical direction.
【0029】図6はこの手段46のアルゴリズムを説明
する図、図7はその処理の前後の画像を示す図である。
この処理では、処理対象画素X0 の上下2近傍画素X
1 、X2 の値を用いて、処理後の画素X0 ′を、X0 、
X1 、X2 のいずれかが0の時には0に、全てが1の時
に1にする。ここで“1”は欠陥がある画素を、“0”
は背景となる画素とする。この処理を全ての画素に対し
てラスタ走査順に行う。この結果図7に示すように縦方
向に連続する領域のみが残り、横方向にのびる領域や点
状のノイズが消去される。FIG. 6 is a diagram for explaining the algorithm of this means 46, and FIG. 7 is a diagram showing images before and after the processing.
In this processing, the upper and lower two neighboring pixels X of the processing target pixel X 0 are
Using the values of 1 and X 2 , the processed pixel X 0 ′ is converted into X 0 ,
Set to 0 when either X 1 or X 2 is 0, and set to 1 when all are 1. Here, "1" indicates a defective pixel and "0"
Is a background pixel. This process is performed for all pixels in raster scan order. As a result, as shown in FIG. 7, only the vertically continuous region remains, and the horizontally extended region and dot noise are erased.
【0030】なおこの垂直収縮処理は、前記2値化処理
手段のkの値が0に近い場合や欠陥が縦方向だけでなく
横方向にも多く発生する場合には省いてもよい。また以
上の説明では縦方向に連続する欠陥を残すものとしてい
るが、横方向(主走査方向)に連続する欠陥を残す場合
には図6の上下2近傍X1 、X2 に代えて、左右2近傍
の画素を用いて同様な処理を行えばよい。The vertical contraction processing may be omitted when the value of k of the binarization processing means is close to 0 or when many defects occur not only in the vertical direction but also in the horizontal direction. Further, in the above description, it is assumed that defects that are continuous in the vertical direction are left, but when defects that are continuous in the horizontal direction (main scanning direction) are left, the left and right sides of the upper and lower two neighborhoods X 1 and X 2 in FIG. Similar processing may be performed using pixels in the vicinity of two.
【0031】[0031]
【欠陥領域抽出手段】図1、2において48は欠陥領域
抽出手段である。この手段48は、2値化処理で得られ
た2値画像A1 から、前記欠陥アドレス検出手段40で
得た欠陥のアドレスAdが含まれる連続領域を抽出す
る。そして2値画像A1 のうち、このアドレスAdが含
まれていない領域は欠陥でないとして除去するものであ
る。[Defective Area Extracting Means] In FIGS. 1 and 2, reference numeral 48 is a defective area extracting means. This means 48 extracts a continuous area containing the address Ad of the defect obtained by the defect address detecting means 40 from the binary image A 1 obtained by the binarization process. Then, the area of the binary image A 1 which does not include the address Ad is removed because it is not a defect.
【0032】図8はこの処理のアルゴリズム説明図、図
9はこの処理の前後の画像を示す図である。この処理は
次のように行われる。まず欠陥アドレス検出手段40に
より欠陥アドレスAdで指定された画素、すなわち欠陥
信号が発生した画素(欠陥画素)を着目点として以下の
処理を行う。FIG. 8 is a diagram for explaining the algorithm of this process, and FIG. 9 is a diagram showing images before and after this process. This process is performed as follows. First, the following processing is performed with the pixel designated by the defective address Ad by the defective address detecting means 40, that is, the pixel (defective pixel) in which the defective signal is generated, as the point of interest.
【0033】この着目点の座標を記録し、対応する画
素にラベルを付ける。 図8に示した探索順に2値画像A1 内の欠陥画素でか
つまだラベルが付いていない画素を見つける。 見つかったら着目点をその画素に移し、へ戻る。 見つからなかったら着目点を一つ前の着目点に戻し、
へ戻る。The coordinates of this point of interest are recorded and the corresponding pixel is labeled. A defective pixel in the binary image A 1 which is not yet labeled is found in the search order shown in FIG. When found, the point of interest is moved to the pixel and the process returns to. If not found, return the point of interest to the previous point of interest,
Return to.
【0034】〜の手順を、領域中にラベルが付いて
いない画素が見つからなくなるまで繰り返す。この処理
を、すでにラベル付けされた領域以外の領域のアドレス
(Ad)による欠陥信号全てについて行う。この結果2
値画像A1 の複数の領域のうち、欠陥信号を含む全ての
領域を抽出し、他の領域を除去することができる(図
9)。The procedures from to are repeated until no unlabeled pixels are found in the area. This process is performed for all defective signals due to the address (Ad) of the area other than the already labeled area. This result 2
Of the plurality of areas of the value image A 1 , all the areas including the defect signal can be extracted and the other areas can be removed (FIG. 9).
【0035】[0035]
【形状補正】次にこのように抽出した欠陥を含む領域に
対して、形状補正手段50(図2)による形状補正処理
が施される。この処理は、抽出した領域を後記するよう
に欠陥形状や種類、等級などを認識する際に、処理をし
易くし、認識精度を向上させるために行うものであり、
欠陥領域抽出手段48の出力形式によってはこの手段5
0による処理を省いてもよい。[Shape Correction] Next, shape correction processing is performed by the shape correction means 50 (FIG. 2) on the region including the defect thus extracted. This process is performed in order to facilitate the process and improve the recognition accuracy when recognizing the defect shape, type, grade, etc. as described later on the extracted area.
Depending on the output format of the defect area extraction means 48, this means 5
The processing by 0 may be omitted.
【0036】この形状補正手段50は、図2に示すよう
に膨張処理52と、穴埋め処理54と、収縮処理56と
を含む。図10、11、12はそれぞれ膨張処理52、
穴埋め処理54、収縮処理56のアルゴリズムの説明
図、図13はこれら各処理による画像の変化を示す図で
ある。The shape correction means 50 includes an expansion process 52, a filling process 54, and a contraction process 56 as shown in FIG. 10, 11 and 12 show expansion processing 52,
FIGS. 13A and 13B are explanatory diagrams of algorithms of the hole filling process 54 and the contraction process 56, and FIGS.
【0037】[0037]
【膨張処理】膨張処理52は、断片化された近接する複
数の欠陥領域を連続させたり途切れた輪郭を連結させる
ものである。すなわち図10に示すように、処理対象画
素X 0 を中心とする例えば8近傍の画素X1 〜X8 との
関係から、処理後の画素X0′を、X0 〜X8 のいずれ
かが1の時に1に、X0 〜X8 の全てが0の時に0に変
換する。[Expansion process] The expansion process 52 is a process of adjoining fragmented
Connect several defect areas or connect discontinuous contours
It is a thing. That is, as shown in FIG.
Element X 0 For example, the pixel X in the vicinity of 8 around the1 ~ X8 With
From the relationship, the processed pixel X0′, X0 ~ X8 Which of
1 when X is 1, X0 ~ X8 Changes to 0 when all are 0
Replace.
【0038】なおここで“1”は欠陥がある画素を、
“0”は背景となる画素とする。この処理を各画素ごと
にラスタ走査順に繰り返す。この処理は連続して2回繰
り返すのが望ましい。この結果図13(A)に示す処理
前の画像を(B)に示すように1つの連続した領域にま
とめることができる。Here, "1" indicates a defective pixel,
“0” is a background pixel. This process is repeated for each pixel in raster scan order. It is desirable to repeat this process twice consecutively. As a result, the unprocessed image shown in FIG. 13A can be combined into one continuous area as shown in FIG. 13B.
【0039】[0039]
【穴埋め処理】穴埋め処理54は、図13の(B)に示
すように画像に穴がある場合に、この穴を埋めるもので
ある。すなわち図11に示すように、背景と同じ“0”
の画素で形成され画像の縁に連続しない領域を穴の領域
と判定し、この穴の領域を欠陥と同じ“1”の画素に変
えるものである。この処理により図13の(B)に示す
穴は(C)に示すように埋められる。[Blank Filling Process] The hole filling process 54 fills a hole in an image when the hole is present in the image as shown in FIG. That is, as shown in FIG. 11, the same "0" as the background
The area formed by the pixels of # 1 and # 2 that is not continuous with the edge of the image is determined as a hole area, and this hole area is changed to the pixel of "1" which is the same as the defect. By this processing, the hole shown in FIG. 13B is filled in as shown in FIG.
【0040】[0040]
【収縮処理】収縮処理56は膨張処理52によって膨張
し肥大化した欠陥の画像を元の大きさに戻すものであ
る。この処理のアルゴリズムは、図12に示すように処
理対象画素X0 を中心とする例えば8近傍の画素X1 〜
X8 との関係から、処理後の画素X0 ′を、X0 〜X8
のいずれかが0の時に0とし、X0 〜X8 の全てが1の
時に1とする変換を行うものである。[Shrinking Process] The shrinking process 56 is to restore the image of the defect expanded and enlarged by the expansion process 52 to the original size. The algorithm of the processing is centered on the target pixel X 0 as shown in FIG. 12, for example eight neighboring pixels X 1 ~
From the relationship with X 8 , the processed pixel X 0 ′ is converted into X 0 to X 8
Is converted to 0 when any one of them is 0, and is converted to 1 when all of X 0 to X 8 are 1.
【0041】ここに“1”は欠陥のある画素を、“0”
は背景となる画素を示す。この処理を各画素ごとにラス
タ走査順に繰り返す。この処理は前記膨張処理52の繰
り返し回数と同回数すなわち2回繰り返す。この結果図
13の(D)のように、形状補正された欠陥を含む領域
(欠陥領域)だけが抽出された画像(欠陥画像A2 )が
出力される。Here, "1" indicates a defective pixel and "0".
Indicates a background pixel. This process is repeated for each pixel in raster scan order. This process is repeated the same number of times as the expansion process 52, that is, twice. As a result, as shown in (D) of FIG. 13, an image (defect image A 2 ) in which only an area (defect area) including a shape-corrected defect is extracted is output.
【0042】[0042]
【画像計測処理】以上のように欠陥領域だけが抽出され
た画像A2 は、画像計測処理手段58に入力され、領域
分割処理60によって欠陥ごとに領域分割され、さらに
特徴量計測処理62によって、分割されたそれぞれの欠
陥の特徴量が求められる。[Image measurement processing] The image A 2 in which only the defect area is extracted as described above is input to the image measurement processing means 58, divided into areas by the area division processing 60, and further, by the feature amount measurement processing 62. The feature amount of each divided defect is obtained.
【0043】領域分割処理60は、例えば欠陥画像A2
のx軸方向およびy軸方向へ投影された周辺分布情報を
用いて欠陥領域の分布を調べることにより、複数の欠陥
領域を分割する。The area division processing 60 is performed by, for example, the defect image A 2
A plurality of defect areas are divided by examining the distribution of the defect areas by using the peripheral distribution information projected in the x-axis direction and the y-axis direction.
【0044】[0044]
【特徴量計測処理】特徴量計測処理62は、分割された
欠陥領域ごとの面積、長さ、幅、方向、濃度平均値、極
性(正または負)等の特徴量を求める。図14および図
15はこれらの特徴量の概念を示すものである。図14
の(A)は欠陥Dの面積を示し、欠陥Dに含まれる画素
数を計測する。長さは、図14(B)のように欠陥Dの
絶対最大長から求める。幅は、図14(C)のようにこ
の(B)で求めた最大長に垂直な方向での最大幅から求
める。[Feature amount measurement process] The feature amount measurement process 62 obtains a feature amount such as area, length, width, direction, density average value, polarity (positive or negative) for each of the divided defect areas. 14 and 15 show the concept of these feature quantities. 14
(A) indicates the area of the defect D, and the number of pixels included in the defect D is measured. The length is obtained from the absolute maximum length of the defect D as shown in FIG. The width is obtained from the maximum width in the direction perpendicular to the maximum length obtained in (B) as shown in FIG. 14 (C).
【0045】方向は、図14(D)に示すように垂直フ
ィレ径と水平フィレ径とを比較することにより、 (垂直フィレ径)≧(水平フィレ径)なら縦 (垂直フィレ径)<(水平フィレ径)なら横 と判定する。By comparing the vertical fillet diameter and the horizontal fillet diameter as shown in FIG. 14D, the direction is vertical if (vertical fillet diameter) ≧ (horizontal fillet diameter) (vertical fillet diameter) <(horizontal fillet diameter) If it is (fillet diameter), it is judged to be horizontal.
【0046】濃度平均値は次のように求める。図15は
この濃度平均値の測定概念を示す。まず欠陥と背景とを
2値化して欠陥領域を抽出し塗り潰した画像すなわち欠
陥画像A2 をマスク画像とする。そして原画像との間で
論理演算を行う。この結果原画像から欠陥部分だけが切
り抜かれた濃淡画像が得られる。ここに原画像は図1の
A/D変換34の出力信号a4による画像や、微分画像
A0 を用いることができる。この欠陥部分の欠陥濃度平
均値と、これ以外の背景部分の背景濃度平均値とを求
め、両者の差を濃度平均値として用いる。すなわち (濃度平均値)=|(欠陥濃度平均値)−(背景濃度平
均値)|The density average value is obtained as follows. FIG. 15 shows the concept of measuring this average density value. First, the defect and the background are binarized to extract a defective region and fill it, that is, the defect image A 2 is used as a mask image. Then, a logical operation is performed with the original image. As a result, a grayscale image is obtained in which only the defective portion is cut out from the original image. Here, as the original image, an image based on the output signal a4 of the A / D conversion 34 in FIG. 1 or a differential image A 0 can be used. The defect density average value of this defect portion and the background density average value of the other background portions are obtained, and the difference between them is used as the density average value. That is, (density average value) = | (defect density average value) − (background density average value) |
【0047】なお極性は、これらの欠陥および背景の濃
度平均値を用いて、 (欠陥濃度平均値)−(背景濃度平均値)≧0なら白、 (欠陥濃度平均値)−(背景濃度平均値)<0なら黒 と判定する。For the polarity, the average density value of these defects and the background is used, and if (defect density average value) − (background density average value) ≧ 0, white, (defect density average value) − (background density average value) ) <0, it is determined to be black.
【0048】[0048]
【画像認識処理】このように欠陥の特徴量が求められる
と、次に画像認識処理手段64においてこの欠陥の形状
を求め、その欠陥の等級を判別して最終的に欠陥に対す
る総合判定を下す。[Image recognition processing] When the feature amount of the defect is obtained in this way, the shape of the defect is then obtained in the image recognition processing means 64, the grade of the defect is discriminated, and finally a comprehensive judgment is made for the defect.
【0049】[0049]
【形状認識処理】欠陥の形状は形状認識処理66により
行われる。この処理66は、ニューラルネットワークに
よる認識法により欠陥形状の大分類を行い、さらに決定
木による認識法により欠陥形状ごとに細分類を行うよう
に、2段階に処理する。[Shape Recognition Processing] The shape of the defect is processed by the shape recognition processing 66. This processing 66 is performed in two steps such that the defect shape is roughly classified by the neural network recognition method, and further the defect shape is finely classified by the decision tree recognition method.
【0050】[0050]
【ニューラルネットワーク】図16は特徴空間上におけ
る形状のカテゴリ(点、線、面など)の分布を示す図で
ある。ここでは特徴量として「面積」と「幅/長さ」を
用い、これらを軸とする2次元特徴空間を決める。[Neural Network] FIG. 16 is a diagram showing distribution of shape categories (points, lines, surfaces, etc.) in the feature space. Here, "area" and "width / length" are used as the feature quantities, and a two-dimensional feature space having these axes is determined.
【0051】この特徴空間上に、これらから識別しよう
とする形状のカテゴリを配置する。そして点・面・線の
各カテゴリの境界となる識別平面FP を仮定する。この
例では3つの識別平面FP1、FP2、FP3が存在する。こ
れらの特徴量は、[0,1.0]の範囲内に収めるた
め、正規化定数によって正規化しておく。On this feature space, categories of shapes to be identified from these are arranged. Then, an identification plane F P that serves as a boundary between each category of points, planes, and lines is assumed. In this example, there are three identification planes F P1 , F P2 and F P3 . Since these feature quantities are within the range of [0, 1.0], they are normalized by the normalization constant.
【0052】ニューラルネットワークは、「面積」と
「幅/長さ」の2つの特徴量を入力とし、2次元特徴空
間上で3つの識別平面FP により点・面・線の3つのカ
テゴリの分類を行う。従ってこの場合のニューラルネッ
トワークは、図17に示すように入力層、中間層、出力
層の3層構造として、入力層のユニット数を特徴量すな
わち特徴空間の次元数2とし、中間層のユニット数を識
別平面の数3とし、出力層のユニット数を点・線・面の
カテゴリ数3とする。The neural network inputs two feature quantities, "area" and "width / length", and classifies three categories of points, planes, and lines by three identification planes F P in the two-dimensional feature space. I do. Therefore, the neural network in this case has a three-layer structure of an input layer, an intermediate layer, and an output layer, as shown in FIG. 17, and sets the number of units in the input layer to the feature quantity, that is, the dimension number 2 of the feature space. Is the number of identification planes, and the number of units in the output layer is the number of categories of dots, lines, and planes.
【0053】各層のユニットは図18に示す入出力関係
を持つ。このユニットへの入力が(x1 、x2 …、x
n )であればその入出力動作は次式に従う。 u=Σωi xi −θ …(Σはi=1からnまでの総和
の意) z=f(u) ここにωi は重み係数、θはしきい値、fは応答関数で
ある。またuは内部ポテンシャル(膜電位)である。The units of each layer have the input / output relationship shown in FIG. The inputs to this unit are (x 1 , x 2 ..., x
If n ), the input / output operation follows the following equation. u = Σω i x i −θ (Σ is the sum of i = 1 to n) z = f (u) where ω i is a weighting coefficient, θ is a threshold value, and f is a response function. Further, u is an internal potential (membrane potential).
【0054】出力zとなる応答関数f(u)は0と1の
2つの値を許す2値モデル(線形しきい値素子モデル)
としてもよいが、この実施例では図19に示すシグモイ
ド(s字形)関数を用いた連続値形モデルとする。シグ
モイド関数として代表的なものは、 f(u)=1/{1+exp(−2u/u0 )} である。ここにu0 は定数である。The response function f (u) which is the output z is a binary model which allows two values of 0 and 1 (linear threshold element model).
However, in this embodiment, a continuous value model using the sigmoid (s-shaped) function shown in FIG. 19 is used. A typical sigmoid function is f (u) = 1 / {1 + exp (−2u / u 0 )}. Where u 0 is a constant.
【0055】入力層の2つのユニットには、それぞれ
「面積」、「幅/長さ」の特徴量が入力される。これら
の入力は前記したユニットの入出力関係(図18)に従
って動作し、中間層を経て出力層へ向けて処理されてい
く。出力層の3つのユニットはそれぞれ点・線・面のカ
テゴリに対応しているから、この出力が最大となるユニ
ットを選出し、このユニットが対応するカテゴリを分類
結果とする。なおユニット間の重み係数ωi の値は予め
学習によって得られているものとし、この処理の前に予
めネットワークに設定されているものとする。The feature values of "area" and "width / length" are input to the two units of the input layer, respectively. These inputs operate according to the input / output relationship (FIG. 18) of the unit described above, and are processed toward the output layer through the intermediate layer. Since the three units in the output layer respectively correspond to the categories of dots, lines, and planes, the unit with the maximum output is selected and the category corresponding to this unit is used as the classification result. The value of the weighting coefficient ω i between units is assumed to be obtained by learning in advance, and is set to the network in advance before this processing.
【0056】[0056]
【決定木】以上のようにして形状のカテゴリ(点・線・
面)が識別されると、次に決定木を用いて各欠陥形状ご
とに細分類を行う。この決定木は例えば図20の
(A)、(B)、(C)で示す判断ツリーとする。ここ
に各欠陥形状ごとの細分類に使用する特徴量と分類カテ
ゴリは次の表の通りである。[Decision tree] As described above, shape categories (dots, lines,
When the face) is identified, a decision tree is then used to subdivide each defect shape. This decision tree is, for example, the decision tree shown in (A), (B), and (C) of FIG. The feature amounts and classification categories used for fine classification for each defect shape are shown in the following table.
【0057】[0057]
【表1】 [Table 1]
【0058】ツリーの各ノードに予め設定されている閾
値と特徴量とを比較し、その結果に応じて進路を選択し
てゆく。そして終端にたどり着いたら、そこに対応づけ
られているカテゴリを細分類の結果とする。なおこの結
果には、形状のカテゴリに関するものではないが、前記
特徴量計測手段62で欠陥の極性を求めた場合にはこの
極性に関する情報も付加するのが望ましい。The threshold value preset in each node of the tree is compared with the feature quantity, and the course is selected according to the result. When the end is reached, the category associated therewith is used as the result of subclassification. Although the result does not relate to the shape category, it is desirable to add information on the polarity of the defect when the feature amount measuring unit 62 obtains the polarity of the defect.
【0059】[0059]
【等級認識処理】欠陥の等級は等級認識処理68により
行われる。この処理68は、検出した欠陥の形状ごとに
例えば欠陥の「面積」、「濃度平均値」の2つの特徴量
を用い、ニューラルネットワークを用いて欠陥の等級を
軽、中、重の3つのレベルに分けることができる。[Grade Recognition Processing] The grade of the defect is performed by the grade recognition processing 68. This processing 68 uses two feature quantities, for example, "area" and "density average value" of the defect for each detected defect shape, and uses a neural network to classify the defect into three levels: light, medium, and heavy. Can be divided into
【0060】図21はここで用いるニューラルネットワ
ークに用いる特徴空間上の等級のカテゴリ(軽・中・
重)の分布を示す図、図22はニューラルネットワーク
の構造図である。この特徴空間は、「面積」と「濃度平
均値」を軸とする2次元空間である。FIG. 21 shows the categories of the grades in the feature space used for the neural network used here (light / medium /
FIG. 22 is a structural diagram of the neural network. This feature space is a two-dimensional space having "area" and "density average value" as axes.
【0061】この特徴空間上に識別しようとする等級の
カテゴリを配置し、各カテゴリの境界となる識別面FG
を仮定する。この例では2つの識別面FG1、FG2が存在
する。なおここで用いる特徴量は、[0,1.0]の範
囲内に収めるために正規化定数によって正規化してお
く。The categories of the grade to be discriminated are arranged on this feature space, and the discrimination plane F G which is the boundary of each category is arranged.
Suppose In this example, there are two identification planes F G1 and F G2 . Note that the feature amount used here is normalized by a normalization constant so as to be within the range of [0, 1.0].
【0062】このような識別面FG を導くためのニュー
ラルネットワークの構造は図22のように3層構造とす
ることができる。ここに入力層のユニット数は特徴空間
の次元に対応して2、中間層のユニット数は識別面FG
の数に対応して2、出力層のユニット数をカテゴリ(軽
・中・重)に対応して3とする。The structure of the neural network for deriving such an identification plane F G can be a three-layer structure as shown in FIG. Here, the number of units in the input layer is 2 corresponding to the dimension of the feature space, and the number of units in the intermediate layer is the identification plane F G.
The number of units in the output layer is set to 3 in accordance with the category (light / medium / heavy).
【0063】このニューラルネットワークは、6種類用
意される。すなわち前記形状認識処理66における形状
認識用ニューラルネットワーク(図17)で分類された
形状(点・線・面)と、極性(正・負)との組み合わせ
で6つの種類ごとに用意される。従って形状の大分類
(図17)の結果と極性に基づいて、使用する等級のニ
ューラルネットワークを選択する。Six types of neural networks are prepared. That is, combinations of shapes (points / lines / planes) classified by the shape recognition neural network (FIG. 17) in the shape recognition processing 66 and polarities (positive / negative) are prepared for each of six types. Therefore, based on the result of the large classification of shapes (FIG. 17) and the polarity, the neural network of the grade to be used is selected.
【0064】この選択されたニューラルネットワークに
正規化した特徴量として「面積」「濃度平均値」を入力
すると、この入力は各層の各ユニットにより所定の処理
が施されて出力される。出力層の各ユニットは重・中・
軽の3つのカテゴリに対応しているから、これらのうち
出力が最大となるユニットのカテゴリを等級の判定結果
とする。なお各ユニットの入出力動作は、前記形状の判
定に用いたニューラルネットワークにおいて説明したも
のと同じであり、その重み係数ωi や閾値θ等が異なる
だけであるから、その説明は繰り返さない。When the "area" and "density average value" are input to the selected neural network as the normalized feature amount, this input is subjected to predetermined processing by each unit of each layer and output. Each unit in the output layer is heavy / medium /
Since it corresponds to the three light categories, the category of the unit with the maximum output is selected as the grade determination result. The input / output operation of each unit is the same as that described in the neural network used for determining the shape, and only the weighting coefficient ω i , the threshold θ, and the like are different, and thus the description thereof will not be repeated.
【0065】[0065]
【重み係数ωi の学習】ここで形状の大分類に用いる形
状認識用ニューラルネットワーク(図17)と、等級の
判定に用いる等級認識用ニューラルネットワーク(図2
2)とで、入力に対して望ましい出力を得るための学習
について説明する。[Learning of weighting factor ω i ] Here, the shape recognition neural network used for large classification of shapes (FIG. 17) and the grade recognition neural network used for class determination (FIG. 2)
In 2), learning for obtaining a desired output with respect to an input will be described.
【0066】ここで用いる学習データは、例えば形状の
分類用の場合には、特徴量計測処理で得た特徴量と、分
類のカテゴリの教師信号との組で形成される。ここに教
師信号はある入力に対してニュ−ラルネットワークが出
力すべき望ましい出力であり、外部から与えられるもの
である。The learning data used here is formed, for example, in the case of shape classification, by a set of the characteristic amount obtained by the characteristic amount measuring process and the teacher signal of the classification category. Here, the teacher signal is a desired output that the neural network should output for a certain input, and is given from the outside.
【0067】形状認識用の学習データは例えば次のよう
な形式とすることができる。ここに特徴量は正規化した
ものとする。 {入力データ}={面積、幅/長さ} {教師信号}={0.98,0.02,0.02}…面
欠陥のとき {教師信号}={0.02,0.98,0.02}…線
欠陥のとき {教師信号}={0.02,0.02,0.98}…点
欠陥のときThe learning data for shape recognition can be in the following format, for example. Here, the feature quantity is normalized. {Input data} = {Area, width / length} {Teacher signal} = {0.98, 0.02, 0.02} ... In case of surface defect {Teacher signal} = {0.02, 0.98, 0.02} ... In case of line defect {Teacher signal} = {0.02, 0.02, 0.98} ... In case of point defect
【0068】また等級認識用の学習データは、例えば次
のように決めることができる。 {入力データ}={面積、濃度平均値} {教師信号}={0.98,0.02,0.02}…重
欠陥のとき {教師信号}={0.02,0.98,0.02}…中
欠陥のとき {教師信号}={0.02,0.02,0.98}…軽
欠陥のとき 教師信号に用いている0.98、0.02という値は、
単に1に近いあるいは0に近い値の1つということであ
り、この値に限定されるものではない。なお学習方法と
して、一般的な誤差逆伝播法(Error Back Propagation
Algorithm)を用いる。The learning data for grade recognition can be determined as follows, for example. {Input data} = {Area, density average value} {Teacher signal} = {0.98, 0.02, 0.02} ... In case of heavy defect {Teacher signal} = {0.02, 0.98, 0 .02} ... Medium defect {Teacher signal} = {0.02, 0.02, 0.98} ... Light defect The values of 0.98 and 0.02 used for the teacher signal are
It is simply one of values close to 1 or close to 0, and is not limited to this value. As a learning method, the general error back propagation method (Error Back Propagation
Algorithm) is used.
【0069】形状認識用のニュ−ラルネットワ−クの学
習を行う場合には、適宜の形状(パターン)について入
力データと教師信号とを作り、この入力データを入力し
た時に出力層から得られる出力と教師信号との差を出力
層の全ユニットについて求める。そしてこの差の2乗の
総和によって次の誤差関数Eを定義し、これを学習の評
価に用いる。 E=(1/2)Σi (Ti −Oi )2 When learning the neural network for shape recognition, input data and a teacher signal are created for an appropriate shape (pattern), and the output obtained from the output layer when this input data is input is used. The difference from the teacher signal is obtained for all units in the output layer. Then, the following error function E is defined by the sum of squared differences, and this is used for evaluation of learning. E = (1/2) Σ i (T i −O i ) 2
【0070】ここにTi は出力層のi番目のユニットに
対する教師信号を示し、Oi は出力層の各ユニットの出
力を示す。出力Oi はその時のユニット間の結合の重み
ωiで決まるから、誤差関数Eも重みωi に関して陰に
定義された関数となる。従って各重みωi の値を軸とし
てできる空間を考え、さらにこの誤差関数Eで定義され
る値を高さと考えれば、誤差関数Eはこの重み空間上の
超曲面として“誤差曲面”となる。Here, T i represents the teacher signal for the i-th unit in the output layer, and O i represents the output of each unit in the output layer. Since the output O i is determined by the weight ω i of the coupling between the units at that time, the error function E is also a function implicitly defined with respect to the weight ω i . Therefore, if we consider a space that can use the value of each weight ω i as an axis, and further consider the value defined by this error function E as the height, the error function E becomes an “error curved surface” as a hypercurved surface on this weight space.
【0071】この誤差曲面の極小値に達するには、この
誤差曲面上を最も急な傾斜方向へ進めばよい(最急降下
法、gradient decent method)。つまりこの誤差関数E
の勾配(gradient)を求め、その方向に重みωi を修正
していけばよい。In order to reach the minimum value of this error curved surface, it is sufficient to advance on this error curved surface in the steepest inclination direction (steepest descent method, gradient decent method). That is, this error function E
The gradient ω i may be obtained and the weight ω i may be corrected in that direction.
【0072】grad E=(∂E/∂ω1 ,∂E/∂ω
2 ,…∂E/∂ωn ) であるから、各重みωi を、 Δωi =−ε・∂E/∂ωi (ε>0) ずつ変化させてゆけばよいことになる。このようにωi
を変化させ演算を誤差関数Eの値が十分小さくなるまで
繰り返すものである。Grad E = (∂E / ∂ω 1 , ∂E / ∂ω
2 , ... ∂E / ∂ω n ), each weight ω i can be changed by Δω i = −ε · ∂E / ∂ω i (ε> 0). Thus ω i
Is changed and the calculation is repeated until the value of the error function E becomes sufficiently small.
【0073】[0073]
【メンバーシップ関数による確信度の付加】以上の説明
ではニューラルネットワークによって欠陥形状の大分類
あるいは欠陥の等級を認識する過程を示した。ここで学
習に用いる教師信号Ti としてメンバーシップ関数から
得られる確信度の値に置き換えてもよい。このメンバー
シップ関数は出力層の各ユニットに対して、0と1との
間の1つの値をそのユニットが対応するカテゴリへの帰
属度に応じて割り当てる関数である。[Addition of certainty factor by membership function] In the above description, the process of recognizing a large classification of defect shapes or a defect grade by a neural network was shown. The teacher signal T i used for learning may be replaced with a certainty factor value obtained from the membership function. This membership function is a function that assigns one value between 0 and 1 to each unit in the output layer according to the degree of belonging to the category to which the unit corresponds.
【0074】図23はこのメンバーシップ関数の一例を
示す図である。例えばある入力デ−タを持った「面らし
い」形状を考える場合に、「どうも面らしい」という判
定に対する教師信号Ti として、出力層の「面」に対応
するユニットに確信度「0.75」を与え、それ以外の
ユニットには例えば「面とは言い難い」という確信度
「0.25」を与えることができる。この場合には、検
数像の入力デ−タを入力した時に出力層の各ユニットの
出力がこれらの各ユニットの確信度を示すことになる。
従って出力層の全てのユニットの出力を出力結果として
並記することにより、認識結果に確信度を付加すること
ができる。FIG. 23 is a diagram showing an example of this membership function. For example, when considering a "surface-like" shape having a certain input data, the unit corresponding to the "surface" of the output layer has a certainty factor of "0.75" as the teacher signal T i for the determination "it looks like a surface". Can be given to each of the other units, and a confidence level of “0.25” can be given to the other units. In this case, when the input data of the tally image is input, the output of each unit of the output layer indicates the certainty factor of each of these units.
Therefore, by writing the outputs of all the units in the output layer side by side as the output result, the certainty factor can be added to the recognition result.
【0075】[0075]
【総合判定処理】このようにして欠陥の形状、等級が判
定されると、次に総合判定処理70により総合判定され
る。この時複数の欠陥の形状が全て同一カテゴリであれ
ばその旨の情報が付加される。さらに同一形状の欠陥が
複数ある場合には、その等級をそれぞれの単一の欠陥に
対する等級より高くすることにより、欠陥個数の影響を
加味するようにしてもよい。[Comprehensive Judgment Processing] When the shape and grade of the defect are judged in this way, then a comprehensive judgment processing 70 makes a comprehensive judgment. At this time, if the shapes of a plurality of defects are all in the same category, information to that effect is added. Further, when there are a plurality of defects having the same shape, the grade may be set higher than the grade for each single defect, so that the influence of the number of defects may be taken into consideration.
【0076】[0076]
【発明の効果】請求項1の発明は以上のように、少くと
も欠陥の長さ、幅、面積を含む特徴量を入力とするニュ
ーラルネットワークを形成し、欠陥の形状のカテゴリを
識別するように学習させたものであるから、従来装置の
ように判別論理を試行錯誤的に構築する手間が省け、短
時間で高精度な識別が行えるようになる。As described above, according to the first aspect of the present invention, a neural network having a feature amount including at least a length, a width and an area of a defect as an input is formed to identify a defect shape category. Since the learning is performed, it is possible to save the trouble of constructing the discrimination logic by trial and error as in the conventional device, and it is possible to perform highly accurate identification in a short time.
【0077】ここで欠陥の少くとも面積と濃度情報とを
含む特徴量を入力として、欠陥の等級(重・中・軽な
ど)を判定するニューラルネットワークを用いれば、欠
陥の等級を高精度に判定することができる(請求項
4)。If a neural network for determining the defect grade (heavy, medium, light, etc.) is input with the feature amount including at least the area of the defect and the density information, the defect grade can be determined with high accuracy. It is possible (Claim 4).
【0078】これらに用いるニューラルネットワーク
は、入力層と中間層と出力層とを有する3層構造とし、
入力層のユニット数を入力特徴量を成分とする特徴ベク
トルの次元数に、中間層のユニット数を特徴空間上での
識別平面の数に、出力層のユニット数を識別すべきカテ
ゴリの数にそれぞれ一致させる(請求項2、5)。The neural network used for these has a three-layer structure having an input layer, an intermediate layer and an output layer,
The number of units in the input layer is the number of dimensions of the feature vector that has the input feature as a component, the number of units in the intermediate layer is the number of identification planes in the feature space, and the number of units in the output layer is the number of categories to be identified. Match each (claims 2 and 5).
【0079】またこれらのニューラルネットワークでは
重み係数ωi の学習を行う必要があるが、この学習に用
いる教師信号Ti としてメンバーシップ関数による確信
度を与えることができる。すなわち出力層の全てのユニ
ットにそれぞれ0〜1までの間の確信度を適用する。こ
の場合、出力層の各ユニットには認識対象である欠陥の
カテゴリに対する確信度が出力されることになる。従っ
てこれら各ユニットの出力を同時に出力させることによ
り、識別結果に確信度を付加することが可能である(請
求項3、6)。Although it is necessary to learn the weighting coefficient ω i in these neural networks, it is possible to give the certainty factor by the membership function as the teacher signal T i used for this learning. That is, the certainty factor between 0 and 1 is applied to all units in the output layer. In this case, the certainty factor for the defect category to be recognized is output to each unit in the output layer. Therefore, by outputting the output of each of these units at the same time, the certainty factor can be added to the identification result (claims 3 and 6).
【0080】欠陥の形状認識に用いる欠陥の画像情報と
しては、欠陥を含む領域だけを欠陥を示す値に塗り潰し
た2値化画像を用いるのが望ましい(請求項7)。すな
わち微分画像からまず欠陥の有無だけを判別してそのア
ドレスを求める一方、この微分画像を所定の閾値によっ
て2値化した画像の中で前記の欠陥のアドレスを含む領
域のみを欠陥の値に塗り潰す。このように欠陥の領域を
抽出処理した画像を用いて特徴量を求めるようにすれ
ば、欠陥の形状の認識精度が向上する。As the image information of the defect used for recognizing the shape of the defect, it is desirable to use a binarized image in which only a region including the defect is filled with a value indicating the defect (claim 7). That is, first, only the presence or absence of a defect is determined from the differential image to obtain its address, and only the area containing the address of the defect is applied to the defect value in the image obtained by binarizing the differential image with a predetermined threshold value. Crush. If the feature amount is obtained by using the image obtained by extracting the defect area in this way, the accuracy of recognizing the shape of the defect is improved.
【図1】本発明の第1の実施例のブロック図FIG. 1 is a block diagram of a first embodiment of the present invention.
【図2】その一部の詳細ブロック図FIG. 2 is a detailed block diagram of a part thereof.
【図3】閾値TH1の決定法の一例の説明図FIG. 3 is an explanatory diagram of an example of a method of determining a threshold TH1.
【図4】閾値TH2の決定法の一例の説明図FIG. 4 is an explanatory diagram of an example of a method of determining a threshold TH2.
【図5】閾値TH3の説明図FIG. 5 is an explanatory diagram of a threshold TH3.
【図6】垂直収縮のアルゴリズム説明図FIG. 6 is an explanatory diagram of a vertical contraction algorithm.
【図7】垂直収縮の概念説明図FIG. 7 is a conceptual explanatory diagram of vertical contraction.
【図8】領域抽出のアルゴリズム説明図FIG. 8 is an explanatory diagram of a region extraction algorithm.
【図9】領域抽出処理説明図FIG. 9 is an explanatory diagram of region extraction processing
【図10】膨張処理のアルゴリズム説明図FIG. 10 is an explanatory diagram of an expansion processing algorithm.
【図11】穴埋め処理説明図FIG. 11 is an explanatory diagram of a filling process.
【図12】収縮処理のアルゴリズム説明図FIG. 12 is an algorithm explanatory diagram of contraction processing.
【図13】欠陥画像の形状補正過程を示す図FIG. 13 is a diagram showing a process of correcting the shape of a defect image.
【図14】特徴量の概念を示す図FIG. 14 is a diagram showing a concept of a feature amount.
【図15】濃度平均値の測定法を示す図FIG. 15 is a diagram showing a method for measuring an average concentration value.
【図16】形状のカテゴリの分布を示す図FIG. 16 is a diagram showing distribution of shape categories.
【図17】形状認識用ニューラルネットワークの構造図FIG. 17 is a structural diagram of a shape recognition neural network.
【図18】ユニットの入出力関係を示す図FIG. 18 is a diagram showing input / output relationships of units.
【図19】応答関数の一例としてのシグモイド関数を示
す図FIG. 19 is a diagram showing a sigmoid function as an example of a response function.
【図20】決定木の構造を示す図FIG. 20 is a diagram showing the structure of a decision tree.
【図21】等級のカテゴリの分布を示す図FIG. 21 is a diagram showing distribution of grade categories.
【図22】等級認識用ニューラルネットワークの構造図FIG. 22 is a structural diagram of a grade recognition neural network.
【図23】メンバーシップ関数の一例を示す図FIG. 23 is a diagram showing an example of a membership function.
【図24】教師信号を確信度で与えることを示す図FIG. 24 is a diagram showing that a teacher signal is given with confidence.
10 検査対象 38 微分フィルタ 40 欠陥アドレス検出手段 42 2値化処理手段 48 欠陥領域抽出手段 62 特徴量計測手段 66 形状認識処理手段 68 等級認識処理手段 A0 微分画像 A1 2値画像 A2 欠陥画像10 inspection object 38 differential filter 40 defect address detection means 42 binarization processing means 48 defect area extraction means 62 feature amount measurement means 66 shape recognition processing means 68 grade recognition processing means A 0 differential image A 1 binary image A 2 defect image
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/70 330 N 9071−5L ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 5 Identification code Internal reference number FI technical display location G06F 15/70 330 N 9071-5L
Claims (7)
フィルタを含む空間フィルタリング処理した微分画像を
用いて検査対象の欠陥を含む領域を抽出し、欠陥の形状
のカテゴリを識別する欠陥検査装置において、前記欠陥
の少くとも長さと幅と面積とを含む特徴量を求める特徴
量計測処理手段と、前記特徴量を入力として欠陥の形状
のカテゴリを識別するニューラルネットワークとを備え
ることを特徴とする欠陥検査装置。1. A defect inspection for identifying a defect shape category by extracting a region including a defect of an inspection target by using a differential image obtained by performing spatial filtering processing including a differential filter on an image signal obtained by scanning the inspection target. The apparatus is provided with a feature quantity measurement processing means for obtaining a feature quantity including at least a length, a width and an area of the defect, and a neural network for identifying a category of a defect shape by using the feature quantity as an input. Defect inspection device.
中間層と出力層とからなる3層の構造を持ち、前記入力
層のユニット数を前記特徴量を成分とする特徴ベクトル
の次元数に、前記中間層のユニット数を前記特徴ベクト
ルで形成される特徴空間上で前記形状のカテゴリを分類
するために必要な識別平面の数に、前記出力層のユニッ
ト数を前記カテゴリの数にそれぞれ対応させたことを特
徴とする請求項1の欠陥検査装置。2. The neural network has a three-layer structure including an input layer, an intermediate layer, and an output layer, and the unit number of the input layer is set to the dimension number of a feature vector having the feature quantity as a component. The number of layer units is made to correspond to the number of identification planes required for classifying the shape categories in the feature space formed by the feature vector, and the number of unit units of the output layer is made to correspond to the number of categories. The defect inspection device according to claim 1.
トワークの学習時に与える教師信号をメンバーシップ関
数により与え、形状のカテゴリの識別結果に出力層の各
ユニットの出力値を確信度として付け加えることを特徴
とする欠陥検査装置。3. The teaching signal according to claim 2, wherein a teacher signal given at the time of learning of the neural network is given by a membership function, and the output value of each unit in the output layer is added to the classification result of the shape as a certainty factor. Defect inspection device.
フィルタを含む空間フィルタリング処理した微分画像を
用いて検査対象の欠陥を検出し、この欠陥の等級のカテ
ゴリを識別する欠陥検査装置において、前記欠陥の少く
とも面積と濃度情報とを含む特徴量を求める特徴量計測
処理手段と、前記特徴量を入力として欠陥の等級のカテ
ゴリを識別するニューラルネットワークとを備えること
を特徴とする欠陥検査装置。4. A defect inspection apparatus for detecting a defect of an inspection object by using a differential image obtained by spatially filtering an image signal obtained by scanning the inspection object and including a differential filter, and identifying a category of the defect grade. A defect inspection comprising: a feature amount measurement processing means for obtaining a feature amount including at least the area of the defect and density information; and a neural network for identifying the category of the defect grade with the feature amount as an input. apparatus.
中間層と出力層とからなる3層の構造を持ち、前記入力
層のユニット数を前記特徴量を成分とする特徴ベクトル
の次元数に、前記中間層のユニット数を前記特徴ベクト
ルで形成される特徴空間上で前記等級のカテゴリを分類
するために必要な識別平面の数に、また前記出力層のユ
ニット数を前記カテゴリの数にそれぞれ対応させたこと
を特徴とする請求項4の欠陥検査装置。5. The neural network has a three-layer structure including an input layer, an intermediate layer, and an output layer, and the unit number of the input layer is set to the dimension number of a feature vector having the feature amount as a component. The number of layer units was made to correspond to the number of identification planes required to classify the category of the grade on the feature space formed by the feature vector, and the number of unit of the output layer was made to correspond to the number of categories. The defect inspection apparatus according to claim 4, wherein
トワークの学習時に与える教師信号をメンバーシップ関
数により与え、等級のカテゴリの識別結果に出力層の各
ユニットの出力値を確信度として付け加えることを特徴
とする欠陥検査装置。6. The method according to claim 5, wherein a teacher signal given at the time of learning of the neural network is given by a membership function, and the output value of each unit in the output layer is added to the classification category discrimination result as a certainty factor. Defect inspection device.
画像に基づいて欠陥のアドレスを求める欠陥アドレス検
出手段と、前記微分画像を2値化処理する2値化処理手
段と、この2値化処理した画像のうち前記欠陥のアドレ
スを含む領域の画素を全て欠陥を示す値に塗り潰す欠陥
領域抽出手段とを備え、前記欠陥領域抽出手段の出力を
用いて欠陥の形状のカテゴリの識別を行うことを特徴と
する欠陥検査装置。7. The defect address detecting means for obtaining the address of a defect based on a differential image, the binarizing processing means for binarizing the differential image, and the binary value according to claim 1. A defect area extracting unit that fills all pixels in the area including the defect address in the image processed to a value indicating a defect, and identifies the category of the defect shape using the output of the defect area extracting unit. A defect inspection apparatus characterized by performing.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4103544A JPH05280960A (en) | 1992-03-30 | 1992-03-30 | Defect inspection device |
EP93105276A EP0563897A1 (en) | 1992-03-30 | 1993-03-30 | Defect inspection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4103544A JPH05280960A (en) | 1992-03-30 | 1992-03-30 | Defect inspection device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05280960A true JPH05280960A (en) | 1993-10-29 |
Family
ID=14356786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4103544A Pending JPH05280960A (en) | 1992-03-30 | 1992-03-30 | Defect inspection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05280960A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07318331A (en) * | 1994-05-25 | 1995-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Recognition method of three-dimensional object |
JPH07333170A (en) * | 1994-06-08 | 1995-12-22 | Hewtec:Kk | Discrimination method for defective pattern type and device therefor |
JPH10302049A (en) * | 1997-04-28 | 1998-11-13 | Kumamoto Techno Porisu Zaidan | Image identification device, its method, image detection/ identification device provided with the image identification device and medium recording image identification program |
JPH11125578A (en) * | 1997-10-22 | 1999-05-11 | Asahi Optical Co Ltd | Optical member inspecting device, image processing device, and computer-readable medium |
JP2001236508A (en) * | 2000-02-23 | 2001-08-31 | Fujitsu Ltd | Device and method for calculating remarkability |
WO2003098201A1 (en) * | 2002-05-21 | 2003-11-27 | Jfe Steel Corporation | Surface defect judging method |
JP2006038549A (en) * | 2004-07-26 | 2006-02-09 | Sumitomo Chemical Co Ltd | Grade determining method |
JP2006266934A (en) * | 2005-03-24 | 2006-10-05 | Sumitomo Electric Ind Ltd | Method and apparatus for detecting defect in film |
JP2008281580A (en) * | 2008-06-26 | 2008-11-20 | Olympus Corp | Defect classification system |
KR20180071405A (en) * | 2015-11-17 | 2018-06-27 | 케이엘에이-텐코 코포레이션 | Single image detection |
JP2018142304A (en) * | 2017-02-28 | 2018-09-13 | 富士通株式会社 | Computer-implemented method for identifying perforated surface in geometric three-dimensional model |
WO2019003813A1 (en) * | 2017-06-29 | 2019-01-03 | 住友化学株式会社 | Idiosyncrasy sensing system and idiosyncrasy sensing method |
JP2020071125A (en) * | 2018-10-31 | 2020-05-07 | Jfeスチール株式会社 | Method and device for determining defect, method for manufacturing steel plate, method for learning defect determination model, and defect determination model |
JP2022508841A (en) * | 2018-10-19 | 2022-01-19 | ブルーライト アナリティクス, インク. | Light source measurement system, light source measurement device and light source measurement method |
US11850109B2 (en) | 2017-08-25 | 2023-12-26 | Bluelight Analytics, Inc. | System and devices for measuring light sources and methods of use thereof |
-
1992
- 1992-03-30 JP JP4103544A patent/JPH05280960A/en active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07318331A (en) * | 1994-05-25 | 1995-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Recognition method of three-dimensional object |
JPH07333170A (en) * | 1994-06-08 | 1995-12-22 | Hewtec:Kk | Discrimination method for defective pattern type and device therefor |
JPH10302049A (en) * | 1997-04-28 | 1998-11-13 | Kumamoto Techno Porisu Zaidan | Image identification device, its method, image detection/ identification device provided with the image identification device and medium recording image identification program |
JPH11125578A (en) * | 1997-10-22 | 1999-05-11 | Asahi Optical Co Ltd | Optical member inspecting device, image processing device, and computer-readable medium |
JP2001236508A (en) * | 2000-02-23 | 2001-08-31 | Fujitsu Ltd | Device and method for calculating remarkability |
WO2003098201A1 (en) * | 2002-05-21 | 2003-11-27 | Jfe Steel Corporation | Surface defect judging method |
JP4581529B2 (en) * | 2004-07-26 | 2010-11-17 | 住友化学株式会社 | Grade determination method |
JP2006038549A (en) * | 2004-07-26 | 2006-02-09 | Sumitomo Chemical Co Ltd | Grade determining method |
JP2006266934A (en) * | 2005-03-24 | 2006-10-05 | Sumitomo Electric Ind Ltd | Method and apparatus for detecting defect in film |
JP2008281580A (en) * | 2008-06-26 | 2008-11-20 | Olympus Corp | Defect classification system |
KR20180071405A (en) * | 2015-11-17 | 2018-06-27 | 케이엘에이-텐코 코포레이션 | Single image detection |
JP2018533748A (en) * | 2015-11-17 | 2018-11-15 | ケーエルエー−テンカー コーポレイション | Single image detection |
JP2018142304A (en) * | 2017-02-28 | 2018-09-13 | 富士通株式会社 | Computer-implemented method for identifying perforated surface in geometric three-dimensional model |
WO2019003813A1 (en) * | 2017-06-29 | 2019-01-03 | 住友化学株式会社 | Idiosyncrasy sensing system and idiosyncrasy sensing method |
JPWO2019003813A1 (en) * | 2017-06-29 | 2019-06-27 | 住友化学株式会社 | Singularity detection system and singularity detection method |
US11850109B2 (en) | 2017-08-25 | 2023-12-26 | Bluelight Analytics, Inc. | System and devices for measuring light sources and methods of use thereof |
JP2022508841A (en) * | 2018-10-19 | 2022-01-19 | ブルーライト アナリティクス, インク. | Light source measurement system, light source measurement device and light source measurement method |
JP2020071125A (en) * | 2018-10-31 | 2020-05-07 | Jfeスチール株式会社 | Method and device for determining defect, method for manufacturing steel plate, method for learning defect determination model, and defect determination model |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113362326B (en) | Method and device for detecting defects of welding spots of battery | |
CN110378879B (en) | Bridge crack detection method | |
KR102254773B1 (en) | Automatic decision and classification system for each defects of building components using image information, and method for the same | |
Valavanis et al. | Multiclass defect detection and classification in weld radiographic images using geometric and texture features | |
JPH05280960A (en) | Defect inspection device | |
CN109377485A (en) | A kind of instant noodles packaging defect machine vision detection method | |
KR20160083099A (en) | Detection method and device | |
JPH05174183A (en) | Detection of document image tilt | |
WO2013020142A2 (en) | Image-based crack detection | |
EP0563897A1 (en) | Defect inspection system | |
Sinha et al. | Computer vision techniques for automatic structural assessment of underground pipes | |
CN111612747B (en) | Rapid detection method and detection system for product surface cracks | |
CN115239632A (en) | Steel rail surface damage detection method fusing inspection image and ultrasonic image | |
CN117173461A (en) | Multi-visual task filling container defect detection method, system and medium | |
CN113313107A (en) | Intelligent detection and identification method for multiple types of diseases on cable surface of cable-stayed bridge | |
CN114170168A (en) | Display module defect detection method, system and computer readable storage medium | |
CN116310826B (en) | High-resolution remote sensing image forest land secondary classification method based on graphic neural network | |
CN116797602A (en) | Surface defect identification method and device for industrial product detection | |
JPH05280959A (en) | Defect inspecton device | |
JP4293653B2 (en) | Appearance inspection method | |
JP3490809B2 (en) | Metal strip surface flaw inspection method and apparatus | |
JPH05280958A (en) | Defect inspection device | |
CN112767365A (en) | Flaw detection method | |
JP3523945B2 (en) | Surface inspection method | |
JP3715473B2 (en) | Address reader |