JP3988440B2 - Appearance inspection method and appearance inspection apparatus - Google Patents
Appearance inspection method and appearance inspection apparatus Download PDFInfo
- Publication number
- JP3988440B2 JP3988440B2 JP2001347235A JP2001347235A JP3988440B2 JP 3988440 B2 JP3988440 B2 JP 3988440B2 JP 2001347235 A JP2001347235 A JP 2001347235A JP 2001347235 A JP2001347235 A JP 2001347235A JP 3988440 B2 JP3988440 B2 JP 3988440B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- defect candidate
- area
- defect
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、検査対象の表面状態、例えば異物付着やキズ又は樹脂部に形成されたボイドなどの不良を検出する外観検査装置及び外観検査方法に関する。
【0002】
【従来の技術】
検査対象の表面状態を検査する方法としては、検査対象を撮像した濃淡画像を二値化し、該二値化により得られた二値化画像をラベリングし、該ラベリングにより得られたラベル領域の面積を計測し、該面積値が予め設定された値よりも大きい場合に不良と判定する方法が知られている。
【0003】
【発明が解決しようとする課題】
この従来の検査方法では、検査対象の表面に照射する照明のむらがあったり、検査対象の表面の材料のむらなどがあると検査対象画像の検出したい不良の領域でない領域に濃淡値のむらが発生し、このむらの領域の濃淡値と不良領域の濃淡値とが近い値になる場合、むらの領域が不良と誤判定されてしまう場合がある。又、むらの領域を誤判定しないように二値化レベルを設定すると真の不良が見逃しになってしまうという問題点があった。
【0004】
以下、図10の模式的な濃淡値プロファイルを参照しながら具体的に説明する。図10(a),(c)の実線、点線及び破線は模式的な濃淡値プロファイル、二値化閾値及び修正二値化閾値をそれぞれ示している。又、図10(b),(d)は、図10(a),(c)それぞれの場合の不良候補領域として抽出されるラベル領域を斜線ハッチング領域で示した模式的な平面図である。
【0005】
図10(a)は、表面に例えば異物が付着し、異物の付着している領域が異物の付着していない領域よりも濃淡値が大きい場合である。図10(a)の左側では真の不良領域が不良候補領域P1になり、右側では背景の明るく写るむらの領域が不良候補領域P2になっている。
【0006】
図10(c)は、表面に例えば樹脂表面に発生する不良であるボイドと呼ばれる穴がある場合、ボイドの領域がボイドのない領域よりも濃淡値が小さい場合である。図10(c)の左側では本当のボイドがありボイド領域が不良候補領域Q1になり、右側では樹脂部表面のむらの領域が不良候補領域Q2になっている。
【0007】
上述した従来の二値化後の面積により判定する検査方法の場合、図10(b)、(d)の斜線領域のように真の不良のラベル領域とむらによるラベル領域の面積が同じくらいになる場合があり、このような場合、不良を検出できるように二値化閾値を設定すると、不良でないむらの領域を不良として判定する疑似不良が発生してしまう。
【0008】
又、疑似不良を低減させるために、予め設定する二値化閾値をむらの領域が二値化閾値を超えない破線で示す修正二値化閾値のように設定した場合、真の不良領域においても不良の領域内の濃淡値が特に大きい部分的な領域Px部又は不良の領域内の濃淡値が特に小さい部分的な領域Qx部のみしか二値化閾値を超えないため計測される特徴量が実際の不良領域とは大きく異なる値になってしまう。例えば特徴量を面積値とすると、実際の不良領域の面積値よりも小さく計測されてしまう。そのためラベル付けされた複数のラベル領域から不良候補のラベル領域のみを抽出する時に真の不良領域が抽出されずに見逃しになってしまう場合があるという問題が生じる。
【0009】
更に、この問題を解決するため、不良候補抽出手段に予め登録しておく良品の範囲を狭くしておくことにより、真の不良領域の面積値が小さく計測されても見逃しにならないように不良候補として抽出させることもできるがこの場合は、実際の不良領域の中の特に濃淡値が大きい又は小さい部分的な領域のみを抽出することになり計測される特徴量と実際の不良の特徴量の相関値が低くなってしまうので、例えば特徴量が面積値である場合、実際には不良とならない面積値の小さい異物や面積の小さいボイドもその領域内において濃淡値が特に大きい部分的な領域又は濃淡値が特に小さい領域があると不良候補領域として抽出されてしまい、最終的に不良領域として判定されて逆に疑似不良が増加するという問題を生じる。
【0010】
又、照明のむらの分布が製品によりばらつきが少ない場合に、予め収集した照明むらの分布データにより照明むらによる影響をうち消すこと等を目的として、画素位置により異なる閾値を用いて二値化を行う浮動二値化法が知られている。しかし、浮動二値化法のように画素位置により異なる閾値を用いて二値化を行うことで、照明むらによる影響をある程度軽減できるとしても設定される閾値により真の不良領域の見逃しや疑似不良の発生を大幅に低減することは困難である。
【0011】
本発明の主な目的は、上記のような問題点に鑑みて、不良でない領域に濃淡値のむらがあっても、むらの領域を不良領域と誤判定することなく、不良の領域を正確且つ確実に検出することができる外観検査装置及び外観検査方法を提供することにある。
【0012】
【課題を解決するための手段】
このため本願発明による外観検査装置は、検査対象を撮像して不良箇所を判定する外観検査装置であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出手段と、前記不良候補領域内で最大の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定手段と、を有することを特徴とする。
【0013】
本願発明による別の外観検査装置は、検査対象を撮像して不良箇所を判定する外観検査装置であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出手段と、前記不良候補領域内で最小の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定手段と、を有することを特徴とする。
【0014】
さらに本願発明による別の外観検査装置は、検査対象を撮像して不良箇所を判定する外観検査装置であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出手段と、前記第1の不良候補領域内で最大の濃淡値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内で最小の濃淡値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定手段と、
を有することを特徴とする。
【0015】
さらに本願発明による別の外観検査装置は、検査対象を撮像して不良箇所を判定する外観検査装置であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出手段と、前記第1の不良候補領域内の濃淡値の平均値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内の濃淡値の平均値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定手段と、を有することを特徴とする。
【0016】
ここで、前記特徴量が面積、外接矩形サイズ、又は円形度であっても良い。
【0017】
本願発明による外観検査方法は、検査対象を撮像して不良箇所を判定する外観検査方法であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出ステップと、前記不良候補領域内で最大の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定ステップと、を有することを特徴とする外観検査方法。
【0018】
本願発明による別の外観検査方法は、検査対象を撮像して不良箇所を判定する外観検査方法であって、
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出ステップと、前記不良候補領域内で最小の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定ステップと、
を有することを特徴とする。
【0019】
さらに本願発明による別の外観検査方法は、検査対象を撮像して不良箇所を判定する外観検査方法であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出ステップと、前記不良候補領域内の濃淡値の平均値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定ステップと、を有することを特徴とする。
【0020】
さらに本願発明による別の外観検査方法は、検査対象を撮像して不良箇所を判定する外観検査方法であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出ステップと、前記第1の不良候補領域内で最大の濃淡値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内で最小の濃淡値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定ステップと、を有することを特徴とする。
【0021】
さらに本願発明による別の外観検査方法は、検査対象を撮像して不良箇所を判定する外観検査方法であって、前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出ステップと、前記第1の不良候補領域内の濃淡値の平均値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内の濃淡値の平均値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定ステップと、を有することを特徴とする。
【0022】
ここで、前記特徴量が面積、外接矩形サイズ、又は円形度であっても良い。
【0030】
【発明の実施の形態】
本発明の上記及び他の目的、特徴及び利点を明確にすべく、以下添付した図面を参照しながら、本発明の実施の形態につき詳細に説明する。
【0031】
図1は本発明の外観検査装置の第1の実施形態を示す概略ブロック図である。図1を参照すると、本実施形態の外観検査装置は、撮像手段1と、濃淡画像データ記憶手段3と、二値化手段4と、ラベリング手段5と、第1計測手段6と、不良候補抽出手段7と、第2計測手段8と、判定手段10と、を少なくとも備え構成されている。
【0032】
撮像手段1は、検査対象2を撮像して所望の分解能の画素で構成された画像情報を取り込み、画素毎の濃淡情報を含む濃淡画像信号aを出力する。
【0033】
濃淡画像データ記憶手段3は、この濃淡画像信号aを入力し検査対象2の濃淡画像を記憶する。
【0034】
二値化手段4は、濃淡画像データ記憶手段3から出力される濃淡画像データa' を入力し、予め設定した二値化閾値R0により、例えば濃淡値が閾値R0以上の画素領域は“1”に、閾値R0未満の画素領域は“0”に変換した二値化信号を生成し、二値化画像データbを出力する。
【0035】
ラベリング手段5は、二値化画像データbを入力してラベル付けの対象となる値、例えば“1”の連続した領域を検出し、検出した領域の位置情報と共に連続した領域毎にそれぞれ異なるラベル、例えばアルファベット等を付与したラベルデータcを出力する。
【0036】
第1計測手段6は、ラベルデータcを入力し、各ラベルを付与されたラベル領域毎の特徴量を計測して当該領域のラベル情報を含む特徴量データdを出力する。特徴量としては、特に限定されないが、例えば面積、外接矩形サイズ、円形度などを用いることができる。
【0037】
不良候補抽出手段7は、特徴量データdを入力し、特徴量が予め設定した良品範囲に入っていないラベル領域を不良候補領域として抽出し、不良候補領域のみのラベルデータである不良候補ラベルデータeを出力する。
【0038】
第2計測手段8は、不良候補ラベルデータe及び濃淡画像データa' を不良候補抽出手段7及び濃淡画像データ記憶手段3からそれぞれ入力し、不良候補ラベル毎に当該不良候補領域の内側の濃淡画像データを所定の条件で計測、例えば最大濃淡値又は最小濃淡値を抽出、してこれらを当該ラベル領域の計測値とし、ラベルが不良候補ラベルデータeに含まれる全ての不良候補領域の計測値を求めて不良候補領域内計測値データfとして出力する。
【0039】
判定手段10は、不良候補領域内計測値データfを入力し、各ラベル領域毎に最大濃淡値及び最小濃淡値それぞれの二値化閾値R0との差を算出し、この差のいずれか一方でも予め設定された判定規格値以上であれば当該ラベル領域は不良と判定する。
【0040】
尚、少なくとも上述した二値化手段4、ラベリング手段5、第1計測手段6、不良候補抽出手段7、第2計測手段8、及び判定手段10は、例えばパーソナルコンピュータ(PC)或いはエンジニアリングワークステイション(EWS)等で動作するコンピュータプログラムにより実現することができる。又、濃淡画像データ記憶手段3は、PCやEWSに搭載されたメインメモリ等のメモリ装置、或いはハードディスク装置等を用いることができる。
【0041】
次に、本実施形態の外観検査装置の動作を外観検査方法と併せて説明する。図4は、この外観検査装置による外観検査方法を示す概略フローチャートである。又、図2は本実施形態の外観検査装置の動作及び外観検査方法を説明するための模式的な濃淡値分布図の例である。以下、図1,2,4を参照して説明する。尚、図1のラベリング手段5乃至ラベリングの方法は、当業者にとってよく知られており、又本発明とは直接関係しないので、その詳細な説明は省略する。
【0042】
先ず、画像データ記憶ステップS101で、検査対象2の画像情報をカメラ等の撮像手段1を用いて取り込み、検査対象2の濃淡画像信号aを出力する。更に、濃淡画像データ記憶手段3にこの濃淡画像信号aを入力して記憶させる。
【0043】
次に、二値化ステップS102で、濃淡画像データ記憶手段3から出力される濃淡画像データa' を二値化手段4に入力し、濃淡画像を二値化する対象領域内の全ての画素について同一の二値化閾値R0で二値化を行い二値化画像データbを出力する。具体的には、例えば二値化閾値をR0=200とすると、図2(a)の場合、濃淡値がR0以上で二値化により“1”に変換される画素領域は図2(b)に示すA1 〜A12の領域(以下、領域Aとする)となり、それ以外の画素領域が“0”の領域となる。
【0044】
次に、ラベリングステップS103で、二値化画像データbをラベリング手段5に入力して例えば“1”の連続した領域を検出し、連続した領域毎にそれぞれ異なるラベルを付与すると共にラベルを付与された全てのラベル領域のラベルをラベルデータcとして出力する。図2(b)の例では、領域Aが例えばラベルAを付与されたラベル領域となる。
【0045】
次に、第1計測ステップS104で、ラベリング手段5から出力されたラベルデータcを第1計測手段6に入力し、各ラベル領域毎の特徴量を計測してラベル情報を含む特徴量データdを出力する。具体的には、例えば第1計測手段6で計測する特徴量を濃淡値が“1”の画素面積とすると、図2の例では12画素となる。
【0046】
次に、不良候補抽出ステップS105で、第1計測手段6から出力された特徴量データdを不良候補抽出手段7に入力し、特徴量が予め設定した良品範囲に入っていないラベル領域を不良候補領域として抽出し、不良候補領域のみのラベルデータである不良候補ラベルデータeを出力する。図2の例では、例えば特徴量をラベル領域の画素面積とし、判定閾値10画素未満を良品範囲とすると、図2の“1”の領域の画素面積は“12”であり、判定閾値以上であるので、図2の“1”の領域である領域Aは不良候補領域となる。
【0047】
次に、第2計測ステップS106で、不良候補ラベルデータe及び濃淡画像データa' を不良候補抽出手段7及び濃淡画像データ記憶手段3からそれぞれ第2計測手段8に入力し、不良候補ラベル毎に当該不良候補領域に含まれる濃淡画像データを所定の条件で計測、図2の例では最大濃淡値を抽出し、結果を不良候補領域内計測値データfとして出力する。図2の例では、領域Aの濃淡値データの中から最大濃淡値を抽出すると242であり、不良候補領域である領域Aの計測値は242となる。
【0048】
次に、判定ステップS107で、不良候補領域内計測値データfを判定手段10に入力し、各不良候補領域の計測値と二値化閾値R0との差を算出し、この差が予め設定された判定規格値以上であれば不良と判定し、必要に応じて所定の判定結果信号を出力する。図2の例では、不良候補領域である領域Aの計測値242と二値化閾値200との差を算出すると42となることが分からなる。予め設定された判定規格値が20であるとすると、領域Aの計測値と二値化閾値との差42は20以上であるので領域Aは不良と判定される。
【0049】
次に本実施形態の外観検査装置乃至この装置を用いた外観検査方法により不良を含む領域を正確に検出することができる理由を、図3の濃淡値プロファイルを用いて説明する。
【0050】
図3(a)は、表面に例えば異物が付着し、異物の付着している領域が異物の付着していない領域よりも濃淡値が大きい場合である。図3(a)の左側(P1部)では真の不良領域が不良候補領域になり、右側(P2部)では背景の明るく写るむらの領域が不良候補領域になっている。この場合不良候補領域内の濃淡値の最小値はほぼ二値化閾値となるが、真の不良の領域の最大値は図3(a)のL1となり、むらの領域の最大値は図3(a)のL2となり、真の不良の領域とむらの領域で差が出るので、不良候補領域内の濃淡値の最大値のみを算出すれば良否を正確に判定することができる。
【0051】
図3(c)は、表面に例えば樹脂表面に発生する不良であるボイドと呼ばれる穴がある場合、ボイドの領域がボイドのない領域よりも濃淡値が小さい場合である。図3(c)の左側(Q1部)では本当のボイドがありボイド領域が不良候補領域になり、右側(Q2部)では樹脂部表面のむらの領域が不良候補領域になっている。この場合不良候補領域内の濃淡値の最大値はほぼ二値化閾値となるが、真の不良の領域の最小値は図3(c)のL3となり、むらの領域の最小値は図3(c)のL4となり、真の不良領域とむらの領域で差が出るので、この場合は不良候補領域内の濃淡値の最小値のみを算出すれば良否を正確に判定することができる。
【0052】
次に、本実施形態の変形例として、検出したい不良を含む領域の濃淡値が背景の領域の濃淡値に比べ大きくなる場合と小さくなる場合が混在して発生する場合や、いずれの不良が発生するか分からない場合の検査方法について説明する。図5は、本実施形態の外観検査方法の変形例を示すフローチャートである。以下、図1,5を参照して説明する。
【0053】
先ず、画像データ記憶ステップS121については、上記第1の実施形態の場合と全く同様にできるので、説明は省略する。
【0054】
次に、二値化ステップS122を、例えば第1の二値化閾値R1と第2の二値化閾値R2(但し、R1>R2とする)を用いて二値化するようにする。すなわち、濃淡画像データ記憶手段3から出力される濃淡画像データa' を二値化手段4に入力し、濃淡画像を二値化する対象領域内の全ての画素について、第1の二値化閾値R1以上の濃淡値を有する画素をラベル付け対象となる値、例えば“1”に変換して第1の二値化画像データを出力すると共に、第2の二値化閾値R2以下の濃淡値を有する画素をラベル付け対象となる値、例えば“1”に変換して第2の二値化画像データを出力する。
【0055】
次に、ラベリングステップS123で、この第1及び第2の二値化画像データをラベリング手段5に入力し、それぞれから例えば“1”の連続した領域を抽出して連続した領域毎にそれぞれ異なるラベルを付与し、ラベルを付与された全てのラベル領域の中で、第1の二値化画像データから抽出したラベル領域のラベルを第1ラベルデータ、及び第2の二値化画像データから抽出したラベル領域のラベルを第2ラベルデータとして出力する。
【0056】
次に、第1計測ステップS124で、ラベリング手段5から出力された第1及び第2ラベルデータを第1計測手段6に入力し、各ラベル領域毎の特徴量を計測してラベルを含む特徴量データを出力する。特徴量としては、上述のとおり特に限定されないが例えば濃淡値が“1”の画素面積としてもよい。
【0057】
次に、不良候補抽出ステップS125で、第1計測手段6から出力された特徴量データを不良候補抽出手段7に入力し、ラベルが第1ラベルデータに含まれるラベル領域については、その特徴量が予め設定した第1の良品範囲に入っていないラベル領域を不良候補領域として抽出し、不良候補領域のみのラベルデータである第1の不良候補ラベルデータを出力し、ラベルが第2ラベルデータに含まれるラベル領域については、その特徴量が予め設定した第2の良品範囲に入っていないラベル領域を不良候補領域として抽出し、不良候補領域のみのラベルデータである第2の不良候補ラベルデータを出力する。
【0058】
次に、第2計測ステップS126で、第1及び第2の不良候補ラベルデータ並びに濃淡画像信号を不良候補抽出手段7及び濃淡画像データ記憶手段3からそれぞれ第2計測手段8に入力し、ラベルが第1の不良候補ラベルデータに含まれる不良候補領域については当該不良候補領域内における濃淡画像の濃淡値データの中から抽出した最大の濃淡値を当該不良候補領域の計測値とし、ラベルが第2の不良候補ラベルデータに含まれる不良候補領域については当該不良候補領域内における濃淡画像の濃淡値データの中から抽出した最小の濃淡値を当該不良候補領域の計測値として、例えば全ての不良候補領域の計測値を不良候補領域内計測値データとして出力する。
【0059】
次に、判定ステップS127で、不良候補領域内計測値データを第2計測手段8から判定手段10に入力し、ラベルが第1の不良候補ラベルデータに含まれる不良候補領域については当該不良候補領域の計測値と第1の二値化閾値R1との差を算出してこの差を予め定めてある第1判定規格値と比較して良否を判定し、ラベルが第2の不良候補ラベルデータに含まれる不良候補領域については当該不良候補領域の計測値と第2の二値化閾値R2との差を算出してこの差を予め定めてある第2判定規格値と比較して良否を判定し、必要に応じて所定の判定結果信号を出力する。
【0060】
このようにすれば、検出したい不良を含む領域の濃淡値が背景の領域の濃淡値に比べ大きくなる場合と小さくなる場合が混在して発生する場合や、いずれの不良が発生するか分からない場合でも、必ず不良領域を検出することができる。
【0061】
ここで、本実施形態の外観検査装置乃至この検査装置を用いた外観検査方法では、疑似不良の発生を防止できる理由を説明する。
【0062】
濃淡画像における濃淡値のむらは検査対象に対する照射照明の濃度むら等により発生し、むらの領域では濃淡値が少しずつ変化するという特徴を有しているので、不良候補としたラベル領域内の濃淡値の最大値及び最小値と、二値化閾値の差は小さい値になる。
【0063】
それに対し、本当の異物の表面には凹凸があり、その凹凸のために濃淡値が異物領域の中においても変化するため部分的に図3(a)のように濃淡値が一段と大きくなる領域があるために不良候補としたラベル領域内の濃淡値の最大値と二値化閾値の差はL1に示すようにむらの場合に比べ大きな値になる。
【0064】
又、本当のボイドの内部には凹凸があり、その凹凸のために濃淡値がボイド領域の中においても変化するため部分的に図3(c)のように濃淡値が一段と小さくなる領域があるために不良候補としたラベル領域内の濃淡値の最小値と、二値化閾値との差は、L3に示すようにむらの場合に比べ大きな値になる。
【0065】
従って、本実施形態の外観検査装置乃至この検査装置を用いた外観検査方法では、上述のとおりラベル領域内の最大濃淡値及び/又は最小濃淡値と二値化閾値との差を所定の判定規格値と比較することで、むらの領域は疑似不良になることなく、真の不良領域のみを抽出できることが分かる。
【0066】
次に具体例について説明する。例えば、ICウエハ上の異物を不良として検出する場合、ウエハ面に対し低い角度から照明を照射すると異物のない領域では光が乱反射しないのに対し、異物表面からの反射光が撮像手段1に入射するため異物のない背景の濃淡値に比べ異物のある領域の濃淡値は背景の領域よりも大きな値になるので、不良候補ラベル毎に当該不良候補領域に含まれる濃淡画像の濃淡値データの中で最も大きい濃淡値のみを検索すれば検出できることが分かる。
【0067】
逆に、例えば樹脂封止された半導体装置等における樹脂部の表面のボイドと呼ばれる穴を不良として検出する場合、樹脂部表面からは反射光が撮像手段1に入射するのに対して、ボイド内に入射した照射光はボイド内部の凹凸により散乱されて撮像手段1にほとんど入射しないためボイド領域の濃淡値はボイドのない樹脂領域に比べ小さな値になるので、不良候補ラベル毎に当該不良候補領域に含まれる濃淡画像の濃淡値データの中で最も小さい濃淡値のみを検索すれば検出できることが分かる。
【0068】
このように不良を含む領域の濃淡値が背景となる領域の濃淡値よりも大きくなるか小さくなるかが分かっている場合は、不良候補ラベル毎に当該不良候補領域に含まれる濃淡画像の濃淡値データの中でそれぞれ最大濃淡値か最小濃淡値のいずれか一方のみを検索すればよいので、両方の処理を行う場合に比べ処理時間を短縮することができるという効果がある。
【0069】
次に、本発明の第2の実施形態について説明する。図6は、本発明の外観検査装置の第2の実施形態を示す概略ブロック図である。図6を参照すると、本実施形態の外観検査装置は、撮像手段21と、濃淡画像データ記憶手段23と、二値化手段24と、ラベリング手段25と、第1計測手段26と、不良候補抽出手段27と、第2計測手段28と、第1算出手段29と、判定手段30と、を少なくとも備え構成されている。
【0070】
撮像手段21は、検査対象22を撮像して所望の分解能の画素で構成された画像情報を取り込み、画素毎の濃淡情報を含む濃淡画像信号aを出力する。
【0071】
濃淡画像データ記憶手段23は、この濃淡画像信号aを入力し記憶する。
【0072】
二値化手段24は、濃淡画像データ記憶手段23から出力される濃淡画像データa' を入力し、検査対象領域内において画素領域(x)に応じて予め設定した二値化閾値R0(x)により、例えば濃淡値R(x)が閾値R0(x)以上の画素領域は“1”に、濃淡値R(y)が閾値R0(y)未満の画素領域(y)は“0”に変換した二値化信号を生成し、二値化画像データbを出力する。
【0073】
ラベリング手段25は、二値化画像データbを入力して“1”の連続した領域を検出し、連続した領域毎にそれぞれ異なるラベル、例えばアルファベット等を付与したラベルデータcを出力する。
【0074】
第1計測手段26は、ラベルデータcを入力し、各ラベルを付与されたラベル領域毎の特徴量を計測してラベル情報を含む特徴量データdを出力する。特徴量としては、特に限定されないが、例えば面積、外接矩形サイズ、円形度などを用いることができる。
【0075】
不良候補抽出手段27は、特徴量データdを入力し、特徴量が予め設定した良品範囲に入っていないラベル領域を不良候補領域として抽出し、不良候補領域のみのラベルデータである不良候補ラベルデータeを出力する。
【0076】
第2計測手段28は、不良候補ラベルデータe及び濃淡画像データa' を不良候補抽出手段27及び濃淡画像データ記憶手段23からそれぞれ入力し、不良候補ラベルデータeに含まれるラベル毎に当該不良候補領域の内側の濃淡画像データを所定の条件で計測、例えば最大濃淡値又は最小濃淡値を抽出、してこれを当該不良候補領域の計測値とし、全ての不良候補領域について計測値を求めて不良候補領域内計測値データfとして出力する。
【0077】
第1算出手段29は、不良候補ラベルデータe及び濃淡画像データa' を不良候補抽出手段27及び濃淡画像データ記憶手段23からそれぞれ入力し、不良候補ラベルデータeに含まれるラベル毎に当該不良候補領域に接する所定領域を近傍領域として設定し、この近傍領域に含まれる濃淡値データから所定の近傍濃淡値を算出し、全ての不良候補領域の近傍濃淡値を近傍濃淡値データgとして出力する。
【0078】
判定手段30は、不良候補領域内計測値データf及び近傍濃淡値データgを第2計測手段28及び第1算出手段29からそれぞれ入力し、不良候補ラベルデータeに含まれるラベル毎に当該不良候補領域の計測値と近傍濃淡値との差を算出し、この差が予め設定された近傍判定規格値以上であれば当該不良候補領域を不良と判定する。
【0079】
尚、少なくとも上述した二値化手段24、ラベリング手段25、第1計測手段26、不良候補抽出手段27、第2計測手段28、第1算出手段29、及び判定手段30は、例えばパーソナルコンピュータ(PC)或いはエンジニアリングワークステイション(EWS)等で動作するコンピュータプログラムにより実現することができ、濃淡画像データ記憶手段23は、PCやEWSに搭載されたメインメモリ等のメモリ装置、或いはハードディスク装置等を用いることができることは、第1の実施形態の場合と同様である。
【0080】
次に、本実施形態の外観検査装置の動作を外観検査方法と併せて説明する。図7は、この外観検査装置による外観検査方法を示す概略フローチャートである。又、図8は本実施形態の外観検査装置の動作及び外観検査方法を説明するための模式的な濃淡値分布図の例である。以下、図6,7,8を参照して説明する。
【0081】
先ず、画像データ記憶ステップS201で、検査対象22の画像情報をカメラ等の撮像手段21を用いて取り込み、検査対象22の濃淡画像信号aを出力する。更に、この濃淡画像信号aを濃淡画像データ記憶手段23に入力して記憶させる。
【0082】
次に、二値化ステップS202で、濃淡画像データ記憶手段23から出力される濃淡画像データa' を二値化手段24に入力し、検査対象領域内において画素位置に応じて定められた二値化閾値で二値化を行い、二値化画像データbを出力する。具体的には、例えば図8(a)に示す濃淡画像データに対し二値化を行った結果、図8(b)に示すC1 〜C12の領域(以下、領域Cとする)が“1”となり、それ以外の領域が“0”の領域となったとする。
【0083】
次に、ラベリングステップS203で、二値化画像データbをラベリング手段25に入力して例えば“1”の連続した領域を検出し、連続した領域毎にそれぞれ異なるラベルを付与すると共にラベルを付与された全てのラベル領域のラベルをラベルデータcとして出力する。図8(b)の例では、領域Cが例えばラベルCを付与されたラベル領域となる。
【0084】
次に、第1計測ステップS204で、ラベリング手段25から出力されたラベルデータcを第1計測手段26に入力し、各ラベル領域毎の特徴量を計測してラベルを含む特徴量データdを出力する。具体的には、例えば第1計測手段26で計測する特徴量を濃淡値が“1”の画素面積とすると、図8の例では12画素となる。
【0085】
次に、不良候補抽出ステップS205で、第1計測手段26から出力された特徴量データdを不良候補抽出手段27に入力し、特徴量が予め設定した良品範囲に入っていないラベル領域のラベルを不良候補ラベルとして抽出し、不良候補ラベルのみのラベルデータである不良候補ラベルデータeを出力する。図8の例では、例えば特徴量をラベル領域の画素面積とし、判定閾値10画素未満を良品範囲とすると、図8の“1”の領域である領域Cの画素面積は“12”であり、判定閾値以上であるので、図8の領域Cは不良候補領域となる。
【0086】
次に、第2計測ステップS206で、不良候補ラベルデータe及び濃淡画像データa' を不良候補抽出手段27及び濃淡画像データ記憶手段23からそれぞれ第2計測手段28に入力し、不良候補ラベル毎に当該不良候補領域に含まれる濃淡画像データを所定の条件で計測、図8の例では最大濃淡値を抽出、して結果を当該不良候補領域の計測値とし、全ての不良候補ラベルの計測値を不良候補領域内計測値データfとして出力する。図8の例では、不良候補領域である領域Cの最大濃淡値を抽出すると242となる。
【0087】
次に、第1算出ステップS207で、不良候補ラベルデータe及び濃淡画像データa' を不良候補抽出手段27及び濃淡画像データ記憶手段23からそれぞれ第1算出手段29に入力し、不良候補ラベルデータeに含まれるラベル毎に当該不良候補領域に接する所定領域を近傍領域として設定し、この近傍領域に含まれる濃淡値データから所定の近傍濃淡値を算出し、全ての不良候補領域の近傍濃淡値を近傍濃淡値データgとして出力する。例えば、近傍領域を不良候補領域の周囲1画素とすると、図8における領域Cの近傍領域は図8(b)に示すD1 〜D20の領域(以下、領域Dとする)となる。又、近傍濃淡値データgを近傍領域画素の濃淡値の平均により求めるとすると、領域Dの平均濃淡値は144になる。
【0088】
次に、判定ステップS208で、不良候補領域内計測値データf及び近傍濃淡値データgを第2計測手段28及び第1算出手段29からそれぞれ判定手段30に入力し、不良候補ラベルデータeに含まれるラベル毎に当該不良候補領域の計測値と近傍濃淡値との差を算出し、この差が予め設定された近傍判定規格値以上であれば当該不良候補領域を不良と判定する。図8の例では、領域Cの計測値である242と、領域Cの近傍濃淡値である領域Dの平均濃淡値144との差を算出すると98と算出される。予め設定された近傍判定規格値が40であるとすると、領域Cの計測値と近傍濃淡値との差98は40以上であるので、不良候補領域である領域Cは不良と判定される。
【0089】
尚、図8の例を用いた上記説明では、不良候補領域であるラベル領域Cの周囲1画素領域である領域Dを近傍領域として、近傍濃淡値をこの近傍領域の濃淡値の平均値により算出しているが、各不良候補領域の近傍領域を当該不良候補領域の周囲1画素ではなく周囲2画素或いはそれ以上に広くすることもできる。又、近傍濃淡値も、近傍領域の濃淡値データの平均値を用いる代わりに、中央値や最大値を算出して用いることもできる。更に、近傍濃淡値を近傍領域の濃淡値データから算出する代わりに、当該ラベル領域の外周画素位置の二値化閾値の平均値を算出して近傍濃淡値とすることもできる。いずれの方法でも、不良候補領域の計測値と、近傍濃淡値との差により判定を行うので、真の不良領域と疑似不良領域とを区別することができる。
【0090】
本実施形態では、画素位置により異なる二値化閾値を用いて二値化を行うため、第2計測手段28により計測された不良候補領域内計測値データと二値化閾値との差が、検査対象22の表面状態にどこまで正確に対応するか不明確である。従って、判定手段30においては、第1の実施形態における二値化閾値の代わりに、不良候補領域毎に当該不良候補領域の近傍領域を設定してこの近傍領域の所定の近傍濃淡値、例えば当該近傍領域内の濃淡値データの平均値、を算出し、不良候補領域内計測値データと近傍濃淡値の差により当該ラベル領域の良否判定を行っている。第1の実施形態で説明したように、真の不良領域内では濃淡値が部分的に大きく変化するのに対し、実際は不良ではないむらの領域では不良候補領域及びその近傍領域での濃淡値の変化が少ない。従って、不良候補領域の計測値を適切に選択(例えば、最大濃淡値或いは最小濃淡値)すれば、真の不良領域では計測値と近傍領域の濃淡値の平均値のような近傍濃淡値の差が大きくなるために、本実施形態の方法によりむらの領域は疑似不良になることなく、真の不良領域のみを抽出できることが分かる。
【0091】
このように本実施形態の外観検査装置及びこの検査装置を用いた検査方法によれば、浮動二値化法等の画素位置により異なる二値化閾値で二値化を行うことで照明むらの影響を低減させて検出感度を上げると共に、二値化閾値が画素位置により異なることを考慮して、判定ステップにおいて各不良候補領域の計測値と比較するデータとして、第1の実施形態の場合の二値化閾値の代わりに、各不良候補領域の濃淡値データに基づいて算出した近傍領域の平均濃淡値等の近傍濃淡値を使用することで、真の不良領域を見逃さないように不良候補を抽出しながら、疑似不良領域を除去することができるという効果が得られる。尚、浮動二値化法は、当業者にとってよく知られており、又本発明とは直接関係しないので、その詳細な構成の説明は省略する。
【0092】
次に、第1の実施形態の場合と同様、本実施形態の変形例として、検出したい不良を含む領域の濃淡値が背景の領域の濃淡値に比べ大きくなる場合と小さくなる場合が混在して発生する場合や、いずれの不良が発生するか分からない場合の検査方法について説明する。
【0093】
先ず、画像データ記憶ステップについては、上記第2の実施形態の場合と全く同様にできるので、説明は省略する。
【0094】
次に、二値化ステップを、例えば第1の二値化閾値R1と第2の二値化閾値R2(但し、R1>R2とする)を用いて二値化するようにする。すなわち、濃淡画像データ記憶手段3から出力される濃淡画像データa' を二値化手段4に入力し、濃淡画像を二値化する対象領域内の全ての画素について、第1の二値化閾値R1以上の濃淡値を有する画素をラベル付け対象となる値、例えば“1”に変換して第1の二値化画像データを出力すると共に、第2の二値化閾値R2以下の濃淡値を有する画素をラベル付け対象となる値、例えば“1”に変換して第2の二値化画像データを出力する。
【0095】
次に、ラベリングステップで、この第1及び第2の二値化画像データをラベリング手段5に入力し、それぞれから例えば“1”の連続した領域を抽出して連続した領域毎にそれぞれ異なるラベルを付与し、ラベルを付与された全てのラベル領域の中で、第1の二値化画像データから抽出したラベル領域のラベルを第1ラベルデータ、及び第2の二値化画像データから抽出したラベル領域のラベルを第2ラベルデータとして出力する。
【0096】
次に、第1計測ステップで、ラベリング手段5から出力された第1及び第2ラベルデータを第1計測手段6に入力し、各ラベル領域毎の特徴量を計測して当該領域のラベルを含む特徴量データを出力する。特徴量としては、上述のとおり特に限定されないが例えば濃淡値が“1”の画素面積としてもよい。
【0097】
次に、不良候補抽出ステップで、第1計測手段6から出力された特徴量データを不良候補抽出手段7に入力し、ラベルが第1ラベルデータに含まれるラベル領域については、その特徴量が予め設定した第1の良品範囲に入っていないラベル領域を不良候補領域として抽出し、不良候補領域のみのラベルデータである第1の不良候補ラベルデータを出力し、ラベルが第2ラベルデータに含まれるラベル領域については、その特徴量が予め設定した第2の良品範囲に入っていないラベル領域を不良候補領域として抽出し、不良候補領域のみのラベルデータである第2の不良候補ラベルデータを出力する。
【0098】
次に、第2計測ステップで、第1及び第2の不良候補ラベルデータ並びに濃淡画像信号を不良候補抽出手段7及び濃淡画像データ記憶手段3からそれぞれ第2計測手段8に入力し、ラベルが第1ラベルデータに含まれる不良候補領域については当該不良候補領域内における濃淡画像の濃淡値データの中から抽出した最大の濃淡値を当該不良候補領域の計測値とし、ラベルが第2ラベルデータに含まれる不良候補領域については当該不良候補領域内における濃淡画像の濃淡値データの中から抽出した最小の濃淡値を当該不良候補領域の計測値として、例えば全ての不良候補領域の計測値を不良候補領域内計測値データとして出力する。
【0099】
次に、第1算出ステップで、第1及び第2の不良候補ラベルデータ並びに濃淡画像信号を不良候補抽出手段27及び濃淡画像データ記憶手段23からそれぞれ第1算出手段29に入力し、不良候補ラベル毎に当該不良候補領域に接する所定領域を近傍領域として設定し、この近傍領域に含まれる濃淡値データから所定の近傍濃淡値を算出し、全ての不良候補ラベルの近傍濃淡値を近傍濃淡値データと次に、判定ステップで、不良候補領域内計測値データ及び近傍濃淡値データを第2計測手段28及び第1算出手段29からそれぞれ判定手段30に入力し、不良候補ラベル毎に当該不良候補領域の不良候補領域内計測値と近傍濃淡値との差を算出し、ラベルが第1の不良候補ラベルデータに含まれる不良候補領域についてはこの差が予め設定された第1の近傍判定規格値以上であれば当該不良候補領域を不良と判定し、ラベルが第2の不良候補ラベルデータに含まれる不良候補領域についてはこの差が予め設定された第2の近傍判定規格値以上であれば当該不良候補領域を不良と判定し、必要に応じて所定の判定結果信号を出力する。
【0100】
このようにすれば、検出したい不良を含む領域の濃淡値が背景の領域の濃淡値に比べ大きくなる場合と小さくなる場合が混在して発生する場合や、いずれの不良が発生するか分からない場合に、画素位置により異なる二値化閾値を用いて二値化を行っても、必ず不良領域を検出することができる。
【0101】
以上説明したとおり、本発明の外観検査装置及び外観検査方法によれば、照明むら等の影響により不良でない領域に濃淡値のむらがあっても、むらの領域を不良領域と誤判定することなく、不良の領域を正確且つ確実に検出することができるという効果が得られる。
【0102】
特に、第1の実施形態によれば、対象領域内の全ての画素を同一の二値化閾値で二値化を行っているので、画素位置によって異なる二値化閾値で二値化を行う第2の実施形態に比べ演算量が少ないので高速に処理を行うことができるという利点がある。
【0103】
一方、第2の実施形態では、対象領域内の画素を浮動二値化法などにより画素位置によって異なる二値化閾値で二値化を行うことで、二値化の段階でむらの影響を軽減して検出感度を高くすると共に、真の不良領域をむらの影響により発生する疑似不良領域と確実に区別することができるのでより大きな効果を得ることができる。
【0104】
尚、本発明は上記各実施形態の説明に限定されるものでなく、その技術思想の範囲内において、適宜変更され得ることは言うまでもない。
【0105】
例えば、第2計測手段或いは第2計測ステップで不良候補ラベル毎に少なくとも不良候補領域内に含まれる濃淡画像の濃淡値データを用いて計測する計測値としては、上記実施形態で説明した最大濃淡値や最小濃淡値の他に、不良候補ラベル毎の不良候補領域内に含まれる濃淡画像の濃淡値データの分散値、濃淡値総和値、又は平均濃淡値などを算出し、所定の計測値とすることもできる。
【0106】
具体的には、真の不良領域である場合は、不良表面の凹凸のために領域内で濃淡値が部分的に特に大きい領域や小さい領域を有するという特徴をもつので、本当は不良ではないむらの領域に比べ分散値が大きくなるので不良領域と疑似不良の領域を区別することができる。
【0107】
又、例えば異物付着のように二値化閾値よりも大きな濃淡値になる不良の場合は、部分的な濃淡値が特に大きくなるので、真の不良領域における濃淡値総和及び平均値もむらの領域の濃淡値総和及び平均値よりも大きくなるので真の不良領域と本当は正常である疑似不良領域を区別することができる。更に、例えばボイドのように二値化閾値よりも小さな濃淡値になる不良の場合は、部分的な濃淡値が特に小さくなるので、真の不良領域における濃淡値総和及び平均値もむらの領域の濃淡値総和及び平均値よりも小さくなるので、やはり真の不良領域と本当は正常である疑似不良領域を区別することができる。
【0108】
又、上記各実施形態の説明では、不良候補抽出ステップ、第2計測ステップ、第1算出ステップ(第2の実施形態のみ)及び判定ステップを、いずれもラベリングステップで抽出した全てのラベルについて処理が終了した後、次のステップに進む例で説明しているが、不良候補領域が抽出される毎に、当該不良候補領域について判定ステップまでを処理し、次の不良候補を抽出するようにしてもよい。例えば、不良領域が1点でも検出されると検査対象を不良とするような場合は、このほうが検査効率が上がることもある。
【0109】
【発明の効果】
以上説明したように、本発明の外観検査装置及び外観検査方法によれば、照明むら等の影響により不良でない領域に濃淡値のむらがあっても、むらの領域を不良領域と誤判定することなく、不良の領域を正確且つ確実に検出することができるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の外観検査装置の第1の実施形態を示す概略ブロック図である。
【図2】図1の外観検査装置の動作及び外観検査方法を説明するための模式的な濃淡値分布図の例である。
【図3】模式的な濃淡プロファイルの例を示す図で、(a),(c)はそれぞれ表面に例えば異物が付着し、異物の付着している領域が異物の付着していない領域よりも濃淡値が大きい場合の例と、及び表面に例えば樹脂表面に発生する不良であるボイドと呼ばれる穴があり、ボイドの領域がボイドのない領域よりも濃淡値が小さい場合の例であり、(b),(d)は(a),(c)それぞれにおいて不良候補領域として抽出されるラベル領域を斜線ハッチング領域で示した模式的な平面図である。
【図4】図1の外観検査装置による外観検査方法を示す概略フローチャートである。
【図5】図1の外観検査装置による外観検査方法の変形例を示す概略フローチャートである。
【図6】本発明の外観検査装置の第2の実施形態を示す概略ブロック図である。
【図7】図6の外観検査装置による外観検査方法を示す概略フローチャートである。
【図8】図6の外観検査装置の動作及び外観検査方法を説明するための模式的な濃淡値分布図の例である。
【図9】図6の外観検査装置による外観検査方法の変形例を示す概略フローチャートである。
【図10】従来の外観検査方法を説明するための図で、(a),(c)は異物等のように濃淡値が大きくなる不良の場合の例と、ボイドのように濃淡値が小さくなる不良の例をそれぞれ示し、いずれの場合も実線が模式的な濃淡値プロファイルを、又点線が二値化閾値を、更に破線が修正二値化閾値をそれぞれ示している。又、(b),(d)は(a),(c)それぞれにおいて不良候補領域として抽出されるラベル領域を斜線ハッチング領域で示した模式的な平面図である。
【符号の説明】
1,21 撮像手段
2,22 検査対象
3,23 濃淡画像データ記憶手段
4,24 二値化手段
5,25 ラベリング手段
6,26 第1計測手段
7,27 不良候補抽出手段
8,28 第2計測手段
29 第1算出手段
10,30 判定手段
a 濃淡画像信号
a' 濃淡画像データ
b 二値化画像データ
c ラベルデータ
d 特徴量データ
e 不良候補ラベルデータ
f 不良候補領域内計測値データ
g 近傍濃淡値データ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an appearance inspection apparatus and an appearance inspection method for detecting a defect such as a surface state of an inspection target, for example, foreign matter adhesion, scratches, or voids formed in a resin portion.
[0002]
[Prior art]
As a method of inspecting the surface state of the inspection object, the grayscale image obtained by imaging the inspection object is binarized, the binarized image obtained by the binarization is labeled, and the area of the label region obtained by the labeling There is a known method for measuring the above and determining that it is defective when the area value is larger than a preset value.
[0003]
[Problems to be solved by the invention]
In this conventional inspection method, if there is uneven illumination to irradiate the surface of the inspection object, or unevenness of the material of the surface of the inspection object, unevenness of the gray value occurs in an area that is not a defective area to be detected in the inspection object image, If the gray value of the uneven area and the gray value of the defective area are close to each other, the uneven area may be erroneously determined to be defective. Further, if the binarization level is set so as not to erroneously determine the uneven area, there is a problem that a true defect is overlooked.
[0004]
Hereinafter, a specific description will be given with reference to the schematic gray value profile of FIG. The solid lines, dotted lines, and broken lines in FIGS. 10A and 10C show a typical gray value profile, binarization threshold value, and modified binarization threshold value, respectively. FIGS. 10B and 10D are schematic plan views showing the label areas extracted as defective candidate areas in the cases of FIGS. 10A and 10C as hatched areas.
[0005]
FIG. 10A shows a case where, for example, foreign matter adheres to the surface, and the region where the foreign matter is attached has a gray value larger than the region where no foreign matter is attached. On the left side of FIG. 10A, the true defective area is the defective candidate area P1, and on the right side, the uneven area that appears bright in the background is the defective candidate area P2.
[0006]
FIG. 10C shows a case where the void value is smaller in the void area than in the void-free area when there are holes called voids which are defective on the surface of the resin. On the left side of FIG. 10 (c), there is a real void, and the void area is the defective candidate area Q1, and on the right side, the uneven area on the surface of the resin part is the defective candidate area Q2.
[0007]
In the case of the above-described conventional inspection method that is determined based on the area after binarization, the area of the label area due to unevenness and the area of the true defective label area are the same as the hatched area in FIGS. In such a case, if a binarization threshold is set so that a defect can be detected, a pseudo defect that determines a non-defective uneven region as a defect occurs.
[0008]
In addition, in order to reduce pseudo defects, when the binarization threshold value set in advance is set as a corrected binarization threshold value indicated by a broken line that does not exceed the binarization threshold value, even in the true defect area Only the partial region Px portion where the gray value in the defective region is particularly large or only the partial region Qx portion where the gray value in the defective region is particularly small exceeds the binarization threshold. The value is greatly different from the defective area. For example, if the feature value is an area value, it is measured smaller than the area value of the actual defective area. Therefore, there is a problem that when only a defective candidate label area is extracted from a plurality of labeled label areas, the true defective area may not be extracted and may be overlooked.
[0009]
Further, in order to solve this problem, by narrowing the range of non-defective products registered in advance in the defect candidate extraction means, defect candidates are not missed even if the area value of the true defect area is measured small. However, in this case, only the partial area with a particularly large or small gray value in the actual defective area is extracted, and the correlation between the measured feature quantity and the actual defective feature quantity is obtained. For example, if the feature value is an area value, a small area value foreign substance or a small area void that does not actually become defective is also a partial area or shading that has a particularly large shading value in that area. If there is a region having a particularly small value, it is extracted as a defective candidate region, and finally, it is determined as a defective region, and conversely, pseudo defects increase.
[0010]
In addition, when the uneven illumination distribution varies little by product, binarization is performed using different threshold values depending on the pixel position in order to eliminate the influence of the uneven illumination by using the uneven illumination distribution data collected in advance. Floating binarization is known. However, although binarization is performed using different threshold values depending on the pixel position as in the floating binarization method, even if the influence of illumination unevenness can be reduced to some extent, the true threshold is overlooked or pseudo-defect is determined by the set threshold value. It is difficult to significantly reduce the occurrence of.
[0011]
In view of the above-described problems, the main object of the present invention is to accurately and reliably identify a defective area without erroneously determining the uneven area as a defective area even if the non-defective area has uneven density values. It is an object of the present invention to provide an appearance inspection apparatus and an appearance inspection method that can be detected.
[0012]
[Means for Solving the Problems]
For this reason, the appearance inspection apparatus according to the present invention is an appearance inspection apparatus that images an inspection object and determines a defective portion, and is determined according to the position of a pixel in image data obtained by imaging the inspection object, and determines a defect. The region where the feature value of the region where the gray value outside the range defined by the floating binarization threshold value that defines the reference gray value is outside the feature value of the preset good product range is extracted as a defective candidate region. The difference between the defect candidate area extracting means, the maximum gray value in the defect candidate area, and the average value of the floating binarization threshold values in the outer peripheral area of the defect candidate area is determined based on a predetermined determination standard value. A failure determination means for determining that the failure candidate area is defective.
[0013]
Another appearance inspection apparatus according to the present invention is an appearance inspection apparatus that images an inspection object and determines a defective portion, and is determined according to a pixel position in the image data obtained by imaging the inspection object, and determines a defect. The region where the feature value of the region where the gray value outside the range defined by the floating binarization threshold value that defines the reference gray value is outside the feature value of the preset good product range is extracted as a defective candidate region. The difference between the defect candidate area extracting means, the minimum gray value in the defect candidate area, and the average value of the floating binarization threshold values in the outer peripheral area of the defect candidate area is determined based on a predetermined determination standard value. A failure determination means for determining that the failure candidate area is defective.
[0014]
Further, another appearance inspection apparatus according to the present invention is an appearance inspection apparatus that images an inspection object and determines a defective portion, and is determined according to a pixel position in the image data obtained by imaging the inspection object, The region where the feature value of the region where the gray value larger than the first floating binarization threshold value that defines the gray value serving as a criterion for determination deviates from the preset feature value of the first good product range is defined as the first defect. A feature amount of a region in which a gray value smaller than a second floating binarization threshold value, which is determined as a candidate region and is determined according to the pixel position and defines a gray value serving as a reference for determining a defect, is set in advance. A defect candidate area extracting means for extracting a region out of the feature quantity of the second non-defective range as a second defect candidate area, a maximum gray value in the first defect candidate area, and the first defect candidate area Said first floating of the outer peripheral area When the difference from the average value of the threshold values is larger than a predetermined first determination standard value, the first defect candidate area is determined to be defective, and the second defect candidate area When the difference between the minimum gray value and the average value of the second floating binarization threshold values in the outer peripheral area of the second defect candidate area is larger than a predetermined second determination standard value , Defect determination means for determining the second defect candidate area as defective,
It is characterized by having.
[0015]
Further, another appearance inspection apparatus according to the present invention is an appearance inspection apparatus that images an inspection object and determines a defective portion, and is determined according to a pixel position in the image data obtained by imaging the inspection object, The region where the feature value of the region where the gray value larger than the first floating binarization threshold value that defines the gray value serving as a criterion for determination deviates from the preset feature value of the first good product range is defined as the first defect. A feature amount of a region in which a gray value smaller than a second floating binarization threshold value, which is determined as a candidate region and is determined according to the pixel position and defines a gray value serving as a reference for determining a defect, is set in advance. A defect candidate area extracting means for extracting an area outside the feature quantity of the second non-defective range as a second defect candidate area, an average value of gray values in the first defect candidate area, and the first defect candidate area The first float in the outer peripheral area of When the difference from the average value of the binarization threshold is larger than a predetermined first determination standard value, the first defect candidate area is determined to be defective, and the second defect candidate area And the difference between the average value of the gray value and the average value of the second floating binarization threshold in the outer peripheral area of the second defect candidate area is larger than a predetermined second determination standard value. In this case, there is provided a defect determination unit that determines the second defect candidate area as defective.
[0016]
Here, the feature amount may be an area, a circumscribed rectangle size, or a circularity.
[0017]
An appearance inspection method according to the present invention is an appearance inspection method for imaging a test object and determining a defective portion, and is a standard for determining a defect in image data obtained by imaging the test object and determined according to a pixel position. A defect that extracts a region where the feature value of the region where the gray value outside the range defined by the floating binarization threshold value that defines the gray value to be out of the feature value of the predetermined good range is extracted as a defect candidate region The difference between the candidate area extraction step, the maximum gray value in the defect candidate area, and the average value of the floating binarization threshold values in the outer peripheral area of the defect candidate area is larger than a predetermined criterion value. In this case, there is provided a defect determination step for determining the defect candidate area as defective.
[0018]
Another appearance inspection method according to the present invention is an appearance inspection method for determining a defective portion by imaging an inspection object,
In the image data obtained by imaging the inspection object, a region in which gray values outside the range defined by the floating binarization threshold value that is determined according to the pixel position and defines the gray value serving as a reference for determining a defect is continuous. A defect candidate region extraction step for extracting a region where the feature amount deviates from a preset good product range feature amount as a defect candidate region, a minimum gray value in the defect candidate region, and an outer peripheral region of the defect candidate region A defect determination step of determining the defect candidate area as defective when a difference between the average value of the floating binarization threshold values is larger than a predetermined determination standard value;
It is characterized by having.
[0019]
Further, another appearance inspection method according to the present invention is an appearance inspection method for imaging a test object and determining a defective portion, wherein the image data obtained by imaging the test object is determined according to the position of a pixel, A region in which the feature value of the region where the gray value outside the range defined by the floating binarization threshold value that defines the gray value serving as a criterion for determination deviates from the preset feature value of the non-defective product range is defined as a defective candidate region. A determination standard in which a difference between a defect candidate area extraction step to be extracted, an average value of gray values in the defect candidate area, and an average value of the floating binarization threshold value in the outer peripheral area of the defect candidate area is determined in advance A defect determination step of determining that the defect candidate area is defective when the value is larger than the value.
[0020]
Further, another appearance inspection method according to the present invention is an appearance inspection method for imaging a test object and determining a defective portion, wherein the image data obtained by imaging the test object is determined according to the position of a pixel, The region where the feature value of the region where the gray value larger than the first floating binarization threshold value that defines the gray value serving as a criterion for determination deviates from the preset feature value of the first good product range is defined as the first defect. A feature amount of a region in which a gray value smaller than a second floating binarization threshold value, which is determined as a candidate region and is determined according to the pixel position and defines a gray value serving as a reference for determining a defect, is set in advance. A defect candidate region extraction step for extracting a region outside the feature quantity of the second non-defective range as a second defect candidate region, a maximum gray value in the first defect candidate region, and the first defect candidate region The first of the outer peripheral region When the difference from the average value of the dynamic binarization threshold is larger than a predetermined first determination standard value, the first defect candidate area is determined to be defective, and the second defect candidate area is determined. And the difference between the minimum gray value and the average value of the second floating binarization threshold in the outer peripheral area of the second defect candidate area is larger than a predetermined second determination standard value. A defect determination step of determining the second defect candidate area as defective.
[0021]
Further, another appearance inspection method according to the present invention is an appearance inspection method for imaging a test object and determining a defective portion, wherein the image data obtained by imaging the test object is determined according to the position of a pixel, The region where the feature value of the region where the gray value larger than the first floating binarization threshold value that defines the gray value serving as a criterion for determination deviates from the preset feature value of the first good product range is defined as the first defect. A feature amount of a region in which a gray value smaller than a second floating binarization threshold value, which is determined as a candidate region and is determined according to the pixel position and defines a gray value serving as a reference for determining a defect, is set in advance. A defect candidate region extracting step for extracting a region outside the feature quantity of the second non-defective range as a second defect candidate region, an average value of gray values in the first defect candidate region, and the first defect candidate region The first of the outer peripheral area of When the difference from the average value of the floating binarization threshold is larger than a predetermined first determination standard value, the first defect candidate area is determined to be defective, and the second defect candidate area The difference between the average value of the gray values in the image and the average value of the second floating binarization threshold value in the outer peripheral area of the second defect candidate area is larger than a predetermined second determination standard value. In this case, the method includes a defect determination step of determining the second defect candidate area as defective.
[0022]
Here, the feature amount may be an area, a circumscribed rectangle size, or a circularity.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
In order to clarify the above and other objects, features and advantages of the present invention, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0031]
FIG. 1 is a schematic block diagram showing a first embodiment of an appearance inspection apparatus of the present invention. Referring to FIG. 1, the appearance inspection apparatus according to the present embodiment includes an imaging unit 1, a grayscale image data storage unit 3, a binarization unit 4, a labeling unit 5, a first measurement unit 6, and defect candidate extraction. Means 7, second measurement means 8, and determination means 10 are provided at least.
[0032]
The imaging means 1 captures the inspection object 2 and takes in image information composed of pixels with a desired resolution, and outputs a grayscale image signal a including grayscale information for each pixel.
[0033]
The grayscale image data storage means 3 inputs the grayscale image signal a and stores the grayscale image of the inspection object 2.
[0034]
The binarization unit 4 receives the grayscale image data a ′ output from the grayscale image data storage unit 3, and, for example, a pixel area whose grayscale value is equal to or greater than the threshold R0 is “1” according to a preset binarization threshold R0. In addition, the pixel region less than the threshold value R0 generates a binarized signal converted to “0” and outputs the binarized image data b.
[0035]
The labeling means 5 receives the binarized image data b, detects a continuous value of a value to be labeled, for example, “1”, and a different label for each continuous region together with the position information of the detected region. For example, label data c to which an alphabet or the like is added is output.
[0036]
The first measuring means 6 inputs the label data c, measures the feature quantity for each label area to which each label is assigned, and outputs the feature quantity data d including the label information of the area. Although it does not specifically limit as feature-value, For example, an area, a circumscribed rectangle size, circularity, etc. can be used.
[0037]
The defect candidate extraction means 7 receives the feature amount data d, extracts a label region whose feature amount does not fall within the predetermined non-defective product range as a defect candidate region, and defect candidate label data that is label data of only the defect candidate region e is output.
[0038]
The second measuring unit 8 inputs the defect candidate label data e and the grayscale image data a ′ from the defect
[0039]
The determination means 10 inputs the measurement value data f within the defect candidate area, calculates the difference between the maximum gray value and the minimum gray value for each label area, and the binarization threshold value R0. If it is equal to or greater than a predetermined determination standard value, the label area is determined to be defective.
[0040]
Note that at least the binarization unit 4, the labeling unit 5, the first measurement unit 6, the defect
[0041]
Next, the operation of the appearance inspection apparatus according to this embodiment will be described together with the appearance inspection method. FIG. 4 is a schematic flowchart showing an appearance inspection method by this appearance inspection apparatus. FIG. 2 is an example of a schematic gray value distribution diagram for explaining the operation and the appearance inspection method of the appearance inspection apparatus according to the present embodiment. Hereinafter, a description will be given with reference to FIGS. The labeling means 5 to the labeling method in FIG. 1 are well known to those skilled in the art and are not directly related to the present invention.
[0042]
First, in the image data storing step S101, image information of the inspection object 2 is captured using the imaging means 1 such as a camera, and a grayscale image signal a of the inspection object 2 is output. Further, the grayscale image data storage means 3 inputs this grayscale image signal a and stores it.
[0043]
Next, in the binarization step S102, the grayscale image data a ′ output from the grayscale image data storage means 3 is input to the binarization means 4, and all the pixels in the target area for binarizing the grayscale image. Binarization is performed with the same binarization threshold R0, and binarized image data b is output. Specifically, for example, assuming that the binarization threshold value is R0 = 200, in the case of FIG. 2A, the pixel region that is converted to “1” by binarization when the gray value is R0 or more is shown in FIG. The areas A1 to A12 (hereinafter referred to as area A) shown in FIG. 5 and the other pixel areas are "0" areas.
[0044]
Next, in the labeling step S103, the binarized image data b is input to the labeling means 5 to detect, for example, “1” continuous regions, and a different label is assigned to each successive region and a label is applied. The labels of all the label areas are output as label data c. In the example of FIG. 2B, the area A is a label area to which a label A is given, for example.
[0045]
Next, in the first measurement step S104, the label data c output from the labeling unit 5 is input to the first measurement unit 6, and the feature amount data d including the label information is measured by measuring the feature amount for each label region. Output. Specifically, for example, assuming that the feature amount measured by the first measuring means 6 is a pixel area having a gray value of “1”, the number of pixels is 12 pixels in the example of FIG.
[0046]
Next, in the defect candidate extraction step S105, the feature amount data d output from the first measurement unit 6 is input to the defect
[0047]
Next, in the second measurement step S106, the defect candidate label data e and the grayscale image data a ′ are input from the defect
[0048]
Next, in determination step S107, the measurement value data f in the defect candidate area is input to the determination means 10, and the difference between the measurement value of each defect candidate area and the binarization threshold R0 is calculated, and this difference is set in advance. If it is equal to or greater than the determined standard value, it is determined to be defective, and a predetermined determination result signal is output as necessary. In the example of FIG. 2, the difference between the measured value 242 of the area A that is a defect candidate area and the binarization threshold value 200 is calculated to be 42. If the preset standard value is 20, the difference 42 between the measured value of the area A and the binarization threshold is 20 or more, so the area A is determined to be defective.
[0049]
Next, the reason why an area including a defect can be accurately detected by the appearance inspection apparatus of this embodiment or the appearance inspection method using this apparatus will be described with reference to the gray value profile of FIG.
[0050]
FIG. 3A shows a case where, for example, foreign matter adheres to the surface, and the shade value is larger in a region where the foreign matter is attached than in a region where no foreign matter is attached. On the left side (P1 portion) of FIG. 3A, a true defective area is a defective candidate area, and on the right side (P2 section), an uneven area that appears bright in the background is a defective candidate area. In this case, the minimum value of the gray value in the defect candidate area is almost the binarization threshold, but the maximum value of the true defect area is L1 in FIG. 3A, and the maximum value of the uneven area is FIG. A) L2 and a difference appears between the true defective area and the uneven area. Therefore, it is possible to accurately determine whether or not the image is good by calculating only the maximum gray value in the defective candidate area.
[0051]
FIG. 3C shows a case where the void value is smaller in the void area than in the void-free area when there are holes called voids which are defective on the surface of the resin. On the left side (Q1 portion) of FIG. 3C, there is a real void, and the void region is a defective candidate region, and on the right side (Q2 portion), the uneven region on the surface of the resin portion is a defective candidate region. In this case, the maximum gray value in the defect candidate area is almost the binarization threshold, but the minimum value in the true defective area is L3 in FIG. 3C, and the minimum value in the uneven area is in FIG. c) L4, and a difference appears between the true defective area and the uneven area. In this case, it is possible to accurately determine whether or not the image is good by calculating only the minimum gray value in the defective candidate area.
[0052]
Next, as a modification of the present embodiment, a case where the gray value of the area including the defect to be detected is mixed with a case where the gray value of the area including the defect is larger than the gray value of the background area, or any defect occurs. An inspection method in the case of not knowing whether to do will be described. FIG. 5 is a flowchart showing a modification of the appearance inspection method of the present embodiment. Hereinafter, a description will be given with reference to FIGS.
[0053]
First, since the image data storing step S121 can be performed in the same manner as in the first embodiment, description thereof is omitted.
[0054]
Next, the binarization step S122 is binarized using, for example, a first binarization threshold R1 and a second binarization threshold R2 (where R1> R2). That is, the grayscale image data a ′ output from the grayscale image data storage unit 3 is input to the binarization unit 4 and the first binarization threshold value is set for all pixels in the target region for binarizing the grayscale image. A pixel having a gray value greater than or equal to R1 is converted into a value to be labeled, for example, “1”, and the first binarized image data is output, and the gray value smaller than or equal to the second binarization threshold R2 is output. The pixel having the pixel value is converted into a value to be labeled, for example, “1”, and the second binarized image data is output.
[0055]
Next, in the labeling step S123, the first and second binarized image data are input to the labeling means 5, and for example, “1” continuous regions are extracted from each, and different labels are used for each continuous region. And the label of the label area extracted from the first binarized image data is extracted from the first label data and the second binarized image data among all the label areas to which the label is assigned. The label in the label area is output as second label data.
[0056]
Next, in the first measurement step S124, the first and second label data output from the labeling unit 5 are input to the first measurement unit 6, and the feature amount for each label area is measured to include the feature amount. Output data. The feature amount is not particularly limited as described above, but may be a pixel area having a gray value of “1”, for example.
[0057]
Next, in the defect candidate extraction step S125, the feature amount data output from the first measurement unit 6 is input to the defect
[0058]
Next, in the second measurement step S126, the first and second defect candidate label data and the grayscale image signal are input from the defect
[0059]
Next, in the determination step S127, the measurement value data in the defect candidate area is input from the second measurement unit 8 to the
[0060]
In this way, when the gray value of the area that contains the defect you want to detect becomes larger or smaller than the gray value of the background area, or when you do not know which defect will occur However, a defective area can always be detected.
[0061]
Here, the reason why the appearance inspection method of this embodiment or the appearance inspection method using this inspection apparatus can prevent the occurrence of pseudo defects will be described.
[0062]
The unevenness of the grayscale value in the grayscale image is caused by the unevenness of the illumination illumination on the object to be inspected, and the grayscale value changes little by little in the unevenness area. The difference between the maximum and minimum values and the binarization threshold is a small value.
[0063]
On the other hand, the surface of the real foreign matter has irregularities, and because of the irregularities, the density value also changes in the foreign substance area, so that there is an area where the density value is partially increased as shown in FIG. For this reason, the difference between the maximum gray value and the binarization threshold in the label area as a defective candidate is larger than that in the case of unevenness as indicated by L1.
[0064]
In addition, since there are irregularities inside the true void, and the irregularity value varies within the void area due to the irregularity, there is an area where the gradation value becomes partly smaller as shown in FIG. Therefore, the difference between the minimum value of the gray value in the label area determined as a defect candidate and the binarization threshold value is larger than that in the case of unevenness as indicated by L3.
[0065]
Therefore, in the appearance inspection apparatus according to the present embodiment or the appearance inspection method using this inspection apparatus, as described above, the difference between the maximum gray value and / or the minimum gray value in the label area and the binarization threshold is determined according to a predetermined determination standard. By comparing with the value, it can be seen that only the true defective region can be extracted without causing the nonuniform region to become a pseudo defect.
[0066]
Next, a specific example will be described. For example, when a foreign object on an IC wafer is detected as defective, when illumination is performed on the wafer surface from a low angle, light is not diffusely reflected in an area where there is no foreign object, but reflected light from the surface of the foreign object is incident on the imaging means 1 Therefore, since the gray value of the area with the foreign material is larger than the background area compared to the gray value of the background without the foreign object, the gray value data of the gray image included in the defective candidate area for each defective candidate label. It can be seen that it can be detected by searching only the largest gray value.
[0067]
Conversely, for example, when detecting a hole called a void on the surface of the resin part in a resin-sealed semiconductor device or the like as a defect, reflected light is incident on the imaging means 1 from the surface of the resin part. Since the irradiation light incident on the void is scattered by the irregularities inside the void and hardly enters the imaging means 1, the density value of the void area becomes smaller than that of the resin area without the void. It can be seen that it can be detected by searching only the smallest gray value in the gray value data of the gray image included in.
[0068]
Thus, when it is known whether the gray value of the area including the defect is larger or smaller than the gray value of the background area, the gray value of the gray image included in the defect candidate area for each defect candidate label. Since only one of the maximum gray value and the minimum gray value needs to be searched for in the data, there is an effect that the processing time can be shortened compared to the case where both processes are performed.
[0069]
Next, a second embodiment of the present invention will be described. FIG. 6 is a schematic block diagram showing a second embodiment of the appearance inspection apparatus of the present invention. Referring to FIG. 6, the appearance inspection apparatus of the present embodiment includes an
[0070]
The imaging means 21 captures the inspection object 22, captures image information composed of pixels with a desired resolution, and outputs a grayscale image signal a including grayscale information for each pixel.
[0071]
The grayscale image data storage means 23 inputs and stores this grayscale image signal a.
[0072]
The binarization unit 24 receives the grayscale image data a ′ output from the grayscale image
[0073]
The labeling means 25 receives the binarized image data b, detects a continuous region of “1”, and outputs label data c to which a different label, for example, an alphabet or the like is assigned to each continuous region.
[0074]
The first measuring means 26 receives the label data c, measures the feature amount for each label area to which each label is assigned, and outputs feature amount data d including label information. Although it does not specifically limit as feature-value, For example, an area, a circumscribed rectangle size, circularity, etc. can be used.
[0075]
The defect
[0076]
The
[0077]
The
[0078]
The
[0079]
Note that at least the binarization unit 24, the
[0080]
Next, the operation of the appearance inspection apparatus according to this embodiment will be described together with the appearance inspection method. FIG. 7 is a schematic flowchart showing an appearance inspection method by the appearance inspection apparatus. FIG. 8 is an example of a schematic gray value distribution diagram for explaining the operation of the appearance inspection apparatus and the appearance inspection method of the present embodiment. Hereinafter, a description will be given with reference to FIGS.
[0081]
First, in image data storage step S201, image information of the inspection object 22 is captured using the imaging means 21 such as a camera, and a grayscale image signal a of the inspection object 22 is output. Further, the grayscale image signal a is input to the grayscale image data storage means 23 and stored.
[0082]
Next, in the binarization step S202, the grayscale image data a ′ output from the grayscale image data storage means 23 is input to the binarization means 24, and the binary value determined according to the pixel position in the inspection target area. Binarization is performed using the binarization threshold value, and binarized image data b is output. Specifically, for example, as a result of binarization of the grayscale image data shown in FIG. 8A, the areas C1 to C12 (hereinafter referred to as area C) shown in FIG. It is assumed that the other areas become “0” areas.
[0083]
Next, in the labeling step S203, the binarized image data b is input to the labeling means 25 to detect, for example, “1” continuous regions, and a different label is assigned to each continuous region and a label is applied. The labels of all the label areas are output as label data c. In the example of FIG. 8B, the region C is a label region to which a label C is assigned, for example.
[0084]
Next, in the first measurement step S204, the label data c output from the
[0085]
Next, in the defect candidate extraction step S205, the feature amount data d output from the
[0086]
Next, in the second measurement step S206, the defect candidate label data e and the grayscale image data a ′ are input from the defect
[0087]
Next, in the first calculation step S207, the defect candidate label data e and the grayscale image data a ′ are input from the defect
[0088]
Next, in the determination step S208, the measured value data f in the defect candidate region and the near gray value data g are input from the
[0089]
In the above description using the example of FIG. 8, the area D, which is one pixel area around the label area C, which is a defective candidate area, is set as a neighboring area, and the neighborhood grayscale value is calculated by the average value of the grayscale values in this neighboring area. However, the neighborhood area of each defect candidate area can be widened not to one pixel around the defect candidate area but to two or more surrounding pixels. Also, the neighborhood gray value can be calculated by using the median value or the maximum value instead of using the average value of the gray value data in the neighborhood region. Further, instead of calculating the neighborhood grayscale value from the grayscale value data of the neighborhood area, it is also possible to calculate the average value of the binarization threshold values at the outer peripheral pixel positions of the label area to obtain the neighborhood grayscale value. In any method, the determination is made based on the difference between the measured value of the defect candidate area and the near gray value, so that the true defect area and the pseudo defect area can be distinguished.
[0090]
In the present embodiment, since binarization is performed using different binarization threshold values depending on pixel positions, the difference between the measured value data in the defect candidate area measured by the
[0091]
As described above, according to the appearance inspection apparatus and the inspection method using the inspection apparatus according to the present embodiment, the influence of uneven illumination is obtained by performing binarization with different binarization threshold values depending on pixel positions such as a floating binarization method. In consideration of the fact that the binarization threshold varies depending on the pixel position, the data to be compared with the measurement values of the respective defect candidate areas in the determination step is used in the case of the first embodiment. By using neighborhood gray values such as the average gray value of the neighboring area calculated based on the gray value data of each defective candidate area instead of the threshold value, defect candidates are extracted so as not to miss the true defective area However, there is an effect that the pseudo defective area can be removed. Note that the floating binarization method is well known to those skilled in the art and is not directly related to the present invention, so the detailed description of the configuration is omitted.
[0092]
Next, as in the case of the first embodiment, as a modification of the present embodiment, there are cases where the gray value of the area including the defect to be detected becomes larger and smaller than the gray value of the background area. An inspection method in the case where it occurs or when it is not known which defect will occur will be described.
[0093]
First, the image data storage step can be performed in exactly the same manner as in the second embodiment, and a description thereof will be omitted.
[0094]
Next, the binarization step is binarized using, for example, a first binarization threshold R1 and a second binarization threshold R2 (where R1> R2). That is, the grayscale image data a ′ output from the grayscale image data storage unit 3 is input to the binarization unit 4 and the first binarization threshold value is set for all pixels in the target region for binarizing the grayscale image. A pixel having a gray value greater than or equal to R1 is converted into a value to be labeled, for example, “1”, and the first binarized image data is output, and the gray value smaller than or equal to the second binarization threshold R2 is output. The pixel having the pixel value is converted into a value to be labeled, for example, “1”, and the second binarized image data is output.
[0095]
Next, in the labeling step, the first and second binarized image data are input to the labeling means 5, and for example, “1” continuous regions are extracted from each of them, and different labels are provided for each continuous region. The label extracted from the first binarized image data and the label of the label region extracted from the first binarized image data among all the label regions to which the label is added The label of the area is output as the second label data.
[0096]
Next, in the first measurement step, the first and second label data output from the labeling unit 5 are input to the first measurement unit 6, and the feature amount for each label area is measured to include the label of the area. Output feature data. The feature amount is not particularly limited as described above, but may be a pixel area having a gray value of “1”, for example.
[0097]
Next, in the defect candidate extraction step, the feature amount data output from the first measurement unit 6 is input to the defect
[0098]
Next, in the second measurement step, the first and second defect candidate label data and the grayscale image signal are input from the defect
[0099]
Next, in the first calculation step, the first and second defect candidate label data and the gray image signal are input from the defect
[0100]
In this way, when the gray value of the area that contains the defect you want to detect becomes larger or smaller than the gray value of the background area, or when you do not know which defect will occur In addition, even when binarization is performed using a binarization threshold value that differs depending on the pixel position, a defective area can always be detected.
[0101]
As described above, according to the appearance inspection apparatus and the appearance inspection method of the present invention, even if there is unevenness in the gray value in the region that is not defective due to the influence of illumination unevenness, the uneven region is not erroneously determined as a defective region, An effect is obtained that a defective area can be detected accurately and reliably.
[0102]
In particular, according to the first embodiment, since all pixels in the target region are binarized with the same binarization threshold, binarization is performed with different binarization thresholds depending on pixel positions. Compared to the second embodiment, there is an advantage in that the amount of calculation is small and processing can be performed at high speed.
[0103]
On the other hand, in the second embodiment, the influence of unevenness is reduced at the binarization stage by binarizing the pixels in the target region with a binarization threshold value that differs depending on the pixel position by a floating binarization method or the like. As a result, the detection sensitivity can be increased, and the true defective area can be reliably distinguished from the pseudo defective area caused by the influence of unevenness, so that a greater effect can be obtained.
[0104]
In addition, this invention is not limited to description of said each embodiment, It cannot be overemphasized that it can change suitably within the range of the technical thought.
[0105]
For example, as the measurement value measured using the gray value data of the gray image included in at least the defect candidate area for each defect candidate label in the second measurement means or the second measurement step, the maximum gray value described in the above embodiment is used. In addition to the minimum gray value, the variance value, gray value total value, or average gray value of the gray value data of the gray image included in the defect candidate area for each defect candidate label is calculated and used as a predetermined measurement value. You can also.
[0106]
Specifically, in the case of a true defective area, because of the unevenness of the defective surface, it has a characteristic that the gray value is partially particularly large or small in the area. Since the variance value is larger than the area, it is possible to distinguish the defective area from the pseudo-defective area.
[0107]
In addition, in the case of a defect having a gray value larger than the binarization threshold, such as foreign matter adhesion, the partial gray value is particularly large, so the gray value sum and average value in the true defective area is also an uneven region. Therefore, it is possible to distinguish a true defective area from a pseudo defective area that is actually normal. Further, in the case of a defect such as a void, which has a gray value smaller than the binarization threshold value, the partial gray value is particularly small. Therefore, the total gray value and the average value in the true defective area are also in the uneven area. Since it is smaller than the sum of the gray value and the average value, it is possible to distinguish a true defective area from a pseudo defective area that is actually normal.
[0108]
In the description of each of the above embodiments, the defect candidate extraction step, the second measurement step, the first calculation step (only the second embodiment), and the determination step are all processed for all labels extracted in the labeling step. After completion, the example proceeds to the next step. However, each time a defective candidate area is extracted, the process up to the determination step is performed for the defective candidate area, and the next defective candidate is extracted. Good. For example, if even one defective area is detected, the inspection efficiency may be improved when the inspection target is defective.
[0109]
【The invention's effect】
As described above, according to the appearance inspection apparatus and the appearance inspection method of the present invention, even if there are uneven gray values in a region that is not defective due to the influence of illumination unevenness or the like, the uneven region is not erroneously determined as a defective region. Thus, it is possible to accurately and reliably detect a defective area.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a first embodiment of an appearance inspection apparatus of the present invention.
2 is an example of a schematic gray value distribution diagram for explaining an operation and an appearance inspection method of the appearance inspection apparatus in FIG. 1. FIG.
FIGS. 3A and 3B are diagrams showing examples of schematic shading profiles, wherein FIGS. 3A and 3C are each a surface where, for example, foreign matter adheres to the surface, and the region where foreign matter is attached is more than the region where foreign matter is not attached. An example in the case where the gray value is large, and an example in which there are holes called voids which are defective on the surface of the resin, for example, and the void area is smaller than the non-voided area. ), (D) are schematic plan views showing the label area extracted as a defective candidate area in each of (a), (c) with hatched areas.
4 is a schematic flowchart showing an appearance inspection method by the appearance inspection apparatus of FIG. 1. FIG.
5 is a schematic flowchart showing a modification of the appearance inspection method by the appearance inspection apparatus of FIG.
FIG. 6 is a schematic block diagram showing a second embodiment of the appearance inspection apparatus of the present invention.
7 is a schematic flowchart showing an appearance inspection method by the appearance inspection apparatus of FIG. 6;
8 is an example of a schematic gray value distribution diagram for explaining an operation and an appearance inspection method of the appearance inspection apparatus in FIG. 6. FIG.
FIG. 9 is a schematic flowchart showing a modification of the appearance inspection method by the appearance inspection apparatus of FIG. 6;
FIGS. 10A and 10B are diagrams for explaining a conventional appearance inspection method, in which FIGS. 10A and 10C show an example of a defect in which a gray value is large, such as a foreign object, and a small gray value, such as a void; FIGS. In each case, a solid line indicates a typical gray value profile, a dotted line indicates a binarization threshold value, and a broken line indicates a corrected binarization threshold value. (B) and (d) are schematic plan views showing the label area extracted as the defective candidate area in each of (a) and (c) with hatched areas.
[Explanation of symbols]
1,21 Imaging means
2,22 Inspection target
3,23 Gray image data storage means
4,24 Binarization means
5,25 Labeling means
6,26 First measuring means
7, 27 Failure candidate extraction means
8, 28 Second measuring means
29 First calculation means
10, 30 judgment means
a Gray image signal
a 'Gray image data
b Binary image data
c Label data
d Feature data
e Defect candidate label data
f Measurement value data in defect candidate area
g Near gray value data
Claims (12)
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出手段と、
前記不良候補領域内で最大の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定手段と、
を有することを特徴とする外観検査装置。An appearance inspection apparatus that images an inspection object and determines a defective portion,
In the image data obtained by imaging the inspection object, a region in which gray values outside the range defined by the floating binarization threshold value that is determined according to the pixel position and defines the gray value serving as a reference for determining a defect is continuous. A defect candidate area extracting means for extracting, as a defect candidate area, an area in which the feature quantity deviates from a preset good quantity range feature quantity;
When the difference between the maximum gray value in the defect candidate area and the average value of the floating binarization threshold values in the outer peripheral area of the defect candidate area is larger than a predetermined determination standard value, the defect A failure determination means for determining a candidate area as defective;
An appearance inspection apparatus characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出手段と、
前記不良候補領域内で最小の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定手段と、
を有することを特徴とする外観検査装置。An appearance inspection apparatus that images an inspection object and determines a defective portion,
In the image data obtained by imaging the inspection object, a region in which gray values outside the range defined by the floating binarization threshold value that is determined according to the pixel position and defines the gray value serving as a reference for determining a defect is continuous. A defect candidate area extracting means for extracting, as a defect candidate area, an area in which the feature quantity deviates from a preset good quantity range feature quantity;
When the difference between the minimum gray value in the defect candidate area and the average value of the floating binarization threshold values in the outer peripheral area of the defect candidate area is larger than a predetermined determination standard value, the defect A failure determination means for determining a candidate area as defective;
An appearance inspection apparatus characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出手段と、
前記不良候補領域内の濃淡値の平均値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定手段と、
を有することを特徴とする外観検査装置。An appearance inspection apparatus that images an inspection object and determines a defective portion,
In the image data obtained by imaging the inspection object, a region in which gray values outside the range defined by the floating binarization threshold value that is determined according to the pixel position and defines the gray value serving as a reference for determining a defect is continuous. A defect candidate area extracting means for extracting, as a defect candidate area, an area in which the feature quantity deviates from a preset good quantity range feature quantity;
When the difference between the average value of the gray value in the defect candidate area and the average value of the floating binarization threshold value in the outer peripheral area of the defect candidate area is larger than a predetermined determination standard value, A defect determination means for determining a defect candidate area as defective;
An appearance inspection apparatus characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出手段と、
前記第1の不良候補領域内で最大の濃淡値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内で最小の濃淡値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定手段と、
を有することを特徴とする外観検査装置。An appearance inspection apparatus that images an inspection object and determines a defective portion,
In the image data obtained by imaging the inspection object, a feature amount of a region in which gray values that are larger than a first floating binarization threshold value that is determined according to the pixel position and that defines a gray value that serves as a criterion for determining a defect is continuous However, a region that deviates from the feature value of the first non-defective range set in advance is set as a first defect candidate region, and a second floating value that is determined according to the position of the pixel and defines a gray value that serves as a reference for determining a defect. A defect candidate region extracting means for extracting, as a second defect candidate region, a region where the feature amount of the region where the gray value smaller than the binarization threshold value continues is out of the preset feature amount of the second good product range;
The difference between the maximum gray value in the first defect candidate area and the average value of the first floating binarization threshold values in the outer peripheral area of the first defect candidate area is a predetermined first value. When the value is larger than the determination standard value, the first defect candidate area is determined to be defective, the minimum gray value in the second defect candidate area, and the outer peripheral area of the second defect candidate area A failure determination means for determining that the second failure candidate area is defective when a difference from an average value of the second floating binarization threshold is larger than a predetermined second determination standard value;
An appearance inspection apparatus characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出手段と、
前記第1の不良候補領域内の濃淡値の平均値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内の濃淡値の平均値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定手段と、
を有することを特徴とする外観検査装置。An appearance inspection apparatus that images an inspection object and determines a defective portion,
In the image data obtained by imaging the inspection object, a feature amount of a region in which gray values that are larger than a first floating binarization threshold value that is determined according to the pixel position and that defines a gray value that serves as a criterion for determining a defect is continuous However, a region that deviates from the feature value of the first non-defective range set in advance is set as a first defect candidate region, and a second floating value that is determined according to the position of the pixel and defines a gray value that serves as a reference for determining a defect. A defect candidate region extracting means for extracting, as a second defect candidate region, a region where the feature amount of the region where the gray value smaller than the binarization threshold value continues is out of the preset feature amount of the second good product range;
The difference between the average value of the gray value in the first defect candidate area and the average value of the first floating binarization threshold value in the outer peripheral area of the first defect candidate area is a predetermined first value. The first defect candidate area is determined to be defective, the gray value average value in the second defect candidate area, and the outer peripheral area of the second defect candidate area. If the difference between the second floating binarization threshold and the average value of the second floating binarization threshold is larger than a predetermined second determination standard value, the defect determination means determines that the second defect candidate area is defective. When,
An appearance inspection apparatus characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出ステップと、
前記不良候補領域内で最大の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定ステップと、
を有することを特徴とする外観検査方法。An appearance inspection method for imaging a test object and determining a defective portion,
In the image data obtained by imaging the inspection object, a region in which gray values outside the range defined by the floating binarization threshold value that is determined according to the pixel position and defines the gray value serving as a reference for determining a defect is continuous. A defect candidate region extraction step for extracting a region where the feature amount of the feature amount deviates from the preset good product range feature amount as a defect candidate region;
When the difference between the maximum gray value in the defect candidate area and the average value of the floating binarization threshold values in the outer peripheral area of the defect candidate area is larger than a predetermined determination standard value, the defect A defect determination step of determining a candidate area as defective;
A visual inspection method characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出ステップと、
前記不良候補領域内で最小の濃淡値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定ステップと、
を有することを特徴とする外観検査方法。An appearance inspection method for imaging a test object and determining a defective portion,
In the image data obtained by imaging the inspection object, a region in which gray values outside the range defined by the floating binarization threshold value that is determined according to the pixel position and defines the gray value serving as a reference for determining a defect is continuous. A defect candidate region extraction step for extracting a region where the feature amount of the feature amount deviates from the preset good product range feature amount as a defect candidate region;
When the difference between the minimum gray value in the defect candidate area and the average value of the floating binarization threshold values in the outer peripheral area of the defect candidate area is larger than a predetermined determination standard value, the defect A defect determination step of determining a candidate area as defective;
A visual inspection method characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する浮動二値化閾値により規定される範囲の外の濃淡値が連続する領域の特徴量が、予め設定した良品範囲の特徴量を外れる領域を不良候補領域として抽出する不良候補領域抽出ステップと、
前記不良候補領域内の濃淡値の平均値と、前記不良候補領域の外周領域の前記浮動二値化閾値の平均値と、の差が予め定められた判定規格値よりも大の場合に、前記不良候補領域を不良と判定する不良判定ステップと、
を有することを特徴とする外観検査方法。An appearance inspection method for imaging a test object and determining a defective portion,
In the image data obtained by imaging the inspection object, a region in which gray values outside the range defined by the floating binarization threshold value that is determined according to the pixel position and defines the gray value serving as a reference for determining a defect is continuous. A defect candidate region extraction step for extracting a region where the feature amount of the feature amount deviates from the preset good product range feature amount as a defect candidate region;
When the difference between the average value of the gray value in the defect candidate area and the average value of the floating binarization threshold value in the outer peripheral area of the defect candidate area is larger than a predetermined determination standard value, A defect determination step of determining a defect candidate area as defective;
A visual inspection method characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮 動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出ステップと、
前記第1の不良候補領域内で最大の濃淡値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内で最小の濃淡値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定ステップと、
を有することを特徴とする外観検査方法。An appearance inspection method for imaging a test object and determining a defective portion,
In the image data obtained by imaging the inspection object, a feature amount of a region in which gray values that are larger than a first floating binarization threshold value that is determined according to the pixel position and that defines a gray value that serves as a criterion for determining a defect is continuous However, a region that deviates from the feature value of the first non-defective range set in advance is set as a first defect candidate region, and a second float that defines a gray value that is determined according to the pixel position and serves as a reference for determining a defect. A defect candidate region extraction step for extracting, as a second defect candidate region, a region in which the feature amount of the region in which the gray value smaller than the dynamic binarization threshold continues is outside the feature amount of the second good product range set in advance;
The difference between the maximum gray value in the first defect candidate area and the average value of the first floating binarization threshold values in the outer peripheral area of the first defect candidate area is a predetermined first value. When the value is larger than the determination standard value, the first defect candidate area is determined to be defective, the minimum gray value in the second defect candidate area, and the outer peripheral area of the second defect candidate area A defect determination step of determining the second defect candidate area as defective when a difference from an average value of the second floating binarization threshold is larger than a predetermined second determination standard value;
A visual inspection method characterized by comprising:
前記検査対象を撮像した画像データにおいて、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第1の浮動二値化閾値より大きな濃淡値が連続する領域の特徴量が、予め設定した第1の良品範囲の特徴量を外れる領域を第1の不良候補領域とし、画素の位置に応じて定められ、不良を判別する基準となる濃淡値を規定する第2の浮動二値化閾値より小さな濃淡値が連続する領域の特徴量が、予め設定した第2の良品範囲の特徴量を外れる領域を第2の不良候補領域として抽出する不良候補領域抽出ステップと、
前記第1の不良候補領域内の濃淡値の平均値と、前記第1の不良候補領域の外周領域の前記第1の浮動二値化閾値の平均値との差が、予め定められた第1の判定規格値よりも大の場合に、前記第1の不良候補領域を不良と判定し、前記第2の不良候補領域内の濃淡値の平均値と、前記第2の不良候補領域の外周領域の前記第2の浮動二値化閾値の平均値との差が、予め定められた第2の判定規格値よりも大の場合に、前記第2の不良候補領域を不良と判定する不良判定ステップと、
を有することを特徴とする外観検査方法。An appearance inspection method for imaging a test object and determining a defective portion,
In the image data obtained by imaging the inspection object, a feature amount of a region in which gray values that are larger than a first floating binarization threshold value that is determined according to the pixel position and that defines a gray value that serves as a criterion for determining a defect is continuous However, a region that deviates from the feature value of the first non-defective range set in advance is set as a first defect candidate region, and a second floating value that is determined according to the position of the pixel and defines a gray value that serves as a reference for determining a defect. A defect candidate region extraction step for extracting, as a second defect candidate region, a region in which the feature amount of the region in which the light and shade values smaller than the binarization threshold value deviate from the preset second good product range feature amount;
The difference between the average value of the gray value in the first defect candidate area and the average value of the first floating binarization threshold value in the outer peripheral area of the first defect candidate area is a predetermined first value. The first defect candidate area is determined to be defective, the gray value average value in the second defect candidate area, and the outer peripheral area of the second defect candidate area. A failure determination step of determining that the second failure candidate area is defective when a difference from an average value of the second floating binarization threshold is larger than a predetermined second determination standard value When,
A visual inspection method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001347235A JP3988440B2 (en) | 2001-11-13 | 2001-11-13 | Appearance inspection method and appearance inspection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001347235A JP3988440B2 (en) | 2001-11-13 | 2001-11-13 | Appearance inspection method and appearance inspection apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003149160A JP2003149160A (en) | 2003-05-21 |
JP3988440B2 true JP3988440B2 (en) | 2007-10-10 |
Family
ID=19160270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001347235A Expired - Lifetime JP3988440B2 (en) | 2001-11-13 | 2001-11-13 | Appearance inspection method and appearance inspection apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3988440B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4339675B2 (en) * | 2003-12-24 | 2009-10-07 | オリンパス株式会社 | Gradient image creation apparatus and gradation image creation method |
JP4553691B2 (en) * | 2004-11-16 | 2010-09-29 | 春雄 伊藤 | Iris information sensor and iris identification device |
JP4551821B2 (en) * | 2005-06-03 | 2010-09-29 | 本田技研工業株式会社 | Method and apparatus for inspection of bonding state of structure |
JP4910412B2 (en) * | 2006-02-02 | 2012-04-04 | カシオ計算機株式会社 | Appearance inspection method |
DE102006033663B4 (en) | 2006-07-20 | 2012-01-26 | Airbus Operations Gmbh | Method for determining a characteristic parameter of a CFRP sample |
JP4528850B2 (en) * | 2008-08-26 | 2010-08-25 | シャープ株式会社 | Defect detection apparatus, defect detection method, defect detection program, and computer-readable recording medium recording the program |
CN104484878B (en) * | 2014-12-16 | 2017-10-17 | 深圳市华星光电技术有限公司 | The automatic testing method of defects of display panel |
JP2020003452A (en) * | 2018-07-02 | 2020-01-09 | 大日本印刷株式会社 | Inspection device, method for inspection, and program for inspection device |
JP2020139905A (en) | 2019-03-01 | 2020-09-03 | セイコーエプソン株式会社 | Inspection device, inspection method, and program |
CN116385445B (en) * | 2023-06-06 | 2023-08-11 | 东莞市希锐自动化科技股份有限公司 | Visual technology-based electroplated hardware flaw detection method |
-
2001
- 2001-11-13 JP JP2001347235A patent/JP3988440B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003149160A (en) | 2003-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3051279B2 (en) | Bump appearance inspection method and bump appearance inspection device | |
JP4351522B2 (en) | Pattern defect inspection apparatus and pattern defect inspection method | |
US7602960B2 (en) | System and method for measuring thin film thickness variations and for compensating for the variations | |
US6862491B2 (en) | System and method for process variation monitor | |
KR102613277B1 (en) | Surface-defect detecting method, surface-defect detecting apparatus, steel-material manufacturing method, steel-material quality management method, steel-material manufacturing facility, surface-defect determination model generating method, and surface-defect determination model | |
US20080175466A1 (en) | Inspection apparatus and inspection method | |
JP3988440B2 (en) | Appearance inspection method and appearance inspection apparatus | |
JP3279868B2 (en) | Defect inspection method and device for inspected pattern | |
JP4250931B2 (en) | Appearance inspection apparatus and appearance inspection method | |
JP4101489B2 (en) | Defect inspection method and apparatus | |
JP4743805B2 (en) | Appearance inspection method and apparatus | |
US7024031B1 (en) | System and method for inspection using off-angle lighting | |
JP3793668B2 (en) | Foreign object defect inspection method and apparatus | |
JP5498109B2 (en) | Defect detection apparatus and defect detection method | |
JP2007081513A (en) | Blot defect detecting method for solid-state imaging element | |
JP3878340B2 (en) | Pattern defect inspection method and apparatus | |
CN112053356B (en) | Method and device for detecting defects at pins of plastic packaged semiconductor | |
KR101053779B1 (en) | Metal mask inspection method of display means | |
JPH079403B2 (en) | Surface defect inspection method for objects | |
JP3126634B2 (en) | Appearance inspection method | |
JP2009047517A (en) | Inspection apparatus | |
JP2000329699A (en) | Method and apparatus for inspection of defect | |
JPH08190633A (en) | Defect judging method | |
JPH07239940A (en) | Method for processing closed loop image and defect inspection method using the method | |
JPH10214327A (en) | Method of detecting surface defect using image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061218 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3988440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |