JP3890844B2

JP3890844B2 - Appearance inspection method

Info

Publication number: JP3890844B2
Application number: JP2000016402A
Authority: JP
Inventors: 満白澤; 剛増田
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2000-01-26
Filing date: 2000-01-26
Publication date: 2007-03-07
Anticipated expiration: 2020-01-26
Also published as: JP2001209794A

Description

【０００１】
【発明の属する技術分野】
本発明は、検査対象を撮像して得た画像に画像処理を施すことによって検査対象の外観上の欠陥の有無を検出する外観検査方法に関するものである。
【０００２】
【従来の技術】
この種の外観検査方法として、光源からの光を検査対象に照射し、光源から検査対象への光の照射方向とは異なる方向の光軸を有した撮像装置によって検査対象の表面の陰影を撮像し、撮像された画像に画像処理を施すことによって、検査対象の外観上の欠陥（表面に生じたクラックなど）の有無を検出する技術が知られている。撮像された画像から検査対象の欠陥部分を抽出する画像処理技術としては、特開平４−３１７５１号公報に記載されているように、ＣＣＤカメラのような撮像装置からの画像信号をＡ／Ｄ変換部によりデジタル化した後、濃淡画像である原画像に空間微分を施して微分絶対値および微分方向値を求め、欠陥候補の画素を微分絶対値および微分方向値を用いて追跡する技術が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された画像処理技術では、欠陥候補画素の追跡において、微分絶対値が規定値以上の各画素について、その微分方向値が所定範囲内に収まるような連続性を有している画素群を欠陥候補画素として抽出しているため、検査対象がその表面に模様を有している場合に抽出した欠陥候補画素群が模様の部分と欠陥部分との何れであるかを判別することができず、誤検出の確率が高くなって欠陥部分を正しく検出できなくなる可能性を有している。
【０００４】
本発明は上記事由に鑑みて為されたものであり、その目的は、欠陥の有無の判定精度を高めた外観検査方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、上記目的を達成するために、被検査物を含む空間領域を撮像して得られた濃淡画像から被検査物の外観上の欠陥を検出する外観検査方法において、前記濃淡画像である原画像を演算処理して微分絶対値画像、微分方向値画像並びにエッジ画像を求め、前記エッジ画像内に検査領域を設定するとともに該検査領域内におけるエッジ画像の輪郭線上の画素に対して当該画素が持つ微分方向値の方向から時計回り又は反時計回りに略９０°回転した方向に隣接する画素の原画像における濃度を求め、この濃度が所定の条件を満たす場合に当該画素を欠陥候補点とし、さらに、前記時計回り又は反時計回りに９０°回転した何れか一方の方向に隣接する画素を含んだスティックマスクを設定して欠陥候補点を抽出するとともに、前記輪郭線上の画素の微分絶対値の総和を求め、欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定することを特徴とし、被検査物が表面に濃淡むら等の模様を有し、その模様に混じってクラックのように低コントラストな欠陥部分が存在している場合であっても、被検査物の模様と背景部分とでそれぞれに含まれる画素の濃度が異なり、且つ模様に含まれる画素の濃度が背景部分に含まれる画素の濃度よりも低く（又は高く）なっていれば、クラックのような低コントラストの欠陥部分に含まれる画素の濃度が背景部分に含まれる画素の濃度よりも高く（又は低く）なるから、背景部分に含まれる画素の濃度よりも高く（又は低く）なる画素を欠陥候補点として抽出することにより、模様と欠陥とを識別することができ、その結果、模様を欠陥と誤判定することを防ぐことができて欠陥の有無の判定精度を高めることができる。また、欠陥部分の濃度が背景部分の濃度よりも高いか、あるいは低いかが予め明確になっている場合、微分方向値が示す方向から時計回り又は反時計回りにそれぞれ９０°回転した方向に隣接する２つの画素の何れか一方のみの濃度についてしきい値との比較を行うことによって、欠陥候補点を検出する処理が簡素化され、全体の処理時間が短縮でき、さらに、クラックなどの欠陥部分は背景部分との境界近傍に濃度が略等しい画素が連続して存在するから、スティックマスクを走査して濃度をしきい値と比較する画素数を増やすことによって欠陥候補点を数多く抽出することができ、良否判定がし易くなるとともに検査精度の向上が図れるとともに、前記輪郭線上の画素の微分絶対値の総和を求め、欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定することより、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れる。
【０００６】
請求項２の発明は、請求項１の発明において、前記画素の濃度が前記被検査物の表面を表す背景部分よりも明るい又は暗いレベルに設定されたしきい値を超えていることを前記所定の条件とすることを特徴とし、請求項１の発明と同様の作用を奏する。
【０００７】
請求項３の発明は、請求項１の発明において、前記画素の濃度が前記被検査物の表面を表す背景部分よりも明るい又は暗いレベルに設定された第１のしきい値と、欠陥部分の濃度のピーク値よりも明るい又は暗いレベルに設定された第２のしきい値との間に存在することを前記所定の条件とすることを特徴とし、濃度が第２のしきい値を超えるようなごみなどのノイズ要因を除去することが可能となり、検査精度の向上が図れる。
【００１０】
請求項４の発明は、請求項１又は２又は３の発明において、前記輪郭線上の画素のうちで所定の微分方向値を有する画素のみから欠陥候補点を抽出することを特徴とし、特定の条件を満たす画素のみを抽出して良否判定を行うことで、原画像から予めエッジ画像を求めて良否判定を行う場合に比較して検査時間の短縮が図れる。
【００１２】
請求項５の発明は、請求項１〜４の何れかの発明において、前記欠陥候補点とした輪郭線上の画素の周辺で別の欠陥候補点を探索することを特徴とし、１つの欠陥候補点の周辺から欠陥候補点を追跡して数多くの欠陥候補点を抽出することによって、クラックのような低コントラストの欠陥を安定して検出することができる。
【００１３】
請求項６の発明は、請求項１〜５の何れかの発明において、前記欠陥候補点の濃度の平均値を求め、該平均値が所定のしきい値よりも大きい又は小さい場合に欠陥と判定することを特徴とし、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れる。
【００１４】
請求項７の発明は、請求項１〜６の何れかの発明において、前記エッジ画像を求める際に、不連続となる輪郭線の端点から始めて注目する画素とその周囲の画素とを比較し、所定の評価関数がもっとも大きくなる方向に線を延長し、他の線の端点に衝突するまでこれを続けることで輪郭線を連続線とするエッジ延長処理を行うことを特徴とし、エッジ延長処理によってエッジ画像を連続線として求めることができ、このような連続線のエッジ画像に対して欠陥候補点を抽出することによって検査精度を向上させることができる。
【００１５】
請求項８の発明は、請求項１〜７の何れかの発明において、前記欠陥候補点とした画素で形成される輪郭線の周囲長を求め、該周囲長が規定値以上の場合に欠陥と判定することを特徴とし、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れる。
【００１６】
請求項９の発明は、請求項１〜８の何れかの発明において、前記輪郭線で囲まれた欠陥候補点の集合からなる欠陥候補領域の射影幅を求め、該射影幅が所定の条件を満たす場合に欠陥と判定することを特徴とし、通常クラックは片方の幅寸法がもう片方の幅寸法よりも十分に小さい形状となるから、欠陥候補領域の射影幅によって当該欠陥候補領域が欠陥部分であるか、ごみなどの異物であるかを識別することができて、クラックのような低コントラスとの欠陥を安定して検出することができる。
【００１７】
請求項１０の発明は、請求項１の発明において、前記輪郭線上の画素の個数を求め、該個数が規定数を超えるとともに欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定することを特徴とし、検出精度をさらに向上させることができる。
【００１８】
請求項１１の発明は、請求項１〜１０の何れかの発明において、欠陥候補点の集合からなる欠陥候補領域が途切れている場合に当該欠陥候補領域を拡大した拡大領域を設定し、該拡大領域内に少なくとも一部が存在する別の欠陥候補領域を元の欠陥候補領域と同じ欠陥候補領域として取り扱って欠陥の判定を行うことを特徴とし、輪郭線の途切れた欠陥候補領域が抽出された場合でも欠陥候補領域の見逃しを防ぐことができ、検査精度の向上が図れる。
【００１９】
【発明の実施の形態】
以下、本発明方法の実施形態を図面を参照して説明する。
【００２０】
以下では、本発明の実施形態を説明する前に本発明の参考例について説明する。
（参考例１）
図２及び図３は本発明方法を用いた外観検査装置の概略構成を示すもので、照明ランフＬａにて斜め方向から照明された検査対象たる被検査物Ｏを撮像するＣＣＤカメラ１と、ＣＣＤカメラ１から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換器２と、Ａ／Ｄ変換された画像データを前処理（特異データの除去等）する前処理回路３と、前処理された画像データを被検査物Ｏの原画像として記憶する原画像メモリ４と、原画像の各画素に対応して演算される微分絶対値を記憶する微分絶対値画像メモリ５と、演算された微分方向値を記憶する微分方向値画像メモリ６と、原画像の濃度（明るさ）の変化点を線画として抽出したエッジ画像を記憶するエッジ画像メモリ７と、原画像を演算処理して各メモリ５〜７に所定のデータを記憶させ、各メモリ４〜７に記憶されているデータに基づいて被検査物Ｏの輪郭を認識するとともに欠陥候補画素を追跡して被検査物Ｏの欠陥の有無をチェックするマイクロプロセッサ（あるいはマイクロコンピュータ）８とで構成されている。なお、この外観検査装置は、本参考例以外の後述する他の参考例並びに本発明の実施形態においても用いるものである。
【００２１】
以下、上述の外観検査装置を用いて被検査物Ｏの外観上の欠陥を検出する方法について具体的に説明する。
【００２２】
図４及び図５は動作説明図であり、まず、ＣＣＤカメラ１にて撮像された図４（ａ）に示すような被検査物Ｏの原画像ｆ１を、マイクロプロセッサ８で演算処理し、図４（ｂ）に示すようなエッジ画像ｆ４に変換する画像処理が必要であり、この画像処理はマイクロプロセッサ８において以下のように行なわれる。
【００２３】
ここで、マイクロプロセッサ８による上記画像処理については、当社の特公平７−９７４１０号公報に詳しく開示されているが、その要点を改めて説明すると、以下の通りである。まず、被検査物Ｏを含む空間領域を撮像して得られた原画像ｆ１は濃淡画像であって、図４（ａ）に示すように、被検査物Ｏ、欠陥部分Ｋ、異物Ｘを含む画像となっている。ここに、各画素は例えば濃度が８ビットで表わされて２５６階調に設定される。この濃淡画像から被検査物Ｏの輪郭線等のエッジを抽出する処理は、「エッジの部分は濃度変化が大きい部分に対応している」という考え方を基本にしている。したがって、濃度を微分することによってエッジの抽出を行なうのが一般的である。微分処理は、図５に示すように、濃淡画像を３×３画素の局所並列ウィンドウＷに分割して行なう。つまり、注目する画素Ｅと、その画素Ｅの周囲の８画素（８近傍）Ａ〜Ｄ、Ｆ〜Ｉとで局所並列ウィンドウを形成し、局所並列ウィンドウ内の画素Ａ〜Ｉの濃度の縦方向の濃度変化ΔＶと横方向の濃度変化ΔＨとを次式によって求め、
ΔＶ＝（Ａ＋Ｂ＋Ｃ）−（Ｇ＋Ｈ＋Ｉ）
ΔＨ＝（Ａ＋Ｄ＋Ｇ）−（Ｃ＋Ｆ＋Ｉ）
さらに、微分絶対値｜ｅ_E｜と微分方向値∠ｅ_Eとを次式によって求めるのである。
【００２４】
｜ｅ_E｜＝（ΔＶ²＋ΔＨ²）^1/2
∠ｅ_E＝tan^-1（ΔＶ／ΔＨ）＋π／２
ただし、Ａ〜Ｉは対応する画素の濃度を示している。上式から明らかなように、微分絶対値｜ｅ｜は、原画像の着目する画素の近傍領域における濃度の変化率を表し、微分方向値∠ｅは、同近傍領域における濃度変化の方向に直交する方向を表している。
【００２５】
以上の演算を原画像ｆ１の全画素について行なうことにより、被検査物Ｏの輪郭や欠陥Ｋ、異物Ｘ等が存在しているような濃度変化が大きい部分と、その変化の方向とを抽出することができるのである。ここに、各画素の濃度を、微分絶対値｜ｅ｜で表現した画像を微分絶対値画像、微分方向値∠ｅで表現した画像を微分方向値画像と呼ぶ。そして、微分絶対値画像ｆ２（６ビット）、微分方向値画像ｆ３（４ビット）としてそれぞれ微分絶対値画像メモリ５および微分方向値画像メモリ６に記憶される。
【００２６】
次に細線化処理が行なわれる。細線化処理は、微分絶対値が大きいほど濃度変化が大きいことを表わしている点に着目して行なわれる。すなわち、各画素の微分絶対値を周囲の画素の微分絶対値と比較し、周囲の画素よりも大きくなるものを連結していくことにより、１画素の幅を有したエッジが抽出されるのである。つまり、図６に示すように、各画素の位置をＸ−Ｙ座標で表わし、微分絶対値をＺ軸に取った微分絶対値画像を考えれば、細線化処理は、この曲面における稜線を求めることに相当する。ここまでの処理により、微分絶対値の大小にかかわらず、すべての稜線が抽出される。この段階で得られている稜線には、ノイズ等による不要な小さな山も含まれているから、図７に示すように、適宜しきい値を設定し、このしきい値以上の値のみを採用してノイズ成分を除去する。
【００２７】
ところで、上記細線化処理で得られたエッジ画像ｆ４は、原画像ｆ１のコントラストが不十分であるときや、ノイズが多いようなときには、不連続線になりやすい。一方、後述する模様Ｍやクラックのような欠陥部分Ｋでは、図１０及び図１１に示すように微分方向値（図１０（ｂ）及び図１１（ｂ）の丸数字）が一定範囲内の値を持つ画素が連続すると考えられるから、エッジが不連続になっている部分でも８近傍に微分方向値が上記一定範囲内の値である画素が存在すれば、エッジの一部であるとみなし、このように微分方向値が一定範囲内の値である画素を連結することでエッジ画像ｆ４を連続線とすることができる。
【００２８】
以上の画像処理により、図４（ｂ）に示すように、被検査物Ｏ、欠陥部分Ｋ、異物Ｘ等の輪郭線ｌ０〜ｌ２が閉曲線のパターンとなった１ビット（“１”をエッジフラッグと称する）のエッジ画像ｆ４が得られ、エッジ画像メモリ７に記憶される。以下の説明では、各画像の画素の位置をＸ−Ｙ座標で表現するものとし、各画像における画素の濃度をそれぞれｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）、ｆ３（ｘ，ｙ）、ｆ４（ｘ，ｙ）とする。
【００２９】
ここで、原画像は濃淡画像であって、濃度は通常８ビットで表されるから、各画素における濃度ａ（＝ｆ１（ｘ，ｙ））は、０≦ａ≦２５５となる。また、微分絶対値画像の濃度（すなわち、微分絶対値）ｂ（＝ｆ２（ｘ，ｙ））は、例えば６ビットで表され、０≦ｂ≦６３となり、微分方向値画像の濃度（すなわち、微分方向値）ｃ（＝ｆ３（ｘ，ｙ））は、例えば８方向で表され、１≦ｃ≦８となる。エッジ画像については、線の有無のみであるから、線となる画素は“１”、それ以外の画素は“０”として表される。つまり、ｆ４（ｘ，ｙ）の値域は｛０，１｝となる。なお、以下の説明においては、濃度という用語は白の濃度を表し、濃度値が大きいほど明るいものとする。
【００３０】
次に、マイクロプロセッサ８では、エッジ画像について検査領域を適宜設定する。検査領域が設定されると、エッジ画像の検査領域内をラスター走査することにより、ｆ４（ｘ，ｙ）＝１となる画素を検出しフラグ点とする。このフラグ点を始点として、８近傍についてｆ４（ｘ，ｙ）＝１となる画素を抽出しながら輪郭線の追跡を行う。こうして輪郭線を追跡することにより、輪郭線の上の全画素の座標がわかる。なお、従来例で説明した特開平４−３１７５１号公報に記載されている外観検査方法では、フラグ点の８近傍にｆ４（ｘ，ｙ）＝１となる画素が存在しない場合、フラグ点の微分方向値を含む一定範囲内の微分方向値を有する画素が存在するならば、そのような画素のうち微分絶対値が最大になる画素をエッジとして輪郭線の追跡を行っている。しかしながら、被検査物Ｏが表面に濃淡むら等の模様を有し、その模様に混じってクラックのように低コントラストな欠陥部分が存在している場合、模様以外の地の部分（以下、「背景部分」という）と模様の境界、及び背景部分と欠陥部分の境界が略同じ濃度変化であれば、何れの境界（エッジ）の微分絶対値もほぼ同じ値になってしまうため、上記従来の方法では輪郭線のみから模様であるのか、欠陥部分であるのかを判別することが非常に困難であった。
【００３１】
そこで本発明の外観検査方法では、以下のようにして模様と欠陥部分とを判別するものである。例えば図９に示すように原画像ｆ１において、被検査物Ｏの模様Ｍと背景部分ＢＫとでそれぞれに含まれる画素の濃度ａが異なっており、模様Ｍに含まれる画素の濃度が背景部分ＢＫに含まれる画素の濃度よりも低くなっている場合には、クラックのような低コントラストの欠陥部分Ｋに含まれる画素の濃度は背景部分ＢＫに含まれる画素の濃度よりも高くなるという特徴があり、本発明方法では上記特徴を利用して模様Ｍと欠陥部分Ｋとの判別を行う。
【００３２】
すなわち、微分方向値ｃ（＝１〜８）は、図８に示すように微分方向値ｃの値に応じて８近傍のうちで着目画素Ｅを挟んで対向する２つの画素Ａ〜Ｄ，Ｆ〜Ｉの濃度ａの間に一定の関係、つまり微分方向値ｃが示す方向（図８において矢印で示す方向）から時計回りに９０°回転した方向に隣接する画素の濃度が、反時計回りに９０°回転した方向に隣接する画素の濃度よりも常に高くなる（明るくなる）という性質を有している。例えば、図８（ａ）に示すように着目画素Ｅの微分方向値ｃが１であれば、微分方向値ｃが示す方向から時計回りに９０°回転した方向に隣接する画素Ｈの濃度ａ_Hが、反時計回りに９０°回転した方向に隣接する画素Ｂの濃度ａ_Bよりも常に高くなる（ａ_B＜ａ_H）。また、同図（ｂ）に示すように着目画素Ｅの微分方向値ｃが２であれば、微分方向値ｃが示す方向から時計回りに９０°回転した方向に隣接する画素Ｉの濃度ａ_Iが、反時計回りに９０°回転した方向に隣接する画素Ａの濃度ａ_Aよりも常に高くなる（ａ_A＜ａ_I）。なお、同図（ｃ）〜（ｈ）に示すように微分方向値ｃが３〜８の場合も同様に着目画素Ｅを挟んで対向する２つの画素Ａ〜Ｄ，Ｆ〜Ｉの濃度ａ_A〜ａ_D，ａ_F〜ａ_I間に上述のような大小関係が成立する。
【００３３】
而して、マイクロプロセッサ８では、図１２に矢印で示すようにエッジ画像の検査領域内をラスター走査することによってｆ４（ｘ，ｙ）＝１となるエッジフラグ（画素Ｅとする）の座標を検出し、この画素Ｅの座標に基づいて当該画素Ｅの微分方向値ｃを微分方向値画像メモリ６から読み出すとともに、その微分方向値ｃが示す方向から時計回り及び反時計回りにそれぞれ９０°回転した方向に隣接する画素Ａ〜Ｄ，Ｆ〜Ｉの濃度ａ_A〜ａ_D，ａ_F〜ａ_I、例えば読み出した微分方向値ｃが４であれば画素Ｃ，Ｇの濃度ａ_C，ａ_Gを微分絶対値画像メモリ５から読み出す。そして、図１３に示すように背景部分ＢＫよりも濃度ａの高い欠陥部分Ｋを検出する場合であれば、読み出した画素Ｃ，Ｇの濃度ａ_C，ａ_Gを、背景部分ＢＫの濃度ａ_BKよりも高い値に設定した所定のしきい値ａthと比較し、濃度ａ_C，ａ_Gが上記しきい値ａthを超えていれば（明るければ）、当該画素Ｃ，Ｇを欠陥部分Ｋの候補点（以下、「欠陥候補点」という）としてカウントする。それに対して、両画素Ｃ，Ｇの濃度ａ_C，ａ_Gが上記しきい値ａthを下回っていれば、当該画素Ｃ，Ｇが模様Ｍの輪郭線（背景部分ＢＫと模様Ｍとの境界）内に存在していると判断できるから、この場合には当該画素Ｃ，Ｇを欠陥候補点にカウントしない。なお、上述の微分絶対値画像、微分方向値画像並びにエッジ画像を求める処理から欠陥部分Ｋを模様Ｍと識別して検出する処理をまとめて図１のフローチャートに示している。
【００３４】
ここで、クラックなどの欠陥部分Ｋは、背景部分ＢＫとの境界（エッジ）近傍に濃度が略等しい画素が連続して存在するために上記欠陥候補点の数が多くなるという特徴がある。よって、上述のような処理により欠陥候補点に該当する画素のカウント数が規定数以上になれば、マイクロプロセッサ８では上記輪郭線で囲まれた領域を欠陥部分Ｋと判定するのである。その結果、従来では被検査物Ｏの表面に模様Ｍがある場合に、クラックのような低コントラストの欠陥部分Ｋと上記模様Ｍとを識別することが困難であったのに対して、本参考例では欠陥部分Ｋと模様Ｍとを判別して欠陥部分Ｋのみを検出することができ、従来よりも低コントラストの欠陥部分を安定して精度良く検出することができる。なお、背景部分ＢＫよりも濃度ａの低い欠陥部分Ｋを検出する場合であれば、エッジフラグの画素の微分方向値ｃが示す方向から時計回り及び反時計回りにそれぞれ９０°回転した方向に隣接する画素の濃度を、背景部分ＢＫの濃度ａ_BKよりも低い値に設定した所定のしきい値と比較し、その濃度が上記しきい値を下回っていれば（暗ければ）、当該画素を欠陥候補点としてカウントすればよい。
【００３５】
ところで、欠陥部分Ｋの濃度が背景部分ＢＫの濃度よりも高いか、あるいは低いかが予め明確になっている場合、上述の処理においてエッジフラグの画素の微分方向値ｃが示す方向から時計回り又は反時計回りにそれぞれ９０°回転した方向に隣接する２つの画素の何れか一方のみの濃度についてしきい値との比較を行えばよい。つまり、欠陥部分Ｋの濃度が背景部分ＢＫの濃度よりも高いことが判っている場合には、エッジフラグの画素の微分方向値ｃが示す方向から時計回りに９０°回転した方向に隣接する方の画素の濃度のみをしきい値と比較し、欠陥部分Ｋの濃度が背景部分ＢＫの濃度よりも低いことが判っている場合には、エッジフラグの画素の微分方向値ｃが示す方向から反時計回りに９０°回転した方向に隣接する方の画素の濃度のみをしきい値と比較する。例えば、欠陥部分Ｋの濃度が背景部分ＢＫの濃度よりも低い場合、図１４に示すように、各エッジフラグの画素Ｅ１〜Ｅ５の微分方向値ｃが示す方向から反時計回りに９０°回転した方向に隣接する方の画素Ｄ１〜Ｄ５の濃度のみを読み出してしきい値と比較する。このようにすれば、欠陥候補点を検出する処理が簡素化され、全体の処理時間が短縮できるという利点がある。
【００３６】
また、エッジフラグに隣接する１画素だけの濃度を求めるのではなく、当該画素を含めて、微分方向値ｃが示す方向に直交する方向へ並ぶ複数の画素の列（スティックマスク）を走査するようにしても良い。例えば、欠陥部分Ｋの濃度が背景部分ＢＫの濃度よりも低い場合、図１５に示すように、各エッジフラグの画素Ｅ１〜Ｅ５の微分方向値ｃが示す方向から反時計回りに９０°回転した方向に隣接する方の画素Ｄ１〜Ｄ５を含めた画素列Ｄ１ａ〜Ｄ１ｃ，Ｄ２ａ〜Ｄ２ｃ，…，Ｄ５ａ〜Ｄ５ｃからなるスティックマスクを走査してその濃度をしきい値と比較する処理を行う。すなわち、クラックなどの欠陥部分Ｋは、背景部分ＢＫとの境界（エッジ）近傍に濃度が略等しい画素が連続して存在するという特徴があるから、上述のようにスティックマスクを走査して濃度をしきい値と比較する画素数を増やすことによって欠陥候補点を数多く抽出することができ、良否判定がし易くなるとともに検査精度の向上が図れるという利点がある。
【００３７】
（参考例２）
上述の参考例１においては、予め求めたエッジ画像ｆ４に設定した検査領域をラスター走査しているが、本参考例は、微分方向値画像ｆ３に設定した検査領域をラスター走査し、所定の微分方向値を有する画素を探索するとともに当該微分方向値を有する画素のうちで微分絶対値が所定のしきい値よりも高い値を示す画素を抽出し、さらに抽出した画素に対して参考例１と同様に、当該画素の微分方向値ｃが示す方向から反時計回り及び反時計回りに９０°回転した方向に隣接する画素の濃度をしきい値と比較することで欠陥候補点を抽出する点に特徴がある。
【００３８】
而して、本参考例では、上述のように特定の条件を満たす画素のみを抽出して良否判定を行うので、原画像ｆ１から予めエッジ画像ｆ４を求めて良否判定を行う参考例１に比較して検査時間の短縮が図れるという利点がある。
【００３９】
（実施形態１）
上述の参考例１，２ではカウントした欠陥候補点の総数に基づいて良否判定を行っているが、本実施形態では、エッジフラグの画素の微分方向値ｃが示す方向から時計回り又は反時計回りに９０°回転した方向に隣接する画素の濃度がしきい値を超えていて欠陥候補点にカウントされた場合、当該エッジフラグの画素の微分絶対値を求めるとともにこのようなエッジフラグの画素についてその微分絶対値の総和を算出し、欠陥候補点の個数が規定数を超え、且つ上記微分絶対値の総和がしきい値を超えれば欠陥有りと判定する点に特徴がある。
【００４０】
例えば、欠陥部分Ｋの濃度が背景部分ＢＫの濃度よりも低い場合、図１６に示すように、各エッジフラグの画素Ｅ１〜Ｅ５の微分方向値ｃが示す方向から反時計回りに９０°回転した方向に隣接する方の画素Ｄ１〜Ｄ５を含めたスティックマスクを走査してその濃度をしきい値と比較し、その画素Ｄ１〜Ｄ５の濃度がしきい値を超えていれば、欠陥候補点としてカウントするとともに、画素Ｅ１〜Ｅ５の微分絶対値（Ｅ１＝３０，Ｅ２＝４０，Ｅ３＝５０，Ｅ４＝３５，Ｅ５＝３０）を微分絶対値画像メモリ５から読み出して、その総和（＝１８５）を求める処理を行う。そして、欠陥候補点のカウント数が規定数を超えるとともに、上記微分絶対値の総和がしきい値を超えた場合に欠陥があると判定するのである。
【００４１】
上述のような処理を行うことによって、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れるという利点がある。なお、上記スティックマスクの何れかの画素の濃度がしきい値を超えている場合に当該エッジフラグの画素も欠陥候補点としてカウントするようにすれば、さらに検出精度の向上が図れるものである。
【００４２】
（実施形態２）
ところで、上述の参考例１では、図１３に示すように背景部分ＢＫよりも濃度ａの高い欠陥部分Ｋを検出する場合に、読み出した画素の濃度ａを背景部分ＢＫの濃度ａ_BKよりも高い値に設定した所定のしきい値ａthと比較し、しきい値ａthを超えていれば欠陥候補点としてカウントしているが、濃度の高いごみなどの異物によるノイズで欠陥候補点を誤ってカウントしてしまう虞がある。
【００４３】
そこで、本実施形態では、図１７に示すように欠陥部分Ｋの濃度のピーク値を挟む大小２つのしきい値ａth1，ａth2を設定し、上記読み出した画素の濃度ａが上記２つのしきい値ａth1，ａth2の間に入っている（ａth1≦ａ≦ａth2）場合に欠陥候補点Ｋとしてカウントするようにしている。したがって、大きい方のしきい値ａth2よりも高い濃度を有するごみなどのノイズ要因を除去することが可能となり、検査精度の向上が図れるという利点がある。
【００４４】
（実施形態３）
本実施形態は、参考例１に対して、求められた欠陥候補点Ｋの周辺を１画素ずつ追跡してしきい値ａthよりも高い（あるいは上記２つのしきい値ａth1，ａth2の間に入る）画素が存在するか否かを調べ、上記条件を満たす画素が存在する場合には当該画素を欠陥候補点Ｋとしてカウントする点に特徴がある。
【００４５】
ここで、欠陥候補点Ｋの周辺の画素を追跡する方法としては、欠陥候補点Ｋを中心とする居所並列ウィンドウに分割して８近傍の濃度をしきい値ａthと順次比較し、欠陥候補点Ｋが見つかればその点（画素）の８近傍の濃度をしきい値ａthと比較する手順を繰り返せばよい。
【００４６】
本実施形態の外観検査方法によれば、１つの欠陥候補点の周辺から欠陥候補点を追跡して数多くの欠陥候補点Ｋを抽出するようにしているので、クラックのような低コントラストの欠陥を安定して検出することができるという利点がある。
【００４７】
（実施形態４）
本実施形態は、参考例１，２と実施形態１〜３で説明した各方法により抽出された欠陥候補点Ｋの濃度の平均値ＡＶ_Kを算出して背景部分ＢＫの濃度の平均値ＡＶ_BKと比較し、両平均値ＡＶ_K，ＡＶ_BKの差が規定値を超えている場合に不良と判定する点に特徴がある。
【００４８】
ここで、欠陥候補点Ｋの濃度平均値ＡＶ_Kは、抽出された欠陥候補点Ｋの濃度の総和をその個数で除算することによって求められる。また、同様にして背景部分ＢＫの濃度平均値ＡＶ_BKは、抽出された欠陥候補点Ｋを除く検査領域内の画素の濃度の総和をその個数で除算することによって求められる。
【００４９】
上述のような処理を行うことによって、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れるという利点がある。
【００５０】
（実施形態５）
ところで参考例１で説明した細線化処理で得られるエッジ画像ｆ４は、原画像ｆ１のコントラストが不十分であるときや、ノイズが多いようなときには、不連続線になりやすい。そして、参考例１においては、エッジが不連続になっている部分でも８近傍に微分方向値が一定範囲内の値である画素が存在すれば、エッジの一部であるとみなし、このように微分方向値が一定範囲内の値である画素を連結することでエッジ画像ｆ４を連続線としている。
【００５１】
それに対して本実施形態は、以下に説明するようなエッジ延長処理を行なうことでエッジ画像ｆ４を連続線とすることを特徴としている。本実施形態のエッジ延長処理では、不連続線の端点から始めて、注目する画素とその周囲の画素とを比較し、次式で表わされる評価関数ｆ（ｅ_J）がもっとも大きくなる方向に線（エッジ）を延長し、他の線の端点に衝突するまでこれを続けるものである。
【００５２】
ｆ（ｅ_J）＝｜ｅ_J｜cos（∠ｅ_J−∠ｅ₀）cos｛π（Ｊ−１）／４−∠ｅ₀｝
ここに、ｅ₀は中心画素の微分絶対値であり、ｅ_Jは隣接画素（８近傍）の微分絶対値であって、Ｊ＝１，２，……，８である。
【００５３】
而して、上述のようなエッジ延長処理によってエッジ画像ｆ４を連続線として求めることができ、このような連続線のエッジ画像ｆ４に対して参考例１，２や実施形態１〜４で説明したような方法で欠陥候補点Ｋを抽出することによって検査精度を向上させることができる。
【００５４】
（実施形態６）
本実施形態は、エッジ画像について設定された検査領域内をラスター走査してｆ４（ｘ，ｙ）＝１となる画素（エッジフラグ）を検出し、その濃度から当該エッジフラグが欠陥候補点Ｋに該当するか否かを判定するとともに、欠陥候補点Ｋに該当するエッジフラグを始点として８近傍について欠陥候補点Ｋに該当するエッジフラグを抽出しながら欠陥候補点Ｋを結ぶ輪郭線の追跡を行い、この輪郭線で囲まれた領域（以下、「欠陥候補領域」という）ＫＲを求め、さらに上記輪郭線を形成する欠陥候補点Ｋの個数（画素数）をカウントすることで欠陥候補領域の周囲長を求め、求めた周囲長が規定値を超えている場合に不良と判定する点に特徴がある。
【００５５】
而して、図１８に示すようにエッジ画像ｆ４における欠陥候補領域ＫＲの周囲長を、実際の欠陥部分Ｋの大きさのパラメータに用いて良否判定を行うことにより、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れるという利点がある。
【００５６】
（実施形態７）
本実施形態は、実施形態６において欠陥候補領域ＫＲを求めた際に、欠陥候補領域ＫＲの輪郭線を形成する欠陥候補点ＫのＸＹ座標に基づいて欠陥候補領域ＫＲの射影幅を求め、この射影幅から当該欠陥領域ＫＲがクラックのような欠陥部分Ｋであるか、あるいはごみなどの異物であるかを識別する点に特徴がある。
【００５７】
欠陥候補領域ＫＲのＸ方向及びＹ方向の射影幅Ｘ_KR，Ｙ_KRは、図１９に示すようにその輪郭線を形成する欠陥候補点ＫのＸＹ座標の最小値Ｘmin，Ｙminと最大値Ｘmax，Ｙmaxの差分として以下のように求められる。
【００５８】
Ｘ_KR＝Ｘmax−Ｘmin
Ｙ_KR＝Ｙmax−Ｙmin
ここで、通常クラックは、図２０に示すように片方の幅寸法がもう片方の幅寸法よりも十分に小さい形状となる特徴があるので、例えば上記射影幅Ｘ_KR，Ｙ_KRの比率（Ｘ_KR／Ｙ_KR）が規定の範囲外となる場合にクラックのような欠陥部分Ｋと判定し、上記比率が規定の範囲内となる場合にはごみなどの異物と判定することができる。
【００５９】
上述のような本実施形態の外観検査方法によれば、欠陥候補領域ＫＲの射影幅Ｘ_KR，Ｙ_KRによって当該欠陥候補領域ＫＲが欠陥部分Ｋであるか、ごみなどの異物であるかを識別することができて、クラックのような低コントラスとの欠陥を安定して検出することができる。
【００６０】
（実施形態８）
ところで、参考例１，２や実施形態１〜７ではエッジ画像ｆ４の輪郭線で囲まれた欠陥候補領域毎に欠陥か否かの良否判定を行っているため、輪郭線の途切れた欠陥候補領域が抽出された場合、この欠陥候補領域を見逃してしまう虞がある。
【００６１】
そこで、本実施形態では、ある欠陥候補領域とその近傍に存在する別の欠陥候補領域とを同じ欠陥候補領域として取り扱い、各々の欠陥候補領域が有する欠陥候補点の個数、輪郭線を形成する画素の微分絶対値の総和、欠陥候補領域の周囲長並びに射影幅を求め、これらを集計した値に基づいて良否判定を行うようにした点に特徴がある。
【００６２】
具体的には、図２１に示すように抽出された欠陥候補領域ＫＲ１の周辺に所定の画素数だけ当該欠陥候補領域ＫＲ１の輪郭線を拡大した拡大領域ＫＲ１’を設定し、その拡大領域ＫＲ１’内に別の欠陥候補領域ＫＲ２の少なくとも一部が存在するか否かを探索し、存在する場合にその欠陥候補領域ＫＲ２を元の欠陥候補領域ＫＲ１と同じ欠陥領域として取り扱う。そして、各々の欠陥候補領域ＫＲ１，ＫＲ２が有する欠陥候補点の個数、輪郭線を形成する画素の微分絶対値の総和、欠陥候補領域ＫＲ１，ＫＲ２の周囲長並びに射影幅を求め、これらを集計した値に基づいて良否判定を行うことにより、輪郭線の途切れた欠陥候補領域が抽出された場合でも欠陥候補領域の見逃しを防ぐことができ、検査精度の向上が図れるという利点がある。
【００６３】
【発明の効果】
請求項１の発明は、上記目的を達成するために、被検査物を含む空間領域を撮像して得られた濃淡画像から被検査物の外観上の欠陥を検出する外観検査方法において、前記濃淡画像である原画像を演算処理して微分絶対値画像、微分方向値画像並びにエッジ画像を求め、前記エッジ画像内に検査領域を設定するとともに該検査領域内におけるエッジ画像の輪郭線上の画素に対して当該画素が持つ微分方向値の方向から時計回り又は反時計回りに略９０°回転した方向に隣接する画素の原画像における濃度を求め、この濃度が所定の条件を満たす場合に当該画素を欠陥候補点とし、さらに、前記時計回り又は反時計回りに９０°回転した何れか一方の方向に隣接する画素を含んだスティックマスクを設定して欠陥候補点を抽出するとともに、前記輪郭線上の画素の微分絶対値の総和を求め、欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定するので、被検査物が表面に濃淡むら等の模様を有し、その模様に混じってクラックのように低コントラストな欠陥部分が存在している場合であっても、被検査物の模様と背景部分とでそれぞれに含まれる画素の濃度が異なり、且つ模様に含まれる画素の濃度が背景部分に含まれる画素の濃度よりも低く（又は高く）なっていれば、クラックのような低コントラストの欠陥部分に含まれる画素の濃度が背景部分に含まれる画素の濃度よりも高く（又は低く）なるから、背景部分に含まれる画素の濃度よりも高く（又は低く）なる画素を欠陥候補点として抽出することにより、模様と欠陥とを識別することができ、その結果、模様を欠陥と誤判定することを防ぐことができて欠陥の有無の判定精度を高めることができるという効果がある。また、欠陥部分の濃度が背景部分の濃度よりも高いか、あるいは低いかが予め明確になっている場合、微分方向値が示す方向から時計回り又は反時計回りにそれぞれ９０°回転した方向に隣接する２つの画素の何れか一方のみの濃度についてしきい値との比較を行うことによって、欠陥候補点を検出する処理が簡素化され、全体の処理時間が短縮でき、さらに、クラックなどの欠陥部分は背景部分との境界近傍に濃度が略等しい画素が連続して存在するから、スティックマスクを走査して濃度をしきい値と比較する画素数を増やすことによって欠陥候補点を数多く抽出することができ、良否判定がし易くなるとともに検査精度の向上が図れるとともに、前記輪郭線上の画素の微分絶対値の総和を求め、欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定することより、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れるという効果がある。
【００６４】
請求項２の発明は、請求項１の発明において、前記画素の濃度が前記被検査物の表面を表す背景部分よりも明るい又は暗いレベルに設定されたしきい値を超えていることを前記所定の条件とするので、請求項１の発明と同様の効果を奏する。
【００６５】
請求項３の発明は、請求項１の発明において、前記画素の濃度が前記被検査物の表面を表す背景部分よりも明るい又は暗いレベルに設定された第１のしきい値と、欠陥部分の濃度のピーク値よりも明るい又は暗いレベルに設定された第２のしきい値との間に存在することを前記所定の条件とするので、濃度が第２のしきい値を超えるようなごみなどのノイズ要因を除去することが可能となり、検査精度の向上が図れるという効果がある。
【００６８】
請求項４の発明は、請求項１又は２又は３の発明において、前記輪郭線上の画素のうちで所定の微分方向値を有する画素のみから欠陥候補点を抽出するので、特定の条件を満たす画素のみを抽出して良否判定を行うことで、原画像から予めエッジ画像を求めて良否判定を行う場合に比較して検査時間の短縮が図れるという効果がある。
【００７０】
請求項５の発明は、請求項１〜４の何れかの発明において、前記欠陥候補点とした輪郭線上の画素の周辺で別の欠陥候補点を探索するので、１つの欠陥候補点の周辺から欠陥候補点を追跡して数多くの欠陥候補点を抽出することによって、クラックのような低コントラストの欠陥を安定して検出することができるという効果がある。
【００７１】
請求項６の発明は、請求項１〜５の何れかの発明において、前記欠陥候補点の濃度の平均値を求め、該平均値が所定のしきい値よりも大きい又は小さい場合に欠陥と判定するので、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れるという効果がある。
【００７２】
請求項７の発明は、請求項１〜６の何れかの発明において、前記エッジ画像を求める際に、不連続となる輪郭線の端点から始めて注目する画素とその周囲の画素とを比較し、所定の評価関数がもっとも大きくなる方向に線を延長し、他の線の端点に衝突するまでこれを続けることで輪郭線を連続線とするエッジ延長処理を行うので、エッジ延長処理によってエッジ画像を連続線として求めることができ、このような連続線のエッジ画像に対して欠陥候補点を抽出することによって検査精度を向上させることができるという効果がある。
【００７３】
請求項８の発明は、請求項１〜７の何れかの発明において、前記欠陥候補点とした画素で形成される輪郭線の周囲長を求め、該周囲長が規定値以上の場合に欠陥と判定するので、欠陥候補点の個数のみから良否判定を行う場合に比較して検出精度の向上が図れるという効果がある。
【００７４】
請求項９の発明は、請求項１〜８の何れかの発明において、前記輪郭線で囲まれた欠陥候補点の集合からなる欠陥候補領域の射影幅を求め、該射影幅が所定の条件を満たす場合に欠陥と判定するので、通常クラックは片方の幅寸法がもう片方の幅寸法よりも十分に小さい形状となるから、欠陥候補領域の射影幅によって当該欠陥候補領域が欠陥部分であるか、ごみなどの異物であるかを識別することができて、クラックのような低コントラスとの欠陥を安定して検出することができるという効果がある。
【００７５】
請求項１０の発明は、請求項１の発明において、前記輪郭線上の画素の個数を求め、該個数が規定数を超えるとともに欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定するので、検出精度をさらに向上させることができるという効果がある。
【００７６】
請求項１１の発明は、請求項１〜１０の何れかの発明において、欠陥候補点の集合からなる欠陥候補領域が途切れている場合に当該欠陥候補領域を拡大した拡大領域を設定し、該拡大領域内に少なくとも一部が存在する別の欠陥候補領域を元の欠陥候補領域と同じ欠陥候補領域として取り扱って欠陥の判定を行うので、輪郭線の途切れた欠陥候補領域が抽出された場合でも欠陥候補領域の見逃しを防ぐことができ、検査精度の向上が図れるという効果がある。
【図面の簡単な説明】
【図１】本発明の参考例１の外観検査方法を説明するフローチャートである。
【図２】同上を用いた外観検査装置の概略構成図である。
【図３】同上外観検査装置のブロック回路図である。
【図４】（ａ）及び（ｂ）は同上の説明図である。
【図５】同上における局所並列ウィンドウを示す説明図である。
【図６】同上の説明図である。
【図７】同上の説明図である。
【図８】（ａ）〜（ｈ）は同上の動作説明図である。
【図９】同上の説明図である。
【図１０】（ａ），（ｂ）は同上における模様の説明図である。
【図１１】（ａ），（ｂ）は同上における欠陥部分の説明図である。
【図１２】同上の説明図である。
【図１３】同上の説明図である。
【図１４】同上の説明図である。
【図１５】同上の説明図である。
【図１６】実施形態１の説明図である。
【図１７】実施形態２の説明図である。
【図１８】実施形態６の説明図である。
【図１９】実施形態７の説明図である。
【図２０】同上の説明図である。
【図２１】実施形態８の説明図である。
【符号の説明】
１ＣＣＤカメラ
２Ａ／Ｄ変換器
３前処理回路
４原画像メモリ
５微分絶対値画像メモリ
６微分方向値画像メモリ
７エッジ画像メモリ
８マイクロプロセッサ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an appearance inspection method for detecting the presence or absence of defects on the appearance of an inspection object by performing image processing on an image obtained by imaging the inspection object.
[0002]
[Prior art]
As this type of visual inspection method, light from a light source is irradiated onto an inspection object, and a shadow on the surface of the inspection object is imaged by an imaging device having an optical axis in a direction different from the light irradiation direction from the light source to the inspection object. A technique for detecting the presence or absence of defects on the appearance of an inspection target (such as a crack on the surface) by performing image processing on a captured image is known. As described in JP-A-4-31751, as an image processing technique for extracting a defective portion to be inspected from a captured image, an A / D conversion is performed on an image signal from an imaging device such as a CCD camera. After the image is digitized, a technique has been proposed in which the original image, which is a grayscale image, is spatially differentiated to obtain the differential absolute value and differential direction value, and the defect candidate pixels are tracked using the differential absolute value and differential direction value. ing.
[0003]
[Problems to be solved by the invention]
However, the image processing technique described in the above publication has continuity so that the differential direction value falls within a predetermined range for each pixel having a differential absolute value equal to or greater than a specified value in tracking defect candidate pixels. Since a pixel group is extracted as a defect candidate pixel, when the inspection target has a pattern on its surface, it is determined whether the extracted defect candidate pixel group is a pattern portion or a defect portion In other words, the probability of erroneous detection increases and the defective portion cannot be detected correctly.
[0004]
The present invention has been made in view of the above reasons, and an object of the present invention is to provide an appearance inspection method with improved determination accuracy of the presence or absence of defects.
[0005]
[Means for Solving the Problems]
  In order to achieve the above object, the invention according to claim 1 is an appearance inspection method for detecting defects on the appearance of an inspection object from a gradation image obtained by imaging a spatial region including the inspection object. An original image, which is an image, is calculated to obtain a differential absolute value image, a differential direction value image, and an edge image, an inspection area is set in the edge image, and pixels on the contour line of the edge image in the inspection area are set. Then, the density in the original image of the adjacent pixel in the direction rotated approximately 90 ° clockwise or counterclockwise from the direction of the differential direction value of the pixel is obtained, and the pixel is defective when the density satisfies a predetermined condition. Candidate points, andIn either direction, rotated 90 ° clockwise or counterclockwiseA defect mask point is extracted by setting a stick mask including adjacent pixels, and the sum of differential absolute values of pixels on the contour line is obtained. The number of defect candidate points exceeds a specified number, and the sum is a specified value. The region surrounded by the contour line formed by the pixel is determined as a defect when exceeding the threshold, and the object to be inspected has a pattern such as uneven shading on the surface, and the crack is mixed with the pattern. Thus, even when there is a low-contrast defective part, the density of the pixels included in the pattern of the object to be inspected and the background part are different, and the density of the pixels included in the pattern is in the background part. If the density of the pixel included is lower (or higher), the density of the pixel included in the low-contrast defect portion such as a crack is higher (or lower) than the density of the pixel included in the background portion. , By extracting a pixel that is higher (or lower) than the density of the pixel included in the scene portion as a defect candidate point, the pattern and the defect can be identified, and as a result, the pattern is erroneously determined as a defect. This can be prevented and the accuracy of determining the presence or absence of defects can be increased. When the density of the defective portion is higher or lower than the density of the background portion in advance, it is adjacent to the direction rotated 90 ° clockwise or counterclockwise from the direction indicated by the differential direction value. By comparing the density of only one of the two pixels with a threshold value, the process of detecting defect candidate points can be simplified, the overall processing time can be shortened, and defect parts such as cracks can be reduced. Since pixels with almost the same density exist in the vicinity of the boundary with the background part, many defect candidate points can be extracted by increasing the number of pixels whose density is compared with the threshold by scanning the stick mask. In addition, it is easy to make a pass / fail judgment and improve the inspection accuracy, and the sum of the differential absolute values of the pixels on the contour line is obtained, and the number of defect candidate points exceeds the specified number and When the sum exceeds a specified value, the area surrounded by the contour line formed by the pixel is determined as a defect, so that the detection accuracy is improved compared to the case where the quality is determined only from the number of defect candidate points. Can be planned.
[0006]
According to a second aspect of the present invention, in the first aspect of the present invention, the predetermined value indicates that the density of the pixel exceeds a threshold set to a level brighter or darker than a background portion representing the surface of the inspection object. It is characterized by the above-mentioned conditions, and has the same effect as the invention of claim 1.
[0007]
According to a third aspect of the present invention, in the first aspect of the invention, the first threshold value in which the density of the pixel is set to a level brighter or darker than the background portion representing the surface of the inspection object, and the defect portion The predetermined condition is that it exists between a second threshold value set to a level brighter or darker than the peak value of the density, and the density exceeds the second threshold value. It is possible to remove noise factors such as nagomi and improve inspection accuracy.
[0010]
  Claim4The invention of claim 1Or 2 or 3In the invention, a defect candidate point is extracted only from a pixel having a predetermined differential direction value among pixels on the contour line, and only a pixel satisfying a specific condition is extracted to perform pass / fail judgment. The inspection time can be shortened as compared with the case where the edge image is obtained from the original image in advance and the quality is determined.
[0012]
  Claim5The invention of claim 1 to claim 14In any one of the inventions, another defect candidate point is searched around a pixel on the contour line as the defect candidate point, and a number of defect candidate points are traced from the periphery of one defect candidate point. By extracting defect candidate points, low-contrast defects such as cracks can be detected stably.
[0013]
  Claim6The invention of claim 1 to claim 15In any of the inventions, an average value of the density of the defect candidate points is obtained, and a defect is determined when the average value is larger or smaller than a predetermined threshold value, and only the number of defect candidate points is determined. Therefore, the detection accuracy can be improved as compared with the case where the pass / fail judgment is performed.
[0014]
  Claim7The invention of claim 1 to claim 16In any of the inventions, when obtaining the edge image, the pixel of interest is compared with the surrounding pixels, starting from the end points of the discontinuous contour line, and the line is drawn in the direction in which the predetermined evaluation function is the largest. Extending and continuing this until it collides with the end point of another line, it is characterized by edge extension processing that makes the contour line a continuous line, and edge image can be obtained as continuous line by edge extension processing, The inspection accuracy can be improved by extracting defect candidate points from such continuous line edge images.
[0015]
  Claim8The invention of claim 1 to claim 17In any one of the inventions, the perimeter of a contour formed by pixels as the defect candidate points is obtained, and a defect is determined when the perimeter is equal to or greater than a specified value. Thus, the detection accuracy can be improved as compared with the case where the pass / fail judgment is made only from the above.
[0016]
  Claim9The invention of claim 1 to claim 18In any of the inventions, characterized in that a projection width of a defect candidate area consisting of a set of defect candidate points surrounded by the contour line is obtained, and it is determined as a defect when the projection width satisfies a predetermined condition, Normally, a crack has a shape whose width dimension on one side is sufficiently smaller than the width dimension on the other side, so the projected width of the defect candidate area identifies whether the defect candidate area is a defective part or a foreign substance such as dust. Therefore, defects with low contrast such as cracks can be detected stably.
[0017]
  Claim10The invention of claim1In this invention, the number of pixels on the contour line is obtained, and when the number exceeds a prescribed number, the number of defect candidate points exceeds the prescribed number, and the sum exceeds the prescribed value, the contour formed by the pixels The region surrounded by the line is determined to be a defect, and the detection accuracy can be further improved.
[0018]
  Claim11The invention of claim 1 to claim 110In any of the inventions, when a defect candidate area consisting of a set of defect candidate points is interrupted, an enlarged area is set by enlarging the defect candidate area, and another defect having at least a part in the enlarged area The candidate area is treated as the same defect candidate area as the original defect candidate area, and the defect is judged, so that the defect candidate area can be prevented from being overlooked even when a defect candidate area with a broken outline is extracted. The inspection accuracy can be improved.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the method of the present invention will be described below with reference to the drawings.
[0020]
  Below, before describing embodiment of this invention, the reference example of this invention is demonstrated.
  (Reference example1)
  2 and 3 show a schematic configuration of an appearance inspection apparatus using the method of the present invention. A CCD camera 1 for imaging an inspection object O to be inspected illuminated obliquely by an illumination lamp La, and a CCD An A / D converter 2 that performs A / D conversion on an image signal output from the camera 1, a preprocessing circuit 3 that performs preprocessing (such as removal of singular data) on the A / D converted image data, and preprocessing An original image memory 4 that stores the obtained image data as an original image of the inspection object O, a differential absolute value image memory 5 that stores a differential absolute value calculated corresponding to each pixel of the original image, and a calculated differential A differential direction value image memory 6 for storing the direction value, an edge image memory 7 for storing an edge image obtained by extracting the change point of the density (brightness) of the original image as a line drawing, an arithmetic processing of the original image, and each memory 5 To store predetermined data in ~ 7, A microprocessor (or microcomputer) 8 for recognizing the contour of the inspection object O based on the data stored in the memories 4 to 7 and tracking the defect candidate pixels to check the presence or absence of the defect of the inspection object O; It consists of This visual inspection device isReference exampleOther than that described belowReference examples and the present inventionIt is also used in the embodiment.
[0021]
Hereinafter, a method for detecting defects on the appearance of the inspection object O using the above-described appearance inspection apparatus will be specifically described.
[0022]
4 and 5 are diagrams for explaining the operation. First, an original image f1 of the inspection object O as shown in FIG. Image processing for conversion into an edge image f4 as shown in FIG. 4B is necessary, and this image processing is performed in the microprocessor 8 as follows.
[0023]
Here, the above-described image processing by the microprocessor 8 is disclosed in detail in Japanese Patent Publication No. 7-97410, but the gist thereof will be described again as follows. First, an original image f1 obtained by imaging a spatial region including the inspection object O is a grayscale image, and includes the inspection object O, a defective portion K, and a foreign object X as shown in FIG. It is an image. Here, for example, the density of each pixel is represented by 8 bits and is set to 256 gradations. The process of extracting an edge such as a contour line of the inspection object O from the grayscale image is based on the idea that “the edge portion corresponds to a portion having a large density change”. Therefore, edge extraction is generally performed by differentiating the density. The differentiation process is performed by dividing the grayscale image into 3 × 3 pixel local parallel windows W as shown in FIG. That is, a local parallel window is formed by the pixel E of interest and the eight pixels (near 8) A to D and F to I around the pixel E, and the vertical direction of the density of the pixels A to I in the local parallel window The density change ΔV and the horizontal density change ΔH are obtained by the following equation,
ΔV = (A + B + C) − (G + H + I)
ΔH = (A + D + G) − (C + F + I)
Further, differential absolute value | e_E| And differential direction value ∠e_EIs obtained by the following equation.
[0024]
｜ e_E| = (ΔV²+ ΔH²)^1/2
∠e_E= Tan^-1(ΔV / ΔH) + π / 2
Here, A to I indicate the densities of the corresponding pixels. As is clear from the above equation, the differential absolute value | e | represents the density change rate in the vicinity region of the pixel of interest in the original image, and the differential direction value ∠e is orthogonal to the direction of density change in the vicinity region. It represents the direction to do.
[0025]
By performing the above calculation for all the pixels of the original image f1, a portion having a large density change where the contour of the inspection object O, the defect K, the foreign matter X, and the like are present, and the direction of the change are extracted. It can be done. Here, an image in which the density of each pixel is expressed by a differential absolute value | e | is called a differential absolute value image, and an image expressed by a differential direction value ∠e is called a differential direction value image. The differential absolute value image f2 (6 bits) and the differential direction value image f3 (4 bits) are stored in the differential absolute value image memory 5 and the differential direction value image memory 6, respectively.
[0026]
Next, a thinning process is performed. The thinning process is performed by paying attention to the point that the greater the absolute value of differentiation, the greater the density change. That is, the differential absolute value of each pixel is compared with the differential absolute value of the surrounding pixels, and by connecting those that are larger than the surrounding pixels, an edge having a width of one pixel is extracted. . That is, as shown in FIG. 6, if a differential absolute value image in which the position of each pixel is expressed by XY coordinates and the differential absolute value is taken on the Z axis is considered, the thinning process obtains a ridgeline on this curved surface. It corresponds to. By the processing so far, all the ridge lines are extracted regardless of the magnitude of the differential absolute value. The ridgeline obtained at this stage includes unnecessary small peaks due to noise, etc., so as shown in Fig. 7, set the threshold appropriately and adopt only the value above this threshold To remove the noise component.
[0027]
By the way, the edge image f4 obtained by the thinning process is likely to be a discontinuous line when the contrast of the original image f1 is insufficient or when there is a lot of noise. On the other hand, in a defective portion K such as a pattern M or a crack to be described later, as shown in FIGS. 10 and 11, the differential direction values (circle numbers in FIGS. 10B and 11B) are values within a certain range. Therefore, if there is a pixel having a differential direction value in the vicinity of 8 even in a portion where the edge is discontinuous, it is regarded as a part of the edge. In this way, the edge image f4 can be made a continuous line by connecting pixels whose differential direction values are values within a certain range.
[0028]
As a result of the above image processing, as shown in FIG. 4B, 1 bit (“1” is set as the edge flag) in which the contour lines 10 to 12 of the inspection object O, the defective portion K, the foreign matter X, etc. become a closed curve pattern. Edge image f4) is obtained and stored in the edge image memory 7. In the following description, the pixel position of each image is expressed by XY coordinates, and the pixel density in each image is represented by f1 (x, y), f2 (x, y), and f3 (x, y), respectively. , F4 (x, y).
[0029]
Here, since the original image is a grayscale image and the density is usually represented by 8 bits, the density a (= f1 (x, y)) in each pixel is 0 ≦ a ≦ 255. Further, the density of the differential absolute value image (that is, the differential absolute value) b (= f2 (x, y)) is expressed by, for example, 6 bits, and 0 ≦ b ≦ 63. The differential direction value) c (= f3 (x, y)) is expressed in, for example, 8 directions, and 1 ≦ c ≦ 8. As for the edge image, since there is only the presence or absence of a line, the pixel to be a line is represented as “1” and the other pixels are represented as “0”. That is, the value range of f4 (x, y) is {0, 1}. In the following description, the term density represents white density, and the higher the density value, the brighter.
[0030]
Next, the microprocessor 8 appropriately sets an inspection area for the edge image. When the inspection area is set, a raster scanning is performed within the inspection area of the edge image, thereby detecting a pixel having f4 (x, y) = 1 and setting it as a flag point. Starting from this flag point, the contour line is traced while extracting pixels with f4 (x, y) = 1 in the vicinity of eight. By tracking the contour line in this way, the coordinates of all the pixels on the contour line can be obtained. In the appearance inspection method described in Japanese Patent Laid-Open No. 4-31751 described in the conventional example, if there is no pixel with f4 (x, y) = 1 in the vicinity of 8 of the flag point, the differentiation of the flag point is performed. If there is a pixel having a differential direction value within a certain range including the direction value, the contour line is traced with the pixel having the maximum differential absolute value as an edge among such pixels. However, when the inspection object O has a pattern such as shading unevenness on the surface, and a defect portion having a low contrast such as a crack exists in the pattern, a portion other than the pattern (hereinafter referred to as “background”). If the density change is substantially the same at the boundary between the pattern and the boundary between the pattern and the background and the defect, the differential absolute value of any boundary (edge) becomes almost the same value. However, it was very difficult to determine whether the pattern was a pattern or a defective part only from the outline.
[0031]
Therefore, in the appearance inspection method of the present invention, the pattern and the defective portion are discriminated as follows. For example, as shown in FIG. 9, in the original image f1, the density a of the pixels included in the pattern M and the background portion BK of the inspection object O are different from each other, and the density of the pixels included in the pattern M is the background portion BK. Is lower than the density of the pixels included in the background portion BK, the density of the pixels included in the low contrast defect portion K such as cracks is higher than the density of the pixels included in the background portion BK. In the method of the present invention, the pattern M and the defective portion K are discriminated using the above characteristics.
[0032]
That is, the differential direction value c (= 1 to 8) is, as shown in FIG. 8, two pixels A to D and F facing each other with the target pixel E sandwiched among the eight neighborhoods according to the value of the differential direction value c. The density of pixels adjacent to each other in a direction rotated 90 ° clockwise from the direction indicated by the differential direction value c (the direction indicated by the arrow in FIG. 8) is a constant relationship between the densities a of .about.I. It has the property that it is always higher (brighter) than the density of adjacent pixels in the direction rotated by 90 °. For example, as shown in FIG. 8A, if the differential direction value c of the pixel of interest E is 1, the density a of the pixel H adjacent in the direction rotated 90 ° clockwise from the direction indicated by the differential direction value c._HIs the density a of the adjacent pixel B in the direction rotated 90 ° counterclockwise._BAlways higher than (a_B<A_H). If the differential direction value c of the pixel of interest E is 2 as shown in FIG. 5B, the density a of the pixel I adjacent in the direction rotated 90 ° clockwise from the direction indicated by the differential direction value c._IIs the density a of the pixel A adjacent in the direction rotated 90 ° counterclockwise._AAlways higher than (a_A<A_I). It should be noted that, as shown in FIGS. 5C to 5H, when the differential direction value c is 3 to 8, the density a of the two pixels A to D and F to I facing each other with the pixel of interest E in the same manner._A~ A_D, A_F~ A_IThe magnitude relationship as described above is established between them.
[0033]
Thus, in the microprocessor 8, as shown by the arrow in FIG. 12, the coordinates of the edge flag (referred to as the pixel E) at which f4 (x, y) = 1 is obtained by performing raster scanning in the inspection area of the edge image. Based on the coordinates of the pixel E, the differential direction value c of the pixel E is read from the differential direction value image memory 6 and rotated by 90 ° clockwise and counterclockwise from the direction indicated by the differential direction value c. Density a of pixels A to D and F to I adjacent to each other_A~ A_D, A_F~ A_IFor example, if the read differential direction value c is 4, the density a of the pixels C and G_C, A_GIs read from the differential absolute value image memory 5. Then, as shown in FIG. 13, if a defective portion K having a density a higher than that of the background portion BK is detected, the density a of the read pixels C and G is determined._C, A_GThe density a of the background portion BK_BKCompared with a predetermined threshold value ath set to a higher value, the concentration a_C, A_GExceeds the threshold value ath (if it is bright), the pixels C and G are counted as defect point K candidate points (hereinafter referred to as “defect candidate points”). On the other hand, the density a of both pixels C and G_C, A_GIs lower than the threshold value ath, it can be determined that the pixels C and G are present within the outline of the pattern M (the boundary between the background portion BK and the pattern M). Pixels C and G are not counted as defect candidate points. The process of discriminating and detecting the defective portion K as the pattern M from the process of obtaining the differential absolute value image, the differential direction value image, and the edge image is collectively shown in the flowchart of FIG.
[0034]
  Here, the defect portion K such as a crack has a feature that the number of defect candidate points increases because pixels having substantially the same density continuously exist in the vicinity of the boundary (edge) with the background portion BK. Therefore, if the count number of pixels corresponding to the defect candidate points is equal to or greater than the prescribed number by the above-described processing, the microprocessor 8 determines that the region surrounded by the outline is the defective portion K. As a result, conventionally, when there is a pattern M on the surface of the inspection object O, it is difficult to distinguish the low contrast defect portion K such as a crack from the pattern M.Reference exampleThen, it is possible to detect only the defective portion K by discriminating the defective portion K and the pattern M, and it is possible to detect a defective portion having a lower contrast than that of the prior art in a stable and accurate manner. If a defective portion K having a density a lower than that of the background portion BK is detected, it is adjacent to the direction rotated 90 ° clockwise and counterclockwise from the direction indicated by the differential direction value c of the pixel of the edge flag. The density of the pixel to be processed is set to the density a of the background portion BK_BKCompared with a predetermined threshold value set to a lower value, if the density is below the threshold value (if it is dark), the pixel may be counted as a defect candidate point.
[0035]
When the density of the defective portion K is higher or lower than the density of the background portion BK in advance, it is clockwise or counterclockwise from the direction indicated by the differential direction value c of the edge flag pixel in the above processing. It is only necessary to compare the density of only one of two adjacent pixels in the direction rotated 90 degrees clockwise with the threshold value. That is, when it is known that the density of the defective portion K is higher than the density of the background portion BK, the one adjacent to the direction rotated 90 ° clockwise from the direction indicated by the differential direction value c of the pixel of the edge flag. When the density of the defective portion K is found to be lower than the density of the background portion BK, only the density of the pixel of the edge flag is compared with the threshold value. Only the density of the pixel adjacent in the direction rotated 90 ° clockwise is compared with the threshold value. For example, when the density of the defect portion K is lower than the density of the background portion BK, as shown in FIG. 14, the edge flag is rotated 90 ° counterclockwise from the direction indicated by the differential direction value c of the pixels E1 to E5. Only the densities of the pixels D1 to D5 that are adjacent in the direction are read out and compared with a threshold value. By doing so, there is an advantage that the process of detecting defect candidate points is simplified and the entire processing time can be shortened.
[0036]
Further, instead of obtaining the density of only one pixel adjacent to the edge flag, a row (stick mask) of a plurality of pixels arranged in a direction orthogonal to the direction indicated by the differential direction value c including the pixel is scanned. Anyway. For example, when the density of the defective part K is lower than the density of the background part BK, as shown in FIG. 15, it is rotated 90 ° counterclockwise from the direction indicated by the differential direction value c of the pixels E1 to E5 of each edge flag. A process is performed in which a stick mask composed of pixel columns D1a to D1c, D2a to D2c,..., D5a to D5c including pixels D1 to D5 adjacent in the direction is scanned and the density is compared with a threshold value. That is, the defect portion K such as a crack is characterized in that pixels having substantially the same density are continuously present in the vicinity of the boundary (edge) with the background portion BK. Therefore, the density is determined by scanning the stick mask as described above. By increasing the number of pixels to be compared with the threshold value, a large number of defect candidate points can be extracted, so that it is easy to determine pass / fail and to improve inspection accuracy.
[0037]
  (Reference example2)
  AboveReference example1, raster scanning is performed on the inspection region set in the edge image f4 obtained in advance.Reference exampleRaster scans the inspection area set in the differential direction value image f3 to search for a pixel having a predetermined differential direction value, and among the pixels having the differential direction value, the differential absolute value is smaller than a predetermined threshold value. Extract a pixel that shows a high value, and for the extracted pixelReference exampleSimilarly to 1, the defect candidate point is extracted by comparing the density of a pixel adjacent in the direction rotated 90 ° counterclockwise and counterclockwise from the direction indicated by the differential direction value c of the pixel with a threshold value. There is a feature in the point.
[0038]
  Thus, the bookReference exampleThen, as described above, only the pixels satisfying the specific condition are extracted and the pass / fail determination is performed. Therefore, the edge image f4 is obtained in advance from the original image f1 to perform the pass / fail determination.Reference exampleCompared to 1, there is an advantage that the inspection time can be shortened.
[0039]
  (Embodiment1)
  AboveReference exampleIn 1 and 2, the pass / fail determination is performed based on the total number of defect candidate points counted. In this embodiment, the edge flag pixel is rotated 90 ° clockwise or counterclockwise from the direction indicated by the differential direction value c of the pixel. When the density of pixels adjacent in the selected direction exceeds the threshold value and is counted as a defect candidate point, the differential absolute value of the pixel of the edge flag is obtained and the differential absolute value of the pixel of the edge flag is calculated. It is characterized in that the sum is calculated, and it is determined that there is a defect if the number of defect candidate points exceeds a specified number and the sum of the differential absolute values exceeds a threshold value.
[0040]
For example, when the density of the defective part K is lower than the density of the background part BK, as shown in FIG. 16, the edge flag is rotated 90 ° counterclockwise from the direction indicated by the differential direction value c of the pixels E1 to E5. A stick mask including pixels D1 to D5 adjacent in the direction is scanned and the density thereof is compared with a threshold value. If the density of the pixels D1 to D5 exceeds the threshold value, a defect candidate point is obtained. At the same time, the differential absolute values (E1 = 30, E2 = 40, E3 = 50, E4 = 35, E5 = 30) of the pixels E1 to E5 are read from the differential absolute value image memory 5 and summed (= 185). The process which calculates | requires is performed. Then, it is determined that there is a defect when the count number of defect candidate points exceeds a prescribed number and the sum of the differential absolute values exceeds a threshold value.
[0041]
By performing the processing as described above, there is an advantage that the detection accuracy can be improved as compared with the case where the pass / fail determination is made only from the number of defect candidate points. If the density of any pixel of the stick mask exceeds the threshold value, the detection accuracy can be further improved by counting the pixels of the edge flag as defect candidate points.
[0042]
  (Embodiment2)
  By the way,Reference example1, when a defective portion K having a density a higher than the background portion BK is detected as shown in FIG. 13, the read-out pixel density a is set to the density a of the background portion BK._BKCompared with a predetermined threshold value ath set to a higher value than the threshold value ath, if it exceeds the threshold value ath, it is counted as a defect candidate point. There is a risk of erroneous counting.
[0043]
Therefore, in this embodiment, as shown in FIG. 17, two threshold values ath1 and ath2 sandwiching the peak value of the density of the defective portion K are set, and the read pixel density a is set to the two threshold values. When it is between ath1 and ath2 (ath1 ≦ a ≦ ath2), it is counted as a defect candidate point K. Therefore, it is possible to remove noise factors such as dust having a concentration higher than the larger threshold value ath2, and there is an advantage that the inspection accuracy can be improved.
[0044]
  (Embodiment3)
  This embodimentReference example1, whether or not there is a pixel higher than the threshold value ath (or between the two threshold values ath1 and ath2) by tracking the periphery of the obtained defect candidate point K pixel by pixel. If there is a pixel that satisfies the above conditions, the pixel is counted as a defect candidate point K.
[0045]
Here, as a method of tracking the pixels around the defect candidate point K, the defect candidate point K is divided into a location parallel window centered on the defect candidate point K, and the density near 8 is sequentially compared with the threshold value ath. If K is found, the procedure of comparing the density in the vicinity of 8 at that point (pixel) with the threshold value ath may be repeated.
[0046]
According to the appearance inspection method of this embodiment, defect candidate points are traced from the periphery of one defect candidate point and a large number of defect candidate points K are extracted. There is an advantage that it can be detected stably.
[0047]
  (Embodiment4)
  This embodimentReference examples 1 and 2Embodiment 13Average value AV of density of defect candidate point K extracted by each method explained in the above_KThe average value AV of the background portion BK density is calculated_BKBoth average values AV compared to_K, AV_BKIt is characterized in that it is judged as defective when the difference between the values exceeds a specified value.
[0048]
Here, the density average value AV of the defect candidate point K_KIs obtained by dividing the total density of the extracted defect candidate points K by the number of defects. Similarly, the average density AV of the background portion BK_BKIs obtained by dividing the sum of the densities of the pixels in the inspection area excluding the extracted defect candidate point K by the number of pixels.
[0049]
By performing the processing as described above, there is an advantage that the detection accuracy can be improved as compared with the case where the pass / fail determination is made only from the number of defect candidate points.
[0050]
  (Embodiment5)
  by the wayReference exampleThe edge image f4 obtained by the thinning process described in 1 is likely to be a discontinuous line when the contrast of the original image f1 is insufficient or when there is a lot of noise. AndReference exampleIn 1, even if the edge is discontinuous, if there is a pixel whose differential direction value is within a certain range in the vicinity of 8, it is regarded as a part of the edge, and thus the differential direction value is The edge image f4 is formed as a continuous line by connecting pixels having values within a certain range.
[0051]
In contrast, the present embodiment is characterized in that the edge image f4 is made a continuous line by performing an edge extension process as described below. In the edge extension processing of this embodiment, starting from the end point of the discontinuous line, the pixel of interest is compared with surrounding pixels, and an evaluation function f (e_J) Extends the line (edge) in the direction where it becomes the largest, and continues until it collides with the end point of another line.
[0052]
f (e_J) = | E_J｜ cos (∠e_J-∠e₀) Cos {π (J-1) / 4-∠e₀}
Where e₀Is the differential absolute value of the center pixel, e_JIs the differential absolute value of adjacent pixels (near 8), and J = 1, 2,.
[0053]
  Thus, the edge image f4 can be obtained as a continuous line by the edge extension processing as described above, and the edge image f4 of such a continuous line is obtained.Reference examples 1 and 2Embodiment 14The inspection accuracy can be improved by extracting the defect candidate point K by the method described in the above.
[0054]
  (Embodiment6)
  In the present embodiment, a pixel (edge flag) where f4 (x, y) = 1 is detected by raster scanning in the inspection region set for the edge image, and the edge flag is set as a defect candidate point K from the density. In addition to determining whether or not it corresponds, the contour line connecting the defect candidate point K is traced while extracting the edge flag corresponding to the defect candidate point K in the vicinity of 8 starting from the edge flag corresponding to the defect candidate point K. Then, an area surrounded by the contour line (hereinafter referred to as “defect candidate area”) KR is obtained, and the number of defect candidate points K (number of pixels) forming the contour line is counted, thereby surrounding the defect candidate area. It is characterized in that the length is obtained and it is determined as defective when the obtained perimeter exceeds a specified value.
[0055]
Thus, as shown in FIG. 18, by using the circumference length of the defect candidate region KR in the edge image f4 as a parameter of the actual size of the defect portion K, the pass / fail judgment is performed, so that only the number of defect candidate points is obtained. There is an advantage that the detection accuracy can be improved as compared with the case where the quality determination is performed.
[0056]
  (Embodiment7)
  This embodiment is an embodiment6, The projection width of the defect candidate region KR is obtained based on the XY coordinates of the defect candidate points K that form the outline of the defect candidate region KR, and the defect region KR is determined from the projection width. It is characterized by identifying whether it is a defect portion K such as a crack or a foreign matter such as dust.
[0057]
Projection width X in the X direction and Y direction of the defect candidate region KR_KR, Y_KRAs shown in FIG. 19, the difference between the minimum value Xmin, Ymin and the maximum value Xmax, Ymax of the XY coordinates of the defect candidate point K forming the outline is obtained as follows.
[0058]
X_KR= Xmax-Xmin
Y_KR= Ymax-Ymin
Here, the normal crack has a feature that the width dimension of one side is sufficiently smaller than the width dimension of the other side as shown in FIG._KR, Y_KRRatio (X_KR/ Y_KR) Is outside the specified range, it can be determined as a defective portion K such as a crack, and when the ratio is within the specified range, it can be determined as foreign matter such as dust.
[0059]
According to the appearance inspection method of the present embodiment as described above, the projection width X of the defect candidate region KR._KR, Y_KRThus, it is possible to identify whether the defect candidate region KR is a defect portion K or a foreign matter such as dust, and a defect with a low contrast such as a crack can be detected stably.
[0060]
  (Embodiment8)
  by the way,Reference examples 1 and 2Embodiment 17In this case, whether or not each defect candidate area surrounded by the contour line of the edge image f4 is defective is judged as good or bad. Therefore, when a defect candidate area where the contour line is interrupted is extracted, the defect candidate area is overlooked. There is a risk of it.
[0061]
Therefore, in the present embodiment, a certain defect candidate region and another defect candidate region existing in the vicinity thereof are treated as the same defect candidate region, and the number of defect candidate points included in each defect candidate region and pixels that form an outline are formed. This is characterized in that the sum of the differential absolute values, the perimeter of the defect candidate area, and the projection width are obtained, and the quality is determined based on the totalized values.
[0062]
Specifically, as shown in FIG. 21, an enlarged area KR1 ′ obtained by enlarging the outline of the defect candidate area KR1 by a predetermined number of pixels is set around the extracted defect candidate area KR1, and the enlarged area KR1 ′ is set. Whether or not at least a part of another defect candidate region KR2 exists is searched for, and if it exists, the defect candidate region KR2 is handled as the same defect region as the original defect candidate region KR1. Then, the number of defect candidate points included in each defect candidate region KR1, KR2, the sum of differential absolute values of the pixels forming the contour line, the perimeter of the defect candidate regions KR1, KR2, and the projection width are obtained and tabulated. By performing the pass / fail judgment based on the value, there is an advantage that the defect candidate area can be prevented from being overlooked even when a defect candidate area having a broken outline is extracted, and the inspection accuracy can be improved.
[0063]
【The invention's effect】
  In order to achieve the above object, the invention according to claim 1 is an appearance inspection method for detecting defects on the appearance of an inspection object from a gradation image obtained by imaging a spatial region including the inspection object. An original image, which is an image, is calculated to obtain a differential absolute value image, a differential direction value image, and an edge image, an inspection area is set in the edge image, and pixels on the contour line of the edge image in the inspection area are set. Then, the density in the original image of the adjacent pixel in the direction rotated approximately 90 ° clockwise or counterclockwise from the direction of the differential direction value of the pixel is obtained, and the pixel is defective when the density satisfies a predetermined condition. Candidate points, andIn either direction, rotated 90 ° clockwise or counterclockwiseA defect mask point is extracted by setting a stick mask including adjacent pixels, and the sum of differential absolute values of pixels on the contour line is obtained. The number of defect candidate points exceeds a specified number, and the sum is a specified value. Since the area surrounded by the contour line formed by the pixel is determined as a defect when the value exceeds the threshold, the object to be inspected has a pattern such as shading unevenness on the surface, and it is mixed with the pattern to reduce it like a crack. Even if there is a contrast defect part, the density of pixels included in the pattern and background part of the object to be inspected is different, and the density of the pixels included in the pattern is included in the background part. If the density is lower (or higher) than the density of the pixel, the density of the pixel included in the low-contrast defect part such as a crack is higher (or lower) than the density of the pixel included in the background part. In By extracting a pixel that is higher (or lower) than the density of the pixel to be captured as a defect candidate point, the pattern and the defect can be identified, and as a result, the pattern can be prevented from being erroneously determined as a defect. It is possible to improve the accuracy of determining the presence or absence of defects. When the density of the defective portion is higher or lower than the density of the background portion in advance, it is adjacent to the direction rotated 90 ° clockwise or counterclockwise from the direction indicated by the differential direction value. By comparing the density of only one of the two pixels with a threshold value, the process of detecting defect candidate points can be simplified, the overall processing time can be shortened, and defect parts such as cracks can be reduced. Since pixels with almost the same density exist in the vicinity of the boundary with the background part, many defect candidate points can be extracted by increasing the number of pixels whose density is compared with the threshold by scanning the stick mask. In addition, it is easy to make a pass / fail judgment and improve the inspection accuracy, and the sum of the differential absolute values of the pixels on the contour line is obtained, and the number of defect candidate points exceeds the specified number and When the sum exceeds a specified value, the area surrounded by the contour line formed by the pixel is determined as a defect, so that the detection accuracy is improved compared to the case where the quality is determined only from the number of defect candidate points. Is effective.
[0064]
According to a second aspect of the present invention, in the first aspect of the present invention, the predetermined value indicates that the density of the pixel exceeds a threshold set to a level brighter or darker than a background portion representing the surface of the inspection object. Thus, the same effect as that of the first aspect of the invention can be obtained.
[0065]
According to a third aspect of the present invention, in the first aspect of the invention, the first threshold value in which the density of the pixel is set to a level brighter or darker than the background portion representing the surface of the inspection object, and the defect portion Since the predetermined condition is that it exists between the second threshold value set to a level brighter or darker than the peak value of the density, such as dust whose density exceeds the second threshold value. The noise factor can be removed, and the inspection accuracy can be improved.
[0068]
  Claim4The invention of claim 1Or 2 or 3In this invention, since defect candidate points are extracted only from pixels having a predetermined differential direction value among the pixels on the contour line, by extracting only pixels satisfying a specific condition and performing pass / fail judgment, the original image is obtained. Therefore, there is an effect that the inspection time can be shortened as compared with the case where the edge image is obtained in advance and the quality is determined.
[0070]
  Claim5The invention of claim 1 to claim 14In any of the inventions, since another defect candidate point is searched around the pixel on the contour line as the defect candidate point, the defect candidate point is tracked from the periphery of one defect candidate point, and a large number of defect candidate points are detected. By extracting, there is an effect that low contrast defects such as cracks can be detected stably.
[0071]
  Claim6The invention of claim 1 to claim 15In any of the inventions, an average value of the density of the defect candidate points is obtained, and a defect is determined when the average value is larger or smaller than a predetermined threshold value. As a result, the detection accuracy can be improved as compared with the case of performing.
[0072]
  Claim7The invention of claim 1 to claim 16In any of the inventions, when obtaining the edge image, the pixel of interest is compared with the surrounding pixels, starting from the end points of the discontinuous contour line, and the line is drawn in the direction in which the predetermined evaluation function is the largest. Extending and continuing this until it collides with the end point of another line will perform edge extension processing with the contour as a continuous line, so the edge image can be obtained as a continuous line by edge extension processing, There is an effect that the inspection accuracy can be improved by extracting defect candidate points from the edge image of the line.
[0073]
  Claim8The invention of claim 1 to claim 17In any of the inventions, the perimeter of the contour line formed by the pixels as the defect candidate points is obtained, and a defect is determined when the perimeter is equal to or greater than a specified value. There is an effect that detection accuracy can be improved as compared with the case of performing the determination.
[0074]
  Claim9The invention of claim 1 to claim 18In any of the inventions, since the projection width of a defect candidate area consisting of a set of defect candidate points surrounded by the contour line is obtained, and when the projection width satisfies a predetermined condition, it is determined as a defect. Since the width dimension on one side is sufficiently smaller than the width dimension on the other side, it is possible to identify whether the defect candidate area is a defective part or a foreign substance such as dust by the projected width of the defect candidate area. It is possible to stably detect defects with low contrast such as cracks.
[0075]
  Claim10The invention of claim1In this invention, the number of pixels on the contour line is obtained, and when the number exceeds a prescribed number, the number of defect candidate points exceeds the prescribed number, and the sum exceeds the prescribed value, the contour formed by the pixels Since the area surrounded by the line is determined as a defect, there is an effect that detection accuracy can be further improved.
[0076]
  Claim11The invention of claim 1 to claim 110In any of the inventions, when a defect candidate area consisting of a set of defect candidate points is interrupted, an enlarged area is set by enlarging the defect candidate area, and another defect having at least a part in the enlarged area Since the defect is judged by treating the candidate area as the same defect candidate area as the original defect candidate area, it is possible to prevent the defect candidate area from being overlooked even when a defect candidate area with a broken outline is extracted. There is an effect that the improvement can be achieved.
[Brief description of the drawings]
[Figure 1]Reference example of the present inventionIt is a flowchart explaining the external appearance inspection method of 1. FIG.
FIG. 2 is a schematic configuration diagram of an appearance inspection apparatus using the same as above.
FIG. 3 is a block circuit diagram of the same appearance inspection apparatus.
4A and 4B are explanatory views of the above. FIG.
FIG. 5 is an explanatory diagram showing a local parallel window in the same as above.
FIG. 6 is an explanatory diagram of the above.
FIG. 7 is an explanatory view of the above.
FIGS. 8A to 8H are operation explanatory views of the same. FIG.
FIG. 9 is an explanatory diagram of the above.
FIGS. 10A and 10B are explanatory views of patterns in the same as above. FIGS.
FIGS. 11A and 11B are explanatory views of a defect portion in the same as above. FIGS.
FIG. 12 is an explanatory view of the above.
FIG. 13 is an explanatory diagram of the above.
FIG. 14 is an explanatory view of the above.
FIG. 15 is an explanatory diagram of the above.
FIG. 16 shows an embodiment.1It is explanatory drawing of.
FIG. 17 is an embodiment.2It is explanatory drawing of.
FIG. 18 shows an embodiment.6It is explanatory drawing of.
FIG. 19 shows an embodiment.7It is explanatory drawing of.
FIG. 20 is an explanatory diagram of the above.
FIG. 21 Embodiment8It is explanatory drawing of.
[Explanation of symbols]
  1 CCD camera
  2 A / D converter
  3 Pre-processing circuit
  4 Original image memory
  5 Differential absolute value image memory
  6 Differential direction value image memory
  7 Edge image memory
  8 Microprocessor

Claims

被検査物を含む空間領域を撮像して得られた濃淡画像から被検査物の外観上の欠陥を検出する外観検査方法において、前記濃淡画像である原画像を演算処理して微分絶対値画像、微分方向値画像並びにエッジ画像を求め、前記エッジ画像内に検査領域を設定するとともに該検査領域内におけるエッジ画像の輪郭線上の画素に対して当該画素が持つ微分方向値の方向から時計回り又は反時計回りに略９０°回転した方向に隣接する画素の原画像における濃度を求め、この濃度が所定の条件を満たす場合に当該画素を欠陥候補点とし、さらに、前記時計回り又は反時計回りに９０°回転した何れか一方の方向に隣接する画素を含んだスティックマスクを設定して欠陥候補点を抽出するとともに、前記輪郭線上の画素の微分絶対値の総和を求め、欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定することを特徴とする外観検査方法。In an appearance inspection method for detecting defects on the appearance of an inspection object from a grayscale image obtained by imaging a spatial region including the inspection object, a differential absolute value image obtained by calculating an original image that is the grayscale image, A differential direction value image and an edge image are obtained, an inspection area is set in the edge image, and the pixels on the edge line of the edge image in the inspection area are clockwise or counterclockwise from the direction of the differential direction value of the pixel. The density in the original image of a pixel adjacent in a direction rotated by approximately 90 ° in the clockwise direction is obtained, and when this density satisfies a predetermined condition, the pixel is set as a defect candidate point, and further, the clockwise or counterclockwise 90 Defect candidate points are extracted by setting a stick mask that includes pixels that are adjacent in one of the rotated directions, and the sum of the differential absolute values of the pixels on the contour line is obtained to determine the defect An appearance inspection method characterized in that, when the number of candidate points exceeds a specified number and the sum exceeds a specified value, a region surrounded by a contour formed by the pixel is determined as a defect.

前記画素の濃度が前記被検査物の表面を表す背景部分よりも明るい又は暗いレベルに設定されたしきい値を超えていることを前記所定の条件とすることを特徴とする請求項１記載の外観検査方法。 2. The predetermined condition is that the density of the pixel exceeds a threshold set to a level brighter or darker than a background portion representing the surface of the object to be inspected. Appearance inspection method.

前記画素の濃度が前記被検査物の表面を表す背景部分よりも明るい又は暗いレベルに設定された第１のしきい値と、欠陥部分の濃度のピーク値よりも明るい又は暗いレベルに設定された第２のしきい値との間に存在することを前記所定の条件とすることを特徴とする請求項１記載の外観検査方法。 The density of the pixel is set to a level that is brighter or darker than the peak value of the density of the defective portion, and a first threshold value that is set to a level brighter or darker than the background portion representing the surface of the inspection object The appearance inspection method according to claim 1, wherein the predetermined condition is to exist between the second threshold value and the second threshold value.

前記輪郭線上の画素のうちで所定の微分方向値を有する画素のみから欠陥候補点を抽出することを特徴とする請求項１又は２又は３記載の外観検査方法。 4. The appearance inspection method according to claim 1, wherein defect candidate points are extracted only from pixels having a predetermined differential direction value among pixels on the contour line.

前記欠陥候補点とした輪郭線上の画素の周辺で別の欠陥候補点を探索することを特徴とする請求項１〜４の何れかに記載の外観検査方法。 5. The appearance inspection method according to claim 1, wherein another defect candidate point is searched around a pixel on a contour line as the defect candidate point.

前記欠陥候補点の濃度の平均値を求め、該平均値が所定のしきい値よりも大きい又は小さい場合に欠陥と判定することを特徴とする請求項１〜５の何れかに記載の外観検査方法。 6. The appearance inspection according to claim 1, wherein an average value of the density of the defect candidate points is obtained, and a defect is determined when the average value is larger or smaller than a predetermined threshold value. Method.

前記エッジ画像を求める際に、不連続となる輪郭線の端点から始めて注目する画素とその周囲の画素とを比較し、所定の評価関数がもっとも大きくなる方向に線を延長し、他の線の端点に衝突するまでこれを続けることで輪郭線を連続線とするエッジ延長処理を行うことを特徴とする請求項１〜６の何れかに記載の外観検査方法。 When obtaining the edge image, the pixel of interest is compared with the surrounding pixels starting from the end point of the discontinuous contour line, the line is extended in the direction in which the predetermined evaluation function is the largest, and the other lines The appearance inspection method according to claim 1, wherein an edge extension process using a contour line as a continuous line is performed by continuing this process until it collides with an end point.

前記欠陥候補点とした画素で形成される輪郭線の周囲長を求め、該周囲長が規定値以上の場合に欠陥と判定することを特徴とする請求項１〜７の何れかに記載の外観検査方法。 8. The appearance according to claim 1, wherein a peripheral length of a contour line formed by pixels as the defect candidate points is obtained, and a defect is determined when the peripheral length is equal to or greater than a specified value. Inspection method.

前記輪郭線で囲まれた欠陥候補点の集合からなる欠陥候補領域の射影幅を求め、該射影幅が所定の条件を満たす場合に欠陥と判定することを特徴とする請求項１〜８の何れかに記載の外観検査方法。 9. The projection width of a defect candidate area composed of a set of defect candidate points surrounded by the contour line is obtained, and a defect is determined when the projection width satisfies a predetermined condition. Appearance inspection method according to crab.

前記輪郭線上の画素の個数を求め、該個数が規定数を超えるとともに欠陥候補点の個数が規定数を超え且つ前記総和が規定値を超えた場合に当該画素で形成される輪郭線で囲まれた領域を欠陥と判定することを特徴とする請求項１記載の外観検査方法。 The number of pixels on the contour line is obtained, and when the number exceeds the prescribed number, the number of defect candidate points exceeds the prescribed number, and the sum exceeds the prescribed value, the contour line is formed by the pixels. 2. The appearance inspection method according to claim 1, wherein the region is determined as a defect.

欠陥候補点の集合からなる欠陥候補領域が途切れている場合に当該欠陥候補領域を拡大した拡大領域を設定し、該拡大領域内に少なくとも一部が存在する別の欠陥候補領域を元の欠陥候補領域と同じ欠陥候補領域として取り扱って欠陥の判定を行うことを特徴とする請求項１〜１０の何れかに記載の外観検査方法。 When a defect candidate area consisting of a set of defect candidate points is interrupted, an enlarged area obtained by enlarging the defect candidate area is set, and another defect candidate area having at least a part in the enlarged area is set as the original defect candidate. The appearance inspection method according to claim 1, wherein the defect is determined by treating it as the same defect candidate area as the area.