JPH0310107A - 濃淡パターンマッチングによる検査方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理により製品の外観検査等を行うための
濃淡パターンマツチングによる検査方法に関するもので
ある。

〔従来技術とその課題〕

従来、画像処理により製品の外観検査を行う場合、特徴
抽出法が一般に用いられている。この方法は、部分的な
特徴をとらえて認識する方法であるが、外観検査項目ご
とに判別アルゴリズムを決定する必要があるため、アル
ゴリズムの決定作業に多大の時間がかかり、また検査内
容の変更にも対応しにくい欠点がある。

また、二値化画像処理によるパターンマツチング方法が
知られている。この方法は、二値化対象画像をｎｘｍ個
の二値化基準画像によってパターンマッチングする方法
であるが、対象画像内を基準画像と同し範囲の画素群を
１画素ずつずらせながら−成度を検出しなければならな
いため、処理に時間がかかり、また画像の濃度差が明瞭
でない場合には一致度にバラツキが発生するという問題
がある。

他の二値化画像処理方法による検査方法として、小領域
面積判定方式もある。この方式は、対象とする濃淡画像
に複数個の方形の対象画像を定めるとともに、この対象
画像の画素数の基（１λ範囲を設定しておき、対象画像
の占めるａ淡いずれかの画素数の数値が基準範囲内であ
るか否かにより良否を判定する方式である。この場合に
は、判定が簡単であるという利点はあるが、単なる面積
判定であるため、形状に凹凸があって面積に差がない場
合には誤判定を起こし易い。また、画像の濃度差が明瞭
でない場合には、面積差が大きく出過ぎるといった不具
合もある。

上記のように二値化画像処理方法による検査方法は、４
淡二種類の判別であるから、微小な欠陥は判別しにくく
、外観検査用としては不満足なものであった。

そこで、本発明の目的は、検査内容の修正や変更に容易
に対応でき、高速処理が容易で、しかも濃度差が明瞭で
なくても正確な判定が可能なａ淡パターンマツチングに
よる検査方法を提供することにある。

〔課題を解決するための手段〕

」−記目的を達成するために、本発明方法は、良品であ
る対象物の濃淡画像を多数の画素に分け、各画素の濃度
値を検出する工程と、検査すべき対象物のａ像画像を上
記良品対象物のａ像画像と同数の画素に分け、各画素の
濃度値を検出する工程と、良品対象物の４６画像中に１
箇所以上の方形の基準画像範囲を定める工程と、検査対
象物の濃淡画像中に、個々の基準画像と対応しかつ基り
暫画像と同一範囲の方形の対象画像範囲を定める一Ｌ程
と、個々の基イＶ画像と対象画像との対応する各画素の
濃度値による相関係数を９１算する工程と、個々の画像
範囲ごとに相関係数の下限値を設定する工程と、計算さ
れた相関係数と下限値との比較により個々の基準画像と
対象画像との一致度を１′１１定する工程と、を含むも
のである。

（作用］ 即ち、本発明は／！：４ｉ４３パターンマツチング方弐
と小領域面積判定方式とを組み合わせることにより、上
記の目的を達成するものである。

まず、良品対象物および検査対象物の濃淡画像をカメラ
等で撮影し、これら４淡画像を構成する多数の画素の濃
度値を検出してメモリ等に書き込む。次に、良品対象物
のく・＊像画像中に１箇所以上の基準画像を定めるとと
もに、検査対象物のｔＰ５淡画像画像中基準画像と対応
する対象画像を定める。

そして、対象画像と基（１東画像の対応する各画素同士
の濃度値から相関係数を求め、相関係数により一致度を
判定する。ここで、従来の小領域面積判定方式と異なる
のは、単に対象画像と基（２画像との濃淡画素数によっ
て−・政変を同定するのではなく、各画素の濃度値の相
関関係により一致度を判定していることである。したが
って、この−成度はａ像画像の面積の一致度ではなく、
形状の一致度を表すことになる。

このように判定すれば、？ｊＨｆｆｉなアルゴリズムを
対象物ごとに決定する必要がなく、検査内容の修正や変
更にも容易に対応できる。また、画素同士の一致度を逐
一判定する必要がないので、高速処理が容易である。さ
らに、画像の濃度差が明瞭でなくても、濃度値の相関関
係により判定するので、微小な欠陥でも精密に判定でき
る。

〔実施例〕

図面は本発明にかかる検査方法を製品の外観検査に適用
した具体例を示す。

第１図において、ｌは電子部品等の対象物であり、この
対象物１を撮影するＣＣＤカメラ等の撮像器２が設置さ
れている。撮像器２の内部にはレンズ２ａと１最像素子
２ｂとが内蔵されており、対象物１の反射光がレンズ２
ａで集光され、撮像素子２ｂで結像される。撮像素子２
ｂは例えば３０万個のマトリックス状素子で構成され、
各素子は受光した光量に応しまた電気信号を出力し、こ
の電気信号がコントローラ３に入力される。コントロー
ラ３は例えばマイクロコンピュータ、バードロノック回
路等よりなり、メモリ３ａ、３ｂを内蔵している。コン
トローラ３には入力袋Ｗ４とモニタ５とが接続されてお
り、入力装置４からのスタート信号により撮像器２から
の信号を読み込み、この信号を濃度値に変換して所定の
メモリ３ａ、３ｂに書き込む。また、人力装置４は画像
範囲指定信号も出力できるようになっており、操作者は
モニタ５で画像を見ながら対象物１の濃淡画像中に基準
画像範囲または対象画像範囲を任意に指定できる。コン
トローラ３は、人力装置４にて指定された基準画像の濃
度値と対象画像の濃度値とを比較・演算し、検査すべき
対象物が、良品であるか否かの良否判定信号を出力する
。

次に、上記構成の外観検査装置の動作を第２図にしたが
って説明する。

まず、最初に良品である対象物を撮影する（ステップ１
０）。第３図は撮像器２にて撮像された良品の対象物の
濃淡画像の一例である。撮像器２より入力された画像信
号は濃度値に変換され、各画素に対応した濃度値が基準
画像用メモリ３ａに書き込まれる（ステップ１１）。

続いて、検査すべき対象物が撮影され（ステップ！２）
、その濃淡画像（第４図参照）の各画素の濃度値が対象
画像用メモリ３ｂに書き込まれる（ステップ１３）。な
お、第４図は検査すべき対象物の右上角部が欠落してい
る例を示す。

次に、良品の対象物の濃淡画像の特徴的な部分に、１箇
所以上の方形の基準画像範囲Ａ−Ｄを指定する（ステッ
プ１４）。この基準画像Ａ−Ｄは４箇所に限らず、大き
さが相違していても、あるいは互いの画像どうしが重な
っていてもよい。第５図は指定された基準画像Ａ−Ｄの
うち、右角部の画像Ａの拡大図であり、実際の対象物の
濃淡画像は暗部ＡＩと明部Ａ２とで明確に区分されてお
らず、暗部Ａ１と明部Ａｔとの境界部には中間的な明る
さの部分Ａ３が存在している。第６図は第５図に示され
る基準画像Ａの各画素の濃度値の一例を示したもので、
説明上５×４個の画素で構成したが、実際にはこれより
多くの画素で構成されている。各画素のうち、暗部Ａ、
の濃度値が５０、明部Ａ２の濃度値が１５０、中間部Ａ
、の濃度値が１００としである。

次に、検査すべき対象物の濃淡画像中に、上記基準画像
Ａ−Ｄと対応する対象画像範囲ａ　％　ｄを指定する（
ステップ１５）。第７図は指定された対象画像ａ　−ｄ
のうち欠陥の存在する対象画像ａの拡大図であり、暗部
ａ１と明部ａ２と中間的な明るさの部分ａ、とが存在し
ている。第８図は第７図に示される対象画像ａの各画素
の濃度値の一例を示したものであり、基準画像Ａと同じ
＜５×４個の画素で構成されている。

次に、基準画像Ａの各画素の濃度値と、対象画像ａの各
画素の濃度値との相関係数ｒを次式によって計算する（
ステップ１６）。

上式において、Ｔ　（ｘａ　、ｙ−）は基準画像の濃度
値、Ｔ’　Ｃｘ、　、ｙ、　）は対象画像の濃度値、Ｔ
は基準画像の平均濃度、Ｔ゛は対象画像の平均濃度であ
り、ＴとＴ゛は下記式により求めることができ〒＝ΣＴ
　（ｘ、　、ｙ、　）　／　Ｎ　　　　　　　　・・・
（２）Ｔ゛　−ΣＴ　　　（ｘ、、ｙ、、）／Ｎ　　　
　　　　−（３）（但し、Ｎ一対象画素数） 相関係数ｒは一１≦ｒ≦１の範囲をとり、ｒ＝１は対象
画像と基準画像の完全一致を示し、ｒが小さくなるほど
一致度が低いことを示す。

一方、検査すべき対象物の良否判定のための相関係数下
限値ｒ　ａｉｍを予めメモリに設定しておき、（１）式
によって計算された相関係数ｒと下限値ｒ＋ａｉ１とを
比較する（ステップ１７）。この下限値ｒａｔ、は画像
の画素数、画像の範囲、検出精度等に応じて適宜設定す
ることができる。ｒ≧ｒａｉｌｌの場合には対象画像と
基準画像の一致度が高いので、検査対象物が良品である
としてｒＯＫＪ信号を出力しくステップ１８）　、ｒ　
＜ｒ　ａｉｍの場合には対象画像と基準画像の一致度が
低いので、検査対象物が不良品であるとしてｒＮＧＪ信
号を出力する（ステップ１９）。

上記の場合には、複数箇所指定された基準画像Ａ−Ｄお
よび対象画像ａ　−ｄのうちの１箇所について一致度を
判別したが、同様に他の箇所の画像の一致度を判別すれ
ば、検査すべき対象物の欠陥の有無だけでなく、欠陥位
置も特定できるので望ましい。

また、上記説明では、対象画像と基準画像の個々の一致
度を判別するために（１）弐によって相関係数「を計算
したが、実際に相関係数ｒを計算すると多大な時間がか
かり、迅速に良否判別できない。

そこで、次のような■〜■の方法を用いて処理を闇路化
することができる。

■相関計数の算出手順を簡略化し、偏差値の符号が一定
となる算出方法 （１）弐ではＴ（ｘ、、、ｙｎ　）とＴ’　（ｘａ　、
ｙ、　）とを取込みながら順次積和しておき、平均濃度
ＴとＴを求めた後、再び偏差値の積和を行う必要がある
ので、手順が煩雑になり、しかも偏差値の符号が変化す
るため、ハード的に積和しようとすると回路が複雑にな
り、簡略化、高速化の妨げとなる。

そこで、（１）弐〜（３）式で相関計数「を算出するに
あたり、基準画像と対象画像の濃度値がら一定値む。を
ｆｊ、３ＥＬ、その結果が負の値をとらないように【。

を定めた場合のそれぞれの濃度値を次式のようにｔ（ｘ
、　、ｙ、　）　、　　ｔ“　（Ｘａ　＋Ｖ＋＋　）　
　とする。

ｔ（ｘｌｌ、ｙ、１）＝Ｔ（ｘ、、ｙ、）　−ｔｏ　　
　・＝（４１ｔ’　（ＸＭ　、ｙｓ　）　−Ｔ’　Ｃｘ
ｎ　、ｙ−）　　　Ｌ６　＝（５）この１．　１　　を
用いて（１）式を書き換えると、となり、この弐により
相間係数ｒが求まる。

（６）式では、Ｔ（ｘ−＋４’ａ　）　とＴ’　（Ｘ＋
＋　＋ｙｎ　）　とを取込みながら順次に偏差値の積和
ができ、符号も一定であるので、闇路化、高速処理が可
能となる。

また、ｔｏ及び基準画像は事前に決定しているから、Σ
ｔ　（ｘ−＋３’＋＋　）及びΣ［１（Ｘ、　＋７ｓ　
）　ｌ　”は予め算出しておけるので、さらに都合が良
い、なお、（４）式、（５ン弐のように濃度（直ｔ、ｔ
＋　とするのは、無効データを削減し、闇路化、高速化
に寄与させるためである。

■基準画像及び対象画像の濃淡階調を切り捨てることに
より、算出の簡略化を図る方法通常は画像階調を２５６
階調とし、最大濃度を２５６とする場合が多い。こうし
た２５６階調すなわち８ビツト演算を行う必要があり、
ソフト処理を行う場合は積和計算のデータ長が長くなり
、高速処理の障害となる。また、ハード処理を行う場合
は膨大なハード回路が必要となる。

こうした問題を回避するために、基準画像と対象画像の
下位の濃度値を切り捨てて、ＩＩｌ調値を減らすことに
より、高速処理を実現できる。

まず、相関係数算出式（１）の平方根を求める作業を省
く。即ち、 Ｎ　　　　　　　　　　　　　　　Ｎ であるが、分母のｆを開く処理は、ソフト処理及びハー
ド処理ともに？ｊ！１１な処理となるため、次式のよう
に分母分子を２乗する。つまり、（−Σｔ−ｔ’−ｔ−
ｔ’ン２ Ｎ　　　　　　　　　　　　　Ｎ となり、ｒの値は−］≦ｒ≦１であるがら、ｒ２は０≦
ｒ２≦１をとり、例えば相関係数ｒ＝０．７の場合には
、ｒ’　＝０．４９となり、二次関数の値をとることを
念頭に置く必要がある。

なお、（８）式では負の相関が不明となるが、分子（−
Σｔ−ｔ’　　−ｔ　・Ｌ′　） の符号が正であるか負であるがを見ることにより、相関
係数の符号が分かる。

■各つィンドウごとに座標変換符号を指定できるように
することにより、標準パターンの設定を容易にする方法 第４図に示すように、矩形対象物の四隅の異常を発見し
ようとする時、対象画像のａ　％　ｄにそれぞれ基準画
像Ａ−Ｄを設ける必要がある。しがし、第３図の基準画
像Ｂと第４図の対象画像すとの相関を求める場合には、
基準画像Ａ、Ｂが左右対象であるから、対象画像すのＸ
座標を変換すれば、基準画像へを共用できることになる
。

前述の座標変換のパターンとして、下記のように４パタ
ーン用意すれば良い。

Ｘ座標の入れ替え　　仲モード■ Ｘ座標の入れ替え　　仲モード■ ｘ、Ｘ座標の入れ替え噂モード■ 無変換　　　　　　　→モード■ このように座標変換モードＩ〜■を付加すれば、非常に
処理効率が良い。

因みに１、相関係数ｒは（６）式の通りであり、座標変
換によって影響を受けるのはΣＬ　（Ｘｎ　＋Ｖｎ　）
Ｌ　’　（Ｘａ　＋Ｖａ　）のみであるから、他は座標
変換にかかわらず処理を変更する必要がなく、処理手順
は簡単である。

〔発明の効果〕

以上の説明で明らかなように、本発明によれば、対象物
の形状を相関係数と下限値との比較により判別できるの
で、判別のための特別なアルゴリズムを必要とせず、検
査内容の変更も容易となる。

また、本発明は基準画像と対象画像との単なる面積の一
致度ではなく、形状の一致度を判定しているので、凹凸
があって面積に差がない場合でも簡単に判別できる。そ
して、濃淡の微妙な差を濃度値によって判定するので、
画像のコントラストが明瞭でない場合でも、精密に良否
を判別できる。

【図面の簡単な説明】

第１図は本発明にかかる検査方法を実施するための装置
の構成図、第２図はその動作を説明するフローチャート
図、第３図は良品である対象物の一例の濃淡画像図、第
４図は検査すべき対象物の一例の濃淡画像図、第５図は
基準画像の拡大図、第６図は基準画像の濃度値図、第７
図は対象画像の拡大図、第８図は対象画像の濃度値図で
ある。 ｌ・・・対象物、２・・・カメラ、３・・・コントロー
ラ、４・・・入力装置、Ａ・・・基準画像、ａ・・・対
象画像。

Claims (1)

1. 【特許請求の範囲】 　良品である対象物の濃淡画像を多数の画素に分け、各
   画素の濃度値を検出する工程と、 検査すべき対象物の濃淡画像を上記良品対象物の濃淡画
   像と同数の画素に分け、各画素の濃度値を検出する工程
   と、 良品対象物の濃淡画像中に１箇所以上の方形の基準画像
   範囲を定める工程と、 検査対象物の濃淡画像中に、個々の基準画像と対応しか
   つ基準画像と同一範囲の方形の対象画像範囲を定める工
   程と、 個々の基準画像と対象画像との対応する各画素の濃度値
   による相関係数を計算する工程と、個々の画像範囲ごと
   に相関係数の下限値を設定する工程と、 計算された相関係数と下限値との比較により個々の基準
   画像と対象画像との一致度を判定する工程と、 を含む濃淡パターンマッチングによる検査方法。