JP5804834B2 - 検査プログラム、同プログラムを格納した記録媒体及び検査装置 - Google Patents

Description

この発明は、対象物を撮像して得られた画像から、対象物の傷や欠陥などの不良の有無を検査するプログラム、同プログラムを格納した記録媒体及び検査装置に関する。

検査対象物を撮像して得られたデジタル画像を用いて当該対象物の良否判定を行う場合、予め良品と判っている物から取得される画像と検査対象物から取得される画像とを比較する方法がある。この方法では、良品自体がもつばらつきを許容するため、大きい公差を設定するか、または画素毎に異なる公差を設定する必要がある。また、画素毎に重要度を設定して、重要度の低い部位における基準画像との相違を欠陥と認識しないようにする方法も提案されている（特許文献１）。

いずれにしても公差や重要度は、作業者の主観に基づいて設定されるので、作業者に全ての欠陥を理解できる高度な知識と経験が要請され、設定可能な作業者が限られる。また、検査媒体として各画素毎の輝度などの光学的特性を用いる場合、照明器の照度変動に伴って良否判定の信頼性が低下する。

そこで、発明者は、予め選別された複数の良品から取得されたデジタル画像群について、同一座標をもつ画素毎に輝度の平均と標準偏差を算出して、これらから評価式を作成しておき、検査対象物から取得された画像について同一座標をもつ画素毎に、その輝度と前記評価式に基づいて良否判定を行う方法を提案した（特許文献２）。この方法によれば、公差は作業者の能力に依存することなく統計学的に意味を持つ値として客観的に設定される。

特開２００１−１７５８６５ 特開２００５−２６５６６１

特許文献２に記載の方法においては、公差が統計学的に意味を持つ値とするためには多くの良品を登録する必要があるが、登録のためには予め作業者の主観により良品を選別しておく必要があり、登録作業に手間がかかる。
それ故、この発明は、特許文献２に記載の方法を改良し、公差を統計学的に意味を持つ値として客観的に設定するために、予め良品を選別しておく必要が無く、作業者の能力に依存しない検査プログラム及び検査装置を提供することを課題とする。

その課題を解決するために、この発明の検査プログラムは、
同一仕様の複数の対象物の良否を判別するためにコンピュータに、以下の第一のステップ、記憶ステップ、仮判定ステップ、第二の統計ステップ及び本判定ステップを実行させることを特徴とする。

第一の統計ステップでは、同一仕様の複数の対象物のうち所定数から個別に取得されたデジタル画像群について、同一座標をもつ画素毎に特性の統計量を算出して暫定良画素範囲を作成する。前記特性は、対象物の撮像データから得られる特性、例えば輝度、色度などの光学的特性または温度などの熱的特性である。記憶ステップでは、前記デジタル画像群をメモリに記憶する。１画像ごとに統計量を算出しても良いし、メモリ上の画像群から一括して統計量を算出してもよい。前記統計量を算出するための対象物の個数は統計学的に信頼できるサンプル数（経験的に50程度）を超える量を確保する。

仮判定ステップでは、記憶された前記デジタル画像群における各画像に対して画素毎に前記特性が前記暫定良画素範囲に属するか否かを判定する。第二の統計ステップでは、前記暫定良画素範囲に属すると判定された画素毎に前記特性の統計量を算出して設定良画素範囲を作成する。設定良画素範囲は、暫定良画素範囲に属すると判定された画素のみを用いて算出された統計量、すなわち各対象物のうち著しく質の劣る部位を除いて算出された統計量に基づいて作成されているので、真の良画素範囲に近い。

本判定ステップでは、検査しようとする同一仕様の対象物から取得されるデジタル画像に対して画素毎に前記特性がこの設定良画素範囲に属するか否かを判定する。この後、全画素が前記設定良画素範囲に属すると判定された対象物を良品として選別する。この作業もコンピュータに実行させる。設定良画素範囲は、真の良画素範囲に近く、また作業者の主観によらず対象物の統計量から客観的に決定されるため、信頼性の高い検出結果が得られる。また、前記設定良画素範囲に属さないと判定された画素のうち、互いに隣接する複数の画素をグループ化し、グループ全体の特徴量を基準量と照合し、基準量を超えるグループを含む対象物を不良品、その他の対象物を良品として選別すると好ましい。これにより、許容されるべき小さな欠陥の存在によって良品であっても不良品と検出する過検出を防止できるからである。「グループ全体の特徴量」とは、例えばグループに属する画素の総面積（もしくは総数）、グループに外接する矩形の長辺の長さなどをいう。

前記メモリ及び後記の検査装置におけるメモリとしてはリングバッファを用いる。そして、前記本判定ステップ実行中、対象物のデジタル画像が取得される度に当該デジタル画像をリングバッファに記憶する。それとともに、本判定ステップにおいて良品として選別された対象物の割合を閾値と照合する監視ステップを前記コンピュータに更に実行させるとよい。これにより、良品として選別された対象物の割合が前記閾値よりも低下したとき、リングバッファに記憶されたデジタル画像群に対して第一の統計ステップ、仮判定ステップ及び第二の統計ステップを再度実行させて前記設定良画素範囲を更新し、高い検出能力と歩留まりを維持することができる。

この発明の課題を解決するために、この発明の検査装置は、
同一仕様の複数の対象物の良否を判別する装置であって、
同一仕様の複数の対象物のうち所定数から個別に取得されたデジタル画像群について、同一座標をもつ画素毎に特性の統計量を算出して暫定良画素範囲を作成する第一の統計手段と、
前記デジタル画像群を記憶可能なメモリと、
前記デジタル画像群における各画像に対して画素毎に前記特性が前記暫定良画素範囲に属するか否かを判定する仮判定手段と、
前記デジタル画像群における各画素のうち、前記暫定良画素範囲に属する画素毎に前記特性の統計量を算出して設定良画素範囲を作成する第二の統計手段と、
対象物から取得されるデジタル画像に対して画素毎に前記特性が前記設定良画素範囲に属するか否かを判定する本判定手段と
を備えることを特徴とする。

この検査装置は、各手段を実行する回路素子や機械要素を組み合わせたものでもよいし、一部がソフトウェアプログラムと協働する態様であってもよい。また、全画素が前記設定良画素範囲に属すると判定された対象物を良品として選別する選別手段を備えると好ましい。選別手段は、これに代えて、前記設定良画素範囲に属さないと判定された画素のうち、互いに隣接する複数の画素をグループ化し、グループ全体の特徴量を基準量と照合し、基準量を超えるグループを含む対象物を不良品、その他の対象物を良品として選別するものであると特に好ましい。

以上の通り、この発明によれば、公差が作業者の能力に依存することなく統計学的に意味を持つ値として客観的に設定されるので、検査精度及び信頼性に優れる。また、予め良品を選別しておく必要が無いので、運用効率にも優れる。

第一の実施形態の検査装置のハードウェア構成を示すブロック図である。 同実施形態の検査装置に用いられるコンピュータのシステム構成を示すブロック図である。 同実施形態の検査装置の検査設定時前半における動作を示す流れ図である。 同実施形態の検査装置の検査設定時前半における統計量計算動作の詳細を示す流れ図である。 同装置の判定情報の設定方法を説明する図である。 各範囲の関係を示す度数分布図である。 同装置の検査設定時前半における動作を示す流れ図である。 同装置の検査時における動作を示す流れ図である。 第二の実施形態の検査装置に適用される不良画素の定義を説明する図である。

−実施形態１−
この発明の第一の実施形態を図面とともに説明する。図１において検査装置１００は、検査対象物Ｗの画像を撮るＣＣＤカメラ２０、カメラ２０と接続されたコンピュータ３０、位置決めコントローラ４０、及びＸＹθテーブル５０を備える。位置決めコントローラ４０は、コンピュータ３０と接続され、図略の位置センサなどにより検出される位置情報に基づいて対象物Ｗの空間姿勢を一意の座標値に変換する。

コンピュータ３０は、図２にブロック図として示すように、カメラ２０との接続を可能にするインターフェイスを有する画像入力部１、位置決めコントローラ４０や図略のキーボード、マウスなどの入力装置とのインターフェイスを有する操作部２、中央演算処理装置３、ハードディスク４及びＲＡＭ５を備える。ハードディスク４には、画像入力部１や操作部２から命令やデータが送られたときに中央演算処理装置３に所定の演算処理を実行させる検査プログラムが記録されている。ＲＡＭ５は、画像入力部１から送られる画像データや位置決めコントローラ４から送られる位置情報を一時的に記録する。

詳しくは、ＲＡＭ５の一部は最大ｎ枚（ｎは整数）の画像データを記録可能なＦＩＦＯ方式のリングバッファ６に設定され、先頭アドレスから順送りに画像データの記録がなされ、最終アドレスに達すれば先頭アドレスに戻って新たな画像データが既に記録された画像データに上書きされる。ＲＡＭ５の残部には、中央演算処理装置３で処理されたデータが段階毎に格納されるように、基準画像記憶部７、位置決め情報記憶部８、判定情報記憶部９、第一統計量記憶部１３、第二統計量記憶部１５及び輝度値記憶部２２が設けられている。また、ハードディスク４には、中央演算処理装置３を位置決め処理部１１、第一統計処理部１２、仮判定部１４、第二統計処理部１６、本判定部１７、選別部１８及び監視部１９として機能させるファイルがそれぞれ記録されている。

検査設定時の前半では、図３及び図４に流れ図で示すように任意の対象物Ｗをカメラ２０で撮像し、画像入力部１より画像を取得し、その画像をＲＡＭ５に格納する（Ｓ１）。次に、ＲＡＭ５に格納した画像を、基準画像記憶部７に基準画像として格納する（Ｓ２）。そして、基準画像に対して位置決め情報、たとえば図５に示すように基準画像における輪郭線、および探索範囲ａなどを設定し、位置決め情報記憶部８に格納する（Ｓ３）。また、基準画像に対して検査判定情報、たとえば、検査範囲ｂなどを設定し、判定情報記憶部９に格納する（Ｓ４）。

次に、同一仕様の別の対象物Ｗについて同様に画像を取得し、その画像をリングバッファ６に格納する（Ｓ９）。Ｓ９にてリングバッファ６に格納された画像に対し、位置決め情報記憶部８を参照して、位置決め処理部１１にて位置を検出する。そして、基準画像記憶部７に格納した基準画像の位置と同一部位が同一座標（ｘ，ｙ）をもつように変換した位置決め画像を取得するとともに、画素ごとの輝度値ｇ（ｘ，ｙ）を輝度値記憶部２２に格納する（Ｓ１０）。続いて、第一統計処理部１２において、Ｓ１０で取得した位置決め画像の画素ごとの輝度値ｇ（ｘ，ｙ）について、数式１に従って輝度値の和Ｓ（ｘ，ｙ）と平方和ＳＳ（ｘ，ｙ）とサンプル数Ｎ（ｘ，ｙ）を算出する（Ｓ１２）。

［数式１］
Ｓ（ｘ，ｙ）＝Ｓ（ｘ，ｙ）＋ｇ（ｘ，ｙ）
ＳＳ（ｘ，ｙ）＝ＳＳ（ｘ，ｙ）＋ｇ（ｘ，ｙ）×ｇ（ｘ，ｙ）
Ｎ（ｘ，ｙ）＝Ｎ（ｘ，ｙ）＋１

以下、同一仕様の更に別のｎ−１個の対象物Ｗを順次送りながらＳ９〜Ｓ１２を個別に繰り返した後（Ｓ５〜Ｓ７）、数式２により同一座標の画素ごとの輝度値の平均値Ｅ１（ｘ，ｙ）と標準偏差σ１（ｘ，ｙ）を計算し、第一統計量記憶部１３に格納する（Ｓ８）。得られた値は、画素毎に図６に示すような度数分布における暫定良画素範囲を定義するものとなる。

［数式２］
Ｅ１（ｘ，ｙ）＝Ｓ（ｘ，ｙ）／Ｎ（ｘ，ｙ）
Ｖ１（ｘ，ｙ）＝（ＳＳ（ｘ，ｙ）−Ｎ（ｘ，ｙ）×Ｅ１（ｘ，ｙ）×Ｅ１（ｘ，ｙ））／（Ｎ（ｘ，ｙ）−１）
σ１（ｘ，ｙ）＝ｓｑｒｔ（Ｖ１（ｘ，ｙ）） （ｓｑｒｔ：平方根の計算）

検査設定時の後半では、図７に流れ図で示すようにリングバッファ６に格納された画像から前記の手順で位置決め画像を取得し（Ｓ１３）、位置決め画像について、第一統計量記憶部１３を参照して、仮判定部１４にて画素ごとの輝度値ｇ（ｘ，ｙ）が数式３の条件に入るかどうかを判定し（Ｓ１４）、条件に入る画素の輝度値を抽出する。なお数式３において、α１は例えば５、β１は２〜３程度でよい。

［数式３］
Ｅ１（ｘ，ｙ）−ｍａｘ｛α１,β１×σ１（ｘ，ｙ）｝＜ｇ（ｘ，ｙ）
かつ
ｇ（ｘ，ｙ）＜Ｅ１（ｘ，ｙ）＋ｍａｘ｛α１,β１×σ１（ｘ，ｙ）｝

そして、抽出された輝度値について同一座標の画素毎に数式１に従って輝度値の和Ｓ（ｘ，ｙ）と平方和ＳＳ（ｘ，ｙ）とサンプル数Ｎ（ｘ，ｙ）を第二統計処理部１６にて算出することにより（Ｓ１５〜Ｓ１７）、同一座標の画素毎に前記Ｅ１及びσ１のときと同様に平均値Ｅ２（ｘ，ｙ）と標準偏差σ２（ｘ，ｙ）を計算し、第二統計量記憶部１５に格納する（Ｓ１８）。

検査時には、同一仕様の全ての対象物について画像入力部１より取得される画像をリングバッファ６に順次格納するとともに（Ｓ１９）、位置決め画像を取得し（Ｓ２０）、第二統計量記憶部１５を参照して本判定部１７にて各画素の輝度値ｇ（ｘ，ｙ）が数式４の条件（設定良画素範囲）に入るかどうかを判定する（Ｓ２１）。

［数式４］
Ｅ２（ｘ，ｙ）−ｍａｘ｛α２,β２×σ２（ｘ，ｙ）｝＜ｇ（ｘ，ｙ）
かつ
ｇ（ｘ，ｙ）＜Ｅ２（ｘ，ｙ）＋ｍａｘ｛α２,β２×σ２（ｘ，ｙ）｝

そして、全ての画素が数式４の条件を充足すると判定された対象物を良品と、あるいは少なくとも一つの画素が当該条件を満たさないと判定された対象物を不良品として選別部１８にて良品フラグ及び不良品フラグをそれぞれ割り当てて選別し（Ｓ２２〜Ｓ２３）、モニターに表示する。監視部１９は、検査開始と同時に起動し、本検査において良品と選別された対象物の枚数の割合を常時監視している（Ｓ２４〜Ｓ２５）。そして、割合が設定値を下回ると同時に直近にリングバッファ６に格納された画像を用いて、Ｓ１８以降の処理を実行し、第二統計量記憶部１５に格納された平均値Ｅ２（ｘ，ｙ）や標準偏差σ２（ｘ，ｙ）などのデータを更新する（Ｓ２６）。

−実施形態２−
第一の実施形態ではたった一つの画素が数式４の条件を充足していないだけで対象物が不良品と選別されていた（Ｓ２２〜Ｓ２３）。これに対して第二の実施形態では、数式４の条件を充足していないと判定された画素のうち、互いに隣接する複数の画素を選別部１８がグループ化し、グループの特徴量を基準量と照合する。そして、特徴量をグループに属する画素の総面積とすると、基準面積を超えるグループを含む対象物を不良品、その他の対象物を良品として選別部１８にて良品フラグ及び不良品フラグをそれぞれ割り当てて選別する。

例えば基準面積を４画素に設定したとき、図９に示すグループＧ１及びＧ２は、いずれも総面積がそれぞれ４画素分及び３画素分であることから、欠陥とはみなされない。従って、このような画素がいくら点在していても対象物は不良品と判定されることはなく、過検出が防止される。一方、グループＧ３は、総面積が１１画素分であって４画素分を超えているので、欠陥とみなされ、対象物は不良品と判定される。

特徴量は、面積に限らず、外接矩形の長辺や外接円の真円度であってもよいし、これらと面積とを組み合わせたものでも良い。例えば、特徴量をグループに外接する矩形の長辺の長さとし、基準量を２（１画素の一辺を１とする。）に設定したときは、グループＧ２は長辺の長さが３であることから、欠陥とみなされる。グループＧ３も破線で示すように外接矩形の長辺の長さが５であることから、欠陥とみなされる。従って、グループＧ２やＧ３を含む対象物は不良品と判定される。一方、グループＧ４は、長辺の長さが２であることから、欠陥とみなされない。

２０ カメラ
３０ コンピュータ
４０ 位置決めコントローラ
５０ ＸＹθテーブル
１００ 検査装置

Claims (8)

1. 同一仕様の複数の対象物の良否を判別するためにコンピュータに、
   同一仕様の複数の対象物のうち所定数から個別に取得されたデジタル画像群について、同一座標をもつ画素毎に特性の統計量を算出して暫定良画素範囲を作成する第一の統計ステップと、
   前記デジタル画像が取得される度に当該デジタル画像をリングバッファに記憶する記憶ステップと、
   記憶された前記デジタル画像群における各画像に対して画素毎に前記特性が前記暫定良画素範囲に属するか否かを判定する仮判定ステップと、
   前記暫定良画素範囲に属すると判定された画素毎に前記特性の統計量を算出して設定良画素範囲を作成する第二の統計ステップと、
   対象物から取得されるデジタル画像に対して画素毎に前記特性が前記設定良画素範囲に属するか否かを判定する本判定ステップと、
   全画素が前記設定良画素範囲に属すると判定された対象物を良品、その他の対象物を不良品として選別する選別ステップＡと、
   を実行させることを特徴とする検査プログラム。
2. 前記選別ステップＡに代えて、前記設定良画素範囲に属さないと判定された画素のうち、互いに隣接する複数の画素をグループ化し、グループ全体の特徴量を基準量と照合し、基準量を超えるグループを含む対象物を不良品、その他の対象物を良品として選別する選別ステップＢを前記コンピュータに実行させる、請求項１に記載の検査プログラム。
3. 前記本判定ステップ実行中、良品として選別された対象物の割合を閾値と照合する監視ステップを前記コンピュータに更に実行させる、請求項１又は２に記載の検査プログラム。
4. 良品として選別された対象物の割合が前記閾値よりも低下したとき、リングバッファに記憶されたデジタル画像群に対して第一の統計ステップ、仮判定ステップ及び第二の統計ステップを再度実行させて前記設定良画素範囲を更新する、請求項３に記載の検査プログラム。
5. 前記特性が光学的または熱的特性である、請求項１〜４のいずれかに記載の検査プログラム。
6. 同一仕様の複数の対象物の良否を判別する装置であって、
   同一仕様の複数の対象物のうち所定数から個別に取得されたデジタル画像群について、同一座標をもつ画素毎に特性の統計量を算出して暫定良画素範囲を作成する第一の統計手段と、
   前記デジタル画像が取得される度に当該デジタル画像を記憶可能なリングバッファと、
   前記デジタル画像群における各画像に対して画素毎に前記特性が前記暫定良画素範囲に属するか否かを判定する仮判定手段と、
   前記デジタル画像群における各画素のうち、前記暫定良画素範囲に属する画素毎に前記特性の統計量を算出して設定良画素範囲を作成する第二の統計手段と、
   対象物から取得されるデジタル画像に対して画素毎に前記特性が前記設定良画素範囲に属するか否かを判定する本判定手段と、
   全画素が前記設定良画素範囲に属すると判定された対象物を良品、その他の対象物を不良品として選別する選別手段Ａと
   を備えるを備えることを特徴とする検査装置。
7. 前記選別手段Ａに代えて、前記設定良画素範囲に属さないと判定された画素のうち、互いに隣接する複数の画素をグループ化し、グループ全体の特徴量を基準量と照合し、基準量を超えるグループを含む対象物を不良品、その他の対象物を良品として選別する選別手段Ｂを備える、請求項６に記載の検査装置。
8. 請求項１〜５のいずれかに記載のプログラムを格納した記録媒体。

Images