JP5767963B2 - 外観検査装置、外観検査方法及びコンピュータプログラム - Google Patents

外観検査装置、外観検査方法及びコンピュータプログラム Download PDF

Info

Publication number
JP5767963B2
JP5767963B2 JP2011289940A JP2011289940A JP5767963B2 JP 5767963 B2 JP5767963 B2 JP 5767963B2 JP 2011289940 A JP2011289940 A JP 2011289940A JP 2011289940 A JP2011289940 A JP 2011289940A JP 5767963 B2 JP5767963 B2 JP 5767963B2
Authority
JP
Japan
Prior art keywords
image
defect
defective
appearance inspection
outlier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011289940A
Other languages
English (en)
Other versions
JP2013140040A (ja
Inventor
直哉 内山
直哉 内山
英敏 森本
英敏 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2011289940A priority Critical patent/JP5767963B2/ja
Priority to US13/705,275 priority patent/US9117137B2/en
Priority to CN201210584213.4A priority patent/CN103207183B/zh
Publication of JP2013140040A publication Critical patent/JP2013140040A/ja
Application granted granted Critical
Publication of JP5767963B2 publication Critical patent/JP5767963B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、検査対象物を撮像して取得した画像のうち、記憶してある良品とされる画像群の中から、不良品の画像を排除することが可能な外観検査装置、外観検査方法、及びコンピュータプログラムに関する。
従来、検査対象物を撮像して取得した画像を、基準となる検査対象物の画像(基準画像)と比較することにより、検査対象物が良品であるか否かを判定する外観検査方法が開発されている。判定する基準となる画像は、外観検査により良品であると判定された画像であり、良品であると判定された画像を基準として良否判定のための判定閾値を設定する。
良品を正しく良品であると判定するためには、適切な良否判定のための判定閾値を設定することが重要となる。例えば特許文献1では、良品画像を複数入力させ、検査対象物の画像の良否を判定するための閾値を設定する画像処理方法を用いた画像検査装置が開示されている。特許文献1では、良品画像が追加される都度学習して、良否判定のための閾値を再設定しているので、良否判定に若干のばらつきが生じている場合であっても、適切な閾値を設定することができる。
特開2005−265661号公報
しかし、特許文献1に開示されている画像処理方法を用いた画像検査装置では、誤って不良品の画像が閾値設定の学習対象となった場合、良品を不良品であると誤って判定する確率が高まる方向へシフトし、欠陥の検出精度が低下するおそれがあるという問題点があった。従来、不良品の画像の混入を回避するためには、ユーザが目視で確認しつつ不良品であると判断した画像を排除していたが、すべての画像に対して目視で確認することは非常に煩雑な作業となる。
本発明は上記事情に鑑みてなされたものであり、良否判定のための判定閾値を設定する基準となる画像群に不良品の画像が混入することを防止し、ひいては検査精度の低下を防止することが可能な外観検査装置、外観検査方法、及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る外観検査装置は、検査対象物を撮像した画像を、良品とされる画像群と比較して良否判定を行う外観検査装置において、良品とされる画像群を構成する複数の画像の入力を受け付けて記憶する画像入力手段と、記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定する閾値設定手段と、設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出する欠陥量算出手段と、算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する外れ値検定手段と、外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する情報表示手段とを備えることを特徴とする。
また、第2発明に係る外観検査装置は、第1発明において、良品とされる画像群から削除する画像の選択を受け付ける選択受付手段を備えることを特徴とする。
また、第3発明に係る外観検査装置は、第1又は第2発明において、前記外れ値検定手段は、パラメトリック手法又はノンパラメトリック手法のうち、少なくとも1つを用いて検定することを特徴とする。
また、第4発明に係る外観検査装置は、第1又は第2発明において、前記外れ値検定手段は、パラメトリック手法及びノンパラメトリック手法の両方を用いて検定することを特徴とする。
また、第5発明に係る外観検査装置は、第1乃至第4発明のいずれか1つにおいて、前記欠陥量算出手段は、画像中で濃度が前記欠陥閾値より大きい連続した領域に含まれる差分濃度を合算した濃度積算値として前記欠陥量を算出することを特徴とする。
また、第6発明に係る外観検査装置は、第1乃至第5発明のいずれか1つにおいて、前記情報表示手段は、前記欠陥量の多い順に前記外れ値情報を表示出力することを特徴とする。
次に、上記目的を達成するために第7発明に係る外観検査方法は、検査対象物を撮像した画像を、良品とされる画像群と比較して良否判定を行う外観検査装置で実行することが可能な外観検査方法において、良品とされる画像群を構成する複数の画像の入力を受け付けて記憶するステップと、記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定するステップと、設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出するステップと、算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定するステップと、外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力するステップとを含むことを特徴とする。
また、第8発明に係る外観検査方法は、第7発明において、良品とされる画像群から削除する画像の選択を受け付けるステップを含むことを特徴とする。
また、第9発明に係る外観検査方法は、第7又は第8発明において、パラメトリック手法又はノンパラメトリック手法のうち、少なくとも1つを用いて検定することを特徴とする。
また、第10発明に係る外観検査方法は、第7又は第8発明において、パラメトリック手法及びノンパラメトリック手法の両方を用いて検定することを特徴とする。
また、第11発明に係る外観検査方法は、第7乃至第10発明のいずれか1つにおいて、画像中で濃度が前記欠陥閾値より大きい連続した領域に含まれる差分濃度を合算した濃度積算値として前記欠陥量を算出することを特徴とする。
また、第12発明に係る外観検査方法は、第7乃至第11発明のいずれか1つにおいて、前記欠陥量の多い順に前記外れ値情報を表示出力することを特徴とする。
次に、上記目的を達成するために第13発明に係るコンピュータプログラムは、検査対象物を撮像した画像を、良品とされる画像群と比較して良否判定を行う外観検査装置で実行することが可能なコンピュータプログラムにおいて、前記外観検査装置を、良品とされる画像群を構成する複数の画像の入力を受け付けて記憶する画像入力手段、記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定する閾値設定手段、設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出する欠陥量算出手段、算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する外れ値検定手段、及び外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する情報表示手段として機能させることを特徴とする。
また、第14発明に係るコンピュータプログラムは、第13発明において、前記外観検査装置を、良品とされる画像群から削除する画像の選択を受け付ける選択受付手段として機能させることを特徴とする。
また、第15発明に係るコンピュータプログラムは、第13又は第14発明において、前記外れ値検定手段を、パラメトリック手法又はノンパラメトリック手法のうち、少なくとも1つを用いて検定する手段として機能させることを特徴とする。
また、第16発明に係るコンピュータプログラムは、第13又は第14発明において、前記外れ値検出手段を、パラメトリック手法及びノンパラメトリック手法の両方を用いて検定する手段として機能させることを特徴とする。
また、第17発明に係るコンピュータプログラムは、第13乃至第16発明のいずれか1つにおいて、前記欠陥量算出手段を、画像中で濃度が前記欠陥閾値より大きい連続した領域に含まれる差分濃度を合算した濃度積算値として前記欠陥量を算出する手段として機能させることを特徴とする。
また、第18発明に係るコンピュータプログラムは、第13乃至第17発明のいずれか1つにおいて、前記情報表示手段を、前記欠陥量の多い順に前記外れ値情報を表示出力する手段として機能させることを特徴とする。
第1発明、第7発明及び第13発明では、良品とされる画像群を構成する複数の画像の入力を受け付けて記憶しておき、記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定する。設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出して、算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する。外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する。これにより、画像ごとに算出された欠陥量が、良品とされる画像群において統計的に妥当な欠陥量であるか否かを目視で確認することができ、明らかに不良品である画像を欠陥閾値の設定基準となる画像群から容易に排除することができる。したがって、不良品の画像が混入した場合であっても確実に排除することができ、良否判定のための判定閾値の設定に悪影響を及ぼす可能性を低くすることができ、高い精度で良否判定を行うことが可能となる。
第2発明、第8発明及び第14発明では、良品とされる画像群から削除する画像の選択を受け付けることができるので、不良品の画像であっても、あえて判定閾値の設定基準となる画像群に残すこともできるし、排除することもできる。
第3発明、第9発明及び第15発明では、パラメトリック手法又はノンパラメトリック手法のうち、少なくとも1つを用いて検定するので、欠陥量が正規分布等の一定の確率分布に従うことを前提とすることが困難な場合であっても、ノンパラメトリック手法により正しく検定することが可能となる。なお、パラメトリック手法とは、欠陥量が一定の確率分布、例えば正規分布に従うことを前提とした検定方法を意味し、ノンパラメトリック手法とは、欠陥量が一定の確率分布、例えば正規分布に従わないことを前提とした検定方法を意味する。
第4発明、第10発明及び第16発明では、パラメトリック手法及びノンパラメトリック手法の両方を用いて検定するので、欠陥量が正規分布等の一定の確率分布に従うことを前提とすることが困難な場合であっても、ノンパラメトリック手法により正しく検定することが可能となる。
第5発明、第11発明及び第17発明では、画像中で濃度が欠陥閾値より大きい連続した領域に含まれる差分濃度を合算した濃度積算値として欠陥量を算出するので、差分濃度を用いる場合に欠陥部分として検出されないおそれがある、濃度は欠陥閾値より低いが広範囲に広がっている部分等も、確実に欠陥部分として検出することが可能となる。ここで、差分濃度とは、欠陥閾値との濃度の差分値を意味する。
第6発明、第12発明及び第18発明では、欠陥量の多い順に外れ値情報を表示出力することにより、外れ値となる可能性が高い外れ値情報を上位に表示することができ、判定閾値の設定基準となる画像群に残すべきか否かを容易に判断することが可能となる。
本発明によれば、良品とされる画像群を構成する複数の画像の入力を受け付けて記憶しておき、記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定する。設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出して、算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する。外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する。これにより、画像ごとに算出された欠陥量が、良品とされる画像群において統計的に妥当な欠陥量であるか否かを目視で確認することができ、明らかに不良品である画像を欠陥閾値の設定基準となる画像群から容易に排除することができる。したがって、不良品の画像が混入した場合であっても確実に排除することができ、良否判定のための判定閾値の設定に悪影響を及ぼす可能性を低くすることができ、高い精度で良否判定を行うことが可能となる。
本発明の実施の形態に係る外観検査装置を含む製品検査システムの構成を示す模式図である。 本発明の実施の形態に係る外観検査装置の構成を模式的に示すブロック図である。 本発明の実施の形態に係る外観検査装置の主制御部の各種のパラメータ設定処理の手順を示すフローチャートである。 本発明の実施の形態に係る外観検査装置の主制御部の良品学習処理の手順を示すフローチャートである。 本発明の実施の形態に係る外観検査装置の一構成例を示す機能ブロック図である。 本発明の実施の形態に係る外観検査装置の主制御部の誤学習の画像データの削除処理の手順を示すフローチャートである。 本発明の実施の形態に係る外観検査装置の良品画像入力受付画面の例示図である。 良品画像データ記憶部に記憶された良品画像の中の任意の一画素の濃度の分布を示す例示図である。 本発明の実施の形態に係る外観検査装置の良品学習処理後の良品画像入力受付画面の例示図である。 本発明の実施の形態に係る外観検査装置の不良品のアイコンを選択した場合の、良品画像入力受付画面の例示図である。 本発明の実施の形態に係る外観検査装置の別の不良品のアイコンを選択した場合の、良品画像入力受付画面の例示図である。 本発明の実施の形態に係る外観検査装置の入力を受け付けた画像に、位置補正の基準となる画像を重ね合わせた場合の、良品画像入力受付画面の例示図である。 本発明の実施の形態に係る外観検査装置の検証画面の例示図である。 本発明の実施の形態に係る外観検査装置の検証画面の例示図である。 本発明の実施の形態に係る外観検査装置の検証画面の例示図である。 本発明の実施の形態に係る外観検査装置の検証画面の例示図である。 本発明の実施の形態に係る外観検査装置の箱ひげ図を用いて外れ値であるか否かを検定する場合の説明図である。 本発明の実施の形態に係る外観検査装置の良品学習処理後の良品画像入力受付画面の例示図である。 本発明の実施の形態に係る外観検査装置の良品学習処理の結果表示画面の例示図である。 本発明の実施の形態に係る外観検査装置の良品学習処理後の良品画像入力受付画面の例示図である。 本発明の実施の形態に係る外観検査装置の良品学習処理の結果表示画面の他の例示図である。 本発明の実施の形態に係る外観検査装置の良品色を確認するための画面の例示図である。 本発明の実施の形態に係る外観検査装置の良品色の決定方法の例示図である。
以下、本発明の実施の形態に係る外観検査装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
図1は、本発明の実施の形態に係る外観検査装置を含む製品検査システムの構成を示す模式図である。図1に示すように、本実施の形態に係る外観検査装置を含む製品検査システムはカメラ1と、カメラ1とデータ通信することが可能に接続ケーブル3で接続されている外観検査装置2とで構成されている。外観検査装置2は表示装置(図示せず)と接続されており、画像処理制御部201と照明制御部202とを内蔵している。
また、照明制御部202は、照明装置4とデータ通信することが可能に接続ケーブル3で接続されている。コンベア5上を移動してくる検査対象物6は、照明装置4により光を照射され、カメラ1で撮像される。外観検査装置2は、撮像された検査対象物6の画像に基づいて、検査対象物6が良品であるか不良品であるかを判定する。
カメラ1は、内部に画像処理を実行するFPGA、DSP等を備えており、検査対象物6を撮像する撮像素子を有するカメラモジュールを備えている。撮像素子としてはCMOS基板を有しており、例えば撮像したカラー画像は、CMOS基板にてダイナミックレンジを広げる変換特性に基づいてHDR画像へ変換される。
複数の検査対象物6は、コンベア5のライン上を流れてくる。検査対象物6の上方(又は側方、下方)に設置されているカメラ1により検査対象物6を撮像し、撮像した画像を基準画像(例えば良品を撮像した画像)と比較して、検査対象物6に傷、欠陥等が存在するか否かの判定を行う。検査対象物6に傷、欠陥等が存在すると判定した場合には、NG判定となる。一方、検査対象物6に傷、欠陥等が存在しないと判定した場合には、OK判定となる。このように、本実施の形態に係る外観検査装置2は、検査対象物6を撮像した画像を用いて、検査対象物6の良否判定を行うものである。
ここで、検査対象物6の外観検査を行う場合、検査に用いる各種パラメータを設定する必要がある。例えば、撮像条件を規定する撮像パラメータ、照明条件を規定する照明パラメータ、どういう検査を行うかを示す検査条件を規定する画像処理パラメータ(検査パラメータ)等である。外観検査装置2では、上述した良否判定を行う前に、これらの各種パラメータを設定する。要するに、外観検査装置2は、検査対象物6の良否を判定する運転モード(Runモード)と、検査に用いる各種パラメータの設定を行う設定モード(非Runモード)とを有しており、これらのモードを切り替えるためのモード切替手段(図示せず)を有している。
ユーザは、運転モードにおいて、ライン上を流れてくる複数の検査対象物6に対して良否判定が繰り返し行われる前に、設定モードにおいて、各種パラメータに対して最適なパラメータ値を設定(調整)する。基本的に、各種パラメータに対してはデフォルト値が設定されており、ユーザがデフォルト値のままでよいと判断した場合には、パラメータ値を調整する必要はない。
一方、検査対象物6の種類、検査環境の変動に応じて、パラメータ値を調整することもできる。本実施の形態に係る外観検査装置2は、設定モードにおいて最適なパラメータ値を設定する場合、判定閾値の設定基準となる画像群に不良品の画像が混入することを防止するものである。以下、本実施の形態に係る外観検査装置2の構成及び処理手順について詳細に説明する。
図2は、本発明の実施の形態に係る外観検査装置2の構成を模式的に示すブロック図である。図2に示すように、本実施の形態に係る外観検査装置2は、画像を撮像するカメラ1及び撮像された画像又は演算処理の途上で生成された画像を表示する表示装置3に接続されている。
外観検査装置2は、少なくともCPU(中央演算装置)、LSI等で構成された主制御部21、メモリ22、記憶手段23、入力手段24、出力手段25、通信手段26、補助記憶手段27及び上述したハードウェアを接続する内部バス28で構成されている。主制御部21は、内部バス28を介して外観検査装置2の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段23に記憶されているコンピュータプログラム5に従って、種々のソフトウェア的機能を実行する。メモリ22は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム5の実行時にロードモジュールが展開され、コンピュータプログラム5の実行時に発生する一時的なデータ等を記憶する。
記憶手段23は、内蔵される固定型記憶装置(ハードディスク、フラッシュメモリ)、ROM等で構成されている。記憶手段23に記憶されているコンピュータプログラム5は、プログラム及びデータ等の情報を記録したDVD、CD−ROM、フラッシュメモリ等の可搬型記録媒体4から、補助記憶手段27によりダウンロードされ、実行時には記憶手段23からメモリ22へ展開して実行される。もちろん、通信手段26を介して外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。
記憶手段23は、良品とされる画像群を構成する複数の画像の画像データを記憶しておく良品画像データ記憶部231を備えている。良品画像データには、良品とされる画像の画像データが記憶されているが、不良品であるにもかかわらず、ユーザが誤って良品であると判断した画像の画像データも含まれる。すなわち、ユーザが良品であると判断した(実際に良品であるか否かは問わない)画像データが記憶される。換言すれば、良品画像データ記憶部231に記憶される良品画像データは、判定閾値の設定基準となる画像群を構成する一の画像として、ユーザによって選択・入力されるものである。特に、後述する良品学習処理を実行するために、ユーザは、表示装置3及び入力手段24等を用いて、自ら良品であると判断した判定対象物6の画像を選択し、選択された複数の画像の画像データが良品画像データ記憶部231に記憶される。
通信手段26は内部バス28に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段23は、外観検査装置2に内蔵される構成に限定されるものではなく、通信手段26を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。
入力手段24は、キーボード及びマウス等のデータ入力媒体の他、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む広い概念である。出力手段25は、レーザプリンタ、ドットプリンタ等の印刷装置等を意味する。
表示装置3は、CRT、液晶パネル等を有する表示装置である。外部制御機器6は、通信手段26を介して接続されている制御機器であり、例えばPLC(プログラマブルロジックコントローラ)等が相当する。ここで外部制御機器6とは、外観検査装置2による検査結果に応じて後処理を実行する機器全般を意味している。
図3は、本発明の実施の形態に係る外観検査装置2の主制御部21の各種のパラメータ設定処理の手順を示すフローチャートである。図3において、外観検査装置2の主制御部21は、入力を受け付けた検査対象物6の画像に対して、位置ずれ補正パターンを設定する(ステップS301)。具体的には、基準となる画像のパターンを設定することで、入力を受け付けた画像の位置ずれを補正する。
主制御部21は、検査する領域を設定する(ステップS302)。具体的には、矩形の領域又は円形の領域を選択することで、欠陥の有無を検査する領域を設定することができる。
主制御部21は、良品学習処理を実行する(ステップS303)。具体的には、図4に示すように、良品学習処理を実行する。図4は、本発明の実施の形態に係る外観検査装置2の主制御部21の良品学習処理(図3のステップS303)の手順を示すフローチャートである。
図4において、外観検査装置2の主制御部21は、入力手段24等を介してユーザにより良品として選択された複数の画像の画像データを、良品画像データ記憶部231に記憶する(ステップS401)。良品画像データ記憶部231に記憶されている複数の画像データが、良品とされる画像群となる。
次に、良品画像データ記憶部231に本来記憶するべきではない画像、つまり欠陥部分の検出精度の低下(欠陥閾値の誤設定)を招くおそれのある、誤学習により混入した画像を、良品とされる画像群から削除する(ステップS402)。従来は、ユーザが目視で確認しつつ不良品であると判断した画像を選択して削除している。しかし、良品画像データ記憶部231に記憶された全ての画像を目視で確認することは非常に煩雑な作業となる。そこで、本実施の形態に係る外観検査装置2では、良品画像データ記憶部231に本来記憶するべきではない画像を自動的に削除するようにしている。詳細については、図5及び図6を用いて後述する。
なお、ステップS402によって、より適切な画像群が得られた後、良否判定のための判定閾値を自動的に再設定するようにしても良い(ステップS403)。判定閾値の算出方法は、例えば以下の手順で行う。
主制御部21は、ステップS402において既に設定されている欠陥閾値に基づいて、良品画像データ記憶部231に記憶された全ての画像それぞれについて欠陥部分を検出し、検出した欠陥部分の濃度の度数分布をヒストグラムとして取得する。その後、主制御部21は、統計処理により新たな欠陥閾値を算出する。
主制御部21は、例えば統計処理の対象となる濃度が正規分布に従うことを前提としたパラメトリック手法(例えばスミルノフ・グラプス検定など)、又は正規分布に従わないことを前提としたノンパラメリック手法(例えば、箱ひげ図を使った検定など)のうち、少なくとも1つを用いて、最適な欠陥閾値を自動算出する。主制御部21は、検出した欠陥部分の欠陥量が、それぞれ外れ値であるか否かを取得したヒストグラムにより検定する。明らかな外れ値が見つかった場合には、見つかった外れ値を排除することができる新たな欠陥閾値を自動算出する。例えば、見つかった外れ値と、見つかった外れ値以外の部分の中央値との中間に、欠陥閾値を設定しても良い。
主制御部21は、算出した新たな欠陥閾値に基づいて、上述した画像群(良品画像データ記憶部231に記憶された全ての画像それぞれ)について欠陥部分を再検出した後、検出した欠陥部分の欠陥量に基づいて新たな判定閾値を算出して設定する。判定閾値を算出して設定する手法としては、例えば、算出した欠陥量の最大値又は統計的に算出した最大値より大きい値を判定閾値として設定するようにしても良いし、検出した欠陥部分の欠陥量が、それぞれ外れ値であるか否かを統計処理により検定し、外れ値であると検定された欠陥量を有する画像が画像群から排除されるように新たな判定閾値を算出して設定するようにしても良い。自動閾値設定により、例えば、わずかな傷があるだけの検査対象物6についてはOK判定にしたい、といったユーザの意図をより確実に反映させることができる。
図3に戻って、外観検査装置2の主制御部21は、良品学習処理が正しく実行されたか否かを検証し(ステップS304)、良品が正しく良品であると判定されるよう設定パラメータを調整する。具体的には、テスト用のいくつかの検査対象物(良品)6をカメラ1で撮像して取得した良品画像又は記憶してある複数の良品画像について良否判定を実行し、正しい結果となるようユーザが手動で設定パラメータを調整する。設定パラメータが最適に調整された後、主制御部21は、調整した設定パラメータを記憶して(ステップS305)、設定モードを終了する。ステップS301〜ステップS305に示す処理が、いわゆる設定モードにおける動作である。
次に、ユーザにより、入力手段24等を介して所定のボタン(例えば運転ボタン)等が選択された場合、設定モードから運転モードに切り替わり、ライン上を流れてくる検査対象物6について良否判定を実行する、という運転(運用)を開始する(ステップS306)。より具体的には、外観検査装置2は、カメラ1の下方に検査対象物6が到着したことを示すトリガ信号が外部から入力された場合、検査対象物6を撮像し、ステップS305で記憶された設定パラメータを用いて良否判定を実行する。
本発明の実施の形態に係る外観検査装置2は、図4に示すステップS402の処理において、不良品である(ユーザが不良品として扱いたい)にもかかわらず、誤って良品画像として記憶されている画像を、統計的処理に基づいて削除する。図5は、本発明の実施の形態に係る外観検査装置2の一構成例を示す機能ブロック図である。
図5において、本実施の形態に係る外観検査装置2は、カメラ1と、外観検査装置2の処理を実行する画像処理部7と、記憶手段23と、画像表示部8とで構成される。
カメラ1は、例えばディジタルカメラであり、検査対象物6として例えばフィルム表面を撮像し画像を取得して画像処理部7へ出力する。
画像処理部7は、画像入力手段71と、閾値設定手段72と、欠陥量算出手段73と、外れ値検定手段74と、情報表示手段75とを含む。また、画像処理部7は、主制御部21、メモリ22、外部I/F等を含んで構成され、画像入力手段71、閾値設定手段72、欠陥量算出手段73、外れ値検定手段74、及び情報表示手段75の処理動作を制御する。
記憶手段23は、画像メモリとして機能し、カメラ1により撮像された画像の画像データ、及び画像処理部7において位置合わせ、平均値算出等の各種処理を行った後の画像データを随時記憶する。画像データとしてではなく、画素ごとの輝度値データとして記憶しても良い。
画像表示部8は、コンピュータ用のモニタ等の表示装置3で構成される。画像表示部8の画像表示手段81は、良否判定の対象となる検査対象物6を撮像した画像、良品であるか否かの判定結果を、表示装置3の表示画面上に表示させる。すなわち、画像処理部7の指示に応じた画像を表示装置3の表示画面上に表示させるとともに、検査対象物6が良品であるか否かの判定結果も表示させる。選択受付手段82は、良品画像データ記憶部231から削除する画像の選択を受け付ける。これは、不良品であるにもかかわらず誤って良品であると判定され、良品画像として記憶されている画像を良品とされる画像群から削除するためである。
次に、画像処理部7の各構成について説明する。
画像入力手段71は、カメラ1で撮像した、良品とされる画像群を構成する複数の画像の入力を受け付けて記憶装置23の良品画像データ記憶部231に記憶する。画像の入力態様の如何については特に問わない。例えば、テスト用のいくつかの検査対象物6をカメラ1で撮像して取得した複数の画像の画像データを良品画像データ記憶部231に記憶するようにしても良い。また、テスト用の一の検査対象物6を、照明環境などの外部環境を変化させつつカメラ1で複数回撮像し、取得した複数の画像の画像データを良品画像データ記憶部231に記憶するようにしても良い。さらに、コンベア5のライン上に複数の検査対象物6を流し、それらをカメラ1で撮像し、取得した複数の画像の中から、良品であると判定されるべき複数の画像をユーザが選択し、選択された画像の画像データを良品画像データ記憶部231に記憶するようにしても良い。要するに、カメラ1で撮像して取得した複数の画像の画像データ、又はカメラ1で撮像して取得した複数の画像からユーザによって選択された複数の画像の画像データを、良品画像データ記憶部231に記憶する。良品であると判定された画像の画像データを複数記憶しておくことにより、これらを良否判定のための判定閾値の設定基準となる画像群として記憶しておくことができる。入力を受け付けた各画像に関する画像データは、記憶手段23の良品画像データ記憶部231に記憶される。
図7は、本発明の実施の形態に係る外観検査装置2の良品画像入力受付画面の例示図である。図7に示すように、カメラ1で撮像した検査対象物6の画像(又は既に取得した複数の画像のうちユーザによって選択された一の画像)は、画像表示領域(主画像表示部)41に表示される。良品学習処理では、良品画像として記憶する画像の候補として表示される。
良品学習結果表示領域(良品学習結果表示部)42には、この段階で良品画像として記憶されている画像ごとに1つのアイコンが表示される。図7では、「□」印で表示されている。「追加」ボタン43が選択された場合、画像表示領域41に表示されている画像の入力を受け付ける。入力を受け付けた画像は、良品画像として良品画像データ記憶部231に記憶される。
次に、「良品画像を学習」ボタン44が選択された場合、追加された良品画像を含めて、図4のステップS402に示す処理(及びステップS403に示す処理)が実行される。
図5に戻って、閾値設定手段72は、欠陥閾値を設定する。具体的には、入力を受け付けた画像の画像データ及び/又は良品画像データ記憶部231に良品画像として記憶されている良品画像データに基づいて、平均画像及び標準偏差画像を算出する。そして、画素ごとの濃度の平均μ及び濃度の標準偏差σを用いて、濃度が正規分布していると仮定する。図8は、良品画像データ記憶部231に記憶された良品画像の中の任意の一画素の濃度の分布を示す例示図である。横軸が濃度(一般的には0〜255の整数値)を示し、縦軸が度数を示している。例えば良品画像が30枚あるとすれば、全度数は30となる。
図8に示すように濃度は正規分布しており、本実施の形態では、濃度の平均μを中心として(μ−3σ)及び(μ+3σ)を、欠陥部分を検出するための欠陥閾値の初期値としている。すなわち、任意の一画素について、検査対象物6の画像の濃度が(μ−3σ)から(μ+3σ)までの範囲内であれば、その画素は欠陥画素ではないと判断する(図中「○」印)。一方で、任意の一画素について、検査対象物6の画像の濃度が(μ−3σ)から(μ+3σ)までの範囲内でなければ、その画素は欠陥画素であると判断する(図中「×」印)。その他、全ての画素について同様に欠陥画素であるか否かの判断を行う。もちろん、欠陥部分を検出するための欠陥閾値は変更可能であって、閾値設定手段72で設定を変更(調整)することができることは言うまでもない。なお、本実施の形態では、一画素ごとに欠陥閾値を設定するようにしたが、特にこれに限定されるものではなく、例えば複数画素からなる領域(例えば4×4画素の矩形領域)ごとに欠陥閾値を設定するようにしても良い。この場合、例えば4×4画素の矩形領域のうち最大濃度を有する画素の濃度値が欠陥閾値を超えているか否かによって、その領域を欠陥部分として検出するか否かを決定する。
図5に戻って、欠陥量算出手段73は、良品画像データ記憶部231に記憶された良品画像データのそれぞれについて欠陥量を算出する。具体的には、欠陥画素であると判断された画素の差分濃度(良品画像データ記憶部231に記憶された一の画像データの画素値から平均画像の画像データの画素値を差し引いた値の絶対値、つまり、濃度の平均μから離れる程度)の総和(濃度積算値)を欠陥量として算出する。これにより、例えば良品画像データが30個あれば、30個の欠陥量が算出される。
なお、本実施の形態では、欠陥画素であると判断された画素の差分濃度の総和を欠陥量として算出しているが、その他にも種々の算出方法が考えられる。例えば、図3のステップS302で設定した検査する領域で検出したブロブ(複数の欠陥画素からなる領域)の濃度体積の総和として算出しても良い。つまり、検査する領域中で濃度が欠陥閾値より大きい連続した領域をブロブとして認識し、ブロブに含まれる差分濃度を合算した濃度積算値として欠陥量を算出する。差分濃度を用いる場合、濃度は低いが広範囲に広がっている部分については欠陥部分として検出されない可能性が高い。本実施の形態では、濃度積算値を用いることで、このような欠陥部分も確実に検出することができる。
また、濃度積算値を用いるのではなく、単純に欠陥画素であると判断された画素の濃度の総和、又は欠陥部分として検出されたブロブの濃度の総和を欠陥量として算出しても良い。欠陥画素であると判断された画素の濃度のうち最大濃度値を欠陥量としても良い。要するに、欠陥量は、検査対象物6の良否判定を行うための判定閾値と比較できる数値であれば、欠陥閾値から離れる程度を示す欠陥濃度であっても良いし、欠陥閾値を超えている画素又はブロブの面積を示す欠陥面積であっても良いし、欠陥濃度に欠陥面積を乗じた欠陥濃度体積であっても良い。
図5に戻って、外れ値検定手段74は、算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する。外れ値の検定には、統計処理の対象となる欠陥量が一定の確率分布、例えば正規分布に従うことを前提としたパラメトリック手法又は正規分布に従わないことを前提としたノンパラメリック手法のうち、少なくとも1つを用いる。本実施の形態では、両者を併用している。つまり、パラメトリック手法でも外れ値であると検定され、ノンパラメトリック手法でも外れ値であると検定された欠陥量を外れ値としている。これにより、欠陥量が正規分布に従うか否かを問わず、外れ値でないにもかかわらず誤って外れ値であると検定されることを防ぐことができる。なお、パラメトリック手法及びノンパラメトリック手法の詳細については後述する。
次に、情報表示手段75は、外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する。これにより、ユーザは、表示された外れ値情報により特定される画像、すなわち不良品である可能性が高い検査対象物6の画像を、判定閾値の基準となる画像群に残すべきか否か(良品画像データ記憶部231に残しておくか否か)を容易に判断することができる。なお、本実施の形態では、表示装置3に外れ値情報を表示するようにしているが、その他、PLC等の外部機器へ外れ値情報を出力するようにしても良い。
図6は、本発明の実施の形態に係る外観検査装置2の主制御部21の誤学習の画像データの削除処理(図4のステップS402)の手順を示すフローチャートである。図6において、外観検査装置2の主制御部21は、欠陥部分を検出するための欠陥閾値を設定する(ステップS601)。
主制御部21は、設定された欠陥閾値に基づいて、欠陥量を算出する(ステップS602)。具体的には、欠陥画素であると判断された画素の差分濃度(良品画像データ記憶部231に記憶された一の画像データの画素値から平均画像の画像データの画素値を差し引いた値の絶対値、つまり、濃度の平均μから離れる程度)の総和(濃度積算値)を欠陥量として算出する。
主制御部21は、算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する(ステップS603)。本実施の形態では、パラメトリック手法及びノンパラメトリック手法を併用し、パラメトリック手法でも外れ値であると検定され、ノンパラメトリック手法でも外れ値であると検定された欠陥量を、外れ値としている。
主制御部21は、外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する(ステップS604)。
図9は、本発明の実施の形態に係る外観検査装置2の良品学習処理後の良品画像入力受付画面の例示図である。図9に示すように、本実施の形態では、画像表示領域41には、算出された平均画像を表示している。また、良品学習結果表示領域42には、外れ値ではないと検定された欠陥量を有する画像に対応する「□」印のアイコンの表示色が変化し、外れ値であると検定された欠陥量を有する画像に対応するアイコンは「×」印で表示されている。このように、外れ値であると検定された欠陥量を有する画像が明確に表示されることによって、ユーザは、欠陥部分の検出精度の低下を招くおそれがある画像を特定し、排除することができる。なお、本実施の形態では、以下の図10に説明する手順に従って画像を自動的に排除するようにしているが、外れ値であると検定された欠陥量を有する画像を良品画像データ記憶部231から手動で削除しても良い。
図10は、本発明の実施の形態に係る外観検査装置2の不良品のアイコンを選択した場合の、良品画像入力受付画面の例示図である。図10に示すように、良品学習結果表示領域42の「×」印のアイコン421が選択された場合、アイコン421に対応する画像が画像表示領域41に表示される。同時に、ポップアップ画面として理由表示領域(理由表示部)45が表示され、「×」印が表示された理由として、「不良品として認識」された旨を示すメッセージが表示される。
また、「×」印のアイコン421に対応する画像の画像データは、良品画像データ記憶部231から自動的に削除される。これにより、良品画像データ記憶部231に混入してしまった、図10に示すような不良品の画像の画像データを、判定閾値を設定する画像群から排除することができる。なお、本実施の形態では、このように自動的に削除するようにしているが、例えばポップアップ等を表示させ、良品画像データ記憶部231から削除するか否かをユーザに選択させるようにしても良い。
また、図11は、本発明の実施の形態に係る外観検査装置2の別の不良品のアイコンを選択した場合の、良品画像入力受付画面の例示図である。図11に示すように、良品学習結果表示領域42の「×」印のアイコン422が選択された場合、アイコン422に対応する画像が画像表示領域41に表示される。図11では、画像が画像表示領域41からはみ出している。同時に、ポップアップ画面として理由表示領域45が表示され、「×」印が表示された理由として、「計測領域が画面外」である旨を示すメッセージが表示される。
また、図10と同様に、「×」印のアイコン422に対応する画像の画像データは、良品画像データ記憶部231から自動的に削除される。これにより、良品画像データ記憶部231に混入してしまった、図11に示すような不良品の画像の画像データを判定閾値を設定する画像群から排除することができる。なお、本実施の形態では、このように自動的に削除するようにしているが、例えばポップアップ等を表示させ、良品画像データ記憶部231から削除するか否かをユーザに選択させるようにしても良い。
以上のように本実施の形態に係る外観検査装置2によれば、画像ごとに算出された欠陥量が、良品とされる画像群において統計的に妥当な欠陥量であるか否かを目視で確認することができ、明らかに不良品である画像を欠陥閾値の設定基準となる画像群から容易に排除することができる。その結果、良否判定のための判定閾値の設定に悪影響を及ぼす可能性を低くすることができ、ひいては判定精度の低下を防ぐことができる。
なお、画像入力手段71において、良品とされる画像群を構成する複数の画像の入力を受け付けた場合、入力を受け付けた画像に、位置補正の基準となる画像を重ね合わせて表示しても良い。図12は、本発明の実施の形態に係る外観検査装置2の入力を受け付けた画像に、位置補正の基準となる画像を重ね合わせて表示した場合の、良品画像入力受付画面の例示図である。
図12に示すように、画像表示領域41には位置補正の基準となる画像が表示されており、位置補正の基準となる画像と重ね合わせて入力を受け付けた画像を表示する。これにより、入力を受け付けた画像の、位置補正の基準となる画像に対する位置ずれの度合いを目視で確認することができ、位置ずれ補正をより確実に行うことが可能となる。なお、本実施の形態では、画像表示領域41には、位置補正の基準となる画像を表示させるようにしているが、例えば、良品画像群の平均画像を表示させるようにしても良い。
ユーザは、良品学習処理が正しく実行されたか否かを検証する。また、必要に応じて手動で設定パラメータを調整することができる。図13は、本発明の実施の形態に係る外観検査装置2の検証画面の例示図である。
図13に示すように、閾値設定領域101は、欠陥部分を検出するための欠陥閾値を設定する欠陥閾値設定領域102と、判定閾値として欠陥量の上限値を設定する上限値設定領域103とを備えている。図13に示す「検出しきい値」とは、欠陥閾値μ±3σの3σの部分に加える一定のシフト量を示す値を意味する。例えば、「検出しきい値」を‘10’に設定した場合、欠陥閾値がμ±(3σ+10)に設定される。また、図13に示す「判定欠陥量上限」とは、検査対象物6の良否判定を行うための判定閾値であって、例えば「判定欠陥量上限」を‘100’に設定した場合、欠陥量算出手段73によって算出された欠陥量が‘100’以下の場合にはOK判定となり、欠陥量算出手段73によって算出された欠陥量が‘100’を超えた場合にはNG判定となる。図13の例では、「判定欠陥量上限」が‘0’に設定されており、欠陥量算出手段73によって算出された欠陥量が‘1’以上でNG判定になる。つまり、図13の画像表示領域41には欠陥部分105が表示されているが、この欠陥部分105の多少にかかわらずNG判定となる。また、欠陥量表示領域(欠陥量表示部)104には、欠陥量算出手段73によって算出された欠陥量が表示される。
図14は、本発明の実施の形態に係る外観検査装置2の検証画面の例示図である。図14に示すように、欠陥閾値設定領域102及び上限値設定領域103に欠陥閾値及び判定閾値を設定した場合、画像表示領域41には、良品画像のみが表示され、欠陥部分105は表示されず、OK判定となる。
また、不良品画像の場合には、判定閾値として欠陥量の上限値を設定することにより、どこが欠陥部分であるのか明示することができる。図15は、本発明の実施の形態に係る外観検査装置2の検証画面の例示図である。
図15に示すように、欠陥閾値設定領域102及び上限値設定領域103に欠陥閾値及び判定閾値を設定していない場合、画像表示領域41には、不良品画像に対して欠陥部分105が表示される。また、欠陥量表示領域104には、算出された欠陥量が表示される。このように、欠陥部分105の表示・非表示は、欠陥閾値(検出しきい値)の設定を変更することにより切り替えることができる。
図16は、本発明の実施の形態に係る外観検査装置2の検証画面の例示図である。図16に示すように、欠陥閾値設定領域102及び上限値設定領域103に欠陥閾値及び判定閾値を設定した場合、画像表示領域41には、不良品画像に対して欠陥部分105が表示され、NG判定となる。ただし、濃度が設定された欠陥閾値以下の欠陥部分は表示されない。したがって、どこが欠陥部分であるのか目視で確認することができるとともに、欠陥閾値以下の欠陥部分ではないノイズ成分を消すことができる。
また、本実施の形態では、図6のステップS603の外れ値の検定処理において、パラメトリック手法とノンパラメトリック手法とを併用することとした。これらの手法の一例について、以下に詳述する。統計処理の対象となる欠陥量が正規分布に従うことを前提としたパラメトリック手法としてスミルノフ・グラプス検定を採用し、正規分布に従わないことを前提としたノンパラメリック手法として、箱ひげ図を使った検定を採用する。もちろん、正規分布を用いることに限定されるものではなく、t分布、χ2 分布、ポアソン分布、二項分布等の確率分布を用いても良い。
スミルノフ・グラプス手法では、欠陥量Xの平均値をXバー、最大値をXi 、標準偏差をσとして、(式1)で算出する基準値Ti と統計数値表から求めた有意点tとを比較することにより、外れ値であるか否かを検定する。
例えば有意水準1%とは、外れ値ではないのに外れ値であるとみなされるおそれが1%であることを意味している。そして、有意水準1%に対応する有意点tより基準値Ti が小さい場合、欠陥量Xの最大(最小)のデータは外れ値ではないと検定し、有意水準1%に対応する有意点tより基準値Ti が大きい場合、欠陥量Xの最大(最小)のデータは外れ値であると検定する。
本実施の形態では、欠陥量が大きい画像が良品画像に含まれないようにすれば足りるので片側検定を行えば足りる。もちろん、両側検定を行っても良い。
スミルノフ・グラプス手法に基づいて、算出した欠陥閾値を自動的に設定するようにしても良い。この場合、有意水準α%に対応する有意点tを統計数値表から求め、(式2)の第三式((式1)から逆算)を用いて欠陥閾値Xi を算出する。
(式2)により算出された欠陥閾値Xi は、欠陥閾値設定領域102に自動設定され、新たに入力を受け付けた画像に対して再度外観検査を実行することにより、自動設定された欠陥閾値が適切であるか否かを確認することができる。
また、箱ひげ図を使った検定では、欠陥量Xの度数分布を算出してヒストグラムを生成する。そして、欠陥部分の個数がN(Nは自然数)個である場合、小さい方から数えてN/4番目に相当する欠陥量を第1四分位点(25%点)、3N/4番目に相当する欠陥量を第3四分位点(75%点)として求める。そして、IQR(Interquartile Range)を、第3四分位点(75%点)と第1四分位点(25%点)との差分として算出する。
箱ひげ図とは、欠陥量Xの中央値を挟んで、第1四分位点(25%点)から第3四分位点(75%点)までを「箱」形状に、第1四分位点(25%点)及び第3四分位点(75%点)から外れ値を検定する閾値までをそれぞれ「ひげ」状に表示したものを意味する。図17は、本発明の実施の形態に係る外観検査装置2の箱ひげ図を用いて外れ値であるか否かを検定する場合の説明図である。
図17に示すように、欠陥量Xの中央値141を挟んで、第1四分位点(25%点)142から第3四分位点(75%点)143までを「箱」形状に図示している。そして、例えば外れ値であるか否かを検定する上限閾値144を(第3四分位点+3×IQR)、下限閾値145を(第1四分位点−3×IQR)として、第3四分位点143から上限閾値144までの間、及び下限閾値145から第1四分位点142までの間を「ひげ」状に破線で表示している。もちろん、IQRに乗算する係数は‘3’に限定されるものではなく、より厳しく検定するべく‘1.5’にしても良いし、検定する基準に応じて変更すれば良い。
欠陥量Xが両閾値144、145間の値であれば外れ値ではなく、例えば欠陥量146のように両閾値144、145間から外れている場合には外れ値であると検定することができる。なお、本実施の形態では、欠陥量が大きい画像だけを不良品であると判定する片側検定を行えば良いので、上限閾値144を(第3四分位点+3×IQR)を超えた画像だけを外れ値とする。
また、本実施の形態では、図6のステップS604の「外れ値情報の表示出力」において、外れ値であると検定された欠陥量を有する画像に対応する「□」印のアイコンの表示色を変更することとしたが、例えば、外れ値情報は、欠陥量の多い順に表示出力することが望ましい。例えば、良品学習結果表示領域42に、欠陥量の多い順に(例えば左から)「×」印のアイコンを表示することにより、順次「×」印のアイコンを選択することで、欠陥量の多い画像から順に画像表示領域41に表示させることができる。また、ユーザには、カーソルを順次左から右へ移動させることで、欠陥量の多い画像から順番に画像表示領域41に表示させることができる。
このように、例えばユーザが新たな良品画像を追加する都度、図6に示した誤学習の画像データの削除処理を実行することにより、不良品であるにもかかわらず誤って良品であると判断した画像を良品画像データ記憶部231から削除することができる。また、図4のステップS403において再設定した判定閾値に基づいて改めて良否判定を行うことにより、高い精度で良否判定を行うことが可能となる。
なお、欠陥閾値を構成する標準偏差σの大きさをばらつき度として表示しても良い。図18は、本発明の実施の形態に係る外観検査装置2の良品学習処理後の良品画像入力受付画面の例示図である。図18では、画像表示領域41に標準偏差画像を表示している。標準偏差画像は、階調の変化を色相の変化で表すことが好ましい。例えば、色相の変化により判定精度が低下する境界部分等の欠陥を目視で確認することができるからである。なお、ここでは色相を変化させているが、例えば明度と彩度とを同時に変化させても良い。
また、欠陥部分だけを表示することも行われているが、欠陥部分だけを表示する場合、検査対象物6のどの部分に欠陥が生じているのか不明であるという問題点があった。そこで、例えば欠陥が生じた場合には欠陥部分を色付けし、その他の部分をグレー化して表示する。
図19は、本発明の実施の形態に係る外観検査装置2の良品学習処理の結果表示画面の例示図である。図19に示すように、画像表示領域41に欠陥部分を検出した不良品画像を表示する。この場合に、欠陥部分の色を変えて、例えば赤で表示するとともに、その他の部分をグレーで表示することにより、検査対象物6のどの部分に欠陥が生じているのか、容易に目視で確認することが可能となる。
また、平均画像の所定の領域の形状を記憶しておき、良品画像の入力を受け付けた時点で、入力を受け付けた画像から所定の領域の形状を検出しても良い。所定の領域の形状を検出することができなかった場合には、検査対象物6の検査する領域を誤って設定しているおそれがあり、判定精度が大きく低下する。したがって、所定の領域の形状を検出することで、判定精度の低下を未然に回避することが可能となる。
図20は、本発明の実施の形態に係る外観検査装置2の良品学習処理後の良品画像入力受付画面の例示図である。画像表示領域41には、平均画像を表示している。図20の例では、良品とされる画像群を構成する複数の画像の入力を受け付けた場合に、平均画像に重ねて平均画像を算出することが可能な領域、すなわち、すべての良品画像に共通している領域(すべての良品画像が重なっている領域)181を表示している。それ以外の領域182では、平均画像を算出することができないので、良品学習処理を実行することができない。
つまり、位置ずれにより、すべての良品画像には含まれていない領域182が存在しており、斯かる領域182が多く存在する場合、判定精度が大きく低下する。したがって、平均画像に重ねて領域181、182を表示することにより、平均画像を算出することができない領域182の存在を目視で確認することができ、判定精度の低下を未然に回避することができる。
また、図21は、本発明の実施の形態に係る外観検査装置2の良品学習処理の結果表示画面の他の例示図である。図21の例では、本来は表示されない方が好ましい、すべての良品画像に共通している領域(すべての良品画像が重なっている領域)181以外の領域182が表示されている。この場合、領域182の表示色を変える等の工夫をすることにより、平均画像を算出することができない領域が検査する領域に含まれていることを目視で確認することができ、領域182が表示されないように平均画像を拡大等することにより、領域182を含まないように検査する領域を再設定することが可能となる。
さらに、色のばらつきを表示することにより、何色を良品として判断しているか目視で確認しても良い。図22は、本発明の実施の形態に係る外観検査装置2の良品色を確認するための画面の例示図である。
図22に示すように、画像表示領域41に表示されているカラー表示の平均画像の1点を選択する。図22では、「+」点201が選択されたものとする。「+」点201が選択された場合、「+」点201の良品色が良品色表示領域(良品色表示部)202に表示される。良品色表示領域202に表示された色を目視で確認することにより、欠陥部分の色が良品色に含まれているか否かを確認することが容易であり、学習差分処理が正しく実行されたか否かを検証することができる。
良品色は、マハラノビス色空間から二次元の色空間に写像して決定する。図23は、本発明の実施の形態に係る外観検査装置2の良品色の決定方法の例示図である。図23(a)は、マハラノビス色空間の例示図である。図23(a)に示すR軸、G軸、B軸を取り、それぞれの軸方向に−3σ〜+3σでパラメータを振り分けている。
図23(b)は、パラメータと画面に表示される色との対応を示す図である。R軸は、図23(b)の横軸に、B軸は縦方向に7分割したそれぞれに、G軸は縦軸にそれぞれ写像することにより、R軸、G軸、B軸の三次元で求めたマハラノビス空間の広がりを二次元的に表現する。図23(b)に表示された色のグラデーションが、良品色表示領域202に表示される。なお、ここではマハラノビス空間の直方体について、各軸をR軸、G軸、B軸と平行にしているが、必ずしも平行である必要はない。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えばカメラ1、表示装置3等は、外観検査装置2と一体化されていても良いし、分離されていても良い。
1 カメラ
2 外観検査装置
3 表示装置
4 可搬型記録媒体
5 コンピュータプログラム
6 外部制御機器
7 画像処理部
8 画像表示部
21 主制御部
22 メモリ
23 記憶手段
24 入力手段
25 出力手段
26 通信手段
27 補助記憶手段
28 内部バス

Claims (18)

  1. 検査対象物を撮像した画像を、良品とされる画像群と比較して良否判定を行う外観検査装置において、
    良品とされる画像群を構成する複数の画像の入力を受け付けて記憶する画像入力手段と、
    記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定する閾値設定手段と、
    設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出する欠陥量算出手段と、
    算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する外れ値検定手段と、
    外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する情報表示手段と
    を備えることを特徴とする外観検査装置。
  2. 良品とされる画像群から削除する画像の選択を受け付ける選択受付手段を備えることを特徴とする請求項1に記載の外観検査装置。
  3. 前記外れ値検定手段は、パラメトリック手法又はノンパラメトリック手法のうち、少なくとも1つを用いて検定することを特徴とする請求項1又は2に記載の外観検査装置。
  4. 前記外れ値検定手段は、パラメトリック手法及びノンパラメトリック手法の両方を用いて検定することを特徴とする請求項1又は2に記載の外観検査装置。
  5. 前記欠陥量算出手段は、画像中で濃度が前記欠陥閾値より大きい連続した領域に含まれる差分濃度を合算した濃度積算値として前記欠陥量を算出することを特徴とする請求項1乃至4のいずれか一項に記載の外観検査装置。
  6. 前記情報表示手段は、前記欠陥量の多い順に前記外れ値情報を表示出力することを特徴とする請求項1乃至5のいずれか一項に記載の外観検査装置。
  7. 検査対象物を撮像した画像を、良品とされる画像群と比較して良否判定を行う外観検査装置で実行することが可能な外観検査方法において、
    良品とされる画像群を構成する複数の画像の入力を受け付けて記憶するステップと、
    記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定するステップと、
    設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出するステップと、
    算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定するステップと、
    外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力するステップと
    を含むことを特徴とする外観検査方法。
  8. 良品とされる画像群から削除する画像の選択を受け付けるステップを含むことを特徴とする請求項7に記載の外観検査方法。
  9. パラメトリック手法又はノンパラメトリック手法のうち、少なくとも1つを用いて検定することを特徴とする請求項7又は8に記載の外観検査方法。
  10. パラメトリック手法及びノンパラメトリック手法の両方を用いて検定することを特徴とする請求項7又は8に記載の外観検査方法。
  11. 画像中で濃度が前記欠陥閾値より大きい連続した領域に含まれる差分濃度を合算した濃度積算値として前記欠陥量を算出することを特徴とする請求項7乃至10のいずれか一項に記載の外観検査方法。
  12. 前記欠陥量の多い順に前記外れ値情報を表示出力することを特徴とする請求項7乃至11のいずれか一項に記載の外観検査方法。
  13. 検査対象物を撮像した画像を、良品とされる画像群と比較して良否判定を行う外観検査装置で実行することが可能なコンピュータプログラムにおいて、
    前記外観検査装置を、
    良品とされる画像群を構成する複数の画像の入力を受け付けて記憶する画像入力手段、
    記憶された複数の画像に基づいて、検査対象物の欠陥部分を検出するための欠陥閾値を設定する閾値設定手段、
    設定された欠陥閾値に基づいて、記憶されている複数の画像それぞれについて、検査対象物の良否判定を行うための判定閾値と比較する欠陥量を算出する欠陥量算出手段、
    算出した欠陥量が、それぞれ外れ値であるか否かを統計処理により検定する外れ値検定手段、及び
    外れ値であると検定された欠陥量を有する画像を特定する外れ値情報を表示出力する情報表示手段
    として機能させることを特徴とするコンピュータプログラム。
  14. 前記外観検査装置を、良品とされる画像群から削除する画像の選択を受け付ける選択受付手段として機能させることを特徴とする請求項13に記載のコンピュータプログラム。
  15. 前記外れ値検定手段を、パラメトリック手法又はノンパラメトリック手法のうち、少なくとも1つを用いて検定する手段として機能させることを特徴とする請求項13又は14に記載のコンピュータプログラム。
  16. 前記外れ値検出手段を、パラメトリック手法及びノンパラメトリック手法の両方を用いて検定する手段として機能させることを特徴とする請求項13又は14に記載のコンピュータプログラム。
  17. 前記欠陥量算出手段を、画像中で濃度が前記欠陥閾値より大きい連続した領域に含まれる差分濃度を合算した濃度積算値として前記欠陥量を算出する手段として機能させることを特徴とする請求項13乃至16のいずれか一項に記載のコンピュータプログラム。
  18. 前記情報表示手段を、前記欠陥量の多い順に前記外れ値情報を表示出力する手段として機能させることを特徴とする請求項13乃至17のいずれか一項に記載のコンピュータプログラム。
JP2011289940A 2011-12-28 2011-12-28 外観検査装置、外観検査方法及びコンピュータプログラム Expired - Fee Related JP5767963B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011289940A JP5767963B2 (ja) 2011-12-28 2011-12-28 外観検査装置、外観検査方法及びコンピュータプログラム
US13/705,275 US9117137B2 (en) 2011-12-28 2012-12-05 Visual inspection device, visual inspection method, and computer program
CN201210584213.4A CN103207183B (zh) 2011-12-28 2012-12-28 外观检查装置和外观检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011289940A JP5767963B2 (ja) 2011-12-28 2011-12-28 外観検査装置、外観検査方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2013140040A JP2013140040A (ja) 2013-07-18
JP5767963B2 true JP5767963B2 (ja) 2015-08-26

Family

ID=48694842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011289940A Expired - Fee Related JP5767963B2 (ja) 2011-12-28 2011-12-28 外観検査装置、外観検査方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US9117137B2 (ja)
JP (1) JP5767963B2 (ja)
CN (1) CN103207183B (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210296B (zh) 2010-06-01 2016-08-10 阿克莱机械公司 检查***
CN103439339B (zh) * 2013-09-02 2015-11-25 深圳市华星光电技术有限公司 贴附有偏振片的液晶面板的缺陷检测装置及缺陷检测方法
JP6180889B2 (ja) * 2013-11-08 2017-08-16 株式会社日立産機システム 印字検査装置
US20150131119A1 (en) * 2013-11-12 2015-05-14 Toshiba Tec Kabushiki Kaisha Maintenance method and maintenance apparatus for information processing apparatus
JP6470567B2 (ja) * 2014-02-03 2019-02-13 株式会社プロスパークリエイティブ 画像検査装置及び画像検査プログラム
JP2017508142A (ja) 2014-02-04 2017-03-23 エヌエスケイ アメリカズ インコーポレイテッド 中間長さ部が支持された状態のステアリングコラム組立体の検査装置及び方法
EP3102928A1 (en) 2014-02-04 2016-12-14 NSK Americas, Inc. Apparatus and method for inspection of an end region supported steering column assembly
JP6349804B2 (ja) * 2014-03-14 2018-07-04 オムロン株式会社 検査装置、検査方法、プログラムおよびその記録媒体
JP6290720B2 (ja) * 2014-06-09 2018-03-07 株式会社キーエンス 検査装置、検査方法およびプログラム
JP6403445B2 (ja) 2014-06-09 2018-10-10 株式会社キーエンス 検査装置、検査方法およびプログラム
JP6351408B2 (ja) * 2014-07-08 2018-07-04 アズビル株式会社 画像検査装置および画像検査方法
DE112016003012T5 (de) * 2015-06-30 2018-03-15 Koh Young Technology Inc. Gegenstandsprüfvorrichtung
US10535131B2 (en) * 2015-11-18 2020-01-14 Kla-Tencor Corporation Systems and methods for region-adaptive defect detection
CN105572137A (zh) * 2015-12-15 2016-05-11 重庆瑞阳科技股份有限公司 一种外观缺陷测试方法
US10223877B2 (en) * 2016-09-21 2019-03-05 John Burke Visual characteristic-of-interest position indicator for machine conveyable material
JP6786035B2 (ja) * 2017-03-27 2020-11-18 三菱重工業株式会社 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
CN107478657A (zh) * 2017-06-20 2017-12-15 广东工业大学 基于机器视觉的不锈钢表面缺陷检测方法
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
US11468269B2 (en) 2018-03-28 2022-10-11 Sony Corporation Arithmetic device, arithmetic method, and discrimination system
JP6708695B2 (ja) * 2018-04-20 2020-06-10 ファナック株式会社 検査装置
JP7122236B2 (ja) * 2018-11-28 2022-08-19 東京エレクトロン株式会社 検査装置、メンテナンス方法、及びプログラム
CN111380875B (zh) * 2018-12-29 2023-09-12 深圳中科飞测科技股份有限公司 一种缺陷检测方法及***
JP7153126B2 (ja) * 2019-03-14 2022-10-13 株式会社Fuji 良否判定装置および良否判定方法
JP7229338B2 (ja) * 2019-03-29 2023-02-27 Musashi AI株式会社 検査装置及び検査方法
JP7298333B2 (ja) * 2019-06-25 2023-06-27 オムロン株式会社 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
JP7418081B2 (ja) * 2019-10-28 2024-01-19 キヤノン株式会社 画像形成装置、画像形成方法、及び、プログラム
US11937019B2 (en) 2021-06-07 2024-03-19 Elementary Robotics, Inc. Intelligent quality assurance and inspection device having multiple camera modules
US11836912B2 (en) * 2020-09-22 2023-12-05 Future Dial, Inc. Grading cosmetic appearance of a test object based on multi-region determination of cosmetic defects
US11900581B2 (en) 2020-09-22 2024-02-13 Future Dial, Inc. Cosmetic inspection system
US11605159B1 (en) 2021-11-03 2023-03-14 Elementary Robotics, Inc. Computationally efficient quality assurance inspection processes using machine learning
US11675345B2 (en) 2021-11-10 2023-06-13 Elementary Robotics, Inc. Cloud-based multi-camera quality assurance architecture
US11605216B1 (en) * 2022-02-10 2023-03-14 Elementary Robotics, Inc. Intelligent automated image clustering for quality assurance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4132229B2 (ja) * 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
JP2002195958A (ja) * 2000-12-26 2002-07-10 Yamatake Corp 表面検査方法
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
JP2005265661A (ja) * 2004-03-19 2005-09-29 Ovit:Kk 画像処理方法およびその装置
EP1989561A2 (en) * 2006-02-17 2008-11-12 Test Advantage, Inc. Methods and apparatus for data analysis
US8391585B2 (en) * 2006-12-28 2013-03-05 Sharp Kabushiki Kaisha Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium
JP4399494B2 (ja) * 2006-12-28 2010-01-13 シャープ株式会社 欠陥検出装置、欠陥検出方法、イメージセンサデバイスおよびイメージセンサモジュール
US8131107B2 (en) * 2008-05-12 2012-03-06 General Electric Company Method and system for identifying defects in NDT image data
JP5537282B2 (ja) * 2009-09-28 2014-07-02 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法

Also Published As

Publication number Publication date
CN103207183B (zh) 2016-12-28
US20130170734A1 (en) 2013-07-04
US9117137B2 (en) 2015-08-25
JP2013140040A (ja) 2013-07-18
CN103207183A (zh) 2013-07-17

Similar Documents

Publication Publication Date Title
JP5767963B2 (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
JP5865707B2 (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
CN110579479A (zh) 一种基于假点缺陷检测的pcb检修***及检修方法
JP4257374B2 (ja) 表示制御装置、検査システム、表示制御方法、プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
JP2010157154A (ja) 画像分類基準更新方法、プログラムおよび画像分類装置
JP6988499B2 (ja) 検査管理システム、検査管理装置、検査管理方法
JPWO2016174926A1 (ja) 画像処理装置及び画像処理方法及びプログラム
TW201638784A (zh) 自動測試裝置
JP2013140041A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
US11769248B2 (en) Image processing device, image processing method, and image processing non-transitory computer readable medium for verifying detectable range of defect image
JP7012968B2 (ja) プログラムの検査装置、プログラムの検査方法及びプログラムの検査プログラム
JP6882772B2 (ja) 検査装置、検査方法及び検査プログラム
CN108072399B (zh) 检查***、检查装置的控制方法及计算机可读存储介质
CN112272968B (zh) 检查方法、检查***及记录介质
KR101241036B1 (ko) 인쇄회로기판의 외관검사시스템
JP2013164313A (ja) 画面表示データ編集装置及び画面表示データ編集方法
US20150109318A1 (en) Inspection record apparatus and inspection record method
JP2021022257A (ja) 点検支援システム、サーバ装置、点検支援方法、及び点検支援プログラム
WO2011145257A1 (ja) 配色検査装置、そのコンピュータプログラムおよびデータ処理方法
WO2024095721A1 (ja) 画像処理装置および画像処理方法
CN112292924B (zh) 检查方法、检查***及记录介质
US20220292662A1 (en) Information processing apparatus,information processing method,and non-transitory computer-readable storage medium
JP7272035B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP7300155B2 (ja) 固形製剤外観検査における教示装置、及び固形製剤外観検査における教示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150622

R150 Certificate of patent or registration of utility model

Ref document number: 5767963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees