JP2006337152A - 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体 - Google Patents
教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体 Download PDFInfo
- Publication number
- JP2006337152A JP2006337152A JP2005161636A JP2005161636A JP2006337152A JP 2006337152 A JP2006337152 A JP 2006337152A JP 2005161636 A JP2005161636 A JP 2005161636A JP 2005161636 A JP2005161636 A JP 2005161636A JP 2006337152 A JP2006337152 A JP 2006337152A
- Authority
- JP
- Japan
- Prior art keywords
- image
- teaching
- inspection
- image processing
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 教示過程において自己発展的に目標となる処理を習得するアルゴリズムに高速に処理させることが可能な教示用画像を生成することが可能な教示用画像生成方法および装置、プログラムならびに記録媒体と、優良な画像処理アルゴリズムを高速に生成することが可能な画像処理アルゴリズム生成方法および装置、プログラムならびに記録媒体と、適切に検査対象画像の良否を判定可能な画像検査方法および装置、プログラムならびに記録媒体とを提供する。
【解決手段】 検査領域を有する教示用画像において、指定された検査領域内の検査領域画像の特徴量を算出し、算出された画像を配置する位置に、検査領域画像の特徴量を変化させた変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
【選択図】 図5
【解決手段】 検査領域を有する教示用画像において、指定された検査領域内の検査領域画像の特徴量を算出し、算出された画像を配置する位置に、検査領域画像の特徴量を変化させた変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
【選択図】 図5
Description
本発明は、教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体に関し、特に、画像データから所望の領域を抽出するための教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体に関する。
近年、CCD等の画像撮像デバイスやパーソナルコンピュータ等の画像処理機器の低価格化により、画像処理の適用分野が広がりつつある。とりわけ、産業分野における欠陥検査への画像処理の適用は広範に渡り、製品やデバイスの歩留まり、品質の向上や目視検査員削減によるコストダウンのためにますますその必要性を高めている。したがって、現状では欠陥検査のために、画像処理技術を適用した多種多様な欠陥検査装置が開発されている。
このような画像処理型欠陥検査装置においては、対象とする製品やデバイスによって多種多様な欠陥が存在するため、技術者が欠陥対象毎に画像処理アルゴリズムや欠陥分類アルゴリズムを専用設計することが一般的である。しかし、画像処理型欠陥検査装置の専用設計は、技術者の経験に頼るところが多く、その開発・導入において非常に多くの工数を要する。
このような課題に対して、近年、学習機能を有する画像処理型欠陥検査装置が開発されている。画像処理型欠陥検査装置で利用される学習アルゴリズムとしては、ニューラルネットワークや進化的手法などの最適化手法が挙げられる。
特許第3476913号公報(特許文献1)(以下においては、従来技術Aとも称する)には、ニューラルネットワークを適用した学習型欠陥種別判定装置に関する技術(以下においては、従来技術Aとも称する)が開示されている。従来技術Aの装置においては、まず学習前に、学習用教示画像である入力画像に対して画像処理を行なうことで欠陥が抽出し、抽出した欠陥の欠陥情報(面積、重心位置、フェレ径、欠陥の明るさ等)を検出している。
また、従来技術Aの装置においては、学習器であるニューラルネットワークの入力層には抽出した欠陥の欠陥情報を割り当て、出力層には欠陥の種類(キズ、ゴミ、露光不良、現像不良など数十種類)を割り当てている。すなわち、従来技術Aの装置においては、入力された欠陥情報と出力される欠陥の種類の対応が適切になるように、ニューラルネットワークの中間層を最適化することで学習するものである。
しかしながら、従来技術Aの学習型欠陥種別判定装置では、学習用教示画像の欠陥種別判定に特化したものとなり、学習用教示画像と少しだけ異なる検査対象画像に対する欠陥種別判定であっても精度が著しく低下するという過学習状態になりやすいことが知られている。
このような課題に対する対応策の技術として、特開平11−282822号公報(特許文献2)に開示されている画像処理プログラム合成方法の技術(以下においては、従来技術Bとも称する)がある。従来技術Bでは、進化的手法の一手法である遺伝的アルゴリズムを用いて画像処理アルゴリズムを自動生成している。また、従来技術Bでは、自動生成に用いる教示用画像に、画像変換をかけた画像を新規教示用画像として追加することで教示用画像と類似した検査対象画像の欠陥種別判定精度が向上したことが報告されている。
また、特開平5−149728号公報(特許文献3)には、良品サンプルを撮像して得られたサンプル画像に、画像メモリに保存されている不良パターンから選択したもの一つを合成して教示用画像を作成する技術(以下においては、従来技術Cとも称する)が開示されている。従来技術Cでは、作業員がビデオモニタに表示された良品サンプルと不良パターンの合成画像を見ながら、入力装置を用いて、不良パターンの位置、回転角度、倍率、濃度、色などの情報を入力することで教示用画像を作成している。
さらにまた、従来技術Cに開示されている教示用画像の作成方法としては、良品サンプルを撮像して得られたサンプル画像に、作業員が、入力装置としての例えばマウスやライトペンなどを用いた描画ツールでもって直接画像を編集する方法がある。
特許第3476913号公報
特開平11−282822号公報
特開平5−149728号公報
前述したように、従来技術Aでは、学習用教示画像の欠陥種別判定に特化したものとなり、教示画像と少しだけ異なる検査対象画像に対する欠陥種別判定であっても精度が著しく低下するという過学習状態になりやすいという課題がある。
また、従来技術Bにおいては、教示用画像に画像変換をかけた画像を新規教示用画像として追加している。当該画像変換は具体的には明度変更、コントラスト変更、幾何学変更などが含まれる。
ここで、たとえば、実環境における照明変動を考慮した教示用画像の明度変更によって作成した新規教示用画像を追加することに関して説明する。実際には教示用画像の各画素の濃度を一定オフセット値αだけ加えることで明度変更を行っている。
たとえば、αが“5”、“10”、“20”の3つの場合に対する欠陥種別判定精度の向上を行ないたい場合には、各画素に濃度値“5”を加えた第1の新規教示用画像と、各画素に濃度値“10”を加えた第2の新規教示用画像2と、各画素に濃度値“20”を加えた第3の新規教示用画像との3枚の教示用画像を追加する必要がある。すなわち、画像変換をかけた変化量の種類に応じて追加すべき新規教示用画像の数が増加する。
さらにまた、明度変更以外のコントラスト変更に着目しても同様に、変化量の種類に応じて追加すべき新規教示用画像の数が増加する。これはつまり、画像変換の種類とそれぞれの画像変換の変化量の種類の積に相当する数の新規教示用画像を追加する必要があることを意味する。
このように追加する教示用画像も含めた全ての教示用画像の数が多くなればなるほど、画像処理アルゴリズムの学習に要する時間が増大するという問題がある。
従来技術Cは、良品サンプルを撮像して得られたサンプル画像に、画像メモリに保存されている不良パターンから選択したもの一つを合成して作成した教示用画像を新規教示用画像として追加する方法である。したがって、追加する不良パターンの数だけ新規教示用画像を追加する必要があるため、追加する教示用画像も含めた全ての教示用画像の数が多くなればなるほど、画像処理アルゴリズムの学習に要する時間が増大するという問題がある。
さらにまた、従来技術Cにおいては、作業員がビデオモニタに表示された良品サンプルと不良パターンの合成画像を見ながら、入力装置を用いて、不良パターンの位置、回転角度、倍率、濃度、色などの情報を入力する必要があるため、1枚の教示用画像を作成することに対する作業員への負担が大きく、時間とコストが増大する。
また、従来技術Cに開示されているもう一つの教示用画像の作成方法は、良品サンプルを撮像して得られたサンプル画像に、作業員が、入力装置としての例えばマウスやライトペンなどを用いた描画ツールでもって直接画像を編集するという方法である。すなわち、当該方法は人為的であるため、実際の欠陥とのコントラストなどの差が大きくなり、学習結果として得られたものの信頼性が低下する可能性があるという課題がある。
本発明は、上述の問題点を解決するためになされたものであって、その目的は、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに高速に処理させることが可能な教示用画像を生成することが可能な教示用画像生成方法および装置を提供することである。
本発明の他の目的は、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに高速に処理させることが可能な教示用画像を生成することが可能なプログラムおよび当該プログラムを記録した記録媒体を提供することである。
本発明のさらに他の目的は、優良な画像処理アルゴリズムを高速に生成することが可能な画像処理アルゴリズム生成方法および装置を提供することである。
本発明のさらに他の目的は、優良な画像処理アルゴリズムを高速に生成することが可能なプログラムおよび当該プログラムを記録した記録媒体を提供することである。
本発明のさらに他の目的は、適切に検査対象画像の良否を判定可能な画像検査方法および装置を提供することである。
本発明のさらに他の目的は、適切に検査対象画像の良否を判定可能なプログラムおよび当該プログラムを記録した記録媒体を提供することである。
上述の課題を解決するために、この発明のある局面に従うと、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、検査領域を有する教示用画像を生成する教示用画像生成方法は、検査領域を有する教示用画像を入力する工程と、検査領域を指定する工程と、指定された検査領域内の検査領域画像の特徴量を算出する工程と、教示用画像内で画像を配置する位置を算出する工程と、検査領域画像の特徴量を変化させた変化検査領域画像を生成する工程と、算出された画像を配置する位置に変化検査領域画像を配置した新規欠陥追加教示用画像を生成する工程とを含む。
好ましくは、所定の終了条件は、ユーザによる指示を受付ける工程をさらに含み、検査領域を指定する工程は、受付けたユーザの指示に基づいて、検査領域を指定する。
好ましくは、画像を配置する位置は、検査領域画像と重ならない位置である。
好ましくは、 検査領域画像の特徴量を算出する工程は、検査領域画像の重心位置を算出する工程を含み、画像を配置する位置を算出する工程は、画像を配置する位置を、算出された検査領域画像の重心位置を中心に近傍から探索して算出する。
好ましくは、 検査領域画像の特徴量を算出する工程は、検査領域画像の重心位置を算出する工程を含み、画像を配置する位置を算出する工程は、画像を配置する位置を、算出された検査領域画像の重心位置を中心に近傍から探索して算出する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、変化検査領域画像を生成する工程は、検査領域が抽出すべき領域であると判定された場合、検査領域画像の面積を縮小させた変化検査領域画像を生成する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、変化検査領域画像を生成する工程は、検査領域が抽出すべき領域でないと判定された場合、検査領域画像の面積を拡大させた変化検査領域画像を生成する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、検査領域画像の特徴量を算出する工程は、検査領域画像の重心位置を算出する工程を含み、教示用画像を入力する工程は、検査領域が抽出すべき領域であると判定された場合、新たに、検査領域を有する新規教示用画像を入力し、新規欠陥追加教示用画像を生成する工程は、新規教示用画像内の、検査領域画像の重心位置と対応する位置に、変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、検査領域画像の特徴量を算出する工程は、検査領域画像の重心位置を算出する工程を含み、教示用画像を入力する工程は、検査領域が抽出すべき領域であると判定された場合、新たに、検査領域を有する新規教示用画像を入力し、 新規教示用画像の検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、新規欠陥追加教示用画像を生成する工程は、新規教示用画像の検査領域が抽出すべき領域でないと判定された場合、新規教示用画像内の、検査領域画像の重心位置と対応する位置に、変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
好ましくは、変化検査領域画像を生成する工程は、検査領域が抽出すべき領域であると判定された場合、検査領域画像の面積を縮小させた変化検査領域画像を生成する。
好ましくは、変化検査領域画像を生成する工程は、検査領域が抽出すべき領域でないと判定された場合、検査領域画像の面積を拡大させた変化検査領域画像を生成する。
好ましくは、検査領域画像および変化検査領域画像の周囲に、それぞれ、第1および第2検査周囲領域を設定する工程と、検査領域画像の第1濃度値と、第1検査周囲領域内の領域であって検査領域画像以外の背景領域の第1背景画像の第2濃度値と、第2検査周囲領域内の領域であって変化検査領域画像以外の背景領域の第2背景画像の第3濃度値とに基づいて、変化検査領域画像の第4濃度値を算出する工程とをさらに含む。
好ましくは、第1濃度値は、検査領域画像の全画素の平均濃度値であり、第2濃度値は、第1背景画像の全画素の平均濃度値であり、第3濃度値は、第2背景画像の全画素の平均濃度値であり、検査領域画像を、変化検査領域画像と同じサイズおよび形状にする工程と、変化検査領域画像の第4濃度値を算出する工程は、変化検査領域画像の全画素の濃度値を、変化検査領域画像と同じサイズおよび形状にされた検査領域画像の全画素の濃度値にそれぞれ設定する工程と、設定された変化検査領域画像の全画素の濃度値の平均値と第3濃度値との差の値と、第1濃度値と第2濃度値との差の値との差の値の絶対値が、所定値以下でない場合、所定値以下となるように、設定された変化検査領域画像の全画素の濃度値に、絶対値を加算または減算する工程とをさらに含む。
この発明の他の局面に従うと、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、検査領域を有する教示用画像を生成する教示用画像生成装置は、検査領域を有する教示用画像を入力する画像入力部と、検査領域を指定する検査領域指定部と、指定された検査領域内の検査領域画像の特徴量を算出する特徴量算出部と、教示用画像内で画像を配置する位置を算出する位置算出部と、検査領域画像の特徴量を変化させた変化検査領域画像を生成する変化検査領域画像生成部と、算出された画像を配置する位置に変化検査領域画像を配置した新規欠陥追加教示用画像を生成する画像生成部とを備える。
好ましくは、ユーザによる指示を受付ける入力部をさらに備え、検査領域指定部は、受付けたユーザの指示に基づいて、検査領域を指定する。
好ましくは、画像を配置する位置は、検査領域画像と重ならない位置である。
好ましくは、特徴量算出部は、検査領域画像の重心位置を算出し、位置算出部は、画像を配置する位置を、算出された検査領域画像の重心位置を中心に近傍から探索して算出する。
好ましくは、特徴量算出部は、検査領域画像の重心位置を算出し、位置算出部は、画像を配置する位置を、算出された検査領域画像の重心位置を中心に近傍から探索して算出する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する検査領域判定部をさらに備え、変化検査領域画像生成部は、検査領域が抽出すべき領域であると判定された場合、検査領域画像の面積を縮小させた変化検査領域画像を生成する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する検査領域判定部をさらに備え、変化検査領域画像生成部は、検査領域が抽出すべき領域でないと判定された場合、検査領域画像の面積を拡大させた変化検査領域画像を生成する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する検査領域判定部をさらに備え、特徴量算出部は、検査領域画像の重心位置を算出し、画像入力部は、検査領域が抽出すべき領域であると判定された場合、新たに、検査領域を有する新規教示用画像を入力し、画像生成部は、新規教示用画像内の、検査領域画像の重心位置と対応する位置に、変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
好ましくは、検査領域が抽出すべき領域であるか否かを判定する第1検査領域判定部をさらに備え、特徴量算出部は、検査領域画像の重心位置を算出し、画像入力部は、検査領域が抽出すべき領域であると判定された場合、新たに、検査領域を有する新規教示用画像を入力し、新規教示用画像の検査領域が抽出すべき領域であるか否かを判定する第2検査領域判定部をさらに備え、画像生成部は、新規教示用画像の検査領域が抽出すべき領域でないと判定された場合、新規教示用画像内の、検査領域画像の重心位置と対応する位置に、変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
好ましくは、検査領域画像および変化検査領域画像の周囲に、それぞれ、第1および第2検査周囲領域を設定する領域設定部と、検査領域画像の第1濃度値と、第1検査周囲領域内の領域であって検査領域画像以外の背景領域の第1背景画像の第2濃度値と、第2検査周囲領域内の領域であって変化検査領域画像以外の背景領域の第2背景画像の第3濃度値とに基づいて、変化検査領域画像の第4濃度値を算出する濃度値算出部とをさらに備える。
この発明のさらに他の局面に従うと、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、検査領域を有する教示用画像を生成する処理をコンピュータに実行させるための教示用画像生成プログラムは、検査領域を有する教示用画像を入力するステップと、検査領域を指定するステップと、指定された検査領域内の検査領域画像の特徴量を算出するステップと、教示用画像内で画像を配置する位置を算出するステップと、検査領域画像の特徴量を変化させた変化検査領域画像を生成するステップと、算出された画像を配置する位置に変化検査領域画像を配置した新規欠陥追加教示用画像を生成するステップとをコンピュータに実行させる。
この発明のさらに他の局面に従うと、記録媒体は、教示用画像生成プログラムを記録した媒体である。
この発明のさらに他の局面に従うと、予め準備された複数種類の画像処理フィルタを用いて、教示用画像生成方法により生成された、1以上の検査領域を有する新規欠陥追加教示用画像に対して予め準備された目標画像に相当する画像を生成するような1以上の最終画像処理アルゴリズムを生成する画像処理アルゴリズム生成方法は、複数の画像処理アルゴリズムを生成する工程を、所定の終了条件を満たすまで世代を変えながら繰り返す工程を含み、所定の終了条件が満たされた世代で生成された画像処理アルゴリズムは、1以上の最終画像処理アルゴリズムであり、複数の画像処理アルゴリズムの各々は、複数種類の画像処理フィルタから重複を妨げないで選択した複数の選択画像処理フィルタを、ランダムな順序で使用するアルゴリズムであり、N(自然数)+1世代の複数の画像処理アルゴリズムを生成する工程は、新規欠陥追加教示用画像に、N世代の複数の画像処理アルゴリズムの処理をそれぞれ施したN世代の複数の処理後画像を生成する工程と、N世代の複数の画像処理アルゴリズムの各々に対し、目標画像と、対応するN世代の処理後画像とに基づいて、評価の基準となる評価値を算出する工程と、N世代の複数の画像処理アルゴリズムのうち、所定値以上の評価値が算出されたN世代の画像処理アルゴリズムを1以上選択する工程と、選択された1以上のN世代の複数の画像処理アルゴリズムの各々を、評価値が高くなるように変化させた画像処理アルゴリズムをN+1世代の画像処理アルゴリズムとして生成する工程とを含む。
好ましくは、所定の終了条件は、N世代の選択された1以上の画像処理アルゴリズムのいずれかの評価値が、所定値以上となる条件である。
好ましくは、複数の画像処理アルゴリズムのうち、N世代の選択された1以上の画像処理アルゴリズム以外の1以上の画像処理アルゴリズムを、進化的手法を用いてN+1世代の1以上の画像処理アルゴリズムとして生成する工程をさらに含む。
好ましくは、進化的手法は、遺伝的アルゴリズムである。
好ましくは、教示用画像生成方法により生成された新規欠陥追加教示用画像の数が、新規欠陥追加教示用画像内の検査領域の数よりも多い。
好ましくは、教示用画像生成方法により生成された新規欠陥追加教示用画像の数が、新規欠陥追加教示用画像内の検査領域の数よりも多い。
この発明のさらに他の局面に従うと、予め準備された複数種類の画像処理フィルタを用いて、教示用画像生成方法により生成された、1以上の検査領域を有する新規欠陥追加教示用画像に対して予め準備された目標画像に相当する画像を生成するような1以上の最終画像処理アルゴリズムを生成する画像処理アルゴリズム生成装置は、複数の画像処理アルゴリズムを生成するための画像処理アルゴリズム生成部を備え、画像処理アルゴリズム生成部は、複数の画像処理アルゴリズムを生成する処理を、所定の終了条件を満たすまで世代を変えながら繰り返し、所定の終了条件が満たされた世代で生成された画像処理アルゴリズムは、1以上の最終画像処理アルゴリズムであり、複数の画像処理アルゴリズムの各々は、複数種類の画像処理フィルタから重複を妨げないで選択した複数の選択画像処理フィルタを、ランダムな順序で使用するアルゴリズムであり、N(自然数)+1世代の複数の画像処理アルゴリズムを生成する工程は、新規欠陥追加教示用画像に、N世代の複数の画像処理アルゴリズムの処理をそれぞれ施したN世代の複数の処理後画像を生成する画像データ変換部と、N世代の複数の画像処理アルゴリズムの各々に対し、目標画像と、対応するN世代の処理後画像とに基づいて、評価の基準となる評価値を算出する画像処理アルゴリズム性能評価部とをさらに備え、画像処理アルゴリズム性能評価部は、N世代の複数の画像処理アルゴリズムのうち、所定値以上の評価値が算出されたN世代の画像処理アルゴリズムを1以上選択し、画像処理アルゴリズム生成部は、選択された1以上のN世代の複数の画像処理アルゴリズムの各々を、評価値が高くなるように変化させた画像処理アルゴリズムをN+1世代の画像処理アルゴリズムとして生成する。
好ましくは、所定の終了条件は、N世代の選択された1以上の画像処理アルゴリズムのいずれかの評価値が、所定値以上となる条件である。
好ましくは、複数の画像処理アルゴリズムのうち、N世代の選択された1以上の画像処理アルゴリズム以外の1以上の画像処理アルゴリズムを、進化的手法を用いてN+1世代の1以上の画像処理アルゴリズムとして生成する進化的画像処理アルゴリズム生成部をさらに備える。
好ましくは、教示用画像生成方法により生成された新規欠陥追加教示用画像の数が、新規欠陥追加教示用画像内の検査領域の数よりも多い。
この発明のさらに他の局面に従うと、予め準備された複数種類の画像処理フィルタを用いて、教示用画像生成プログラムにより生成された、1以上の検査領域を有する新規欠陥追加教示用画像に対して予め準備された目標画像に相当する画像を生成するような1以上の最終画像処理アルゴリズムを生成する処理をコンピュータに実行させるための画像処理アルゴリズム生成プログラムは、複数の画像処理アルゴリズムを生成するステップと、複数の画像処理アルゴリズムを生成するステップを、所定の終了条件を満たすまで世代を変えながら繰り返すステップとをコンピュータに実行させ、所定の終了条件が満たされた世代で生成された画像処理アルゴリズムは、1以上の最終画像処理アルゴリズムであり、複数の画像処理アルゴリズムの各々は、複数種類の画像処理フィルタから重複を妨げないで選択した複数の選択画像処理フィルタを、ランダムな順序で使用するアルゴリズムであり、N(自然数)+1世代の複数の画像処理アルゴリズムを生成するステップは、新規欠陥追加教示用画像に、N世代の複数の画像処理アルゴリズムの処理をそれぞれ施したN世代の複数の処理後画像を生成するステップと、N世代の複数の画像処理アルゴリズムの各々に対し、目標画像と、対応するN世代の処理後画像とに基づいて、評価の基準となる評価値を算出するステップと、N世代の複数の画像処理アルゴリズムのうち、所定値以上の評価値が算出されたN世代の画像処理アルゴリズムを1以上選択するステップと、選択された1以上のN世代の複数の画像処理アルゴリズムの各々を、評価値が高くなるように変化させた画像処理アルゴリズムをN+1世代の画像処理アルゴリズムとして生成するステップとを含む。
この発明のさらに他の局面に従うと、記録媒体は、画像処理アルゴリズム生成プログラムを記録した媒体である。
この発明のさらに他の局面に従うと、画像検査方法は、画像処理アルゴリズム生成方法により生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する工程を含む。
この発明のさらに他の局面に従うと、画像検査装置は、画像処理アルゴリズム生成方法により生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する画像良否判定部を含む。
この発明のさらに他の局面に従うと、画像検査プログラムは、画像処理アルゴリズム生成プログラムにより生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定するステップをコンピュータに実行させる。
この発明のさらに他の局面に従うと、記録媒体は、画像検査プログラムを記録した媒体である。
本発明に係る教示用画像生成方法は、検査領域を有する教示用画像において、指定された検査領域内の検査領域画像の特徴量を算出し、算出された画像を配置する位置に、検査領域画像の特徴量を変化させた変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
したがって、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、本発明により生成された教示用画像は、複数種類の検査領域画像を有するので、複数種類の検査領域画像の各々を有する教示用画像を使用するよりも、当該アルゴリズムに高速に処理させることができるという効果を奏する。
本発明に係る教示用画像生成装置は、検査領域を有する教示用画像において、指定された検査領域内の検査領域画像の特徴量を算出し、算出された画像を配置する位置に、検査領域画像の特徴量を変化させた変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
したがって、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、本発明により生成された教示用画像は、複数種類の検査領域画像を有するので、複数種類の検査領域画像の各々を有する教示用画像を使用するよりも、当該アルゴリズムに高速に処理させることができるという効果を奏する。
本発明に係る教示用画像生成プログラムは、検査領域を有する教示用画像において、指定された検査領域内の検査領域画像の特徴量を算出し、算出された画像を配置する位置に、検査領域画像の特徴量を変化させた変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
したがって、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、本発明により生成された教示用画像は、複数種類の検査領域画像を有するので、複数種類の検査領域画像の各々を有する教示用画像を使用するよりも、当該アルゴリズムに高速に処理させることができるという効果を奏する。
本発明に係る記録媒体は、教示用画像生成プログラムを記録する。教示用画像生成プログラムは、検査領域を有する教示用画像において、指定された検査領域内の検査領域画像の特徴量を算出し、算出された画像を配置する位置に、検査領域画像の特徴量を変化させた変化検査領域画像を配置した新規欠陥追加教示用画像を生成する。
したがって、教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、本発明により生成された教示用画像は、複数種類の検査領域画像を有するので、複数種類の検査領域画像の各々を有する教示用画像を使用するよりも、当該アルゴリズムに高速に処理させることができるという効果を奏する。
本発明に係る画像処理アルゴリズム生成方法は、教示用画像生成方法により生成された、処理効率のいい検査領域画像を使用して画像処理アルゴリズムを生成する。
したがって、所定値以上の評価値の画像処理アルゴリズムを高速に生成することができる。
本発明に係る画像処理アルゴリズム生成装置は、教示用画像生成方法により生成された、処理効率のいい検査領域画像を使用して画像処理アルゴリズムを生成する。
したがって、所定値以上の評価値の画像処理アルゴリズムを高速に生成することができる。
本発明に係る画像処理アルゴリズム生成プログラムは、教示用画像生成プログラムにより生成された、処理効率のいい検査領域画像を使用して画像処理アルゴリズムを生成する。
したがって、所定値以上の評価値の画像処理アルゴリズムを高速に生成することができる。
本発明に係る記録媒体は、画像処理アルゴリズム生成プログラムを記録する。画像処理アルゴリズム生成プログラムは、教示用画像生成プログラムにより生成された、処理効率のいい検査領域画像を使用して画像処理アルゴリズムを生成する。
したがって、所定値以上の評価値の画像処理アルゴリズムを高速に生成することができる。
本発明に係る画像検査方法は、画像処理アルゴリズム生成方法により生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する。
したがって、適切に検査対象画像の良否を判定できる。
本発明に係る画像検査装置は、画像処理アルゴリズム生成方法により生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する。
本発明に係る画像検査装置は、画像処理アルゴリズム生成方法により生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する。
したがって、適切に検査対象画像の良否を判定できる。
本発明に係る画像検査プログラムは、画像処理アルゴリズム生成プログラムにより生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する。
本発明に係る画像検査プログラムは、画像処理アルゴリズム生成プログラムにより生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する。
したがって、適切に検査対象画像の良否を判定できる。
本発明に係る記録媒体は、画像検査プログラムを記録する。画像検査プログラムは、画像処理アルゴリズム生成プログラムにより生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する。
本発明に係る記録媒体は、画像検査プログラムを記録する。画像検査プログラムは、画像処理アルゴリズム生成プログラムにより生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する。
したがって、適切に検査対象画像の良否を判定できる。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<第1の実施の形態>
図1は、本実施の形態における教示用画像生成装置500の内部の構成を示すブロック図である。教示用画像生成装置500は、たとえば、PC(Personal Computer)やワークステーション等のコンピュータである。なお、図1には、説明のために、記録媒体555、画像データ入力部600も示している。記録媒体555には、後述する教示用画像生成プログラム180が記録されている。すなわち、教示用画像生成プログラム180は、媒体等に記録されてプログラム製品として流通される。
図1は、本実施の形態における教示用画像生成装置500の内部の構成を示すブロック図である。教示用画像生成装置500は、たとえば、PC(Personal Computer)やワークステーション等のコンピュータである。なお、図1には、説明のために、記録媒体555、画像データ入力部600も示している。記録媒体555には、後述する教示用画像生成プログラム180が記録されている。すなわち、教示用画像生成プログラム180は、媒体等に記録されてプログラム製品として流通される。
画像データ入力部600は、詳細は後述するが、教示用画像生成装置500に画像データを送信する機能を有する。
図1を参照して、教示用画像生成装置500には、表示部530と、マウス542と、キーボード544とが接続される。
表示部530は、ユーザに各種情報を、文字や画像等で表示する機能を有する。表示部530は、教示用画像生成装置500から出力された画像データに基づいた画像を表示する。表示部530は、液晶ディスプレイ(LCD(Liquid Crystal Display))、CRT(Cathode Ray Tube)、FED(Field Emission Display)、PDP(Plasma Display Panel)、有機ELディスプレイ(Organic Electro luminescence Display)、ドットマトリクス等その他の画像表示方式の表示機器のいずれであってもよい。
マウス542は、ユーザが教示用画像生成装置500を操作するためのインターフェースである。キーボード544は、ユーザが教示用画像生成装置500を操作するためのインターフェースである。なお、表示部530およびキーボード544は、教示用画像生成装置500の内部に設けられる構成であってもよい。また、マウス542は、たとえば、タッチパッド等として、教示用画像生成装置500の内部に設けられる構成であってもよい。また、教示用画像生成装置500には、ペンタブレットが入力機器として接続されていてもよい。
教示用画像生成装置500は、制御部510と、データ一時記憶部522と、記憶部520と、通信部560と、通信部562と、VDP(Video Display Processor)532と、CGROM(Character Graphic Read Only Memory)534と、VRAM(Video Random Access Memory)536と、入力部540と、記録媒体アクセス部550とを含む。
CGROM534には、フォントデータ、図形データなど、VDP532が、表示部530で表示される画像を生成するための画像データが記憶されている。
記憶部520には、制御部510に後述する処理を行なわせるための教示用画像生成プログラム180、画像処理アルゴリズムに学習させるための教示用画像データベース182、その他各種プログラムおよびデータ等が記憶されている。記憶部520は、制御部510によってデータアクセスされる。なお、教示用画像データベース182は、各々が異なる複数種類の教示用画像のデータから構成されるデータベースである。なお、教示用画像についての詳細は後述する。
記憶部520は、大容量のデータを記憶可能なハードディスクである。なお、記憶部520は、ハードディスクに限定されることなく、電源を供給されなくてもデータを保持可能な媒体(たとえば、フラッシュメモリ)であればよい。
すなわち、記憶部520は、記憶の消去・書き込みを何度でも行えるEPROM(Erasable Programmable Read Only Memory)、電気的に内容を書き換えることができるEEPROM(Electronically Erasable and Programmable Read Only Memory)、紫外線を使って記憶内容の消去・再書き込みを何度でも行えるUV−EPROM(Ultra-Violet Erasable Programmable Read Only Memory)、その他、不揮発的にデータを記憶保持可能な構成を有する回路のいずれであってもよい。
制御部510は、記憶部520に記憶された教示用画像生成プログラム180に従って、教示用画像生成装置500の内部の各機器に対する各種処理や、演算処理等を行なう機能を有する。制御部510は、マイクロプロセッサ(Microprocessor)、プログラミングすることができるLSI(Large Scale Integration)であるFPGA(Field Programmable Gate Array)、特定の用途のために設計、製造される集積回路であるASIC(Application Specific Integrated Circuit)、その他の演算機能を有する回路のいずれであってもよい。
また、制御部510は、記憶部520に記憶された教示用画像生成プログラム180に従って、VDP532に対し、画像を生成させ、当該画像を表示部530に表示させる指示(以下においては、「描画指示」とも称する)をだす。
VDP532は表示部530と接続されている。VDP532は、制御部510からの描画指示に応じて、CGROM534から必要な画像データを読出し、VRAM536を利用して画像を生成する。そして、VDP532は、VRAM536に記憶された画像データを読出し、表示部530に、当該画像データに基づく画像を表示させる。
VRAM536は、VDP532が生成した画像を一時的に記憶する機能を有する。
データ一時記憶部522は、制御部510によってデータアクセスされ、一時的にデータを記憶するワークメモリとして使用される。
データ一時記憶部522は、制御部510によってデータアクセスされ、一時的にデータを記憶するワークメモリとして使用される。
データ一時記憶部522は、データを一時的に記憶可能なRAM(Random Access Memory)、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、SDRAM(Synchronous DRAM)、ダブルデータレートモードという高速なデータ転送機能を持ったSDRAMであるDDR−SDRAM(Double Data Rate SDRAM)、Rambus社が開発した高速インターフェース技術を採用したDRAMであるRDRAM(Rambus Dynamic Random Access Memory)、Direct−RDRAM(Direct Rambus Dynamic Random Access Memory)、その他、データを揮発的に記憶保持可能な構成を有する回路のいずれであってもよい。
入力部540には、マウス542と、キーボード544とが接続されている。ユーザは、マウス542またはキーボード544を利用して、教示用画像生成装置500に指示を与える。マウス542またはキーボード544からの入力指示は、入力部540を介して制御部510に伝達される。制御部510は、入力部540からの入力指示に基づいて所定の処理を行なう。
記録媒体アクセス部550は、教示用画像生成プログラム180が記録された記録媒体555から、教示用画像生成プログラム180を読出す機能を有する。記録媒体555に記憶されている教示用画像生成プログラム180は、制御部510の動作(インストール処理)により、記録媒体アクセス部550から読み出され、記憶部520に記憶される。
このインストール処理用プログラムは、予め、記憶部520に格納されており、インストール処理は、制御部510が、インストール処理用プログラムに基づいて行なう。
なお、記憶部520には、教示用画像生成プログラム180がインストールされていなくてもよい。この場合、制御部510は、記録媒体アクセス部550を介して、記録媒体555に記憶された教示用画像生成プログラム180を読み出して、教示用画像生成プログラム180に基づいた所定の処理を行なう。
記録媒体555は、DVD−ROM(Digital Versatile Disk Read Only Memory)、CD−ROM(Compact Disk Read Only Memory)、MO(Magneto Optical Disk)、フロッピー(登録商標)ディスク、CF(Compact Flash) カード、SM(Smart Media(登録商標))、MMC(Multi Media Card)、SD(Secure Digital)メモリーカード、メモリースティック(登録商標)、xDピクチャーカードおよびUSBメモリ、磁気テープ、その他不揮発性メモリのいずれであってもよい。
通信部560は、制御部510とデータの授受を行なう。また、通信部560は、画像データ入力部600と有線または無線で、データの授受を行なう。
制御部510は、通信部560を介して、画像データ入力部600を制御するための制御データを送信する。また、制御部510は、画像データ入力部600から、通信部560を介して、送信した制御データに応じたデータを受信する。
通信部560は、USB(Universal Serial Bus)1.1、USB2.0、その他シリアル転送を行なう通信用インターフェースのいずれであってもよい。また、通信部560は、イーサネット(登録商標)を利用した通信用インターフェースであってもよい。また、通信部560は、セントロニクス仕様、IEEE1284(Institute of Electrical and Electronic Engineers 1284)、その他パラレル転送を行なう通信用インターフェースのいずれであってもよい。また、通信部560は、IEEE1394、その他SCSI規格を利用した通信用インターフェースのいずれであってもよい。
また、通信部560は、無線LANの規格であるIEEE802.11a、IEEE802.11b、IEEE802.11g、その他無線技術を利用してデータ通信を行なう通信用インターフェースのいずれであってもよい。
通信部562は、制御部510と、データの授受を行なう。通信部562は、通信部560と同様なので詳細な説明は繰り返さない。
通信部610は、通信部562およびネットワーク620とデータの授受を行なう。ネットワーク150は、インターネットなどの外部のネットワークである。通信部610は、イーサネット(登録商標)を利用した通信用インターフェース(たとえば、ルータ)である。また、通信部610と、ネットワーク150とは、無線または有線でデータの授受を行なう。当該有線は、たとえば、電話線、光ファイバケーブル等である。
したがって、本実施の形態における教示用画像生成装置500は、ネットワーク150から、通信部610および通信部562を介して、プログラムをダウンロード処理を行ない、記憶部520に格納することもできる。この場合、当該ダウンロードしたプログラムは、教示用画像生成プログラム180である。
制御部510は、ネットワーク150からダウンロードしたプログラム(教示用画像生成プログラム180)に従って、所定の処理を行なう。このダウンロード用プログラムは、予め、記憶部520に格納されており、ダウンロード処理は、制御部510が、ダウンロード用プログラムに基づいて行なう。
以上の構成の教示用画像生成装置500により、教示用画像が生成される。
図2は、画像データ入力部600の内部構成を示すブロック図である。なお、図2には、説明のために、教示用画像生成装置500内の通信部560も示している。
図2は、画像データ入力部600の内部構成を示すブロック図である。なお、図2には、説明のために、教示用画像生成装置500内の通信部560も示している。
図2を参照して、画像データ入力部600は、ステージ640に設置された検査対象となる検査対象物650に光を当てて、検査対象物650の反射光をデータに変換する機能を有する。検査対象物650は、液晶パネル、半導体、電子部品、プラスチック、金属、木材、紙、布等のいずれであってもよい。
画像データ入力部600は、制御部610と、光源620と、カメラ630とを含む。制御部610は、教示用画像生成装置500内の通信部560とデータの授受を行なう。制御部610は、前述の制御部510と同様な構成および機能を有する。制御部610は、通信部560を介して、制御部510から受信した制御データに基づいて、光源620と、カメラ630とを制御する。
光源620は、制御部610の制御により、光を検査対象物650に当てる。
カメラ630は、制御部610の制御により、検査対象物650からの反射光を撮像する機能を有する。カメラ630は、(Charge Coupled Devices)CCD方式、(Complementary Metal Oxide Semiconductor)CMOS方式、または他の方式のカメラのいずれであってもよい。
カメラ630は、制御部610の制御により、検査対象物650からの反射光を撮像する機能を有する。カメラ630は、(Charge Coupled Devices)CCD方式、(Complementary Metal Oxide Semiconductor)CMOS方式、または他の方式のカメラのいずれであってもよい。
また、カメラ630は、撮像したデータを画像データとして、制御部610へ送信する。制御部610は、受信した画像データを、通信部560を介して、制御部510へ送信する。制御部510は、受信した画像データを後述する教示用原画像として記憶部520に記憶させる。制御部510は、当該受信した画像データを、表示部530に表示させる処理を行なう。検査員(ユーザ)は、表示部530に表示された画像(以下においては、検査画像とも称する)を参照することで、検査対象物650が不良品であるか否かが判定可能となる。なお、検査員(ユーザ)は、直接、検査対象物650を見て、不良品であるか否かを判定してもよい。
ここで、以下に使用する用語の定義を行なう。まず、検査対象物650が不良品であると検査員(ユーザ)が判定する要因となる真正の欠陥のことを真欠陥とする。一方、検査工程で抽出される欠陥ではあるが、検査員(ユーザ)が検査対象物650を不良品と判定するには至らず、検査対象が良品であると判定可能な欠陥のことを擬似欠陥とする。
次に、検査対象物650を撮像した画像のうち、画像中に擬似欠陥の有無に係わらず真欠陥が一つも存在しない画像を良品画像とし、画像中に擬似欠陥の有無に係わらず真欠陥が一つでも存在する画像を欠陥画像とする。良品画像と欠陥画像とはそれぞれ教示用画像となり得るものとする。
以下の実施の形態で使用する画像のサイズは、たとえば、横640画素、縦480画素であるとする。なお、以下の実施の形態で使用する画像のサイズは、横640画素、縦480画素に限定されることはなく、任意のサイズ(たとえば、横320画素、縦240画素)であってもよい。
また、以下の実施の形態で使用する画像の画素の有する濃度値は、“0”〜“255”の範囲の値である。また、濃度値が“0”の場合、対応する画素は黒であるとする。また、濃度値が“255”の場合、対応する画素は白であるとする。なお、以下の実施の形態で使用する画像の画素の有する濃度値は、“0”〜“255”の範囲の値に限定されることはなく、任意の範囲の値であってもよい。
図3は、一例としての教示用画像600を示す図である。
図3を参照して、教示用画像600は、欠陥領域660を含む。欠陥領域660は欠陥自体領域620を含む。ここで、欠陥自体領域とは、欠陥そのものを示す領域である。欠陥自体領域は、真欠陥を示す領域である真欠陥自体領域と、擬似欠陥を示す領域である擬似欠陥自体領域とに分類される。以下においては、真欠陥自体領域を単に真欠陥とも称する。また、擬似欠陥自体領域を単に擬似欠陥とも称する。また、真欠陥および擬似欠陥を総括的に欠陥とも称する。
図3を参照して、教示用画像600は、欠陥領域660を含む。欠陥領域660は欠陥自体領域620を含む。ここで、欠陥自体領域とは、欠陥そのものを示す領域である。欠陥自体領域は、真欠陥を示す領域である真欠陥自体領域と、擬似欠陥を示す領域である擬似欠陥自体領域とに分類される。以下においては、真欠陥自体領域を単に真欠陥とも称する。また、擬似欠陥自体領域を単に擬似欠陥とも称する。また、真欠陥および擬似欠陥を総括的に欠陥とも称する。
教示用画像600内の欠陥自体領域620以外の領域が背景領域である。すなわち、教示用画像600は、背景領域と欠陥領域とから構成される。また、欠陥領域660内の欠陥自体領域620以外の領域が欠陥背景領域662である。本実施の形態においては、欠陥領域は矩形領域とする。なお、欠陥領域の形状は、矩形に限定されることなく、たとえば、円や楕円等であってもよい。
また、欠陥領域660は、欠陥自体領域620の重心を矩形領域の中心として、画像中の横方向縦方向ともに欠陥自体領域620のフェレ径の2倍のサイズの矩形領域とする。ただし、画像の端部に欠陥領域660が存在する場合においては、画像の端部を優先し、欠陥領域660である矩形領域はフェレ径の2倍のサイズよりも小さくなる。
また、教示用画像は、教示用原画像と教示用目標画像とに分類される。真欠陥の有無に係わらず、検査対象物650を撮像した画像を教示用原画像とし、教示用原画像中の真欠陥自体領域に関する情報を画像で与えたものを教示用目標画像と呼ぶこととする。なお、教示用原画像と、教示用原画像に対応する教示用目標画像とは、対応づけられて記憶部520に記憶される。
ここで、教示用原画像とは、画像処理アルゴリズムによる画像処理の対象となる画像である。教示用目標画像とは、教示用原画像に対して画像処理アルゴリズムによる画像処理を行なった画像が一致または近似することが望まれる画像である。
本実施の形態における教示用目標画像は各画素の濃度値が“0”または“255”、すなわち、黒または白の2値画像とする。教示用目標画像は、教示用目標画像中の欠陥の画素のみが白く、その他の画素が黒い画像とする。
図4は、一例としての教示用原画像700および教示用目標画像700Aを示す図である。
図4(A)は、一例としての教示用原画像700を示す。教示用原画像700は、真欠陥720と、擬似欠陥710とを含む。
図4(B)は、一例としての教示用目標画像700Aを示す。教示用目標画像700Aは、真欠陥720に対応した真欠陥対応画像720Aを含む。
次に、教示用画像生成装置500により教示用原画像内の欠陥を利用して、教示用原画像に欠陥をさらに追加した画像を生成する処理について説明する。以下においては、教示用原画像に追加する元となる欠陥を追加元教示用欠陥とも称する。また、追加元教示用欠陥に基づいて新たに追加される欠陥を新規追加教示用欠陥とも称する。また、教示用原画像内の追加元教示用欠陥を利用して、教示用原画像に新規追加教示用欠陥を追加した画像を新規欠陥追加教示用画像とも称する。新規欠陥追加教示用画像を生成する処理を新規欠陥追加教示用画像生成処理とも称する。
次に、新規欠陥追加教示用画像生成処理について説明する。
図5は、新規欠陥追加教示用画像生成処理のフローチャートである。
図5は、新規欠陥追加教示用画像生成処理のフローチャートである。
図5を参照して、ステップS100では、制御部510が、記憶部520から教示用原画像データを読み出す。なお、制御部510は、検査対象物650を撮像した画像である教示用原画像データを画像データ入力部600から入力してもよい。読み出した教示用原画像は、たとえば、図4の教示用原画像700であるとする。
以下においては、このステップS100において読み出した教示用原画像700に含まれる欠陥(たとえば、真欠陥720および擬似欠陥710の各々に対応する欠陥)を初期教示用欠陥と呼ぶことにする。また、真欠陥である初期教示用欠陥を初期教示用真欠陥と呼ぶこととする。また、擬似欠陥である初期教示用欠陥を初期教示用擬似欠陥と呼ぶことととする。
本実施の形態においては、教示用原画像を1枚入力した場合について説明する。しかし、本実施の形態は、これに限定されることなく、必要に応じて複数枚の教示用原画像を入力してもよい。この場合、以下に説明する処理が、教示用原画像の枚数分繰り返される。
ステップS100の処理が終了すると、ステップS102に進む。
ステップS102では、制御部510が、表示部530に、教示用原画像700を表示させるための描画指示をVDP532に送る。VDP532は、当該描画指示に基づいて、表示部530に教示用原画像700を表示させる。その後、ステップS104に進む。
ステップS102では、制御部510が、表示部530に、教示用原画像700を表示させるための描画指示をVDP532に送る。VDP532は、当該描画指示に基づいて、表示部530に教示用原画像700を表示させる。その後、ステップS104に進む。
ステップS104では、追加教示用欠陥選択処理が行なわれる。追加教示用欠陥選択処理では、制御部510が、ステップS100で読み出した教示用原画像700中の真欠陥720および擬似欠陥710を選択する。具体的には、ユーザが、表示部530に表示された教示用原画像700を参照して、マウス542等の入力装置を利用して、たとえば、真欠陥720および擬似欠陥710のそれぞれの輪郭部分に、たとえば、線を引くことで欠陥を囲んで、2つの欠陥を選択する選択処理を行なう。制御部510は、当該選択処理に基づいて、2つの欠陥をそれぞれ囲む線のデータ(以下においては、線データとも称する)を記憶部520に記憶させる。
なお、当該選択処理は、制御部510が、教示用原画像700に基づいて、自動的に上記の線データを作成してもよい。ステップS104の処理により選択された真欠陥720および擬似欠陥710は追加元教示用欠陥である。なお、全初期教示用欠陥は、真欠陥に対応する初期教示用真欠陥と、擬似欠陥に対応する初期教示用擬似欠陥とに分類される。その後、ステップS106に進む。
ステップS106では、追加元教示用欠陥指定画像生成処理が行なわれる。追加元教示用欠陥指定画像生成処理では、制御部510が、記憶部520から線データを読出し、当該線データに基づいて、追加元教示用欠陥指定画像を生成する。制御部510は、記憶部520に追加元教示用欠陥指定画像のデータを教示用原画像と対応付けて記憶させる。なお、ステップS106の処理は行なわれなくてもよい。
図6は、教示用原画像700と、教示用原画像700に基づいて生成された追加元教示用欠陥指定画像705Aを示す。
図6(A)は、教示用原画像700を示す。
図6(B)は、追加元教示用欠陥指定画像705Aを示す。追加元教示用欠陥指定画像705Aは、白と黒の2値画像である。追加元教示用欠陥指定画像705Aは、真欠陥720に対応した真欠陥対応画像720Aと、擬似欠陥710Aに対応した擬似欠陥対応画像710Aとを含む。真欠陥対応画像720Aは、ユーザが、真欠陥720の輪郭部分に引いた線に基づくものである。擬似欠陥対応画像710Aは、ユーザが、擬似欠陥710の輪郭部分に引いた線に基づくものである。
図6(B)は、追加元教示用欠陥指定画像705Aを示す。追加元教示用欠陥指定画像705Aは、白と黒の2値画像である。追加元教示用欠陥指定画像705Aは、真欠陥720に対応した真欠陥対応画像720Aと、擬似欠陥710Aに対応した擬似欠陥対応画像710Aとを含む。真欠陥対応画像720Aは、ユーザが、真欠陥720の輪郭部分に引いた線に基づくものである。擬似欠陥対応画像710Aは、ユーザが、擬似欠陥710の輪郭部分に引いた線に基づくものである。
再び、図5を参照して、ステップS106の処理が終了すると、ステップS108に進む。
ステップS108では、欠陥領域設定処理が行なわれる。欠陥領域設定処理では、制御部510が、真欠陥対応画像720Aおよび擬似欠陥対応画像710Aの各々のフェレ径を算出する。そして、制御部510は、当該算出したフェレ径に基づいて、教示用原画像700の真欠陥720および擬似欠陥710の各々に対し、欠陥領域を設定する。
図7は、教示用原画像700に対し欠陥領域を設定した欠陥領域設定画像である。
図7を参照して、教示用原画像700には、欠陥領域760と欠陥領域750が設定される。欠陥領域760は、真欠陥720に対して設定された領域である。欠陥領域750は、擬似欠陥710に対して設定された領域である。
図7を参照して、教示用原画像700には、欠陥領域760と欠陥領域750が設定される。欠陥領域760は、真欠陥720に対して設定された領域である。欠陥領域750は、擬似欠陥710に対して設定された領域である。
再び、図5を参照して、ステップS108の処理が終了すると、ステップS110に進む。
ステップS110では、特徴量算出処理が行なわれる。特徴量算出処理では、制御部510が、欠陥領域760および欠陥領域750の各々の特徴量を算出する。当該特徴量は、欠陥領域内の欠陥における、画像上での重心位置、面積、角度(回転角度)、コントラスト等である。
たとえば、欠陥領域760の特徴量は、追加元教示用欠陥指定画像705A内の、真欠陥対応画像720Aに基づいて、制御部510が、画像上での重心位置、面積、角度(回転角度)を算出する。
なお、本実施の形態におけるコントラストとは、欠陥領域における欠陥自体領域の平均濃度値と、欠陥背景領域の平均濃度値との差の絶対値とする。
制御部510が、たとえば、欠陥領域760のコントラストを算出する場合、欠陥領域760において、欠陥自体領域である欠陥720の全画素の平均濃度値(以下においては、欠陥自体領域平均濃度値とも称する)と、欠陥領域760内の前述した欠陥背景領域内の画像の全画素の平均濃度値(以下においては、欠陥背景領域平均濃度値とも称する)とを算出する。
そして、制御部510は、欠陥自体領域平均濃度値と欠陥背景領域平均濃度値との差の絶対値を求め、当該絶対値を欠陥領域760のコントラストとする。制御部510は、算出した欠陥領域760および欠陥領域750の各々の特徴量を、記憶部520に、欠陥領域に対応付けて記憶させる。その後、ステップS112に進む。
ステップS112では、新規追加欠陥数決定処理が行なわれる。新規追加欠陥数決定処理では、ステップS104において選択した追加元教示用欠陥(真欠陥720および擬似欠陥710)の各々に対し、追加元教示用欠陥のどの特徴量をどの程度変化させた欠陥を教示用原画像700に新たに追加するのかを決定することで追加する欠陥の数を決定する処理が行なわれる。当該処理は、記憶部520に記憶された新規追加教示用欠陥の数を設定するための特徴量変化設定データを制御部510が読み出して行なう。
特徴量変化設定データにより、変化させる特徴量が、たとえば、面積であって、追加元教示用欠陥の面積をそれぞれ2%および4%減少させる場合、教示用原画像700に新たに追加される新規追加教示用欠陥は2つとなる。
特徴量変化設定データにより、変化させる特徴量が、たとえば、コントラストであって、追加元教示用欠陥のコントラストをそれぞれ2%および4%減少させる場合、教示用原画像700に新たに追加される新規追加教示用欠陥は2つとなる。
つまり、選択した特徴量とそれぞれの変化量を指定することで、新規追加教示用欠陥の数が決定される。
制御部510は、決定された欠陥の数の情報を記憶部520に記憶させる。
なお、当該処理は、設定データを使用せず、ユーザが、表示部530に表示されたGUI(Graphical User Interface)において、マウス524またはキーボード544等の入力機器を用いて、特徴量変化設定データに対応するようなデータを入力することで行なわれてもよい。その後、ステップS114に進む。
なお、当該処理は、設定データを使用せず、ユーザが、表示部530に表示されたGUI(Graphical User Interface)において、マウス524またはキーボード544等の入力機器を用いて、特徴量変化設定データに対応するようなデータを入力することで行なわれてもよい。その後、ステップS114に進む。
ステップS114では、新規追加教示用欠陥リスト作成処理が行なわれる。新規追加教示用欠陥リスト作成処理では、制御部510が、追加元教示用欠陥としての真欠陥720および擬似欠陥710にそれぞれ追加元教示用欠陥ID1,2を割り当てる。そして、制御部510が、ステップS112で読み出された特徴量変化設定データおよび追加する欠陥の数に基づいて、全新規追加教示用欠陥について、任意の順番に新規追加教示用欠陥IDを、たとえば、1〜4まで割り当てて、新規追加教示用欠陥リストテーブルを作成する。作成された新規追加教示用欠陥リストテーブルは、制御部510が、記憶部520に記憶させる。
図8は、一例としての新規追加教示用欠陥リストテーブルT100を示す図である。
図8を参照して、新規追加教示用欠陥リストテーブルT100は、追加元教示用欠陥に対して同時に変化させる特徴量の数が2つである場合の例を示している。なお、変化させる特徴量は、3つ以上であってもよい。
図8を参照して、新規追加教示用欠陥リストテーブルT100は、追加元教示用欠陥に対して同時に変化させる特徴量の数が2つである場合の例を示している。なお、変化させる特徴量は、3つ以上であってもよい。
新規追加教示用欠陥リストテーブルT100は、たとえば、追加元教示用欠陥ID1,ID2がそれぞれ割り当てられた2つの追加元教示用欠陥の各々に対し追加する欠陥の数が2つである場合のリストを示す。
新規追加教示用欠陥リストテーブルT100は、複数の新規追加教示用欠陥IDの各々と、追加元教示用欠陥IDと、変化させる特徴量と、特徴量の変化量とを対応づけたリストテーブルである。以下においては、各新規追加教示用欠陥IDに割り当てられたデータを新規追加教示用欠陥データとも称する。したがって、新規追加教示用欠陥リストテーブルT100は、複数の新規追加教示用欠陥データから構成される。
再び、図5を参照して、ステップS114の処理が終了すると、ステップS120に進む。
ステップS120では、新規追加教示用欠陥リストテーブルT100から読み出すデータを特定するためのカウンタkに“1”が設定される。その後、ステップS122に進む。
ステップS122では、制御部510が、カウンタkに対応した新規追加教示用欠陥データを記憶部520から読み出す。カウンタkが“1”である場合、制御部510は、新規追加教示用欠陥リストテーブルT100の新規追加教示用欠陥IDが“1”に対応する新規追加教示用欠陥データを記憶部520から読み出す。
この場合、新規追加教示用欠陥データに基づく新規追加教示用欠陥は、追加元教示用欠陥ID“1”に対応する欠陥の面積のみを5%小さくした欠陥となる。
なお、カウンタkが“4”である場合、制御部510は、新規追加教示用欠陥リストテーブルT100の新規追加教示用欠陥IDが“4”に対応する新規追加教示用欠陥データを記憶部520から読み出す。
この場合、新規追加教示用欠陥データに基づく新規追加教示用欠陥は、追加元教示用欠陥ID“2”に対応する欠陥の面積を5%小さくするとともに、コントラストを5%低下させた欠陥となる。ステップS122の処理が終了すると、ステップS130の処理に進む。
ステップS130では、新規追加教示用欠陥の描画位置を決定する新規追加欠陥描画位置決定処理が行なわれる。新規追加教示用欠陥の描画位置は欠陥の重心位置で表現するものとする。また、新規追加教示用欠陥の描画位置は、教示用原画像内において、新規追加教示用欠陥が、教示用原画像内の初期教示用欠陥、または、すでに追加された新規追加教示用欠陥の一部とも重ならない位置に決定される。さらに、新規追加教示用欠陥の描画位置は、新規追加教示用欠陥が、教示用原画像内に収まる位置に決定される。
図9は、新規追加欠陥描画位置決定処理のフローチャートである。以下に説明する処理においては、たとえば、図4の教示用原画像700が使用されるものとする。
図9を参照して、ステップS131では、初期設定処理が行なわれる。初期設定処理では、制御部510が、ユーザがあらかじめ設定しておいた描画位置設定データを記憶部520から読み出す。そして、読み出した描画位置設定データに基づき、初期設定を行なう。
描画位置設定データには、新規追加教示用欠陥の描画位置の選択を、追加元教示用欠陥の近傍から行なうか否かを示す近傍選択データが含まれる。近傍選択データが、たとえば、“1”に設定されている場合、新規追加教示用欠陥の描画位置の選択は、追加元教示用欠陥の近傍から行なわれる。
また、描画位置設定データには、追加元教示用欠陥が配置された描画位置が、背景の濃度値に対して妥当な位置であるかを判定するときに、濃度値の分散値を使用するか否かを示す分散値使用許可データが含まれる。分散値使用許可データが、たとえば、“1”に設定されている場合、当該判定の際、濃度値の分散値を使用する。
ステップS131の処理が終了すると、ステップS132に進む。
ステップS132では、制御部510が、新規追加教示用欠陥の描画位置の選択を、追加元教示用欠陥の近傍から行なうか否かを判定する。具体的には、読み出した近傍選択データが“1”であるか否かを判定する。ステップS132において、YESならば、ステップS133に進む。一方、ステップS132において、NOならば、ステップS133Aに進む。
ステップS132では、制御部510が、新規追加教示用欠陥の描画位置の選択を、追加元教示用欠陥の近傍から行なうか否かを判定する。具体的には、読み出した近傍選択データが“1”であるか否かを判定する。ステップS132において、YESならば、ステップS133に進む。一方、ステップS132において、NOならば、ステップS133Aに進む。
ステップS133では、制御部510が、新規追加教示用欠陥の描画位置の選択を、追加元教示用欠陥の近傍から行なう。具体的には、制御部510は、教示用原画像700の追加元教示用欠陥(たとえば、真欠陥720)の重心位置から、たとえば、4画素離れた位置を描画位置に決定する。なお、制御部510は、ステップS133の処理が行なわれる毎に、たとえば、螺旋上に、前回決めた描画位置から4画素離れた位置を描画位置に決定する。なお、描画位置の決め方は、螺旋上に限定されることはない。また、描画位置を決定する際の4画素離れた位置というのは、一例であって、たとえば、8画素離れた位置であってもよい。その後、ステップS133Bに進む。
ステップS133Aでは、制御部510が、新規追加教示用欠陥の描画位置の選択をランダムに行なう。制御部510は、教示用原画像700の追加元教示用欠陥(たとえば、真欠陥720)の位置に関係なく、ランダムに、新規追加教示用欠陥の描画位置を決定する。その後、ステップS133Bに進む。
なお、新規追加教示用欠陥の描画位置の選択処理は、ステップS133,S133Aの処理に限定されることはない。たとえば、新規追加教示用欠陥の描画位置の選択処理は、画像の左上の画素から画像の右端に向かって順番に行なわれてもよい。
ステップS133Bでは、新規追加教示用欠陥作成処理が行なわれる。新規追加教示用欠陥作成処理では、制御部510が、ステップS122で読み出した新規追加教示用欠陥データに基づいて新規追加教示用欠陥のサイズおよび形状を決定する。
なお、制御部510が新規追加教示用欠陥データに基づいて作成する新規追加教示用欠陥の面積やフェレ径などのサイズが追加元教示用欠陥と異なる場合、制御部510は、画像処理の一般的技術を用いて拡大・縮小、縦横比変更処理を行なうことにより、新規追加教示用欠陥のサイズおよび形状を決定する。
また、制御部510が新規追加教示用欠陥データに基づいて作成する新規追加教示用欠陥が追加元教示用欠陥に対して回転する場合、制御部510は、画像処理の一般的技術を用いて回転変換を行なうことにより、新規追加教示用欠陥のサイズおよび形状を決定する。なお、新規追加教示用欠陥の全画素の濃度値は、後述する処理により算出される。
図10は、教示用原画像700に新規追加教示用欠陥を配置した新規欠陥追加教示用画像705を示す。
図10を参照して、新規欠陥追加教示用画像705は、ステップS133またはS133Aの処理により決定された描画位置に、新規追加教示用欠陥724を配置した画像の一例である。
再び、図9を参照して、ステップS133Bの処理が終了すると、ステップS134に進む。
ステップS134では、制御部510が、ステップS133またはステップS133Aで決定された追加教示用欠陥の描画位置に配置された追加教示用欠陥が、他の欠陥と重なるか否かを判定する。
具体的には、制御部510が、追加元教示用欠陥の位置および新規追加教示用欠陥のサイズ等に基づいて定められている、新規追加教示用欠陥を構成する複数の画素の各々座標と、追加元教示用欠陥またはすでに追加された新規追加教示用欠陥を構成する複数の画素の各々の座標とが重なっているか否かを判定する。
ステップS134において、YESならば、再度、ステップS132の処理が行なわれる。一方、ステップS134において、NOならば、ステップS135に進む。
ステップS135では、欠陥領域設定処理が行なわれる。欠陥領域設定処理では、制御部510が、新規追加教示用欠陥724に対して欠陥領域を設定する。具体的には、制御部510は、追加教示用欠陥724の描画位置、面積およびフェレ径情報から得られるサイズ情報に基づいて、欠陥領域の横幅の画素数と縦幅の画素数とを算出し、新規追加教示用欠陥724に対して欠陥領域を設定する。
図11は、教示用原画像705に対し欠陥領域を設定した欠陥領域設定画像である。
図11を参照して、教示用原画像705には、欠陥領域762が設定される。欠陥領域762は、新規追加教示用欠陥724に対して設定された領域である。
図11を参照して、教示用原画像705には、欠陥領域762が設定される。欠陥領域762は、新規追加教示用欠陥724に対して設定された領域である。
再び、図9を参照して、次に、制御部510は、欠陥領域762内の画素から、新規追加教示用欠陥724の画素部分を除くことで、欠陥領域762に対応する新規追加教示用欠陥背景領域の画素を算出する。その後、ステップS136に進む。
ステップS136では、平均濃度値比較処理が行なわれる。平均濃度値比較処理では、制御部510が、新規追加教示用欠陥背景領域内の全画素の濃度値の平均値(以下においては、新規追加教示用欠陥背景領域平均濃度値とも称する)を算出する。その後、ステップS136Aに進む。
ステップS136Aでは、制御部510が、ステップS110で算出された欠陥領域760内の欠陥背景領域平均濃度値と、ステップS136で算出された新規追加教示用欠陥背景領域平均濃度値との差の絶対値が、所定値(たとえば、60)以下であるか否かを判定する。
すなわち、ステップS136,S136Aの処理では、ステップS133またはS133Aの処理により決定された新規追加教示用欠陥の描画位置が適切な位置であるか否かが判定される。
ステップS136Aにおいて、YESならば、ステップS137の処理に進む。一方、ステップS136Aにおいて、NOならば、再度、ステップS132の処理が行なわれる。
ステップS137では、制御部510が、ステップS133またはS133Aの処理により決定された新規追加教示用欠陥の描画位置が背景の濃度値に対して妥当な位置であるかを判定するときに、濃度値の分散値を使用するか否かを判定する。具体的には、制御部510は、分散値使用許可データが“1”であるか否かを判定する。ステップS137において、YESならば、ステップS137Aに進む。一方、ステップS137において、NOならば、この新規追加欠陥描画位置決定処理の処理は終了し、再度、新規欠陥追加教示用画像生成処理に戻り、ステップS130の次のステップS140に進む。
ステップS137Aでは、濃度値分散比較処理が行なわれる。濃度値分散比較処理では、制御部510が、欠陥領域760内の欠陥背景領域の全画素の濃度値の分散値(以下においては、追加元教示用欠陥背景領域分散値とも称する)を算出する。
次に、制御部510が、新規追加教示用欠陥背景領域の全画素の濃度値の分散値(以下においては、新規追加教示用欠陥背景領域分散値とも称する)を算出する。その後、ステップS137Bに進む。
ステップS137Bでは、制御部510が、ステップS137Aで算出された追加元教示用欠陥背景領域分散値と、ステップS137Aで算出された新規追加教示用欠陥背景領域分散値との差の絶対値が、所定値(たとえば、60)以下であるか否かを判定する。
すなわち、ステップS137A,S137Bの処理では、ステップS133またはS133Aの処理により決定された新規追加教示用欠陥の描画位置が、ステップS136,S136Aの処理の処理よりも、さらに適切な位置であるか否かが判定される。
ステップS137Bにおいて、YESならば、この新規追加欠陥描画位置決定処理の処理は終了し、再度、新規欠陥追加教示用画像生成処理に戻り、ステップS130の次のステップS140に進む。一方、ステップS137Bにおいて、NOならば、再度、ステップS132の処理が行なわれる。
以上の新規追加欠陥描画位置決定処理により、新規追加教示用欠陥の描画位置が決定される。
再び、図5を参照して、ステップS130の処理の後、ステップS140の処理が行なわれる。
ステップS140では、新規追加教示用欠陥描画処理が行なわれる。新規追加教示用欠陥描画処理では、制御部510およびVDP532の処理により、表示部530に表示させる画像データを記憶するためのVRAM536に、教示用原画像700が描画される。
次に、新規追加教示用欠陥724の全画素の濃度値が算出される。具体的には、新規追加教示用欠陥724と、追加元教示用欠陥720とのサイズおよび形状が同じである場合、制御部510は、新規追加教示用欠陥724の全画素の濃度値を、欠陥720の濃度値に設定する。
新規追加教示用欠陥724が拡大、縮小、回転等の処理を施され、新規追加教示用欠陥724と、追加元教示用欠陥720とのサイズおよび形状が異なる場合、制御部510は、追加元教示用欠陥720を、新規追加教示用欠陥724と同じサイズおよび形状になるように拡大、縮小、回転等の処理をすることで形状を変更する。そして、新規追加教示用欠陥724の全画素の濃度値を、形状が変更された欠陥720の全画素の濃度値にそれぞれ設定する。
次に、制御部510は、新規追加教示用欠陥724の全画素の平均値(以下においては、新規追加教示用欠陥平均濃度値とも称する)を算出する。次に、制御部510は、新規追加教示用欠陥平均濃度値と、前述した新規追加教示用欠陥背景領域平均濃度値との差の絶対値(以下においては、新規追加教示用欠陥コントラストとも称する)を求める。
次に、制御部510は、新規追加教示用欠陥コントラストと、前述の欠陥領域760のコントラストとの差の絶対値が、所定値(たとえば、0.4)以下であれば、設定した新規追加教示用欠陥724の全画素の濃度値を、最終的な濃度値とする。なお、所定値は、“0”であってもよい。
また、制御部510は、新規追加教示用欠陥コントラストと、欠陥領域760のコントラストとの差の絶対値が、所定値より大きければ、新規追加教示用欠陥コントラストが、所定値以下となるように、当該求めた差の絶対値(オフセット値)を、新規追加教示用欠陥724の全画素の濃度値に加算または減算することで、最終的な新規追加教示用欠陥724の全画素の濃度値を算出する。
次に、制御部510およびVDP532の処理により、VRAM536上の、新規追加欠陥描画位置決定処理により決定された新規追加教示用欠陥の描画位置に、ステップS133Bで形状が生成され、上記処理で濃度値が決定された新規追加教示用欠陥724を描画する。その後、ステップS150に進む。
ステップS150では、制御部510が、ステップS112の処理で決定された新規追加元教示用欠陥の数と、ステップS140で描画した新規追加教示用欠陥の数とが等しいか否かを判定する。ステップS150において、YESならば、ステップS160に進む。一方、ステップS150において、NOならば、ステップS152に進む。
ステップS152では、制御部510が、カウンタkを“1”インクリメントする。その後、再度、ステップS122の処理が行なわれる。
ステップS160では、制御部510が、VRAM536に記憶された画像データ(新規欠陥追加教示用画像のデータ)を、記憶部520に記憶させる。そして、この新規欠陥追加教示用画像生成処理は終了する。
以上説明した新規欠陥追加教示用画像生成処理により新規欠陥追加教示用画像が生成される。
図12は、本実施の形態における教示用画像生成装置500の機能ブロック図である。
図12を参照して、教示用画像生成装置500は、教示用画像生成管理部として動作する。教示用画像生成装置500には、画像データ入力部600および表示部530が接続されている。
図12を参照して、教示用画像生成装置500は、教示用画像生成管理部として動作する。教示用画像生成装置500には、画像データ入力部600および表示部530が接続されている。
教示用画像生成装置500は、制御部510を含む。
制御部510は、画像入力部511、欠陥選択部512、画像処理演算部513、新規追加教示用欠陥描画部514、教示用画像生成完了判定部516として動作する。教示用画像データベース182は、記憶部520に記憶されている。教示用画像データベース182は、画像データ入力部600から入力された教示用原画像を含む。
制御部510は、画像入力部511、欠陥選択部512、画像処理演算部513、新規追加教示用欠陥描画部514、教示用画像生成完了判定部516として動作する。教示用画像データベース182は、記憶部520に記憶されている。教示用画像データベース182は、画像データ入力部600から入力された教示用原画像を含む。
画像入力部511は、前述のステップS100の処理を行なう機能を有する。
欠陥選択部512は、前述のステップS104の処理を行なう機能を有する。
欠陥選択部512は、前述のステップS104の処理を行なう機能を有する。
画像処理演算部513は、前述のステップS108,S110,S112,S114,S120,S122,S130,S152の処理を行なう機能を有する。
新規追加教示用欠陥描画部514は、前述のステップS140の処理を行なう機能を有する。
教示用画像生成完了判定部516は、前述のステップS150の処理を行なう機能を有する。
記憶部520は、新規欠陥追加教示用画像生成処理により新規欠陥追加教示用画像を記憶する教示用画像記憶部として動作する。
以上説明したように、本実施の形態では、検査対象物650を撮像した教示用原画像から追加元教示用欠陥を決定し、追加元教示用欠陥の特徴量を変化させた新規追加教示用欠陥を、教示用原画像に追加した新規欠陥追加教示用画像を生成する。したがって、新規欠陥追加教示用画像は、人為的に教示用原画像に新規追加教示用欠陥を描画して追加する場合と比較して、より実環境における欠陥の特徴量を反映した新規追加教示用欠陥が配置された画像となるという効果を奏する。
また、本実施の形態では、1枚の教示用原画像上に複数の新規追加教示用欠陥を追加する。したがって、1つの新規追加教示用欠陥を配置した画像を、複数作成して、記憶部520に記憶させておく必要がないため、記憶部520へのアクセス時間を短縮できるという効果を奏する。
また、複数の新規追加教示用欠陥が配置された画像を記憶部520に記憶させることで、記憶部520の使用する記憶領域を少なくすることができ、結果としてコストダウンを実現することが可能となるという効果を奏する。
また、新規追加教示用欠陥の描画位置を、教示用原画像内の追加元教示用欠陥の重心位置を中心にして探索することにより決定する。これにより、新規追加教示用欠陥の描画位置が、追加元教示用欠陥の重心位置の近い位置に決定された場合、新規追加教示用欠陥の欠陥背景領域は、追加元教示用欠陥の欠陥背景領域と似通ったものとなる。したがって、検査対象の場所に依存する欠陥の出現性を反映することが可能となるという効果を奏する。
また、追加元教示用欠陥の濃度値を変更した新規追加教示用欠陥を生成する場合、新規追加教示用欠陥の平均濃度値と、追加元教示用欠陥の平均濃度値との差分のオフセットを新規追加教示用欠陥の画素に加算または減算する。
すなわち、追加元教示用欠陥の濃度分布形状を保持したまま濃度軸に沿って平行移動したものが、新規追加教示用欠陥の濃度分布形状となる。したがって、追加元教示用欠陥の濃度分布と同じ濃度分布であるが面積や出現位置が異なる新規追加教示用欠陥を作成することができる。
その結果、人為的に教示用原画像に新規追加教示用欠陥を追加する場合と比較して、より実環境における欠陥の特徴量を反映した新規追加教示用欠陥を教示用原画像に追加することができるという効果を奏する。
<第2の実施の形態>
本実施の形態では、第1の実施の形態よりも、より学習に適した新規欠陥追加教示用画像を生成する処理について説明する。以下においては、学習に適した新規欠陥追加教示用画像を生成する処理を、新規欠陥追加教示用画像生成処理Aとも称する。
本実施の形態では、第1の実施の形態よりも、より学習に適した新規欠陥追加教示用画像を生成する処理について説明する。以下においては、学習に適した新規欠陥追加教示用画像を生成する処理を、新規欠陥追加教示用画像生成処理Aとも称する。
図13は、本実施の形態における教示用画像生成装置500Aの内部の構成を示すブロック図である。
図13を参照して、教示用画像生成装置500Aは、教示用画像生成装置500と比較して、記録媒体555の代わりに記録媒体555Aにデータアクセスする点と、記憶部520に、教示用画像生成プログラム180の代わりに教示用画像生成プログラム180Aが記録されている点と、記録媒体555Aに教示用画像生成プログラム180Aが記録されている点とが異なる。それ以外の構成および機能は教示用画像生成装置500と同様なので詳細な説明は繰り返さない。
図14は、新規欠陥追加教示用画像生成処理Aのフローチャートである。
図14を参照して、新規欠陥追加教示用画像生成処理Aは図5の新規欠陥追加教示用画像生成処理と比較して、ステップS102と、ステップS104との処理の間にステップS103Aの処理が行なわれる点と、ステップS112の代わりにステップS112Aの処理が行なわれる点と、ステップS114の代わりにステップS114Aの処理が行なわれる点と、ステップS120の代わりにステップS120Aの処理が行なわれる点と、ステップS122の代わりにステップS122Aの処理が行なわれる点とが異なる。それ以外の処理は、新規欠陥追加教示用画像生成処理と同様なので詳細な説明は繰り返さない。
図14を参照して、新規欠陥追加教示用画像生成処理Aは図5の新規欠陥追加教示用画像生成処理と比較して、ステップS102と、ステップS104との処理の間にステップS103Aの処理が行なわれる点と、ステップS112の代わりにステップS112Aの処理が行なわれる点と、ステップS114の代わりにステップS114Aの処理が行なわれる点と、ステップS120の代わりにステップS120Aの処理が行なわれる点と、ステップS122の代わりにステップS122Aの処理が行なわれる点とが異なる。それ以外の処理は、新規欠陥追加教示用画像生成処理と同様なので詳細な説明は繰り返さない。
なお、新規欠陥追加教示用画像生成処理AのステップS100において読み出した教示用原画像は、たとえば、図4の教示用原画像700であるとする。
新規欠陥追加教示用画像生成処理Aでは、ステップS102の処理の後、ステップS103Aに進む。
ステップS103Aでは、欠陥判定処理が行なわれる。欠陥判定処理では、制御部510が、ステップS100で読み出した教示用原画像700中の欠陥が、真欠陥または擬似欠陥のいずれであるかを判定する。
具体的には、ユーザが、表示部530に表示された教示用原画像700を参照して、教示用原画像700内の欠陥を真欠陥または擬似欠陥のいずれかに設定する。当該設定は、ユーザが、マウス542またはキーボード544等の入力装置を利用して、制御部510に指示を与えることで行なわれる。
制御部510は、当該指示に基づいて、前述の欠陥判定処理を行なう。本実施の形態では、教示用原画像700の欠陥720が真欠陥に設定され、欠陥710が擬似欠陥に設定されたとする。以下においては、当該欠陥の設定情報を示すデータを欠陥設定データとも称する。欠陥設定データは、制御部510が、記憶部520に記憶させる。
ステップS112Aでは、新規追加欠陥数決定処理Aが行なわれる。新規追加欠陥数決定処理Aでは、ステップS104において選択した追加元教示用欠陥(真欠陥720および擬似欠陥710)の各々に対し、追加元教示用欠陥のどの特徴量をどの程度変化させた欠陥を教示用原画像700に新たに追加するのかを決定することで追加する欠陥の数を決定する処理が行なわれる。当該処理は、記憶部520に記憶された新規追加教示用欠陥の数を設定するための特徴量変化設定データを制御部510が読み出して行なう。
本実施の形態における特徴量変化設定データは、追加元教示用欠陥が真欠陥である場合、追加元教示用欠陥の面積を減少させた新規追加教示用欠陥の数を特定するためのデータである。
また、特徴量変化設定データは、追加元教示用欠陥が擬似欠陥である場合、追加元教示用欠陥の面積を増加させた新規追加教示用欠陥の数を特定するためのデータである。
ここで、特徴量変化設定データは、真欠陥である追加元教示用欠陥に対しては、変化させる特徴量が、面積のみであって、たとえば、当該面積を10,20%それぞれ減少させるデータである。したがって、真欠陥としての新規追加教示用欠陥の数は2つとなる。
また、特徴量変化設定データは、擬似欠陥である追加元教示用欠陥に対しては、変化させる特徴量が、面積のみであって、たとえば、当該面積を10,20%それぞれ増加させるデータでもある。したがって、擬似欠陥としての新規追加教示用欠陥の数は2つとなる。
具体的には、制御部510は、記憶部520から欠陥設定データを読出し、真欠陥および擬似欠陥の数を認識し、特徴量変化設定データに基づいて、新規追加教示用欠陥の数を決定する。本実施の形態においては、欠陥設定データは、1つの真欠陥と、1つの擬似欠陥の情報を示すので、制御部510は、前述の特徴量変化設定データに基づいて、真欠陥としての新規追加教示用欠陥の数を2つに決定し、擬似欠陥としての新規追加教示用欠陥の数を2つに決定する。制御部510は、決定した欠陥の数の情報を記憶部520に記憶させる。なお、欠陥設定データは、1つの真欠陥と、1つの擬似欠陥の情報を示すデータに限定されることはない。欠陥設定データは、たとえば、2つ以上の真欠陥と、2つ以上の擬似欠陥の情報を示すデータであってもよい。すなわち、欠陥設定データは、ステップS100により読み出された教示用原画像に応じて変わる。
ステップS114Aでは、新規追加教示用欠陥リスト作成処理Aが行なわれる。新規追加教示用欠陥リスト作成処理Aでは、制御部510が、ステップS110により算出された欠陥の面積に基づいて、面積が大きい欠陥から、追加元教示用欠陥ID1,2を割り当てる。真欠陥720は、擬似欠陥710よりも大きいので、真欠陥720および擬似欠陥710にそれぞれ、追加元教示用欠陥ID1,2が割り当てられる。
次に、制御部510が、ステップS112Aで読み出された特徴量変化設定データおよび追加する欠陥の数に基づいて、全新規追加教示用欠陥について、新規追加教示用欠陥IDを、たとえば、1〜4まで割り当てて、新規追加教示用欠陥リストテーブルを作成する。作成された新規追加教示用欠陥リストテーブルは、制御部510が、記憶部520に記憶させる。
図15は、一例としての新規追加教示用欠陥リストテーブルT200を示す図である。
図15を参照して、新規追加教示用欠陥リストテーブルT200は、追加元教示用欠陥ID1,ID2がそれぞれ割り当てられた2つの追加元教示用欠陥の各々に対し追加する欠陥の数が2つである場合のリストを示す。
図15を参照して、新規追加教示用欠陥リストテーブルT200は、追加元教示用欠陥ID1,ID2がそれぞれ割り当てられた2つの追加元教示用欠陥の各々に対し追加する欠陥の数が2つである場合のリストを示す。
再び、図14を参照して、ステップS114Aの処理の後、ステップS120Aに進む。
ステップS120Aでは、制御部510が、新規追加教示用欠陥リストテーブルT200から読み出すデータを特定するためのカウンタkを“1”に設定する。その後、ステップS122Aに進む。
ステップS122Aでは、制御部510が、カウンタkに対応した新規追加教示用欠陥データを記憶部520から読み出す。カウンタkが、たとえば、“1”である場合、制御部510は、新規追加教示用欠陥リストテーブルT200の新規追加教示用欠陥IDが“1”に対応する新規追加教示用欠陥データを記憶部520から読み出す。
そして、図5の新規欠陥追加教示用画像生成処理と同様に、ステップS122A,S130,S140,S152の処理が、ステップS150の条件を満足するまで繰り返されることにより、新規欠陥追加教示用画像が生成される。
図16は、本実施の形態で生成された新規欠陥追加教示用画像700Bを示す図である。
図16を参照して、新規欠陥追加教示用画像700Bには、追加元教示用欠陥としての真欠陥720に対し、面積を10,20%それぞれ減少させた、真欠陥としての新規追加教示用欠陥722、724が配置される。また、新規欠陥追加教示用画像700Bには、追加元教示用欠陥としての擬似欠陥710に対し、面積を10,20%それぞれ増加させた、擬似欠陥としての新規追加教示用欠陥712、714が配置される。
なお、前述したステップS136Aにおいて、制御部510が、追加教示用欠陥に対応する欠陥領域のコントラストが、追加元教示用欠陥に対応する欠陥領域のコントラストとほぼ等しくなるように、新規追加教示用欠陥平均濃度値を変化させる処理を行なったとする。
新規追加教示用欠陥724の新規追加教示用欠陥背景領域平均濃度値は、追加元教示用欠陥としての真欠陥720の背景領域の平均濃度値よりも高い。したがって、新規追加教示用欠陥平均濃度値を変化させる処理により、前述の新規追加教示用欠陥724の平均濃度値は、真欠陥720の平均濃度値より高く設定される。
新規追加教示用欠陥714も、新規追加教示用欠陥724と同様に設定される。
以上説明したように、本実施の形態では、追加元教示用欠陥が真欠陥である場合、追加元教示用欠陥の面積を減少させた新規追加教示用欠陥を生成する。追加元教示用欠陥が擬似欠陥である場合、追加元教示用欠陥の面積を増加させた新規追加教示用欠陥を生成する。
以上説明したように、本実施の形態では、追加元教示用欠陥が真欠陥である場合、追加元教示用欠陥の面積を減少させた新規追加教示用欠陥を生成する。追加元教示用欠陥が擬似欠陥である場合、追加元教示用欠陥の面積を増加させた新規追加教示用欠陥を生成する。
したがって、新規欠陥追加教示用画像を学習させるアルゴリズムに対し、真欠陥は小さくなればなるほど検出しにくく、擬似欠陥は大きくなればなるほど検出してはいけないのに検出してしまうという問題を反映させることができる。すなわち、より学習に適した教示用画像としての新規欠陥追加教示用画像を生成することができるという効果を奏する。
また、本実施の形態によれば、教示用画像として必要性の低い大きい真欠陥や小さい擬似欠陥である新規追加教示用欠陥を追加することがないので、教示用画像作成に要する時間を短縮することができるという効果を奏する。
<第3の実施の形態>
第1および第2の実施の形態の新規欠陥追加教示用画像生成処理または新規欠陥追加教示用画像生成処理Aでは、教示用原画像の追加元教示用欠陥を利用して、教示用原画像に新規欠陥追加教示用画像を追加していた。本実施の形態では、教示用原画像が真欠陥が存在する欠陥画像である場合、新たに画像データを読み込んで、当該読み込んだ画像に対し、新規欠陥追加教示用画像を追加する処理について説明する。以下においては、当該処理を新規欠陥追加教示用画像生成処理Bとも称する。
第1および第2の実施の形態の新規欠陥追加教示用画像生成処理または新規欠陥追加教示用画像生成処理Aでは、教示用原画像の追加元教示用欠陥を利用して、教示用原画像に新規欠陥追加教示用画像を追加していた。本実施の形態では、教示用原画像が真欠陥が存在する欠陥画像である場合、新たに画像データを読み込んで、当該読み込んだ画像に対し、新規欠陥追加教示用画像を追加する処理について説明する。以下においては、当該処理を新規欠陥追加教示用画像生成処理Bとも称する。
図17は、本実施の形態における教示用画像生成装置500Bの内部の構成を示すブロック図である。
図17を参照して、教示用画像生成装置500Bは、図1の教示用画像生成装置500と比較して、記録媒体555の代わりに記録媒体555Bにデータアクセスする点と、記憶部520に、教示用画像生成プログラム180の代わりに教示用画像生成プログラム180Bが記録されている点と、記録媒体555Bに教示用画像生成プログラム180Bが記録されている点とが異なる。それ以外の構成および機能は教示用画像生成装置500と同様なので詳細な説明は繰り返さない。
図18は、新規欠陥追加教示用画像生成処理Bのフローチャートである。
図18を参照して、ステップS300では、図5のステップS100と同様に、制御部510が、教示用原画像データを読み出す。読み出した教示用原画像は、たとえば、図4の教示用原画像700であるとする。その後、ステップS302に進む。
図18を参照して、ステップS300では、図5のステップS100と同様に、制御部510が、教示用原画像データを読み出す。読み出した教示用原画像は、たとえば、図4の教示用原画像700であるとする。その後、ステップS302に進む。
ステップS302では、ステップS102と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS303に進む。
ステップS303では、ステップS103Aと同様に欠陥判定処理が行なわれる。すなわち、制御部510が、教示用原画像700中の欠陥が、真欠陥または擬似欠陥のいずれであるかを判定する。当該判定の具体的な処理は、ステップS103Aと同様なので詳細な説明は繰り返さない。
次に、制御部510は、教示用原画像700中に真欠陥があると判定すると、その教示用原画像を欠陥画像と判定する。一方、制御部510は、教示用原画像700中に擬似欠陥があっても、真欠陥がないと判定すると、その教示用原画像を良品画像と判定する。制御部510は、教示用原画像が、欠陥画像または良品画像のいずれかである情報を示す画像判定データと、欠陥設定データとを、記憶部520に記憶させる。その後、ステップS310に進む。
ステップS310では、制御部510が、ステップS300で読み込んだ教示用原画像がステップS303の処理により欠陥画像であるか否かを判定する。ステップS310において、YESならば、ステップS312に進む。一方、ステップS310において、NOならば、ステップS314に進む。
ステップS312では、新規欠陥追加用画像のデータを入力する。具体的には、制御部510が、図5のステップS100と同様に、教示用原画像データを新たに読み出す。以下においては、この処理において、新たに読み出した教示用原画像データに基づく教示用原画像を新規欠陥追加用画像とも称する。
図19は、本実施の形態における新規欠陥追加用画像および新規欠陥追加教示用画像を示す。
図19(A)は、ステップS312の処理で読み出された新規欠陥追加用画像800を示す図である。新規欠陥追加用画像800は、一例として、擬似欠陥810はあるものの、真欠陥はない、良品画像であるとする。
図19(B)は、新規欠陥追加教示用画像生成処理Bにより生成された新規欠陥追加教示用画像800Aを示す図である。
再び、図18を参照して、ステップS312の処理の後、ステップS313に進む。
ステップS313では、教示用原画像としての新規欠陥追加用画像に対し、ステップS303と同様な欠陥判定処理が行なわれる。すなわち、制御部510は、新規欠陥追加用画像を欠陥画像または良品画像のいずれであるかを判定する。そして、制御部510は、新規欠陥追加用画像が、欠陥画像または良品画像のいずれかである情報を示す画像判定データと、欠陥設定データとを、記憶部520に記憶させる。その後、ステップS314に進む。
ステップS313では、教示用原画像としての新規欠陥追加用画像に対し、ステップS303と同様な欠陥判定処理が行なわれる。すなわち、制御部510は、新規欠陥追加用画像を欠陥画像または良品画像のいずれであるかを判定する。そして、制御部510は、新規欠陥追加用画像が、欠陥画像または良品画像のいずれかである情報を示す画像判定データと、欠陥設定データとを、記憶部520に記憶させる。その後、ステップS314に進む。
ステップS314では、ステップS104と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS316に進む。
ステップS316では、ステップS106と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS318に進む。
ステップS318では、ステップS108と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS320に進む。
ステップS320では、ステップS110と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS322に進む。
ステップS322では、ステップS112Aと同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS324に進む。
ステップS324では、ステップS114Aと同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS330に進む。
ステップS330では、ステップS120Aと同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS332に進む。
ステップS332では、ステップS122Aと同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS334に進む。
ステップS334では、ステップS313の処理により判定された新規欠陥追加用画像に対応する画像判定データに基づいて、新規欠陥追加用画像が、良品画像であるか否かを判定する。ステップS334において、YESならば、ステップS340に進む。一方、ステップS334において、NOならば、ステップS336に進む。
ステップS336では、ステップS130と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップS340に進む。
ステップS340では、新規追加教示用欠陥描画処理Bが行なわれる。新規追加教示用欠陥描画処理Bでは、ステップS334の処理により、新規欠陥追加用画像が良品画像であると判定された場合、制御部510およびVDP532の処理により、表示部530に表示させる画像データを記憶するためのVRAM536に、新規欠陥追加用画像800が描画される(図19(A)参照)。そして、制御部510およびVDP532の処理により、VRAM536上の、ステップS320で算出された教示用原画像700の真欠陥720の重心位置に、教示用原画像700の真欠陥720と同じ新規追加教示用欠陥820が描画される(図19(B)参照)。
なお、新規追加教示用欠陥描画処理Bでは、ステップS334の処理により、新規欠陥追加用画像が欠陥画像であると判定された場合、ステップS140の処理と同様に、制御部510およびVDP532の処理により、VRAM536に、教示用原画像700が描画される。そして、さらに、制御部510およびVDP532の処理により、VRAM536上の、ステップS336の新規追加欠陥描画位置決定処理により決定された新規追加教示用欠陥の描画位置に、ステップS133Bで生成された追加教示用欠陥を描画する。その後、ステップS350に進む。
ステップS350では、制御部510が、ステップS322の処理で決定された新規追加元教示用欠陥の数と、ステップS340で描画した新規追加教示用欠陥の数とが等しいか否かを判定する。ステップS350において、YESならば、ステップS360に進む。一方、ステップS350において、NOならば、ステップS352に進む。
ステップS352では、制御部510が、カウンタkを“1”インクリメントする。その後、再度、ステップS332の処理が行なわれる。
ステップS360では、制御部510が、VRAM536に記憶された画像データ(新規欠陥追加教示用画像のデータ)を、記憶部520に記憶させる。そして、この新規欠陥追加教示用画像生成処理Bは終了する。
以上説明した新規欠陥追加教示用画像生成処理Bにより新規欠陥追加教示用画像が生成される。
再び、図19を参照して、本実施の形態では、ステップS312の処理で読み込んだ新規欠陥追加用画像は、良品画像である新規欠陥追加用画像800あるので、新規欠陥追加教示用画像生成処理Bにより新規欠陥追加教示用画像800Aが生成される。
以上説明したように、本実施の形態では、入力した最初の教示用原画像が欠陥画像である場合、教示用原画像データを新たに読み出し、新規欠陥追加用画像とする。そして、新規欠陥追加用画像が良品画像である場合、新規欠陥追加用画像内における、最初の教示用原画像の真欠陥の重心位置と対応する位置に、最初の教示用原画像の真欠陥と同じ新規追加教示用欠陥を追加した新規欠陥追加教示用画像を生成する。
したがって、新規欠陥追加教示用画像は、最初の教示用原画像の追加元教示用欠陥と背景が同じ環境での欠陥の面積やコントラスト変動を再現することが可能となるという効果を奏する。
なお、新規欠陥追加用画像が真欠陥を有する欠陥画像である場合で、かつ、新規欠陥追加用画像の追加元教示用欠陥の重心位置が、新規追加教示用欠陥の描画位置と同じとなった場合、追加元教示用欠陥と、新規追加教示用欠陥とが重なるので新規追加教示用欠陥を新規欠陥追加用画像に描画ができない。
しかし、新規欠陥追加用画像が良品画像である場合には、上記のような問題はなく、新規追加教示用欠陥を教示用原画像としての新規欠陥追加用画像に描画することができるという効果を奏する。
<第4の実施の形態>
次に、前述の第1〜第3の実施の形態の処理により生成された教示用画像としての新規欠陥追加教示用画像を学習アルゴリズムに学習させ、画像処理アルゴリズムを生成する画像処理アルゴリズム生成処理について説明する。
次に、前述の第1〜第3の実施の形態の処理により生成された教示用画像としての新規欠陥追加教示用画像を学習アルゴリズムに学習させ、画像処理アルゴリズムを生成する画像処理アルゴリズム生成処理について説明する。
図20は、本実施の形態における画像処理アルゴリズム生成装置500Cの内部の構成を示すブロック図である。
図20を参照して、画像処理アルゴリズム生成装置500Cは、図1の教示用画像生成装置500と比較して、記録媒体555の代わりに記録媒体555Cにデータアクセスする点と、記憶部520に、教示用画像生成プログラム180の代わりに画像処理アルゴリズム生成プログラム180Cが記録されている点と、記録媒体555Cに画像処理アルゴリズム生成プログラム180Cが記録されている点とが異なる。それ以外の構成および機能は教示用画像生成装置500と同様なので詳細な説明は繰り返さない。以上の構成の画像処理アルゴリズム生成装置500Cにより、画像処理アルゴリズムが生成される。
次に、画像処理アルゴリズム生成装置500Cにより画像処理アルゴリズムを生成するための処理について説明する。本実施の形態においては、画像処理フィルタの組合せを探索する組合せ最適化問題としてとらえ、進化的手法の一つである遺伝的アルゴリズムを用いて画像処理フィルタの組合せの最適化を行なう。すなわち、最適な画像処理フィルタの組合せ(局所解)を探索する。これらの画像処理フィルタの組合せである画像処理アルゴリズムを遺伝的アルゴリズムの1つの個体で表現する。以下においては、画像処理アルゴリズムを個体とも称する。
図21は、画像処理アルゴリズム生成処理のフローチャートである。
図21を参照して、ステップS400では、制御部510が、初期パラメータの設定を行なう。詳細は後述するが、初期パラメータには、N世代の個体数m、交叉確率Pc、突然変異確率Pm、終了条件、N+1世代に追加する優良個体数g1、N+1世代に追加するランダム生成個体数g2、N+1世代に追加するN世代の最良の個体を考慮した確率的生成個体数g3、N+1世代に追加するN世代の最良の個体を考慮した確率的生成時の確率変動割合、確率変動割合の変化率、1つの個体の画像処理フィルタ長の最大値L等がある。本実施の形態では、N世代の個体数mは、たとえば、“100”に設定されたとする。
図21を参照して、ステップS400では、制御部510が、初期パラメータの設定を行なう。詳細は後述するが、初期パラメータには、N世代の個体数m、交叉確率Pc、突然変異確率Pm、終了条件、N+1世代に追加する優良個体数g1、N+1世代に追加するランダム生成個体数g2、N+1世代に追加するN世代の最良の個体を考慮した確率的生成個体数g3、N+1世代に追加するN世代の最良の個体を考慮した確率的生成時の確率変動割合、確率変動割合の変化率、1つの個体の画像処理フィルタ長の最大値L等がある。本実施の形態では、N世代の個体数mは、たとえば、“100”に設定されたとする。
なお、上記パラメータでは、g1+g2+g3≦mが成立する。優良個体数g1、ランダム生成個体数g2、確率的生成個体数g3は、個体数mに対し、5%以下の個数であることが望ましい。
本実施例における終了条件は、最良の個体の評価値が、所定値(たとえば、1000)以上となる条件、または、後述する世代交代処理を繰り返す回数が所定回数(たとえば、100回)となる条件である。その後、ステップS401の処理が行なわれる。
ステップS401では、制御部510が、最初(1世代)の画像処理アルゴリズムをランダムにm個生成する。本実施の形態では、画像処理アルゴリズムは、予め準備された複数種類の画像処理フィルタの組合せによるものである。
図22は、フィルタテーブルT300を示す。フィルタテーブルT300は、画像処理フィルタの種類を特定するためのフィルタIDと画像処理フィルタの対応付けを示す。フィルタID“1”,“2”,“3” ,“4” ,“5” ,“6”には、それぞれ、平滑化フィルタ、中間値フィルタ、最大値フィルタ、最小値フィルタ、Sobel(ゾーベル)フィルタおよびラプラシアンフィルタが対応付けられている。
たとえば、平滑化フィルタは、注目画素とその近傍領域の画素の有する濃度値の平均値で注目画素の濃度値を置き換える処理を行なうフィルタである。また、平滑化フィルタの持つパラメータとしては、たとえば近傍領域を規定するパラメータ等がある。当該パラメータの値が、たとえば、“3”の場合は、フィルタサイズは3画素×3画素と規定される。この場合は注目画素とその近傍の8画素がフィルタ処理の対象となる。なお、平滑化フィルタ、中間値フィルタ、最大値フィルタが使用するフィルタサイズは、3画素×3画素に限定されることはなく任意のサイズ(たとえば、5画素×5画素)であってもよい。
なお、本実施の形態で使用されるフィルタは、上記フィルタに限定されることなく、他のフィルタ(たとえば、ガウシアンフィルタ)であってもよい。また、本実施の形態においては、画素の有する濃度値は、“0”〜“255”の範囲の値である。また、濃度値が“0”の場合、対応する画素は黒であるとする。また、濃度値が“255”の場合、対応する画素は白であるとする。また、画像処理アルゴリズムは種々の画像処理モジュール(フィルタ)の組合せと、各画像処理モジュールの持つパラメータ値によって表現される。
再び、図21を参照して、ステップS401では、制御部510が、1つの個体の画像処理フィルタ長の最大値Lに基づいて、上記フィルタを組み合わせた個体を生成する。ここで、最大値Lとは、フィルタを組み合わせる最大の数を示す。本実施の形態では、最大値Lは、たとえば、“8”であるとする。なお、最大値Lは“8”に限定されることなく任意の値(たとえば、“10”)であってもよい。最大値Lは、ユーザが経験的に決める値であり、個体の処理する難易度が高いほど、最大値Lを大きく設定することが望ましい。
制御部510は、生成する個体毎に、フィルタの個数を、“1”〜“8”の範囲でランダムに決定する。そして、制御部510は、生成する個体毎に決定されたフィルタの個数に基づいて、複数種類(図22の6種類)のフィルタの中から使用する画像処理フィルタを重複を妨げないでランダムに選択する。
図23は、本実施の形態において生成された個体を示す図である。
図23(A)は、ステップS401により、ランダムに生成されたm個の個体I(N)_1〜I(N)_mを示す。ステップS401により、m個の個体I(N)_1〜I(N)_mの各々が使用するフィルタの個数はランダムとなる。各個体を構成する番号は、フィルタIDを示す。たとえば、個体I(N)_1では、処理対象画像に対して、フィルタID“1”,“3”,“1”,“6”,“5”にそれぞれ対応するフィルタによる処理が順に行なわれる。すなわち、個体I(N)_1の一番左側に対応するフィルタIDが、処理対象画像に対して、一番最初に使用されるフィルタである。個体I(N)_1の一番右側に対応するフィルタIDが、処理対象画像に対して、一番最後に使用されるフィルタである。以下においては、処理対象画像に対して、個体I(N)_k(自然数)の画像処理が行なわれた画像を処理後画像とも称する。
図23(A)は、ステップS401により、ランダムに生成されたm個の個体I(N)_1〜I(N)_mを示す。ステップS401により、m個の個体I(N)_1〜I(N)_mの各々が使用するフィルタの個数はランダムとなる。各個体を構成する番号は、フィルタIDを示す。たとえば、個体I(N)_1では、処理対象画像に対して、フィルタID“1”,“3”,“1”,“6”,“5”にそれぞれ対応するフィルタによる処理が順に行なわれる。すなわち、個体I(N)_1の一番左側に対応するフィルタIDが、処理対象画像に対して、一番最初に使用されるフィルタである。個体I(N)_1の一番右側に対応するフィルタIDが、処理対象画像に対して、一番最後に使用されるフィルタである。以下においては、処理対象画像に対して、個体I(N)_k(自然数)の画像処理が行なわれた画像を処理後画像とも称する。
再び、図21を参照して、ステップS401の処理が終了するとステップS402に進む。
ステップS402では、制御部510が、記憶部520に記憶された教示用画像データベース182の中から教示用画像としての処理対象画像データを選択し、記憶部520から処理対象画像データを読み出す。当該読み出される処理対象画像は、前述の第1〜第3の実施の形態のうち、たとえば、第2の実施の形態の処理により生成された新規欠陥追加教示用画像であるとする。なお、当該読み出される処理対象画像は、第1および第3の実施の形態の処理により生成された新規欠陥追加教示用画像であってもよい。教示用画像データベース182は、各々が異なる複数種類の教示用画像データを含むデータベースである。
本実施の形態では、教示用画像は、処理対象画像と教示用目標画像とに分類される。教示用目標画像とは、処理対象画像に対して画像処理アルゴリズムによる画像処理を行なった画像が一致または近似することが望まれる画像である。処理対象画像に対して画像処理アルゴリズムによる画像処理を行なった画像が、前述の教示用目標画像に近い程、当該画像処理アルゴリズムの画像の認識率が高いといえる。
また、教示用目標画像は、2値画像に限定されることなく、たとえば、濃度値が“0”、“128”、“255”からなる3値画像であってもよい。この場合、濃度値が、たとえば、“128”付近の画素のみを抽出することになる。教示用目標画像は、たとえば、所望の抽出領域が配置された画像である。
図24は、本実施の形態における処理対象画像700Bおよび教示用目標画像700Cを示す図である。
図24(A)は、処理対象画像700Bを示す図である。処理対象画像700Bには、真欠陥720,722,724と、擬似欠陥710,712,714とが含まれる。
図24(B)は、教示用目標画像700Cを示す図である。教示用目標画像700Cは、所望の抽出領域720C,722C,724Cを有する。教示用目標画像700Cは、抽出領域720C,722C,724Cの画素のみが白く、抽出領域720C,722C,724C以外の画素が黒い画像とする。なお、処理対象画像700Bと、処理対象画像に対応する教示用目標画像700Cとは、対応づけられて記憶部520に記憶される。
再び、図21を参照して、ステップS402の処理が終了するとステップS403Aに進む。
ステップS403Aでは、制御部510が、個体I(N)_mにおいて、世代を表す世代番号Nを“1”に設定する。世代番号Nは、後述する世代交代処理が行なわれる毎に“1”インクリメントされる。その後、ステップS403Bに進む。
ステップS403Bでは、制御部510が、m個の個体I(N)_1〜I(N)_mの各々に対し後述の処理を実行するために使用するカウンタkを“1”に設定する。その後、ステップS404に進む。
ステップS404では、制御部510が、ステップS401において生成されたm個の個体I(N)_1〜I(N)_mのうち、k番目の個体I(N)_kによる画像処理を、処理対象画像に対して行ない、処理後画像を生成する。
たとえば、k=1のときは、個体I(N)_1による画像処理を、処理対象画像に対して行なうことになる。この場合、処理対象画像には、フィルタID“1”,“3”,“1”,“6”,“5”にそれぞれ対応するフィルタによる処理が順に行なわれる。処理対象画像に個体I(N)_1による画像処理が行なわれた画像が、個体I(N)_1の処理後画像となる。ステップS404の処理が終了すると、ステップS405に進む。
ステップS405では、制御部510が、処理後画像から個体(画像処理アルゴリズム)の評価値を算出する。本実施の形態では、ステップS402において読み出された教示用画像データに含まれるデータに基づく、教示用目標画像と、処理後画像との、各画素間の濃度値の差の絶対値を全ての画素分求める。そして、各画素に対して求めた絶対値を全ての画素分加算した値(以下においては、画像差分値とも称する)を求め、所定値(たとえば、2000)から減算する。本実施の形態では、当該減算することにより求められた値を、画像処理アルゴリズムの評価値とする。
したがって、画像差分値が小さいほど、すなわち、評価値が大きいほど、対応する個体(画像処理アルゴリズム)によって生成された処理後画像は教示用目標画像に近いものとなる。すなわち、当該個体(画像処理アルゴリズム)は、処理対象画像を、教示用目標画像と認識する認識率が高いといえる。すなわち、個体(画像処理アルゴリズム)の評価値が大きいほど、優良な(認識率の高い)画像処理アルゴリズムであるといえる。ステップS405の処理が終了すると、ステップS406に進む。
ステップS406では、制御部510が、カウンタkを1インクリメントする。その後、ステップS407に進む。
ステップS407では、制御部510が、カウンタkが個体の数mより大きいか否かを判定する。ステップS407において、YESならば、ステップS408に進む。一方、ステップS407において、NOならば、再度、ステップS404の処理が行なわれる。すなわち、m個全ての個体の評価値の算出が完了した場合、ステップS408に進む。
ステップS408では、制御部510が、m個全ての個体の中から最良の個体(画像処理アルゴリズム)を決定する。この場合、算出された評価値が最も大きい個体(画像処理アルゴリズム)が最良の個体となる。その後、ステップS409に進む。
ステップS409では、制御部510が、前述の終了条件を満たしているか否かを判定する。ステップS409において、YESならば、この画像処理アルゴリズム生成処理は終了する。画像処理アルゴリズム生成処理が終了するのは、たとえば、ある世代の最良の個体(画像処理アルゴリズム)の評価値が1000以上の場合である。または、世代番号Nが、100以上の値となった場合である。すなわち、後述する世代交代処理が、100回行なわれた場合である。世代交代処理が100回行なわれると、その世代の最良の個体(画像処理アルゴリズム)の評価値が1000未満であっても、画像処理アルゴリズム生成処理が終了する。
この画像処理アルゴリズム生成処理が終了したときの世代(以下においては、最終世代とも称する)における、m個全ての個体(画像処理アルゴリズム)またはステップS408で決定された最終世代の最良の個体(画像処理アルゴリズム)が、最終的な個体(画像処理アルゴリズム)、すなわち、最終画像処理アルゴリズムである。
一方、ステップS409において、NOならば、ステップS410の処理が行なわれる。
ステップS410では、進化的手法による次世代画像処理アルゴリズム生成処理が行なわれる。なお、以下に説明する次世代画像処理アルゴリズム生成処理は、進化的手法では、世代交代処理または遺伝的操作と呼ばれる。なお、遺伝的アルゴリズムにおいても、以下に説明する次世代画像処理アルゴリズム生成処理は世代交代処理または遺伝的操作と呼ばれる。
図25は、次世代画像処理アルゴリズム生成処理のフローチャートである。
図25を参照して、ステップS510では、制御部510が、世代番号N、すなわち、N世代のm個の個体(画像処理アルゴリズム)に対し、対応する評価値に基づいて順位付けを行なう。本実施の形態では、評価値が最も大きい個体を最良(1番目)の個体とし、評価値が最も小さい個体がm番目の個体となる。なお、評価値が全く同じ個体が複数存在する場合には、その複数の個体間の順位の前後は任意とする。その後、ステップS520に進む。
図25を参照して、ステップS510では、制御部510が、世代番号N、すなわち、N世代のm個の個体(画像処理アルゴリズム)に対し、対応する評価値に基づいて順位付けを行なう。本実施の形態では、評価値が最も大きい個体を最良(1番目)の個体とし、評価値が最も小さい個体がm番目の個体となる。なお、評価値が全く同じ個体が複数存在する場合には、その複数の個体間の順位の前後は任意とする。その後、ステップS520に進む。
ステップS520では、ステップS510において順位付けられたm個の個体のうち、前述のステップS400で設定した優良個体数g1に基づいて、1番目からg1番目の個体を、変化させることなくN+1世代に追加する。
ここで、優良個体数g1とは、N世代のm個の個体のうち、変化させることなくN+1世代に追加させる個体の数である。本実施の形態では、優良個体数g1は“1”であるとする。すなわち、本実施の形態では、1番目の個体のみをN+1世代に追加する。具体的には、制御部510が、当該1番目の個体(画像処理アルゴリズム)を記憶部520に記憶させる。なお、N+1世代には、最初、個体はないものとする。なお、優良個体数g1は“1”に限定されることなく任意の値(たとえば、“2”)であってもよい。
再び、図23を参照して、図23(B)は、N+1世代の個体を示す図である。なお、本実施の形態では、N+1世代の個体を生成する場合、個体数mは変化しないものとする。ステップS520の処理により、N世代の個体I(N)_1は、変化せず、すなわち、フィルタの組合せが変化することなく、N+1世代に追加され、個体I(N+1)_1となる。
再び、図25を参照して、ステップS520の処理が終了すると、ステップS530に進む。
ステップS530では、N世代の最良な画像処理アルゴリズムを考慮した確率的生成処理が行なわれる。確率的生成処理では、制御部510が、ステップS510において行なわれたm個の個体の順位付け、前述のステップS400で設定した確率的生成個体数g3、確率変動割合および確率変動割合の変化率に基づいて、g3個の個体を生成し、N+1世代に追加する。
確率的生成処理における個体の生成方法では、N+1世代の個体において、複数種類のフィルタの中からフィルタを選択する選択確率を、N世代の最良の個体で使用されるフィルタに基づいて変化させる。
ここで、確率的生成個体数g3とは、N+1世代に追加するN世代の最良の個体を考慮した個体の数である。確率変動割合Pfは、N+1世代に追加するN世代の最良の個体を考慮した確率的生成時の確率である。確率的生成個体数g3、確率変動割合および変化率は、ユーザが経験的に決める値である。
本実施の形態では、確率的生成個体数g3は、“2”であるとする。なお、確率的生成個体数g3は、“2”に限定されることなく任意の値であってもよい。
再び、図23(B)を参照して、ステップS530により、個体I(N+1)_2および個体I(N+1)_3がN+1世代に追加される。
再び、図25を参照して、ステップS530の処理の後、ステップS540に進む。
ステップS540では、前述のステップS400で設定したランダム生成個体数g2に基づいて、ステップS401と同様の方法により、ランダムにg2個の個体を生成し、N+1世代に追加する。ここで、ランダム生成個体数g2とは、ランダムに生成し、N+1世代に追加する個体の数である。本実施の形態では、ランダム生成個体数g2は“1”であるとする。なお、ランダム生成個体数g2は“1”に限定されることなく任意の値(たとえば、“2”)であってもよい。
ステップS540では、前述のステップS400で設定したランダム生成個体数g2に基づいて、ステップS401と同様の方法により、ランダムにg2個の個体を生成し、N+1世代に追加する。ここで、ランダム生成個体数g2とは、ランダムに生成し、N+1世代に追加する個体の数である。本実施の形態では、ランダム生成個体数g2は“1”であるとする。なお、ランダム生成個体数g2は“1”に限定されることなく任意の値(たとえば、“2”)であってもよい。
再び、図23(B)を参照して、ステップS540により、個体I(N+1)_4がN+1世代に追加される。なお、個体I(N+1)_4は、個体I(N)_4と同じになる場合もある。
再び、図25を参照して、ステップS540の処理が終了すると、ステップS550に進む。
ステップS550では、N世代のm(100)個の個体から、遺伝的操作の一つである交叉によりm−(g1+g2+g3)個の個体を生成する。すなわち、N世代のm(100)個の個体から、交叉により100−(1+1+2)=96個の個体を生成する。
図26は、本実施の形態における交叉または突然変異のための個体の選択手法の一例を示す図である。
図26を参照して、まず、制御部510が、100個の10%である10個を、100個の個体の中からランダムに選択する(図26(B))。そして、制御部510は、ランダム選択した10個の個体のうち、最も評価値の高い個体を最優良個体として選択する(図26(C))。制御部510は、以上の処理を2回繰り返すことにより、100個の個体の中から2個の個体(以下においては、交叉対象2個体とも称する)をランダムに選択する。
そして、制御部510は、前述の交叉確率Pcに基づいて、交叉対象2個体を交叉させ、2つの個体を生成する。ここで、交叉確率Pcとは、交叉対象2個体を交叉させる確率である。本実施の形態では、交叉確率Pcは、0.9(90%)であるとする。なお、交叉確率Pcは、0.9に限定されることはない。交叉は、以下に説明する手法により行なわれる。
図27は、交叉、突然変異を説明するための図である。
図27(A)および図27(B)は、交叉を説明するための図である。
図27(A)および図27(B)は、交叉を説明するための図である。
図27(A)および図27(B)を参照して、交叉とは、互いに隣り合う2つの構成要素を任意の位置(以下においては、交叉点)で切断し、切断された一方を互いに交換することで、第N+1世代の2つの新しい個体を生成するものである。
以上の交叉の処理を繰り返すことにより、N世代のm(100)個の個体から、96個の個体を生成する。
再び、図25を参照して、ステップS550の処理が終了すると、ステップS560に進む。
ステップS560では、ステップS550で生成した96個の個体(以下においては、突然変異対象個体とも称する)に対して、前述の突然変異確率Pmに基づいて遺伝的操作の一つである突然変異を施す(以下においては、突然変異処理とも称する)。ここで、突然変異確率Pmとは、96個の突然変異対象個体に対して、突然変異を行なう確率である。本実施の形態では、突然変異確率Pmは、0.05(5%)であるとする。なお、突然変異確率Pmは、0.05に限定されることはない。本実施の形態では、突然変異は、制御部510が、以下に説明する手法を96個の突然変異対象個体の各々に対し5%の確率で行なう。
再び、図27を参照して、図27(C)は、突然変異を説明するための図である。
図27(C)を参照して、突然変異とは、第N世代の1つの個体の任意の位置(突然変異部)を選択し、突然変異部に対応する個体(画像処理フィルタ)の種類をランダムに任意の個体(画像処理フィルタ)に変更することで第N+1世代の新しい個体を生成するものである。なお、突然変異部は、複数であってもよい。
図27(C)を参照して、突然変異とは、第N世代の1つの個体の任意の位置(突然変異部)を選択し、突然変異部に対応する個体(画像処理フィルタ)の種類をランダムに任意の個体(画像処理フィルタ)に変更することで第N+1世代の新しい個体を生成するものである。なお、突然変異部は、複数であってもよい。
そして、制御部510は、突然変異処理が行なわれた96個の個体をN+1世代に追加する。具体的には、制御部510が、生成した96個の個体(画像処理アルゴリズム)を記憶部520に記憶させる。以上の処理により、N+1世代の個体の数は、N世代と同じ個体の数となる。すなわち、記憶部520に記憶された個体(画像処理アルゴリズム)の数は100個となる。そして、この次世代画像処理アルゴリズム生成処理は終了し、図21の画像処理アルゴリズム生成処理の処理に戻り、ステップS412に進む。
なお、本実施の形態における次世代画像処理アルゴリズム生成処理内のステップS520,S530,S540,S550,S560の処理の順序は、前述の順番に限定されることはなく、任意である。たとえば、ステップS530の処理が、ステップS520の処理よりも先に行なわれてもよい。
ステップS412では、制御部510が、世代番号Nを1インクリメントする。その後、再度、ステップS403Bの処理が行なわれる。
そして、ステップS409で、終了条件が満たされたと判定されるまで、ステップS403B,S404,S405,S406,S407,S408,S410,S412の処理が繰り返される。以上の処理により、世代が交代するにつれてm個の個体(画像処理アルゴリズム)が、優秀な(認識率の高い)m個の個体(画像処理アルゴリズム)に変化していく。そして、ステップS409で終了条件が満たされたときには、記憶部520には、優良な100個の個体(画像処理アルゴリズム)が記憶される。
以上、本実施の形態においては、最適化手法として遺伝的アルゴリズムを使用したが、遺伝的プログラミングや進化的アルゴリズムなど他の進化的手法を用いてもよいし、ニューラルネットワークなどの進化的手法以外の最適化手法を用いてもよいものとする。
また、画像処理フィルタとして図22に挙げたものは一例であり、ノイズ除去や2値化処理なども画像処理フィルタに含めても構わないものとする。
図28は、本実施の形態における画像処理アルゴリズム生成装置500Cの機能ブロック図である。
図28を参照して、画像処理アルゴリズム生成装置500Cは、画像処理アルゴリズム管理部として動作する。画像処理アルゴリズム生成装置500Cには、画像データ入力部600および表示部530が接続されている。
画像処理アルゴリズム生成装置500Cは、制御部510を含む。
制御部510は、初期パラメータ設定部511C、目標画像設定部512C、画像処理アルゴリズム生成部513C、画像データ変換部514C、画像処理アルゴリズム性能評価部515C、画像処理アルゴリズム生成完了判断部516Cとして動作する。教示用画像データベース182は、記憶部520に記憶されている。教示用画像データベース182は、画像データ入力部600から入力された処理対象画像を含む。
制御部510は、初期パラメータ設定部511C、目標画像設定部512C、画像処理アルゴリズム生成部513C、画像データ変換部514C、画像処理アルゴリズム性能評価部515C、画像処理アルゴリズム生成完了判断部516Cとして動作する。教示用画像データベース182は、記憶部520に記憶されている。教示用画像データベース182は、画像データ入力部600から入力された処理対象画像を含む。
初期パラメータ設定部511Cは、ユーザがあらかじめ設定されている初期パラメータを変更したい際に、マウス524またはキーボード544等の入力機器を用いたユーザからの指示に基づいて、初期パラメータを変更する機能を有する。初期パラメータ設定部511Cは、前述のステップS400の処理を行なう機能を有する。
目標画像設定部512Cは、ユーザが、教示用画像データベース182を構成する教示用画像データの処理対象画像を表示部530で参照して、マウス524またはキーボード544等の入力機器を用いたユーザからの指示の基づいて、所望の抽出領域を配置した教示用目標画像を生成する機能を有する。
画像処理アルゴリズム生成部513は、前述のステップS401、S410の処理を行なう機能を有する。
画像データ変換部514Cは、前述のステップS404の処理を行なう機能を有する。
画像処理アルゴリズム性能評価部515Cは、前述のステップS405,S408の処理を行なう機能を有する。
画像処理アルゴリズム性能評価部515Cは、前述のステップS405,S408の処理を行なう機能を有する。
画像処理アルゴリズム生成完了判断部516Cは、前述のステップS409の処理を行なう機能を有する。
記憶部520は、画像処理アルゴリズム生成完了判断部516Cで優良な個体(画像処理アルゴリズムの)生成が完了と判断された時、当該優良な個体(画像処理アルゴリズム)を記憶する画像処理アルゴリズム記憶部として動作する。
図29は、従来手法および本実施の形態のそれぞれで100世代目の画像処理アルゴリズムを生成するのに要した時間を測定したシミュレーション結果である。シミュレーション条件は、使用する画像サイズを横640画素、縦480画素とし、各世代の個体数mを100とし、使用するフィルタの最大値Lを8とした。
図29を参照して、従来手法では、1枚の処理対象画像(教示用画像)に対し、欠陥の特徴量を変化させた画像を9枚作成し、トータルで処理対象画像10枚を、本実施の形態の画像処理アルゴリズム生成処理で使用した。
本実施の形態では、第2の実施の形態の方法で、1つの追加元教示用欠陥に基づいて生成した9個の新規追加教示用欠陥を追加することにより作成された新規欠陥追加教示用画像を1枚を、本実施の形態の画像処理アルゴリズム生成処理で使用した。
従来手法では、世代交代処理を100回繰り返すのに要する時間は、4269秒であったが、本実施の形態では801秒と大幅に時間を短縮することができた。
以上説明したように、本実施の形態では、1つの追加元教示用欠陥に基づいて生成した複数個の新規追加教示用欠陥を追加することにより作成された新規欠陥追加教示用画像を1枚を処理対象画像として、画像処理アルゴリズムを生成することで、複数種類の処理対象画像を使用して画像処理アルゴリズムを生成する従来手法より、画像処理を施す回数を低減できる。
したがって、画像処理アルゴリズム生成に要する時間を短縮することができるという効果を奏する。
また、本実施の形態では、大域的探索手法である進化的手法を利用することで、画像処理フィルタの組合せが膨大である場合にも効率的に探索が可能であり、画像処理アルゴリズム生成に要する時間を短縮できるという効果を奏する。
<第5の実施の形態>
次に、第4の実施の形態で生成された画像処理アルゴリズムを使用して、画像検査を行なう処理について説明する。
次に、第4の実施の形態で生成された画像処理アルゴリズムを使用して、画像検査を行なう処理について説明する。
図30は、本実施の形態における画像検査装置500Dの内部の構成を示すブロック図である。
図30を参照して、画像検査装置500Dは、図1の教示用画像生成装置500と比較して、記録媒体555の代わりに記録媒体555Dにデータアクセスする点と、記憶部520に、教示用画像生成プログラム180の代わりに画像検査プログラム180Dが記録されている点と、記録媒体555Dに画像検査プログラム180Dが記録されている点と、記憶部520に画像処理アルゴリズムデータベース184がさらに記録されている点が異なる。それ以外の構成および機能は教示用画像生成装置500と同様なので詳細な説明は繰り返さない。
画像処理アルゴリズムデータベース184は、第4の実施の形態で生成された複数の画像処理アルゴリズムからなるデータベースである。ここで、画像処理アルゴリズムとは、1つ以上の画像処理フィルタにより構成されるものである。以上の構成の画像検査装置500Dにより、画像検査処理が行なわれる。
次に、画像検査処理について説明する。
図31は、画像検査処理のフローチャートである。
図31は、画像検査処理のフローチャートである。
図31を参照して、ステップS601では、初期パラメータ設定処理が行なわれる。初期パラメータ設定処理では、制御部510が、初期パラメータを設定する。初期パラメータとしては、後述するステップS603にて選択する画像処理アルゴリズムのID、真欠陥か擬似欠陥であるかを判断するための欠陥面積の閾値などがある。この閾値以上の面積の欠陥を有する検査対象物650は、不良品であり、この閾値よりも大きい面積の欠陥が一つも存在しない検査対象物650は良品である。
特に、この閾値を1とすることで、後述する画像処理アルゴリズム適用結果の出力である2値化画像に濃度値が255(白)の画素が一つでも存在すれば検査対象物650を不良品と判定することができる。その後、ステップS602に進む。
ステップS602では、画像データ入力部600を用いて検査対象物650を撮像することにより検査対象画像を入力する。また、オフライン画像検査を行なう場合には、教示用画像データベース182より、処理対象画像としての検査対象画像を選択することにより画像を入力する。その後、ステップS603に進む。
ステップS603では、制御部510が、記憶部520に記憶されている画像処理アルゴリズムデータベース184より、ステップS601で指定したIDを有する画像処理アルゴリズムを選択し、当該選択した画像処理アルゴリズムを記憶部520から読み出す。
なお、ある検査対象画像に対して画像処理アルゴリズムを適用した結果の出力画像は濃度値が0か255かの2値化画像であるものとする。特に、本実施の形態においては、欠陥候補画素の濃度値のみが255(白)となるものとする。その後、ステップS604に進む。
ステップS604では、制御部510が、ステップS602で入力した検査対象画像に対して、ステップS603で読み出した画像処理アルゴリズムを施し、画像処理結果としての2値化画像を出力する。その後、ステップS605に進む。
ステップS605では、制御部510が、ステップS604により得られた2値化画像に対してラベリング手法を用いて全ての欠陥候補の特徴量を算出する。ここで、特徴量は、たとえば、面積である。その後、ステップS606に進む。
ステップS606では、制御部510が、ステップS601において設定した検査対象物650が良品か不良品であるかを判断するための欠陥面積の閾値を用いて、各欠陥候補が真欠陥であるか擬似欠陥であるかを判定する。制御部510は、当該判定に基づき、一つでも真欠陥がある検査対象物650を不良品であると判定する。以下においては、当該判定結果を良品/不良品判定結果とも称する。その後、ステップS607に進む。
ステップS607では、制御部510およびVDP532が、ステップS606での良品/不良品判定結果を表示部530に出力する。
以上により、この画像検査処理は終了する。
図32は、本実施の形態における画像検査装置500Dの機能ブロック図である。
図32は、本実施の形態における画像検査装置500Dの機能ブロック図である。
図32を参照して、画像検査装置500Dは、画像検査管理部として動作する。画像検査装置500Dには、画像データ入力部600および表示部530が接続されている。
画像検査装置500Dは、制御部510と、画像検査結果出力部510Dと、記憶部520とを含む。
制御部510は、初期パラメータ設定部511D、画像処理アルゴリズム選択部512D、画像データ変換部513D、欠陥候補特徴量算出部514D、良品/不良品判定部515Dとして動作する。
記憶部520には、教示用画像データベース182および画像処理アルゴリズムデータベース184が記憶されている。教示用画像データベース182は、画像データ入力部600から入力された処理対象画像を含む。
画像検査結果出力部510Dは、制御部510およびVDP532の動作を行なう。
画像検査装置500Dは、検査対象画像を画像データ入力部600から取得する。オフライン画像検査を行なう場合には、検査前に画像データ入力部600によって取得された少なくとも1枚以上の検査対象画像データを、記憶部520に記憶させ、検査時に記憶部520の教示用画像データベース182より検査対象画像データを取得する。
画像検査装置500Dは、検査対象画像を画像データ入力部600から取得する。オフライン画像検査を行なう場合には、検査前に画像データ入力部600によって取得された少なくとも1枚以上の検査対象画像データを、記憶部520に記憶させ、検査時に記憶部520の教示用画像データベース182より検査対象画像データを取得する。
初期パラメータ設定部511Dでは、ユーザがあらかじめ設定されている初期パラメータを変更したい際に、マウス542またはキーボード544等の入力装置を用いて、初期パラメータを変更する機能を提供する。初期パラメータ設定部511Dでは図31のステップS601の処理を行なう機能を有する。
画像処理アルゴリズム選択部512Dは、ステップS603の処理を行なう機能を有する。すなわち、画像処理アルゴリズムデータベース184に記憶されている複数の画像処理アルゴリズムの中から所望の画像処理アルゴリズムを選択する。
画像データ変換部513Dは、ステップS604の処理を行なう機能を有する。
欠陥候補特徴量算出部514Dは、ステップS605の処理を行なう機能を有する。
欠陥候補特徴量算出部514Dは、ステップS605の処理を行なう機能を有する。
良品/不良品判定部515Dは、ステップS606の処理を行なう機能を有する。
画像検査結果出力部510Dは、ステップS607の処理を行なう機能を有する。
画像検査結果出力部510Dは、ステップS607の処理を行なう機能を有する。
次に、異なる2つの画像処理アルゴリズムをそれぞれ使用した画像検査処理を行なった場合について説明する。
図33は、ステップS603で選択される画像処理アルゴリズムを生成するために使用した異なる2つの処理対象画像を示す図である。
図33(A)は、処理対象画像900である。処理対象画像900は、検査対象物650を撮像することで得られた画像である。処理対象画像900には、真欠陥820が含まれる。
図33(B)は、処理対象画像900Aである。処理対象画像900Aは、処理対象画像900を使用して、第1および2の実施の形態の方法により生成した画像である。処理対象画像900Aは、真欠陥820の面積およびコントラストを25%低下させた新規追加教示用欠陥824を、真欠陥として生成して、追加した画像である。
図34は、異なる2つの画像処理アルゴリズムをそれぞれ使用した画像検査処理を行なった結果を示す表T400である。
図34を参照して、画像処理アルゴリズムAは、第4の実施の形態の画像処理アルゴリズム生成処理において、処理対象画像を処理対象画像900として、生成された最良の画像処理アルゴリズムである。
画像処理アルゴリズムBは、第4の実施の形態の画像処理アルゴリズム生成処理において、処理対象画像を処理対象画像900Aとして、生成された最良の画像処理アルゴリズムである。
○は、検査対象物650を撮像することで得られた検査対象画像が、真欠陥を含む欠陥画像である場合、ステップS606で、検査対象物650を不良品であると正しく判定されたことを示す。すなわち、欠陥画像が真欠陥を含む場合、欠陥画像に含まれる欠陥候補が、真欠陥と正しく判定されたことを示す。
×は、検査対象物650を撮像することで得られた検査対象画像が、真欠陥を含む欠陥画像である場合、ステップS606で、検査対象物650を不良品であると正しく判定できなかったことを示す。すなわち、欠陥画像が真欠陥を含む場合、欠陥画像に含まれる欠陥候補が、真欠陥と正しく判定されなかったことを示す。
図35は、異なる2つの画像処理アルゴリズムをそれぞれ使用した画像検査処理で使用した一例としての検査対象画像950を示す図である。
図35を参照して、検査対象画像950は、真欠陥952を含む。真欠陥952は、図33(A)の処理対象画像900の真欠陥820の面積またはコントラストを変化させた欠陥である。なお、検査対象画像950の背景画像と、処理対象画像900の背景画像との濃度分布は同じである。
変動特徴量の行の、5〜35は、それぞれ、対応する特徴量を低下させた%を示す。
まず、処理対象画像900を利用して、処理対象画像900の真欠陥820の面積のみを5〜35%それぞれ低下した複数の検査対象画像を生成して、複数の検査対象画像の各々に対しステップS604で画像処理アルゴリズムAを施し、画像検査処理を行なった。当該画像検査処理では、15%まで真欠陥820の面積を低下させた真欠陥に対しても、検査対象画像は、欠陥画像と正しく判定された。すなわち、検査対象物650が不良品であると正しく判定された。
まず、処理対象画像900を利用して、処理対象画像900の真欠陥820の面積のみを5〜35%それぞれ低下した複数の検査対象画像を生成して、複数の検査対象画像の各々に対しステップS604で画像処理アルゴリズムAを施し、画像検査処理を行なった。当該画像検査処理では、15%まで真欠陥820の面積を低下させた真欠陥に対しても、検査対象画像は、欠陥画像と正しく判定された。すなわち、検査対象物650が不良品であると正しく判定された。
また、処理対象画像900を利用して、処理対象画像900の真欠陥820のコントラストのみを5〜35%それぞれ低下した複数の検査対象画像を生成して、複数の検査対象画像の各々に対しステップS604で画像処理アルゴリズムAを施し、画像検査処理を行なった。当該画像検査処理では、20%まで真欠陥820のコントラストを低下させた真欠陥に対しても、検査対象画像は、欠陥画像と正しく判定された。すなわち、検査対象物650が不良品であると正しく判定された。
また、処理対象画像900を利用して、処理対象画像900の真欠陥820の面積のみを5〜35%それぞれ低下した複数の検査対象画像を生成して、複数の検査対象画像の各々に対しステップS604で画像処理アルゴリズムBを施し、画像検査処理を行なった。当該画像検査処理では、25%まで真欠陥820の面積を低下させた真欠陥に対しても、検査対象画像は、欠陥画像と正しく判定された。すなわち、検査対象物650が不良品であると正しく判定された。
また、処理対象画像900を利用して、処理対象画像900の真欠陥820のコントラストのみを5〜35%それぞれ低下した複数の検査対象画像を生成して、複数の検査対象画像の各々に対しステップS604で画像処理アルゴリズムBを施し、画像検査処理を行なった。当該画像検査処理では、35%まで真欠陥820のコントラストを低下させた真欠陥に対しても、検査対象画像は、欠陥画像と正しく判定された。すなわち、検査対象物650が不良品であると正しく判定された。
以上により、欠陥を追加した画像(処理対象画像900A)を利用して生成した画像処理アルゴリズムBを使用した画像検査処理の方が、欠陥が追加されていない画像(処理対象画像900)を利用して生成した画像処理アルゴリズムAを使用した画像検査処理より、処理対象画像900を利用して、処理対象画像900の真欠陥820の特徴量をそれぞれ変化させた複数の検査対象画像のうち、欠陥画像と正しく判定できる画像の数が多かった。
以上説明したように、本実施の形態では、画像検査処理時に、第1および2の実施の形態で生成された処理対象画像を使用した第4の実施の形態で生成された画像処理アルゴリズムBを使用している。
したがって、画像検査処理時で使用する画像処理アルゴリズムBは、教示用原画像上に存在する欠陥の特徴量が変化した新規欠陥の特徴も学習しているため、照明条件やカメラパラメータが異なる場合などの環境の変化に対しても、信頼性の高い検査が可能となるという効果を奏する。
なお、本実施の形態では、良品/不良品の判断基準として、欠陥候補の面積を使用したが、本実施の形態はこれに限定されることはない。良品/不良品の判断基準は、検査対象を良品か不良品かのどちらであるかを判断できる基準となるもの(たとえば、欠陥候補の形状)であれば何であってもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、画像検査装置、画像変換装置、画像認識装置、パターンマッチング装置、画像を用いた位置決め装置、画像認識機能付自律ロボット、画像認識機能付産業用ロボットなどに利用される。
180,180A,180B 教示用画像生成プログラム、180C 画像処理アルゴリズム生成プログラム、180D 画像検査プログラム、182 教示用画像データベース、184 画像処理アルゴリズムデータベース、500,500A,500B 教示用画像生成装置、500C 画像処理アルゴリズム生成装置、500D 画像検査装置、510 制御部、520 記憶部、530 表示部、532 VDP、555,555A,555B,555C 記録媒体、600 画像データ入力部。
Claims (38)
- 教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、検査領域を有する教示用画像を生成する教示用画像生成方法であって、
前記検査領域を有する教示用画像を入力する工程と、
前記検査領域を指定する工程と、
前記指定された検査領域内の検査領域画像の特徴量を算出する工程と、
前記教示用画像内で画像を配置する位置を算出する工程と、
前記検査領域画像の特徴量を変化させた変化検査領域画像を生成する工程と、
前記算出された画像を配置する位置に前記変化検査領域画像を配置した新規欠陥追加教示用画像を生成する工程とを含む、教示用画像生成方法。 - ユーザによる指示を受付ける工程をさらに含み、
前記検査領域を指定する工程は、前記受付けたユーザの指示に基づいて、前記検査領域を指定する、請求項1に記載の教示用画像生成方法。 - 前記画像を配置する位置は、前記検査領域画像と重ならない位置である、請求項1または請求項2に記載の教示用画像生成方法。
- 前記検査領域画像の特徴量を算出する工程は、
前記検査領域画像の重心位置を算出する工程を含み、
前記画像を配置する位置を算出する工程は、前記画像を配置する位置を、算出された前記検査領域画像の重心位置を中心に近傍から探索して算出する、請求項1〜請求項3のいずれかに記載の教示用画像生成方法。 - 前記検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、
前記変化検査領域画像を生成する工程は、前記検査領域が前記抽出すべき領域であると判定された場合、前記検査領域画像の面積を縮小させた前記変化検査領域画像を生成する、請求項1〜請求項4のいずれかに記載の教示用画像生成方法。 - 前記検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、
前記変化検査領域画像を生成する工程は、前記検査領域が前記抽出すべき領域でないと判定された場合、前記検査領域画像の面積を拡大させた前記変化検査領域画像を生成する、請求項1〜請求項4のいずれかに記載の教示用画像生成方法。 - 前記検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、
前記検査領域画像の特徴量を算出する工程は、
前記検査領域画像の重心位置を算出する工程を含み、
前記教示用画像を入力する工程は、前記検査領域が前記抽出すべき領域であると判定された場合、新たに、前記検査領域を有する新規教示用画像を入力し、
前記新規欠陥追加教示用画像を生成する工程は、前記新規教示用画像内の、前記検査領域画像の重心位置と対応する位置に、前記変化検査領域画像を配置した新規欠陥追加教示用画像を生成する、請求項1〜請求項3のいずれかに記載の教示用画像生成方法。 - 前記検査領域が抽出すべき領域であるか否かを判定する工程をさらに含み、
前記検査領域画像の特徴量を算出する工程は、
前記検査領域画像の重心位置を算出する工程を含み、
前記教示用画像を入力する工程は、前記検査領域が前記抽出すべき領域であると判定された場合、新たに、前記検査領域を有する新規教示用画像を入力し、
前記新規教示用画像の前記検査領域が前記抽出すべき領域であるか否かを判定する工程をさらに含み、
前記新規欠陥追加教示用画像を生成する工程は、前記新規教示用画像の前記検査領域が前記抽出すべき領域でないと判定された場合、前記新規教示用画像内の、前記検査領域画像の重心位置と対応する位置に、前記変化検査領域画像を配置した新規欠陥追加教示用画像を生成する、請求項1〜請求項3のいずれかに記載の教示用画像生成方法。 - 前記変化検査領域画像を生成する工程は、前記検査領域が前記抽出すべき領域であると判定された場合、前記検査領域画像の面積を縮小させた前記変化検査領域画像を生成する、請求項7または請求項8に記載の教示用画像生成方法。
- 前記変化検査領域画像を生成する工程は、前記検査領域が前記抽出すべき領域でないと判定された場合、前記検査領域画像の面積を拡大させた前記変化検査領域画像を生成する、請求項7または請求項8に記載の教示用画像生成方法。
- 前記検査領域画像および前記変化検査領域画像の周囲に、それぞれ、第1および第2検査周囲領域を設定する工程と、
前記検査領域画像の第1濃度値と、前記第1検査周囲領域内の領域であって前記検査領域画像以外の背景領域の第1背景画像の第2濃度値と、前記第2検査周囲領域内の領域であって前記変化検査領域画像以外の背景領域の第2背景画像の第3濃度値とに基づいて、前記変化検査領域画像の第4濃度値を算出する工程とをさらに含む、請求項1〜請求項10のいずれかに記載の教示用画像生成方法。 - 前記第1濃度値は、前記検査領域画像の全画素の平均濃度値であり、
前記第2濃度値は、前記第1背景画像の全画素の平均濃度値であり、
前記第3濃度値は、前記第2背景画像の全画素の平均濃度値であり、
前記検査領域画像を、前記変化検査領域画像と同じサイズおよび形状にする工程と、
前記変化検査領域画像の前記第4濃度値を算出する工程は、前記変化検査領域画像の全画素の濃度値を、前記変化検査領域画像と同じサイズおよび形状にされた前記検査領域画像の全画素の濃度値にそれぞれ設定する工程と、
前記設定された前記変化検査領域画像の全画素の濃度値の平均値と前記第3濃度値との差の値と、前記第1濃度値と前記第2濃度値との差の値との差の値の絶対値が、所定値以下でない場合、前記所定値以下となるように、前記設定された前記変化検査領域画像の全画素の濃度値に、前記絶対値を加算または減算する工程とをさらに含む、請求項11に記載の教示用画像生成方法。 - 教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、検査領域を有する教示用画像を生成する教示用画像生成装置であって、
前記検査領域を有する教示用画像を入力する画像入力部と、
前記検査領域を指定する検査領域指定部と、
前記指定された検査領域内の検査領域画像の特徴量を算出する特徴量算出部と、
前記教示用画像内で画像を配置する位置を算出する位置算出部と、
前記検査領域画像の特徴量を変化させた変化検査領域画像を生成する変化検査領域画像生成部と、
前記算出された画像を配置する位置に前記変化検査領域画像を配置した新規欠陥追加教示用画像を生成する画像生成部とを備える、教示用画像生成装置。 - ユーザによる指示を受付ける入力部をさらに備え、
前記検査領域指定部は、前記受付けたユーザの指示に基づいて、前記検査領域を指定する、請求項13に記載の教示用画像生成装置。 - 前記画像を配置する位置は、前記検査領域画像と重ならない位置である、請求項13または請求項14に記載の教示用画像生成装置。
- 前記特徴量算出部は、前記検査領域画像の重心位置を算出し、
前記位置算出部は、前記画像を配置する位置を、算出された前記検査領域画像の重心位置を中心に近傍から探索して算出する、請求項13〜請求項15のいずれかに記載の教示用画像生成装置。 - 前記検査領域が抽出すべき領域であるか否かを判定する検査領域判定部をさらに備え、
前記変化検査領域画像生成部は、前記検査領域が前記抽出すべき領域であると判定された場合、前記検査領域画像の面積を縮小させた前記変化検査領域画像を生成する、請求項13〜請求項16のいずれかに記載の教示用画像生成装置。 - 前記検査領域が抽出すべき領域であるか否かを判定する検査領域判定部をさらに備え、
前記変化検査領域画像生成部は、前記検査領域が前記抽出すべき領域でないと判定された場合、前記検査領域画像の面積を拡大させた前記変化検査領域画像を生成する、請求項13〜請求項16のいずれかに記載の教示用画像生成装置。 - 前記検査領域が抽出すべき領域であるか否かを判定する検査領域判定部をさらに備え、
前記特徴量算出部は、前記検査領域画像の重心位置を算出し、
前記画像入力部は、前記検査領域が前記抽出すべき領域であると判定された場合、新たに、前記検査領域を有する新規教示用画像を入力し、
前記画像生成部は、前記新規教示用画像内の、前記検査領域画像の重心位置と対応する位置に、前記変化検査領域画像を配置した新規欠陥追加教示用画像を生成する、請求項13〜請求項15のいずれかに記載の教示用画像生成装置。 - 前記検査領域が抽出すべき領域であるか否かを判定する第1検査領域判定部をさらに備え、
前記特徴量算出部は、前記検査領域画像の重心位置を算出し、
前記画像入力部は、前記検査領域が前記抽出すべき領域であると判定された場合、新たに、前記検査領域を有する新規教示用画像を入力し、
前記新規教示用画像の前記検査領域が前記抽出すべき領域であるか否かを判定する第2検査領域判定部をさらに備え、
前記画像生成部は、前記新規教示用画像の前記検査領域が前記抽出すべき領域でないと判定された場合、前記新規教示用画像内の、前記検査領域画像の重心位置と対応する位置に、前記変化検査領域画像を配置した新規欠陥追加教示用画像を生成する、請求項13〜請求項15のいずれかに記載の教示用画像生成装置。 - 前記検査領域画像および前記変化検査領域画像の周囲に、それぞれ、第1および第2検査周囲領域を設定する領域設定部と、
前記検査領域画像の第1濃度値と、前記第1検査周囲領域内の領域であって前記検査領域画像以外の背景領域の第1背景画像の第2濃度値と、前記第2検査周囲領域内の領域であって前記変化検査領域画像以外の背景領域の第2背景画像の第3濃度値とに基づいて、前記変化検査領域画像の第4濃度値を算出する濃度値算出部とをさらに備える、請求項13〜請求項20のいずれかに記載の教示用画像生成装置。 - 教示過程において自己発展的に目標となる処理を習得するアルゴリズムに処理させるための、検査領域を有する教示用画像を生成する処理をコンピュータに実行させるための教示用画像生成プログラムであって、
前記検査領域を有する教示用画像を入力するステップと、
前記検査領域を指定するステップと、
前記指定された検査領域内の検査領域画像の特徴量を算出するステップと、
前記教示用画像内で画像を配置する位置を算出するステップと、
前記検査領域画像の特徴量を変化させた変化検査領域画像を生成するステップと、
前記算出された画像を配置する位置に前記変化検査領域画像を配置した新規欠陥追加教示用画像を生成するステップとをコンピュータに実行させる、教示用画像生成プログラム。 - 請求項21に記載の教示用画像生成プログラムを記録した、記録媒体。
- 予め準備された複数種類の画像処理フィルタを用いて、請求項1〜12のいずれかの教示用画像生成方法により生成された、1以上の検査領域を有する新規欠陥追加教示用画像に対して予め準備された目標画像に相当する画像を生成するような1以上の最終画像処理アルゴリズムを生成する画像処理アルゴリズム生成方法であって、
複数の画像処理アルゴリズムを生成する工程を、所定の終了条件を満たすまで世代を変えながら繰り返す工程を含み、
前記所定の終了条件が満たされた世代で生成された画像処理アルゴリズムは、前記1以上の最終画像処理アルゴリズムであり、
前記複数の画像処理アルゴリズムの各々は、前記複数種類の画像処理フィルタから重複を妨げないで選択した複数の選択画像処理フィルタを、ランダムな順序で使用するアルゴリズムであり、
N(自然数)+1世代の前記複数の画像処理アルゴリズムを生成する工程は、
前記新規欠陥追加教示用画像に、N世代の前記複数の画像処理アルゴリズムの処理をそれぞれ施したN世代の複数の処理後画像を生成する工程と、
前記N世代の複数の画像処理アルゴリズムの各々に対し、前記目標画像と、対応するN世代の処理後画像とに基づいて、評価の基準となる評価値を算出する工程と、
前記N世代の複数の画像処理アルゴリズムのうち、所定値以上の前記評価値が算出されたN世代の画像処理アルゴリズムを1以上選択する工程と、
前記選択された1以上のN世代の複数の画像処理アルゴリズムの各々を、前記評価値が高くなるように変化させた画像処理アルゴリズムをN+1世代の画像処理アルゴリズムとして生成する工程とを含む、画像処理アルゴリズム生成方法。 - 前記所定の終了条件は、前記N世代の選択された1以上の画像処理アルゴリズムのいずれかの前記評価値が、所定値以上となる条件である、請求項24に記載の画像処理アルゴリズム生成方法。
- 前記複数の画像処理アルゴリズムのうち、前記N世代の選択された1以上の画像処理アルゴリズム以外の1以上の画像処理アルゴリズムを、進化的手法を用いてN+1世代の1以上の画像処理アルゴリズムとして生成する工程をさらに含む、請求項24または請求項25に記載の画像処理アルゴリズム生成方法。
- 前記進化的手法は、遺伝的アルゴリズムである、請求項26に記載の画像処理アルゴリズム生成方法。
- 請求項1〜12のいずれかの教示用画像生成方法により生成された新規欠陥追加教示用画像の数が、新規欠陥追加教示用画像内の検査領域の数よりも多い、請求項24〜請求項27に記載の画像処理アルゴリズム生成方法。
- 予め準備された複数種類の画像処理フィルタを用いて、請求項1〜11のいずれかの教示用画像生成方法により生成された、1以上の検査領域を有する新規欠陥追加教示用画像に対して予め準備された目標画像に相当する画像を生成するような1以上の最終画像処理アルゴリズムを生成する画像処理アルゴリズム生成装置であって、
複数の画像処理アルゴリズムを生成するための画像処理アルゴリズム生成部を備え、
前記画像処理アルゴリズム生成部は、前記複数の画像処理アルゴリズムを生成する処理を、所定の終了条件を満たすまで世代を変えながら繰り返し、
前記所定の終了条件が満たされた世代で生成された画像処理アルゴリズムは、前記1以上の最終画像処理アルゴリズムであり、
前記複数の画像処理アルゴリズムの各々は、前記複数種類の画像処理フィルタから重複を妨げないで選択した複数の選択画像処理フィルタを、ランダムな順序で使用するアルゴリズムであり、
N(自然数)+1世代の前記複数の画像処理アルゴリズムを生成する工程は、
前記新規欠陥追加教示用画像に、N世代の前記複数の画像処理アルゴリズムの処理をそれぞれ施したN世代の複数の処理後画像を生成する画像データ変換部と、
前記N世代の複数の画像処理アルゴリズムの各々に対し、前記目標画像と、対応するN世代の処理後画像とに基づいて、評価の基準となる評価値を算出する画像処理アルゴリズム性能評価部とをさらに備え、
前記画像処理アルゴリズム性能評価部は、前記N世代の複数の画像処理アルゴリズムのうち、所定値以上の前記評価値が算出されたN世代の画像処理アルゴリズムを1以上選択し、、
前記画像処理アルゴリズム生成部は、前記選択された1以上のN世代の複数の画像処理アルゴリズムの各々を、前記評価値が高くなるように変化させた画像処理アルゴリズムをN+1世代の画像処理アルゴリズムとして生成する、画像処理アルゴリズム生成装置。 - 前記所定の終了条件は、前記N世代の選択された1以上の画像処理アルゴリズムのいずれかの前記評価値が、所定値以上となる条件である、請求項29に記載の画像処理アルゴリズム生成装置。
- 前記複数の画像処理アルゴリズムのうち、前記N世代の選択された1以上の画像処理アルゴリズム以外の1以上の画像処理アルゴリズムを、進化的手法を用いてN+1世代の1以上の画像処理アルゴリズムとして生成する進化的画像処理アルゴリズム生成部をさらに備える、請求項29または請求項30に記載の画像処理アルゴリズム生成装置。
- 請求項1〜12のいずれかの教示用画像生成方法により生成された新規欠陥追加教示用画像の数が、新規欠陥追加教示用画像内の検査領域の数よりも多い、請求項29〜請求項31に記載の画像処理アルゴリズム生成装置。
- 予め準備された複数種類の画像処理フィルタを用いて、請求項22の教示用画像生成プログラムにより生成された、1以上の検査領域を有する新規欠陥追加教示用画像に対して予め準備された目標画像に相当する画像を生成するような1以上の最終画像処理アルゴリズムを生成する処理をコンピュータに実行させるための画像処理アルゴリズム生成プログラムであって、
複数の画像処理アルゴリズムを生成するステップと、
前記複数の画像処理アルゴリズムを生成するステップを、所定の終了条件を満たすまで世代を変えながら繰り返すステップとをコンピュータに実行させ、
前記所定の終了条件が満たされた世代で生成された画像処理アルゴリズムは、前記1以上の最終画像処理アルゴリズムであり、
前記複数の画像処理アルゴリズムの各々は、前記複数種類の画像処理フィルタから重複を妨げないで選択した複数の選択画像処理フィルタを、ランダムな順序で使用するアルゴリズムであり、
N(自然数)+1世代の前記複数の画像処理アルゴリズムを生成するステップは、
前記新規欠陥追加教示用画像に、N世代の前記複数の画像処理アルゴリズムの処理をそれぞれ施したN世代の複数の処理後画像を生成するステップと、
前記N世代の複数の画像処理アルゴリズムの各々に対し、前記目標画像と、対応するN世代の処理後画像とに基づいて、評価の基準となる評価値を算出するステップと、
前記N世代の複数の画像処理アルゴリズムのうち、所定値以上の前記評価値が算出されたN世代の画像処理アルゴリズムを1以上選択するステップと、
前記選択された1以上のN世代の複数の画像処理アルゴリズムの各々を、前記評価値が高くなるように変化させた画像処理アルゴリズムをN+1世代の画像処理アルゴリズムとして生成するステップとを含む、画像処理アルゴリズム生成プログラム。 - 請求項33に記載の画像処理アルゴリズム生成プログラムを記録した、記録媒体。
- 請求項24〜28のいずれかに記載の画像処理アルゴリズム生成方法により生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する工程を含む、画像検査方法。
- 請求項24〜28のいずれかに記載の画像処理アルゴリズム生成方法により生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定する画像良否判定部を含む、画像検査装置。
- 請求項33に記載の画像処理アルゴリズム生成プログラムにより生成された画像処理アルゴリズムを用いて、検査対象画像の良否を判定するステップをコンピュータに実行させる、画像検査プログラム。
- 請求項37に記載の画像検査プログラムを記録した、記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005161636A JP2006337152A (ja) | 2005-06-01 | 2005-06-01 | 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005161636A JP2006337152A (ja) | 2005-06-01 | 2005-06-01 | 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006337152A true JP2006337152A (ja) | 2006-12-14 |
Family
ID=37557840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005161636A Pending JP2006337152A (ja) | 2005-06-01 | 2005-06-01 | 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006337152A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009294170A (ja) * | 2008-06-09 | 2009-12-17 | Sharp Corp | 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体 |
JP2015069238A (ja) * | 2013-09-26 | 2015-04-13 | 株式会社Screenホールディングス | 目標画像生成支援装置、目標画像生成支援方法およびプログラム |
JP2015069239A (ja) * | 2013-09-26 | 2015-04-13 | 株式会社Screenホールディングス | 目標画像生成支援装置、目標画像生成支援方法およびプログラム |
WO2016051640A1 (ja) * | 2014-09-30 | 2016-04-07 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2017203600A1 (ja) * | 2016-05-24 | 2017-11-30 | 株式会社日立ハイテクノロジーズ | 欠陥分類装置および欠陥分類方法 |
JPWO2017109854A1 (ja) * | 2015-12-22 | 2018-10-11 | オリンパス株式会社 | 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム |
JP2020060879A (ja) * | 2018-10-05 | 2020-04-16 | オムロン株式会社 | 学習装置、画像生成装置、学習方法、及び学習プログラム |
WO2020262571A1 (ja) * | 2019-06-28 | 2020-12-30 | 富士フイルム株式会社 | 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム |
JPWO2019167277A1 (ja) * | 2018-03-02 | 2021-02-12 | 日本電気株式会社 | 画像収集装置、画像収集システム、画像収集方法、画像生成装置、画像生成システム、画像生成方法、およびプログラム |
JP2021017296A (ja) * | 2019-07-17 | 2021-02-15 | Jfeスチール株式会社 | ベルトコンベアのベルト異常監視方法及びベルト異常監視装置 |
KR20210119883A (ko) | 2020-03-25 | 2021-10-06 | 도쿄엘렉트론가부시키가이샤 | 이상 검출 장치 및 이상 검출 방법 |
JP7468088B2 (ja) | 2020-02-18 | 2024-04-16 | 東洋製罐グループホールディングス株式会社 | 画像処理システム、及び画像処理プログラム |
JP7487568B2 (ja) | 2020-06-04 | 2024-05-21 | 株式会社リコー | 画像検査装置、表示方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05149728A (ja) * | 1991-10-04 | 1993-06-15 | Omron Corp | 視覚認識装置 |
JPH08272971A (ja) * | 1995-03-31 | 1996-10-18 | Toyota Motor Corp | 対象物認識方法 |
JPH11282822A (ja) * | 1998-03-26 | 1999-10-15 | Toshiba Corp | 画像処理プログラム合成方法及びその装置並びに最適解探索方法及びその装置 |
JP2000057349A (ja) * | 1998-08-10 | 2000-02-25 | Hitachi Ltd | 欠陥の分類方法およびその装置並びに教示用データ作成方法 |
JP2006048370A (ja) * | 2004-08-04 | 2006-02-16 | Kagawa Univ | パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置 |
-
2005
- 2005-06-01 JP JP2005161636A patent/JP2006337152A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05149728A (ja) * | 1991-10-04 | 1993-06-15 | Omron Corp | 視覚認識装置 |
JPH08272971A (ja) * | 1995-03-31 | 1996-10-18 | Toyota Motor Corp | 対象物認識方法 |
JPH11282822A (ja) * | 1998-03-26 | 1999-10-15 | Toshiba Corp | 画像処理プログラム合成方法及びその装置並びに最適解探索方法及びその装置 |
JP2000057349A (ja) * | 1998-08-10 | 2000-02-25 | Hitachi Ltd | 欠陥の分類方法およびその装置並びに教示用データ作成方法 |
JP2006048370A (ja) * | 2004-08-04 | 2006-02-16 | Kagawa Univ | パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009294170A (ja) * | 2008-06-09 | 2009-12-17 | Sharp Corp | 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体 |
JP2015069238A (ja) * | 2013-09-26 | 2015-04-13 | 株式会社Screenホールディングス | 目標画像生成支援装置、目標画像生成支援方法およびプログラム |
JP2015069239A (ja) * | 2013-09-26 | 2015-04-13 | 株式会社Screenホールディングス | 目標画像生成支援装置、目標画像生成支援方法およびプログラム |
US11232353B2 (en) | 2014-09-30 | 2022-01-25 | Sony Corporation | Information processing apparatus and information processing method to generate image processing algorithm based on machine learning process |
WO2016051640A1 (ja) * | 2014-09-30 | 2016-04-07 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10360515B2 (en) | 2014-09-30 | 2019-07-23 | Sony Corporation | Information processing apparatus and information processing method to generate image processing algorithm based on achine learning process |
JPWO2017109854A1 (ja) * | 2015-12-22 | 2018-10-11 | オリンパス株式会社 | 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム |
WO2017203600A1 (ja) * | 2016-05-24 | 2017-11-30 | 株式会社日立ハイテクノロジーズ | 欠陥分類装置および欠陥分類方法 |
US10810733B2 (en) | 2016-05-24 | 2020-10-20 | Hitachi High-Tech Corporation | Defect classification apparatus and defect classification method |
JPWO2019167277A1 (ja) * | 2018-03-02 | 2021-02-12 | 日本電気株式会社 | 画像収集装置、画像収集システム、画像収集方法、画像生成装置、画像生成システム、画像生成方法、およびプログラム |
JP2020060879A (ja) * | 2018-10-05 | 2020-04-16 | オムロン株式会社 | 学習装置、画像生成装置、学習方法、及び学習プログラム |
JP7059883B2 (ja) | 2018-10-05 | 2022-04-26 | オムロン株式会社 | 学習装置、画像生成装置、学習方法、及び学習プログラム |
JPWO2020262571A1 (ja) * | 2019-06-28 | 2020-12-30 | ||
WO2020262571A1 (ja) * | 2019-06-28 | 2020-12-30 | 富士フイルム株式会社 | 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム |
JP7307166B2 (ja) | 2019-06-28 | 2023-07-11 | 富士フイルム株式会社 | 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム |
JP2021017296A (ja) * | 2019-07-17 | 2021-02-15 | Jfeスチール株式会社 | ベルトコンベアのベルト異常監視方法及びベルト異常監視装置 |
JP7052778B2 (ja) | 2019-07-17 | 2022-04-12 | Jfeスチール株式会社 | ベルトコンベアのベルト異常監視方法及びベルト異常監視装置 |
JP7468088B2 (ja) | 2020-02-18 | 2024-04-16 | 東洋製罐グループホールディングス株式会社 | 画像処理システム、及び画像処理プログラム |
KR20210119883A (ko) | 2020-03-25 | 2021-10-06 | 도쿄엘렉트론가부시키가이샤 | 이상 검출 장치 및 이상 검출 방법 |
US11928810B2 (en) | 2020-03-25 | 2024-03-12 | Tokyo Electron Limited | Abnormality detection apparatus and abnormality detection method |
JP7487568B2 (ja) | 2020-06-04 | 2024-05-21 | 株式会社リコー | 画像検査装置、表示方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006337152A (ja) | 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体 | |
JP6573226B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
US11176650B2 (en) | Data generation apparatus, data generation method, and data generation program | |
WO2019183153A1 (en) | Training a machine learning model with synthetic images | |
TWI670781B (zh) | 疊代式缺陷濾除製程 | |
US7231079B2 (en) | Method and system for inspecting electronic circuit pattern | |
CN110291621B (zh) | 用于识别集成电路缺陷的方法和*** | |
TW202012920A (zh) | 晶圓檢查方法以及晶圓檢查系統 | |
JP2020027424A (ja) | 学習データ生成装置、判別モデル生成装置、及びプログラム | |
JP4521386B2 (ja) | 欠陥データ解析方法およびその装置 | |
JP4617970B2 (ja) | 欠陥検査装置及び欠陥検査方法 | |
CN110910343A (zh) | 路面裂缝检测的方法、装置及计算机设备 | |
JP2010157154A (ja) | 画像分類基準更新方法、プログラムおよび画像分類装置 | |
JP2003059984A (ja) | 欠陥データ解析方法および検査装置並びにレビューシステム | |
JP4774193B2 (ja) | 検査システムセットアップ技術 | |
JP2006293528A (ja) | 学習用画像選択方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびに記録媒体 | |
WO2017109918A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
TW202209153A (zh) | 檢查方案的自動最佳化 | |
JP2014137284A (ja) | 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法 | |
CN113116377B (zh) | 超声成像导航方法、超声设备及存储介质 | |
JP3756507B1 (ja) | 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体 | |
US11562479B2 (en) | Inspection apparatus, inspection method, and non-volatile storage medium | |
JP2010071826A (ja) | 教師データ作成方法、並びに、画像分類方法および画像分類装置 | |
JP2006292615A (ja) | 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体 | |
JP7131127B2 (ja) | 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101019 |