JP7415286B2 - カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法 - Google Patents

Description

本発明は、カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法に関するものである。

従来、カラーフィルタ製造ラインでは製造条件の変動が原因でカラーフィルタ基板に発生する欠陥の一つとして、開口面積や着色層の膜厚等の不均一性領域（ムラ）を検出するためカラーフィルタのムラ検査装置が用いられている。カラーフィルタのムラ検査装置は、カラーフィルタ基板の撮影画像を画像処理することによりムラを検出する装置である。ムラの種類（形状、面積、濃淡等から決まる属性項目）と原因工程には相関があり、装置がムラを検出した場合は、作業員がムラの画像からムラの種類を判別し、ムラの発生を抑えるように原因工程の製造条件を調整していた。

しかし、作業員がムラの画像からムラの種類を判別するためには、熟練が必要であり、また、作業員が変わっても判別を適正に行えるようにすることは、非常に難易度が高く、自動化が望まれている。
また、半導体基板等の外観検査に用いることができる画像分類装置がＪＰ２０１７－５４２３９Ａに開示されている。この技術は、撮影画像から特徴量を抽出して欠陥分類を行うものであり、教師データを用いてニューラルネットワーク、決定木、判別分析等により欠陥分類を行っている。

しかし、ＪＰ２０１７－５４２３９Ａに開示されている技術では、撮影画像と参照画像との差分画像に基づき欠陥を検出している。カラーフィルタのムラは、非常に微妙な濃淡の差として現れる場合も多く、差分画像を用いる手法では、誤検出してしまうおそれが高く、カラーフィルタのムラの検出には適さないものであった。また、ＪＰ２０１７－５４２３９Ａに開示されている技術では、分類器に欠陥の特徴量を入力して欠陥の種類を判別しているが、分類器を構築する際に、どの特徴量を利用するか決める必要があり、利用するための難易度が高かった。

本発明の課題は、簡単かつ正確にカラーフィルタのムラによる欠陥の検出と、欠陥の分類とを行うことができるカラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法を提供することである。

［課題を解決するための手段］
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

本発明は、カラーフィルタの撮影画像に基づいて欠陥候補を検出する欠陥検出部と、前記検出された欠陥候補についての少なくとも１つの物理量と、前記物理量の閾値とを比較することで、前記欠陥候補が欠陥でないか否かを判定し、欠陥でないと判定された欠陥候補以外の欠陥候補を、欠陥分類のためにニューラルネットワークに出力する欠陥出力部と、を備えるカラーフィルタ検査装置である。

本発明は、カラーフィルタの撮影画像に基づいて欠陥候補を検出する欠陥検出部と、前記検出された欠陥候補を、欠陥分類のためにニューラルネットワークに出力する欠陥出力部と、カラーフィルタの撮影画像の第１の分析結果に基づいて前記ニューラルネットワークから出力された前記欠陥分類の結果を確定する分類確定部と、を備えるカラーフィルタ検査装置である。

前記第１の分析結果は、分類毎の欠陥の発生位置を示す発生位置情報を含んでいてもよい。

前記カラーフィルタ検査装置は、カラーフィルタの撮影画像の第２の分析結果に基づいて前記欠陥分類の結果が確定された欠陥候補が欠陥であるか否かを判定する欠陥判定部をさらに備えていてもよい。

前記第２の分析結果は、分類毎の欠陥の発生履歴を示す発生履歴情報を含んでいてもよい。

前記ニューラルネットワークは、前記撮影画像から畳み込み処理により第１特徴マップを生成する畳み込み層と、プーリング処理を行い前記第１特徴マップのサイズ又は変化を低減して第２特徴マップを生成するプーリング層と、前記欠陥分類の結果を出力する出力層と、を備えていてもよい。

前記カラーフィルタ検査装置は、前記欠陥検出部で検出された前記欠陥候補を含む範囲を前記撮影画像から切り出す画像切り出し部をさらに備えていてもよい。

前記欠陥検出部は、前記撮影画像を複数方向から一次微分したデータから欠陥候補を含む範囲を求めてもよい。

本発明は、対象物の撮影画像に基づいて欠陥候補を検出する欠陥検出部と、前記検出された欠陥候補についての少なくとも１つの物理量と、前記物理量の閾値とを比較することで、前記欠陥候補が欠陥でないか否かを判定し、欠陥でないと判定された欠陥候補以外の欠陥候補を、欠陥分類のためにニューラルネットワークに出力する欠陥出力部と、を備える検査装置である。

本発明は、対象物の撮影画像に基づいて欠陥候補を検出する欠陥検出部と、前記検出された欠陥候補を、欠陥分類のためにニューラルネットワークに出力する欠陥出力部と、対象物の撮影画像の第１の分析結果に基づいて前記ニューラルネットワークから出力された前記欠陥分類の結果を確定する分類確定部と、を備える検査装置である。

本発明は、欠陥検出部が、カラーフィルタの撮影画像に基づいて欠陥候補を検出する工程と、欠陥出力部が、前記検出された欠陥候補についての少なくとも１つの物理量と、前記物理量の閾値とを比較することで、前記欠陥候補が欠陥でないか否かを判定し、欠陥でないと判定された欠陥候補以外の欠陥候補を、欠陥分類のためにニューラルネットワークに出力する工程と、を備えるカラーフィルタ検査方法である。

本発明は、欠陥検出部が、カラーフィルタの撮影画像に基づいて欠陥候補を検出する工程と、欠陥出力部が、前記検出された欠陥候補を、欠陥分類のためにニューラルネットワークに出力する工程と、分類確定部が、カラーフィルタの撮影画像の第１の分析結果に基づいて前記ニューラルネットワークから出力された前記欠陥分類の結果を確定する工程と、を備えるカラーフィルタ検査方法である。

本発明は、撮影部が、前記カラーフィルタを撮影する工程と、前記ニューラルネットワークが、前記撮影画像から畳み込み処理により第１特徴マップを生成する畳み込み工程と、プーリング処理を行い前記第１特徴マップのサイズ又は変化を低減して第２特徴マップを生成するプーリング工程と、をさらに備えていてもよい。

本発明は、欠陥検出部が、対象物の撮影画像に基づいて欠陥候補を検出する工程と、欠陥出力部が、前記検出された欠陥候補についての少なくとも１つの物理量と、前記物理量の閾値とを比較することで、前記欠陥候補が欠陥でないか否かを判定し、欠陥でないと判定された欠陥候補以外の欠陥候補を、欠陥分類のためにニューラルネットワークに出力する工程と、を備える検査方法である。

本発明は、欠陥検出部が、対象物の撮影画像に基づいて欠陥候補を検出する工程と、欠陥出力部が、前記検出された欠陥候補を、欠陥分類のためにニューラルネットワークに出力する工程と、分類確定部が、対象物の撮影画像の第１の分析結果に基づいて前記ニューラルネットワークから出力された前記欠陥分類の結果を確定する工程と、を備える検査方法である。

本発明によれば、簡単かつ正確にカラーフィルタの欠陥の検出と、欠陥の分類とを行うことができるカラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法を提供することができる。

本発明によるカラーフィルタ検査装置１の第１実施形態を示す図である。 カラーフィルタ検査装置１の動作の流れを示すフローチャートである。 欠陥分類部１５のニューラルネットワークの構成と、学習処理について示す図である。 平均プーリングを説明する図である。 微分画像を２値画像にする例を示す図である。 図５の２値画像について第１の画素値を有する隣接画素の集合からなる領域を抽出した例を示す図である。 本発明によるカラーフィルタ検査装置１の第２実施形態を示す図である。 第２実施形態のカラーフィルタ検査装置１における動作の流れを示すフローチャートである。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。各実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号を付し、その繰り返しの説明は省略する。

（第１実施形態）
図１は、本発明によるカラーフィルタ検査装置１の実施形態を示す図である。
カラーフィルタ検査装置１は、カラーフィルタの製造過程において、製造上の欠陥を検査する装置であり、ここでは、対象物の一例であるカラーフィルタのムラを検討する場合を例示するが、ムラ以外の欠陥を検査するものであってもよい。
本実施形態のカラーフィルタ検査装置１は、撮影部１１と、欠陥検出部１２と、画像切り出し部１３と、入力部１４と、欠陥分類部１５と、学習モデル構築部１７とを備えている。なお、欠陥検出部１２と、画像切り出し部１３と、入力部１４と、欠陥分類部１５と、学習モデル構築部１７とは、コンピュータに、専用のプログラムを組み込んで構成されており、プログラムが各構成の機能を実現する。

撮影部１１は、不図示の照明、カメラ、搬送装置等を備えており、検査対象のカラーフィルタの撮影を行い、撮影画像を取得する。撮影部１１が撮影した撮影画像は、欠陥検出部１２及び画像切り出し部１３へ送られる。なお、撮影部のカメラとしては、ラインセンサカメラであってもよいし、エリアセンサカメラであってもよい。
撮影部１１は、カラーフィルタからの反射光を受光する形態でも透過光を受光する形態であってもよい。

欠陥検出部１２は、画像処理で画像からムラである可能性がある欠陥候補を検出する。本実施形態の欠陥検出部１２が行うムラの検出方法は、特許第４３６３９５３号公報に開示されている手法を用いている。すなわち、欠陥検出部１２は、撮影画像に対して空間フィルタを用いた一次微分処理を行い、ムラが存在すると予想される領域を定め、この領域についての階調値の空間的な変化割合をムラの程度を示す評価値として、ムラが存在する可能性のある領域を検出する。

画像切り出し部１３は、欠陥検出部１２が検出した欠陥候補を含む所定の範囲について撮影画像から切り出して、ムラ周辺画像を取得する。画像切り出し部１３は、切り出したムラ周辺画像と、撮影画像とを入力部１４へ送る。

入力部１４は、ムラ周辺画像と、撮影画像とを欠陥分類部１５の入力層１５１へ入力する。
欠陥検出部１２によって欠陥候補を検出し、画像切り出し部１３によって画像を切り出すことにより、後述の欠陥分類部１５による処理を軽くすることができる。

欠陥分類部１５は、ニューラルネットワークにより構成されており、ムラ周辺画像を人工知能により解析して、ムラの種類を分類して欠陥分類として出力する。欠陥分類部１５は、学習モデル１６を有しており、ムラ周辺画像を学習モデル１６と対比することによりムラの分類（欠陥の分類）を行う。ここで、カラーフィルタのムラは、ムラの発生原因によってムラの具体的な形態、例えば、形状、大きさ、面積等が異なっている。よって、ムラの分類を行うことにより、ムラ（欠陥）の発生原因の特定が可能である。また、欠陥検出部１２の検出には、誤検出が含まれる場合もあり得るので、この誤検出も分類することが可能である。

また、欠陥分類部１５は、学習モデル１６を備えている。
学習モデル１６は、学習モデル構築部１７によって予め学習データ１８（ムラの種類毎の画像群）を学習して構築される。

学習モデル構築部１７は、学習データ１８から学習モデルを構築する。上述したように、学習モデル構築部１７は、カラーフィルタの検査を実行するよりも先に、予め学習データ１８（ムラの種類毎の画像群）を学習して学習モデル１９を構築し、欠陥分類部１５の学習モデル１６に移す。学習モデル１９はニューラルネットワークで利用するパラメータセット等から構成されている。

次に、カラーフィルタ検査装置１の動作、及び、欠陥分類部１５の構成と動作をより詳しく説明する。
図２は、カラーフィルタ検査装置１の動作の流れを示すフローチャートである。
ステップ（以下、Ｓとする）１１では、撮影部１１が、カラーフィルタを撮影して、画像を取得する。
Ｓ１２では、欠陥検出部が欠陥候補を検出する。本実施形態では、欠陥検出部１２は、ステップ１１で取得した画像に対して空間フィルタを用いた一次微分処理を行い、ムラが存在すると予想される領域を抽出する。
Ｓ１３では、画像切り出し部１３が、欠陥候補を含む所定の範囲について撮影画像から切り出して、ムラ周辺画像を取得する。
Ｓ１４では、入力部１４が、ムラ周辺画像（切り出された画像）を欠陥分類部１５の入力層へ入力する。

Ｓ１５では、欠陥分類部１５がムラ周辺画像（切り出された画像）から欠陥を分類する。

Ｓ１２の欠陥候補の検出方法について説明する。撮影画像上の微分方向を決定し、画像を構成する各画素の階調値について微分方向に関する一次微分を求めることにより微分画像を作成する。
図５は、微分画像を２値画像にする例を示す図である。
所定のしきい値を設定し、微分画像について、しきい値以上の画素値を有する画素については第１の画素値を与え、しきい値未満の画素値を有する画素については第２の画素値を与えることにより、微分画像を図５に示すような２値画像にする。
図６は、図５の２値画像について第１の画素値を有する隣接画素の集合からなる領域を抽出した例を示す図である。
この２値画像について、第１の画素値を有する隣接画素の集合からなる領域を図６に示すように抽出する。この領域を構成する画素群を、微分方向に沿った複数の一次元画素配列の集合として、この一次元画素配列の両端に位置する画素の階調値の差を当該一次元画素配列の長さで除した値を一次元画素配列に関する不均一性を示す評価値として、複数の一次元画素配列について求めた複数の評価値の代表値を、評価対象領域についての不均一性を示す評価値とする。評価値の値が高ければ周囲からムラが目立って見える。評価値を微分方向毎に求めて、一定の所定の条件を満たせば、評価対象領域にムラが存在すると評価する。

Ｓ１２の処理はムラ領域の大きさや形状が予測できない場合でも、正確にムラの存在の有無を評価することができるため、精度よく欠陥候補のある領域を欠陥分類部１５のニューラルネットワークに渡すことができる。

欠陥分類部１５のＳ１５における動作について、欠陥分類部１５のより具体的な構成と共に説明する。
図３は、欠陥分類部１５のニューラルネットワークの構成と、学習処理について示す図である。
本実施形態の欠陥分類部１５のニューラルネットワークは、入力層１５１と、畳み込み層１５２と、プーリング層１５３と、全結合層１５４と、出力層１５５とを備えている。

入力層１５１は、入力部１４からムラ周辺画像の入力を受ける層である。図３の例では、６４×６４ピクセルの画像の入力を受けることとして示しているが、これは、適宜変更可能である。

畳み込み層１５２は、任意の大きさの係数行列を用いた畳み込み処理を行う。ここでは３ｘ３行列係数を用いて畳み込み処理を行ってバイアス値による補正を行っている。
畳み込み処理では６４×６４ピクセルの入力画像から３×３ピクセルの第１小画像を抽出し、この小画像と３×３係数行列を用いて畳み込み計算を行い、それにバイアス値とバイアス係数を乗算したものを加算してReLU（Rectified Linear Unit）を適用し、第１特徴マップを生成する。図３では、６４種類の行列係数を用いて６４枚の畳み込み画像を作成する例を例示しているが、これは、適宜変更可能である。

プーリング層１５３では、第１特徴マップにプーリング処理を行い、第２特徴マップを得る。プーリング処理は畳み込み層１５２で生成した第１特徴マップのサイズ又は変化を低減して第２特徴マップを生成している。例えば、第１特徴マップから、２×２ピクセルの画像を抽出し、この画像の最大輝度や平均輝度を算出する。具体的には、平均プーリング、最大プーリング、Ｌｐプーリング等を実行する。
図４は、平均プーリングを説明する図である。
図４に示す平均プーリングの例では、２×２ピクセルのプーリング領域に分割し、輝度値を平均することによりサイズを低減化している。

図３の全結合層１５４は、６４個の第２特徴マップを結合し全結合データを作成する。

出力層１５５は、全結合データにパラメータセット（重みパラメータ、バイアスパラメータ）を適用し、活性関数を用いて９種類の欠陥の分類結果を出力している。パラメータセット（重みパラメータ、バイアスパラメータ）は、６４個の第２特徴マップの全てに適用可能なものである。

パラメータセット（重みパラメータ、バイアスパラメータ）の設定は、学習データ１８によりバックプロパゲーション法を用いて行われる。学習データ１８から出力誤差を算出し、誤差関数に最小自乗法を利用し勾配降下法等によってパラメータセット（重みパラメータ、バイアスパラメータ）の更新をおこない、学習を複数回繰り返すことによりパラメータセット（重みパラメータ、バイアスパラメータ）の値を決める。

図３では畳み込み層とプーリング層をそれぞれ１層にしてネットワークを構成しているが、複数の畳み込み層とプーリング層からなるネットワークを構成し、畳み込み処理とプーリング処理を予め定められた回数繰り返してもよい。また、畳み込み層に使用する係数行列は、予め学習させて値を決めて固定させているが、畳み込み層と全結合データのパラメータセット（重みパラメータ、バイアスパラメータ）を同時に学習させてもよい。

本実施形態ではＣｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）と呼ばれるＤｅｅｐ Ｌｅａｒｎｉｎｇ技術を用いることができ、シグモイド関数やＲｅＬｕ関数等の活性化関数が複数の層で組み合わされたネットワークを形成してもよい。
なお、上述したニューラルネットワークの構成例は、一例を示したに過ぎず、適宜変更可能である。

以上説明したように、本実施形態のカラーフィルタ検査装置１は、ニューラルネットワークを利用した欠陥分類部１５を用いることにより、精度よく欠陥の分類を行うことができる。よって、製造工程における欠陥を早期に発見して、製造工程の改善を効率よく行うことが可能となる。

例えば、感光材料を基板に塗布する工程の異物が原因で発生する特定のムラは、熟練した作業員が見れば特定のムラと認識できるが、特定のムラでも形状、面積、濃淡等のばらつきが大きい。そのため、形状、面積、濃淡等から特定のムラと判別する規則を決定するのは困難であるが、ニューラルネットワークを利用した欠陥分類器１５を用いることにより、精度よく特定のムラと判別することができる。感光材料を基板に塗布する工程の異物が特定のムラと相関があることは分かっているので、特定のムラの発生を知った作業員は、感光材料を基板に塗布する工程の異物の確認や除去を行うことで早期の改善が見込める。

（第２実施形態）
図７は、本発明によるカラーフィルタ検査装置１の第２実施形態を示す図である。
第２実施形態のカラーフィルタ検査装置１は、第１実施形態の構成に加えて、さらに、欠陥出力部の一例である欠陥分別部２１と、分類確定部２２と、欠陥判定部２３とを備えている。これら欠陥分別部２１、分類確定部２２および欠陥判定部２３は、コンピュータに、専用のプログラムを組み込んで構成されており、プログラムが各構成の機能を実現する。

欠陥検出部１２は、撮像部１１によるカラーフィルタの撮影画像に基づいてムラである可能性がある欠陥候補を検出する。欠陥検出部１２は、撮影画像から直接欠陥候補を検出してもよいが、撮影画像に対して欠陥の判定精度を上げるための前処理を行った画像から欠陥候補を検出することが好ましい。

欠陥分別部２１は、欠陥検出部１２によって検出された欠陥候補についての少なくとも１つの物理量を算出し、算出された物理量と物理量の閾値とを比較することで欠陥候補が欠陥でないか否かを判定する。欠陥分別部２１は、欠陥でないと判定された欠陥候補以外の欠陥候補を、欠陥分類のためにニューラルネットワークすなわち欠陥分類器１５に出力する。一方、欠陥分別部２１は、欠陥でないと判定された欠陥候補は、欠陥分類器１５に出力しない。

分類確定部２２は、予め取得されているカラーフィルタの撮影画像の第１の分析結果に基づいて、欠陥分類器１５から出力された欠陥分類の結果を確定する。具体的には、分類確定部２２は、欠陥分類と、第１の分析結果の一例である分類毎の欠陥の発生位置を示す発生位置情報とを比較することで、欠陥分類を確定する。

欠陥判定部２３は、予め取得されているカラーフィルタの撮影画像の第２の分析結果に基づいて、欠陥分類が確定された欠陥候補が欠陥であるか否かを判定する。具体的には、欠陥判定部２３は、欠陥分類が確定された欠陥候補と、第２の分析結果の一例である分類毎の欠陥の発生履歴を示す発生履歴情報とを比較することで、欠陥分類が確定された欠陥候補が欠陥であるか否かを判定する。

次に、第２実施形態におけるカラーフィルタ検査装置１の動作をより詳しく説明する。
図８は、第２実施形態におけるカラーフィルタ検査装置１の動作の流れを示すフローチャートである。

先ず、Ｓ２１において、撮影部１１は、カラーフィルタを撮影した撮影画像を取得する。

撮影画像を取得した後、Ｓ２２において、欠陥検出部１２は、撮影画像に対して欠陥の判定精度を上げるための前処理を行う。前処理は、例えば、シェーディング処理と、平滑化処理と、放射処理と、白黒反転処理との一連の処理によって構成される。
シェーディング処理は、濃度ムラのある画像から濃度ムラを取り除く処理である。
平滑化処理は、撮影画像に含まれる欠陥候補以外のノイズを除去するために撮影画像をぼかす処理である。平滑化処理には、例えばガウシアンフィルタを用いることができる。
放射処理は、後述する欠陥候補検出の際の畳み込み演算に必要な処理として、撮影画像の端部に位置する画素の輝度値をその外側にコピーする処理である。放射処理は、撮影画像の端部に位置する画素を注目画素すなわち中心画素とした例えば３×３画素を用いて畳み込みを行う場合に、注目画素の周辺の画素が不足するのでこの不足を補うために行われる。
白黒反転処理は、黒い欠陥を判定対象とする場合には撮影画像を白黒反転し、白い欠陥を判定対象とする場合には撮影画像を白黒反転しない処理である。判定対象が黒い欠陥であるか又は白い欠陥であるかについては、判定すべき欠陥の種類によって異なる。白黒反転処理によれば、欠陥の種類によらずに白い画像を欠陥候補として検出して判定することができるので、欠陥判定を簡便化することができる。
なお、前処理を構成する上記のシェーディング処理、平滑化処理、放射処理および白黒反転処理は、これらの前後を適宜入れ替えてもよい。

前処理を行った後、Ｓ２３において、欠陥検出部１２は、前処理後の撮影画像から欠陥候補を検出する欠陥候補検出処理を行う。欠陥候補検出処理は、例えば、畳み込み演算による差分フィルタ処理と、二値化処理と、水平方向クロージング処理と、垂直方向クロージング処理と、水平方向オープニング処理と、垂直方向オープニング処理と、ラベリング処理との一連の処理によって構成される。
畳み込み演算による差分フィルタ処理は、前処理後の撮影画像の各点すなわち各画素において、輝度値の変化の大きさを求める処理である。ムラや異物などの欠陥候補がある場所では、輝度値が周囲に比べて大きく変化しているため、差分フィルタ処理によって輝度値の変化の大きさを求めることで欠陥候補を検出することができる。具体的には、差分フィルタ処理においては、前処理後の撮影画像の各画素のそれぞれを順に注目画素に設定し、注目画素を中心とした例えば３×３画素のそれぞれの輝度値と、フィルタとしての例えば３×３の係数行列とを用いた畳み込み演算を行う。畳み込み演算によって、注目画素ごとに隣接する画素との間の輝度値の差分値が算出される。輝度値の変化の大きい場所ほど差分値は大きくなり、差分値が大きな場所を欠陥候補として検出することができる。

二値化処理は、畳み込み演算による差分フィルタ処理後の撮影画像に基づいて、当該画像の差分値が閾値以上の画素を白、閾値未満の画素を黒とした二値画像を生成する処理である。二値化処理によって、輝度値の変化が大きい領域が白の画像すなわち欠陥候補として検出され、輝度値の変化の小さい領域すなわち欠陥候補以外は黒の画像となる。

水平方向クロージング処理は、二値画像の白色領域を水平方向すなわち横方向に膨張させて収縮させる処理である。

垂直方向クロージング処理は、二値画像の白色領域を垂直方向すなわち縦方向に膨張させて収縮させる処理である。

水平方向クロージング処理および垂直方向クロージング処理によれば、白い領域の中に存在する穴を潰したり、近くに存在する白い領域をくっつけたりすることができるので、ノイズを除去して欠陥候補の精度を高めることができる。

水平方向オープニング処理は、二値画像の白色領域を水平方向に収縮させて膨張させる処理である。

垂直方向オープニング処理は、二値画像の白色領域を垂直方向に収縮させて膨張させる処理である。

水平方向オープニング処理および垂直方向オープニング処理によれば、小さい白い塊を除去したり、近くに存在する二つの白い領域をくっつけたりすることができるので、ノイズを除去して欠陥候補の精度を高めることができる。

ラベリング処理は、二値画像の白色領域に画素毎に番号を付ける処理である。ラベリング処理においては、例えば、連続するひと塊の白色領域に属する複数の画素については、互いに同一の番号を付与し、異なる塊の白色領域同士の間では、画素に付与される番号を互いに異ならせる。ラベリング処理を行うことで、後述する欠陥分別処理においてブロブ解析による欠陥の分類が可能となる。
なお、欠陥候補検出処理を構成する上記の差分フィルタ処理、二値化処理、水平方向クロージング処理、垂直方向クロージング処理、水平方向オープニング処理、垂直方向オープニング処理およびラベリング処理は、これらの前後を適宜入れ替えてもよい。

欠陥候補検出処理を行った後、Ｓ２４において、欠陥分別部２１は、ラベリング処理された異なる番号の欠陥候補すなわち白色領域ごとに個別に欠陥分別処理を行う。欠陥分別処理は、検出された欠陥候補についての少なくとも１つの物理量を算出し、算出された物理量と物理量の閾値とを比較することで欠陥候補が欠陥でないか否かを判定し、欠陥でないと判定された欠陥候補以外の欠陥候補を欠陥分類器１５に出力する処理である。例えば、欠陥分別処理は、横幅算出処理と、縦幅算出処理と、面積算出処理と、輝度差ピーク値算出処理と、輝度差平均値算出処理と、斜率算出処理と、面積比算出処理と、スジ率算出処理と、円形度算出処理と、閾値判定処理と、出力処理との一連の処理によって構成される。

横幅算出処理は、欠陥候補の物理量の１つとして、欠陥候補の横幅を算出する処理である。横幅は、例えば、欠陥候補の重心点を通るＸ方向の直線が欠陥候補のＸ方向の両端とそれぞれ交わる２点を定義した場合に、当該２点の間のＸ方向の距離として求められる。

縦幅算出処理は、欠陥候補の物理量の１つとして、欠陥候補の縦幅を算出する処理である。縦幅は、例えば、欠陥候補の重心点を通るＹ方向の直線が欠陥候補のＹ方向の両端とそれぞれ交わる２点を定義した場合に、当該２点の間のＹ方向の距離として求められる。

面積算出処理は、欠陥候補の物理量の１つとして、欠陥候補の面積を算出する処理である。

輝度差ピーク値算出処理は、欠陥候補の物理量の１つとして、欠陥候補のうち差分フィルタ処理による差分値の最大値を算出する処理である。

輝度差平均値算出処理は、欠陥候補の物理量の１つとして、欠陥候補の輝度差の平均値を算出する処理である。

斜率算出処理は、欠陥候補の物理量の１つとして、欠陥候補の輝度差の変化量を算出する処理である。

面積比算出処理は、欠陥候補の物理量の１つとして、１つの欠陥候補の全体を包含し且つ当該欠陥候補のＸ方向およびＹ方向の最外端部と外接するように定義された矩形領域内における欠陥候補すなわち白色領域と黒色領域との面積比を算出する処理である。

スジ率算出処理は、欠陥候補の物理量の１つとして、欠陥候補を１つの矩形のスジとみなして、スジの長辺と短辺との比を算出する処理である。より詳しくは、スジ率算出処理は、１つの欠陥候補の全体を包含し且つ当該欠陥候補のＸ方向およびＹ方向の最外端部と外接するように定義された矩形領域の長辺と短辺との比を算出する処理である。

円形度算出処理は、欠陥候補の物理量の１つとして、欠陥候補の円形度を算出する処理である。円形度は、欠陥候補の面積をＳ、欠陥候補の周囲長をＬとした場合に、４πＳ／Ｌ^２で算出してもよい。
なお、上記の横幅算出処理、縦幅算出処理、面積算出処理、輝度差ピーク値算出処理、輝度差平均値算出処理、斜率算出処理、面積比算出処理、スジ率算出処理および円形度算出処理は、これらの前後を適宜入れ替えてもよい。

閾値判定処理は、異なる塊の欠陥候補ごとに個別に、上述した各種の算出処理で算出された欠陥候補の各物理量のそれぞれを各物理量について予め設定された物理量ごとの判定閾値と比較することで、欠陥候補が欠陥でないか否かを判定する処理である。閾値判定処理によって、異なる塊の欠陥候補が、欠陥でないと判定された欠陥候補と、欠陥でないと判定された欠陥候補以外の欠陥候補とに振り分けられる。欠陥でないと判定された欠陥候補以外の欠陥候補は、この時点ではまだ欠陥であるかどうかが確定していない。したがって、欠陥でないと判定された欠陥候補以外の欠陥候補には、最終的に欠陥であると確定される欠陥候補だけでなく、欠陥でないかどうかが疑わしい欠陥候補も含まれ得る。

出力処理は、閾値判定処理によって欠陥でないと判定された欠陥候補以外の欠陥候補を欠陥分類器１５に出力し、閾値判定処理によって欠陥でないと判定された欠陥候補を欠陥分類器１５に出力しない処理である。これにより、欠陥でないと判定された欠陥候補以外の欠陥候補のみが、ニューラルネットワークを用いた欠陥分類の対象となり、欠陥でないと判定された欠陥候補は、ニューラルネットワークを用いた欠陥分類の対象から除外される。

欠陥分別処理を行った後、Ｓ２５において、欠陥分類器１５は、欠陥分類処理を行う。欠陥分類処理は、閾値判定処理によって欠陥でないと判定された欠陥候補以外の欠陥候補について、第１実施形態と同様にニューラルネットワークを用いて何れの種類の欠陥であるのかを分類する処理である。

欠陥分類処理を行った後、Ｓ２６において、分類確定部２２は、欠陥分類器１５から出力され欠陥候補の欠陥分類を確定する分類確定処理を行う。分類確定部２２は、欠陥分類と、分類毎の欠陥の発生位置を示す発生位置情報とを比較し、分類された欠陥候補の位置が、対応する分類の発生位置情報に示される発生位置と合致する場合に、欠陥分類を確定する。一方、分類確定部２２は、分類された欠陥候補の位置が、対応する分類の発生位置情報に示される発生位置と合致しない場合に、欠陥分類を確定しない。

なお、分類確定部２２は、発生位置情報以外にも、予め分類ごとに個別に設定された欠陥分類の信頼度の閾値を更に用いて分類確定処理を行ってもよい。

分類確定処理を行った後、Ｓ２７において、欠陥判定部２３は、欠陥分類が確定された欠陥候補が欠陥であるか否かを判定する欠陥判定処理を行う。欠陥判定部２３は、欠陥分類が確定された欠陥候補と、分類毎の欠陥の発生履歴を示す発生履歴情報とを比較することで、欠陥候補が欠陥であるか否かを判定する。欠陥判定部２３は、欠陥分類が確定された欠陥候補が、対応する分類の発生履歴情報に示される発生履歴と整合する場合に、欠陥候補が欠陥であると判定する。発生履歴は、例えば、欠陥候補の連続発生回数であってもよい。一方、欠陥判定部２３は、欠陥分類が確定された欠陥候補が、対応する分類の発生履歴情報に示される発生履歴と整合しない場合に、欠陥候補が欠陥でないと判定する。なお、欠陥判定部２３は、欠陥分類が確定されなかった欠陥候補については、どの分類にも属しない欠陥として判定される。

なお、欠陥判定部２３は、発生履歴情報以外にも、欠陥の濃さすなわち輝度差を示す欠陥強度を更に用いて欠陥判定処理を行ってもよい。

第２の実施形態によれば、ニューラルネットワークを用いた欠陥分類と、ニューラルネットワーク以外の判定基準を用いた欠陥判定手法とを組み合わせることで、ニューラルネットワークのみを用いる場合と比較して精度の高い欠陥判定を行うことができる。

（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。

（１）第１実施形態において、欠陥検出部１２によって欠陥候補を検出し、画像切り出し部１３によって画像を切り出すことにより、後述の欠陥分類部１５による処理を軽くする例を挙げて説明した。これに限らず、カラーフィルタの撮影画像を直接、欠陥分類部１５によって処理する構成としてもよい。この場合、欠陥分類部１５のニューラルネットワークにおいて、画像全体から欠陥分類を出力する。

（２）第１実施形態において、欠陥検出部１２は、特許第４３６３９５３号公報に開示されている手法を用いて欠陥候補の検出を行う例を挙げて説明した。これに限らず、従来公知の欠陥検出の手法を用いて欠陥候補の検出を行う構成としてもよい。

本発明は、カラーフィルタ以外の対象物の欠陥検査にも適用することができる。例えば、フィルム、ガラス、シリコン、金属等に、塗装や自己発光によって検査対象外観を形成した対象物の欠陥を検査するために本発明を適用することもできる。検査対象外観は、可視光下で検出できるものに限らず、赤外光下や紫外光下で検出できるものであってもよい。また、医療用のレントゲン画像の欠陥を検査するために本発明を適用することもできる。

なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

１ カラーフィルタ検査装置
１１ 撮影部
１２ 欠陥検出部
１３ 画像切り出し部
１４ 入力部
１５ 欠陥分類部
１６,１９ 学習モデル
１７ 学習モデル構築部
１８ 学習データ
１５１ 入力層
１５２ 畳み込み層
１５３ プーリング層
１５４ 全結合層
１５５ 出力層

Claims (5)

1. カラーフィルタの撮影画像に基づいて欠陥候補を検出する欠陥検出部であって、前記撮影画像を複数方向から一次微分したデータから前記欠陥候補を含む範囲を検出することで前記欠陥候補を検出する欠陥検出部と、
   前記検出された欠陥候補を含む範囲を、欠陥分類のためにニューラルネットワークに出力する欠陥出力部と、
   カラーフィルタの撮影画像の第１の分析結果に基づいて前記ニューラルネットワークから出力された前記欠陥分類の結果を確定する分類確定部と、
   カラーフィルタの撮影画像の第２の分析結果に基づいて前記欠陥分類の結果が確定された欠陥候補が欠陥であるか否かを判定する欠陥判定部と、
   を備え、
   前記第２の分析結果は、分類毎の欠陥の発生履歴を示す発生履歴情報を含み、
   前記ニューラルネットワークは、
   前記撮影画像から畳み込み処理により第１特徴マップを生成する畳み込み層と、
   プーリング処理を行い前記第１特徴マップのサイズ又は変化を低減して第２特徴マップを生成するプーリング層と、
   前記欠陥分類の結果を出力する出力層と、
   を備えるカラーフィルタ検査装置。
2. 前記第１の分析結果は、分類毎の欠陥の発生位置を示す発生位置情報を含む、請求項１に記載のカラーフィルタ検査装置。
3. 前記欠陥検出部で検出された前記欠陥候補を含む範囲を前記撮影画像から切り出す画像切り出し部をさらに備える、請求項１又は２に記載のカラーフィルタ検査装置。
4. 欠陥検出部が、カラーフィルタの撮影画像に基づいて欠陥候補を検出する工程であって、前記撮影画像を複数方向から一次微分したデータから前記欠陥候補を含む範囲を検出することで前記欠陥候補を検出する工程と、
   欠陥出力部が、前記検出された欠陥候補を含む範囲を、欠陥分類のためにニューラルネットワークに出力する工程と、
   分類確定部が、カラーフィルタの撮影画像の第１の分析結果に基づいて前記ニューラルネットワークから出力された前記欠陥分類の結果を確定する工程と、
   欠陥判定部が、カラーフィルタの撮影画像の第２の分析結果に基づいて前記欠陥分類の結果が確定された欠陥候補が欠陥であるか否かを判定する工程と、
   を備え、
   前記第２の分析結果は、分類毎の欠陥の発生履歴を示す発生履歴情報を含み、
   前記ニューラルネットワークは、
   前記撮影画像から畳み込み処理により第１特徴マップを生成する畳み込み層と、
   プーリング処理を行い前記第１特徴マップのサイズ又は変化を低減して第２特徴マップを生成するプーリング層と、
   前記欠陥分類の結果を出力する出力層と、
   を備えるカラーフィルタ検査方法。
5. 撮影部が、前記カラーフィルタを撮影する工程と、
   前記ニューラルネットワークが、前記撮影画像から畳み込み処理により第１特徴マップを生成する畳み込み工程と、
   プーリング処理を行い前記第１特徴マップのサイズ又は変化を低減して第２特徴マップを生成するプーリング工程と、
   をさらに備える、請求項４に記載のカラーフィルタ検査方法。

Images