JP6391281B2 - 光学検査方法、光学検査装置、および光学部材の製造方法 - Google Patents

Description

本発明は、対象物を撮影して得られた画像に対して画像処理を行い、その結果に基づき前記対象物の欠陥判定を行う光学検査方法、光学検査装置、および光学部材の製造方法に関する。

レンズやミラーのような光学部材の製造過程において、これら光学部材の検査や検品は、製造工程内の検査者による目視検査によって行われることがある。この光学部材を不良として判定する条件に、微小な欠陥が密集した場合がある。ここで記載する微小な欠陥が密集した場合とは、光学部材の表面に、直径が数十ミクロン程のゴミやキズといった複数の微細な欠陥が、数十ミクロン程の間に近接して密集しているような状態を指す。

目視検査では、検査者が、密集した欠陥が生じていると考えられる領域内の各欠陥の面積や個数を目視確認することにより、経験的に上記のような条件で欠陥判定（良否判定）を行っている。この種の目視検査は熟練を要するため、対象物（光学部材など）を撮影して得られた画像に対して画像処理を行い、目視検査の欠陥判定と同等、あるいはそれ以上に信頼性の高い検査結果を得られる光学検査装置が求められている。

従来より、この種の目視検査を自動化するため、画像センサや画像処理システムを用いた光学検査装置が種々提案されている。たとえば、下記特許文献１の光学検査装置では、被検物の撮像画像を単位面積毎の小領域に分割し各小領域内に含まれる欠陥の個数を特徴量として用いることにより、密集した微小な欠陥を検出しようとしている。

特開２０１２−７３１１９号公報

ところで、目視検査において、密集した欠陥の欠陥判定結果は、散乱強度分布の指向性によって異なるものとなる可能性がある。たとえば、鏡面に鋭く付けられたキズの集まりは散乱（または反射）光強度分布に強い指向性を持っており、特定の方向から照明したり観察した場合にのみ強く光って見えるため、検査者の熟練度などによっては目視検査で見落され良品と判定される場合がある。一方、ホコリや汚れなどの集まりは散乱（または反射）光強度分布の指向性が弱いため、どの方向から観察しても同じような明るさで見える。このようなホコリや汚れは、軽微であれば良品判定でも構わない場合もあるにもかかわらず、目視検査では比較的見えやすく、また、不良品と判定するのは比較的容易である。

一般に、対象物（の欠陥）を特定の方向から照明したり、観察（あるいは撮影）した場合にのみ、大きな散乱ないし反射光量（あるいは輝度）が得られる場合、その対象物（の欠陥）の光学特性は異方性を有する、と言える。あるいは、その対象物（の欠陥）は光学的な異方性を有する、と言ってもよい。

そして、上記の目視検査では、対象物（の欠陥）の光学特性が強い異方性を有している場合は検査者にかなりの熟練を要し、また、熟練度が高い検査者であっても、見落としの可能性が高くなる、という傾向が認められる。

そこで、光学検査装置で欠陥判定を行う場合、目視検査の欠陥判定と同等あるいはそれ以上に高い信頼性を得るためには、例えば、目視検査で検査が難しく、見落しも生じやすい光学特性が強い異方性を示している欠陥を確実に検出できると好ましい。

ところが、上記特許文献１に開示されるような従来技術では、単に密集した欠陥に含まれている個数を基準に欠陥判定を行っているだけで、散乱（あるいは反射）強度分布の指向性や上記のような光学的な異方性は考慮されていない。従って、特許文献１に記載されるような従来の画像検査技術では、（熟練した）検査者による目視検査との欠陥判定の結果にずれを生じるおそれがあり、欠陥の過検出（あるいは逆に検出失敗）を生じる可能性がある。

そこで本発明の課題は、対象物を撮影して得られた画像に対して画像処理を行い、その結果に基づき前記対象物の欠陥判定を行う光学検査において、対象物の光学特性の照明方向に係る異方性に基づき対象物の欠陥判定を行えるようにすることにある。

上記課題を解決するため、本発明は、対象物を互いに異なる複数の照明方向から照明し、撮像手段により前記複数の照明方向ごとに撮像して取得した前記対象物の複数の画像に対して制御装置により画像処理を行い、前記対象物の欠陥の有無を判定する光学検査方法において、前記制御装置が実行する画像処理が、前記複数の画像に対して、各画素における画素値の最大値を取得して最大値合成画像を生成する第１の画像生成工程と、前記複数の画像に対して、各画素における画素値の平均値を取得して平均値合成画像を生成する第２の画像生成工程と、前記最大値合成画像と前記平均値合成画像の対応する画素間の画素値を比較して得られる比較値を各画素の画素値として有する比較画像を生成する第３の画像生成工程と、前記比較画像から、所定値を超える画素値を有し、かつ、互いに隣接する欠陥候補画素群を抽出する抽出工程と、抽出した前記欠陥候補画素群の単位空間内における密度に関する情報を取得する密度情報取得工程と、前記密度情報取得工程で取得した密度に関する情報に応じて前記対象物の欠陥の有無を判定する判定工程と、を含むことを特徴とする。

また、本発明は、対象物を互いに異なる複数の照明方向から照明し、撮像手段により前記複数の照明方向ごとに撮像して取得した前記対象物の複数の画像に対して制御装置により画像処理を行い、前記対象物の欠陥の有無を判定する光学検査装置において、前記制御装置は、前記複数の画像の各画素における画素値の最大値および平均値から、それぞれ最大値合成画像および平均値合成画像を生成し、前記最大値合成画像と前記平均値合成画像の対応する画素間の画素値を比較して得られる比較値を、各画素の画素値として有する比較画像を生成し、前記比較画像から、所定値を超える画素値を有し、かつ、互いに隣接する欠陥候補画素群を抽出し、前記欠陥候補画素群の単位空間内における密度に関する情報に応じて前記対象物の欠陥の有無を判定することを特徴とする。

上記構成によれば、異なる照明方向ごとに撮像した画像から最大値合成画像、平均値合成画像、さらに最大値合成画像と平均値合成画像の比較画像を生成し、対象物の光学特性の撮像時の照明方向に係る異方性に基づき対象物の欠陥判定を行うことができる。

本発明を採用した光学検査方法を実施する光学検査装置の概略構成図である。 図１の光学検査装置による光学検査の全体的な流れを示したフローチャート図である。 図１の光学検査装置による光学検査において、対象物の欠陥判定の詳細を示すフローチャートである。 本発明を採用した光学検査方法において、最大値および平均値合成画像から比較画像を得る画像処理を示したもので、（ａ）は光学特性の異方性が高い場合、（ｂ）は光学特性の異方性が低い場合をそれぞれ示した説明図である。 本発明を採用した光学検査方法において、比較画像の欠陥候補画素群に対する画像処理を示した説明図である。

以下、添付図面を参照して本発明を実施するに好適な実施の形態につき詳細に説明する。

図１は本発明の実施形態としての光学検査方法を実行する光学検査装置１の概略構成を示している。図１の光学検査装置１は、画像撮像部１００と画像処理システム２００を備えている。図１の光学検査装置１は、対象物Ｗが、光透過性（ないし半透過性）を有する部材、たとえばレンズのような光学部材である場合を想定した構成となっている。

図１において、画像撮像部１００は、カメラ１０１、光源１０２、対象物Ｗを載置するホルダ１０３を有している。カメラ１０１、光源１０２、ホルダ１０３は、フレーム部１０４に対して所定の位置関係で固定されている。

なお、レンズのような光学部材を対象物Ｗとして扱う場合、図１の光学検査装置１は、対象物Ｗ（例えばレンズ）を形成する製造ラインの一部に配置することができる。例えば、光学検査装置１はそのような検査が必要となる製造ライン上の位置、レンズを形成、研磨するラインの下流に配置することができる。その場合、検査すべきレンズは不図示の搬送機構（例えばロボット装置など）を用いてホルダ１０３に載置され、光学検査装置１に順次供給され、検査される。

カメラ１０１は、対物レンズユニット１０１ａと、撮像素子としてのセンサ部１０１ｂ、あるいはさらに不図示のシャッタ機構などから構成される。カメラ１０１のセンサ部１０１ｂはＣＣＤセンサやＣＭＯＳセンサなどから構成される。対象物Ｗを光学検査する際、カメラ１０１による対象物Ｗの撮像タイミングは、制御装置、例えば後述の画像処理システム２００のプロセッサ２０１によって制御される。

光源１０２は、対象物Ｗを異なる方向から照明して、各照明方向ごとにカメラ１０１により対象物Ｗの複数の画像を撮影できるよう構成する。このために、光源１０２は、例えば光源素子として、例えば複数のＬＥＤ光源を用いて構成することができる。例えば、図１の構成では、光源１０２の各光源素子は、射出した光が対象物Ｗに斜めに入射するよう、かつ射出端面が環状に均等に並ぶように対象物Ｗの下方に配置されている。このように対象物Ｗを異なる方向から照明してそれぞれの照明方向ごとに撮影を行うことにより、カメラ１０１で撮影した各画像にはそれぞれ散乱方位の異なる散乱光成分を記録することができる。

なお、図１の構成は、対象物Ｗを（主に）透過光で撮影するような照明方向となるよう光源１０２はカメラ１０１に対して対象物Ｗの反対側に配置している。しかしながら、対象物Ｗを（主に）反射光で撮影するような照明方向となるよう、例えば図１の対象物Ｗの上側の、カメラ１０１と同じ側に配置する構成も考えられる。また、透過光撮影と反射光撮影を切り換えることができるよう、図１の光源１０２の位置を対象物Ｗの下側か上側のいずれかに設定可能な例えば揺動機構（不図示）などを追加しておく構成も考えられる。

画像処理システム２００は、後述の画像処理全体を制御する制御装置としてのプロセッサ２０１を有する。画像処理システム２００は、例えばＰＣ（パーソナルコンピュータ）などのハードウェアを利用して構成することができる。画像処理システム２００は、主制御部としてのプロセッサ２０１の他、例えばＲＯＭ２１１、ＲＡＭ２１２、カメラ１０１からの画像データ入力や、モニタ２０２への表示画像出力に用いられるインターフェース２１４を有する。なお、インターフェース２１４は簡略化のため単一のブロックにより示してあるが、例えばカメラ１０１とモニタ２０２では、入出力信号の仕様などが異なる別体のインターフェースカードなどが用いられるのはいうまでもない。モニタ２０２は、画像撮像部１００より送信された画像データやプロセッサ２０１による画像処理結果（あるいはその途中の処理状況など）を表示するために用いることができる。

また、画像処理システム２００には、例えばＨＤＤ、ＳＳＤ、あるいは他の任意の外部記憶デバイスから構成された外部記憶装置２１３を設けてある。外部記憶装置２１３は、プロセッサ２０１の仮想記憶領域などとして用いられる他、後述の画像処理および欠陥判定を制御するためのプロセッサ２０１により実行可能なプログラムの格納に用いられる。この本実施形態に係るプログラムは、外部記憶装置２１３に限られず、例えば上記のＲＯＭ２１１などに格納しておいてもよい。また、本実施形態に係るプログラムは、ＤＶＤやＣＤＲＯＭ、各種フラッシュメモリなどの着脱自在な外部記憶デバイスに格納した状態で画像処理システム２００に導入し、プロセッサ２０１により実行させることもできる。なお、外部記憶装置２１３や他の外部記憶デバイスに格納されたプログラムは、通常、ＲＡＭ２１２の所定領域に展開され、実行される。

また、画像処理システム２００には、キーボードやポインティングデバイス（マウスその他のデバイス）、音声入出力手段などから成る不図示のユーザーインターフェース手段が接続される。このユーザーインターフェース手段は、検査者が光学検査処理を開始、終了させたり、光学検査処理の細部の設定変更を行うのに用いられる。

後述の光学検査処理において、画像処理システム２００のプロセッサ２０１は、光源１０２の照明方向を制御しつつ、カメラ１０１によりそれぞれ異なる照明方向を持つ照明光により対象物Ｗを撮像させる。また、プロセッサ２０１は、それぞれ異なる照明方向を持つ照明光により撮像した対象物Ｗの複数の画像に対して後述の画像処理を行い、その画像処理結果に基づき、対象物Ｗの欠陥判定を行う。この欠陥判定とは、いわゆる良否判定、例えば、対象物Ｗを（例えば出荷基準を満たす）良品であるか、あるいは（例えば同基準を満たさない）不良品であるかの判定である。

この欠陥判定のためのプロセッサ２０１による画像処理には、後述の最大値合成画像、平均値合成画像、および比較画像をそれぞれ生成する第１の画像生成工程、第２の画像生成工程、および第３の画像生成工程が含まれる。特に、第３の画像生成工程の画像生成においては、対象物の光学特性の照明方向に係る異方性に対応する特徴量を画素値として有する比較画像を生成する。また、本実施形態の同画像処理には、上記の比較画像に対する特徴量演算の結果に応じて対象物Ｗの欠陥の有無を判定する欠陥判定工程が含まれる。また、この欠陥判定工程においては、比較画像の中で所定値を超える画素値を有し互いに隣接した欠陥候補画素群を抽出する処理が含まれる。そして、例えば、抽出した複数の欠陥候補画素群を比較画像よりも低解像度な２次元単位空間に写像し、この２次元単位空間に写像された欠陥候補画素群の画素値を累積して得た特徴量の大小に基づき対象物の欠陥の有無を判定することができる。

以上のように構成された光学検査装置１による、対象物Ｗの光学検査手順につき説明する。図２は光学検査装置１による光学検査手順の全体の流れを示している。また、図３は図２の光学検査手順における画像処理および欠陥判定処理を詳細に示している。図２および図３の光学検査手順は、プロセッサ２０１のプログラムとして記述することができる。この光学検査プログラムは、上記のように外部記憶装置２１３に格納しておくか、あるいは他の記憶デバイスを介して画像処理システム２００に供給することができる。この場合、外部記憶装置２１３や上記記憶デバイスはコンピュータ読み取り可能な記録媒体を構成する。

光学検査装置１が起動すると、最初にステップＳ１０１が実行され、対象物Ｗを載置されたホルダ１０３が供給される。対象物Ｗは例えばレンズなどの光学部材であって、その場合、搬送装置（不図示）などによってホルダ１０３に載置され、図１の検査位置に供給される。続いて、ステップＳ１０２に進み、光源１０２に取り付けられているＬＥＤ光源を１つ選択して点灯させる。光源１０２からの光によって照明された対象物Ｗに欠陥がある場合、欠陥部位は光を散乱させてその部分のみを明るく浮かび上がらせることになる。

ステップＳ１０３では、ステップＳ１０２で形成された照明状態においてカメラ１０１により対象物Ｗを撮影する。カメラ１０１の対物レンズユニット１０１ａにより対象物Ｗの像は、センサ部１０１ｂで結像する。プロセッサ２０１の制御によって決定された撮像タイミングでカメラ１０１の各部が駆動されて撮像が行われ、撮像が終了すると、ステップＳ１０４において点灯しているＬＥＤを消灯する。

ステップＳ１０２の光源１０２の照明方向の選択、およびその照明方向からの照明光による対象物Ｗの撮像は、ステップＳ１０５で終了条件が成立するまで順次繰り返される。すなわち、ステップＳ１０５では、対象物Ｗを取り囲むように取り付けられている光源１０２の各ＬＥＤ光源が、全方位すべて点灯して撮像を行ったどうかを判定する。対象物Ｗの撮像が終了した場合（ステップＳ１０５：ＹＥＳ）は、ステップＳ１０６に進み、画像処理を行う。対象物Ｗの撮像がまだ終了していなければ（ステップＳ１０５：ＮＯ）ステップＳ１０２に戻り、引き続き光源１０２による照明方向を順次変更しながらカメラ１０１による撮像を続行する。

上記のようにして対象物Ｗを撮像して得られた画像は、デジタル画像データとして画像処理システム２００に送信される。ステップＳ１０６では、プロセッサ２０１はこのデジタル画像データに対して後述の画像処理を加え、ステップＳ１０７においてその画像処理結果に基づき欠陥判定を行う。この画像処理（Ｓ１０６）および欠陥判定（Ｓ１０７）については、図３〜図５を参照して後で詳細に説明する。

ステップＳ１０７の欠陥判定により、対象物Ｗが良品であるか（ステップＳ１０８）、不良品であるか（ステップＳ１０９）を判別できる。この判定結果は例えばモニタ２０２に表示して検査者（作業者）に報知する他、外部記憶装置２１３に用意した光学検査結果記録用のデータベースなどに記録することができる。

上記の処理が終了した後、対象物Ｗを載置したホルダ１０３は不図示の搬送機構（例えばロボット装置など）を介して光学検査装置１から取り出されれる。なお、この段階において、光学部品の製造システムなどでは、ステップＳ１０７〜Ｓ１０９の結果に応じて対象物Ｗの搬送先を変更するような制御を行うことができる。例えば、対象物Ｗは良品と判定された場合、通常の製造ラインへ搬送し、不良品と判定された場合は通常の製造ラインから外し別の搬送ラインに送る、といった制御を行うことができる。

次に、図２のフローチャートに示した画像処理（Ｓ１０６）および欠陥判定（Ｓ１０７）につき詳細に説明する。図３はプロセッサ２０１による画像処理（Ｓ１０６）および欠陥判定（Ｓ１０７）の制御手順をフローチャートとして示している。

図３のステップＳ２０１、Ｓ２０２、Ｓ２０３では、カメラ１０１により異なる照明方向で撮影した複数の画像（図４の５００、６００）に対して、最大値合成画像（Ｓ２０１）、平均値合成画像（Ｓ２０２）、および比較画像（Ｓ２０３）を生成する。ここで、図４を参照して、ステップＳ２０１、Ｓ２０２、Ｓ２０３における最大値合成画像生成処理、平均値合成画像生成処理、比較画像処理につき説明する。

図４（ａ）と図４（ｂ）では、カメラ１０１によりそれぞれ異なる対象物Ｗを撮影している。図４（ａ）の画像５００（５０１〜５０４）は、対象物Ｗの同一の欠陥部位をカメラ１０１により異なる照明方向で撮像し、得られた画像である。また、図４（ｂ）の画像６００（６０１〜６０４）は、同様に、対象物Ｗ（図４（ａ）とは異なる）の同一の欠陥部位をカメラ１０１により異なる照明方向で撮像し、得られた画像である。

なお、図４では簡略化のため、撮像された対象物Ｗの同一の欠陥部位は単なる楕円で表現してあるが、実際の対象物Ｗの欠陥部位は様々な形状を取り得る。例えばレンズのような光学部品では、線状や三日月形状、半円形状などの形状で撮影されることがある。

また、図４（ａ）、（ｂ）は、対象物Ｗ（の同一部位）の複数の画像５００、６００と、これら複数の画像から生成した最大値合成画像（７０１、７０２）および平均値合成画像（８０１、８０２）を示している。また、図４（ａ）、（ｂ）において、最大値合成画像（７０１、７０２）および平均値合成画像（８０１、８０２）から輝度値比較画像（９０１、９０２）を得る処理を示している。

そして、図４（ａ）は対象物（の欠陥）が散乱光強度の高い指向性を示す場合、図４（ｂ）は対象物（の欠陥）が散乱光強度の指向性が低い場合をそれぞれ示している。散乱光強度の指向性が高い、すなわち対象物（の欠陥）の光学特性に照明方向に関する強い異方性が認められる場合には、図４（ａ）のようにある一方向からの照明光により撮像された画像５０２（のみ）が大きな輝度を有する結果となる。一方、散乱光強度の指向性が低い場合には、照明方向を変えても撮像された画像は特に照明方向に関する異方性を示すことなく、図４（ｂ）のようにどの照明方向から得た画像（６０１〜６０４）も似たような輝度分布を示すことになる。

ここで、発明が解決しようとする課題の欄で述べたように、図４（ａ）の如く撮像された欠陥部位の散乱光強度の指向性が高く、照明方向に関する異方性が強い欠陥の判定には、目視検査者の高い熟練度が要求され、また、見落しも生じやすい。そして、本実施形態の画像処理は、特に図４（ａ）のように照明方向に関する異方性が強い欠陥部位を確実に欠陥部位として判定できるよう構成したものである。

図３のステップＳ２０１において、プロセッサ２０１は、異なる照明方向の照明光で得た画像（図４の５００または６００）から最大値合成画像を生成する。この最大値合成画像は、例えば異なる照明方向の照明光で得た画像（図４の５００または６００）の対応する同一画素の画素値（例えば輝度値）の最大値をその画素の代表値として取得し、この処理を全ての画素について行うことにより生成する。

また、図３のステップＳ２０２では、プロセッサ２０１は、異なる照明方向の照明光で得た画像（図４の５００または６００）から平均値合成画像を生成する。この平均値合成画像は、例えば異なる照明方向の照明光で得た画像（図４の５００または６００）の対応する同一画素の画素値（例えば輝度値）の平均値をその画素の代表値として取得し、この処理を全ての画素について行うことにより生成する。

図４（ａ）のように欠陥部位の散乱強度指向性が高い（照明方向に関する光学特性の異方性が強い）場合には、当然、上記の処理により得られた最大値合成画像７０１は、平均値合成画像８０１よりも輝度が大きな部位を有することになる。逆に、図４（ｂ）のように欠陥部位の散乱強度指向性が低い（照明方向に関する光学特性の異方性が無い、または弱い）場合には、どの照明方向でも似たような画素値分布となる。この場合上記の処理により得られた最大値合成画像７０２と平均値合成画像８０２は似かよった画素値分布となる。

従って、最大値合成画像と平均値合成画像を生成し、さらに、最大値合成画像と平均値合成画像の比較画像を生成し（図３ステップＳ２０３）、比較画像の特性を解析（同Ｓ２０４以降）する。これにより、図４（ａ）のように散乱強度指向性が高い（照明方向に関する光学特性の異方性が強い）欠陥部位を検出できることが判る。この本実施形態の手法は、照明方向をいちいち分別することなく、単に画素ごとの最大値ないし平均値を求めてその画素の特徴量を取得し、比較する数値演算によって実施でき、大きな計算コストないし計算資源を必要としない利点がある。

ステップＳ２０３の比較画像生成では、例えば最大値合成画像と平均値合成画像の各々対応する画素について画素値（例えば輝度値）の比較値を演算し、その結果得られた値を画素の画素値（例えば輝度値）に対応させた比較画像を作成する。ここで行う画素値（輝度値）の比較演算は、画素値（輝度値）の差を取る減算演算か、あるいは商（ないし比）を取る除算演算により行うことができる。

ここで、欠陥部位の散乱強度分布の指向性が強い（照明方向に関する光学特性の異方性が強い）場合、図４（ａ）に示すようにある照明方向で得られた画像（５０２）のみ高い画素値が得られ、それ以外の方位からは輝度値を得られない。逆に欠陥部位の散乱強度分布の指向性が弱い（照明方向に関する光学特性の異方性が無い、または弱い）場合は、図４（ｂ）に示すように全方位の照明においてほぼ一定の輝度値が得られる。従って、それぞれの条件で最大値合成画像と平均値合成画像の比較を行うと、欠陥部位の散乱強度分布の指向性が強い（照明方向に関する光学特性の異方性が強い）場合はその比較画素の画素値は高くなる。逆に欠陥部位の散乱強度分布の指向性が弱い（照明方向に関する光学特性の異方性が弱い）場合、比較画素の画素値は低くなる。

ここで、ステップＳ２０３の比較画像生成によって得られた比較画像（図４の９０１または９０２）の画素値は、単なる画素値（例えば輝度値）の比較値ではない。すなわち、比較画像（図４の９０１または９０２）の画素値は、対象物の散乱強度分布の指向性、すなわち照明方向に関する光学特性の異方性に対応する特徴量として考えることができる。

なお、ステップＳ２０３で生成した比較画像（あるいはさらにその元になっている平均値画像と最大値画像）は、適当なデータ変換を介してモニタ２０２で可視表示することができる。その場合、比較画像の各画素値は、必要に応じてモニタ２０２で可視表示可能な表示輝度値などに変換する。このようにしてモニタ２０２で可視表示した比較画像（あるいはさらにその元になっている平均値画像と最大値画像）は、例えば検査者が目視検査を行なう場合（あるいはそのトレーニングなどを行う場合）などの参考表示として用いることができる。

さて、発明が解決しようとする課題の欄で述べたように、目視検査で不良品として判定するためには、欠陥部位の散乱光強度が指向性が高いだけではなく、そのような欠陥部位の密度が問題とされる場合がある。例えば、この種の目視検査では、そのような欠陥部位が（例えばある程度以上の密度で）密集していることが重要視される。

もちろん、図３のステップＳ２０３までの処理を行い、比較画像の画素値の大小によって、ある程度の欠陥検出を行うことは不可能ではない。しかしながら、本実施形態は、照明方向に関する光学特性の異方性が強いだけではなく、さらに欠陥部位が（例えばある程度以上の密度で）密集していることを条件として欠陥（良否）判定を行えるようにしたものである。

そこで、図３のステップＳ２０４以降の処理は、ステップＳ２０３で作成した比較画像に対して画像処理を行い、照明方向に関する光学特性の異方性が強く、かつ（例えばある程度以上の密度で）密集した欠陥候補画素群を検出し、欠陥（良否）判定を行う。

ステップＳ２０４では、まず、ステップＳ２０３で生成した比較画像（図４の９０１または９０２）に対して、一定以上の画素値を有し、かつ比較画像の中で連続（隣り合った）した画素群を欠陥候補画素群として抽出する。ここで、上述のように、ステップＳ２０３で生成した比較画像の画素値は、欠陥部位の照明方向に関する光学特性の異方性に対応する特徴量と考えることができる。この欠陥候補画素群の抽出は、例えば、比較画像の画素（値）に対するラベリング処理によって行うことができる。

ここでラベリング処理とは、画像データを走査し、例えば所定の閾値との比較によって一定以上の画素値を有する画素を検出し、そのような画素が検出された場合には、隣接する同様の特性を有する画素に固有のラベルを付していく処理である。このようなラベリング処理の詳細は公知であるから、本実施形態においてはその詳細な説明は省略する。ステップＳ２０４においては、このラベリング処理を欠陥部位の照明方向に関する光学特性の異方性に対応する特徴量である比較画像の画素値に対して行う。

図５の左側は、ステップＳ２０４において、上記のようなラベリング処理により、一定以上の画素値を有しかつ空間的に連続することを条件として抽出された欠陥候補画素群の一例を示している。図５の左側は６ｘ６ドットの比較画像空間において抽出された、それぞれほぼＬ字型に連続（隣接）した３つの欠陥候補画素群Ｄ０、Ｄ１、Ｄ２を示している。なお、図５では、図４とは逆に着色部位によって高い画素値を表現してある。

ステップＳ２０４では、さらに欠陥候補画素群Ｄ０、Ｄ１、Ｄ２を特定する特徴量を取得する。この特徴量としては、例えば、欠陥候補画素群Ｄ０、Ｄ１、Ｄ２の比較画像における位置（座標）を表す重心座標ｇ０（ｘ０、ｙ０）、ｇ１（ｘ１、ｙ１）、ｇ２（ｘ１、ｙ２）と、各画素群の代表値を取得する。

また、欠陥候補画素群Ｄ０、Ｄ１、Ｄ２を代表する特徴量Ｂとしては、欠陥候補画素群Ｄ０、Ｄ１、Ｄ２の各画素の画素値を反映した値を用いる。例えば、これら画素群の各画素の画素値の平均値（あるいは累積値）などを用いることが考えられる。ここでは、欠陥候補画素群Ｄ０、Ｄ１、Ｄ２を代表する特徴量Ｂは、それぞれ上記の画素値の平均値（あるいは累積値）から取得した特徴量Ｂ０、Ｂ１、Ｂ２であるものとする。

次にステップＳ２０５では、比較画像の解像度よりも低解像度を有する２次元空間を準備する。例えば、このような２次元空間は、上記の欠陥候補画素群（Ｄ０、Ｄ１、Ｄ２…）を特定する特徴量を格納できるようＲＡＭ２１２上に所定領域を割り当てることにより用意できる。この２次元空間上は、例えば比較画像内のｎ×ｍ画素の領域を２次元空間のある単位空間（１画素と考えてもよい）にマップするよう用いられる。この２次元空間の領域は、例えば比較画像のｎ×ｍ画素の大きさ（ないし面積）を有する単位空間として考えることができる。

なお、図５では、簡略化のため、比較画像のｎ×ｍ画素の領域と、それに対応する大きさを有する２次元空間の１つの単位空間のみを図示している。しかしながら、実際には比較画像の大きさは撮像された画像の大きさに応じて定まり、図５左側に示したサイズよりももっと大きい場合がある。従って、本実施形態の画像処理に用いる２次元空間の（例えばｎ×ｍ画素の大きさを有する）単位空間は比較画像全体をカバーできる数だけ必要に応じてメモリ上に割り当てられるものとする。

図５の例は、同図左側の比較画像内のｎ×ｍ画素の領域を同図右側の２次元空間の単位空間にマップする例で、この例ではｎ＝ｍ＝６となっている。ただし、本実施形態で用いるｎ×ｍの２次元空間の１画素（ないし単位空間）の大きさは任意であり、また必ずしもｎ＝ｍの正方形の領域を用いる必要はない。なお、このｎ×ｍの２次元空間は、検査者が必要に応じて画像処理システム２００のユーザーインターフェースを用いるなどして対象物の検査に適切な縦横比、大きさの空間を設定できるようにしておいてもよい。

図３のステップＳ２０６〜Ｓ２０８のループでは次のような処理を行う。すなわち、比較画像内の欠陥候補画素群Ｄ０、Ｄ１、Ｄ２のデータが、例えばそれらの重心座標ｇ０、ｇ１、ｇ２に応じて上記の２次元空間のどの単位空間に属しているかを判別する（Ｓ２０６）。そして、欠陥候補画素群Ｄ０、Ｄ１、Ｄ２を代表する特徴量Ｂ０、Ｂ１、Ｂ２を判別された２次元空間の特定の単位空間に付加する（Ｓ２０７）。

まず、ステップＳ２０６においては、比較画像内の欠陥候補画素群Ｄ０、Ｄ１、Ｄ２（…）から１つの欠陥候補画素群Ｄを選択し、その欠陥候補画素群が２次元空間上のどの単位空間に属するか選択する。なお、欠陥候補画素群Ｄ０、Ｄ１、Ｄ２（…）は、上記のラベリング処理の際に割り当てられたポインタアドレスの配列やリストなどを介して、順次、アドレッシング可能であるものとする。

ここで、２次元空間の１の単位空間が上記のように比較画像のｎ×ｍ画素の大きさを有し、それが２次元方向にタイル状に配列されているようなアドレス配置を考える。そして、欠陥候補画素群Ｄの重心座標がｇ（ｘ、ｙ）であり場合、（ｘ、ｙ）の座標がメモリ上に（例えば２次元配列などの形式で）配列されているとする。このようなメモリ構成においては、次のような簡単なアドレス演算により、欠陥候補画素群Ｄを選択し、その欠陥候補画素群が２次元空間上のどの単位空間に属するか選択することができる。すなわち、欠陥候補画素群Ｄが属する２次元空間の単位空間Ｐの座標ｇ’（ｘ’、ｙ’）は、次の式（１）、（２）のようなアドレス演算（除算）により求めることができる。
ｘ’＝ｘ／ｎ …（１）
ｙ’＝ｙ／ｍ …（２）
ただし、これらのアドレス除算では小数点以下は切り捨てるものとする。

次に、ステップＳ２０７では、選択した欠陥候補画素群Ｄの代表値である照明方向に関する光学特性の異方性に対応する特徴量Ｂを上記のようにして特定した２次元空間上の座標ｇ’（ｘ’、ｙ’）を有する単位空間Ｐに付加する。実際には、この処理は、２次元空間上の座標ｇ’（ｘ’、ｙ’）を有する単位空間Ｐを表現するメモリ領域に欠陥候補画素群Ｄの照明方向に関する光学特性の異方性に対応する特徴量Ｂを加算することによって行うことができる。

例えば、図５の欠陥候補画素群Ｄ０の照明方向に関する光学特性の異方性に対応する特徴量Ｂ０を、２次元空間の単位空間Ｐ０の特徴量（に相当するメモリアドレス）に付加する場合、Ｂ’０にＢ０を加算すればよい。ステップＳ２０８では、ステップＳ２０６、Ｓ２０７の処理を全ての欠陥候補画素群Ｄ０、Ｄ１、Ｄ２（…）に行ったか否かを判定し、全ての欠陥候補画素群を処理していなければステップＳ２０６にループして上記の処理を繰り返す。また、ステップＳ２０８で全ての欠陥候補画素群を処理したことが確認された場合にはステップＳ２０９の欠陥判定に移行する。なお、ステップＳ２０８の判定は、欠陥候補画素群Ｄ０、Ｄ１、Ｄ２（…）のポインタアドレスを格納したリストの終りに到達したか否かを検査することにより行うことができる。

以上のように、ステップＳ２０６〜Ｓ２０８を全ての欠陥候補画素群Ｄ０、Ｄ１、Ｄ２（…）に施すことにより、各画素群の照明方向に関する光学特性の異方性に対応する特徴量Ｂ０、Ｂ１、Ｂ２（…）を２次元空間上にマップ（写像）することができる。

例えば、図５左側の３つの欠陥候補画素群Ｄ０、Ｄ１、Ｄ２の場合、ステップＳ２０６〜Ｓ２０８のループ処理が終了した時点で、これらの画素群は図５右側の２次元空間の１つの単位空間Ｐ０にマップされることになる。そしてこの単位空間Ｐ０の代表値である密集した欠陥候補画素群の照明方向に関する光学特性の異方性に対応する特徴量Ｂ’０は
Ｂ’０＝Ｂ０＋Ｂ１＋Ｂ２ …（３）
となる。なお、単位空間Ｐ０中の欠陥候補画素群Ｄ０、Ｄ１、Ｄ２を代表する座標値は例えばこれらの欠陥候補画素群Ｄ０、Ｄ１、Ｄ２の重心座標ｇ０（ｘ０、ｙ０）、ｇ１（ｘ１、ｙ１）、ｇ２（ｘ１、ｙ２）から座標ｇ０’（ｘ’、ｙ’）と求めることができる。

以上のような画像処理を終了した段階で、２次元単位空間Ｐ０を代表する密集した欠陥の照明方向に関する光学特性の異方性に対応する特徴量Ｂ’０は、この単位空間Ｐ０に集められた欠陥候補画素群Ｄ０、Ｄ１、Ｄ２（…）の特徴量の累積値となる。従って、この単位空間Ｐ０の特徴量Ｂ’０は、当然ながら、その単位空間Ｐ０に集められた欠陥候補画素群Ｄ０、Ｄ１、Ｄ２（…）の散乱光強度の指向性、ないしは照明方向に関する光学特性の異方性の大小（強弱）を反映したものとなる。

すなわち、上記の光学的な異方性が弱い欠陥候補画素群が多く集まった場合、２次元空間上の単位空間Ｐ０の特徴量Ｂ’は小さい値となる。逆に光学的な異方性が強い欠陥候補画素群が多く集まった場合は、２次元空間上の単位空間Ｐ０の特徴量Ｂ’は大きな値となる。

つまり、上記の２次元単位空間への特徴量の累積は、光学的な異方性が強い欠陥候補画素群の特徴量の累積処理を意味すると同時に、その２次元単位空間内における欠陥候補画素群の密度に対応する密度対応値を取得する処理を意味する（密度情報取得工程）。従って、この２次元単位空間に累積された特徴量の大小は、その２次元単位空間にマップされた欠陥候補画素群光学的な異方性の強さと、欠陥候補画素群の密度を反映しており、２次元単位空間に累積された特徴量の大小に基づき欠陥判定を行うことができる。

ステップＳ２０９では、上記の２次元単位空間に累積された特徴量の大小に基づき欠陥判定を行う。この欠陥判定は、例えば２次元空間の１つの単位空間Ｐ０に対して行うことができる。ここでは、例えばこの単位空間Ｐ０の特徴量Ｂ’を予め定めた閾値と比較する。そして、閾値を超える（以上の）特徴量Ｂ’を持つ単位空間Ｐ０については不良（欠陥）あり、と判定し、閾値以下の（を超えない）特徴量Ｂ’を持つ単位空間Ｐ０については不良（欠陥）なし、と判定することができる。

なお、ステップＳ２０６〜Ｓ２０８で比較画像の全ての欠陥候補画素群（Ｄ０、Ｄ１、Ｄ２…）を処理した場合、当然、欠陥候補画素群（Ｄ０、Ｄ１、Ｄ２…）のデータが１つ以上の２次元空間の単位空間（Ｐ０、Ｐ１…）に対してマップされる場合がある。

従って、その場合、ステップＳ２０９の欠陥判定は欠陥候補画素群（Ｄ０、Ｄ１、Ｄ２…）のデータが集積された複数の２次元空間の単位空間（Ｐ０、Ｐ１…）に対して行うことになる。その場合、例えば、２次元空間おいてしきい値を超える特徴量Ｂ’を持つ単位空間（Ｐ０、Ｐ１…）が１つでもあった場合、対象物Ｗを不良品と判定し、まったくない場合に良品と判定することが考えられる。このような欠陥判定は、１個所でも欠陥部位を許さない（例えばレンズのような光学部品の）厳密な欠陥判定に好適で、また現実的な判定基準と考えられる。しかしながら、欠陥判定の対象物Ｗの製品種別などに応じて、例えば２次元空間おいてしきい値を超える特徴量Ｂ’を持つ単位空間（Ｐ０、Ｐ１…）を数ヶ所まで許容し、それ以上は不良品と判定する、といった欠陥判定を行うようにしてもよい。

以上説明したように、例えば図１に示したようなハードウェア構成において、図２〜図５に示したような画像処理を行うことにより、小さな対象物の光学特性の撮像時の照明方向に係る異方性に基づき対象物の欠陥判定を行うことができる。本実施形態では、異なる照明方向ごとに撮像した対象物の画像から最大値合成画像、平均値合成画像、さらに最大値合成画像と平均値合成画像の比較画像を生成（第１〜第３の画像生成処理）する。そして、本実施形態では、上記比較画像は、照明方向に関する光学特性の異方性に対応する特徴量を画素値として有するものとして生成されている。従って、この本実施形態の手法は、照明方向をいちいち分別することなく、単に画素ごとの最大値ないし平均値を求めてその画素の特徴量を取得し、比較する数値演算によって実施でき、大きな計算コストないし計算資源を必要としない。

また、本実施形態では、比較画像で所定値を超える上記の特徴量に対応する画素値を有し、かつ互いに隣接した欠陥候補画素群を抽出する。そして、抽出した欠陥候補画素群の単位空間内における密度に関する密度情報を取得し、この密度情報に応じて対象物の欠陥の有無を判定する。これにより、対象物の欠陥部位の照明方向に関する光学特性の異方性のみならず、欠陥部位の密度を考慮して、確実かつ信頼性の高い欠陥判定を行うことができる。

特に、上記の欠陥候補画素群の単位空間内における密度に関しては、抽出した欠陥候補画素群を比較画像よりも低解像度な２次元単位空間に写像し、この２次元単位空間に写像された欠陥候補画素群の特徴量に対応する画素値を累積する。そして、欠陥候補画素群の２次元単位空間で累積された画素値を密度に対応する密度対応値として取得し、この密度対応値の大小に基づき対象物の欠陥の有無を判定することができる。

なお、以上の実施形態では、欠陥部位の照明方向に関する光学特性の異方性は、散乱光強度の指向性を例に説明した。しかしながら、例えば上で触れたように撮像方式を透過光撮影ではなく反射光撮影とする場合には、照明方向に関する光学特性の異方性は散乱光ではなく反射光（成分）の指向性として撮像された画像に現れる、と考えられる。従って、図１の光源１０２を対象物Ｗの上側に配置して反射光撮影を行う場合にも上述の実施形態と同様の手法によって欠陥判定を行うことができる。

また、以上の実施形態では、レンズのような光学部材を例に画像処理および欠陥判定処理につき説明した。しかしながら、本発明の光学検査技術は光学部材の欠陥判定だけではなく、上記同様に欠陥部位の光学特性の異方性と、その密度を介して欠陥判定を行うべき任意の対象物の欠陥判定に利用することができる。

上記実施形態の画像処理および欠陥判定を行う制御手順は具体的には画像処理システム２００のプロセッサ２０１により実行される。従って上述した機能を実現するソフトウェアのプログラムを記録した記録媒体を画像処理システム２００に供給し、プロセッサ２０１が記録媒体に格納されたプログラムを読み出し実行することによって達成されるよう構成することができる。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、プログラム自体、ないしそのプログラムを記録した記録媒体は本発明を構成することになる。

また、上記実施形態では、コンピュータで読み取り可能な記録媒体が外部記憶装置２１３または他の不図示の外部記憶デバイスであるものとして説明したが、本発明はこのような形態に限定されるものではない。本発明を実施するためのプログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラムを供給するための記録媒体としては、着脱式のＨＤＤやＳＳＤ、光学ディスク、各種フラッシュメモリデバイスなど、任意の外部記憶デバイスを用いることができるのはいうまでもない。

１…光学検査装置、１００…画像撮像部、１０１…カメラ、１０３…ホルダ、１０４…フレーム部、２００…画像処理システム、２０１…プロセッサ、２０２…モニタ、２１３…外部記憶装置

Claims (11)

1. 対象物を互いに異なる複数の照明方向から照明し、撮像手段により前記複数の照明方向ごとに撮像して取得した前記対象物の複数の画像に対して制御装置により画像処理を行い、前記対象物の欠陥の有無を判定する光学検査方法において、
   前記制御装置が実行する画像処理が、
   前記複数の画像に対して、各画素における画素値の最大値を取得して最大値合成画像を生成する第１の画像生成工程と、
   前記複数の画像に対して、各画素における画素値の平均値を取得して平均値合成画像を生成する第２の画像生成工程と、
   前記最大値合成画像と前記平均値合成画像の対応する画素間の画素値を比較して得られる比較値を各画素の画素値として有する比較画像を生成する第３の画像生成工程と、
   前記比較画像から、所定値を超える画素値を有し、かつ、互いに隣接する欠陥候補画素群を抽出する抽出工程と、
   抽出した前記欠陥候補画素群の単位空間内における密度に関する情報を取得する密度情報取得工程と、
   前記密度情報取得工程で取得した密度に関する情報に応じて前記対象物の欠陥の有無を判定する判定工程と、を含むことを特徴とする光学検査方法。
2. 請求項１に記載の光学検査方法において、前記欠陥候補画素群を前記比較画像よりも低解像度な２次元単位空間に写像し、前記２次元単位空間に写像された前記欠陥候補画素群の画素値を累積することにより前記欠陥候補画素群の前記２次元単位空間における密度に対応する密度対応値を取得し、この密度対応値の大小に基づき前記対象物の欠陥の有無を判定することを特徴とする光学検査方法。
3. 請求項１または２に記載の光学検査方法の各工程を前記制御装置に実行させるための特徴とする光学検査プログラム。
4. 請求項３に記載の光学検査プログラムを格納したコンピュータ読み取り可能な記録媒体。
5. 対象物を互いに異なる複数の照明方向から照明し、撮像手段により前記複数の照明方向ごとに撮像して取得した前記対象物の複数の画像に対して制御装置により画像処理を行い、前記対象物の欠陥の有無を判定する光学検査装置において、
   前記制御装置は、前記複数の画像の各画素における画素値の最大値および平均値から、それぞれ最大値合成画像および平均値合成画像を生成し、
   前記最大値合成画像と前記平均値合成画像の対応する画素間の画素値を比較して得られる比較値を、各画素の画素値として有する比較画像を生成し、
   前記比較画像から、所定値を超える画素値を有し、かつ、互いに隣接する欠陥候補画素群を抽出し、前記欠陥候補画素群の単位空間内における密度に関する情報に応じて前記対象物の欠陥の有無を判定することを特徴とする光学検査装置。
6. 請求項５に記載の光学検査装置において、前記欠陥候補画素群を前記比較画像よりも低解像度な２次元単位空間に写像し、前記２次元単位空間に写像された前記欠陥候補画素群の画素値を累積することにより前記欠陥候補画素群の前記２次元単位空間における密度に対応する密度対応値を取得し、この密度対応値の大小に基づき前記対象物の欠陥の有無を判定することを特徴とする光学検査装置。
7. 光学部材の欠陥判定を行う光学部材の製造方法において、
   光学部材を形成する工程と、
   前記光学部材を対象物として請求項１または２に記載の光学検査方法の各工程を実行することにより前記光学部材の欠陥判定を行う工程と、
   を含むことを特徴とする光学部材の製造方法。
8. 対象物を互いに異なる複数の照明方向から照明し、撮像手段により前記複数の照明方向ごとに撮像して取得した前記対象物の複数の画像に対して制御装置により画像処理を行い、前記対象物の欠陥の有無を判定する光学検査方法において、
   前記制御装置が、
   前記複数の画像から、前記照明方向に対して異方性を有する部位を特定する工程と、
   前記異方性を有する部位の単位空間内における密度に関する情報を取得する密度情報取得工程と、
   前記密度情報取得工程で取得した密度に関する情報に応じて前記対象物の欠陥の有無を判定する判定工程と、を含むことを特徴とする光学検査方法。
9. 請求項８に記載の光学検査方法の各工程を前記制御装置に実行させるための光学検査プログラム。
10. 請求項９に記載の光学検査プログラムを格納したコンピュータ読み取り可能な記録媒体。
11. 対象物を互いに異なる複数の照明方向から照明し、撮像手段により前記複数の照明方向ごとに撮像して取得した前記対象物の複数の画像に対して制御装置により画像処理を行い、前記対象物の欠陥の有無を判定する光学検査装置において、
    前記制御装置は、前記複数の画像から、前記照明方向に対して異方性を有する部位を特定し、前記異方性を有する部位の単位空間内における密度に関する情報を取得する密度情報を取得し、取得した密度に関する情報に応じて前記対象物の欠陥の有無を判定することを特徴とする光学検査装置。

Images