JP2010211303A - 画像生成装置、異物検査システム、及び画像生成方法 - Google Patents

Abstract

【課題】ケラレと画像ノイズ成分とを除去することで、異物像のみが抽出された異物検査用画像フレームを生成する画像生成装置、異物検査システム、及び画像生成方法を提供する。
【解決手段】画像フレーム生成装置１１０が、異物検査対象物であるイメージセンサ４の原画像を取得し、前記原画像を出力するインタフェース１１１と、モルフォロジー処理によって前記原画像から輝度ムラを示す画像を生成し、前記原画像と、モルフォロジー処理後の画像と、から前記輝度ムラを除去し、異物像を抽出した異物像抽出画像を生成する画像処理部１１２と、を備える。
【選択図】図１

Description

本発明は、異物検査用の画像を生成する画像生成装置、異物検査システム、及び画像生成方法に関する。

撮像装置の組み立て工程において、イメージセンサを撮像装置に組み込んだ後に、そのイメージセンサの撮像面にゴミなどの異物の付着が見つかった場合、その異物を取り除くために、作業者はすでに組み立てが完了したその撮像装置を解体し、異物を取り除いてから再組み立てを行わなければならない。このような工程の手戻りによる歩留まりの低下や、不良損金の発生を抑えるため、例えば特許文献１に示された異物検査方法によって、イメージセンサに付着した異物数等の検査（以下、「異物検査」と称する）を撮像装置の組み立てが完了する前に正確に行うことを試みていた。

異物検査工程にかかる時間をさらに短縮するため、イメージセンサを撮像装置に組み込む前工程において、異物検査対象としたイメージセンサに光を照射し、その撮像面から出力される画素信号に基づく画像フレーム（以下、「異物検査用画像フレーム」と称する）に対して、解析装置（以下、「粒子解析装置」と称する）が、いわゆる粒子解析を実行し、正確に異物検査を行うことが試みられている。

特開平６−４３１０８号公報

しかしながら、異物検査対象としたイメージセンサに光を照射するためには、照射中にそのイメージセンサを保持しておく必要があるため、異物検査用画像フレームには、イメージセンサ保持部の影（以下、「ケラレ」と称する）が映り込むことが避けられない。このため、従来の異物検査用画像フレームデータを粒子解析装置に入力しても、ケラレと異物像とのコントラスト（輝度差）が低いために、原画像のままでは異物像が目立たないので、粒子解析装置は異物像を抽出することができず、正確な異物検査を行うことができないという問題があった。

さらに、異物像以外の画像ノイズ成分が含まれた異物検査用画像フレームデータを粒子解析装置に入力しても、異物像の輪郭が不明確であるため、粒子解析装置は異物像を抽出することができず、異物検査を正確に行うことができないという問題もあった。

本発明は、前記の諸点に鑑みてなされたものであり、ケラレと画像ノイズ成分とを除去することで、異物像のみが抽出された異物検査用画像フレームを生成する画像フレーム生成装置、検査システム、及び画像フレーム生成方法を提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、異物検査対象物の原画像を取得し、前記原画像を出力する画像取得部と、モルフォロジー処理によって前記原画像から輝度ムラを示す画像を生成し、前記原画像と、モルフォロジー処理後の画像と、から前記輝度ムラを除去し、異物像を抽出した異物像抽出画像を生成する画像処理部と、を備えることを特徴とする画像生成装置である。

また本発明は、異物検査対象物の原画像を取得し、前記原画像を出力する画像取得部と、モルフォロジー処理によって前記原画像から輝度ムラを示す画像を生成し、前記原画像と、モルフォロジー処理後の画像と、から前記輝度ムラを除去し、異物像を抽出した異物像抽出画像を生成する画像処理部と、前記異物像を粒子解析する解析装置と、を備えることを特徴とする異物検査システムである。

また本発明は、画像生成装置における画像生成方法であって、画像取得部が、異物検査対象物の原画像を取得し、前記原画像を出力するステップと、画像処理部が、モルフォロジー処理によって前記原画像から輝度ムラを示す画像を生成し、前記原画像と、モルフォロジー処理後の画像と、から前記輝度ムラを除去し、異物像を抽出した異物像抽出画像を生成するステップと、を含むことを特徴とする画像生成方法である。

本発明によれば、画像フレーム生成装置が、異物像のみが抽出された異物検査用画像フレームを生成するため、粒子解析装置は、その異物検査用画像フレームに基づいて、正確に異物検査を行うことができる。

本発明の一実施形態における異物検査システムとその周辺構成を示した図である。 グレイスケールモルフォロジー処理を示した図である。 本発明の一実施形態における異物検査システムの動作ステップを示した図である。 原画像フレームから高周波画像ノイズ成分を除去する過程を、画像フレームと輝度値により示した図である。 グレイスケールモルフォロジー処理と、シェーディング処理と、によって異物検査用画像フレームを生成する過程を、画像フレームと輝度値により示した図である。 グレイスケールモルフォロジー処理と、シェーディング処理と、によって異物検査用画像フレームを生成する過程を、画像フレームと輝度値により示した図である。

本発明を実施するための一実施形態について説明する。図１は、本発明の一実施形態の異物検査システムとその周辺構成を示した図である。当該異物検査システムは、粒子解析装置１２０と、画像フレーム生成装置１１０と、を備える。

光源部１は、例えば面発光照明や同軸落射照明やリング照明などの光源であり、光拡散板２に光を照射する。光拡散板２は、光源部１から入射された光を拡散し、拡散光を光学系３に照射する。光学系３は、絞りとレンズを有し、照射された拡散光を集光して異物検査の対象であるイメージセンサ４の撮像面７に照射する。

イメージセンサ４は撮像面７を有する。撮像面７は、二次元配置された複数の画素（不図示）を有する。それらの画素（不図示）は、照射された光量に応じた画素信号を、画像フレーム生成装置１１０のインタフェース１１１に所定の周期で出力する。このため、画素（不図示）に異物が付着している場合、その画素信号から生成された画像フレームデータには異物像が含まれる。イメージセンサ保持部５及び６は、撮像面７に光学系３からの光が照射されるようイメージセンサ４を保持する。

画像フレーム生成装置１１０は、インタフェース１１１と、画像処理部１１２と、メモリ１１３と、出力部１１４と、を備える。インタフェース１１１は、イメージセンサ４の撮像面７に電力と同期信号を出力することで、撮像面７から画素信号を取得する。インタフェース１１１は、画素信号をＡＤ変換し、画像処理部１１２に所定の周期で出力する。なおインタフェース１１１は、いわゆる相関二重サンプリング処理を行うとしてもよい。

画像処理部１１２は、ＡＤ変換後の画素信号に画像処理を実行し、原画像フレームを所定の周期で生成する。画像処理部１１２は、所定の周期で生成した複数の原画像フレームの平均輝度値を、例えば時間平均により算出することで、高周波成分を持つノイズ（輝度ムラ）を原画像フレームから除去する。画像処理部１１２は、このように輝度値が平均化された画像フレーム（以下、「平均化画像フレーム」と称する）を複製して、メモリ１１３に記憶させる。

画像処理部１１２は、メモリ１１３に記憶させた平均化画像フレームのうち、少なくとも１枚の平均化画像フレームを残し、それ以外の平均化画像フレームに対して輝度領域単位でグレイスケールモルフォロジー（Ｇｒａｙ−Ｓｃａｌｅ Ｍｏｒｐｈｏｌｏｇｙ）処理を行う。

図２（Ａ）は、グレイスケールモルフォロジー（以下、「モルフォロジー」と称する）処理における、膨張（Ｄｉｌａｔｉｏｎ）演算後の侵食（Ｅｒｏｓｉｏｎ）演算を示した図である。図形６００の輪郭をオペレータ７００の中心でなぞるようにオペレータ７００が移動した軌跡と、図形６００と、の論理和を取ることで、図形６００を膨張させる。これを「膨張演算」と称する。

次に、膨張した図形６００の輪郭をオペレータ７００の中心でなぞるようにオペレータ７００が移動した軌跡によって、膨張した図形６００が侵食され、図形６００が収縮する。これを「侵食演算」と称する。以下、膨張演算後の侵食演算を「クローズ処理」と称する。画像処理部１１２は、このクローズ処理によって図形６００から異物像６０１と異物像６０２を除去することができる。このため粒子解析装置は、図形６００を１つの領域として認識することができる。

図２（Ｂ）は、モルフォロジー処理における、侵食演算後の膨張演算を示した図である。以下、侵食演算後の膨張演算を「オープン処理」と称する。画像処理部１１２は、オープン処理を実行することにより、図形６１０を画像フレームに残すことができる（図２（Ｂ）上段）。また画像処理部１１２は、このオープン処理によって図形６１０よりも領域が狭い（小さい）異物像６２０を画像フレームから除去することができる（図２（Ｂ）下段）。なお、オープン処理とクローズ処理における膨張演算と侵食演算は、それぞれ複数回繰り返されても良い。

画像処理部１１２は、モルフォロジー処理後の画像フレームの輝度値から反転輝度値を算出する。ここで、以下の説明を簡便にするため、例として、輝度値は最高値「２５５」と最低値「０」の範囲にあるものとし、「反転輝度値＝（２５５−輝度値）」とする。

画像処理部１１２は、モルフォロジー処理前に複製した平均化画像フレームと、モルフォロジー処理後の画像フレームと、を用いてシェーディング処理を実行する。シェーディング処理については、図５と図６で後述する。画像処理部１１２は、シェーディング処理後の画像フレームを異物検査用画像フレームデータとして、出力部１１４に出力する。

出力部１１４は、粒子解析装置１２０と表示装置２００に異物検査用画像フレームデータを出力する。表示装置２００は表示部（不図示）を備え、異物検査用画像フレームデータに基づいて、画像フレームを表示する。粒子解析装置１２０は演算処理部（不図示）を備え、異物を数える等の粒子解析を異物検査用画像フレームについて実行し、異物検査を行う。

図３は、本発明の一実施形態における異物検査システムの動作ステップを示した図である。また図４は、図３のステップＳ１からステップＳ３において、原画像フレームから高周波画像ノイズ成分を除去する過程を、画像フレームと輝度値により示した図である。図４（Ａ）の上段は、原画像フレームを示す。図４（Ｂ）の上段は、平均化画像フレームを示す。また図４の各下段は、それぞれの画像フレームの横断線（ａ−ｂ）における輝度値のグラフである。

以下説明のため、原画像フレーム（図４（Ａ））は、異物像２００と、異物像３００と、異物像４００と、ケラレ５００を、を含むものとする。また、異物像４００は、ケラレ５００と重なっているものとする。さらに、異物像３００は、異物像２００よりも大きい異物像であるものとする。

画像処理部１１２は、インタフェース１１１を介して、原画像フレームを取得する（図３ステップＳ１、図４（Ａ））。画像処理部１１２は、所定枚数（例えば１０枚）の原画像フレームを取得したか否かについて判定する。画像処理部１１２は、所定枚数の原画像フレームを生成するまで、ステップＳ１からステップＳ２までを繰り返す（図３ステップＳ２）。

次に画像処理部１１２は、原画像フレームの輝度値を例えば時間平均することで、その平均輝度値を算出し、平均化画像フレームを生成する（図３ステップＳ３、図４（Ｂ））。なお、ステップＳ１からステップＳ３は、いわゆる輝度ムラなどの高周波成分を持つノイズを原画像フレームから除去する処理であり、モルフォロジー処理の前処理として有効であるが必須ではない。

次に画像処理部１１２は、平均化画像フレーム（図４（Ｂ））を複製し、メモリ１１３に記憶させる（ステップＳ４）。図５と図６は、モルフォロジー処理と、シェーディング処理と、によって異物検査用画像フレームを生成する過程を、画像フレームと輝度値により示した図である。画像処理部１１２は、平均化画像フレーム（図４（Ｂ））に対してモルフォロジー処理を行うことで、図５（Ａ）に示すモルフォロジー処理後の画像フレームを得たとする。ここで、図５（Ａ）に示す平均化画像フレームには侵食された異物像３００がまだ残っているので、画像処理部１１２は、オープン処理とクローズ処理を組み合わせて、さらにモルフォロジー処理を行い、図５（Ｂ）のように、異物像が除去され、ケラレ５００（輝度ムラ（斑）を示す画像）のみが抽出された平均化画像フレームを得ることができる（図３ステップＳ５、図５（Ａ）（Ｂ））。

次に画像処理部１１２は、図５（Ｂ）の平均化画像フレームの輝度値から反転輝度値を算出する（図３ステップＳ６、図６（Ｃ））。画像処理部１１２は、モルフォロジー処理前に記憶させた、平均化画像フレーム（図４（Ｂ））をメモリ１１３から取得する。画像処理部１１２は、モルフォロジー処理前の平均化画像フレーム（図４（Ｂ））と、モルフォロジー処理後に輝度値を反転させた平均化画像フレーム（図６（Ｃ））と、を加算（シェーディング処理）する。平均化画像フレーム（図４（Ｂ））から、ケラレ５００と、低周波成分を持つノイズ（輝度ムラ）と、を除去する。このようにして画像処理部１１２は、各異物像の輪郭を明確にする（図３ステップＳ７、図６（Ｄ））。

次に画像処理部１１２は、異物検査用画像フレームデータとして、シェーディング処理後の画像フレーム（図６（Ｄ））を出力部１１４に出力する（図３ステップＳ８）。出力部１１４は、異物検査用画像フレームデータを、粒子解析装置１２０と、表示装置２００と、に出力する。表示装置２００は、異物検査用画像フレームデータに基づいて、画像フレームを表示する。粒子解析装置１２０は、異物検査用画像フレームデータを取得し、粒子解析を実行する。

以上、本発明の実施の形態により、画像フレーム生成装置が、輝度ムラ（斑）を含まない、異物像のみが抽出された異物検査用画像フレームを生成するため、粒子解析装置は、その異物検査用画像フレームに基づいて、正確に異物検査を行うことができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、異物検査対象としたイメージセンサの撮像面を外部から撮像し、その画像フレームデータを画像フレーム生成装置のインタフェースに入力するとしてもよい。

また、本発明に記載の画像取得部は、インタフェース１１１に対応し、画像処理部は、画像処理部１１２に対応し、解析装置は、粒子解析装置１２０に対応し、画像生成装置は、画像フレーム生成装置１１０に対応し、異物検査システムは、異物検査システム１００に対応する。

また、図３に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、通信端末の実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明は、異物検査用の画像を生成する画像生成装置、異物検査システム、及び画像生成方法に好適である。

１…光源部 ２…光拡散板 ３…光学系 ４…イメージセンサ ５…イメージセンサ保持部 ６…イメージセンサ保持部 ７…撮像面 １００…異物検査システム １１０…画像フレーム生成装置 １１１…インタフェース １１２…画像処理部 １１３…メモリ １１４…出力部 １２０…粒子解析装置 ２００…表示装置 ２００…異物像 ３００…異物像 ４００…異物像 ５００…ケラレ ６００…図形 ６０１…異物像 ６０２…図形６１０…図形 ６２０…異物像 ７００…オペレータ

Claims (3)

1. 異物検査対象物の原画像を取得し、前記原画像を出力する画像取得部と、
   モルフォロジー処理によって前記原画像から輝度ムラを示す画像を生成し、前記原画像と、モルフォロジー処理後の画像と、から前記輝度ムラを除去し、異物像を抽出した異物像抽出画像を生成する画像処理部と、
   を備えることを特徴とする画像生成装置。
2. 異物検査対象物の原画像を取得し、前記原画像を出力する画像取得部と、
   モルフォロジー処理によって前記原画像から輝度ムラを示す画像を生成し、前記原画像と、モルフォロジー処理後の画像と、から前記輝度ムラを除去し、異物像を抽出した異物像抽出画像を生成する画像処理部と、
   前記異物像を粒子解析する解析装置と、
   を備えることを特徴とする異物検査システム。
3. 画像生成装置における画像生成方法であって、
   画像取得部が、異物検査対象物の原画像を取得し、前記原画像を出力するステップと、
   画像処理部が、モルフォロジー処理によって前記原画像から輝度ムラを示す画像を生成し、前記原画像と、モルフォロジー処理後の画像と、から前記輝度ムラを除去し、異物像を抽出した異物像抽出画像を生成するステップと、
   を含むことを特徴とする画像生成方法。