JP6666046B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は検査対象物における欠陥（特異部）を抽出するための画像処理装置および画像処理方法に関する。

特許文献１には、検査対象物の欠陥を人の視覚メカニズムに準じて検出するためのアルゴリズムが開示されている。以下、特許文献１に開示されている処理を、本明細書では周辺視・固視微動処理と称す。周辺視・固視微動処理を採用することにより、検査対象物の欠陥を、人間の注視を伴うことなく効率的に抽出したり顕在化したりすることが可能となる。

一方、非特許文献１には、複数の対象物の中から不良品を検出するために、複数の対象物それぞれについて検査対象領域を撮影し、得られた画像をつなぎ合わせて整列画像を生成し、当該整列画像に対し上記周辺視・固視微動処理を行う方法が開示されている。非特許文献１を採用することにより、複数の対象物の中から他とは異なる特異部（欠陥）のあるものを、比較的簡易に抽出することができる。

特開２０１３−１８５８６２号公報

「実部品による「傷の気付き」処理の性能検証」ビジョン技術の実利用ワークショップ講演論文集 （ＶｉＥＷ２０１３）、ＯＳ４−Ｈ４（ＩＳ２−Ａ４）、精密工学会、（２０１３）

しかしながら、製造ラインの物品検査工程において非特許文献１の方法を採用しようとすると、任意の対象物に対する撮影と検査の結果出力にリアルタイム性が得られず、逐次検査が困難になる場合があった。以下、具体的に説明する。

製造ラインにおいて連続搬送される複数の対象物を、固定したカメラを用いて順番に検査する場合、カメラによる撮影は対象物の搬送速度に応じた周期で行われ、得られた画像に対して所定の画像処理が施される。しかし、非特許文献１を採用しようとすると、１つの対象物に対する画像処理には、当該対象物を撮影して得られた画像のほか、他の複数の対象物の画像も必要となる。すなわち、１つの対象物を検査するために、当該対象物を撮影する工程にかかる時間のほか、他の複数の対象物を撮影する工程にかかる時間が費やされる。結果、任意の対象物に対する検査結果は、複数回の撮影工程を経過した後に出力されることになり、検査の応答性が低く、リアルタイム性が損なわれるおそれがある。

本発明は、上記問題点を解決するためになされたものである。よってその目的とするところは、複数の対象物を順番に撮影して検査する処理において、個々の対象物の撮影動作に対し応答性の高い状態で検査結果を出力することが可能な画像処理装置を提供することである。

そのために本発明は、画像処理装置であって、順番に撮影される複数の検査対象物のうちの一つの検査対象物を撮影することによって得られたワーク検査画像を取得する手段と、前記一つの検査対象画像の検査に利用する、前記ワーク検査画像とは異なるワーク基準画像を前記ワーク検査画像の取得よりも前に取得する手段と、前記ワーク検査画像の周辺に、前記ワーク基準画像を配置して、整列画像を生成する手段と、前記整列画像に対して特異部を抽出するための特異部抽出処理を行う処理手段とを備え、前記処理手段は、前記複数の検査対象物のうちの一つの第１の検査対象物を撮影することで得られた第１のワーク検査画像に対する前記特異部抽出処理の後に、前記複数の対象物のうちの一つであり、前記第１の検査対象物と異なる第２の検査対象物を前記第１の検査対象物の次に、撮影することで得られた第２のワーク検査画像に対する前記特異部抽出処理を行い、その後に、前記複数の検査対象物のうちの一つであって、前記第１の検査対象物と前記第２の検査対象物の両方と異なる第３の検査対象物を前記第２の検査対象物の次に撮影することで得た第３のワーク検査画像に対する前記特異部抽出処理を行うことを特徴とする。

本発明によれば、個々の対象物の撮影動作に対し応答性の高い状態で検査結果を出力することが可能なる。

本発明で使用可能な検査システムの概略図である。 特異部検出工程を説明するためのフローチャートである。 （ａ）〜（ｃ）は、整列画像の生成方法を説明するための模式図である。 特異部抽出処理の詳細を説明するためのフローチャートである。 （ａ）および（ｂ）は、検査対象画像の分割状態を説明するための図である。 加算処理の過程を模式的に示した図である。 （ａ）〜（ｃ）は、拡張処理を説明するための図である。 ワーク検査画像の一例を示す図である。 （ａ）および（ｂ）は、整列画像と特異部抽出処理を行った結果の図である。 （ａ）および（ｂ）は、整列画像と特異部抽出処理を行った結果の図である。 （ａ）および（ｂ）は、整列画像と特異部抽出処理を行った結果の図である。 （ａ）および（ｂ）は、整列画像と特異部抽出処理を行った結果の図である。 特異部検出の基本工程を説明するためのフローチャートである。 （ａ）および（ｂ）は、整列画像と特異部抽出処理を行った結果の図である。 （ａ）および（ｂ）は、整列画像と特異部抽出処理を行った結果の図である。

図１は、本発明で使用可能な検査システムの概略図である。本システムは、主として、画像処理装置２００と、シート状の複数の検査対象物Ｐと、個々の対象物Ｐの所定位置を撮影するためのカメラ１０１で構成されている。複数の対象物Ｐは矢印の方向に一定の速度で搬送され、画像処理装置２００は、対象物Ｐを撮影して得られる画像に基づいて、対象物Ｐの欠陥（特異部）を抽出する。

ＣＰＵ２０１は、ＨＤＤ２０３に保持されているプログラムに従って、ＲＡＭ２０２をワークエリアとしながら、システム全体を制御する。例えばＣＰＵ２０１は、カメラＩ／Ｆ（インターフェース）２０４を介して接続されたカメラ１０１を制御して、搬送される対象物Ｐのそれぞれを撮影し、それぞれに対応する画像を得る。この際、ＣＰＵ２０１は、個々の対象物Ｐの検査対象領域１０５がカメラ１０１の撮影領域に配置されたタイミングと、搬送速度に応じた周期で撮影を繰り返し、得られた画像を逐次ＲＡＭ２０２に格納する。搬送の誤差などにより、個々の検査対象領域１０５に対する撮影領域にズレが生じるような場合は、対象物Ｐにあらかじめ基準点となるようなパターンなどを記録しておき、パターンの検出を基準として、撮影のタイミングを設定するようにしても良い。なお、カメラ１０１とカメラＩ／Ｆ２０４との接続方式としては、ＣａｍｅｒａＬｉｎｋ、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ等を用いることができる。また、図では、カメラ１０１を用いた構成としているが、カメラ１０１の変わりにラインセンサを備えたスキャナを用いることもできる。更に、図ではカメラ１０１による１回の撮影動作で撮影可能な領域が、シートＰの検査対象領域１０５と同等である場合を示している。しかし、撮影可能領域が検査対象領域１０５よりも小さい場合には、１つのシートＰに対し複数回の撮影動作を行って、得られた画像を繋ぎ合せても良い。

キーボード・マウスＩ／Ｆ ２０５は、不図示のキーボードやマウス等のＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）を制御するＩ／Ｆである。オペレータは、キーボード・マウスＩ／Ｆ ２０５を介して、検査に係る情報を入力することができる。ディスプレイＩ／Ｆ ２０６は、不図示のディスプレイにおける表示を制御するＩ／Ｆである。オペレータは、ディスプレイを介して、検査の状態や結果などを確認することができる。

図２は、画像処理装置２００におけるＣＰＵ２０１が実行する特異部検出工程を説明するためのフローチャートである。本処理が開始されると、ＣＰＵ２０１は、ステップＳ１０１において、ワーク画像のサイズ設定を行う。ワーク画像とは、対象物Ｐの検査対象領域１０５を撮影して得られる検査対象画像のうち、ステップＳ１０７およびステップＳ１０８で後述するような、本発明の特徴的な検査処理の１回分の対象となる画像である。ＣＰＵ２０１は、このようなワーク画像のサイズを、想定される特異部の大きさやカメラ１０１の解像度などに応じて設定する。但し、オペレータからの指示を受けて設定することもできる。

続くステップＳ１０２〜ステップＳ１０６において、ＣＰＵ２０１は、整列画像３０７を生成する。図３（ａ）〜（ｃ）は、整列画像３０７の生成方法を説明するための模式図である。以下、図３（ａ）〜（ｃ）を参照しながら、ステップＳ１０２〜ステップＳ１０６に従って、整列画像３０７の生成工程を説明する。

まず、ステップＳ１０２において、ＣＰＵ２０１は基準画像３０１を取得する。ここでは、本処理を開始してからカメラ１０１の下に最初に搬送されてくる対象物Ｐの検査対象領域１０５を撮影し、得られた画像を基準画像３０１とする。本実施形態において、基準画像３０１とは、検査対象画像と比較することによって、検査対象画像に特異部が存在するか否かを判断するための画像である。

ステップＳ１０３において、ＣＰＵ２０１は検査対象画像３０２を取得する。すなわち、検査の対象となる対象物Ｐの検査対象領域１０５を撮影し、得られた画像を検査対象画像３０２とする。

ステップＳ１０４において、ＣＰＵ２０１はステップＳ１０２で取得した基準画像３０１を、ステップＳ１０１で設定されたワーク画像サイズに従って切り取って、ワーク基準画像３０４を生成する（図３（ａ））。また、ステップＳ１０５では、ステップＳ１０３で取得した検査対象画像３０２を、ワーク画像サイズに従って切り取って、ワーク検査画像３０５を生成する（図３（ｂ））。この際、ステップＳ１０４で得られるワーク基準画像３０４とステップＳ１０５で得られるワーク検査画像３０５は、検査対象領域１０５の同じ位置に相当するように、基準画像３０１と検査対象画像３０２のそれぞれ同じ座標位置から切り取られる。

続くステップＳ１０６において、ＣＰＵ２０１は、ステップＳ１０４で得られたワーク基準画像３０４と、ステップＳ１０５で得られたワーク検査画像３０５を整列させて整列画像３０７を生成する。図３（ｂ）にみるように、整列画像３０７は、１つのワーク検査画像３０５の８方位に、同じワーク基準画像３０４を隣接配置させることにより生成される。

ステップＳ１０７において、ＣＰＵ２０１は、ステップＳ１０６で生成された整列画像３０７に対し、周辺視・固視微動処理を利用した特異部抽出処理を行う。本処理の具体的な方法については後に詳しく説明する。

ステップＳ１０８では、ステップＳ１０７での特異部抽出処理の結果に基づいて、判定処理を行う。判定処理の方法は特に限定されるものではないが、特異部抽出処理後の輝度画像に基づいて欠陥判定を行うなど、公知の処理を利用することが出来る。

ステップＳ１０８において、ワーク検査画像３０５に対する抽出および判定処理が終了すると、ＣＰＵ２０１はステップＳ１０９に進み、検査対象画像３０２の中に、未だ処理を行っていないワーク検査画像が残っているか否かを判断する。まだ残っていると判断した場合、次のワーク対象画像についての処理を行うためにステップＳ１０４に戻る（図３（ｃ））。一方、検査対象画像３０２の中に未処理のワーク検査画像は残っていない場合は、ステップＳ１０３で撮影した対象物についての検査は終了したと判断し、ステップＳ１１０に進む。

ステップＳ１１０では、続いて検査すべき対象物Ｐが存在するか否かを判断する。存在する場合はステップＳ１０３に戻り、次の対象物のための撮影動作を行う。一方、検査すべき対象物は既に存在しないと判断した場合は本処理を終了する。

なお、以上では、１つの検査対象画像３０２から複数のワーク検査画像３０５を、１つの基準画像３０１から複数のワーク基準画像３０４を生成する形態で説明したが、本実施形態はこのような形態に限定されるものではない。１つの検査対象画像３０２から１つのワーク検査画像３０５を、１つの基準画像３０１から１つのワーク基準画像３０４を生成する形態であっても良い。また、１つの検査対象画像３０２から生成される複数のワーク検査画像３０５は、互いに重複領域を含むものであっても良い。

図４は、Ｓ１０７で実行する特異部抽出処理の詳細を説明するためのフローチャートである。本処理が開始されると、ＣＰＵ２０１は、先ずステップＳ１０において、ステップＳ１０６で生成した整列画像３０７の全域に対して周辺視・固視微動処理が正常に行えるよう、整列画像３０７に拡張処理を施し処理対象画像１００１を生成する。拡張処理については後に詳しく説明する。

続くステップＳ１１において、ＣＰＵ２０１は、予め用意された複数の分割サイズの中から、一つの分割サイズを設定する。また、ステップＳ１２では、ステップＳ１１で設定された分割サイズに対応づけて予め用意されている複数の位相の中から、一つの位相を設定する。複数の分割サイズもこれに対応づけられた複数の位相も、ステップＳ１０１で設定されたワーク画像サイズに準じて予め用意されている。本実施形態の場合、処理の特性上、分割サイズはワーク画像サイズと同等のサイズ、またはワーク画像サイズに対し±１０％程度のサイズが用意されている。

図５（ａ）および（ｂ）は、分割サイズと位相に基づく処理対象画像１００１の分割例を示す図である。図５（ａ）は、分割サイズを２×２画素とした場合、図５（ｂ）は分割サイズを３×２画素とした場合を夫々示している。図５（ａ）に示すように分割サイズ１０００を２×２画素とした場合、処理対象画像１００１は２×２画素の単位で分割されるが、その分け方は１００２〜１００５の４通りが可能である。図５（ｂ）に示すように分割サイズ１００５を３×２画素とした場合、処理対象画像１００１の分け方は１００６〜１０１１の６通りが可能であり、６つの位相が存在する。一般に、Ｘ方向にＳｘ画素、Ｙ方向にＳｙ画素の領域を有する分割領域の場合、位相の数はＳｘ×Ｓｙ個となる。本実施形態では、この位相を順次変更しながら、それぞれの分割領域の平均化、量子化、および加算を行う。

図４に戻る。ステップＳ１３では、ステップＳ１１で設定された分割サイズとステップＳ１２で設定された位相に基づいて、ステップＳ１０で生成した処理対象画像１００１を図５（ａ）や（ｂ）のように分割し、平均化処理を行う。具体的には、分割された各領域に含まれる複数の画素について、個々の画素が有する輝度データの平均値を求める。この際、個々の画素に対応する輝度データとしては、画素が有するＲＧＢデータそれぞれの輝度値（０〜２５５のいずれか）をそのまま平均したものであってもよい。また、ＲＧＢデータの夫々に所定の重み付け係数を掛けた後に加算した値であっても良い。さらに、ＲＧＢのうちいずれか１色の輝度データをそのまま画素の輝度データとしてもよい。さらには、平均値でなく、分割領域における複数の画素の中央値としてもよい。

ステップＳ１４では、ステップＳ１３で求めた各分割領域の平均値を画素ごとに量子化する。具体的には、例えば処理対象画像１００１全体の輝度の中央値を閾値とし、当該閾値と個々の平均値を比較して、１または０の値を出力する。なお、本実施形態では２値化処理としているが、３値化以上の量子化処理とすることもできる。

ステップＳ１５では、ステップＳ１４で得られた量子化値を加算画像データに加算する。加算画像データは、分割サイズと位相を異ならせた場合の夫々で得られる量子化値を加算した結果を示す画像データで、初期値は０である。ステップＳ１４で得られた量子化データが最初の分割サイズの最初の位相である場合、ステップＳ１５で得られる加算画像データはステップＳ１４で得られる量子化データと等しくなる。

続くステップＳ１６において、ＣＰＵ２０１は、現在設定されている分割サイズに対する総ての位相についての処理が完了したか否かを判断する。未だ処理すべき位相が残っていると判断した場合、ステップＳ１２に戻り次の位相を設定する。一方、総ての位相について処理が完了したと判断した場合はＳ１７に進む。

図６は、ステップＳ１１で設定された分割サイズが図５（ａ）に示した２×２画素の場合において、ステップＳ１５の加算処理を総ての位相について順番に行う過程を説明する図である。分割サイズが２×２画素の場合、図５（ａ）でも説明したように位相は４つ存在する。図６に示される数字は、これら４つの位相を順番に変えていく過程で、注目画素Ｐｘの加算処理のために周辺画素の２値データが利用される加算回数を画素ごとに示している。図６に示すように、注目画素Ｐｘについては、自身が分割領域内に含まれる総ての位相について利用されるので加算回数は最も多く、加算結果への寄与が最も大きい。また、注目画素Ｐｘから離れる画素ほど加算回数は少なくなり、加算結果への寄与も少なくなる。

図４のフローチャートに戻る。ステップＳ１７において、ＣＰＵ２０１は予め用意されている全ての分割サイズについての処理が完了したか否かを判断する。未だ、処理すべき分割サイズが残っていると判断した場合、ステップＳ１１に戻り次の分割サイズを設定する。一方、全ての分割サイズについて処理が完了したと判断した場合は本処理を終了し、図２のフローチャートに戻る。

ここで、ステップＳ１０で実行する拡張処理について説明する。図６にて説明したように、本実施形態の周辺視・固視微動処理では、注目画素Ｐｘを中心に移動する分割領域に含まれる全画素の平均値に基づいて加算データを算出する。このため、処理対象画像１００１の端部に位置する注目画素については、分割領域の中にデータの存在しない領域が含まれ、正常な処理を行うことが出来なくなってしまう。

但し、本実施形態のステップＳ１０８では、ワーク検査画像３０５の中に特異点が存在するか否かを判定出来れば良く、そのためには、ステップＳ１２〜Ｓ１７の周辺視・固視微動処理が整列画像３０７の全域に対して正常に行われれば良い。つまり、本実施形態の拡張処理Ｓ１０では、整列画像３０７全域に対する周辺視・固視微動処理を正常に行うために必要十分な領域を、整列画像３０７の更に周辺に追加する。

図７（ａ）〜（ｃ）は、本実施形態に係る拡張処理を説明するための図である。図において、整列画像３０７に相当する領域は斜線で示している。

図７（ａ）に示すように、注目画素Ｐｘが検査対象領域の角に位置する場合、注目画素Ｐｘを中心とした分割領域（実線）においても、そこから位相をずらした分割領域（点線）においても、分割領域にはデータの存在しない領域（白領域）が含まれてしまう。このため、ステップＳ１０の拡張処理では、角に位置する画素Ｐｘに対し、最大の分割サイズで最大の位相とした場合であっても分割領域に含まれる総ての画素に相応なデータが存在するように、当該領域にダミーデータを追加する。

図７（ｂ）は、ダミーデータの生成方法を示す図である。整列画像の頂点Ａ、Ｂ、Ｃ、Ｄのそれぞれについて点対象に反転した４つ画像と、辺ＡＢ、ＢＣ、ＣＤ、ＤＡのそれぞれについて線対称に反転した４つの画像を生成し、これら８つの画像で整列画像を囲む。本実施形態では、このようにして作成されたＡ´Ｂ´Ｃ´Ｄ´で囲まれた領域を処理対象画像１００１とすることも出来る。但し、負荷の軽減を考慮すると、処理対象画像のサイズはなるべく小さいほうが好ましい。例えば、周辺視・固視微動処理における最大の分割サイズを（Ｓｘ、Ｓｙ）、最大の移動距離を（Ｋｘ、Ｋｙ）としたとき、ダミーデータはＸ方向にＦｐ＝（Ｓｘ／２）＋Ｋｘ、Ｙ方向にＦｑ＝（Ｓｙ／２）＋Ｋｙだけ拡張した領域まで生成されれば十分である。図７（ｃ）は、このようにしてダミーデータが付加された処理対象画像１００１を示している。

図８〜図１２は、図２で説明した一連の特異部検出工程を実行した場合の処理状態を具体的に説明するための図である。図８は、ステップＳ１０５で生成されたワーク検査画像３０５の一例を示している。ここでは、Ｘ方向に２０画素、Ｙ方向に２０画素の領域を有する輝度画像を例示している。

図９（ａ）および（ｂ）は、ステップＳ１０６で生成された整列画像と、当該整列画像に対しステップＳ１０７にて特異部抽出処理を行った結果を示す図である。ここでは、図８で示したワーク検査画像に対し、当該ワーク検査画像と等しい画像をワーク基準画像として用いた場合を示している。ワーク検査画像とワーク基準画像が等しいので、周辺視・固視微動処理を行った結果は、図９（ｂ）のような一様な画像となる。このような画像が得られた場合、図２のステップＳ１０８では、対象となっているワーク検査画像に特異部は存在しないと判定される。

図２のステップＳ１１０において検査すべき検査対象物が未だ存在すると判断し、再びステップＳ１０３に戻った場合を考える。２回目のステップＳ１０３の撮影動作で対象物Ｐ（２）を撮影して得られる検査対象画像は、前回のステップＳ１０３の撮影動作で対象物Ｐ（１）を撮影して得られた検査対象画像とは異なる。よって、続くステップＳ１０５では、新たに取得された検査対象画像を切り取って、新たなワーク検査画像を生成する。そして、ステップＳ１０６では、この新たなワーク検査画像の周囲に、前回と同じワーク基準画像を配置して、新たな整列画像を生成する。対象物Ｐ（３）に対するＳ１０７〜Ｓ１０９の処理の後、さらにステップＳ１１０において検査すべき対象物が未だ存在すると判断した場合は、再びステップＳ１０３に戻り３回目のステップＳ１０３の撮影動作で対象物Ｐ（４）を撮影する。そして、得られる検査対象画像に対して、Ｓ１０４〜Ｓ１０９までの処理を行う。

図１０（ａ）および（ｂ）は、新たなワーク検査画像の中にピンホール状の欠陥が存在する場合を、図９（ａ）および（ｂ）と同様に示した図である。図１０（ａ）に示す整列画像においては、中央に配置された新たなワーク検査画像にのみピンホールが存在することがわかる。図１０（ａ）のような整列画像では、ワーク検査画像とワーク基準画像が異なっているので、周辺視・固視微動処理を行うと、図１０（ｂ）のように一様ではない画像が得られる。この場合、図２のステップＳ１０８では、ピンホールの部分が特異部として判定される。

図１１（ａ）および（ｂ）は、ワーク検査画像の中に線状の欠陥が存在する場合を、図１０（ａ）および（ｂ）と同様に示した図である。このような場合も、図２のステップＳ１０８では、白線の部分が特異部として判定される。

図１２（ａ）および（ｂ）は、周辺のワーク基準画像に対し中央のワーク検査画像の座標がずれている場合を、図９（ａ）および（ｂ）と同様に示した図である。例えば、対象物の製造工程にプリント工程が含まれる場合、何らかの不具合でプリント位置にずれが生じるとこのような状況が発生する。このような場合も、ワーク検査画像とワーク基準画像は異なる画像となるので、周辺視・固視微動処理を行うと、図１２（ｂ）のように一様ではない画像が得られ、図２のステップＳ１０８では、特異部として判定される。

ステップＳ１０８における判定の結果は、その後様々な用途に用いることが出来る。例えば、画像の特異部検査においてオペレータが特異部を判別し易くするために、特異部をポップアップ表示することが出来る。この場合、オペレータはポップアップされた画像に基づいて特異部を確認し、発生原因を判断することが出来る。また、欠陥部を補修したり不良品として排除したりすることが出来る。

また、抽出した特異部については、オペレータを介することなく更に詳しい調査を自動的に行うこともできる。例えば、特異部が検出された対象物に対し、カメラ１０１の画角とフォーカスを変更し、より高解像度な設定で特異部を撮影してもよい。この場合、得られた画像を予め用意した正常部品の画像とパターンマッチングして、傷の大きさや程度を調査することができる。また、対象物が印刷物である場合には、特異部の原因が、紙粉であるか、印刷ヘッドの不良であるか、搬送の不良であるか、などを確認することもできる。また、ステップＳ１０８の判定処理では、判定の結果に応じて検査や製造自体を停止することも出来る。

更に、以上の構成では、最初に搬送されてくる対象物Ｐの撮影画像を基準画像として採用するので、当該基準画像自体に欠陥などの特異部が存在する場合も考えられる。このような場合については、２番目の対象物についての判定処理で特異部が検出された時点で、オペレータを介してまたは自動的にその原因を調査して基準画像を変更するようにしても良い。反対に、明らかに傷が無いことが確認されている対象物を予め用意し、基準画像として用いるために、これを搬送の先頭に設置した状態で上記処理を行うようにしても良い。なお、基準画像については、撮影工程を設けず、予め画像処理装置２００に入力されているような形態とすることも出来る。

いずれにしても、本実施形態によれば、対象物の画像が撮影できた時点で、当該対象物の検査のために必要な画像、即ち検査画像と基準画像から構成される検査対象画像を用意することが出来る。結果、対象物の検査のために当該対象物以外の多くの対象物の撮影を必要とせず、製造、撮影、および検査結果の出力を応答性の高い状態で行うことが可能となる。

（第２の実施形態）
第１の実施形態では、最初に搬送される対象物を撮影して得られる画像を、その後搬送される複数の対象物に共通する基準画像として用いた。これに対し本実施形態では、複数の対象物のそれぞれについて、それ以前に撮影された画像を用いて基準画像を設定する。なお、本実施形態においても、図１で示した検査システムを用いるものとする。

図１３は、本実施形態において、ＣＰＵ２０１が実行する特異部検出の基本工程を説明するためのフローチャートである。以下、図２で説明したフローチャートと異なる点についてのみ説明する。

ステップＳ２０１にてワーク画像のサイズが設定されると、ＣＰＵ２０１はステップＳ２０３に進み、検査対象画像３０２を取得する。すなわち、対象物Ｐの検査対象領域１０５を撮影し、得られた画像を検査対象画像とする。そして、ステップＳ２０５にて、ステップＳ２０３で取得した検査対象画像を、ステップＳ２０１で設定されたワーク画像サイズに従って切り取り、ワーク検査画像を生成する。

続くステップＳ２１１において、ＣＰＵ２０１は、現段階で整列画像が生成可能であるか否か、具体的には、整列画像を生成するためのワーク基準画像が用意できるか否か、を判断する。ＣＰＵ２０１が、整列画像を生成するために必要なワーク基準画像が不足していると判断した場合は、ステップＳ２０３に戻り、次の検査対象物を撮影して新たな検査対象画像を得る。一方、ステップＳ２１１において、整列画像が生成可能であると判断した場合はステップＳ２０６に進み、整列画像を生成する。以下の処理は、図２で説明したフローチャートと同様である。

例えば、ステップＳ２１１において、現段階で取得している画像が先頭の対象物を撮影して得られた画像のみである場合、ＣＰＵ２０１はステップＳ２０３に戻り、２番目に搬送されて来る対象物を撮影し、当該対象物のワーク画像を得る。この段階で、２種類のワーク画像が取得されていることになる。よって、次にステップＳ２１１に進んだ際は、整列画像が生成可能であると判断し、ＣＰＵ２０１はステップＳ２０６に進み、整列画像を生成する。この際の整列画像は、最初に取得したワーク検査画像の周囲に２番目に取得したワーク検査画像を配置して生成しても良いし、２番目に取得したワーク検査画像の周囲に最初に取得したワーク検査画像を配置して生成しても良い。いずれにしても、両者が同等な画像であれば、ステップＳ２０７で行われる周辺視・固視微動処理において図９（ｂ）のような一様な画像が得られ、両者に違いが存在する場合は一様でない画像が得られる。

その後、更に続いて搬送されて来る対象物のための整列画像は、これまで取得した複数のワーク画像を利用して生成することが出来る。生成方法は様々であるが、例えば、整列画像を最初に生成するときに基準画像として用いた画像を、第１の実施形態と同様、その後も共通する基準画像として使用しても良い。また、検査対象物の前に搬送されてきた対象物の画像を、所定回数だけ検査対象物のための基準画像とすることも出来る。例えば、３番目に検査を行う対象物Ｐ（３）の検査には、Ｐ（３）の直前の対象物で２番目の検査対象であり、すでに検査済みのＰ（２）を撮影して得られた画像を基準画像に用いることができる。そして、例えば、４番目に検査を行う対象物Ｐ（４）の検査には、Ｐ（４）の直前の対象物で３番目の検査対象であり、すでに検査済みのＰ（３）を撮影して得られた画像を基準画像に用いることができる。また、例えば、Ｐ（３）、Ｐ（４）の検査の際に、Ｐ（２）を撮影して得られた画像を基準とすることができる。さらに、検査対象物よりも前に搬送されてきた全て或は複数の対象物の画像の画素値、例えば輝度値の平均値から得られる画像などを、基準画像とすることも出来る。本実施形態は、上記方法のいずれの方法も採用することができる。

また、製造ラインにおいては、環境変化に依存して、個々の製造物に徐々に差異が現れてくることがある。具体的には、プリント物を製造する状況において、環境温度が徐々に上昇すると、初期に製造されるプリント物の濃度よりも、ある程度の時間が経過してから製造されるプリント物のほうが、画像の濃度が高く（輝度が低く）なるような場合が挙げられる。このような場合、図１４（ａ）のように、検査対象物の直前に搬送されてきた対象物の画像を、検査対象物のための基準画像とすれば、両者の差異は少なく、周辺視・固視微動処理後も図１４（ｂ）のように一様な画像となる可能性は高くなる。しかし、図１５（ａ）のように、検査対象物よりもかなり以前に搬送されてきた対象物の画像を、検査対象物のための基準画像とすると、温度差の影響が両者の差に現れ、周辺視・固視微動処理後の画像も、図１５（ｂ）のように、一様ではなくなる可能性が高くなる。

本実施形態においては、このような２つの方法を、環境条件や状況に応じて使い分けることができる。すなわち、環境変化に伴う経時的な差異を検出の対象から外したい場合には、検査対象物の直前（あるいは比較的近い時刻）に搬送されてきた対象物の画像を、検査対象物のための基準画像に使用すれば良い。一方、環境変化に伴う経時的な差異も検出の対象に含めたい場合には、検査対象物よりもかなり以前に搬送されてきた対象物の画像を、検査対象物のための基準画像に使用すれば良い。

さらに、本実施形態では、同一の検査対象物に対し複数の基準画像を用意し、基準画像ごとに特異部抽出処理を行うようにしても良い。検査対象物の直前に搬送されてきた対象物の画像から得られる基準画像と検査対象物よりもかなり以前に搬送されてきた対象物の画像から得られる基準画像の両方を用いれば、突発的に発生する特異部と徐々に現れる特異部を、両方抽出することができる。さらにまた、１つの検査対象物を撮影して得られるワーク検査画像の周りに、複数の基準画像から切り取って生成したワーク基準画像を配置して、整列画像を生成することも出来る。このように、本実施形態においては、検出したい特異部の特性や用途に応じて、基準画像を設定すれば良い。

以上説明した本実施形態においても、第１の実施形態と同様、対象物の検査のために当該対象物以外の多くの対象物の撮影を必要とせず、製造、撮影、および検査結果の出力を応答性の高い状態で行うことが可能となる。

（その他の実施形態）
本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現することが可能である。

２００ 画像処理装置
３０１ 基準画像
３０２ 検査対象画像
３０４ ワーク基準画像
３０５ ワーク検査画像
３０７ 整列画像
Ｐ 対象物

Claims (16)

1. 画像処理装置であって、
   順番に撮影される複数の検査対象物のうちの一つの検査対象物を撮影することによって得られたワーク検査画像を取得する手段と、
   前記一つの検査対象画像の検査に利用する、前記ワーク検査画像とは異なるワーク基準画像を前記ワーク検査画像の取得よりも前に取得する手段と、
   前記ワーク検査画像の周辺に、前記ワーク基準画像を配置して、整列画像を生成する手段と、
   前記整列画像に対して特異部を抽出するための特異部抽出処理を行う処理手段と
   を備え、
   前記処理手段は、前記複数の検査対象物のうちの一つの第１の検査対象物を撮影することで得られた第１のワーク検査画像に対する前記特異部抽出処理の後に、前記複数の対象物のうちの一つであり、前記第１の検査対象物と異なる第２の検査対象物を前記第１の検査対象物の次に、撮影することで得られた第２のワーク検査画像に対する前記特異部抽出処理を行い、その後に、前記複数の検査対象物のうちの一つであって、前記第１の検査対象物と前記第２の検査対象物の両方と異なる第３の検査対象物を前記第２の検査対象物の次に撮影することで得た第３のワーク検査画像に対する前記特異部抽出処理を行うことを特徴とする画像処理装置。
2. 前記複数の対象物を撮影するための撮影手段を更に備え、
   前記複数の検査対象物は、前記撮影手段によって撮影可能な位置を所定の速度で搬送されることを特徴とする請求項１に記載の画像処理装置。
3. 前記ワーク基準画像を取得する手段は、前記複数の検査対象物のうち、前記一つの検査対象物の撮影よりも以前に撮影された検査対象物の画像から前記ワーク基準画像を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ワーク基準画像は、前記複数の検査対象物のうち最初に撮影された検査対象物の画像であることを特徴とする請求項３に記載の画像処理装置。
5. 前記ワーク基準画像を取得する手段は、前記複数の検査対象物のうちの任意の検査対象物の撮影で得た画像に基づく画像を、当該任意の検査対象物の次に撮影される検査対象物のワーク検査画像のためのワーク基準画像として取得することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記ワーク基準画像を取得する手段は、前記複数の検査対象物のうちの任意の検査対象物のワーク検査画像のためのワーク基準画像を、当該任意の検査対象物よりも前に撮影される複数の検査対象物の撮影で得た画像に基づいて取得することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記ワーク基準画像は、前記特異部抽出処理によって抽出するべき特異部の特徴に応じて変更されることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記特異部抽出処理は、
   前記整列画像を所定の分割サイズおよび前記整列画像中の分割位置の位相に従って分割して得られる複数の分割領域のそれぞれについて平均化処理を行った後、前記分割サイズおよび前記整列画像中の分割位置の位相の少なくとも一方が互いに異なるような条件で得られた前記平均化処理の結果を加算する処理を行うことにより、前記検査対象物に存在する特異部を抽出する処理であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 画像処理方法であって、
   検査の対象とする複数の検査対象物を順番に撮影する撮影工程と、
   前記撮影工程で前記複数の検査対象物のうちの一つの検査対象物を撮影することによって得られたワーク検査画像を取得する工程と、
   前記一つの検査対象画像の検査に利用する、前記ワーク検査画像と異なるワーク基準画像を前記ワーク検査画像の取得よりも前に取得する工程と、
   前記ワーク検査画像の周辺に前記ワーク基準画像を配置して、整列画像を生成する工程と、
   前記整列画像に対して特異部を抽出するための特異部抽出処理を行う処理工程と
   を有し、
   前記複数の検査対象物のうちの一つの第１の検査対象物を前記撮影工程で撮影することで得た第１のワーク検査画像を含む前記整列画像に対する前記処理工程の後に、前記複数の対象物のうちの一つであり、前記撮影工程において前記第１の検査対象物の次に、第１の検査対象物と異なる第２の検査対象物を撮影することで得た第２のワーク検査画像を含む前記整列画像に対する前記処理工程を行い、その後に、前記複数の検査対象物のうちの一つであって、前記撮影工程において前記第１の検査対象物と前記第２の検査対象物の両方と異なる第３の検査対象物を前記第２の検査対象物の次に撮影することで得た第３のワーク検査画像を含む前記整列画像に対する前記処理工程を行うことを特徴とする画像処理方法。
10. 前記複数の検査対象物は、前記撮影工程によって撮影可能な位置を所定の速度で搬送されることを特徴とする請求項９に記載の画像処理方法。
11. 前記ワーク基準画像は、前記複数の検査対象物のうち、前記処理工程を行う前記整列画像中のワーク検査画像のための撮影よりも以前に撮影された検査対象物の画像より取得されることを特徴とする請求項９または１０に記載の画像処理方法。
12. 前記ワーク基準画像は、前記撮影工程において前記複数の検査対象物のうち最初に撮影した対象物の画像であることを特徴とする請求項１１に記載の画像処理方法。
13. 前記撮影工程において前記第１の検査対象物を撮影することによって得た画像を、前記処理工程における前記整列画像を生成するために、前記第２のワーク検査画像の周辺に配置する前記ワーク基準画像とすることを特徴とする請求項９または１０に記載の画像処理方法。
14. 前記ワーク基準画像を取得する工程は、前記複数の検査対象物のうちの任意の検査対象物のワーク検査画像のためのワーク基準画像を、前記撮影工程において当該任意の検査対象物よりも前に撮影される複数の検査対象物の撮影で得た画像に基づいて取得することを特徴とする請求項９または１０に記載の画像処理方法。
15. 前記ワーク基準画像は、前記特異部抽出処理によって抽出するべき特異部の特徴に応じて変更されることを特徴とする請求項９から１４のいずれか１項に記載の画像処理方法。
16. 前記特異部抽出処理は、
    前記整列画像を所定の分割サイズおよび位相に従って分割して得られる複数の分割領域のそれぞれについて平均化処理を行った後、前記分割サイズおよび位相の少なくとも一方が互いに異なるような条件で得られた前記平均化処理の結果を加算する処理を行うことにより、前記検査対象物に存在する特異部を抽出する処理であることを特徴とする請求項９から１５のいずれか１項であることを特徴とする画像処理方法。