JP2005208847A

JP2005208847A - 画像欠陥検出装置、画像形成装置

Info

Publication number: JP2005208847A
Application number: JP2004013569A
Authority: JP
Inventors: Koki Uetoko; 弘毅上床; Koji Adachi; 康二足立; Kaoru Yasukawa; 薫安川; Kiichi Yamada; 紀一山田; Eigo Nakagawa; 英悟中川; Tetsukazu Satonaga; 哲一里永
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-01-21
Filing date: 2004-01-21
Publication date: 2005-08-04

Abstract

【課題】テンプレートマッチングによる画像欠陥検出において欠陥を確実に検出する。
【解決手段】テンプレート画像は、シェーディング補正部３０１等で補正された撮像画像３０を、テンプレート画像生成部３０７で分割することで生成される。一方、比較画像は、解像度変換部３０５等で補正された基準画像３２からテンプレート画像の位置に対応し、かつテンプレート画像を拡張した領域を対応画像抽出部３０８により抽出されることで生成される。正規化相関計算処理部３０９は、テンプレート画像をその比較画像内で移動させながら正規化相関値を計算し、相関値が最大となる位置をテンプレート画像対応位置と決定する。欠陥判定部３１０は、最大となった相関値と閾値とを比較することで当該テンプレート画像に欠陥が含まれているか否かの判定を行う。
【選択図】図３

Description

本発明は、複写機やプリンタなどの画像形成装置から出力された出力画像の欠陥の有無を検査する装置の改良に関する。

従来より、画像欠陥検出の方法としてテンプレートマッチングを用いる方法がある。テンプレートマッチングによる画像欠陥検出では、基準画像をテンプレート画像とし、画像入力手段などにより得られた読み取り画像を被検査画像として位置合わせを行うことが一般的である。すなわち、従来の方法においては、被検査画像に対して所定の大きさ（領域）を持つテンプレート画像の位置をずらしながらその都度重なり合った位置（領域）における相似度を計算する。このようにして、相似度の高い位置を被検査画像内で探索する。そして、最終的に最も相似度の高い位置を選択しテンプレート画像と被検査画像とを重ね合わせることで位置合わせを行う。位置合わせ後、テンプレート画像と被検査画像との相関値と予め設定した閾値とを比較し、相関値が閾値より低い場合はその領域に欠陥があると判断する。

この方法によれば、被検査画像である読み取り画像に歪みが生じたり、基準画像と被検査画像との間で位置ずれが発生したとしても、テンプレート画像を被検査画像内で探索させて最も相似度の高い位置を見つけ、その位置で各画像の位置合わせを行うようにしたので、歪みや位置ずれ等の影響をなくす、もしくは軽減することができる。例えば、特許文献１には、このようなマッチング方法を用いた技術が記載されている。

特開２００２−３１４９８２号公報

しかしながら、特許文献１に記載されているように、基準画像をテンプレート画像にして欠陥検出を行うようにすると、例えば被検査画像の探索領域内の画像パターンが一様であり、かつ基準画像に本来位置合わせされるべき位置（領域）に欠陥が含まれている場合、テンプレート画像と被検査画像とが欠陥を含まない領域、すなわち本来位置合わせされるべき位置とは異なる位置でマッチングしてしまう可能性がある。この例を図９及び図１０を用いて説明する。

図９（ａ）は検査したい画像の基準となる基準画像１０を、図９（ｂ）は基準画像１０から一部分を抽出することによって生成されたＮ×Ｍ画素のテンプレート画像１２を、図９（ｃ）は、図９（ｂ）と同様にして生成された別のＮ×Ｍ画素のテンプレート画像１４を、図９（ｄ）は画像入力手段により得られた被検査画像１６を、それぞれ示している。被検査画像１６には、欠陥１８が含まれている。テンプレート画像１２もしくはテンプレート画像１４を用いて被検査画像１６に対してテンプレートマッチングを行う場合、まず基準画像１０におけるテンプレート画像の位置を基準にして、被検査画像内でＮ×Ｍ画素以上の大きさの探索領域を定める。

図１０（ａ）に示したように、テンプレート画像１２を用いて対応する探索領域２０においてテンプレートマッチングを行った場合、探索領域２０内に欠陥１８が含まれていても、図１０（ｂ）に示したようにテンプレート画像１２を画像の形状がほぼ一致する領域２２、すなわち、本来位置合わせされるべき位置に正しく重ね合わせることができる。つまり、正しいマッチング結果を得ることができる。但し、マッチングした画像領域２２内に欠陥１８が含まれているため欠陥のない場合に比べて相関値は低くなるので、欠陥検出装置は、この相関値を閾値と比較することで被検査画像における欠陥の有無を判別することができる。

一方、図１１（ａ）に示したように、テンプレート画像１４を用いて対応する探索領域２４においてテンプレートマッチングを行った場合、図９（ｄ）に示すように画像パターンが一様である領域の一部分に欠陥１８があると、欠陥検出装置は、本来であれば図１１（ｂ）に示すようにテンプレート画像１４を基準画像から抽出した位置でマッチングを行うべきところを、図１１（ｃ）に示したように探索領域２４内の本来対応している位置からずれた、欠陥１８を含まない領域２６でマッチングしてしまう。このため、この探索領域２４内には欠陥１８はないものと判定されてしまい、結果として欠陥の検出を行うことができない。

このように、テンプレートマッチングを用いた従来の画像欠陥検出方法においては、被検査画像の探索領域内にテンプレート画像と同様の画像パターンが本来対応すべき位置以外に存在し、かつ本来対応すべき位置に欠陥がある場合、欠陥のある位置を避けて、対応する位置以外の位置でマッチングを行ってしまい、欠陥を見逃してしまうといった問題が発生していた。

本発明は、以上のような課題を解決するためになされたものであり、その目的は、テンプレートマッチングによる画像欠陥検出において、欠陥をより確実に検出することのできる画像欠陥検出装置及びこの装置を搭載した画像形成装置を提供することにある。

以上のような目的を達成するために、本発明に係る画像欠陥検出装置は、被検査画像と、その被検査画像に対する基準画像とを比較することによって前記被検査画像に含まれる欠陥を検出する画像欠陥検出装置において、前記被検査画像の一部分の領域を抽出することによってテンプレート画像を生成するテンプレート画像生成手段と、前記被検査画像における前記テンプレート画像の位置に対応し、かつ前記テンプレート画像を包含する大きさの領域を持つ比較画像を前記基準画像から抽出する比較画像生成手段と、前記テンプレート画像を用いて前記比較画像に対してテンプレートマッチングを行うマッチング手段と、前記マッチング手段により得られた相関値と、予め設定された閾値とを比較することで前記被検査画像に欠陥が含まれているか否かを判定する判定手段とを有する。

本発明の好適な態様では、前記テンプレート画像生成手段は、前記被検査画像を任意の形状に分割し、その分割した画像の一つをテンプレート画像とする。

更に好適な態様では、前記テンプレート画像生成手段は、生成する全てのテンプレート画像の画素数及び形状が同一となるように前記被検査画像から領域を抽出する。

更に好適な態様では、前記被検査画像を撮像する撮像手段と、前記マッチング手段によるテンプレートマッチングの実施前に、前記撮像手段の特性又は撮像条件に基づき前記被検査画像又は前記基準画像の少なくとも一方を補正するマッチング前処理手段とを有する。

本発明に係る画像形成装置は、上述した画像欠陥検出装置を搭載する。

本発明に係るプログラムは、被検査画像と、その被検査画像に対する基準画像とを比較することによって前記被検査画像に含まれる欠陥を検出する画像欠陥検出装置として、コンピュータシステムを機能させるためのプログラムであって、当該コンピュータを、前記被検査画像の一部分の領域を抽出することによってテンプレート画像を生成するテンプレート画像生成手段と、前記被検査画像における前記テンプレート画像の位置に対応し、かつ前記テンプレート画像を包含する大きさの領域を持つ比較画像を前記基準画像から抽出する比較画像生成手段と、前記テンプレート画像を用いて前記比較画像に対してテンプレートマッチングを行うマッチング手段と、前記マッチング手段により得られた相関値と、予め設定された閾値とを比較することで前記被検査画像に欠陥が含まれているか否かを判定する判定手段として機能させる。

本発明によれば、被検査画像からテンプレート画像を生成して、被検査画像に対する基準画像に対してテンプレートマッチングを施すようにした。このため、被検査画像に発生していた欠陥は、テンプレート画像に必ず含まれることになるため、画像パターンによってその欠陥を避けてマッチングを行うようなことがなくなる。これにより、被検査画像に含まれていた欠陥を確実に検出することができる。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

図１は、本発明に係る画像欠陥検出装置のハードウエア構成の一実施形態を示した構成図である。本実施の形態における画像欠陥検出装置は、画像形成装置であるレーザービームプリンタに搭載されており、ＰＣ（パーソナルコンピュータ）などのホスト装置から送られてくる印刷対象となる画像データを受け取り、用紙に対し画像を形成するＩＯＴ（Image Output Terminal）に処理可能な画像データに変換してＩＯＴに供給し、画像形成を実行させる。

図１において、ＣＰＵ１０１（中央演算ユニット）１０１は、画像形成処理及びこの画像欠陥検出装置の動作制御のための演算処理を実行する装置である。ＲＯＭ（リード・オンリー・メモリ）１０９には、画像形成装置及び画像欠陥検出装置の動作制御のための各種プログラムが格納されている。特に、本発明との関連で言えば、ＲＯＭ１０９には、後述する読み取り画像補正処理を含んだ出力画像検査処理のプログラムが格納されており、ＣＰＵ１０１は、このプログラムを実行することで印刷した画像に欠陥が含まれているかどうかの判定を行う。ＣＰＵ１０１には、更にデータバス１０２が接続されており、このデータバス１０２を介して図１に示した他のハードウエア１０３〜１０７と画像データ等のデータ交換を行う。ＣＰＵ１０１は、ＲＡＭ（ランダム・アクセス・メモリ）１０５をワーク領域として利用しながら、ＲＯＭ１０９内の制御プログラムを実行することになる。

外部インタフェース（Ｉ／Ｆ）回路１０３は、ホスト装置との通信インタフェースである。外部インタフェース回路１０３の具体例としては、例えばＰＣのプリンタポートと接続するパラレルポートや、イーサーネット（商標）インタフェースである。

ＨＤＤ（ハードディスク・ドライブ）１０４には、ホスト装置から受け取った印刷ジョブのデータや、そのデータを展開してできる印刷用の画像データなどが保存される。また、画像形成装置が複写機として構成される場合、ＨＤＤ１０４には、紙原稿を読み取って得た画像データを、ソート出力などの処理のために保存される。ＨＤＤ１０４は外部から送られてくる印刷用の画像データを格納する領域と、その画像データをプリント結果の検査のために少なくとも１枚分格納する領域を含んでいる。

ＲＡＭ１０５は、一般的な画像形成処理のために用いるワーク領域、ＣＣＤカメラ１０８によって撮像された画像データを格納する領域、印刷対象の画像データをＩＯＴコントローラ１０６を介してＩＯＴへ送る際のバッファ領域、画像上の欠陥検出処理のためのワーク領域として利用される。

ＩＯＴコントローラ１０６は、画像欠陥検出装置とＩＯＴとのインタフェース回路である。図１には省略しているが、ＩＯＴコントローラ１０６は、ＩＯＴが取り扱いできる形式の画像データを、処理順に並び替えてＩＯＴに供給し、ＩＯＴを制御してレーザーダイオードの信号を生成する。

ＣＣＤカメラインタフェース（Ｉ／Ｆ）回路１０７は、ＣＣＤカメラ１０８の出力データをアナログ−デジタル変換してＲＡＭ１０５へ格納する。ＣＣＤカメラ１０８は、例えば、図２に示すように、ＩＯＴにより用紙に印刷された画像の検査のために印刷用紙全体を撮影範囲に収めることができるように、画像形成装置２０１の印刷結果（印刷用紙２０４）が排出される排紙トレイ２０３の上部に設置される。ＣＣＤカメラ１０８は、２次元のＣＣＤエリアセンサを備えており、このエリアセンサにより機械的な走査をすることなく用紙印刷面を撮像する。

図３は、画像欠陥装置が実行する欠陥検出処理を示したブロック構成図である。欠陥検出処理は、出力画像を検査する処理の一部を形成し、出力画像の欠陥の有無を検査するための処理である。この処理は、ＲＯＭ１０９に記憶されたプログラムをＣＰＵ１０１で実行することで実現される。本実施の形態における欠陥検出処理は、検査対象画像データ前処理、基準画像データ前処理及び欠陥検出のための正規化相関計算処理に大別できる。

読み取り画像補正処理に相当する検査対象画像データ前処理は、シェーディング補正処理、光学歪み補正処理、透視変換処理及び領域抽出処理で構成され、それぞれシェーディング補正部３０１、光学歪み補正部３０２、透視変換部３０３及び領域抽出部３０４により実施される。シェーディング補正処理及び光学歪み補正処理では、ＣＣＤカメラ１０８の特性、撮影する照明条件などの撮像条件等に基づきデジタル変換された撮像画像３０に対して補正を行う。ＣＣＤカメラ１０８は、用紙排出トレイ２０３の上にある出力用紙２０４を斜め上から撮影するため、透視変換部３０３は、この撮像画像を基準画像と比較できるように補正する。領域抽出部３０４は、撮影した画像から必要とする用紙サイズの領域を抽出する。

基準画像データ前処理は、解像度変換処理及びぼかし処理で構成され、それぞれ解像度変換部３０５及びぼかし処理部３０６により実施される。解像度変換部３０５は、基準画像３２の解像度をＣＣＤカメラ１０８で撮影した画像から抽出した画像の解像度に合わせる。ぼかし処理部３０６は、基準画像のエッジ部分のぼかしが、撮影画像のエッジ分のぼかしと同程度になるように補正する。

検査対象画像データ前処理と基準画像データ前処理は、正規化相関計算処理におけるテンプレートマッチングの実施前に行われる処理であり、ＣＣＤカメラ１０８の特性や設置条件等によって撮像画像及び基準画像を補正する。画像形成装置は、ホスト装置から送られてくる印刷ジョブのデータを展開してできる印刷用の画像データを用紙上に印刷するが、本実施の形態では、この印刷用の画像データを基準画像とし、画像データに基づき用紙上に印刷されＣＣＤカメラ１０８によって撮像された画像を撮像画像とする。

正規化相関計算処理は、テンプレート画像生成処理、対応画像抽出処理、正規化相関計算処理及び欠陥判定処理で構成され、それぞれテンプレート画像生成部３０７、対応画像抽出部３０８、正規化相関計算処理部３０９及び欠陥判定部３１０により実施される。テンプレート画像生成部３０７は、検査対象画像データ前処理が施された撮像画像（被検査画像）から一部分の領域を抽出することによって正規化相関値計算に必要なテンプレート画像を生成する。対応画像抽出部３０８は、被検査画像におけるテンプレート画像の位置に対応し、かつテンプレート画像を包含する大きさの領域を持つ比較画像を、基準画像データ前処理が施された基準画像から抽出する。正規化相関計算処理部３０９は、テンプレート画像生成部３０７により生成されたテンプレート画像と、対応画像抽出部３０８により生成された比較画像の両者の画像から、正規化相関によるテンプレートマッチングの計算を行う。欠陥判定部３１０は、その計算結果に基づいて被検査画像に欠陥が含まれているか否かを判定する。

次に、本実施の形態における欠陥検出処理の手順を図４に示したフローチャートを用いて説明する。

画像形成装置２０１が外部からプリントジョブを受け取ると（Ｓ４０２）、ＣＰＵ１０１は、プリントジョブで指定された枚数分のプリント処理を順次実行する（Ｓ４０３）。すなわち、ＣＰＵ１０１は、まず最初のページのプリント処理を実行することにより外部から送られてきたデータを展開して印刷用の画像データを生成する。そして、ＣＰＵ１０１は、展開後の画像データをＩＯＴコントローラ１０６へ送出するとともにＨＤＤ１０４に格納する。ＣＰＵ１０１は、ＩＯＴコントローラ１０６から画像形成処理完了の信号を待つ（Ｓ４０４）。そして、ＣＰＵ１０１は、その信号が送られてから規定時間経過後にＣＣＤカメラインタフェース回路１０７へトリガ信号を送出する（Ｓ４０５）。ＣＣＤカメラ１０８は、ＣＣＤカメラインタフェース回路１０７を経由して受信したトリガ信号に同期してシャッターを切る。このシャッターが切られるタイミングは、排紙トレイ２０３上に印刷用紙２０４が出力された直後であり、ＣＣＤカメラ１０８は、印刷用紙２０４全体を撮影範囲に収めることができる。ＣＣＤカメラ１０８によって撮影された画像データ（上記撮像画像）はＣＣＤカメラインタフェース回路１０７においてデジタル信号に変換されてＲＡＭ１０５へ送られ格納される。

次に、シェーディング補正部３０１は、ＲＡＭ１０５から撮影された撮像画像を読み出し、シェーディング補正を実行する（Ｓ４０６）。シェーディング補正は、撮影領域の照度むらやＣＣＤセンサ１０８の各画素の特性ばらつきなど撮影条件やＣＣＤカメラ１０８が持つ特性等に基づき補正する処理である。シェーディング補正は、周知の処理であるが、簡単に説明すると、例えば、予め白紙を撮影して白基準ＤＷ［ｉ，ｊ］（ｉ，ｊは２次元画素位置を表わすインデックス）を求めて記憶しておき、補正の対象である撮像画像Ｄ［ｉ，ｊ］の各画素の値を対し次式で補正する。

Ｐ［ｉ，ｊ］＝Ｄ［ｉ，ｊ］/ＤＷ［ｉ，ｊ］×（２^ｎ − １）・・・（１）
ｎは補正後のビット分解能であり、８ビット分解能ならｎ＝８となり画素値は０〜２５５階調の値をとる。ここでは、全画素について白基準データを保持する方法を述べたが、例えば、この他にも簡易的な方法として、撮影された画像全体のピーク値を白基準ＤＷとする方法や、撮影された画像のラインごとのピーク値ＤＷ［ｊ］を白基準とする方法などが適用可能である。

光学歪み補正部３０２は、シェーディング補正された撮像画像は、次に光学歪み補正を行う（Ｓ４０７）。光学歪みの補正は、ＣＣＤカメラ１０８の光学系の湾曲収差を補正する処理である。光学歪み補正には、公知の様々な処理方法を利用できるが、一例を挙げると次のようになる。すなわち、レンズへの入射角θでの収差ｄは、レンズから結像面までの距離をｃ、結像面における結像位置の光軸からの距離をｒとすると、次式で表される。

ｄ＝ｒ−ｃtanθ・・・（２）
この特性に基づいて補正処理を行う。または収差ｄは一般にｒの３乗に比例するのでレンズ特性に基づいて比例定数を求めて補正処理を行うこともできる。

次に、透視変換部３０３は、光学ひずみ補正を行った撮像画像から原稿領域の頂点座標を、エッジ検出などを用いて抽出し（Ｓ４０８）、透視変換前の補正係数を算出する（Ｓ４０９）。次に、実際に透視変換処理によって台形状の原稿領域を矩形へと幾何変換し（Ｓ４１０）、変換された矩形の原稿領域を被検査画像としてＲＡＭ１０５に格納する。本実施の形態においては、図２に示したように排紙トレイ２０３上の印刷用紙２０４をＣＣＤカメラ１０８で斜め上方から撮影する。従って、矩形である印刷用紙２０４は、通常、撮影画像データ上では台形状に変形しているはずである。そこで、本実施の形態では、上記のように幾何変換を行うことで、矩形である基準画像との正規化相関値計算処理の際の誤差を最小にするためである。

続いて、この抽出した情報は、後述する基準画像の解像度変換処理の際に利用される。

本実施の形態では、プリント処理で印刷用に生成された画像データを基準画像として用いる。解像度変換部３０５は、ＨＤＤ１０４に格納されている基準画像を、Ｓ４１１で抽出した矩形の原稿領域の座標をもとに解像度変換処理を行う（Ｓ４１３）。続いて、ぼかし処理部３０６は、解像度変換された基準画像に対してぼかし処理を行った後（Ｓ４１４）、ＲＡＭ１０５に格納する。ぼかし処理を行うのは、基準画像が理想的な濃淡特性を持っているために、撮像画像のぼけ特性と同等のぼかし処理を施すことで、後述する正規化相関値計算処理の際の誤差を最小にするためである。

次に、テンプレート画像生成部３０７は、図５に示すように補正された被検査画像３０をＬ個のテンプレート画像Ｔｉ（ｉ＝１〜Ｌ）に分割する（Ｓ４１５）。分割の数や分割方法は任意でよいが、本実施の形態では、分割して生成した各テンプレート画像５２の形状およびサイズは同一になるように分割する。これは、テンプレートマッチングによって相関値を算出する時に、形状やサイズが不均一だと欠陥がない時の相関値にばらつきが生じる可能性があるためである。

なお、本実施の形態においては、被検査画像全体を検査対象とするために被検査画像を分割することによって検査対象となるテンプレート画像５２を生成することができる。しかし、検査した領域が被検査画像の一部分である場合は、その部分のみを被検査画像から抽出してテンプレート画像を生成すればよい。

続いて、対応画像抽出部３０８は、基準画像からテンプレート画像Ｔｉに対応する探索領域をそれぞれ抽出する（Ｓ４１６）。基準画像から抽出する各探索領域６０は、図６に示すように、被検査画像中のテンプレート画像５２が位置する領域からｘ方向、ｙ方向ともそれぞれ±ｄ画素分拡張した領域とする。ｄの値は、欠陥検査装置の構成や撮像系の光学歪みの程度、プリントされる用紙の状態などから予め定められる。但し、ユーザが任意に設定変更できるようにしてもよい。また、ｘ方向、ｙ方向の拡張分量を異ならせてもよい。このように、テンプレート画像５２の領域より拡張した領域を基準画像から抽出するのは、欠陥検査装置の構成や撮像系の光学歪み、出力した用紙のたわみなどにより、基準画像と被検査画像とで本来対応すべき位置が局所的にずれていることがあるためである。このようにして基準画像から抽出した各探索領域６０を比較画像と称することにする。

以上のようにして、テンプレートマッチングの対象となる被検査画像及び基準画像に対して前処理を行い、またテンプレート画像並びに各テンプレート画像に対応する比較画像を生成する。なお、本実施の形態では、図４に従い各処理を順番に説明したが、可能な範囲で複数の処理を並行して実行するようにしてもよい。例えば、領域抽出部３０４における座標抽出処理（Ｓ４１１）に続く撮像画像に対する処理（Ｓ４１２，Ｓ４１５）と、座標抽出処理（Ｓ４１１）により抽出された座標情報に基づき処理を開始できる基準画像に対する処理（Ｓ４１３，Ｓ４１４）とは、並行して行うことができる。

正規化相関計算処理部３０９は、基準画像から抽出した探索領域（すなわち比較画像）に対して、対応するテンプレート画像をその探索領域内で移動させながら正規化相関値を計算する（Ｓ４１７）。正規化相関値を計算の計算は、各テンプレート画像Ｔｉに対して１番目からＬ番目まで順番に行うが、この順番は任意である。

ここで、図７にテンプレートマッチングの概念図を示す。Ｎ×Ｍ画素のテンプレート画像５２の画素（ｘ，ｙ）における濃度値をＴ（ｘ，ｙ）、Ｎ’×Ｍ’画素（ここではＮ’＝Ｎ＋２＊ｄ、Ｍ’＝Ｍ＋２＊ｄ）の比較画像６０の画素（ｘ，ｙ）における濃度値をＩ（ｘ，ｙ）としたとき、テンプレート画像５２が比較画像６０内の点（ｕ，ｖ）に位置するときの正規化相関値Ｃ（ｕ，ｖ）の計算式は一般的に式（３）で表される。

正規化相関値Ｃ（ｕ，ｖ）は、テンプレートマッチングを行うことで、一つのテンプレート画像５２に対し、移動させた位置の数だけ得られるが、正規化相関計算処理部３０９は、図８に示すようにこの計算結果の中から相関値が最大となる位置の画像８０がテンプレート画像５２に対応しているものと決定する。そして、その画像８０の相関値を欠陥判定部３１０へ渡す。欠陥判定部３１０は、正規化相関計算処理部３０９から渡された相関値と、予め設定された閾値とを比較することで当該テンプレート画像５２に欠陥が含まれているか否かの判定を行う（Ｓ４１８）。すなわち、欠陥判定部３１０は、相関値が閾値以上の場合は当該テンプレート画像には欠陥がないと判断し、一方、閾値未満の場合は、欠陥５４があると判断する。欠陥判定部３１０が欠陥の有無に判定に用いる閾値は、欠陥がないことが確認されているプリント画像から平均的な正規化相関値を予め計算しておくことで設定される。以上の操作を全テンプレート画像Ｔｉ（ｉ＝１〜Ｌ）に対して行う（Ｓ４１９）。つまり、上記説明した欠陥検出処理では、欠陥判定部３１０によりテンプレート画像の数Ｌの判定結果を得ることになる。欠陥検出処理における処理結果には、検査対象とした被検査画像、被検査画像の分割数（テンプレート画像数Ｌ）、各テンプレート画像の位置情報、形状、サイズ及び処理結果である正規化相関値（欠陥のサイズ、濃度に関する情報）等の情報が含まれる。

ここで、テンプレート画像は被検査画像である撮像画像から抽出して生成しているため、テンプレート画像を抽出した領域撮像画像に欠陥が発生していた場合、そのテンプレート画像には必ず欠陥が含まれることになる。従って、本実施の形態によれば、テンプレートマッチングを行う際に比較される比較画像が図８に示すように画像パターンが一様であっても、常に欠陥５４が含まれた状態でのマッチング結果を得ることができる。

欠陥検出処理で得られた処理結果は、対応する処理に渡される。被検査画像に欠陥が検出された場合には、処理結果を参照することで被検査画像の中での欠陥のサイズ、濃度、位置がある程度わかる。画像欠陥検出装置は、この判明した内容を、プリント管理ソフトウエアなどを利用してユーザインタフェース上で警告を発したり、プリントジョブを発したＰＣへ警告を発したり、さらにはリモート保守システムなどを介してプリンタの保守業者へ通知するようにしてもよい。

以上説明したように、本実施の形態によれば、出力画像に欠陥が発生した場合、撮像画像からテンプレート画像を生成することにより、発生した欠陥はテンプレート画像に含まれているため、テンプレートマッチング時に欠陥を逃すことなく相関値を算出できる。そして、欠陥を含んでいるテンプレート画像において求められる相関値は、欠陥がない場合よりも低くなるため、そのテンプレート画像に欠陥が含まれていると判定できる。

なお、プリントジョブに複数枚の印刷が含まれている場合、ＣＰＵ１０１は、前述した処理を印刷枚数分連続して行うが、このとき、複数ページ分の処理は、並行して進行されることになる。但し、当然ながらＣＣＤカメラ１０８による撮影は、次の印刷用紙が排紙トレイ２０３上に排出される前に実施される必要があるので、ＣＰＵ１０１は、そのタイミングを考慮して処理を進めなければならない。

なお、本実施の形態では、被検査画像を得る手段として２次元のＣＣＤエリアセンサを備えたＣＣＤカメラ１０８を用いたが、この代わりに用紙排出口に密着センサを設けてもよい。この場合、図３に示した光学歪み補正部３０２及び透視変換部３０３、また図４に示したこの構成要素３０２，３０３による処理（Ｓ４０７〜Ｓ４１０）は不要となる。また、出力された印刷用紙２０４を別途スキャナで読み込んだ画像を被検査画像とし、オフラインで欠陥検出を行うようなシステムに適用してもよい。

更に、以上に例示した装置は、排紙トレイ２０３上に排出された印刷済みの用紙２０４を検査を行うためのものであったが、印刷された用紙が排出されるまでの経路上に、その用紙の印刷面を撮像する機構を設けてもよい。また、本発明の手法は、そのような印刷結果の品質検査のための装置に限らず、様々な用途の装置に適用可能である。

本発明に係る画像欠陥検出装置のハードウエア構成の一実施形態を示した構成図である。本実施の形態において印刷済みの用紙を撮像するＣＣＤカメラとその用紙との位置関係を説明するための図である。本実施の形態における画像欠陥装置が実行する欠陥検出処理を示したブロック構成図である。本実施の形態における欠陥検出処理の手順を示したフローチャートである。本実施の形態における被検査画像とテンプレート画像との関係を示した図である。本実施の形態における被検査画像と比較画像との関係を示した図である。本実施の形態におけるテンプレートマッチングの概念を説明するための図である。本実施の形態において欠陥を含むテンプレート画像によるマッチング結果を示した概念図である。従来の画像欠陥検出装置が用いる基準画像、被検査画像及びテンプレート画像の一例を示した図である。従来のテンプレートマッチング方法によるマッチング結果の一例を示した図である。従来のテンプレートマッチング方法によるマッチング結果の他の例を示した図である。

符号の説明

１０１ＣＰＵ、１０２データバス、１０３外部インタフェース（Ｉ／Ｆ）回路、１０４ＨＤＤ（ハードディスク・ドライブ）、１０５ＲＡＭ（ランダム・アクセス・メモリ）、１０６ＩＯＴコントローラ、１０７カメラインタフェース回路、１０８ＣＣＤカメラ、１０９ＲＯＭ（リード・オンリー・メモリ）、２０１画像形成装置、２０３排紙トレイ、３０１シェーディング補正部、３０２光学歪み補正部、３０３透視変換部、３０４領域抽出部、３０５解像度変換部、３０６ぼかし処理部、３０７テンプレート画像生成部、３０８対応画像抽出部、３０９正規化相関計算処理部、３１０欠陥判定部。

Claims

被検査画像と、その被検査画像に対する基準画像とを比較することによって前記被検査画像に含まれる欠陥を検出する画像欠陥検出装置において、
前記被検査画像の一部分の領域を抽出することによってテンプレート画像を生成するテンプレート画像生成手段と、
前記被検査画像における前記テンプレート画像の位置に対応し、かつ前記テンプレート画像を包含する大きさの領域を持つ比較画像を前記基準画像から抽出する比較画像生成手段と、
前記テンプレート画像を用いて前記比較画像に対してテンプレートマッチングを行うマッチング手段と、
前記マッチング手段により得られた相関値と、予め設定された閾値とを比較することで前記被検査画像に欠陥が含まれているか否かを判定する判定手段と、
を有することを特徴とする画像欠陥検出装置。
請求項１に記載の画像欠陥検出装置において、
前記テンプレート画像生成手段は、前記被検査画像を任意の形状に分割し、その分割した画像の一つをテンプレート画像とすることを特徴とする画像欠陥検出装置。
請求項１に記載の画像欠陥検出装置において、
前記テンプレート画像生成手段は、生成する全てのテンプレート画像の画素数及び形状が同一となるように前記被検査画像から領域を抽出することを特徴とする画像欠陥検出装置。
請求項１に記載の画像欠陥検出装置において、
前記被検査画像を撮像する撮像手段と、
前記マッチング手段によるテンプレートマッチングの実施前に、前記撮像手段の特性又は撮像条件に基づき前記被検査画像又は前記基準画像の少なくとも一方を補正するマッチング前処理手段と、
を有することを特徴とする画像欠陥検出装置。
請求項１乃至４のいずれか１項に記載の画像欠陥検出装置を搭載したことを特徴とする画像形成装置。
被検査画像と、その被検査画像に対する基準画像とを比較することによって前記被検査画像に含まれる欠陥を検出する画像欠陥検出装置として、コンピュータシステムを機能させるためのプログラムであって、当該コンピュータを、
前記被検査画像の一部分の領域を抽出することによってテンプレート画像を生成するテンプレート画像生成手段と、
前記被検査画像における前記テンプレート画像の位置に対応し、かつ前記テンプレート画像を包含する大きさの領域を持つ比較画像を前記基準画像から抽出する比較画像生成手段と、
前記テンプレート画像を用いて前記比較画像に対してテンプレートマッチングを行うマッチング手段と、
前記マッチング手段により得られた相関値と、予め設定された閾値とを比較することで前記被検査画像に欠陥が含まれているか否かを判定する判定手段と、
して機能させることを特徴とするプログラム。