JP2022103691A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】 検出された異常から偽異常を除外して、異常の検出精度を向上する画像処理装置、画像処理方法、および画像処理プログラムを得る。
【解決手段】 異常検出部１２は、対象画像に含まれている異常を検出し、異常除外処理部１３は、検出された異常から特定の異常を除外する。そして、異常除外処理部１３は、検出された異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、上述のある異常の種別と上述の別の異常の種別とが互いに異なる場合、上述のある異常および上述の別の異常の一方の輝度情報が所定条件を満たすときには、上述のある異常および上述の別の異常の一方を、検出された異常から除外する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関するものである。

ある画像処理装置は、複合機、プリンターなどといった画像形成装置により出力されるプリント生成物などに生じている意図せぬ筋、点、ムラなどといった異常を、プリント生成物をスキャンして得られた画像に基づいて検出し、異常ごとに発生原因を推定している（例えば特許文献１参照）。

特開２０１７－２２３８９２号公報

一般的に、異常を検出しやすくしようとすると過検出となり、異常ではない画像が異常として検出されることがある。上述の画像処理装置では、異常を検出することはできるものの、検出結果に、過検出された異常（偽異常）が含まれる可能性がある。また、そのような偽異常に対しても発生原因の推定などの後段処理が行われるため、余計な計算コストが掛かってしまう。

本発明は、上記の問題に鑑みてなされたものであり、検出された異常から偽異常を除外して、異常の検出精度を向上する画像処理装置、画像処理方法、および画像処理プログラムを得ることを目的とする。

本発明に係る画像処理装置は、対象画像に含まれている異常を検出する異常検出部と、検出された前記異常から特定の異常を除外する異常除外処理部とを備える。そして、前記異常除外処理部は、検出された前記異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、前記ある異常の種別と前記別の異常の種別とが互いに異なる場合、前記ある異常および前記別の異常の一方の輝度情報が所定条件を満たすときには、前記ある異常および前記別の異常の一方を、検出された前記異常から除外する。

本発明に係る画像処理方法は、対象画像に含まれている異常を検出する異常検出ステップと、検出された前記異常から特定の異常を除外する異常除外ステップとを備える。そして、前記異常除外ステップでは、検出された前記異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、前記ある異常の種別と前記別の異常の種別とが互いに異なる場合、前記ある異常および前記別の異常の一方の輝度情報が所定条件を満たすときには、前記ある異常および前記別の異常の一方を、検出された前記異常から除外する。

本発明に係る画像処理プログラムは、コンピューターを、上述の異常検出部、および上述の異常除外処理部として機能させる。

本発明によれば、検出された異常から偽異常を除外して、異常の検出精度を向上する画像処理装置、画像処理方法、および画像処理プログラムが得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、図１における異常検出部１２において使用されるフィルターの一例を示す図である。 図３は、図１における異常検出部１２において使用される複数のフィルターのフィルター出力値と異常種別との対応関係を説明する図である。 図４は、図１に示す画像処理装置の動作について説明するフローチャートである。 図５は、図２における異常除外処理（ステップＳ３）について説明するフローチャートである。 図６は、図２における異常除外処理（ステップＳ３）の一例について説明する図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、パーソナルコンピューター、サーバーなどといった情報処理装置、またはデジタルカメラ、画像形成装置（スキャナー、複合機など）などといった電子機器であり、演算処理装置１、記憶装置２、通信装置３、表示装置４、入力装置５、内部装置６などを備える。

演算処理装置１は、コンピューターを備え、そのコンピューターで画像処理プログラムを実行して、各種処理部として動作する。具体的には、そのコンピューターは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備え、ＲＯＭや記憶装置２に記憶されたプログラムをＲＡＭにロードし、ＣＰＵで実行することで所定の処理部として動作する。また、演算処理装置１は、特定の処理部として機能するＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。

記憶装置２は、フラッシュメモリーなどといった不揮発性の記憶装置であって、後述の処理に必要な画像処理プログラムやデータを記憶している。画像処理プログラムは、例えば非一時的でコンピューター読取可能な記録媒体に記憶され、その記録媒体から当該記憶装置２にインストールされる。

通信装置３は、外部装置とデータ通信を行う装置であり、例えばネットワークインターフェイス、周辺機器インターフェイスなどである。表示装置４は、ユーザーに対して各種情報を表示する装置であり、例えば、液晶ディスプレイなどのディスプレイパネルなどである。入力装置５は、ユーザー操作を検出する装置であり、例えば、キーボード、タッチパネルなどである。

内部装置６は、当該画像処理装置の所定の機能を実行する装置である。例えば、当該画像処理装置が画像形成装置である場合には、内部装置６は、原稿から原稿画像を光学的に読み取る画像読取装置や、プリント用紙に画像をプリントするプリント装置などである。

そして、ここでは、演算処理装置１は、上述の処理部としての、対象画像取得部１１、異常検出部１２、異常除外処理部１３、および異常対応処理部１４として動作する。

対象画像取得部１１は、記憶装置２、通信装置３、内部装置６などから対象画像（画像データ）を取得しＲＡＭなどに記憶する。

異常検出部１２は、既存の方法で、取得された対象画像に含まれている異常を検出する。この実施の形態では、異常検出部１２は、例えばフィルター（２次微分フィルター、ガボールフィルターなど）で異常を検出してその異常の特徴情報を生成する。つまり、フィルターを入力画像に適用して得られた特徴量（フィルター出力）に基づいて異常が検出される。

特徴情報は、異常の位置およびサイズ（後述の検出領域の位置およびサイズ）と、異常の種別（筋、帯、点など）と、異常の検出時のフィルターの出力値に対応する異常度とを含む。例えば異常の周辺と異常との濃度差が大きい場合、異常度が大きくなる。

図２は、図１における異常検出部１２において使用されるフィルターの一例を示す図である。図３は、図１における異常検出部１２において使用される複数のフィルターのフィルター出力値と異常種別との対応関係を説明する図である。

異常検出部１２は、例えば図２に示すような１次元２次微分フィルターを互いに交差するＡ方向およびＢ方向に沿って移動させて各画素Ｐのフィルター出力値を計算し、例えば図３に示すように、各画素ＰのＡ方向のフィルター出力値およびＢ方向のフィルター出力値に基づいて、その画素の異常の形状パターンを線または点に分類し、その形状パターンに基づいて、異常の種別などの特徴情報を特定する。例えば図２に示すような１次元２次微分フィルターによって、筋や帯のエッジ部分の形状パターン（１対の略平行な線）が検出されると、異常の種別が筋または帯と特定される。

異常除外処理部１３は、検出された異常から特定の異常を除外する。具体的には、異常除外処理部１３は、検出された異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、上述のある異常の種別と上述の別の異常の種別とが互いに異なる場合、上述のある異常および上述の別の異常の一方の輝度情報が所定条件を満たすときには、上述のある異常および上述の別の異常の一方を、検出された異常から除外する。

なお、検出領域は、異常を含む矩形領域であって、異常検出部１２により特定される。

この実施の形態では、上述のある異常および上述の別の異常の一方は、点異常であって、上述のある異常および上述の別の異常の他方は、筋異常（または帯異常）である。つまり、検出された異常のうち、互いに重なっている点異常および筋異常（帯異常）に対して当該異常除外処理が実行される。

具体的には、異常除外処理部１３は、（ａ１）その輝度情報に基づいて、空間的な輝度変化分布を導出し、（ａ２）その輝度変化分布に基づいて、異常に対応する領域（ここでは、検出領域内において異常に外接する矩形領域）の検出を試み、（ａ３）その領域の検出結果が所定条件を満たし、かつ（ｂ）上述のある異常の種別と上述の別の異常の種別とが互いに異なる場合、上述のある異常および上述の別の異常の一方を、検出された異常から除外する。

なお、対象画像が所定の色空間に基づく色情報（例えばＲＧＢ色空間に基づくＲＧＢデータ）を含む場合、異常除外処理部１３は、その色空間の色座標（例えばＲ座標、Ｇ座標、およびＢ座標）ごとに、上述のある異常および上述の別の異常の一方の、当該色座標での輝度情報が所定条件を満たすか否かを判定し、（ａ）（いずれかの色座標で）その所定条件が成立し、かつ（ｂ）上述のある異常の種別と上述の別の異常の種別とが互いに異なる場合、上述のある異常および上述の別の異常の一方を、検出された異常から除外するようにしてもよい。

異常対応処理部１４は、検出された異常（除外された異常以外）についての所定の異常対応処理を実行する。つまり、除外された異常については、異常対応処理は実行されない。異常対応処理は、検出された各異常の報知（異常に対応する不具合箇所の特定やメンテナンスなどを行う作業者に対する、通信装置でのメッセージ送信や表示装置４でのメッセージ表示などによる報知）、検出された各異常について、その異常に対応する不具合箇所の特定、メンテナンス動作などである。

次に、図１に示す画像処理装置の動作について説明する。図４は、図１に示す画像処理装置の動作について説明するフローチャートである。

まず、対象画像取得部１１は、対象画像（画像データ）を取得する（ステップＳ１）。次に、異常検出部１２は、取得された対象画像に含まれている異常を検出し、検出した異常の特徴情報（位置およびサイズ情報、種別、異常度など）を生成しＲＡＭなどに記憶する（ステップＳ２）。

次に、異常除外処理部１３は、検出された異常から特定の異常を除外する異常除外処理を実行する（ステップＳ３）。

異常対応処理部１４は、検出された異常（除外された異常以外）についての所定の異常対応処理を実行する（ステップＳ４）。

ここで、ステップＳ３の異常除外処理について説明する。図５は、図２における異常除外処理（ステップＳ３）について説明するフローチャートである。図６は、図２における異常除外処理（ステップＳ３）の一例について説明する図である。

まず、異常除外処理部１３は、検出された異常のうち、異常（検出領域）の重なりがあるか否かを判定する（ステップＳ１１）。具体的には、異常除外処理部１３は、検出された異常を順番に選択し、上述の特徴情報に基づいて、選択した異常の検出領域の一部または全部が他のいずれかの異常の検出領域に重なっているか否かを判定し、これにより、重なりのある２つの異常（検出領域）の組を検出する。

そして、重なりのある２つの異常（検出領域）の組が検出されると、異常除外処理部１３は、その重なりのある２つの異常の種別が異なるか否かを判定する（ステップＳ１２）。

その重なりのある２つの異常の種別が異なると判定した場合、異常除外処理部１３は、その２つの異常のうち、少なくとも特定の種別の異常（ここでは、点異常）について、その異常の検出領域の輝度変化分布を導出する（ステップＳ１３）。

具体的には、異常除外処理部１３は、検出領域において、隣接する画素同士の画素値（輝度値）の差分を順番に計算して、輝度変化分布を導出する。

そして、異常除外処理部１３は、その輝度変化分布に基づいて輝度変化領域の検出を試みる（ステップＳ１４）。

具体的には、異常除外処理部１３は、輝度変化分布において、上述の差分の値（絶対値）が所定閾値以上である位置を特定し、その位置で囲まれる部分を異常と判定し、その部分の外接矩形を輝度変化領域として特定する。

ここで、異常除外処理部１３は、輝度変化領域の検出に成功した場合には（ステップＳ１５）、その輝度変化領域が所定条件を満たすか否かを判定する（ステップＳ１６）。

例えば、この所定条件は、輝度変化領域（矩形領域）の面積やアスペクト比が所定閾値より低いこととされる。

そして、異常除外処理部１３は、その輝度変化領域が所定条件を満たす場合には、対応する異常（ここでは、点異常）を除去する（ステップＳ１７）。

このようにして、検出された異常から特定の異常が除外される。なお、ステップＳ１１，Ｓ１２において異なる種別の異常の重なりが検出されなかった場合、ステップＳ１５において、輝度変化領域の検出に成功しなかったと判定された場合、およびステップＳ１６において、輝度変化領域が所定条件を満たさないと判定された場合には、上述の異常の除外は実行されない。

例えば図６に示すように、互いに重なっている点異常および筋異常について、点異常に対応する検出領域で輝度変化領域が検出されれば、その点異常は除去されないが、点異常に対応する検出領域で輝度変化領域が検出されなければ、その点異常は除去される。

以上のように、上記実施の形態によれば、異常検出部１２は、対象画像に含まれている異常を検出し、異常除外処理部１３は、検出された異常から特定の異常を除外する。そして、異常除外処理部１３は、検出された異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、上述のある異常の種別と上述の別の異常の種別とが互いに異なる場合、上述のある異常および上述の別の異常の一方の輝度情報が所定条件を満たすときには、上述のある異常および上述の別の異常の一方を、検出された異常から除外する。

これにより、検出された異常から偽異常が除外され、異常の検出精度が向上する。ひいては、異常対応処理に掛かる計算コストや処理時間などが抑制される。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

本発明は、例えば、異常検出に適用可能である。

１ 演算処理装置（コンピューターの一例）
１２ 異常検出部
１３ 異常除外処理部

Claims (7)

1. 対象画像に含まれている異常を検出する異常検出部と、
   検出された前記異常から特定の異常を除外する異常除外処理部とを備え、
   前記異常除外処理部は、検出された前記異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、前記ある異常の種別と前記別の異常の種別とが互いに異なる場合、前記ある異常および前記別の異常の一方の輝度情報が所定条件を満たすときには、前記ある異常および前記別の異常の一方を、検出された前記異常から除外すること、
   を特徴とする画像処理装置。
2. 前記異常除外処理部は、（ａ１）前記輝度情報に基づいて、空間的な輝度変化分布を導出し、（ａ２）前記輝度変化分布に基づいて、前記異常に対応する領域の検出を試み、（ａ３）前記領域の検出結果が前記所定条件を満たし、かつ（ｂ）前記ある異常の種別と前記別の異常の種別とが互いに異なる場合、前記ある異常および前記別の異常の一方を、検出された前記異常から除外することを特徴とする請求項１記載の画像処理装置。
3. 前記対象画像は、所定の色空間に基づく色情報を含み、
   前記異常除外処理部は、前記色空間の色座標ごとに、前記ある異常および前記別の異常の一方の、当該色座標での輝度情報が前記所定条件を満たすか否かを判定し、（ａ）前記所定条件が成立し、かつ（ｂ）前記ある異常の種別と前記別の異常の種別とが互いに異なる場合、前記ある異常および前記別の異常の一方を、検出された前記異常から除外すること、
   を特徴とする請求項１記載の画像処理装置。
4. 前記ある異常の種別および前記別の異常の種別の一方は、点異常であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. 前記異常検出部は、フィルターで前記異常を検出して前記異常の特徴情報を生成し、
   前記特徴情報は、前記異常の種別を含むこと、
   を特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
6. 対象画像に含まれている異常を検出する異常検出ステップと、
   検出された前記異常から特定の異常を除外する異常除外ステップとを備え、
   前記異常除外ステップでは、検出された前記異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、前記ある異常の種別と前記別の異常の種別とが互いに異なる場合、前記ある異常および前記別の異常の一方の輝度情報が所定条件を満たすときには、前記ある異常および前記別の異常の一方を、検出された前記異常から除外すること、
   を特徴とする画像処理方法。
7. コンピューターを、対象画像に含まれている異常を検出する異常検出部、および検出された前記異常から特定の異常を除外する異常除外処理部として機能させ、
   前記異常除外処理部は、検出された前記異常のうちのある異常の検出領域と別の異常の検出領域とが重なっており、前記ある異常の種別と前記別の異常の種別とが互いに異なる場合、前記ある異常および前記別の異常の一方の輝度情報が所定条件を満たすときには、前記ある異常および前記別の異常の一方を、検出された前記異常から除外すること、
   を特徴とする画像処理プログラム。

Images