JP2010154319A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】パンチ穴跡を有する画像において、パンチ穴跡を違和感なく修復する画像処理装置、画像処理方法、及びプログラムを提供することを課題とする。
【解決手段】本発明に係る画像処理装置は、入力画像に含まれるパンチ穴跡を除去する画像処理装置であって、入力画像からパンチ穴領域を検出するパンチ穴領域検出手段と、パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、当該周辺領域の領域種別を判定する領域種別判定手段と、判定された領域種別に基づいて、パンチ穴跡を修復するパンチ穴修復手段とを有することを特徴とする。
【選択図】図１１

Description

本発明は、パンチ穴跡を有する画像を処理する画像処理装置、画像処理方法、及びプログラムの分野に関する。

書類の整理などで、原稿にパンチ穴が加工されファイル等で綴じられることがある。このような原稿をスキャナで読み込んで電子化する場合、読み込まれた画像データの一部にパンチ穴の跡が黒く影のように含まれてしまう。このパンチ穴跡はユーザにとっては不要な情報であることが多く、例えばスキャン処理において自動的に違和感なく除去される事が望ましい。

このようなパンチ穴跡を除去する技術として、従来からパンチ穴の位置を判定して消去、中抜き、あるいはパンチ穴周囲の画素を利用した線形補間などの方法が提案されている。例えば、特許文献１には、パンチ穴パターンを予め記憶手段に格納しておき、原稿読み取りデータをこのパンチ穴パターンと照合してパンチ穴を判別し、パンチ穴の画像データを消去あるいは中抜きすることが記載されている。また、特許文献２には、変形したパンチ穴を検出できるように、多様なパンチ穴を判定（検出）して除去する方法が提案されている。
特許第３５１８６３９号 特開２００８−１０９３６１号公報

しかしながら、特許文献１に記載されるような、予め指定された範囲にパンチ穴があると想定して除去する方法では、パターンと全一致しない限りパンチ穴を判定する事が困難であり、原稿の使用などによりパンチ穴が変形してしまっている場合にはパンチ穴を正確に判定する事ができない。一方、特許文献２に記載されるような方法においては、特許文献１における問題に関して、パンチ穴が変形してしまっている場合にパンチ穴を正確に判定する事ができる。

しかしながら、これら従来技術は、パンチ穴の位置や領域を正確に判定することを主たる目的としたものであり、パンチ穴検知後、いかに違和感なくパンチ穴跡を除去するかについて重きをおいていない。特に絵柄上のパンチ穴、即ち例えば、ウェブページなどで頻用される壁紙（背景）やプレゼンテーション資料などテクスチャのある背景画像を有する紙原稿上のパンチ穴は、これらの方法で修復すると不自然な仕上がりとなり、場合によってはかえってパンチ穴の存在が目立ってしまうことがある。

そこで本発明では上記のような問題に鑑みて、画像修復技術のエッセンスを取り入れ、パンチ穴跡を有する画像において、パンチ穴跡を違和感なく修復する画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、入力画像に含まれるパンチ穴跡を除去する画像処理装置であって、前記入力画像からパンチ穴領域を検出するパンチ穴領域検出手段と、前記パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、当該周辺領域の領域種別を判定する領域種別判定手段と、判定された前記領域種別に基づいて、パンチ穴跡を修復するパンチ穴修復手段とを有する。

また上記課題を解決するため、前記画像処理装置において、前記領域種別判定手段は、前記周辺領域は、白地領域、ベタ領域、又は絵柄領域の何れの領域種別であるかを判定することを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記領域種別判定手段により前記領域種別は白地領域と判定されたとき、前記パンチ穴修復手段は、前記パンチ穴領域を白画素で補間して、パンチ穴跡を修復することを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記領域種別判定手段により前記領域種別はベタ領域と判定されたとき、前記パンチ穴修復手段は、前記パンチ穴領域を前記周辺領域と同一の画素で補間して、パンチ穴跡を修復することを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記領域種別判定手段により前記領域種別は絵柄領域と判定されたとき、前記パンチ穴修復手段は、前記入力画像を含む画像データ内から類似する画素パターンを探索し、前記パンチ穴領域を、前記探索された類似する画素パターンに基づく画素で補間して、パンチ穴跡を修復することを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記入力画像のパンチ穴領域に対応する一又は複数のパンチ穴パターン画像を蓄積した画像蓄積手段を有し、前記画像データは、前記画像蓄積手段により蓄積されたパンチ穴パターン画像を含むことを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記パンチ穴修復手段は、ピクセルベースの画素補間によりパンチ穴跡を修復することを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記パンチ穴修復手段は、パッチベースの画素補間によりパンチ穴跡を修復することを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記画像蓄積手段は、前記パンチ穴パターン画像において前記入力画像のパンチ穴領域に対応する領域が白地領域又はベタ領域である場合、当該パンチ穴パターン画像を蓄積しないことを特徴とする。

また上記課題を解決するため、前記画像処理装置において、前記パンチ穴修復手段は、前記画像データに含まれるパンチ穴パターン画像から優先して類似する画素パターンを探索することを特徴とする。

また上記課題を解決するため、本発明に係る画像処理方法は、入力画像に含まれるパンチ穴跡を除去する画像処理装置における画像処理方法であって、前記入力画像からパンチ穴領域を検出するパンチ穴領域検出手順と、前記パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、当該周辺領域は、白地領域、ベタ領域、又は絵柄領域の何れの領域種別であるかを判定する領域種別判定手順と、判定された前記領域種別に基づいて、パンチ穴跡を修復するパンチ穴修復手順とを有し、前記領域種別判定手順により前記領域種別は白地領域と判定されたとき、前記パンチ穴修復手順は、前記パンチ穴領域を白画素で補間してパンチ穴跡を修復し、前記領域種別判定手順により前記領域種別はベタ領域と判定されたとき、前記パンチ穴修復手順は、前記パンチ穴領域を前記周辺領域と同一の画素で補間してパンチ穴跡を修復し、前記領域種別判定手順により前記領域種別は絵柄領域と判定されたとき、前記パンチ穴修復手順は、前記入力画像を含む画像データ内から類似する画素パターンを探索し、前記パンチ穴領域を、前記探索された類似する画素パターンに基づく画素で補間してパンチ穴跡を修復することを特徴とする。

また上記課題を解決するため、前記画像処理方法をコンピュータに実行させるためのプログラムを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。

本発明によれば、パンチ穴跡を有する画像において、パンチ穴跡を違和感なく修復する画像処理装置、画像処理方法、及びプログラムを提供することができる。

以下、本発明を実施するための最良の形態を各実施形態において図面を用いて説明する。以下、画像処理装置に対して本発明を適用した実施形態を示す。

＜構成＞
（ハードウェア）
図１は、本発明による画像処理装置１のハードウェア構成の一例を示す図である。本実施形態に係る画像処理装置１は、入力画像から、パンチ穴領域を検出し、パンチ穴の跡を修復する画像処理装置である。具体的に、画像処理装置１は、画像入力部１１、画像出力部１２、ＣＰＵ１３、Ｉ／Ｏ回路１４、ＲＯＭ１５、ＲＡＭ１６、及びＨＤＤ１７を有する構成である。

画像入力部１２は、画像入力を行なうもので、例えば、スキャナ、複写機、複合機等の画像機器における画像読み取り部に相当する。また、外部で読み取られた原稿の画像データをメディア（記録媒体）やネットワーク経由で入力することもできる。

ＣＰＵ１３、Ｉ／Ｏ回路１４、ＲＯＭ１５、ＲＡＭ１６、及びＨＤＤ１７は、バスラインを介して相互に通信可能に接続された構成になっている。ＲＯＭ１５は、画像処理装置１が起動されるときに実行されるプログラムや各種データを格納している。ＲＡＭ１６は、ＲＯＭ１５やＨＤＤ１７から読み出された各種プログラムやデータを一時保持する。更に、ＣＰＵ１３は、演算処理を含む本画像処理装置全体の処理の制御を行うとともにＲＡＭ１６が一時保持しているプログラムを実行する。Ｉ／Ｏ回路１４は、画像データ入力部及び画像出力部を含む周辺機器との入出力を管理する。ＨＤＤ１７は、ＣＰＵ１３による制御の下に処理された画像データや外部から取り込んだ画像データを記憶する。

画像出力部１２は、プリンタやディスプレイなどの出力装置とその制御手段によって構成され、画像処理装置１による処理によってパンチ穴跡が修復された画像データを印刷出力したり表示画面上に表示出力したりする。またネットワーク経由で外部への出力を含む。

なお、例えばプリンタ、コピーおよびスキャナなどの複数の機能を一つの筐体内に収納した画像形成装置（複合機）に本発明を適用することも可能である。この場合、例えばパンチ穴が加工された原稿を画像形成装置のスキャナで読み込み、電子化された画像に対して本発明に係る処理がなされた後、パンチ穴の跡が違和感なく除去された形で画像プリントを行うことができる。

（機能）
図２は、本発明による画像処理装置１の一実施形態の主要機能を示す機能ブロック図である。画像処理装置１は、入力画像から、パンチ穴領域を検出し、パンチ穴周辺の画像を解析してパンチ穴の跡を修復する画像処理装置であり、以下のような構成を有する。即ち、画像処理装置１は、主要な機能として、パンチ穴領域検出部２０１、領域種別判定部２０２、及びパンチ穴修復部２０３を含む構成である。

パンチ穴領域検出部２０１は、入力画像からパンチ穴領域を検出する機能を有している。まず処理となる画像領域と特定するためである。

領域種別判定部２０２は、パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、当該周辺領域の領域種別を判定する機能を有している。具体的には、周辺領域が、白地領域、ベタ領域、又は絵柄領域の何れの領域種別であるかを判定する。つまり、パンチ穴の位置を検出して、その周辺の画像が白地、ベタ、絵柄の何れにあてはまるかを解析（判定）し、周辺画像の性質にあった適切な方法で、パンチ穴領域の欠損を補間するためである。なお、ここでいうベタ領域とは、ある一色（白色除く）のみで塗られている領域をいう。

パンチ穴修復部２０３は、判定された前記領域種別に基づいて、パンチ穴跡を修復する機能を有している。具体的には、領域種別判定部２０２において、白地領域、ベタ領域、又は絵柄領域の何れの領域種別であるかを判定されるが、パンチ穴修復部２０３は、その領域種別に応じたパンチ穴を修復する手法を決定してパンチ穴跡を修復する。例えば、白地領域に対してはパンチ穴領域を白画素値で補間し、ベタ領域に対してはパンチ穴領域を周辺領域と同一の画素値で補間する。また、絵柄領域に対しては、周辺領域内の絵柄に合わせて違和感のないようにパンチ穴領域を修復する。

このように本発明による画像処理装置１はパンチ穴跡を修復するための機能を有するものである。以下、具体的に詳しく説明を行う。なお上記これらの機能は実際にはＣＰＵ１３が実行するプログラムにより実現されるものである。

＜動作＞
図３は、画像処理装置１の処理を説明するフローチャートである。画像処理装置１は、まず画像内のパンチ穴領域を検出し（ステップＳ３０１）、検出されたパンチ穴領域の周辺の画像を解析する（ステップＳ３０２）。そして、解析された結果に基づいて修復手段を決定し（ステップＳ３０３）、その修復手段によってパンチ穴跡を修復する（ステップＳ３０４）。以下、ステップ毎に説明する。

ステップＳ３０１において、パンチ穴領域検出部２０１は、パンチ穴領域を検出する。パンチ穴領域検出方法としては、従来から様々な手法が提案されている。前述の特許文献１や特許文献２の他にも例えば、特開２００８−１０９３６１に記載される発明においては、まず、２値画像についてノイズ除去の手法を使って孤立した領域をパンチ穴領域候補として検出する。その後、パンチ穴候補の外接矩形のサイズと予め設定された（除去すべき）パンチ穴サイズとを比較し、パンチ穴サイズと合致すればパンチ穴として判定する。更に、パンチ穴候補を検出する際、画像の端から所定距離以上離れ、かつ、この所定距離から所定幅以内の領域を探索範囲とするなど、探索範囲を決めておくことで高速化を図ることも可能である。なお、パンチ穴の検出方法は上記手法に限られるものではないが、例えばいずれかの手法によりパンチ穴領域が検出されればよい。

ステップＳ３０２において、領域種別判定部２０２は、パンチ穴領域の周辺画像の解析及び領域種別の判定を行う。画像解析手法は問わないが、本ステップでは、パンチ穴領域の周辺領域が、白地領域、ベタ領域、又は絵柄領域のいずれかの判定に足る解析結果が得られれば良い。一例としてこの判定を行うための簡易な手法について説明すると、周辺領域内において、画素値のバラツキが所定の閾値以上である場合を絵柄領域とする。一方、所定の閾値未満の場合は、周辺領域内の画素値の白画素の割合を調べ、一定閾値以上の場合を白地領域と判定し、一定閾値未満の場合を色地のベタ領域と判定することができる。

なお、ここでは周囲に存在する一画素（値）のみによって単純に補間できる領域種別として、白地領域及びベタ領域を取り上げている。一方、周辺画像の画像パターンを解析しないとうまくパンチ穴領域を補間できない領域として絵柄領域を挙げている。このように、処理の複雑化を避け簡単な処理でもって好適な結果が得られるものという観点からの領域種別がなされている。なお、領域種別判定の際、対象画像（パンチ穴を有する原稿画像）を考慮するとパンチ穴の周辺は白地である可能性が最も高いので、まず白地領域か否かを判定し、判定が否であれば、ベタ領域か否かを判定し、更に判定が否であれば絵柄領域か否かを判定する多段階のステップを踏むことで処理の効率化を図ることができる。

ステップＳ３０３において、パンチ穴修復部２０３は、修復手段の決定を行なう。ステップＳ３０２で、パンチ穴領域の周辺領域が、白地領域、ベタ領域、又は絵柄領域のいずれかに判定されているので、この判定結果に応じて適切な修復手段の決定がなされる。具体的に、周辺領域が白地領域と判定された場合、パンチ穴領域（又はパンチ穴の跡自体）を白画素（値）で補間することでパンチ穴の跡を修復（除去）することができる。周辺領域がベタ領域と判定された場合、パンチ穴領域（又はパンチ穴の跡自体）を周辺領域の画素値（値）でもって一律に補間することでパンチ穴の跡を修復（除去）することができる。周辺領域が絵柄領域と判定された場合、単純に周辺領域における一画素でもって補間することができないので相応の修復手段を行うが、これについて詳細は後述する。いずれにしてもこのように判定結果に応じて修復手段の決定が行なわれる。そしてステップＳ３０４において、パンチ穴修復部２０３は、決定された修復手段によってパンチ穴跡の修復を行なう。

ここで、周辺領域が絵柄領域と判定された場合、中抜きや単純な線形補間ではパンチ穴は除去されるものの、周囲の画像との不連続性のためにかえってパンチ穴の領域が目立ってしまうなどの不自然な仕上がりとなる。そこで、本発明による画像処理装置１においては、同一画像内又は蓄積画像データ内から尤もらしいパターン（パターン画像）を探索し、探索されたパターン画像に基づいてパンチ穴跡を補間することで、画像の連続性が保たれるようにし元データに近い自然な修復が可能となる。以下、説明していく。

（周辺領域が絵柄領域の場合のパンチ穴修復）
周辺領域が絵柄領域である場合（絵柄領域であると判定された場合）、上述の白地領域又はベタ領域と判定された場合と異なり単純に周辺領域における一画素でもって補間することができない。従って、パンチ穴跡が絵柄領域上に含まれる場合、パンチ穴の跡を目立たなくするためには、パンチ穴周囲の画素（値）から推定して尤もらしい画像でパンチ穴跡を補間することが望ましい。近年、画像内の不要部分（以下、欠損領域ともいう）を取り除き、取り除かれた領域を自動的に違和感なく修復することで画像の利用価値を高める、画像修復に関する研究が盛んに行われており、これらの技術を適用することでパンチ穴跡の存在を違和感なく除去することができる。

本発明による画像処理装置１においては、入力画像、即ちパンチ穴跡画像内（同一画像内）から尤もらしいパターン（パターン画像）を探索し、パターン画像に基づいてパンチ穴跡を補間することで、画像の連続性が保たれるようにし元データに近い自然な修復が可能となる。

具体的に、代表的な画像修復方法について述べる。
（１）拡散方程式を用いて輝度値を滑らかに補間する方法
拡散方程式を用いて画素の輝度値を欠損領域の境界から内側へ徐々に伝播させることで欠損領域を滑らかに補間する方法である。この方法では、輝度値の連続性は保たれるという特徴から、写真についた引っかき傷のような細い領域に対しては良好な結果を得ることができ、また大域的構造や大きなエッジ勾配に強いというメリットがあるが、大きな領域を修復した場合に細かいテクスチャが表現できず、不鮮明な画像が生成されるという問題がある。
（２）特徴空間を用いて補間する方法
画像データからあるウィンドウサイズに設定された複数の局所領域を学習サンプル列として切り出し、サンプル列に基づいて生成される画像ベクトル列の交差行列に関し固有ベクトルを作成することで、対象画像から画像的なルールを抽出する。その後、このルールに基づいて欠損領域を一部に含むようなウィンドウごとに欠損を修復していく。この際、始めに設定されるウィンドウサイズは画像サイズよりも十分小さい必要があり、欠損領域がウィンドウサイズと比べて大きい場合に復元することができない。また、画像の自己相関性が強くなければ良好な結果が得られない。
（３）Texture Synthesis
欠損領域以外の画像内の領域から欠損領域の境界のテクスチャパターンと類似する部分を探索し、最も類似したテクスチャで逐次欠損領域に合成するため、入力サンプル画像の特徴を再現した任意の大きさのテクスチャ画像を合成可能である。この手法では、細かいテクスチャまで表現可能であり高品位な修復画像を得るが、テクスチャを欠損領域の境界から内側へ逐次的に合成するというアプローチをとるため、最終的に生成される画像の品質がテクスチャの合成順に依存し、不連続なテクスチャが生じやすいという問題がある。
（４）パターン類似度に用いたエネルギー最小化に基づく画像修復
図４は、パターン類似度に用いたエネルギー最小化に基づく画像修復を説明する図である。図に示されるように、画像上において、ある大きさのウィンドウ（矩形領域）を設定し、内部に欠損領域Ωが含まれるようなウィンドウxの中心の動く範囲をΩ'とする。次に、画像内におけるΩ'以外の領域Ф（データ領域という）に中心を持つウィンドウx^（従ってこのウィンドウ内には欠損部は含まれない）とのパターン類似度を算出し、このパターン類似度の重み付き総和として定義されるエネルギー関数が最小となるようなパターン位置を探索する。

パターン類似度としてＳＤＤ(Sum of Squared Differences)を用いる。図５は、ＳＳＤを示す式である。ここで、I(x)はxの画素値を意味する。

また、図６は、エネルギー関数をパターン類似度ＳＳＤの重み付き総和で定義する式である。ここで、W_xはＳＳＤの信頼度を反映するためのウェイトである。欠損領域Ω内にウィンドウの中心がある場合には、比較元のウィンドウの中心付近は仮の画素値であり、得られるＳＤＤの信頼度は低いといえ、逆にΩ'∩Ω(NOT)内にウィンドウの中心がある場合、そのウィンドウの中心付近の画素値は固定値であるためＳＳＤの信頼度は高いといえる。ウェイトW_xは各領域について以下のように定められる（dはΩの境界からの距離、cは定数とする）。
領域Ω'∩Ω(NOT)：中心画素周辺の値が固定値となるためW_x=1する。
欠損領域Ω：境界に近いほど画素値の信頼度が高くなるようにW_x=ｃ^-dとする。
なお、Ω(NOT)との表記は、「Ωでない領域」を便宜上表記したものである。

図７は、x^を決定する式である。つまり、エネルギーE_orgを最小化するxは、各x∈Ω'に対し図７のように決定すれよい。

エネルギー最小化の過程では、具体的には以下の処理をエネルギーが収束するまで繰り返すことで、画像全体のエネルギーを最小化する。
（ａ）図７の式によって求まる類似パターンの組(x, x^)を固定した上で、欠損領域内の画素値を並列に更新する。
（ｂ）各画素に対する類似パターン位置x^を更新する
図８は、エネルギー最小化に基づく画像修復を説明するフローチャートである。

ステップＳ８０１において、何らかの方法を用いて、欠損領域（図３、Ｓ３０１で検出されたパンチ穴領域）に初期値となる画素値を与える。

ステップＳ８０２において、エネルギー関数を最小化することで、欠損領域の修復を行う。

ステップＳ８０３において、エネルギーが収束したか否かの判定を行う。収束した場合は処理を終了し、収束しない場合は再びステップＳ８０２に進みエネルギーが収束するまで繰り返す。

なお、上述したアルゴリズムは、探索の各時点で目的関数を最小にするように画素値を更新していくという、いわゆる貪欲法（Greedy Algorithm）の枠組を用いている。しかしながら、これによって最適解が得られるのは、問題に特殊な性質（例えば、線形計画）がある場合のみであり、局所解に陥る危険性は否めない。これらの回避策として、例えば処理対象画像に対していくつかの解像度で繰り返し修復処理を行う粗密法が提案されている。これは、始めは原画像を縮小した画像に対してエネルギー最小化処理を行い、それを初期値として順次解像度を高くしながらエネルギーの最小化処理を行う多重スケール処理である。更に、データ領域の全範囲を対象に毎回前探索を行うことは処理負荷が大きいため、最類似パターンの位置の候補になり得る類似度の高いパターン位置をリスト化し、リスト内のみを対象として最類似パターンを探索することで高速化を図ることが可能である。

（参考文献）
（１）M.Bertalmio, G. Sapiro, V. Caselles and C. Ballester: "Image Inpainting", In Proc, SIGGRAPH2000, pp.417-424, 2000.
（２）天野敏之, 佐藤幸男: " 固有空間法を用いたＢＰＬＰによる画像補間" , 電子情報通信学会論文誌, Vol. J85-D-2, No.3, 2003.
（３）Criminisi, P. Perez and K. Toyama: "Region Filling and Object Removal by Exemplar-Based Image Inpainting", IEEE Trance, on Image Processing, Vol.13, No.9, 2004.
（４）河合紀彦, 佐藤智和, 横谷直和（奈良先端科学技術大学大学院大学）："パターン類似度に基づくエネルギー最小化による画像修復", 電子情報通信学会 技術研究報告, PRMU2006-106, Dec. 2006
＜変形例＞
本変形例においては、上述したような入力画像、即ちパンチ穴跡画像内から尤もらしいパターン（パターン画像）を探索するのではなく、パンチ穴画像パターンの蓄積しておき、蓄積画像データ内から尤もらしいパターン（パターン画像）の探索を行う。
（パンチ穴画像パターンの蓄積）
予め対象文書に対して、1つ又は複数パターンのパンチ穴画像パターンをＤＢ（Data Base）内に蓄積しておき、再びその画像がパンチ穴の開けられた原稿として入力された際に、ＤＢ内のデータを利用してパンチ穴跡を高速かつ高精度に修復する処理について説明する。

上記ＤＢには、パンチ穴パターン画像が蓄積（格納）されている。パンチ穴パターン画像とは、予め定められた位置（パンチ穴が想定される位置）に対応する領域の画像データである。入力画像とパンチ穴パターン画像との類似度を判定するために、本来のパンチ穴径よりも大きい面積の画像データを格納しておくとよい。さらにＤＢには、多種多様なパンチ穴を想定し、複数のパンチ穴パターン画像が格納されているようにすることもできる。例えば、複数の穴が開けられる形式を想定して穴間隔情報と共に複数の画像をペアで格納してもよいし、当該画像のパンチ穴が空けられる可能性のある全ての方向に対応するパンチ穴パターン画像を蓄積してもよい。

このパンチ穴パターン画像は、入力画像（パンチ穴あり）のいわばオリジナル画像（パンチ穴なし）から作成される。帳票や頻繁に使用されるような原稿であれば、予めその原稿（フォーマット）を画像化したものに基づいてパンチ穴パターン画像を作成する。また、画像処理装置１はスキャナ機能やプリント機能を備えるように構成し、原稿をプリントする際に出力される原稿画像を取得し、その原稿画像に基づいてパンチ穴パターン画像を作成する。出力された原稿（紙）はパンチ穴が空けられた後、再度電子化され入力画像（パンチ穴跡あり）になる可能性があるからである。

なお、パンチ穴パターン画像を蓄積する際に、推定されるパンチ穴位置の周辺領域が白地又はベタ画像である場合、パンチ穴パターン画像を蓄積しないようにする。即ち、推定されるパンチ穴位置の周辺領域が絵柄領域の場合のみ、パンチ穴パターン画像の蓄積を行う。白地領域やベタ領域の補間によるパンチ穴除去や線形補間によるパンチ穴修復で対応可能な場合は、パンチ穴画像を保持しないことによりデータ容量の削減を図ると共に、探索時の高速化を図ることができるからである。

パンチ穴跡の修復時には、ＤＢに蓄積されたパンチ穴パターン画像を参照して最類似パターンを探索する。探索方法としては、パンチ穴跡の周辺領域と、ＤＢのパンチ穴パターン画像上の対応位置の画素データについて、パターン類似度を算出し探索する。具体的には、入力画像（修復対象画像）から取得されたパンチ穴領域内のパンチ穴及びパンチ穴周辺（領域）画素の相対位置と、ＤＢのパンチ穴パターン画像から取得されたパンチ穴とパンチ穴周辺（領域）画素の相対位置とに基づいて画素の比較を行い、パンチ穴周辺領域のパターン類似度を算出する。

パターン類似度には、前述の各画素値に対する差分の２乗和を計算するＳＳＤ、絶対値の和を算出するＳＡＤ（Sum of Absolute Difference）や照明変化にも対応できるように正規化相関を用いるＮＣＣ（Normalized Cross-Correlation）などが挙げられ、これら従来より知られる尺度の中で適切なものを選択する。

図９は、ＤＢから修正パッチを選択してパンチ穴跡を修復する処理を説明するフローチャートである。

ステップＳ９０１において、Ｍに初期値を設定（セット）する。Ｍは、類似度を表す値で、予めある程度の類似度が期待できる値を初期値としておく。

ステップＳ９０２で、ＤＢから、１つ未処理のパンチ穴パターン画像を取得する。

ステップＳ９０３で、取得されたパンチ穴周辺領域画像と、パンチ穴パターン画像上の対応位置画像とのパターン類似度（ＳＤＤ）を算出する。

ステップＳ９０４で、ＳＤＤ＜Ｍ？の判定を行う。なお、ＳＤＤ及びＭの値は小さい方が類似度が高いものとする。ＳＤＤ＜Ｍである場合は、ステップＳ９０５に進み、ＳＤＤ＜Ｍでない場合は、ステップＳ９０６に進む。

ステップＳ９０５で、ＳＤＤの値をＭに代入する。初期値より類似度の高い値が見つかったためであり、ＤＢから最も類似度の高いパンチ穴パターン画像を見つけるため、次以降のパンチ穴パターン画像のＳＤＤとの比較で用いられる。また、当該パンチ穴パターン画像（現在処理中のパンチ穴パターン画像）を、最も類似度が高いパンチ穴パターン画像であるとして、暫定的に修正パッチ（パンチ穴跡修復に用いるパンチ穴パターン）としておく。

ステップＳ９０６で、ＤＢに未処理のパンチ穴パターン画像があるか否か判定する。ある場合には、次の未処理のパンチ穴パターン画像を処理するため、再びステップＳＳ９０２に進む。ない場合は、全てパンチ穴パターン画像について類似度を算出し、最も類似度の高いパンチ穴パターン画像が、修正パッチとして決定されている（ステップＳ９０５）。

ステップＳ９０７で、決定された修正パッチを用いてパンチ穴跡を修復する。ここで、これらの画像修復における貼り付け（修復）手法の類別として、ピクセルごとに欠損領域に貼り付けていくピクセルベースの手法と、修復のためのパッチを用意して、パッチごとに欠損領域に貼り付けていく手法が存在する。

ピクセルベースの場合、ある大きさのウィンドウを設定し、欠損領域内を、ウィンドウを動かしながら、データ領域から類似パターンを探索し、ピクセル毎に画素を貼り付けていく。長所として、局所的な変形をアルゴリズムに自然に組み込める。一方、短所としては、構造がぼけやすく、更に繰り返しリサンプリングを行う事で画質が劣化することがある。従って、いかにぼけをなくすかが課題となる。また、欠損領域の１画素１画素について探索を行うため処理に時間がかかる。

パッチベースの場合、類似する領域を探索し、類似領域（パッチ）を欠損領域に一気に貼り付ける。長所としては、一般にピクセルベースの画像修復方法よりも空間的コヒーレンスを保持できるという点で良好な処理結果が得られる。また、パッチを一気に貼り付けるので高速に処理を行うことができる。一方、短所としては、類似パターンが存在しない場合、違和感のあるパッチで補間されてしまう可能性がある。また、張り合わされたパッチの境界で不連続が発生するため、不連続を解消するような処理が別途必要である。ピクセルベースの画像修復方法とパッチベースの画像修復方法とではそれぞれこのような特徴があり、画像データや処理負荷を考慮して、適宜修復処理方法を選択する。

なお、ピクセルベースで画像を修復する場合、反復処理が必要であり、パッチベースに比べて処理に時間がかかってしまうため、予め蓄積されているパンチ穴パターン画像の中から修正パッチを見つけて修復を行う方が、処理時間の低減が見込まれる。そこで、まずＤＢのパンチ穴パターン画像を探索し、修正パッチを探索する方式を優先的に適用してもよい。この場合、図９に示した処理において、予め閾値（例えば、Ｔｈ）を定めておき、最終的にこの閾値より高い類似度を示すＭの値が得られれば、得られた修正パッチで画像修復を実行する。一方、得られなければ、入力画像（同一画像）内から類似パターンを探索する。このように場合に応じて、最適な処理を選択することができる。図１０は、ＤＢ内から修正パッチを優先的に探索する処理を説明するフローチャートである。

ステップＳ１００１において、ＤＢから最類似パンチ穴パターン画像を選択する。

ステップＳ１００２で、Ｍ＜Ｔｈであるかの判定を行う。つまり、得られた修正パッチに関するパターン類似度（Ｍ）を閾値（Ｔｈ）と比較する。

ステップＳ１００３で、Ｍ＜Ｔｈであれば、閾値（Ｔｈ）を満たす類似度を有するパンチ穴パターン画像が選択されているので、選択されたパンチ穴パターン画像を修正パッチとしてパンチ穴跡を修復する。

一方、ステップＳ１００４で、この場合、閾値（Ｔｈ）を満たす類似度を有するパンチ穴パターン画像が選択されていないので、ＤＢに蓄積されたパンチ穴パターン画像の利用を中止し、入力画像（同一画像）内から類似パターンを探索する。そして入力画像（同一画像）内から探索されたパターンに基づいてパンチ穴跡を修復する。

図１１は、絵柄領域におけるパンチ穴跡修復を示す図の一例である。パンチ穴跡が画像修復処理により除去（修復）されている様子がわかる。

以上、このように本発明に係る画像処理装置１は、パンチ穴跡の周辺領域の種別に基づいて最適な画像修復手法を採用しパンチ穴跡の除去（修復）を行うので、パンチ穴跡を違和感なく修復することができる。即ち、本発明によれば、パンチ穴跡を有する画像において、パンチ穴跡を違和感なく修復する画像処理装置、画像処理方法、及びプログラムを提供することができる。

なお、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明による画像処理装置１のハードウェア構成の一例を示す図である。 本発明による画像処理装置１の一実施形態の主要機能を示す機能ブロック図である。 画像処理装置１の処理を説明するフローチャートである。 パターン類似度に用いたエネルギー最小化に基づく画像修復を説明する図である。 ＳＳＤを示す式である。 エネルギー関数をパターン類似度ＳＳＤの重み付き総和で定義する式である。 x^を決定する式である。 エネルギー最小化に基づく画像修復を説明するフローチャートである。 ＤＢから修正パッチを選択してパンチ穴跡を修復する処理を説明するフローチャートである。 ＤＢ内から修正パッチを優先的に探索する処理を説明するフローチャートである。 パンチ穴跡修復を示す図の一例である。

符号の説明

１ 画像処理装置
１１ 画像入力部
１２ 画像出力部
１３ ＣＰＵ
１４ Ｉ／Ｏ回路
１５ ＲＯＭ
１６ ＲＡＭ
１７ ＨＤＤ
２０１ パンチ穴領域検出部
２０２ 領域種別判定部
２０３ パンチ穴修復部

Claims (12)

1. 入力画像に含まれるパンチ穴跡を除去する画像処理装置であって、
   前記入力画像からパンチ穴領域を検出するパンチ穴領域検出手段と、
   前記パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、当該周辺領域の領域種別を判定する領域種別判定手段と、
   判定された前記領域種別に基づいて、パンチ穴跡を修復するパンチ穴修復手段と、
   を有することを特徴とする画像処理装置。
2. 前記領域種別判定手段は、前記周辺領域は、白地領域、ベタ領域、又は絵柄領域の何れの領域種別であるかを判定すること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記領域種別判定手段により前記領域種別は白地領域と判定されたとき、
   前記パンチ穴修復手段は、前記パンチ穴領域を白画素で補間して、パンチ穴跡を修復すること、
   を特徴とする請求項２に記載の画像処理装置。
4. 前記領域種別判定手段により前記領域種別はベタ領域と判定されたとき、
   前記パンチ穴修復手段は、前記パンチ穴領域を前記周辺領域と同一の画素で補間して、パンチ穴跡を修復すること、
   を特徴とする請求項２又は３に記載の画像処理装置。
5. 前記領域種別判定手段により前記領域種別は絵柄領域と判定されたとき、
   前記パンチ穴修復手段は、前記入力画像を含む画像データ内から類似する画素パターンを探索し、前記パンチ穴領域を、前記探索された類似する画素パターンに基づく画素で補間して、パンチ穴跡を修復すること、
   を特徴とする請求項２ないし４何れか一項に記載の画像処理装置。
6. 前記入力画像のパンチ穴領域に対応する一又は複数のパンチ穴パターン画像を蓄積した画像蓄積手段を有し、
   前記画像データは、前記画像蓄積手段により蓄積されたパンチ穴パターン画像を含むこと、
   を特徴とする請求項５に記載の画像処理装置。
7. 前記パンチ穴修復手段は、ピクセルベースの画素補間によりパンチ穴跡を修復すること、
   を特徴とする請求項６に記載の画像処理装置。
8. 前記パンチ穴修復手段は、パッチベースの画素補間によりパンチ穴跡を修復すること、
   を特徴とする請求項６に記載の画像処理装置。
9. 前記画像蓄積手段は、前記パンチ穴パターン画像において前記入力画像のパンチ穴領域に対応する領域が白地領域又はベタ領域である場合、当該パンチ穴パターン画像を蓄積しないこと、
   を特徴とする請求項６ないし８何れか一項に記載の画像処理装置。
10. 前記パンチ穴修復手段は、前記画像データに含まれるパンチ穴パターン画像から優先して類似する画素パターンを探索すること、
    を特徴とする請求項６または９に記載の画像処理装置
11. 入力画像に含まれるパンチ穴跡を除去する画像処理装置における画像処理方法であって、
    前記入力画像からパンチ穴領域を検出するパンチ穴領域検出手順と、
    前記パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、当該周辺領域は、白地領域、ベタ領域、又は絵柄領域の何れの領域種別であるかを判定する領域種別判定手順と、
    判定された前記領域種別に基づいて、パンチ穴跡を修復するパンチ穴修復手順とを有し、
    前記領域種別判定手順により前記領域種別は白地領域と判定されたとき、前記パンチ穴修復手順は、前記パンチ穴領域を白画素で補間してパンチ穴跡を修復し、
    前記領域種別判定手順により前記領域種別はベタ領域と判定されたとき、前記パンチ穴修復手順は、前記パンチ穴領域を前記周辺領域と同一の画素で補間してパンチ穴跡を修復し、
    前記領域種別判定手順により前記領域種別は絵柄領域と判定されたとき、前記パンチ穴修復手順は、前記入力画像を含む画像データ内から類似する画素パターンを探索し、前記パンチ穴領域を、前記探索された類似する画素パターンに基づく画素で補間してパンチ穴跡を修復すること、
    を特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。