JP5387193B2 - 画像処理システム、画像処理装置およびプログラム - Google Patents

Description

本発明は、画像処理システム、画像処理装置およびプログラムに関する。

特許文献１には、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、当該小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、前記領域分割手段によって分割され差分計算が必要と判定された前記小領域に対して差分計算を行う画像差分手段と、前記画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、を有することを特徴とする加筆抽出装置が開示されている。

また、特許文献２には、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置において、前記加筆重畳画像を入力する加筆重畳画像入力手段と、前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別手段と、この第一領域識別手段で識別した領域識別情報に基づき、前記加筆重畳画像入力手段から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別手段と、この第二領域識別手段により識別された各々の領域と前記第一領域識別手段により識別された各々の領域とについてのそれぞれの位置ずれ量の検出を行う画像位置検出手段と、この画像位置検出手段によって検出した位置ずれ量に基づいて位置を補正して差分処理を行う画像差分処理手段と、を備えることを特徴とする加筆画像抽出装置が開示されている。

また、特許文献３には、電子文書ファイルと、当該電子文書ファイルを印刷した印刷物上に加筆された記載箇所を読み取った画像データを保存する文書ファイリング装置であって、前記電子文書ファイルを第１の画像データとして画像化する文書画像化手段と、前記記載箇所が加筆された状態の前記印刷物を第２の画像データとして読み取る画像読み取り手段と、前記文書画像化手段により画像化された前記第１の画像データ中の黒画素に対して膨張処理を施す膨張処理手段と、前記膨張処理手段によって膨張処理された前記第１の画像データの画素と、前記第２の画像データの画素を画素単位で一致判別することにより加筆された前記記載箇所である差分画像データを抽出する差分画像抽出手段と、を備えたことを特徴とする文書ファイリング装置が開示されている。

さらに、特許文献４には、追記が行われる前の第１原稿の画像と追記が行われた後の第２原稿の画像との位置合わせを原稿全体に対して行う第１位置合わせ手段と、前記第１位置合わせ手段によって位置合わせが行われた第１原稿の画像と第２原稿の画像とを比較することによって差分情報を抽出する第１抽出手段と、前記第１抽出手段によって抽出された差分情報を基に第１原稿の画像と第２原稿の画像との位置合わせを局所的に行う第２位置合わせ手段と、前記第２位置合わせ手段によって位置合わせが行われた第１原稿の画像と第２原稿の画像とを比較することによって当該第２原稿の画像から追記情報を抽出する第２抽出手段とを備えることを特徴とする画像処理装置が開示されている。

特開２００４−２１３２３０号公報 特開２００４−２８７６８２号公報 特開２００４−３４１９１４号公報 特開２００７−２４１３５６号公報

本発明は、追記された画像および消去された画像（以下、「修正画像」という。）を抽出するべく修正前原稿と修正後原稿との差分演算を実行するに先立って実行される画像膨張処理における膨張量を高精度で決定することのできる画像処理システム、画像処理装置およびプログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像処理システムは、複数の基準画像が設けられた基準媒体の前記複数の基準画像が設けられている領域の画像を読み取る読取手段、および前記読取手段による読み取りによって得られた画像情報と自身の装置を識別するための識別情報とを送信する送信手段を備えた画像読取装置と、前記送信手段によって送信された前記画像情報と前記識別情報とを受信する受信手段、前記基準媒体の前記複数の基準画像の各々の位置を示す位置情報を取得する取得手段、前記受信手段によって受信された画像情報により示される前記基準画像の位置および前記取得手段によって取得された位置情報により示される前記基準画像の位置の対応する前記基準画像同士の位置のずれ量の総和が最小となるように予め定められた共通の補正係数を用いて対応する前記基準画像の位置合わせを行う位置合わせ処理を実行した後の前記対応する基準画像同士の位置のずれ量の総和が多くなるほど多くなるように、前記読取手段による読み取りによって得られる画像情報に対する画像膨張処理の膨張量を決定する決定手段、および前記受信手段によって受信された識別情報が記憶手段に記憶されていない場合、前記記憶手段に前記決定手段によって決定された膨張量を示す情報と前記受信手段によって受信された識別情報とを関連付けて記憶する制御を行い、前記受信手段によって受信された識別情報が前記記憶手段に記憶されている場合で、かつ前記決定手段によって決定された膨張量が、当該識別情報に関連付けられて前記記憶手段に記憶されている情報により示される膨張量より多い場合、当該膨張量を示す情報を前記決定手段によって決定された膨張量を示す情報に更新する制御を行う制御手段を備えた画像処理装置と、を有している。

また、上記目的を達成するために、請求項２に記載の画像処理装置は、画像読取装置によって送信された、複数の基準画像が設けられた基準媒体の前記複数の基準画像が設けられている領域の前記画像読取装置による画像の読み取りによって得られた画像情報と前記画像読取装置を識別するための識別情報とを受信する受信手段と、前記基準媒体の前記複数の基準画像の各々の位置を示す位置情報を取得する取得手段と、前記受信手段によって受信された画像情報により示される前記基準画像の位置および前記取得手段によって取得された位置情報により示される前記基準画像の位置の対応する前記基準画像同士の位置のずれ量の総和が最小となるように予め定められた共通の補正係数を用いて対応する前記基準画像の位置合わせを行う位置合わせ処理を実行した後の前記対応する基準画像同士の位置のずれ量の総和が多くなるほど多くなるように、前記画像読取装置による読み取りによって得られる画像情報に対する画像膨張処理の膨張量を決定する決定手段と、前記受信手段によって受信された識別情報が記憶手段に記憶されていない場合、前記記憶手段に前記決定手段によって決定された膨張量を示す情報と前記受信手段によって受信された識別情報とを関連付けて記憶する制御を行い、前記受信手段によって受信された識別情報が前記記憶手段に記憶されている場合で、かつ前記決定手段によって決定された膨張量が、当該識別情報に関連付けられて前記記憶手段に記憶されている情報により示される膨張量より多い場合、当該膨張量を示す情報を前記決定手段によって決定された膨張量を示す情報に更新する制御を行う制御手段と、を備えている。

さらに、上記目的を達成するために、請求項３に記載のプログラムは、コンピュータを、画像読取装置によって送信された、複数の基準画像が設けられた基準媒体の前記複数の基準画像が設けられている領域の前記画像読取装置による画像の読み取りによって得られた画像情報と前記画像読取装置を識別するための識別情報とを受信する受信手段と、前記基準媒体の前記複数の基準画像の各々の位置を示す位置情報を取得する取得手段と、前記受信手段によって受信された画像情報により示される前記基準画像の位置および前記取得手段によって取得された位置情報により示される前記基準画像の位置の対応する前記基準画像同士の位置のずれ量の総和が最小となるように予め定められた共通の補正係数を用いて対応する前記基準画像の位置合わせを行う位置合わせ処理を実行した後の前記対応する基準画像同士の位置のずれ量の総和が多くなるほど多くなるように、前記画像読取装置による読み取りによって得られる画像情報に対する画像膨張処理の膨張量を決定する決定手段と、前記受信手段によって受信された識別情報が記憶手段に記憶されていない場合、前記記憶手段に前記決定手段によって決定された膨張量を示す情報と前記受信手段によって受信された識別情報とを関連付けて記憶する制御を行い、前記受信手段によって受信された識別情報が前記記憶手段に記憶されている場合で、かつ前記決定手段によって決定された膨張量が、当該識別情報に関連付けられて前記記憶手段に記憶されている情報により示される膨張量より多い場合、当該膨張量を示す情報を前記決定手段によって決定された膨張量を示す情報に更新する制御を行う制御手段と、として機能させるためのものである。

請求項１、請求項２、および請求項３に記載の発明によれば、前記位置合わせ処理を実行した後の対応する前記基準画像同士のずれ量を考慮しない場合に比較して、修正画像を抽出するべく修正前原稿と修正後原稿との差分演算を実行するに先立って実行される画像膨張処理における膨張量を高精度で決定することができる、という効果が得られる。

第１の実施の形態に係る画像処理システムの構成を示すブロック図である。 第１の実施の形態に係る画像処理装置の電気系の要部構成を示すブロック図である。 実施の形態に係る画像処理装置の機能的な構成を示す機能ブロック図である。 実施の形態に係る画像処理装置の機能的な構成のうち、位置合わせ部の構成を示すブロック図である。 実施の形態に係る画像処理装置の機能的な構成のうち、特徴領域抽出部の構成を示すブロック図である。 実施の形態に係る連結領域（特徴領域）の説明に供する図である。 実施の形態に係る連結領域から求められる重心および特徴量の各情報の説明に供する図である。 実施の形態に係る特徴領域情報のデータ構造を示す模式図である。 実施の形態に係る特徴領域情報のデータ構造を示す模式図である。 実施の形態に係る特定特徴領域情報のデータ構造を示す模式図である。 実施の形態に係る画像処理装置の機能的な構成のうち、膨張量導出部の構成を示すブロック図である。 実施の形態に係るキャリブレーション・シートの構成を示す正面図である。 実施の形態に係る取得位置情報の一例を示す模式図である。 実施の形態に係る特定位置情報の一例を示す模式図である。 実施の形態に係るずれ量を示す情報の一例を示す模式図である。 第１の実施の形態に係る膨張量導出処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る修正画像検出処理ルーチン・プログラムの処理の流れを示すフローチャートである。 実施の形態に係る画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理内容の説明に供する図であり、修正前画像および修正後画像の一例を示す正面図である。 実施の形態に係る画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理内容の説明に供する他の図である。 実施の形態に係る画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理内容の説明に供する他の図である。 実施の形態に係る画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理内容の説明に供する他の図である。 実施の形態に係る画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理内容の説明に供する他の図である。 実施の形態に係る画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理内容の説明に供する他の図である。 実施の形態に係る画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理内容の説明に供する他の図である。 第２の実施の形態に係る画像処理システムの構成を示すブロック図である。 第２の実施の形態に係る画像処理装置の電気系の要部構成を示すブロック図である。 第２の実施の形態に係る個別膨張量情報のデータ構造を示す模式図である。 第２の実施の形態に係る膨張量導出処理プログラムの処理の流れを示すフローチャートである。 他のキャリブレーション・シートの構成を示す正面図である。 他のキャリブレーション・シートの構成を示す正面図である。 他のキャリブレーション・シートの構成を示す正面図である。 他のキャリブレーション・シートの構成を示す正面図である。 他のキャリブレーション・シートの構成を示す正面図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

［第１の実施の形態］
図１には、本実施の形態に係る画像処理システム１０の構成例が示されている。同図に示されるように、本実施の形態に係る画像処理システム１０は、パーソナル・コンピュータ等の画像処理装置２０と、スキャナ等の画像読取装置３０とを備えている。画像処理装置２０と画像読取装置３０は電気的に接続されており、画像処理装置２０は画像読取装置３０による読み取りによって得られた画像データを画像読取装置３０から取得する。

本実施の形態に係る画像処理システム１０は、手書き、押印等による追記による修正や、消しゴム、修正液等による消去による修正が行われる前の原稿（以下、「修正前原稿」という。）と、当該修正が行われた後の原稿（以下、「修正後原稿」という。）を画像読取装置３０によって読み取り、これによって得られた２つの画像データに基づき、画像処理装置２０により、修正が行われた箇所を特定し、特定した箇所から修正された画像部分を検出（抽出）する処理を行うものである。なお、以下では、修正前原稿の読み取りによって得られた画像データを「修正前画像データ」といい、修正後原稿の読み取りによって得られた画像データを「修正後画像データ」という。

本実施の形態に係る画像読取装置３０は、読み取りによって得る画像データを、各画素値（画素情報）が複数ビット（本実施の形態では、８ビット）で構成されるものとして取得するものとされている。また、本実施の形態に係る画像処理システム１０では、画像読取装置３０として、読み取り対象とする原稿の画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色に分解して読み取るカラー・スキャナを適用している。なお、画像読取装置３０としては、複数ビット構成のカラー・スキャナに限らず、複数ビット構成のモノクロ・スキャナ（所謂グレイスケール・モノクロ・スキャナ）、１ビット（２値）構成のカラー・スキャナ、１ビット構成のモノクロ・スキャナ等を適用してもよい。

次に、図２を参照して、画像処理システム１０において特に重要な役割を有する画像処理装置２０の電気系の要部構成を説明する。

同図に示すように、本実施の形態に係る画像処理装置２０は、画像処理装置２０全体の動作を司るＣＰＵ（中央処理装置）２０Ａと、ＣＰＵ２０Ａによる各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２０Ｂと、各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２０Ｃと、各種情報を記憶するために用いられる記憶手段であるハードディスク２０Ｄと、各種情報を入力するために用いられるキーボード２０Ｅと、各種情報を表示するために用いられるディスプレイ２０Ｆと、外部装置との各種情報の授受を司る入出力インタフェース（Ｉ／Ｆ）２０Ｇと、が備えられており、これら各部はシステムバスＢＵＳにより電気的に相互に接続されている。ここで、入出力インタフェース２０Ｇには、前述した画像読取装置３０が接続されている。

従って、ＣＰＵ２０Ａは、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、およびハードディスク２０Ｄに対するアクセス、キーボード２０Ｅを介した各種入力情報の取得、ディスプレイ２０Ｆに対する各種情報の表示、および入出力インタフェース２０Ｇを介した画像読取装置３０との各種情報の授受を各々行う。

図３は、本実施の形態に係る画像処理装置２０の機能的な構成を示す機能ブロック図である。

同図に示されるように、本実施の形態に係る画像処理装置２０は、位置合わせ部２２と、画像膨張処理部２４Ａおよび修正領域判断部２４Ｂを有する修正検出部２４と、ノイズ除去部２５と、膨張量導出部２６と、ノイズ除去量記憶部２７と、記憶部２８と、修正領域選択部２９とを備えている。

なお、上記位置合わせ部２２は、修正前画像データおよび修正後画像データの少なくとも一方に対して、修正前画像データにより示される修正前画像と、修正後画像データにより示される修正後画像とで、画像読取装置３０において読み取る際の修正前原稿と修正後原稿の傾斜角の違いや、読み取り環境の違い等に起因して画像全体に対して発生する、対応する画素の位置のずれを補正する位置合わせ処理を実行する。なお、本実施の形態に係る位置合わせ部２２では、修正前画像データおよび修正後画像データに基づいて、修正前画像および修正後画像における予め定められた特徴（本実施の形態では、２値化画像データにおける黒画素の連結画像および白画素の連結画像）を有する特徴領域を抽出し、修正前画像および修正後画像の対応する特徴領域同士が重なり合うように、修正前画像データおよび修正後画像データの少なくとも一方を変換する。

ここで、本実施の形態に係る位置合わせ部２２では、当該変換として、修正前画像データおよび修正後画像データの何れか一方に対してアフィン変換を行うことによる変換を適用しているが、これに限らず、修正前画像データおよび修正後画像データの何れか一方に対する共一次変換、一次等角変換、二次等角変換、射影変換、拡大・縮小、回転、平行移動等の他の従来既知の変換手法を適用する形態としてもよい。

一方、上記修正検出部２４は、画像膨張処理部２４Ａにより、修正前画像データおよび修正後画像データの何れか一方（本実施の形態では、修正前画像データ）に対して、後述する膨張量導出部２６によって導出された膨張量で画像膨張処理を実行する一方、修正領域判断部２４Ｂにより、後述する修正領域選択部２９によって位置合わせ部２２により抽出された特徴領域から選択された修正領域に基づいて原稿に対する修正状態を判断し、当該判断結果に応じて修正画像を検出する。なお、本実施の形態に係る画像膨張処理部２４Ａでは、上記画像膨張処理として、処理対象とする画像のエッジ位置から上記予め定められた膨張量に応じた画素数だけ当該画像を太らせる処理を適用しているが、これに限るものでないことは言うまでもない。

また、上記ノイズ除去部２５は、ノイズ除去量記憶部２７により予め記憶されたノイズ除去量情報により示されるノイズ除去量で、修正検出部２４によって検出された修正画像に対してノイズ除去処理を実行する。なお、本実施の形態に係るノイズ除去部２５では、上記ノイズ除去処理として、処理対象とする画像の水平方向の画素数および垂直方向の画素数の双方が上記ノイズ除去量に応じた画素数以下である場合に、当該画像を消去する処理を適用しているが、これに限るものでないことも言うまでもない。

また、上記膨張量導出部２６は、後述するキャリブレーション・シート２３（図１１も参照。）を用いて、上記位置合わせ処理が実行された後の各画像間の局所的なずれ量の総和が多くなるほど多くなるように上記膨張量を導出する。

そして、上記修正領域選択部２９は、位置合わせ部２２によって抽出された特徴領域のうち、修正が行われた特徴領域である修正領域を選択し、選択した修正領域を示す修正領域情報を修正検出部２４に出力する。

次に、図４を参照して、本実施の形態に係る位置合わせ部２２の構成について説明する。

同図に示されるように、本実施の形態に係る位置合わせ部２２は、一対の特徴領域抽出部２２Ａ，２２Ｂと、対応付部２２Ｃと、補正パラメータ算出部２２Ｄと、画像変換部２２Ｅとを備えている。

なお、上記特徴領域抽出部２２Ａは修正前画像データが、上記特徴領域抽出部２２Ｂは修正後画像データが、各々入力されるものであり、特徴領域抽出部２２Ａ，２２Ｂは、入力された画像データに基づいて、修正前画像および修正後画像における前述した予め定められた特徴（本実施の形態では、２値化画像データにおける黒画素の連結画像および白画素の連結画像）を有する特徴領域を抽出した後、当該特徴領域から予め定められた特徴量（本実施の形態では、後述する大きさ、画素数、筆跡長（図８Ａ、図８Ｂも参照。））を、入力された画像データに基づいて導出し、特徴領域情報として出力する。

また、上記対応付部２２Ｃは、修正前画像と修正後画像とで、特徴領域抽出部２２Ａ，２２Ｂから出力された特徴領域情報により示される特徴量の類似度が予め定められた度合以上である特徴領域の対を特定し、特定した特徴領域の対を対応付ける特定特徴領域情報を作成して出力する。

また、上記補正パラメータ算出部２２Ｄは、対応付部２２Ｃから出力された特定特徴領域情報により示される、対応する特徴領域のずれ量に基づいて、修正前画像および修正後画像の全体的なずれをなくするための補正係数を算出する。そして、上記画像変換部２２Ｅは、補正パラメータ算出部２２Ｄによって算出された補正係数を用いて、修正前画像データ又は修正後画像データ（ここでは、修正後画像データ）に対し、修正前画像および修正後画像の全体的な位置合わせを行うための画像変換（ここでは、アフィン変換）を実行する。

なお、アフィン変換に適用する補正係数は、幅方向移動量、縦方向移動量、回転角、および倍率である。補正係数は、一方の画像（ここでは、修正後画像）に対して補正係数に基づく変換を実行した場合に、修正前画像および修正後画像の対応する特徴領域の重心位置の誤差が最も小さくなる値として算出される。具体的には、例えば、最小二乗法を適用して、修正前画像および修正後画像の対応する特徴領域の重心位置の誤差の総和が最も小さくなる補正係数として幅方向移動量、縦方向移動量、回転角、および倍率の各値を求める。なお、最小二乗法を適用した補正係数の算出手法については、一例として特開平９−９３４３１号公報に記載されている。

本実施の形態に係る修正領域選択部２９では、特徴領域抽出部２２Ａから出力された修正前画像に対応する特徴領域情報、特徴領域抽出部２２Ｂから出力された修正後画像に対応する特徴領域情報、および対応付部２２Ｃから出力された特定特徴領域情報に基づいて、特徴領域抽出部２２Ａ，２２Ｂによって抽出された特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を修正が行われた領域である修正領域として選択し、選択した修正領域を示す修正領域情報を作成して修正検出部２４に出力する。

なお、本実施の形態に係る修正領域選択部２９では、上記修正領域の選択を、特徴領域抽出部２２Ａによって抽出された修正前画像における特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を修正領域ａとして選択し、特徴領域抽出部２２Ｂによって抽出された修正後画像における特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない特徴領域を修正領域ｂとして選択することにより行っている。

次に、図５を参照して、本実施の形態に係る特徴領域抽出部２２Ａ，２２Ｂの構成について説明する。なお、特徴領域抽出部２２Ａおよび特徴領域抽出部２２Ｂは入力される画像データが異なるのみで同一の構成とされているため、ここでは、特徴領域抽出部２２Ａの構成について説明する。

同図に示されるように、本実施の形態に係る特徴領域抽出部２２Ａは、前処理部４０と、連結領域抽出部４２と、重心算出部４４と、特徴量算出部４６とを備えている。

なお、上記前処理部４０は、入力された修正前画像データに対して、単色化処理および二値化処理を実行する。ここで、上記単色化処理は、修正前画像データを輝度情報のみの画素データとする処理である。また、上記二値化処理は、単色化処理によって得られた単色画像を予め定められた閾値レベルで１（黒）又は０（白）の何れかの値に変換する処理である。なお、入力画像がモノクロ画像である場合は、上記単色化処理を省略してもよい。

また、上記連結領域抽出部４２は、前処理部４０によって二値化処理が施された修正前画像データに対して、前記特徴領域として連結領域を抽出する連結領域抽出処理を実行する。なお、上記連結領域抽出処理は、一例として特開平１２−２９５４３８号公報に記載されている手法等を適用して実行する。ここで、連結領域（特徴領域）は二値化画像における黒画素の連続領域（黒ラン）、或いは黒画素ではない白画素の連続領域（白ラン）として抽出される。上記連結領域抽出処理は、例えば、予め抽出条件として、予め定められた大きさ（面積又は画素数）の範囲（最小、最大）を設定し、その範囲にある連続する同一画素値の領域等、予め定められた設定条件に基づいて実行される。

ここで、図６を参照して、上記連結領域抽出処理によって抽出される連結領域の具体例について説明する。

同図には、二値化処理が施された修正前画像８０と修正後画像９０とが示されている。これらの画像から、予め定められた条件の下に黒画素の連続領域（黒ラン）を有する画像データや白画素の連続領域（白ラン）を有する画像データを連結領域として抽出する。同図に示す例では、修正前画像８０から黒文字画像である‘Ａ’、‘Ｂ’と白抜き文字画像である‘Ａ’が、連結領域８１，８２，８３として抽出され、修正後画像９０から黒文字画像である‘Ａ’、‘Ｂ’と白抜き文字画像である‘Ａ’が、連結領域９１，９２，９３として抽出された例が示されている。なお、実際の処理において抽出される連結領域のデータ数は、設計条件にもよるが、数百から数千個単位のデータの抽出が行われる。

さらに、上記重心算出部４４は、連結領域抽出部４２によって抽出された連結領域（特徴領域）の重心を算出し、上記特徴量算出部４６は、各連結領域の特徴量（ここでは、大きさ、画素数、筆跡長）を算出する。なお、本実施の形態では、重心算出部４４と特徴量算出部４６とを区別しているが、重心も連結領域の１つの特徴量として、特徴量算出部４６において算出する構成としてもよいことは言うまでもない。

次に、図７、図８Ａおよび図８Ｂを参照して、連結領域から求められる重心および特徴量について説明する。図７に示す文字‘Ａ’が、例えば修正前画像８０から抽出された１つの連結領域７０である。図８Ａおよび図８Ｂは、修正前画像８０と修正後画像９０とから抽出された連結領域についての重心と特徴量の各情報を有するテーブルを示している。

まず、図７を参照して、連結領域７０の重心および特徴量の詳細について説明する。

重心７２は、連結領域としての文字Ａ７０の重心位置を示す情報であり、例えば、修正前画像８０をＸＹ座標面とした場合の座標データ（ｘ，ｙ）として算出する（図８Ａ、図８Ｂも参照。）。

また、大きさは、図７に示される連結領域７０を外接するように囲む外接矩形７４の幅Ｌおよび高さＨにより‘Ｌ，Ｈ’として求める。また、画素数は、連結領域７０自体の構成全画素数として算出する。さらに、筆跡長は、図７に示すように、連結領域７０を細線化して、幅が１画素の線として変換した連結領域細線化データ７６における構成画素数として算出する。

重心算出部４４および特徴量算出部４６は、比較対象となる修正前画像８０と修正後画像９０から、連結領域抽出部４２によって抽出された連結領域（特徴領域）の各々について、重心位置と、上記大きさ、画素数、筆跡長等が含まれた特徴量情報とを算出し、一例として図８Ａおよび図８Ｂに示されるように、修正前画像８０に対応する特徴領域情報５０Ａと、修正後画像９０に対応する特徴領域情報５０Ｂとして整理する。同図に示されるように、修正前画像８０と修正後画像９０の各々から抽出された各連結領域について唯一無二のＩＤ（Identification）が付与され、当該ＩＤによって対応付けられるように、各連結領域の重心位置と、特徴量、すなわち、大きさ、画素数、筆跡長の各情報が特徴領域情報としてハードディスク２０Ｄ等の記憶手段により記録される。

ところで、本実施の形態に係る対応付部２２Ｃ（図４参照。）は、前述したように、修正前画像と修正後画像とで、特徴領域抽出部２２Ａ，２２Ｂから出力された特徴領域情報により示される特徴量の類似度が予め定められた度合以上である特徴領域の対を特定し、特定した特徴領域の対を対応付ける特定特徴領域情報を作成する。

ここで、対応付部２２Ｃでは、一例として、特徴領域抽出部２２Ａによって記録された特徴領域情報５０Ａと特徴領域抽出部２２Ｂによって記録された特徴領域情報５０Ｂを入力し、両特徴領域情報に記録された情報に基づくパターン・マッチング処理を行い、この結果に基づいて特定特徴領域情報を作成する。

なお、本実施の形態に係る対応付部２２Ｃでは、修正前画像および修正後画像の何れか一方の画像から抽出した特徴領域の重心位置から予め定められた距離内に重心位置が位置する他方の画像の特徴領域を、各特徴領域情報における重心位置に基づいて特定することにより、類似度が予め定められた度合以上である特徴領域の候補となる特徴領域を絞り込み、絞り込んだ特徴領域のみを対象として、各特徴領域情報における特徴量（大きさ、画素数、筆跡長）の少なくとも１つの情報の類似度を算出し、当該類似度が予め定められた度合以上となる特徴領域の対を示す情報を特定特徴領域情報として作成する。なお、本実施の形態では、上記類似度として、適用した特徴量間の距離（一例として、ユークリッド距離）の逆数を適用しているが、これに限らず、修正前画像および修正後画像の各特徴領域情報により示される特徴量の類似の度合を示すものであれば如何なるものを適用してもよいことは言うまでもない。

図９には、本実施の形態に係る特定特徴領域情報のデータ構造の一例が模式的に示されている。同図に示されるように、本実施の形態に係る対応付部２２Ｃでは、類似度が予め定められた度合以上となった修正前画像および修正後画像の各特徴領域に付与されたＩＤが対応付けられたものとして特定特徴領域情報を作成する。

次に、図１０を参照して、本実施の形態に係る膨張量導出部２６の構成について説明する。

同図に示されるように、本実施の形態に係る膨張量導出部２６は、基準位置取得部２６Ａと、基準位置特定部２６Ｂと、対応付部２６Ｃと、補正パラメータ算出部２６Ｄと、画像変換部２６Ｅと、基準位置特定部２６Ｆと、局所歪み導出部２６Ｇと、膨張量決定部２６Ｈと、記憶部２６Ｉと、を備えている。

本実施の形態に係る画像処理システム１０では、基準媒体としてのキャリブレーション・シート２３を用いて画像膨張処理部２４Ａにより適用する膨張量を決定する。

図１１には、本実施の形態に係る画像処理システム１０で適用しているキャリブレーション・シート２３が示されている。同図に示すように、このキャリブレーション・シート２３には、基準画像としての複数のドット（点）を示す点画像２３Ａが表面にマトリクス状に描画されている。また、このキャリブレーション・シート２３には、画像読取装置３０による読み取り方向を示す印２３Ｂが描画されている。従って、ユーザは、キャリブレーション・シート２３を画像読取装置３０によって読み取る際には、印２３Ｂに応じた方向で読み取られるようにキャリブレーション・シート２３を設定する。

上記基準位置取得部２６Ａは、キャリブレーション・シート２３の点画像２３Ａの位置を示す位置情報を取得し、取得位置情報として出力する。なお、本実施の形態に係る画像処理システム１０では、キャリブレーション・シート２３に描画する点画像２３Ａを示す画像データ（以下、「基準画像データ」という。）が予めハードディスク２０Ｄ等の記憶手段に記憶されており、当該基準画像データから取得位置情報を取得する。すなわち、本実施の形態に係る基準画像データには、キャリブレーション・シート２３に描画する各点画像２３Ａの位置を示す情報も含まれており、当該情報を読み出すことによって上記取得位置情報を取得する。

一方、上記基準位置特定部２６Ｂは、画像読取装置３０によるキャリブレーション・シート２３の点画像２３Ａが設けられている面の画像読み取りによって得られた画像データ（以下、「読み取り画像データ」という。）に基づいて、当該読み取り画像データにより示される画像における点画像２３Ａの位置を特定し、特定位置情報として出力する。

本実施の形態に係る画像処理システム１０では、上記取得位置情報により示される点画像２３Ａの位置と上記特定位置情報により示される点画像２３Ａの位置として、各点画像２３Ａの中心位置を適用しており、本実施の形態に係る基準位置特定部２６Ｂでは、上記読み取り画像データにより示される画像における各点画像２３Ａの外接矩形を抽出し、当該外接矩形の中心位置を導出することにより各点画像２３Ａの位置を特定する。

なお、本実施の形態に係る画像処理システム１０では、上記取得位置情報により示される位置および上記特定位置情報により示される位置として、キャリブレーション・シート２３の点画像２３Ａが描画される面をＸＹ座標面として、予め定められた１つの点画像２３Ａ（本実施の形態では、キャリブレーション・シート２３を正面視した場合の左上角点に位置された点画像２３Ａであり、以下、「基準点画像」という。）の位置を原点とした座標データとして導出する。

一方、上記対応付部２６Ｃは、基準位置取得部２６Ａおよび基準位置特定部２６Ｂから出力された取得位置情報および特定位置情報に基づいて、上記基準画像データにより示される各点画像２３Ａと上記読み取り画像データにより示される各点画像２３Ａとの、対応する画像同士を対応付ける基準画像対応付情報を作成して出力する。なお、本実施の形態に係る画像処理システム１０では、対応する点画像２３Ａの特定を、キャリブレーション・シート２３における予め定められた点画像２３Ａ（本実施の形態では、上記基準点画像）の位置を基準として各点画像２３Ａの水平方向および垂直方向に対する配列順番が同一の点画像２３Ａを特定することにより行っている。

また、上記補正パラメータ算出部２６Ｄは、対応付部２６Ｃから出力された基準画像対応付情報により示される、対応する点画像２３Ａの位置のずれ量に基づいて、基準画像データにより示される点画像２３Ａおよび読み取り画像データにより示される点画像２３Ａの全体的なずれをなくするための補正係数を算出する。そして、上記画像変換部２６Ｅは、補正パラメータ算出部２６Ｄによって算出された補正係数を用いて、読み取り画像データに対し、対応する点画像２３Ａの全体的な位置合わせを行うための画像変換として、前述した画像変換部２２Ｅと同様の画像処理（ここでは、アフィン変換）を実行する。

なお、前述したように、アフィン変換に適用する補正係数は、幅方向移動量、縦方向移動量、回転角、および倍率であり、補正パラメータ算出部２６Ｄにより算出される補正係数は、当該補正係数に基づく変換を実行した場合に、対応する点画像２３Ａの中心位置の誤差が最も小さくなる値として算出される。具体的には、例えば、最小二乗法を適用して、対応する点画像２３Ａの中心位置の誤差の総和が最も小さくなる補正係数として幅方向移動量、縦方向移動量、回転角、および倍率の各値を求める。

そして、上記基準位置特定部２６Ｆは、画像変換部２６Ｅにより画像変換処理が実行された読み取り画像データに基づいて、当該読み取り画像データにより示される画像における点画像２３Ａの位置を上記基準位置特定部２６Ｂと同様に特定し、変換後特定位置情報として出力する。

一方、上記局所歪み導出部２６Ｇは、基準位置取得部２６Ａから出力された取得位置情報および基準位置特定部２６Ｆから出力された変換後特定位置情報に基づいて、取得位置情報により示される各点画像２３Ａと変換後特定位置情報により示される各点画像２３Ａとの対応する点画像２３Ａの位置のずれ量を示すずれ量情報を、画像読取装置３０による読み取りによって得られた画像で、かつ画像変換部２２Ｅによる位置合わせを行うための画像変換処理が施された後も存在する読み取り画像の局所的な歪みの画像全体としての値を示すものとして導出して出力する。

なお、本実施の形態に係る局所歪み導出部２６Ｇでは、上記ずれ量情報として、上記対応する点画像２３Ａの位置のずれ量の全ての点画像２３Ａについての平均値を適用している。例えば、取得位置情報により示される点画像２３Ａの位置が図１２Ａに示すものであり、特定位置情報により示される点画像２３Ａの位置が図１２Ｂに示すものである場合、対応する点画像２３Ａのずれ量は図１２Ｃに示すものとなる。この場合、上記ずれ量情報は、図１２Ｃに示す全てのずれ量の平均値となる。

また、本実施の形態に係る画像処理装置２０では、上記補正パラメータ算出部２６Ｄおよび局所歪み導出部２６Ｇにより適用している上記ずれ量として、対応する点画像２３Ａの中心位置間のユークリッド距離を適用しているが、これに限らず、他のずれ量を示すものを適用してもよいことは言うまでもない。また、本実施の形態に係る画像処理装置２０では、上記ずれ量の平均値として相加平均値を適用しているが、これに限らず、２乗平均値、相乗平均値等の他の平均値を適用する形態としてもよい。

そして、上記膨張量決定部２６Ｈは、局所歪み導出部２６Ｇから出力されたずれ量情報により示されるずれ量が多くなるほど多くなるように膨張量を示す膨張量情報を決定して記憶部２６Ｉに記憶する。

本実施の形態に係る画像処理装置２０では、一例として次の表１に示される、ずれ量情報により示されるずれ量と膨張量との関係を示すテーブル（以下、「膨張量変換テーブル」という。）がハードディスク２０Ｄ等の記憶手段に予め記憶されており、当該テーブルを参照することによって上記ずれ量に対応する膨張量を決定しているが、これに限らず、例えば、当該テーブルと同様の値を演算する演算式を予め記憶しておき、当該演算式を用いた演算により取得する等、他の取得法を適用してもよいことも言うまでもない。

一方、ノイズ除去量記憶部２７は、前述したように、ノイズ除去部２５により用いられるノイズ除去量を示すノイズ除去量情報が記憶されたものであり、本実施の形態に係る画像処理システム１０では、過去の経験値から固定値（ここでは、３画素）が記憶されているが、これに限らず、ユーザによって設定させて記憶する形態や、前述したずれ量情報により示されるずれ量に基づいて自動的に決定して記憶する形態等としてもよい。

なお、以上のように構成された画像処理装置２０の各構成要素（位置合わせ部２２、修正検出部２４、ノイズ除去部２５、膨張量導出部２６、修正領域選択部２９）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現してもよい。この場合、当該プログラムに本実施の形態に係るプログラムが含まれることになる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよいことは言うまでもない。

以下では、本実施の形態に係る画像処理システム１０が、上記プログラムを実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該プログラムを画像処理装置２０に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用してもよい。

次に、本実施の形態に係る画像処理システム１０の作用を説明する。

まず、図１３を参照して、膨張量を導出する際の画像処理システム１０の作用を説明する。なお、図１３は、この際に画像処理装置２０のＣＰＵ２０Ａにより実行される膨張量導出処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、前述した基準画像データが不図示の外部装置から入力される一方、読み取り画像データが当該基準画像データと同一サイズの画像を示すものとして画像読取装置３０から入力され、これらの基準画像データおよび読み取り画像データがハードディスク２０Ｄの予め定められた領域に予め記憶されている場合について説明する。

同図のステップ１００では、基準画像データをハードディスク２０Ｄから読み出すことにより取得し、次のステップ１０２にて、前述した基準位置取得部２６Ａによる処理と同様の処理によって、取得した基準画像データから取得位置情報を取得する。

次のステップ１０４では、読み取り画像データをハードディスク２０Ｄから読み出すことにより取得し、次のステップ１０６にて、前述した基準位置特定部２６Ｂによる処理と同様の処理によって、取得した読み取り画像データに基づいて特定位置情報を導出する。

次のステップ１０８では、取得した取得位置情報および導出した特定位置情報に基づいて、前述した対応付部２６Ｃによる処理と同様の処理によって点画像２３Ａの対応付けを行って基準画像対応付情報を作成し、次のステップ１１０にて、作成した基準画像対応付情報により示される、対応する点画像２３Ａの位置のずれ量に基づいて、前述した補正パラメータ算出部２６Ｄによる処理と同様の処理によって補正係数を算出する。

次のステップ１１２では、算出した補正係数を用いて、前述した画像変換部２６Ｅによる処理と同様の処理によって読み取り画像データに対する画像変換処理（位置合わせ処理）を実行し、次のステップ１１４にて、上記画像変換処理が実行された読み取り画像データに基づいて、前述した基準位置特定部２６Ｆによる処理と同様の処理によって変換後特定位置情報を導出する。

次のステップ１１６では、上記取得位置情報および変換後特定位置情報に基づいて、前述した局所歪み導出部２６Ｇによる処理と同様の処理によってずれ量情報を導出し、次のステップ１１８にて、前述した膨張量決定部２６Ｈによる処理と同様の処理によって膨張量を決定し、さらに、次のステップ１２０にて、決定した膨張量を示す膨張量情報をハードディスク２０Ｄに記憶した後、本膨張量導出処理プログラムを終了する。

次に図１４を参照して、修正画像の検出を行う画像処理を実行する際の画像処理システム１０の作用を説明する。なお、図１４は、この際に画像処理装置２０のＣＰＵ２０Ａにより実行される画像処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、処理対象とする修正前画像データおよび修正後画像データが同一サイズの原稿画像を示すものとして画像読取装置３０から入力され、ハードディスク２０Ｄの予め定められた領域に予め記憶されている場合について説明する。さらに、ここでは、錯綜を回避するために、前述したノイズ除去量情報がハードディスク２０Ｄの予め定められた領域に予め記憶されている場合について説明する。

同図のステップ２００では、処理対象とする修正前画像データおよび修正後画像データをハードディスク２０Ｄから読み出すことにより取得し、次のステップ２０２では、前述した特徴領域抽出部２２Ａ，２２Ｂによる処理と同様の処理によって修正前画像および修正後画像に対応する特徴領域情報（図８Ａおよび図８Ｂも参照。）を導出し、記録する。例えば、修正前画像８０および修正後画像９０が図１６に示されるものである場合、本ステップ２０２の処理では、図１７Ａに示される特徴領域（本実施の形態では、連結領域）に関する特徴領域情報が修正前画像と修正後画像の各画像別に導出されることになる。

次のステップ２０４では、導出した特徴領域情報に基づいて、前述した対応付部２２Ｃによる処理と同様の処理により特定特徴領域情報を作成する。本ステップ２０４の処理により、一例として図１７Ｂに示される特徴領域が対応付けられた特定特徴領域情報（図９も参照。）が作成されることになる。

次のステップ２０６では、作成した特定特徴領域情報に基づいて、前述した補正パラメータ算出部２２Ｄによる処理と同様の処理により、修正前画像および修正後画像の全体的なずれをなくすための補正係数を算出し、次のステップ２０８では、算出した補正係数を用いて、前述した画像変換部２２Ｅによる処理と同様の処理により修正前画像および修正後画像の全体的な位置合わせを行うための画像変換処理（本実施の形態では、アフィン変換処理）を実行し、さらに、次のステップ２１０では、ハードディスク２０Ｄから読み出すことにより膨張量情報を取得する。

次のステップ２１２では、前述した修正領域選択部２９による処理と同様の処理により、上記ステップ２０２による特徴領域情報の導出過程において抽出された特徴領域のうち、修正が行われた特徴領域である修正領域を選択し、選択した特徴領域（修正領域）を示す修正領域情報を作成する。なお、上記ステップ２０８では、画像変換処理を実行した画像データ（ここでは、修正後画像データ）に対応する特徴領域情報を、当該画像変換処理後の画像に応じた値に変換する処理も実行することが好ましい。

本ステップ２１２の処理において、当該修正領域の選択を、特徴領域抽出部２２Ａによって抽出された修正前画像の特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない領域を修正領域（修正領域ａ）として選択することにより行う際には、一例として図１７Ｃに示される特徴領域を示す修正領域情報が作成され、上記修正領域の選択を、特徴領域抽出部２２Ｂによって抽出された修正後画像の特徴領域のうち、特定特徴領域情報により示される特徴領域に含まれない領域を修正領域（修正領域ｂ）として選択することにより行う際には、一例として図１７Ｄに示される特徴領域を示す修正領域情報が作成されることになる。

次のステップ２１４では、修正前画像の幅（ここでは、当該画像の水平方向の画素数）で、かつ修正前画像の高さ（ここでは、当該画像の垂直方向の画素数）の白色画像を示す画像データ（以下、「白色画像データ」という。）を作成し、次のステップ２１６では、修正検出部２４およびノイズ除去部２５の処理として、上記修正領域情報により示される修正領域に対応する修正前画像データおよび修正後画像データに基づいて、修正画像を検出する修正画像検出処理ルーチン・プログラムを実行する。

以下、図１５を参照して、修正画像検出処理ルーチン・プログラムについて説明する。

同図のステップ３００では、一例として次に示すように、上記ステップ２１２の処理によって作成した修正領域情報により示される修正領域ａおよび修正領域ｂの全ての領域の範囲を示す座標（以下、「修正領域座標」という。）を導出する。

まず、各修正領域に対応する重心位置および大きさの各情報を特徴領域情報から取得する。

次に、取得した重心位置情報により示される重心位置を中心とする、取得した大きさ情報により示される幅Ｌおよび高さＨを有する矩形領域の角点（本実施の形態では、左上角点および右下角点）の位置座標を上記修正領域座標として各修正領域毎に算出する。

次のステップ３０２では、上記ステップ３００の処理によって導出した修正領域毎の修正領域座標に基づいて、修正領域ａに含まれる修正領域と修正領域ｂに含まれる修正領域とで重なり合う領域が存在するか否かを判定し、否定判定となった場合は後述するステップ３２０に移行する一方、肯定判定となった場合にはステップ３０６に移行する。

ステップ３０６では、修正前画像データおよび修正後画像データ（上記ステップ２０８の処理によって画像変換処理が実行されたもの）における、上記ステップ３０２の処理によって重なり合う領域であるものと判定された修正領域のうちの何れか１組の領域（以下、「処理対象領域」という。）に対応する修正前画像データおよび修正後画像データに対して、前述した前処理部４０と同様に単色化処理および二値化処理を実行し、次のステップ３０８にて、二値化処理が施された修正前画像データの黒画素数（以下、「修正前黒画素数」という。）が、二値化処理が施された修正後画像データの黒画素数（以下、「修正後黒画素数」という。）より少ないか否かを判定し、肯定判定となった場合は、処理対象領域が修正前原稿に予め存在した画像に対して重ねて追記された領域である「重なりあり追記領域」であるものと見なしてステップ３０９に移行する。

ステップ３０９では、前述した画像膨張処理部２４Ａによる処理と同様の処理により、二値化処理が施された修正前画像データに対して、上記ステップ２１０の処理によって取得された膨張量情報によって示される膨張量で画像膨張処理を実行する。

次のステップ３１０では、上記ステップ３０９の処理によって画像膨張処理が施された修正前画像および修正後画像の各画像データを用いて、重なりあり追記領域に対応して予め定められた第１修正画像検出処理を実行し、その後にステップ３１６に移行する。

なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第１修正画像検出処理として、上記ステップ３０９の処理によって画像膨張処理が施された修正前画像データを二値化処理が施された修正後画像データから、対応する画素毎に減算する処理を適用している。

一方、上記ステップ３０８において否定判定となった場合はステップ３１２に移行し、修正前黒画素数が、修正後黒画素数より多いか否かを判定して、否定判定となった場合は後述するステップ３１８に移行する一方、肯定判定となった場合は、処理対象領域が修正前原稿に予め存在した画像の一部が消去された領域である「一部消去領域」であるものと見なしてステップ３１３に移行する。

ステップ３１３では、上記ステップ３０９と同様の処理により、二値化処理が施された修正前画像データに対して画像膨張処理を実行し、次のステップ３１４では、上記ステップ３１３の処理によって画像膨張処理が施された修正前画像および修正後画像の各画像データを用いて、一部消去領域に対応して予め定められた第２修正画像検出処理を実行し、その後にステップ３１６に移行する。

なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第２修正画像検出処理として、上記ステップ３１３の処理によって画像膨張処理が施された修正前画像データから二値化処理が施された修正後画像データを、対応する画素毎に減算する処理を適用している。

また、以上のように、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記ステップ３０９およびステップ３１３による画像膨張処理を二値化処理が施された画像データに対して施しているが、これに限らず、二値化処理されていない画像データに対して画像膨張処理を施す形態としてもよい。この場合、上記ステップ３１０およびステップ３１４では、修正後画像データとして、二値化処理が施されていない画像データを適用する。

ステップ３１６では、上記ステップ３１０またはステップ３１４の処理によって得られた画像データを、上記ステップ２１４の処理によって作成した白色画像データに対して重畳（上書き）することにより、検出した修正画像又は消去画像を合成し、次のステップ３１８では、上記ステップ３０２の処理によって重なり合う領域であるものと判定された全ての修正領域について上記ステップ３０６からステップ３１６までの処理が終了したか否かを判定し、否定判定となった場合は上記ステップ３０６に戻り、当該ステップ３０６以降の処理を再び実行する一方、肯定判定となった場合にはステップ３２０に移行する。なお、上記ステップ３０６からステップ３１８までの処理を繰り返し実行する際には、それまでに処理対象としなかった重なり合う修正領域を処理対象領域として適用するようにする。

ステップ３２０では、上記ステップ３００の処理によって導出した修正領域毎の修正領域座標に基づいて、修正領域ａに含まれる修正領域で、修正領域ｂに含まれる何れの修正領域にも重ならない領域が存在するか否かを判定し、肯定判定となった場合は、処理対象領域が修正前原稿に予め存在した画像が消去された領域である「消去領域」であるものと見なしてステップ３２２に移行し、修正前画像データを用いて、消去領域に対応して予め定められた第３修正画像検出処理を実行し、その後にステップ３２４に移行する。なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第３修正画像検出処理として、修正前画像データから上記消去領域に対応する画像データを抽出する処理を適用している。

ステップ３２４では、上記ステップ３２２の処理によって得られた画像データを、上記白色画像データに対して重畳（上書き）することにより、検出した修正画像（消去された画像）を合成し、その後にステップ３２６に移行する。なお、上記ステップ３２０において否定判定となった場合には、上記ステップ３２２およびステップ３２４の処理を実行することなくステップ３２６に移行する。

ステップ３２６では、上記ステップ３００の処理によって導出した修正領域毎の修正領域座標に基づいて、修正領域ｂに含まれる修正領域で、修正領域ａに含まれる何れの修正領域にも重ならない領域が存在するか否かを判定し、肯定判定となった場合は、処理対象領域が修正前原稿において画像が存在せず、かつ追記された領域である「重なりなし追記領域」であるものと見なしてステップ３２８に移行し、修正後画像データを用いて、重なりなし追記領域に対応して予め定められた第４修正画像検出処理を実行し、その後にステップ３３０に移行する。なお、本実施の形態に係る修正画像検出処理ルーチン・プログラムでは、上記第４修正画像検出処理として、修正後画像データから上記重なりなし追記領域に対応する画像データを抽出する処理を適用している。

ステップ３３０では、上記ステップ３２８の処理によって得られた画像データを、上記白色画像データに対して重畳（上書き）することにより、検出した修正画像（追記された画像）を合成し、その後にステップ３３２に移行する。なお、上記ステップ３２６において否定判定となった場合には、上記ステップ３２８およびステップ３３０の処理を実行することなくステップ３３２に移行する。

ステップ３３２では、ハードディスク２０Ｄから読み出すことによりノイズ除去量情報を取得し、前述したノイズ除去部２５による処理と同様の処理により、取得したノイズ除去量情報により示されるノイズ除去量で、以上の処理によって修正画像が重畳された白色画像データに対してノイズ除去処理を実行し、その後に本修正画像検出処理ルーチン・プログラムを終了する。

図１７Ｅには、重なりあり追記領域、一部消去領域、消去領域、および重なりなし追記領域の条件および画像例が、図１７Ｆには、上記第１修正画像検出処理から第４修正画像検出処理までの各修正画像検出処理による修正画像の検出手法が、各々纏めて記されている。

修正画像検出処理ルーチン・プログラムが終了すると、画像処理プログラム（図１４参照。）のステップ２１８に移行し、以上の処理によって修正画像が重畳された白色画像データを用いて修正画像を出力し、その後に本画像処理プログラムを終了する。なお、本実施の形態に係る画像処理プログラムでは、上記ステップ２１８による修正画像を出力する処理として、ディスプレイ２０Ｆによる表示による出力、および図示しないプリンタ（所謂画像形成装置）による印刷による出力の双方を適用しているが、これに限定されるものではなく、これらの何れか一方の出力を行う形態や、音声合成装置により音声によって出力する形態等、他の出力形態を適用してもよいことは言うまでもない。また、本実施の形態に係る画像処理プログラムでは、白色画像データに対して修正画像を重畳することにより、検出した修正画像を記録する場合について説明したが、これに限定されるものではなく、検出した修正画像の位置を示す座標を記録する形態等、修正画像が特定される情報を記録する他の形態としてもよいことも言うまでもない。さらに、追記画像と消去画像とで色を変える等、追記画像と消去画像が区別される状態で出力する形態としてもよい。

［第２の実施の形態］
上記第１の実施の形態では、画像処理装置と画像読取装置とが１対１で接続されている場合の形態例について説明したが、本第２の実施の形態では、画像処理装置と画像読取装置とが１対複数で接続されている場合の形態例について説明する。

まず、図１８を参照して、本第２の実施の形態に係る画像処理システム１０’の構成を説明する。

同図に示すように、本実施の形態に係る画像処理システム１０’は、パーソナル・コンピュータ等の画像処理装置２０’と、スキャナ等の複数の画像読取装置３０とが備えられており、これら各装置がネットワーク９０を介して通信可能に接続されている。

なお、本実施の形態に係る画像処理システム１０’では、ネットワーク９０としてインターネットを適用しているが、これに限らず、イントラネット、ＬＡＮ（Local Area Network）、ＶＡＮ（Value Added Network）、電話回線網、エコーネット（ECHONET）、ＨｏｍｅＰＮＡ等の各種ネットワークを単独又は組み合わせて適用してもよい。

本実施の形態に係る各画像読取装置３０は、修正前原稿、修正後原稿、キャリブレーション・シート２３等の各種画像を読み取る読取部３０Ａが備えられると共に、ネットワーク９０に接続するためのネットワークＩ／Ｆ（インタフェース）部３０Ｂが備えられており、各画像読取装置３０は、ネットワークＩ／Ｆ部３０Ｂを介してネットワーク９０に接続されている。

次に、図１９を参照して、画像処理システム１０’において特に重要な役割を有する画像処理装置２０’の電気系の要部構成を説明する。なお、図１９における図２と同一の構成要素には図２と同一の符号を付して、その説明を省略する。

同図に示すように、本実施の形態に係る画像処理装置２０’は、画像処理装置２０に設けられていた入出力インタフェース２０Ｇに代えて、ネットワーク９０に接続するためのネットワークＩ／Ｆ（インタフェース）部２０Ｈが備えられている点のみが相違している。

従って、本実施の形態に係る画像処理装置２０’は、ネットワークＩ／Ｆ部２０Ｈを介した画像読取装置３０との各種情報の授受を行う。

なお、本第２の実施の形態に係る画像処理装置２０’の機能的な構成は、上記第１の実施の形態に係る画像処理装置２０と、読み取り画像データ、修正前画像データおよび修正後画像データを画像読取装置３０から直接入力するのではなく、ネットワーク９０を介して入力する点を除いて同様であるため、ここでの説明は省略する。

ところで、本実施の形態に係る画像処理システム１０’では、各画像読取装置３０によるキャリブレーション・シート２３の読み取りによって得られた読み取り画像データは、当該画像読取装置３０に予め割り振られたアドレス情報と共に画像処理装置２０’に送信される。そして、本実施の形態に係る膨張量導出処理では、一例として図２０に示すように、導出した膨張量情報を読み取り画像データの送信元である画像読取装置３０のアドレス情報に関連付けて、個別膨張量情報５０Ｄとしてハードディスク２０Ｄに記憶する。

次に、図２１を参照して、膨張量を導出する際の画像処理システム１０’の作用を説明する。なお、図２１は、この際に画像処理装置２０’のＣＰＵ２０Ａにより実行される膨張量導出処理プログラムの処理の流れを示すフローチャートである。また、ここでは、錯綜を回避するために、前述した基準画像データが不図示の外部装置から入力されて、ハードディスク２０Ｄの予め定められた領域に予め記憶されている場合について説明する。さらに、同図における図１３と同一の処理を実行するステップには図１３と同一の符号を付して、その説明を省略する。

同図のステップ１０３では、何れかの画像読取装置３０から読み取り画像データが受信されるまで待機し、次のステップ１０６’にて、前述した基準位置特定部２６Ｂによる処理と同様の処理によって、受信した読み取り画像データに基づいて特定位置情報を導出する。

その後、ステップ１２２では、上記ステップ１０３の処理において読み取り画像データと共に受信したアドレス情報が個別膨張量情報５０Ｄに記憶されているか否かを判定することにより、受信した読み取り画像データの送信元の画像読取装置３０に関する膨張量情報が個別膨張量情報５０Ｄに記憶（登録）されているか否かを判定し、否定判定となった場合はステップ１２４に移行して、ステップ１１８の処理によって決定した膨張量を示す膨張量情報を、読み取り画像データと共に受信したアドレス情報に関連付けて個別膨張量情報５０Ｄに記憶（登録）した後に後述するステップ１３２に移行する。

一方、上記ステップ１２２において肯定判定となった場合にはステップ１２６に移行し、読み取り画像データと共に受信したアドレス情報に関連付けられた膨張量情報を個別膨張量情報５０Ｄから読み出し、次のステップ１２８にて、読み出した膨張量情報（以下、「登録膨張量情報」という。）とステップ１１８の処理によって決定した膨張量を示す膨張量情報（以下、「新規膨張量情報」という。）とに基づいて、登録膨張量情報を新規膨張量情報で更新するか否かを判定し、肯定判定となった場合はステップ１３０に移行して、登録膨張量情報を新規膨張量情報で更新した後にステップ１３２に移行する一方、否定判定となった場合には、上記ステップ１３０の処理を実行することなくステップ１３２に移行する。なお、本実施の形態に係る画像処理システム１０’では、上記ステップ１２８による判定を、新規膨張量情報によって示される膨張量が登録膨張量情報によって示される膨張量より多い場合に更新するものと判定する判定を適用している。

ステップ１３２では、本膨張量導出処理プログラムを終了するタイミングとして予め定められたタイミングが到来したか否かを判定し、否定判定となった場合は上記ステップ１０３に戻る一方、肯定判定となった時点で本膨張量導出処理プログラムを終了する。なお、本実施の形態に係る画像処理システム１０’では、上記ステップ１３２の処理によって適用する予め定められたタイミングとして、ユーザによってキーボード２０Ｅ等の受付手段により膨張量導出処理プログラムの終了を指示する指示情報が受け付けられたタイミングを適用している。

なお、修正画像の検出を行う画像処理を実行する際の画像処理システム１０’の作用については、上記第１の実施の形態に係る画像処理システム１０と、画像処理装置２０’が、処理対象とする修正前画像データおよび修正後画像データが画像読取装置３０からネットワーク９０を介して受信されたものを適用する点のみが相違しているので、ここでの説明は省略する。

以上、本実施形態を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件の組み合わせにより種々の発明が抽出される。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

例えば、上記各実施の形態では、膨張量導出処理および画像処理をソフトウェア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば、当該膨張量導出処理および画像処理をハードウェア構成により実現する形態としてもよい。この場合の形態例としては、例えば、図３に示した画像処理装置２０の各構成要素（位置合わせ部２２、修正検出部２４、ノイズ除去部２５、膨張量導出部２６、修正領域選択部２９）と同一の処理を実行する機能デバイスを作成して用いる形態が例示される。この場合は、上記各実施の形態に比較して、画像処理の高速化が期待される。

また、上記各実施の形態では、基準媒体としてキャリブレーション・シートが図１１に示すものである場合について説明したが、本発明はこれに限定されるものではなく、例えば、図２２Ａ、図２２Ｂ、図２３Ａ、図２３Ｂ、図２３Ｃに示すものとする形態としてもよい。

なお、図２２Ａに示すキャリブレーション・シートは、基準画像として点画像２３Ａに代えて交点を有する交点画像２３Ｃを適用したものであり、図２２Ｂに示すキャリブレーション・シートは、基準画像として点画像２３Ａに代えて格子画像２３Ｄを適用したものである。ここで、図２２Ａに示される交点画像２３Ｃが描画されたキャリブレーション・シートを適用する場合は、上記各実施の形態と同様に、各交点画像２３Ｃの外接矩形を抽出し、当該外接矩形の中心位置を導出することにより交点画像２３Ｃの位置を特定する。また、図２２Ｂに示される格子画像２３Ｄが描画されたキャリブレーション・シートを適用する場合は、従来既知の輪郭追跡処理によって格子画像２３Ｄにおける各交点の位置を検出し、当該交点の位置を、ずれ量の検出の対象とする位置として適用する。

一方、図２３Ａ、図２３Ｂ、および図２３Ｃは、図１１、図２２Ａ、および図２２Ｂに示されるキャリブレーション・シートから印２３Ｂを削除すると共に、各基準画像（点画像２３Ａ、交点画像２３Ｃ、格子画像２３Ｄの交点）の位置が回転対称の位置とされているものである。これらのキャリブレーション・シートでは、画像読取装置３０による読み取り方向を問わない。

また、上記各実施の形態では、画像変換部２６Ｅによって読み取り画像データに対して画像変換処理を実行する場合について説明したが、本発明はこれに限定されるものではなく、基準画像データに対して画像変換処理を実行する形態としてもよい。

また、上記各実施の形態では、上記ずれ量情報として、対応する点画像２３Ａの位置のずれ量の全ての点画像２３Ａについての平均値を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、対応する点画像２３Ａの位置のずれ量の全ての点画像２３Ａについての合計値や最大値等を適用する形態としてもよい。

また、上記各実施の形態では、取得位置情報を基準画像データから取得する場合について説明したが、本発明はこれに限定されるものではなく、例えば、読み取りによって得られる画像データにより示される画像の位置に関する歪みの程度が予め定められた閾値（一例として、１００μｍ）以下とされた高精度な画像読取装置によるキャリブレーション・シート２３の読み取りによって得られた画像データから上記取得位置情報を取得する形態としてもよい。

また、上記各実施の形態では、取得位置情報を基準画像データから取得する場合について説明したが、本発明はこれに限定されるものではなく、上記各実施の形態にかかる読み取り画像データとは異なるタイミングでキャリブレーション・シート２３を画像読取装置３０により読み取ることによって得られた画像データにより示される点画像２３Ａ（基準画像）の位置を、一例として基準位置特定部２６Ｂと同様の処理により特定して上記取得位置情報とする形態としてもよい。この場合、環境条件の変化や、経時変化等に起因する画像読取装置３０による画像の局所的な歪みの変動を考慮した膨張量が決定されることになる。

また、上記第２の実施の形態では、膨張量導出処理プログラムにおいて、それまでに導出された膨張量情報により示される膨張量の最大値を記憶する場合について説明したが、本発明はこれに限定されるものではなく、例えば、それまでに導出された膨張量情報のうち、最も頻度の高い膨張量情報を記憶する形態や、それまでに導出された膨張量情報により示される膨張量の平均値を示す膨張量情報を記憶する形態としてもよい。

また、上記第２の実施の形態では、膨張量導出処理プログラムを終了させるタイミングとして、ユーザによってキーボード２０Ｅ等の受付手段により膨張量導出処理プログラムの終了を指示する指示情報が受け付けられたタイミングを適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、膨張量導出処理プログラムを実行する時間帯として予め定められた時間帯の終了時刻となったタイミング、対象とする全ての画像読取装置３０から読み取り処理の終了を示す情報が受信されたタイミング等を適用する形態としてもよい。

また、上記第２の実施の形態では、膨張量導出処理プログラムと画像処理プログラムを個別に実行する場合について説明したが、本発明はこれに限定されるものではなく、例えば、ネットワーク９０を介して受信された画像データが読み取り画像データであるのか、修正前画像データおよび修正後画像データであるのかを判定し、この判定結果に応じて、膨張量導出処理プログラムと画像処理プログラムを自動的かつ選択的に実行する形態としてもよい。

また、上記各実施の形態では、修正画像検出処理ルーチン・プログラムのステップ３０６からステップ３１８までの繰り返し処理において修正領域ａおよび修正領域ｂの互いに重なり合う修正領域を１組ずつ処理する場合について説明したが、本発明はこれに限定されるものではなく、例えば、修正領域ａに含まれる複数の修正領域が修正領域ｂに含まれる修正領域の何れか１つに重なる場合や、修正領域ｂに含まれる複数の修正領域が修正領域ａに含まれる修正領域の何れか１つに重なる場合には、当該複数の修正領域を纏めて１つの修正領域として上記ステップ３０６からステップ３１８までの処理を実行する形態としてもよい。この場合も、上記実施の形態に比較して、画像処理の高速化が期待される。

その他、上記各実施の形態で説明した画像処理システム１０，１０’、画像処理装置２０，２０’の構成（図１から図５，図１０，図１８，図１９参照。）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。

また、上記各実施の形態で説明した各種情報のデータ構造（図８Ａ，図８Ｂ，図９，図１２Ａ，図１２Ｂ，図１２Ｃ，図２０参照。）も一例であり、本発明の主旨を逸脱しない範囲内において変更を加えてもよいことは言うまでもない。

さらに、上記各実施の形態で説明した膨張量導出処理プログラム、画像処理プログラムおよび修正画像検出処理ルーチン・プログラムの処理の流れ（図１３から図１５，図２１参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

１０，１０’ 画像処理システム
２０，２０’ 画像処理装置
２０Ａ ＣＰＵ
２０Ｄ ハードディスク
２０Ｆ ディスプレイ
２０Ｇ 入出力インタフェース
２０Ｈ ネットワークインタフェース部
２２ 位置合わせ部
２２Ａ 特徴領域抽出部
２２Ｂ 特徴領域抽出部
２２Ｃ 対応付部
２２Ｄ 補正パラメータ算出部
２２Ｅ 画像変換部
２４ 修正検出部
２４Ａ 画像膨張処理部
２４Ｂ 修正領域判断部
２５ ノイズ除去部
２６ 膨張量導出部
２６Ａ 基準位置取得部
２６Ｂ 基準位置特定部
２６Ｃ 対応付部
２６Ｄ 補正パラメータ算出部
２６Ｅ 画像変換部
２６Ｆ 基準位置特定部
２６Ｇ 局所歪み導出部
２６Ｈ 膨張量決定部
２６Ｉ 記憶部
２７ ノイズ除去量記憶部
２８ 記憶部
２９ 修正領域選択部
３０ 画像読取装置
３０Ａ 読取部
３０Ｂ ネットワークインタフェース部
４０ 前処理部
４２ 連結領域抽出部
４４ 重心算出部
４６ 特徴量算出部

Claims (3)

1. 複数の基準画像が設けられた基準媒体の前記複数の基準画像が設けられている領域の画像を読み取る読取手段、および前記読取手段による読み取りによって得られた画像情報と自身の装置を識別するための識別情報とを送信する送信手段を備えた画像読取装置と、
   前記送信手段によって送信された前記画像情報と前記識別情報とを受信する受信手段、前記基準媒体の前記複数の基準画像の各々の位置を示す位置情報を取得する取得手段、前記受信手段によって受信された画像情報により示される前記基準画像の位置および前記取得手段によって取得された位置情報により示される前記基準画像の位置の対応する前記基準画像同士の位置のずれ量の総和が最小となるように予め定められた共通の補正係数を用いて対応する前記基準画像の位置合わせを行う位置合わせ処理を実行した後の前記対応する基準画像同士の位置のずれ量の総和が多くなるほど多くなるように、前記読取手段による読み取りによって得られる画像情報に対する画像膨張処理の膨張量を決定する決定手段、および前記受信手段によって受信された識別情報が記憶手段に記憶されていない場合、前記記憶手段に前記決定手段によって決定された膨張量を示す情報と前記受信手段によって受信された識別情報とを関連付けて記憶する制御を行い、前記受信手段によって受信された識別情報が前記記憶手段に記憶されている場合で、かつ前記決定手段によって決定された膨張量が、当該識別情報に関連付けられて前記記憶手段に記憶されている情報により示される膨張量より多い場合、当該膨張量を示す情報を前記決定手段によって決定された膨張量を示す情報に更新する制御を行う制御手段を備えた画像処理装置と、
   を有する画像処理システム。
2. 画像読取装置によって送信された、複数の基準画像が設けられた基準媒体の前記複数の基準画像が設けられている領域の前記画像読取装置による画像の読み取りによって得られた画像情報と前記画像読取装置を識別するための識別情報とを受信する受信手段と、
   前記基準媒体の前記複数の基準画像の各々の位置を示す位置情報を取得する取得手段と、
   前記受信手段によって受信された画像情報により示される前記基準画像の位置および前記取得手段によって取得された位置情報により示される前記基準画像の位置の対応する前記基準画像同士の位置のずれ量の総和が最小となるように予め定められた共通の補正係数を用いて対応する前記基準画像の位置合わせを行う位置合わせ処理を実行した後の前記対応する基準画像同士の位置のずれ量の総和が多くなるほど多くなるように、前記画像読取装置による読み取りによって得られる画像情報に対する画像膨張処理の膨張量を決定する決定手段と、
   前記受信手段によって受信された識別情報が記憶手段に記憶されていない場合、前記記憶手段に前記決定手段によって決定された膨張量を示す情報と前記受信手段によって受信された識別情報とを関連付けて記憶する制御を行い、前記受信手段によって受信された識別情報が前記記憶手段に記憶されている場合で、かつ前記決定手段によって決定された膨張量が、当該識別情報に関連付けられて前記記憶手段に記憶されている情報により示される膨張量より多い場合、当該膨張量を示す情報を前記決定手段によって決定された膨張量を示す情報に更新する制御を行う制御手段と、
   を備えた画像処理装置。
3. コンピュータを、
   画像読取装置によって送信された、複数の基準画像が設けられた基準媒体の前記複数の基準画像が設けられている領域の前記画像読取装置による画像の読み取りによって得られた画像情報と前記画像読取装置を識別するための識別情報とを受信する受信手段と、
   前記基準媒体の前記複数の基準画像の各々の位置を示す位置情報を取得する取得手段と、
   前記受信手段によって受信された画像情報により示される前記基準画像の位置および前記取得手段によって取得された位置情報により示される前記基準画像の位置の対応する前記基準画像同士の位置のずれ量の総和が最小となるように予め定められた共通の補正係数を用いて対応する前記基準画像の位置合わせを行う位置合わせ処理を実行した後の前記対応する基準画像同士の位置のずれ量の総和が多くなるほど多くなるように、前記画像読取装置による読み取りによって得られる画像情報に対する画像膨張処理の膨張量を決定する決定手段と、
   前記受信手段によって受信された識別情報が記憶手段に記憶されていない場合、前記記憶手段に前記決定手段によって決定された膨張量を示す情報と前記受信手段によって受信された識別情報とを関連付けて記憶する制御を行い、前記受信手段によって受信された識別情報が前記記憶手段に記憶されている場合で、かつ前記決定手段によって決定された膨張量が、当該識別情報に関連付けられて前記記憶手段に記憶されている情報により示される膨張量より多い場合、当該膨張量を示す情報を前記決定手段によって決定された膨張量を示す情報に更新する制御を行う制御手段と、
   として機能させるためのプログラム。

Images