JP6160168B2 - 画像処理装置、および、コンピュータプログラム - Google Patents

Description

本発明は、画像中のオブジェクトを特定するための囲み線を用いる画像処理に関するものである。

従来から、種々の画像処理が行われている。例えば、原稿中の特定の部分のみを複写する技術が提案されている（特許文献１）。提案されている技術によれば、複写機は、枠状のマークが記された原稿に対しては、枠状のマークで囲まれた部分のみを複写する。

特開平３−２３６０６９号公報

ところが、マークが、原稿中のオブジェクト（例えば、写真やイラスト等）に重なって記された場合に、オブジェクトを適切に処理することができない場合があった。このような課題は、枠状のマークに限らず、オブジェクトを特定するための種々の形状の囲み線を用いる場合に、共通する課題であった。

本発明の主な利点は、囲み線がオブジェクトに重なる場合に、オブジェクトを適切に処理することができる技術を提供することである。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］
画像処理装置であって、
対象画像データによって表される対象画像から、前記対象画像中のオブジェクトを特定するために設けられるオブジェクトとしての囲み線を表す画素が示すべき特定の色の画素を抽出することによって、前記囲み線を表す領域である囲み線領域を特定する第１特定部と、
前記対象画像から、前記対象画像中の背景の色とは異なる色の画素を抽出することによって、オブジェクトを表す領域であるオブジェクト領域を特定する第２特定部と、
前記第１特定部で特定された囲み線領域と、前記第２特定部で特定されたオブジェクト領域と、に応じて、前記囲み線とは異なるオブジェクトを表す領域である候補オブジェクト領域を特定する第３特定部と、
前記特定された候補オブジェクト領域に応じて、前記囲み線と接触するオブジェクトを表す領域である接触オブジェクト領域を抽出する接触抽出部と、
を備え、
前記接触抽出部は、
前記特定された候補オブジェクト領域が、前記囲み線領域の内周側に配置される第１候補オブジェクト領域と、前記囲み線領域の外周側に配置される第２候補オブジェクト領域と、を含むことである第１条件と、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記囲み線領域と接触し、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との位置関係が前記囲み線領域を挟む所定の対向位置関係であることである第２条件と、を含む抽出条件が満たされる場合に、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを含む領域を、前記接触オブジェクト領域として抽出する、
画像処理装置。

この構成によれば、囲み線がオブジェクトと交差するように重なる場合に、そのオブジェクトを表す領域の少なくとも一部が、接触オブジェクト領域として抽出され得るので、囲み線がオブジェクトに重なる場合に、オブジェクトを適切に処理することができる。

［適用例２］
画像処理装置であって、
対象画像データによって表される対象画像から、前記対象画像中のオブジェクトを特定するために設けられるオブジェクトとしての囲み線を表す画素が示すべき特定の色の画素を抽出することによって、前記囲み線を表す領域である囲み線領域を特定する第１特定部と、
前記対象画像から、前記対象画像内の背景の色とは異なる色の画素を抽出することによって、オブジェクトを表す領域であるオブジェクト領域を特定する第２特定部と、
前記第１特定部で特定された囲み線領域と、前記第２特定部で特定されたオブジェクト領域と、に応じて、前記囲み線とは異なるオブジェクトを表す領域である候補オブジェクト領域を特定する第３特定部と、
前記特定された候補オブジェクト領域に応じて、前記囲み線と接触するオブジェクトを表す領域である接触オブジェクト領域を抽出する接触抽出部と、
を備え、
前記接触抽出部は、
前記特定された候補オブジェクト領域が、前記囲み線領域の内周側に配置される第１候補オブジェクト領域と、前記囲み線領域の外周側に配置される第２候補オブジェクト領域と、を含むことである第１条件と、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記囲み線領域と接触し、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との位置関係が前記囲み線領域を挟む所定の対向位置関係であることである第２条件と、が満たされる場合であっても、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との全体に対する前記第１候補オブジェクト領域の割合が所定値以上であることである第３条件が満たされない場合には、前記第１候補オブジェクト領域を前記接触オブジェクト領域として抽出せずに、
前記第１条件と前記第２条件と前記第３条件とを含む抽出条件が満たされる場合に、前記第１候補オブジェクト領域を含む領域を前記接触オブジェクト領域として抽出する、
画像処理装置。

この構成によれば、意図せずに囲み線がオブジェクトと交差するように重なる場合のうちの少なくとも一部の場合に、そのオブジェクトを表す領域が接触オブジェクト領域として抽出されることを抑制できるので、囲み線がオブジェクトに重なる場合に、オブジェクトを適切に処理することができる。

［適用例３］
適用例１ないし２に記載の画像処理装置であって、さらに、
前記囲み線領域の内周側に配置される前記第１候補オブジェクト領域と前記囲み線領域の外周側に配置される前記第２候補オブジェクト領域とに、前記候補オブジェクト領域の範囲を膨張させる膨張処理と、前記膨張処理済の前記候補オブジェクト領域の範囲を収縮させる収縮処理と、を行うことによって、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記膨張処理と前記収縮処理とによって連結した領域である連結オブジェクト領域を特定する、領域連結部を備える、画像処理装置。

この構成によれば、１つのオブジェクトを表す領域が囲み線によって第１候補オブジェクト領域と第２候補オブジェクト領域とに分離された場合に、第１候補オブジェクト領域と第２候補オブジェクト領域とが膨張処理と収縮処理とによって連結した連結オブジェクト領域を特定できるので、囲み線がオブジェクトに重なる場合に、オブジェクトを適切に処理することができる。

［適用例４］
適用例３に記載の画像処理装置であって、さらに、
前記連結オブジェクト領域と、前記連結オブジェクト領域に対応する前記第１候補オブジェクト領域および前記第２候補オブジェクト領域と、に応じて、前記連結オブジェクト領域内に含まれる隙間領域であって、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との間に位置する前記隙間領域を特定し、前記特定した隙間領域の色を、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とのそれぞれの色に応じて、変更する、色変更部を備える、画像処理装置。

この構成によれば、囲み線領域によって生じた隙間領域の色を、適切な色に変更できるので、囲み線がオブジェクトに重なる場合に、オブジェクトを適切に処理することができる。

［適用例５］
適用例１ないし４のいずれかに記載の画像処理装置であって、
前記接触抽出部は、
前記囲み線領域内から、前記囲み線領域の内周縁から外周縁まで延びる部分領域であって互いに分離した複数の分離部分領域を抽出し、
共通の前記分離部分領域と接触する前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを、前記第２条件を満たす前記第１候補オブジェクト領域と前記第２候補オブジェクト領域として用いる、
画像処理装置。

この構成によれば、囲み線と交差するオブジェクトを表す領域を、適切に処理することができる。

［適用例６］
適用例５に記載の画像処理装置であって、
前記接触抽出部は、前記分離部分領域として用いるべき範囲を定める複数の有効部分範囲を表す所定のパターンに従って、前記囲み線領域内の前記有効部分範囲に含まれる部分領域を前記分離部分領域として用いる、画像処理装置。

この構成によれば、囲み線領域内から複数の分離部分領域を容易に抽出できるので、囲み線と交差するオブジェクトを、適切に処理することができる。

［適用例７］
適用例６に記載の画像処理装置であって、
前記接触抽出部は、前記所定のパターンとして、前記複数の有効部分範囲と、前記分離部分領域として用いるべきではない範囲を定める複数の無効部分範囲とが、格子状に交互に並ぶパターンを用いる、画像処理装置。

この構成によれば、種々の形状の囲み線領域内から、適切に、複数の分離部分領域を抽出することができるので、囲み線と交差するオブジェクトを表す領域を、適切に処理することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

本発明の一実施例としての画像処理システム９００を示す説明図である。 画像処理のフローチャートである。 画像処理のフローチャートである。 処理される画像の概略図である。 組合せ特定処理のフローチャートである。 組合せ特定処理の概略図である。 接触オブジェクト領域の抽出のフローチャートである。 隙間領域の色補正処理のフローチャートである。 隙間領域の色補正処理の概略図である。

Ａ．実施例：
図１は、本発明の一実施例としての画像処理システム９００を示す説明図である。この画像処理システム９００は、ネットワーク５００と、ネットワーク５００に接続された複合機１００と、ネットワーク５００に接続されたサーバ３００と、を備えている。複合機１００は、ユーザの指示に従って、原稿をコピーする処理、具体的には、原稿を光学的に読み取り、読み取った画像を印刷する処理を、実行する。原稿は、複数のオブジェクト（例えば、文字や写真やイラスト等）を表し得る。本実施例では、ユーザは、所定の色（本実施例では、赤）のペンを用いて、原稿中のオブジェクトを囲む線（「囲み線」とも呼ぶ）を記入することができる。複合機１００とサーバ３００とは、読み取った画像から囲み線で囲まれたオブジェクトを消去することによって得られる画像を印刷するための画像処理を実行する（詳細は後述）。

複合機１００は、複合機１００の全体を制御するＣＰＵ１１０と、ＤＲＡＭ等の揮発性記憶装置１２０と、フラッシュメモリ等の不揮発性記憶装置１３０と、液晶パネル等の表示部１４０と、タッチパネル等の操作部１５０と、読取実行部１６０と、印刷実行部１７０と、他の装置（例えば、サーバ３００）と通信するための通信インタフェース１８０（例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格に準拠した無線通信インタフェース）と、を備えている。不揮発性記憶装置１３０は、プログラム１３２を格納している。通信インタフェース１８０には、ネットワーク５００が接続されている。

読取実行部１６０は、原稿を光学的に読み取ることによって、原稿を表す画像データを生成する装置である。具体的には、読取実行部１６０は、図示しない光学センサ（例えば、ＣＩＳ（Contact Image Sensor）を備え、読取実行部１６０に載置された原稿を光学的に読み取ることによって、原稿を表す画像データを生成する。以下、読取実行部１６０によって生成される画像データを「スキャンデータ」または「読取データ」とも呼ぶ。

印刷実行部１７０は、画像を印刷する装置であり、いわゆるインクジェットプリンタである。ただし、他の種類のプリンタ（例えば、いわゆるレーザプリンタ）を採用してもよい。

ＣＰＵ１１０は、揮発性記憶装置１２０と不揮発性記憶装置１３０とを用いてプログラム１３２を実行することによって、後述するデータ処理を実行する。このように、ＣＰＵ１１０と揮発性記憶装置１２０と不揮発性記憶装置１３０との全体は、データ処理を実行するデータ処理部１９０に対応する。図示するように、ＣＰＵ１１０は、読取制御部２１０と、読取データ出力部２２０と、処理済データ取得部２３０と、印刷制御部２４０と、として機能する。これらの処理部の機能については、後述する。

サーバ３００は、サーバ３００の全体を制御するＣＰＵ３１０と、ＤＲＡＭ等の揮発性記憶装置３２０と、フラッシュメモリ等の不揮発性記憶装置３３０と、他の装置（例えば、複合機１００）と通信するための通信インタフェース３８０（例えば、ＩＥＥＥ８０２．３の規格に準拠した有線通信インタフェース）と、を備えている。不揮発性記憶装置３３０は、プログラム３３２を格納している。通信インタフェース３８０には、ネットワーク５００が接続されている。

ＣＰＵ３１０は、揮発性記憶装置３２０と不揮発性記憶装置３３０とを用いてプログラム３３２を実行することによって、後述する画像処理を実行する。このように、ＣＰＵ３１０と揮発性記憶装置３２０と不揮発性記憶装置３３０との全体は、画像処理を実行する画像処理部３９０に対応する。図示するように、ＣＰＵ３１０は、対象データ取得部４１０と、第１特定部４１１と、第２特定部４１２と、第３特定部４１３と、抽出部４２０と、領域連結部４２５と、色変更部４３０と、オブジェクト処理部４４０と、処理済データ出力部４５０と、として機能する。抽出部４２０は、接触抽出部４２２と、内包抽出部４２４と、を含んでいる。これらの処理部の機能については、後述する。

図２、図３は、画像処理のフローチャートである。図３は、図２の続きを示している。図中には、複合機１００による処理と、サーバ３００による処理とが、示されてる。この画像印刷処理は、例えば、ユーザが、複合機１００に対して原稿のコピーを指示した場合に、複合機１００のＣＰＵ１１０によって開始される。ユーザは、複合機１００の操作部１５０を操作することによって、原稿のコピーの指示を含む種々の情報を、入力可能である。

最初のステップＳ１００では、複合機１００の読取制御部２１０（図１）が、読取実行部１６０を制御することによって、原稿を表す読取データを取得する。読取データは、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色成分値（本実施例では、２５６階調の階調値）で色を表すビットマップデータである。以下、赤（Ｒ）の色成分値を「Ｒ成分値」と呼び、緑（Ｇ）の色成分値を「Ｇ成分値」と呼び、青（Ｂ）の色成分値を「Ｂ成分値」と呼ぶ。また、色を表す値を「色値」とも呼ぶ（例えば、Ｒ成分値とＧ成分値とＢ成分値との全体）。

図４（Ａ）は、読取データによって表される画像（「読取画像」と呼ぶ）の例を示す概略図である。図示された読取画像８０は、４つのイラストのオブジェクト８１〜８４と、囲み線のオブジェクト８５と、を表している。囲み線８５は、予め指定された色（本実施例では、赤）のペンを用いて、ユーザによって原稿上に手書きされたオブジェクトである。図示するように、囲み線８５は、第１オブジェクト８１と、第２オブジェクト８２と、のそれぞれと交差している。

図中には、第１方向Ｄｘと第２方向Ｄｙとが示されている。読取画像８０を表す読取データは、第１方向Ｄｘと第２方向Ｄｙに沿って格子状に配置された複数の画素のそれぞれの色を表している。以下、第１方向Ｄｘのことを「＋Ｄｘ方向」とも呼ぶ。また、第１方向Ｄｘとは反対の方向を「−Ｄｘ方向」とも呼ぶ。「＋Ｄｙ方向」と「−Ｄｙ方向」とについても、同様である。また、＋Ｄｘ方向側を、単に「＋Ｄｘ側」とも呼ぶ。他の方向側についても、同様である。

図２の次のステップＳ１１０では、読取データ出力部２２０（図１）は、読取データを、ネットワーク５００を介して、サーバ３００に出力する。次のステップＳ２００では、サーバ３００の対象データ取得部４１０が、複合機１００からの読取データを、処理対象の画像データ（「対象画像データ」とも呼ぶ）として、取得する。続くステップＳ２０５〜Ｓ２２０は、読取画像８０内の囲み線を特定するための処理である。

次のステップＳ２０５では、第１特定部４１１（図１）は、読取データに対して、二値化処理を行うことによって、二値画像データを生成する。具体的には、読取データの複数の画素のそれぞれは、囲み線の色（本実施例では赤）を示す色値を有する画素（「候補画素」と呼ぶ）と、他の色を示す色値を有する画素（「非候補画素」と呼ぶ）と、のいずれかに分類される。この二値化処理は、囲み線を表す画素が示すべき色の範囲である所定の色範囲（「囲み線色範囲」と呼ぶ）に従って、行われる。本実施例では、囲み線の色が赤であることが想定されている。従って、囲み線色範囲としては、例えば、Ｒ成分値が赤基準値Ｒｔｈ以上、かつ、Ｇ成分値が緑基準値Ｇｔｈ以下、かつ、Ｂ成分値が青基準値Ｂｔｈ以下である色範囲を採用可能である。囲み線色範囲に含まれる色値を有する画素は、候補画素に分類され、囲み線色範囲に含まれない色値を有する画素は、非候補画素に分類される。なお、囲み線の色としては、赤とは異なる他の色が採用され得る。囲み線色範囲としては、囲み線の色として想定されている色を含む部分色範囲を採用可能である。

図４（Ｂ）は、二値画像データによって表される二値画像８０ａの例を示す概略図である。二値画像８０ａは、互いに分離した２つの候補領域８４ａ、８５ａを表している。第１候補領域８４ａは、第４オブジェクト８４（図４（Ａ））の一部を表し、第２候補領域８５ａは、囲み線８５（図４（Ａ））を表している。各候補領域８４ａ、８５ａは、それぞれ、連続する複数の候補画素によって構成されている。なお、２つの画素が連続する（すなわち、２つの画素が接する）ことの定義としては、一方の画素が、他方の画素を中心とする３行３列の範囲内に配置されていること、を採用している。この代わりに、一方の画素が、他方の画素から見て４つの方向（＋Ｄｘ、−Ｄｘ、＋Ｄｙ、−Ｄｙ）のいずれかの方向に隣接することを、採用してもよい。

図２の次のステップＳ２１０では、第１特定部４１１は、二値画像データに対して、候補領域を収縮させる収縮処理を実行することによって、収縮処理済の二値画像データを生成する。そして、第１特定部４１１は、収縮処理済の二値画像データに対して、収縮処理済の候補領域を膨張させる膨張処理を実行することによって、膨張処理済の二値画像データを生成する。

収縮処理は、例えば、非候補画素を基準とする所定の収縮範囲内の全ての候補画素を非候補画素に変更する処理を、二値画像データの全ての非候補画素に対して行うことによって、実現される。収縮範囲としては、例えば、処理対象の非候補画素を中心とする３行３列の範囲を採用可能である。このような収縮処理を行うことによって、非候補画素の近傍の候補画素、すなわち、候補領域の縁を形成する候補画素が、非候補画素に変更される。この結果、候補領域が収縮する。また、ノイズによって生じた小さい候補領域（図示省略。例えば、数個の候補画素で構成された候補領域）は、消去される。

膨張処理は、例えば、候補画素を基準とする所定の膨張範囲内の全ての非候補画素を候補画素に変更する処理を、二値画像データの全ての候補画素に対して行うことによって、実現される。膨張範囲としては、例えば、処理対象の候補画素を中心とする５行５列の範囲を採用可能である。このような膨張処理を行うことによって、候補画素の近傍の非候補画素、すなわち、候補領域の縁の近傍の非候補画素が、候補画素に変更される。この結果、候補領域が膨張する。また、ペンの掠れやノイズ等によって、囲み線８５を表す第２候補領域８５ａに、断線した部分（「断線部分」と呼ぶ）が生じる場合がある（図示省略）。膨張処理は、そのような断線部分を、接続することが可能である。

図４（Ｃ）は、収縮処理済、かつ、膨張処理済の二値画像データによって表される二値画像８０ｂの例を示す概略図である。この二値画像８０ｂは、２つの候補領域８４ｂ、８５ｂを示している。これらの候補領域８４ｂ、８５ｂは、それぞれ、図４（Ｂ）の二値画像８０ａによって表される２つの候補領域８４ａ、８５ａに、対応している。

以上のように、収縮処理と膨張処理とを行うことによって、ノイズの消去と断線部分の接続とを実現できるので、後述するオブジェクト特定処理において、囲み線の特定の精度を向上できる。

なお、上述の収縮範囲と膨張範囲、すなわち、収縮処理による収縮の程度と、膨張処理による膨張の程度とは、一例である。収縮処理を膨張処理よりも先に実行する場合には、膨張処理の程度（すなわち、膨張範囲の大きさ）が、収縮処理の程度（すなわち、収縮範囲の大きさ）よりも、大きいことが好ましい。こうすれば、断線部分の接続を適切に実現できる。また、膨張処理を収縮処理よりも先に実行してもよい。この場合、膨張処理の程度は、収縮処理の程度よりも小さいことが好ましい。こうすれば、ノイズによる候補領域を適切に消去できる。

図２の次のステップＳ２１５では、第１特定部４１１は、収縮処理済かつ膨張処理済の二値画像データに対して、互いに離れた候補領域に互いに異なる識別子を割り当てるラベリング処理を行う。具体的には、第１特定部４１１は、連続する１以上の候補画素で構成される連続な１つの領域（すなわち、候補領域）に、１つの識別子を割り当てる。そして、第１特定部４１１は、互いに離れた複数の候補領域に、互いに異なる識別子を割り当てる。このようなラベリング処理によって、各候補領域が特定される。図４（Ｃ）の例では、第１候補領域８４ｂと第２候補領域８５ｂとに、互いに異なる識別子が割り当てられる。第１特定部４１１は、このラベリング処理の結果を表す第１ラベルデータ（例えば、画素と識別子（「ラベル」とも呼ぶ）とを対応付けるデータ）を、生成する。

図２の次のステップＳ２２０では、第１特定部４１１は、特定された候補領域を用いて、オブジェクト特定処理を実行する。このオブジェクト特定処理では、特定された候補領域から、囲み線を表す領域が特定される。例えば、第１特定部４１１は、候補領域の形状がループ状である場合に、その候補領域が囲み線を表す領域であると判定する。図４（Ｃ）の例では、ループ状の第２候補領域８５ｂが、囲み線を表す領域として、特定される。以下、囲み線を表す候補領域を「囲み線領域」とも呼ぶ。

なお、候補領域の形状がループ状であるか否かを判定する方法としては、種々の方法を採用可能である。例えば、以下の方法を採用可能である。ここで、図４（Ｃ）の二値画像８０ｂを例として用いて、説明を行う。判定対象の候補領域を「対象領域」と呼び、対象領域に含まれる画素を「対象領域画素」と呼び、対象領域には含まれない画素を「非対象領域画素」と呼ぶ。例えば、第２候補領域８５ｂが対象領域である場合、対象領域画素は、第２候補領域８５ｂに含まれる画素である。非対象領域画素は、第２候補領域８５ｂに含まれない画素である。具体的には、非対象領域画素は、第２候補領域８５ｂの内周側の背景を表す画素と、第２候補領域８５ｂの外周側の背景を表す画素と、対象領域８５ｂ以外の候補領域８４ｂに含まれる画素と、を含んでいる。

まず、複数の非対象領域画素が連続する領域であって、二値画像８０ｂの端を含む領域が、特定される。特定される領域は、対象領域の外周側を全周に亘って囲む領域である（「第１種外周領域」と呼ぶ）。第２候補領域８５ｂが対象領域である場合、第１種外周領域は、第２候補領域８５ｂの外周側の全体、すなわち、外周側の背景を表す領域と、外周側に配置された第１候補領域８４ｂとの全体である。

二値画像８０ｂから第１種外周領域を除いた残りの領域は、対象領域の最外輪郭に囲まれた領域である（「第１種判定領域」と呼ぶ）。第２候補領域８５ｂが対象領域である場合、第１種判定領域は、第２候補領域８５ｂの最外輪郭に囲まれた領域、すなわち、第２候補領域８５ｂと、第２候補領域８５ｂの内周側の背景を表す領域と、の全体である。

第１種判定領域から、複数の非対象領域画素が連続する領域が検出される場合、対象領域の形状がループ状である、と判定される。第２候補領域８５ｂが対象領域である場合、第１種判定領域から（具体的には、第２候補領域８５ｂの内周側から）、複数の非対象領域画素が連続する領域（すなわち、背景を表す領域）が検出される。従って、第２候補領域８５ｂの形状はループ状であると判定される。第１種判定領域から、複数の非対象領域画素が連続する領域が検出されない場合、対象領域の形状はループ状ではない、と判定される。例えば、第１候補領域８４ｂの形状はループ状ではない、と判定される。

図２に続く図３のステップＳ２２５〜Ｓ２４７は、囲み線によって囲まれたオブジェクトを表す領域を特定するための処理である。最初のステップＳ２２５では、第２特定部４１２は、ステップＳ２２０で特定された囲み線領域から、１つの囲み線領域を、処理対象の囲み線領域として選択する。以下、図４（Ｃ）の囲み線領域８５ｂが選択されたこととして、説明を行う。

次のステップＳ２３０では、第２特定部４１２は、読取データから、処理対象の囲み線領域８５ｂを包含する領域を表す部分画像データを取得する。本実施例では、第２特定部４１２は、読取画像８０と同じ矩形領域を表す画像データ、すなわち、読取データを、そのまま、部分画像データとして採用する。ただし、第２特定部４１２は、読取データのうちの、囲み線領域８５ｂを含む一部の領域を表す部分を、部分画像データとして取得してもよい。

図３の次のステップＳ２３５では、第２特定部４１２は、部分画像データに対して、二値化処理を行うことによって、部分二値画像データを生成する。具体的には、部分画像データの複数の画素のそれぞれは、背景の色を示す色値を有する画素（「背景画素」と呼ぶ）と、他の色を示す色値を有する画素（「オブジェクト画素」と呼ぶ）と、のいずれかに分類される。

この二値化処理は、背景を表す画素が示すべき色の範囲である背景色範囲に従って、行われる。本実施例では、まず、第２特定部４１２は、図４（Ａ）の読取画像８０の複数の画素のうちの、図４（Ｃ）の囲み線領域８５ｂに隣接する複数の画素の色値の平均値を、背景色を表す色値（「背景色値」と呼ぶ）として算出する。算出される背景色値は、Ｒ成分値の平均値（「Ｒ平均値Ｒａｖ」と呼ぶ）と、Ｇ成分値の平均値（「Ｇ平均値Ｇａｖ」と呼ぶ）と、Ｂ成分値の平均値（「Ｂ平均値Ｂａｖ」と呼ぶ）と、を含んでいる。

次に、第２特定部４１２は、背景色値を中心とする所定幅の色範囲を、背景色範囲として決定する。背景色範囲としては、例えば、（Ｒａｖ−Ｗ）＜Ｒ成分値＜（Ｒａｖ＋Ｗ）、かつ、（Ｇａｖ−Ｗ）＜Ｇ成分値＜（Ｇａｖ＋Ｗ）、かつ、（Ｂａｖ−Ｗ）＜Ｂ成分値＜（Ｂａｖ＋Ｗ）である色範囲を採用可能である。ここで、幅に対応する値Ｗは、所定値である。なお、背景色範囲としては、上記の範囲に限らず、読取画像８０の背景部分の色を含む種々の範囲を採用可能である。例えば、上記の背景色値からの距離（例えば、ＲＧＢ色空間内でのユークリッド距離）が所定の閾値以下である色の範囲を、採用してもよい。また、背景色値の算出方法としては、上記方法に限らず、種々の方法を採用可能である。例えば、読取画像８０の端部に配置された複数の画素の色値の平均値を、背景色値として採用してもよい。一般に、第２特定部４１２は、読取画像８０の解析結果に応じて背景色範囲を決定すれば、読取画像８０に適した二値化処理を実現できる。ただし、背景色範囲として、所定の範囲を採用してもよい。例えば、Ｒ成分値とＧ成分値とＢ成分値とから算出される輝度値が所定の閾値以上である色の範囲を、採用してもよい。

図４（Ｄ）は、部分二値画像データによって表される部分二値画像８０ｃの例を示す概略図である。部分二値画像８０ｃは、互いに分離した３つのオブジェクト領域８３ｃ、８４ｃ、８９ｃを、表している。各オブジェクト領域８３ｃ、８４ｃ、８９ｃは、それぞれ、連続する複数のオブジェクト画素によって構成されている。第１オブジェクト領域８３ｃは、第３オブジェクト８３を表し、第２オブジェクト領域８４ｃは、第４オブジェクト８４を表し、第３オブジェクト領域８９ｃは、囲み線８５と、囲み線８５と交差する第１オブジェクト８１および第２オブジェクト８２と、の全体を表している。以下、第３オブジェクト領域８９ｃのうちの、第１オブジェクト８１を表す部分を第１部分領域８１ｃとも呼び、第２オブジェクト８２を表す部分を第２部分領域８２ｃとも呼び、囲み線８５を表す部分を囲み線部分領域８５ｃとも呼ぶ。なお、第２特定部４１２は、互いに離れたオブジェクト領域を区別する処理（例えば、ラベリング処理）を行っていない。しかし、第２特定部４１２は、オブジェクトを表すオブジェクト領域（図４（Ｄ）の例では、３つのオブジェクト領域８３ｃ、８４ｃ、８９ｃ）を、ステップＳ２３５の二値化処理によって特定している、ということができる。

図３の次のステップＳ２３７では、第３特定部４１３は、二値画像によって表されるオブジェクト領域から、囲み線領域８５ｂ（囲み線部分領域８５ｃとおおよそ同じ）を削除する。具体的には、第３特定部４１３は、ステップＳ２３５の二値化処理によって特定されたオブジェクト画素のうちの、処理対象の囲み線領域（ここでは、囲み線領域８５ｂ）に含まれる画素の種類を、背景画素に変更する。

図４（Ｅ）は、ステップＳ２３７の処理済の部分二値画像データによって表される部分二値画像８０ｄの例を示す概略図である。図４（Ｅ）には、図４（Ｃ）で説明した囲み線領域８５ｂが、破線で示されている。図４（Ｄ）の部分二値画像８０ｃと比較すると、第３オブジェクト領域８９ｃのうちの囲み線部分領域８５ｃが削除されている。また、第１部分領域８１ｃからは、囲み線領域８５ｂと重なっていた部分が、削除されている。この結果、第１部分領域８１ｃのうちの、囲み線領域８５ｂの外周側の部分領域８１ｃｏと、囲み線領域８５ｂの内周側の部分領域８１ｃｉとが、互いに分離した領域として残っている。以下、部分領域８１ｃｏを「第１外候補領域８１ｃｏ」とも呼び、部分領域８１ｃｉを「第１内候補領域８１ｃｉ」とも呼ぶ。同様に、第２部分領域８２ｃからは、囲み線領域８５ｂと重なっていた部分が、削除されている。この結果、第２部分領域８２ｃのうちの、囲み線領域８５ｂの外周側の部分領域８２ｃｏと、囲み線領域８５ｂの内周側の部分領域８２ｃｉとが、互いに分離した領域として残っている。以下、部分領域８２ｃｏを「第２外候補領域８２ｃｏ」とも呼び、部分領域８２ｃｉを「第２内候補領域８２ｃｉ」とも呼ぶ。第１オブジェクト領域８３ｃと、第２オブジェクト領域８４ｃとは、そのまま残っている。

図３の次のステップＳ２４０では、第３特定部４１３は、部分二値画像データに対して、ラベリング処理を行う。ラベリング処理の手順は、ステップＳ２１５のラベリング処理の手順と同じである。図４（Ｅ）の例では、互いに分離した６つのオブジェクト領域８１ｃｉ、８１ｃｏ、８２ｃｉ、８２ｃｏ、８３ｃ、８４ｃに、互いに異なる識別子が割り当てられる。第３特定部４１３は、このラベリング処理の結果を表す第２ラベルデータ（例えば、画素と識別子とを対応付けるデータ）を、生成する。

第３特定部４１３によって特定されたオブジェクト領域８１ｃｉ、８１ｃｏ、８２ｃｉ、８２ｃｏ、８３ｃ、８４ｃは、囲み線８５とは異なるオブジェクトを表す領域である。後述するように、抽出部４２０は、これらのオブジェクト領域から、囲み線８５によって囲まれたオブジェクトを表す領域を抽出する。このように、第３特定部４１３によって特定されるオブジェクト領域は、抽出部４２０によって抽出されるオブジェクト領域の候補である。従って、第３特定部４１３によって特定されるオブジェクト領域を、「候補オブジェクト領域」とも呼ぶ。

図３の次のステップＳ２４２では、抽出部４２０の接触抽出部４２２は、囲み線領域の削除に起因して分離した複数の候補オブジェクト領域の組合せを特定する処理である組合せ特定処理を実行する。図５は、組合せ特定処理のフローチャートである。最初のステップＳ３００では、接触抽出部４２２は、格子状の所定のパターンを用いることによって、処理対象の囲み線領域（ここでは、図４（Ｃ）の囲み線領域８５ｂ）から、複数の分離部分領域を抽出する。

図６は、組合せ特定処理の概略図である。図６（Ａ）は、囲み線領域８５ｂを示し、図６（Ｂ）は、格子状の所定のパターン８０ｐの例を示している。このパターン８０ｐは、矩形状の有効部分範囲Ａａと、有効部分範囲Ａａと同じ形状の無効部分範囲Ａｕとが、格子状に交互に並ぶパターンである。図中では、有効部分範囲Ａａにハッチングが付されている。図示するように、第１方向Ｄｘに沿って、有効部分範囲Ａａと無効部分範囲Ａｕとが交互に並び、また、第２方向Ｄｙに沿って、有効部分範囲Ａａと無効部分範囲Ａｕとが交互に並んでいる。

図６（Ｂ）には、囲み線領域８５ｂが、パターン８０ｐ上に重ねて示されている。接触抽出部４２２は、囲み線領域８５ｂにパターン８０ｐを重ねることによって、囲み線領域８５ｂから、有効部分範囲Ａａに含まれる部分領域を抽出する。具体的には、例えば、有効部分範囲Ａａと重なる囲み線領域８５ｂは、二値画像内で抽出された画素として維持され、無効部分範囲Ａｕと重なる囲み線領域８５ｂは、二値画像内で抽出されない画素に変更される。なお、囲み線領域８５ｂに対するパターン８０ｐの相対位置の決定方法としては、任意の方法を採用可能である。例えば、読取画像８０に対するパターン８０ｐの相対位置が、予め決定されていてもよい。この場合、接触抽出部４２２は、この相対位置に従って、囲み線領域８５ｂに対するパターン８０ｐの相対位置を特定する。

図６（Ｃ）は、抽出された部分領域８５ｓの例を示す概略図である。図示するように、複数の部分領域８５ｓが、抽出される。図６（Ｂ）に示すように、１つの部分範囲Ａａ、Ａｕの大きさは、囲み線領域８５ｂが多数の部分範囲Ａａ、Ａｕと重なり得るように、十分に小さい。従って、図６（Ｃ）に示すように、囲み線領域８５ｂからは、互いに分離した複数の部分領域８５ｓが、抽出される。図６（Ｂ）に示すように、有効部分範囲Ａａと無効部分範囲Ａｕとは、囲み線領域８５ｂの全体に亘って均等に配置されている。従って、図６（Ｃ）に示すように、複数の部分領域８５ｓは、囲み線領域８５ｂの全体に亘って、おおよそ均等に、分布する。また、図６（Ｂ）に示すように、１つの部分範囲Ａａ、Ａｕの大きさは、囲み線領域８５ｂの線幅よりも大きい。従って、図６（Ｃ）に示すように、囲み線領域８５ｂからは、囲み線領域８５ｂの内周縁８５ｂｉから外周縁８５ｂｏまで延びる部分領域８５ｓが、抽出される。なお、囲み線の線幅は、所定のペンによって記入された線の幅であり、読取画像の解像度（すなわち、画素密度）に応じて予め決められている。また、部分領域８５ｓと、部分領域８５ｓではない領域とが、囲み線に沿って交互に並ぶように、複数の部分領域８５ｓが抽出されている。以下、部分領域８５ｓのことを「分離部分領域８５ｓ」とも呼ぶ。

次に、接触抽出部４２２は、部分二値画像８０ｄ（図４（Ｅ））に、分離部分領域８５ｓ（図６（Ｃ））を重ねることによって得られる二値画像（「組合せ用二値画像」と呼ぶ）を表す二値画像データを生成する。図６（Ｄ）は、組合せ用二値画像８０ｄｓの一部を示す概略図である。組合せ用二値画像８０ｄｓは、部分二値画像８０ｄ（図４（Ｅ））によって表される候補オブジェクト領域と、新たに抽出された分離部分領域８５ｓと、のいずれかに含まれる画素を、他の画素と区別する。図中では、候補オブジェクト領域８１ｃｉ、８１ｃｏ、８２ｃｉ、８２ｃｏ、８３ｃと、複数の分離部分領域８５ｓと、が示されている。

図示するように、第１外候補領域８１ｃｏと第１内候補領域８１ｃｉとの間には、第１分離部分領域８５ｓ１が配置されている。これらの候補オブジェクト領域８１ｃｏ、８１ｃｉは、共通の第１分離部分領域８５ｓ１と接触している。また、第２外候補領域８２ｃｏと第２内候補領域８２ｃｉとの間には、第２分離部分領域８５ｓ２が配置されている。これらの候補オブジェクト領域８２ｃｉ、８２ｃｏは、共通の第２分離部分領域８５ｓ２と接触している。このように、共通の分離部分領域８５ｓに接触する内候補領域と外候補領域とを抽出することによって、囲み線領域８５ｂを挟んで対向する内候補領域と外候補領域とを抽出することができる。第１オブジェクト領域８３ｃには、分離部分領域８５ｓは接触していない。図示を省略するが、第２オブジェクト領域８４ｃ（図４（Ｅ））にも、分離部分領域８５ｓは接触していない。

図５の次のステップＳ３２０では、接触抽出部４２２は、組合せ用二値画像８０ｄｓを表す二値画像データに対して、ラベリング処理を行う。ラベリング処理の手順は、図２のステップＳ２１５のラベリング処理の手順と同じである。図６（Ｄ）の例では、第１内候補領域８１ｃｉと第１外候補領域８１ｃｏと第１分離部分領域８５ｓ１とを含む連続な領域８１ｄｓに、共通の識別子が割り当てられる。同様に、第２内候補領域８２ｃｉと第２外候補領域８２ｃｏと第２分離部分領域８５ｓ２とを含む連続な領域８２ｄｓに、共通の識別子が割り当てられる。なお、２つの領域８１ｄｓ、８２ｄｓは、互いに分離しているので、２つの領域８１ｄｓ、８２ｄｓには、互いに異なる識別子が割り当てられる。接触抽出部４２２は、このラベリング処理の結果を表す第３ラベルデータ（例えば、画素と識別子とを対応付けるデータ）を、生成する。

図５の次のステップＳ３３０では、接触抽出部４２２は、部分二値画像８０ｄ（図４（Ｅ））によって表される複数の候補オブジェクト領域のうち、ステップＳ３２０で同じ識別子に対応付けられた複数の候補オブジェクト領域を、１つのオブジェクト領域として特定する（以下「組合せオブジェクト領域」とも呼ぶ）。図６（Ｅ）は、組合せオブジェクト領域を示す概略図である。図中には、５つの候補オブジェクト領域８１ｃｉ、８１ｃｏ、８２ｃｉ、８２ｃｏ、８３ｃが示されている。第１外候補領域８１ｃｏと第１内候補領域８１ｃｉとは、１つの組合せオブジェクト領域８１ｅとして特定されている（「第１組合せオブジェクト領域８１ｅ」とも呼ぶ）。また、第２外候補領域８２ｃｏと第２内候補領域８２ｃｉとは、１つの組合せオブジェクト領域８２ｅとして特定されている（「第２組合せオブジェクト領域８２ｅ」とも呼ぶ）。接触抽出部４２２は、特定した組合せオブジェクト領域を表す組合せオブジェクトデータを生成する。例えば、接触抽出部４２２は、組合せオブジェクト領域に、固有の識別子を割り当て、そして、候補オブジェクト領域の識別子と組合せオブジェクト領域の識別子との対応関係を表すデータを組合せオブジェクトデータとして生成する。

ステップＳ３３０の終了に応じて、図５の処理、すなわち、図３のステップＳ２４２が終了する。図３の次のステップＳ２４５では、抽出部４２０の内包抽出部４２４は、囲み線領域８５ｂ（図４（Ｃ））以外の候補オブジェクト領域（図４（Ｅ））のそれぞれについて、候補オブジェクト領域が囲み線領域８５ｂに囲まれているか否かを判定する。内包抽出部４２４は、例えば、候補オブジェクト領域が、囲み線領域８５ｂの内周側の領域（「内側領域８５ｂｉ」と呼ぶ）と重なっている場合に、候補オブジェクト領域が囲み線領域８５ｂに囲まれている、と判定する。図４（Ｅ）の例では、３つの候補オブジェクト領域８１ｃｉ、８２ｃｉ、８３ｃのそれぞれが、内側領域８５ｃｉと重なっている。従って、３つの候補オブジェクト領域８１ｃｉ、８２ｃｉ、８３ｃのそれぞれが、囲み線領域８５ｂに囲まれていると判定される。他の３つの候補オブジェクト領域８１ｃｏ、８２ｃｏ、８４ｃのそれぞれは、内側領域８５ｃｉとは重なっておらず、囲み線領域８５ｂの外周側の領域（「外側領域８５ｂｏ」と呼ぶ）と重なっている。従って、３つの候補オブジェクト領域８１ｃｏ、８２ｃｏ、８４ｃのそれぞれは、囲み線領域８５ｂに囲まれていないと判定される。また、内包抽出部４２４は、判定結果を表す包含関係データ（例えば、候補オブジェクト領域の識別子と、囲み線領域８５ｂに囲まれているか否かを表すフラグと、の対応関係を表すデータ）を生成する。

なお、候補オブジェクト領域が、囲み線領域８５ｂの内周側の領域（すなわち、内側領域８５ｂｉ）と重なっているか否かを判定する方法としては、種々の方法を採用可能である。例えば、以下の方法を採用可能である。ここで、図４（Ｃ）の二値画像８０ｂと図４（Ｅ）の部分二値画像８０ｄを例として用いて、説明を行う。囲み線領域に含まれる画素を、「囲み線画素」とも呼び、囲み線画素とは異なる画素を「非囲み線画素」とも呼ぶ。図４（Ｃ）、図４（Ｄ）の例では、囲み線画素は、囲み線領域８５ｂに含まれる画素である。非囲み線画素は、囲み線領域８５ｂの画素とは異なる画素である。具体的には、非囲み線画素は、囲み線領域８５ｂの内周側の背景を表す画素と、囲み線領域８５ｂの外周側の背景を表す画素と、囲み線領域８５ｂ以外の候補オブジェクト領域８１ｃｏ、８１ｃｉ、８２ｃｏ、８２ｃｉ、８３ｃ、８４ｃに含まれる画素と、を含んでいる。

まず、複数の非囲み線画素が連続する領域であって、部分二値画像８０ｄの端を含む領域を、特定する。特定される領域は、囲み線領域８５ｂの外周側を囲む領域（すなわち、外側領域８５ｂｏ）である（「第２種外周領域」と呼ぶ）。具体的には、第２種外周領域は、囲み線領域８５ｂの外周側の全体、すなわち、外周側の背景を表す領域と、外周側に配置された候補オブジェクト領域８１ｃｏ、８２ｃｏ、８４ｃと、の全体である。

部分二値画像８０ｄから第２種外周領域を除いた残りの領域は、囲み線領域８５ｂの最外輪郭に囲まれた領域である（「第２種判定領域」と呼ぶ）。具体的には、第２種判定領域は、囲み線領域８５ｂと、内側領域８５ｂｉと、の全体である。内側領域８５ｂｉは、囲み線領域８５ｂの内周側の背景を表す領域と、内周側に配置された候補オブジェクト領域８１ｃｉ、８２ｃｉ、８３ｃと、を含んでいる。

この第２種判定領域から、候補オブジェクト領域の画素が検出される場合、その候補オブジェクト領域は内側領域８５ｂｉと重なっている、すなわち、その候補オブジェクト領域は囲み線に囲まれている、と判定される。例えば、第２種判定領域からは、３つの候補オブジェクト領域８１ｃｉ、８２ｃｉ、８３ｃのそれぞれの画素が検出される。従って、３つの候補オブジェクト領域８１ｃｉ、８２ｃｉ、８３ｃは、囲み線領域８５ｂ（すなわち、囲み線８５）に囲まれている、と判定される。第２種判定領域から、候補オブジェクト領域の画素が検出されない場合、その候補オブジェクト領域は内側領域８５ｂｉとは重なっていない、すなわち、その候補オブジェクト領域は、囲み線領域８５ｂに囲まれていないと判定される。例えば、第２種判定領域からは、３つの候補オブジェクト領域８１ｃｏ、８２ｃｏ、８４ｃの画素は検出されない。従って、３つの候補オブジェクト領域８１ｃｏ、８２ｃｏ、８４ｃは、囲み線領域８５ｂに囲まれていないと判定される。

図３の次のステップＳ２４６では、内包抽出部４２４は、内包オブジェクト領域を抽出する。内包オブジェクト領域は、囲み線８５の内周側に全体が囲まれたオブジェクトを表す領域である。本実施例では、内包抽出部４２４は、候補オブジェクト領域のうちの、囲み線領域８５ｂに囲まれていると判定され、かつ、組合せオブジェクト領域を構成しない候補オブジェクト領域を、内包オブジェクト領域として抽出する。図４（Ｅ）の例では、第１オブジェクト領域８３ｃが、内包オブジェクト領域として抽出される。

以上のように、内包抽出部４２４は、囲み線８５によって全体が囲まれたオブジェクトを表す内包オブジェクト領域を、特定する。

図３の次のステップＳ２４７では、接触オブジェクト領域を抽出する。接触オブジェクト領域は、囲み線と接触するオブジェクトのうちの、囲み線によって選択されたオブジェクトとして処理されるオブジェクトを表す領域である。図７は、接触オブジェクト領域の抽出のフローチャートである。最初のステップＳ４００では、接触抽出部４２２は、図５のステップＳ３３０で特定された組合せオブジェクト領域の中から、未処理の１つの組合せオブジェクト領域（例えば、図６（Ｅ）の８１ｅ（８１ｃｏ、８１ｃｉを含む））を、処理対象の組合せオブジェクト領域として選択する。次のステップＳ４１０では、接触抽出部４２２は、処理対象の組合せオブジェクト領域全体（例えば、図６（Ｅ）の８１ｃｏ＋８１ｃｉ）のうちの内周側の候補オブジェクト領域の割合（例えば、図６（Ｅ）の８１ｃｉ）が所定の割合閾値以上であるか否かを判定する。この割合は、面積の割合と正の相関を有していればよく、本実施例では、割合として画素数の割合が算出される。割合閾値としては、ゼロ％よりも大きく１００％よりも小さい任意の値を採用可能である。本実施例では、閾値は５０％である。

割合が閾値以上である場合（Ｓ４１０：Ｙｅｓ）、次のステップＳ４２０で、接触抽出部４２２は、処理対象の１つの組合せオブジェクト領域を、１つの接触オブジェクト領域として抽出し、そして、ステップＳ４３０に移行する。割合が閾値未満である場合（Ｓ４１０：Ｎｏ）、接触抽出部４２２は、ステップＳ４２０をスキップして、ステップＳ４３０に移行する。

ステップＳ４３０では、接触抽出部４２２は、全ての組合せオブジェクト領域の処理が終了したか否かを判定する。未処理の組合せオブジェクト領域が残っている場合（Ｓ４３０：Ｎｏ）、接触抽出部４２２は、ステップＳ４００に戻って、未処理の組合せオブジェクト領域の処理を行う。全ての組合せオブジェクト領域の処理が終了した場合（Ｓ４３０：Ｙｅｓ）、接触抽出部４２２は、図７の処理を終了する。

図４（Ｆ）は、抽出された接触オブジェクト領域と内包オブジェクト領域とを示す概略図である。図示するように、第１組合せオブジェクト領域８１ｅは、接触オブジェクト領域として抽出されているが、第２組合せオブジェクト領域８２ｅ（図６（Ｅ））は、接触オブジェクト領域として抽出されていない。また、第１オブジェクト領域８３ｃが、内包オブジェクト領域として抽出されている。接触オブジェクト領域と内包オブジェクト領域とは、囲み線によって選択されたオブジェクトを表す領域として、処理される。後述するように、本実施例では、囲み線によって選択されたオブジェクトは、消去される。

図３の次のステップＳ２４８は、読取画像８０中の隙間領域の色補正処理である。隙間領域は、組合せオブジェクト領域を構成する複数の候補オブジェクト領域の間の領域である。例えば、図６（Ｅ）の第２内候補領域８２ｃｉと第２外候補領域８２ｃｏとの間の領域が、隙間領域である。本実施例では、色変更部４３０は、図５のステップＳ３３０で特定された組合せオブジェクト領域のうちの、消去されずに残る組合せオブジェクト領域の隙間領域の色を補正する。

図８は、隙間領域の色補正処理のフローチャートである。最初のステップＳ５００では、色変更部４３０は、消去されずに残る組合せオブジェクト領域の中から、未処理の１つの組合せオブジェクト領域を、処理対象の組合せオブジェクト領域（「対象組合せ領域」と呼ぶ）として選択する。図９は、隙間領域の色補正処理の概略図である。図９（Ａ）は、対象組合せ領域の例を示している。図中には、対象組合せ領域としての第２組合せオブジェクト領域８２ｅが示されている。第２組合せオブジェクト領域８２ｅを構成する第２内候補領域８２ｃｉと第２外候補領域８２ｃｏとの間に、隙間領域８２ｇが形成されている。以下、第２組合せオブジェクト領域８２ｅが、対象組合せ領域として選択されたこととして、説明を行う。

図８の次のステップＳ５１０では、領域連結部４２５は、対象組合せ領域を構成する複数の候補オブジェクト領域に、候補オブジェクト領域の範囲を膨張させる膨張処理を実行する。この膨張処理の手順は、図２のステップＳ２１０で説明した膨張処理の手順と同じである。図９（Ｂ）は、膨張処理済の候補オブジェクト領域を示している。第２外候補領域８２ｃｏは、膨張することによって、第２膨張済外候補領域８２ｐｏを形成し、第２内候補領域８２ｃｉは、膨張することによって、第２膨張済内候補領域８２ｐｉを形成している。第２膨張済外候補領域８２ｐｏと第２膨張済内候補領域８２ｐｉとは、互いに接触して、隙間領域８２ｇを埋めている。以下、第２膨張済外候補領域８２ｐｏと第２膨張済内候補領域８２ｐｉとを含む連続な領域を「膨張済候補領域８２ｐ」とも呼ぶ。

なお、ステップＳ５１０の膨張処理による膨張の程度は、囲み線領域の削除によって生じる隙間領域が、膨張済の候補オブジェクト領域によって埋められるように、十分に大きな程度に、予め設定されている。

図８の次のステップＳ５２０では、領域連結部４２５は、膨張処理済の候補オブジェクト領域、すなわち、膨張済候補領域８２ｐに、候補オブジェクト領域の範囲を収縮させる収縮処理を実行する。この収縮処理の手順は、図２のステップＳ２１０で説明した収縮処理の手順と同じである。ただし、ステップＳ５２０の収縮処理の程度は、ステップＳ５１０の膨張処理の程度と、同じに設定される。

図９（Ｃ）は、収縮処理済の候補オブジェクト領域を示している。膨張済候補領域８２ｐは、収縮することによって、収縮済候補領域８２ｑを形成している。収縮済候補領域８２ｑの元の膨張済候補領域８２ｐは、隙間領域８２ｇを埋めているので、収縮済候補領域８２ｑも、隙間領域８２ｇを埋めている。上述したように、ステップＳ５２０の収縮処理の程度は、ステップＳ５１０の膨張処理の程度と、同じに設定されている。従って、収縮済候補領域８２ｑの輪郭は、第２内候補領域８２ｃｉと第２外候補領域８２ｃｏとのそれぞれの輪郭と、おおよそ一致する（隙間領域８２ｇの近傍を除く）。

図８の次のステップＳ５２５では、領域連結部４２５は、ステップＳ５１０の膨張処理と、ステップＳ５２０の収縮処理と、によって連結した領域を連結オブジェクト領域として特定する。図９（Ｃ）の例では、収縮済候補領域８２ｑが、連結オブジェクト領域として、特定される（以下、連結オブジェクト領域８２ｑとも呼ぶ）。

具体的には、領域連結部４２５は、例えば、対象組合せ領域（例えば、図９（Ａ）の組合せオブジェクト領域８２ｅ）を表す二値画像データに、膨張処理（Ｓ５１０）と収縮処理（Ｓ５２０）とを行う。そして、領域連結部４２５は、膨張処理と収縮処理とを行うことによって得られる二値画像データに、ラベリング処理を行う（Ｓ５２５）。以上により、領域連結部４２５は、連結オブジェクト領域を特定できる。領域連結部４２５は、このラベリング処理の結果を表す第４ラベルデータ（例えば、画素と、連結オブジェクト領域に含まれるか否かを表すフラグと、の対応関係を表すデータ）を生成する。

図８の次のステップＳ５３０では、色変更部４３０は、連結オブジェクト領域８２ｑから、元の候補オブジェクト領域８２ｃｉ、８２ｃｏを削除することによって、隙間領域８２ｇを特定する。具体的には、連結オブジェクト領域８２ｑに含まれる画素から、元の候補オブジェクト領域８２ｃｉ、８２ｃｏに含まれる画素を除いた、残りの画素で構成される領域が、隙間領域８２ｇとして採用される。図９（Ｄ）は、特定された隙間領域８２ｇを示す概略図である。図示するように、第２内候補領域８２ｃｉと第２外候補領域８２ｃｏとの間の領域が、隙間領域８２ｇとして特定されている。

図８の次のステップＳ５４０では、色変更部４３０は、読取画像８０（図４（Ａ））における隙間領域８２ｇ内の画素の色値を補正する。図９（Ｅ）は、色値の補正の概略図である。図中には、隙間領域８２ｇと、第２内候補領域８２ｃｉと、第２外候補領域８２ｃｏの一部と、囲み線領域８５ｂの一部と、が示されている。図示された第２外候補領域８２ｃｏの一部は、囲み線領域８５ｂ、すなわち、隙間領域８２ｇと接触する部分である。図示された囲み線領域８５ｂの一部は、隙間領域８２ｇを含む部分である。

色変更部４３０は、隙間領域８２ｇ内の画素Ｐｘｔ（「対象画素Ｐｘｔ」と呼ぶ）の色値を、第２内候補領域８２ｃｉ内の画素Ｐｘｉ（「内画素Ｐｘｉ」と呼ぶ）の色値と、第２外候補領域８２ｃｏ内の画素Ｐｘｏ（「外画素Ｐｘｏ」と呼ぶ）の色値と、を用いることによって、決定する。

例えば、色変更部４３０は、内画素Ｐｘｉとして、第２内候補領域８２ｃｉ内の画素のうちの対象画素Ｐｘｔに最も近い画素を採用する。次に、色変更部４３０は、対象画素Ｐｘｔと内画素Ｐｘｉとを通る直線Ｌｘｔを特定する。このような直線Ｌｘｔは、囲み線領域８５ｂの延びる方向（すなわち、囲み線８５の延びる方向）と、おおよそ直交する。色変更部４３０は、外画素Ｐｘｏとして、第２外候補領域８２ｃｏ内の画素であって直線Ｌｘｔと重なる画素のうちの、対象画素Ｐｘｔに最も近い画素を採用する。そして、色変更部４３０は、対象画素Ｐｘｔの色値を、内画素Ｐｘｉの色値と外画素Ｐｘｏの色値との線形補間によって、算出する。従って、色変更部４３０は、対象画素Ｐｘｔの色値として、第２内候補領域８２ｃｉの色と第２外候補領域８２ｃｏの色とに適した色値を、算出できる。

ここで、１つの画素の形状が、第１方向Ｄｘと平行な２辺と、第２方向Ｄｙと平行な２辺とで構成される矩形であることとしている。画素が直線Ｌｘｔと重なることは、画素を表す矩形が直線Ｌｘｔと重なることを意味している。１つの画素の第１方向Ｄｘの大きさは、第１方向Ｄｘに沿って隣り合う画素間の距離と同じであり、１つの画素の第２方向Ｄｙの大きさは、第２方向Ｄｙに沿って隣り合う画素間の距離と同じであることとする。直線Ｌｘｔは、対象画素Ｐｘｔの中心位置と内画素Ｐｘｉの中心位置とを通る直線である。また、距離、具体的には、２つの画素間の距離としては、各画素の中心位置の間のユークリッド距離を採用可能である。

色変更部４３０は、隙間領域８２ｇ内の全ての画素のそれぞれについて、上記方法に従って、補正後の色値を算出する。色値の算出が完了したことに応じて、色変更部４３０は、図８の次のステップＳ５５０に移行する。ステップＳ５５０では、色変更部４３０は、消去されずに残る全ての組合せオブジェクト領域の処理が終了したか否かを判定する。未処理の組合せオブジェクト領域が残っている場合（Ｓ５５０：Ｎｏ）、色変更部４３０は、ステップＳ５００に戻って、未処理の組合せオブジェクト領域の処理を進行する。消去されずに残る全ての組合せオブジェクト領域の処理が終了した場合（Ｓ５５０：Ｙｅｓ）、色変更部４３０は、図８の処理、すなわち、図３のステップＳ２４８を終了する。

図３の次のステップＳ２５０は、読取画像８０から、囲み線を消去するために、囲み線領域の色を補正する処理である。次のステップＳ２５５は、読取画像８０から、囲み線によって囲まれた（換言すれば、選択された）オブジェクトを消去する処理である。図４（Ｇ）は、処理済画像９０の例を示す概略図である。この処理済画像９０は、ステップＳ２４８、Ｓ２５０、Ｓ２５５の処理を読取データに対して実行することによって生成される処理済データによって表される画像である。図示するように、処理済画像９０は、読取画像８０から、囲み線８５と、囲み線８５によって囲まれた（換言すれば、選択された）第１オブジェクト８１および第３オブジェクト８３を、消去することによって得られる画像である。第２オブジェクト８２は、囲み線８５と交差しているが、図７のステップＳ４１０の判定結果が「Ｎｏ」であるので、消去されずに残っている。そして、第２オブジェクト８２のうちの囲み線８５と重なっていた部分の色は、図３のステップ２４８によって、修正されている。

図３のステップＳ２５０では、オブジェクト処理部４４０は、読取画像８０の複数の画素のうち、二値画像８０ｂによって表される囲み線領域８５ｂに含まれる画素の色値を、背景色値に変更する。背景色値は、上述のステップＳ２３５で算出された背景色値である。この処理の結果、読取画像８０中の囲み線８５を表していた領域は、背景を表す。なお、ステップＳ２４８で処理された隙間領域の画素は、処理対象から外される。

次のステップＳ２５５では、オブジェクト処理部４４０は、読取画像８０の複数の画素のうち、囲み線によって選択されたオブジェクト領域（すなわち、内包オブジェクト領域と接触オブジェクト領域）に含まれる画素の色値を、背景色値に変更する。背景色値は、上述のステップＳ２３５で算出された背景色値である。この処理の結果、読取画像８０中の第１オブジェクト８１と第３オブジェクト８３とを表していた領域は、背景を表す。

図３の次のステップＳ２６０では、第２特定部４１２は、全ての囲み線領域の処理が終了したか否かを判定する。未処理の囲み線領域が残っている場合には（Ｓ２６０：Ｎｏ）、第２特定部４１２は、ステップＳ２２５に戻って、未処理の囲み線領域の処理を行う。

なお、ステップＳ２４８、Ｓ２５０、Ｓ２５５のそれぞれの処理は、読取画像８０を表す読取データに対して、累積的に行われる。そして、全ての囲み線領域の処理が終了することによって得られる処理済の画像データが、最終的な処理済データとして利用される。

全ての囲み線領域の処理が終了した場合（Ｓ２６０：Ｙｅｓ）、次のステップＳ２６５で、処理済データ出力部４５０は、処理済データを、ネットワーク５００を介して、複合機１００に出力する。次のステップＳ１２０では、複合機１００の処理済データ取得部２３０が、サーバ３００からの処理済データを取得する。次のステップＳ１３０では、印刷制御部２４０が、処理済データを用いて印刷データを生成し、生成した印刷データを印刷実行部１７０に供給する。印刷実行部１７０は、受信した印刷データに従って、画像を印刷する。例えば、図４（Ｇ）に示す画像が印刷される。

以上のように、本実施例では、接触抽出部４２２は、以下の３つの条件が満たされる場合に、内候補オブジェクト領域と外候補オブジェクト領域とを含む領域（例えば、図６（Ｅ）の第１内候補領域８１ｃｉと第１外候補領域８１ｃｏとを含む領域８１ｅ）を、囲み線に接触するオブジェクトを表す接触オブジェクト領域として抽出する（図３：Ｓ２４２、Ｓ２４５、Ｓ２４７）。

３つの条件は、以下の通りである。
（第１条件）第３特定部４１３によって特定された候補オブジェクト領域が、囲み線領域の内周側に配置される内候補オブジェクト領域と、囲み線領域の外周側に配置される外候補オブジェクト領域と、を含む（図３：Ｓ２４２、図５：Ｓ３３０）。
（第２条件）内候補オブジェクト領域と外候補オブジェクト領域とが囲み線領域と接触し、内候補オブジェクト領域と外候補オブジェクト領域との位置関係が、囲み線領域を挟む所定の対向位置関係である（図３：Ｓ２４２、図５：Ｓ３３０）。
（第３条件）内候補オブジェクト領域と外候補オブジェクト領域との全体に対する内候補オブジェクト領域の割合が所定の割合閾値以上である（図３：Ｓ２４７、図７：Ｓ４１０）。

第１条件は、候補オブジェクト領域として、内候補オブジェクト領域と外候補オブジェクト領域との両方が特定される場合に満たされる条件である。囲み線領域が、１つのオブジェクトを表す領域と交差する場合には、囲み線領域の内周側に配置される内候補オブジェクト領域と、囲み線領域の外周側に配置される外候補オブジェクト領域とが、特定される。本実施例では、接触オブジェクト領域の候補である組合せオブジェクト領域は、共通の分離部分領域に接触する複数の候補オブジェクト領域で構成されている（図６（Ｄ）、図６（Ｅ））。そのような複数の候補オブジェクト領域は、通常は、囲み線領域の内周側に配置される内候補オブジェクト領域と、囲み線領域の外周側に配置される外候補オブジェクト領域と、を含んでいる。従って、本実施例では、接触オブジェクト領域を抽出するための条件は、第１条件を含んでいる、ということができる。

第２条件は、内候補オブジェクト領域と外候補オブジェクト領域とが、囲み線領域と接触し、そして、囲み線領域を挟んで対向する場合に満たされる条件である。囲み線領域が、１つのオブジェクトを表す領域と交差する場合には、１つのオブジェクトを表す領域から形成される内候補オブジェクト領域と外候補オブジェクト領域とは、囲み線領域を挟んで対向するので、この第２条件が満たされる。この第２条件は、互いに遠くに離れた内候補オブジェクト領域と外候補オブジェクト領域、すなわち、互いに異なるオブジェクトを表す内候補オブジェクト領域と外候補オブジェクト領域が、接触オブジェクト領域として抽出されることを、抑制する。なお、本実施例では、第２条件の「所定の対向位置関係」は、図６で説明したように、内候補オブジェクト領域と外候補オブジェクト領域とが共通の分離部分領域に接触するような位置関係である。

第３条件は、囲み線によって囲むことが意図されたオブジェクトを特定するための条件である。意図せずに囲み線がオブジェクトと交差する場合には、内候補オブジェクト領域の割合が所定の割合閾値未満である可能性が高い。従って、第３条件は、意図せずに囲み線と交差するオブジェクトを表す内候補オブジェクト領域と外候補オブジェクト領域とが、接触オブジェクト領域として抽出されることを、抑制する。従って、第３条件を抽出条件として用いることによって、意図せずに囲み線がオブジェクトと交差するように重なる場合のうちの少なくとも一部の場合に、そのオブジェクトを表す領域が接触オブジェクト領域として抽出されることを抑制できる。この結果、囲み線がオブジェクトに重なる場合に、オブジェクトを適切に処理することができる。

また、図８、図９で説明したように、領域連結部４２５は、候補オブジェクト領域に膨張処理と収縮処理と行うことによって、内候補オブジェクト領域と外候補オブジェクト領域とが膨張処理と収縮処理とによって連結した領域である連結オブジェクト領域を特定する。例えば、図９の例では、第２内候補領域８２ｃｉと第２外候補領域８２ｃｏとから得られる連結オブジェクト領域８２ｑが特定されている。このように、１つのオブジェクト領域を表す領域が囲み線によって内候補オブジェクト領域と外候補オブジェクト領域とに分離された場合に、それらの領域が連結された連結オブジェクト領域を特定できるので、囲み線がオブジェクトに重なる場合に、オブジェクトを適切に処理することができる。例えば、本実施例では、図８、図９で説明したように、色変更部４３０は、連結オブジェクト領域と、内候補オブジェクト領域と、外候補オブジェクト領域と、を用いることによって、隙間領域を特定している（図９の例では、隙間領域８２ｇが特定される）。そして、色変更部４３０は、内候補オブジェクト領域の色と、外候補オブジェクト領域の色と、に応じて、隙間領域８２ｇの色を変更する。この結果、隙間領域８２ｇの色を、オブジェクトに適した色に、変更できる。

また、図５、図６で説明したように、接触抽出部４２２は、囲み線領域内から複数の分離部分領域を抽出し、共通の分離部分領域に接触する内候補オブジェクト領域と外候補オブジェクト領域とを、第２条件を満たす候補オブジェクト領域として用いている。例えば、図６（Ｄ）の例では、共通の第２分離部分領域８５ｓ２と接触する第２内候補領域８２ｃｉと第２外候補領域８２ｃｏとが、組合せオブジェクト領域８２ｅとして特定されている。そして、図７の処理では、特定された組合せオブジェクト領域から、接触オブジェクト領域が選択されている。従って、囲み線と交差する１つのオブジェクトを表す内候補オブジェクト領域と外候補オブジェクト領域とを、適切に処理することができる。

また、図６で説明したように、接触抽出部４２２は、複数の有効部分範囲Ａａを表す所定のパターン８０ｐに従って、囲み線領域８５ｂ内の有効部分範囲Ａａに含まれる部分領域を、分離部分領域８５ｓとして用いている。従って、囲み線領域内から複数の分離部分領域を容易に抽出できる。また、図６で説明したように、このパターン８０ｐは、複数の有効部分範囲Ａａと複数の無効部分範囲Ａｕとが、格子状に交互に並ぶパターンである。従って、接触抽出部４２２は、種々の形状の囲み線領域内から、適切に、複数の分離部分領域を抽出することができる。

なお、複合機１００の各処理部２１０、２２０、２３０、２４０（具体的には、ＣＰＵ１１０）は、生成または取得したデータ（例えば、読取データと処理済データと印刷データ）を、記憶装置（例えば、揮発性記憶装置１２０）に格納する。そして、各処理部２１０、２２０、２３０、２４０（具体的には、ＣＰＵ１１０）は、記憶装置に格納されたデータを参照することによって、処理に用いる情報を取得する。

同様に、サーバ３００の各処理部４１０、４１１、４１２、４１３、４２０（４２２、４２４）、４２５、４３０、４４０、４５０（具体的には、ＣＰＵ３１０）は、生成または取得したデータ（例えば、読取データと二値画像データとラベルデータと組合せオブジェクトデータと包含関係データと処理済データ）を、記憶装置（例えば、揮発性記憶装置３２０）に格納する。そして、各処理部４１０、４１１、４１２、４１３、４２０（４２２、４２４）、４２５、４３０、４４０、４５０（具体的には、ＣＰＵ３１０）は、記憶装置に格納されたデータを参照することによって、処理に用いる情報を取得する。

Ｂ．変形例：
（１）上述の第２条件の「囲み線領域を挟む所定の対向位置関係」としては、分離部分領域８５ｓ（図６）を用いて特定される位置関係に限らず、内候補オブジェクト領域と外候補オブジェクト領域とが囲み線領域を挟んで対向し得る種々の位置関係を採用可能である。例えば、所定の対向位置関係として、内候補オブジェクト領域と外候補オブジェクト領域との間の最短距離が所定の距離閾値以下である位置関係を、採用してもよい。距離閾値としては、囲み線領域の線幅と同じ長さ、あるいは、囲み線領域の線幅よりも若干長い長さ、を採用可能である（例えば、囲み線領域の線幅の１倍以上２倍以下の範囲内の長さ）。また、所定の対向位置関係として、図９の第２内候補領域８２ｃｉと第２外候補領域８２ｃｏとのように、所定の膨張処理によって、膨張済の内候補オブジェクト領域と膨張済の外候補オブジェクト領域とが接触するような位置関係を、採用してもよい。

（２）接触抽出部４２２による接触オブジェクト領域を抽出するための条件（「抽出条件」と呼ぶ）としては、上記の第１条件と第２条件と第３条件とが満たされることに限らず、種々の条件を採用可能である。例えば、抽出条件は、内候補オブジェクト領域の色値と外候補オブジェクト領域の色値との間の差分が所定の閾値以下であることである第４条件を含んでもよい。第４条件を採用すれば、互いに異なるオブジェクトを表す内候補オブジェクト領域と外候補オブジェクト領域が１つの接触オブジェクト領域として抽出されることを抑制できる。ここで、候補オブジェクト領域の色値としては、候補オブジェクト領域に含まれる複数の画素のそれぞれの色値から算出される種々の代表値（例えば、平均値、最頻値、中央値）を採用可能である。また、色値の差分としては、特定の色成分の差分を採用可能である。例えば、接触抽出部４２２は、Ｒ成分値とＧ成分値とＢ成分値とから輝度値を算出し、輝度値の差分を採用してもよい。

一般的には、囲み線と交差する１つのオブジェクトを表す内候補オブジェクト領域と外オブジェクト領域とを１つの接触オブジェクト領域として抽出するためには、上記の第１条件と第２条件とを含む条件を、抽出条件として採用することが好ましい。例えば、接触抽出部４２２は、第３条件が満たされない場合であっても、第１条件と第２条件とを満たす内候補オブジェクト領域と外候補オブジェクト領域とを、接触オブジェクト領域として抽出してもよい。

（３）接触抽出部４２２によって抽出される接触オブジェクト領域としては、内候補オブジェクト領域と外候補オブジェクト領域との両方を含む領域に限らず、外候補オブジェクト領域を含まずに、内候補オブジェクト領域を含む領域を採用してもよい。

（４）処理対象領域（例えば、候補オブジェクト領域）の膨張処理としては、図２のステップＳ２１０と図８のステップＳ５１０で説明した処理に限らず、処理対象領域の範囲を膨張させる種々の処理を採用可能である。例えば、以下の処理を採用可能である。ここで、処理対象領域に含まれる画素を「領域画素」と呼び、処理対象領域に含まれない画素を「非領域画素」と呼ぶ。膨張処理としては、例えば、複数の非領域画素のうちの、非領域画素とその非領域画素に最も近い領域画素との間の距離が所定の膨張距離以下である非領域画素を選択し、選択された非領域画素の種類を領域画素に変更する処理を採用可能である。この処理によれば、処理対象領域の輪郭が、全周に亘って、所定の膨張距離、拡張される。一般的には、膨張処理としては、処理対象領域の範囲を、その輪郭の全周に亘って拡張する処理を採用可能である。例えば、複数の非領域画素のうちの少なくとも非領域エッジ画素の種類を領域画素に変更する処理を採用可能である。ここで、非領域エッジ画素は、領域画素と接触する非領域画素である。

処理対象領域（例えば、候補オブジェクト領域）の収縮処理としては、図２のステップＳ２１０と図８のステップＳ５２０で説明した処理に限らず、処理対象領域の範囲を収縮させる種々の処理を採用可能である。収縮処理としては、例えば、複数の領域画素のうちの、領域画素とその領域画素に最も近い非領域画素との間の距離が所定の収縮距離以下である領域画素を選択し、選択された領域画素の種類を非領域画素に変更する処理を採用可能である。この処理によれば、処理対象領域の輪郭が、全周に亘って、所定の収縮距離、収縮される。一般的には、収縮処理としては、処理対象領域の範囲を、その輪郭の全周に亘って収縮する処理を採用可能である。例えば、複数の領域画素のうちの少なくとも領域エッジ画素の種類を非領域画素に変更する処理を採用可能である。ここで、領域エッジ画素は、非領域画素と接触する領域画素である。

（５）領域連結部４２５によって特定された連結オブジェクト領域（例えば、図９（Ｃ）の連結オブジェクト領域８２ｑ）の用途としては、隙間領域（例えば、図９（Ｄ）の隙間領域８２ｇ）の特定に限らず、種々の用途を採用可能である。例えば、図３のステップＳ２４２で組合せオブジェクト領域を特定するために、連結オブジェクト領域を用いてもよい。具体的には、接触抽出部４２２は、領域連結部４２５によって特定された１つの連結オブジェクト領域を形成する複数の候補オブジェクト領域を、１つの組合せオブジェクト領域として特定してもよい。

（６）囲み線領域から複数の分離部分領域を抽出するための抽出パターン（すなわち、複数の有効部分範囲を表すパターン）としては、図６（Ｂ）で説明した格子状のパターン８０ｐに限らず、種々のパターンを採用可能である。例えば、抽出パターンとしては、第１方向Ｄｘに延びる複数のラインと第２方向Ｄｙに延びる複数のラインとで構成される格子ラインによって表される無効部分範囲と、ライン間の領域である有効部分範囲と、を表すパターンを採用してもよい。また、抽出パターンとしては、中心位置から放射状に延びる複数の有効部分範囲を表すパターンを採用してもよい（「放射状パターン」とも呼ぶ）。放射状パターンでは、複数の有効部分範囲と複数の無効部分範囲とのそれぞれは、共通の基準位置から、互いに異なる方向に向かって、放射状に延びる。無効部分範囲としては、例えば、所定幅の直線が採用される。この場合、有効部分範囲の形状は、基準位置を中心とする扇形である。有効部分範囲と無効部分範囲とは、基準位置を中心に時計回りに交互に並ぶ。接触抽出部４２２は、囲み線領域の内周側に基準位置が位置するように放射状パターンを囲み線領域に重ねることによって、複数の分離部分領域を抽出する。一般には、抽出パターンとしては、複数の有効部分範囲を表す種々のパターンを採用可能である。

（７）囲み線領域から複数の分離部分領域を抽出する方法としては、抽出パターンを用いる方法に限らず、種々の方法を採用可能である。例えば、接触抽出部４２２は、囲み線領域を、囲み線の延びる方向に沿って等間隔に切断することによって、複数の分離部分領域を取得してもよい。囲み線の延びる方向としては、例えば、囲み線領域の細線化処理によって得られる細線の延びる方向を採用可能である。細線化処理としては、公知の処理（例えば、Hilditchの細線化）を採用可能である。いずれの場合も、複数の分離部分領域としては、囲み線に沿って並ぶ複数の分離部分領域を採用することが好ましい。

（８）隙間領域の色を修正する処理（図８：Ｓ５４０）としては、図９（Ｅ）で説明した補間処理に限らず、内候補オブジェクト領域（例えば、第２内候補領域８２ｃｉ）と外候補オブジェクト領域（例えば、第２外候補領域８２ｃｏ）とのそれぞれの色に応じて隙間領域（例えば、隙間領域８２ｇ）内の画素の色を決定する種々の処理を採用可能である。例えば、図９（Ｅ）の例において、色変更部４３０は、第２内候補領域８２ｃｉ内の画素のうちの対象画素Ｐｘｔとの距離が所定の閾値以下である画素と、第２外候補領域８２ｃｏ内の画素のうちの対象画素Ｐｘｔとの距離が所定の閾値以下である画素と、のそれぞれの色値を用いて、対象画素Ｐｘｔの色値を算出してもよい。算出される色値としては、複数の画素のそれぞれの色値から得られる種々の代表値（例えば、平均値、最頻値、中央値）を採用可能である。

（９）画像処理の手順としては、図２、図３に記載の手順に限らず、種々の手順を採用可能である。例えば、対象画像から、囲み線を構成する領域（すなわち、囲み線領域）と、囲み線を構成しない領域と、を特定する方法としては、図２のステップＳ２０５〜Ｓ２２０で説明した方法に限らず、他の種々の方法を採用可能である。例えば、ステップＳ２１０を省略してもよい。また、典型的な囲み線領域を表す所定のパターンを用いるパターンマッチングによって、対象画像中の囲み線領域を特定してもよい。また、ステップＳ２５５の処理としては、囲み線によって囲まれた（換言すれば、囲み線によって選択された）オブジェクトを消去する処理に限らず、囲み線によって囲まれたオブジェクトを用いる任意の処理を採用可能である。例えば、囲み線によって囲まれた（囲み線によって選択された）オブジェクトを残して他のオブジェクトを消去する処理を採用してもよい。また、隙間領域の色を修正する処理（図３：Ｓ２４８）を省略してもよい。この場合、色変更部４３０を省略可能である。隙間領域に関しては、囲み線の色がそのまま残っていてもよい。さらに、領域連結部４２５を省略可能である。この場合、囲み線領域が削除された後の組合せオブジェクト領域を表す処理済データを用いることができる。また、囲み線領域の色を補正する処理（図３：Ｓ２５０）を省略してもよい。

（１０）処理済データの用途としては、印刷に限らず、任意の用途を採用可能である。例えば、複合機１００の処理済データ取得部２３０は、取得した処理済データを、将来に利用するために、不揮発性記憶装置１３０に格納してもよい。また、処理済データ出力部４５０による処理済データの出力先の装置としては、複合機１００に限らず、任意の装置を採用可能である。例えば、処理済データ出力部４５０は、ネットワーク５００に接続された他のサーバ（図示省略）に、処理済データを出力してもよい。

（１１）対象画像データとしては、読取実行部１６０によって読み取られた読取データに限らず、例えば、デジタルカメラなどで撮影された撮影画像データを採用してもよく、また、文書やイラストなどを作成するためのアプリケーションプログラムを用いて生成された画像データを採用してもよい。また、囲み線は、例えば、ペンを用いて記入された囲み線に限られず、上記アプリケーションプログラムを用いて、画像内に描画された囲み線であっても良い。

（１２）図１に示す実施例において、画像処理のための機能（例えば、画像処理部３９０の機能。具体的には、処理部４１０、４１１、４１２、４１３、４２０（４２２、４２４）、４２５、４３０、４４０、４５０の機能）は、サーバ３００と異なる種類の装置（例えば、デジタルカメラ、スキャナ、パーソナルコンピュータ、携帯電話）によって実現されてもよい。また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、画像処理部３９０の機能を一部ずつ分担して、全体として、画像処理部３９０の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１の抽出部４２０の機能を、論理回路を有する専用のハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含んでいる。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１００...複合機、１１０...ＣＰＵ、１２０...揮発性記憶装置、１３０...不揮発性記憶装置、１３２...プログラム、１４０...表示部、１５０...操作部、１６０...読取実行部、１７０...印刷実行部、１８０...通信インタフェース、１９０...データ処理部、２１０...読取制御部、２２０...読取データ出力部、２３０...処理済データ取得部、２４０...印刷制御部、３００...サーバ、３１０...ＣＰＵ、３２０...揮発性記憶装置、３３０...不揮発性記憶装置、３３２...プログラム、３８０...通信インタフェース、３９０...画像処理部、４１０...対象データ取得部、４１１...第１特定部、４１２...第２特定部、４１３...第３特定部、４２０...抽出部、４２２...接触抽出部、４２４...内包抽出部、４２５...領域連結部、４３０...色変更部、４４０...オブジェクト処理部、４５０...処理済データ出力部、５００...ネットワーク、９００...画像処理システム

Claims (8)

1. 画像処理装置であって、
   対象画像データによって表される対象画像から、前記対象画像中のオブジェクトを特定するために設けられるオブジェクトとしての囲み線を表す画素が示すべき特定の色の画素を抽出することによって、前記囲み線を表す領域である囲み線領域を特定する第１特定部と、
   前記対象画像から、前記対象画像中の背景の色とは異なる色の画素を抽出することによって、オブジェクトを表す領域であるオブジェクト領域を特定する第２特定部と、
   前記第１特定部で特定された囲み線領域と、前記第２特定部で特定されたオブジェクト領域と、に応じて、前記囲み線とは異なるオブジェクトを表す領域である候補オブジェクト領域を特定する第３特定部と、
   前記特定された候補オブジェクト領域に応じて、前記囲み線と接触するオブジェクトを表す領域である接触オブジェクト領域を抽出する接触抽出部と、
   を備え、
   前記接触抽出部は、
   前記特定された候補オブジェクト領域が、前記囲み線領域の内周側に配置される第１候補オブジェクト領域と、前記囲み線領域の外周側に配置される第２候補オブジェクト領域と、を含むことである第１条件と、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記囲み線領域と接触し、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との位置関係が前記囲み線領域を挟む所定の対向位置関係であることである第２条件と、を含む抽出条件が満たされる場合に、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを含む領域を、前記接触オブジェクト領域として抽出し、
   前記接触抽出部は、
   前記囲み線領域内から、前記囲み線領域の内周縁から外周縁まで延びる部分領域であって互いに分離した複数の分離部分領域を抽出し、
   共通の前記分離部分領域と接触する前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを、前記第２条件を満たす前記第１候補オブジェクト領域と前記第２候補オブジェクト領域として用いる、
   画像処理装置。
2. 画像処理装置であって、
   対象画像データによって表される対象画像から、前記対象画像中のオブジェクトを特定するために設けられるオブジェクトとしての囲み線を表す画素が示すべき特定の色の画素を抽出することによって、前記囲み線を表す領域である囲み線領域を特定する第１特定部と、
   前記対象画像から、前記対象画像内の背景の色とは異なる色の画素を抽出することによって、オブジェクトを表す領域であるオブジェクト領域を特定する第２特定部と、
   前記第１特定部で特定された囲み線領域と、前記第２特定部で特定されたオブジェクト領域と、に応じて、前記囲み線とは異なるオブジェクトを表す領域である候補オブジェクト領域を特定する第３特定部と、
   前記特定された候補オブジェクト領域に応じて、前記囲み線と接触するオブジェクトを表す領域である接触オブジェクト領域を抽出する接触抽出部と、
   を備え、
   前記接触抽出部は、
   前記特定された候補オブジェクト領域が、前記囲み線領域の内周側に配置される第１候補オブジェクト領域と、前記囲み線領域の外周側に配置される第２候補オブジェクト領域と、を含むことである第１条件と、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記囲み線領域と接触し、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との位置関係が前記囲み線領域を挟む所定の対向位置関係であることである第２条件と、が満たされる場合であっても、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との全体に対する前記第１候補オブジェクト領域の割合が所定値以上であることである第３条件が満たされない場合には、前記第１候補オブジェクト領域を前記接触オブジェクト領域として抽出せずに、
   前記第１条件と前記第２条件と前記第３条件とを含む抽出条件が満たされる場合に、前記第１候補オブジェクト領域を含む領域を前記接触オブジェクト領域として抽出し、
   前記接触抽出部は、
   前記囲み線領域内から、前記囲み線領域の内周縁から外周縁まで延びる部分領域であって互いに分離した複数の分離部分領域を抽出し、
   共通の前記分離部分領域と接触する前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを、前記第２条件を満たす前記第１候補オブジェクト領域と前記第２候補オブジェクト領域として用いる、
   画像処理装置。
3. 請求項１ないし２に記載の画像処理装置であって、さらに、
   前記囲み線領域の内周側に配置される前記第１候補オブジェクト領域と前記囲み線領域の外周側に配置される前記第２候補オブジェクト領域とに、前記候補オブジェクト領域の範囲を膨張させる膨張処理と、前記膨張処理済の前記候補オブジェクト領域の範囲を収縮させる収縮処理と、を行うことによって、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記膨張処理と前記収縮処理とによって連結した領域である連結オブジェクト領域を特定する、領域連結部を備える、画像処理装置。
4. 請求項３に記載の画像処理装置であって、さらに、
   前記連結オブジェクト領域と、前記連結オブジェクト領域に対応する前記第１候補オブジェクト領域および前記第２候補オブジェクト領域と、に応じて、前記連結オブジェクト領域内に含まれる隙間領域であって、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との間に位置する前記隙間領域を特定し、前記特定した隙間領域の色を、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とのそれぞれの色に応じて、変更する、色変更部を備える、画像処理装置。
5. 請求項１から４のいずれかに記載の画像処理装置であって、
   前記接触抽出部は、前記分離部分領域として用いるべき範囲を定める複数の有効部分範囲を表す所定のパターンに従って、前記囲み線領域内の前記有効部分範囲に含まれる部分領域を前記分離部分領域として用いる、画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記接触抽出部は、前記所定のパターンとして、前記複数の有効部分範囲と、前記分離部分領域として用いるべきではない範囲を定める複数の無効部分範囲とが、格子状に交互に並ぶパターンを用いる、画像処理装置。
7. コンピュータプログラムであって、
   対象画像データによって表される対象画像から、前記対象画像中のオブジェクトを特定するために設けられるオブジェクトとしての囲み線を表す画素が示すべき特定の色の画素を抽出することによって、前記囲み線を表す領域である囲み線領域を特定する第１特定機能と、
   前記対象画像から、前記対象画像中の背景の色とは異なる色の画素を抽出することによって、オブジェクトを表す領域であるオブジェクト領域を特定する第２特定機能と、
   前記第１特定機能で特定された囲み線領域と、前記第２特定機能で特定されたオブジェクト領域と、に応じて、前記囲み線とは異なるオブジェクトを表す領域である候補オブジェクト領域を特定する第３特定機能と、
   前記特定された候補オブジェクト領域に応じて、前記囲み線と接触するオブジェクトを表す領域である接触オブジェクト領域を抽出する接触抽出機能と、
   をコンピュータに実現させ、
   前記接触抽出機能は、
   前記特定された候補オブジェクト領域が、前記囲み線領域の内周側に配置される第１候補オブジェクト領域と、前記囲み線領域の外周側に配置される第２候補オブジェクト領域と、を含むことである第１条件と、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記囲み線領域と接触し、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との位置関係が前記囲み線領域を挟む所定の対向位置関係であることである第２条件と、を含む抽出条件が満たされる場合に、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを含む領域を、前記接触オブジェクト領域として抽出する機能を含み、
   前記接触抽出機能は、
   前記囲み線領域内から、前記囲み線領域の内周縁から外周縁まで延びる部分領域であって互いに分離した複数の分離部分領域を抽出する機能と、
   共通の前記分離部分領域と接触する前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを、前記第２条件を満たす前記第１候補オブジェクト領域と前記第２候補オブジェクト領域として用いる機能と、
   を含む、コンピュータプログラム。
8. コンピュータプログラムであって、
   対象画像データによって表される対象画像から、前記対象画像中のオブジェクトを特定するために設けられるオブジェクトとしての囲み線を表す画素が示すべき特定の色の画素を抽出することによって、前記囲み線を表す領域である囲み線領域を特定する第１特定機能と、
   前記対象画像から、前記対象画像内の背景の色とは異なる色の画素を抽出することによって、オブジェクトを表す領域であるオブジェクト領域を特定する第２特定機能と、
   前記第１特定機能で特定された囲み線領域と、前記第２特定機能で特定されたオブジェクト領域と、に応じて、前記囲み線とは異なるオブジェクトを表す領域である候補オブジェクト領域を特定する第３特定機能と、
   前記特定された候補オブジェクト領域に応じて、前記囲み線と接触するオブジェクトを表す領域である接触オブジェクト領域を抽出する接触抽出機能と、
   を備え、
   前記接触抽出機能は、
   前記特定された候補オブジェクト領域が、前記囲み線領域の内周側に配置される第１候補オブジェクト領域と、前記囲み線領域の外周側に配置される第２候補オブジェクト領域と、を含むことである第１条件と、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とが前記囲み線領域と接触し、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との位置関係が前記囲み線領域を挟む所定の対向位置関係であることである第２条件と、が満たされる場合であっても、前記第１候補オブジェクト領域と前記第２候補オブジェクト領域との全体に対する前記第１候補オブジェクト領域の割合が所定値以上であることである第３条件が満たされない場合には、前記第１候補オブジェクト領域を前記接触オブジェクト領域として抽出せずに、
   前記第１条件と前記第２条件と前記第３条件とを含む抽出条件が満たされる場合に、前記第１候補オブジェクト領域を含む領域を前記接触オブジェクト領域として抽出する機能を含み、
   前記接触抽出機能は、
   前記囲み線領域内から、前記囲み線領域の内周縁から外周縁まで延びる部分領域であって互いに分離した複数の分離部分領域を抽出する機能と、
   共通の前記分離部分領域と接触する前記第１候補オブジェクト領域と前記第２候補オブジェクト領域とを、前記第２条件を満たす前記第１候補オブジェクト領域と前記第２候補オブジェクト領域として用いる機能と、
   を含む、コンピュータプログラム。

Images