JP2018128825A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】画像内の小紙片画像の抽出が失敗した場合に、複数に分かれた小紙片画像をそのまま表示する場合よりも、見やすい画像を生成することができる画像処理装置を提供する。
【解決手段】画像処理装置の生成手段は、画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、原稿台に無作為に置かれたサイズや種類が異なる複数の帳票を一度にスキャンした画像から各帳票の画像部分を抽出して該帳票を特定・認識することができる画像処理装置を提供することを課題とし、画像処理装置は、スキャン画像上の直線を抽出し、抽出された直線のうちの任意の直線に対して平行又は直角になる直線を抽出し、抽出された直線よりなる抽出直線画像から所定の矩形領域を抽出し、当該所定の矩形領域と予め登録された複数の帳票パターンと比較して一致するものがあるか否かを判断し、帳票パターンと一致するものがあったときは、所定の矩形領域を画像から抽出して格納すると共に、当該矩形領域を画像から除外することが開示されている。

特許文献２には、スキャン画像から矩形画像を抽出する際の雑音耐性を強化することを課題とし、画像抽出装置は、スキャン画像を取得し、取得したスキャン画像の二値画像を生成するとともに、当該生成された二値画像から連結画素を検出し、検出した連結画素に対して設定した外接矩形の各辺において、連結画素との接点から当該接点の属する辺の一方の頂点へと至る線分上の複数の点から、その辺に対して垂直方向に走査してエッジ画素を検出し、画像抽出装置は、検出されたエッジ画素がスキャン画像に写し出された対象物の輪郭部に位置する画素であるか否かを判断し、対象物の輪郭部に位置する画素であると判断されたエッジ画素に基づいて矩形領域を設定し、設定された矩形領域から画像を抽出することが開示されている。

特許文献３には、スキャンデータから複数の原稿それぞれに対応する複数の画像データをより精度よく抜き出すことを課題とし、複数の画像データを抜き出す際の基準領域サイズを設定する設定手段と、スキャンデータから複数の原稿に対応する領域を検出する際に用いる検出パラメータの中から１つを選択し、複数の原稿に対応する複数の画像領域を検出する検出手段と、検出した各画像領域のサイズと基準領域サイズとの差を算出する算出手段と、差が予め設定された閾値以下であるとき、当該画像領域を原稿に対する画像領域として決定する第１の決定手段と、差が前記閾値を超えるとき、当該画像領域を検出する際に使用した検出パラメータを変更し、検出手段、算出手段を行い、差が前記閾値以下となったとき、当該画像領域を原稿に対する画像領域として決定する第２の決定手段とを備えることが開示されている。

特開２００８−１６７００９号公報 特開２００９−２５２１１５号公報 特開２００８−１１３０７５号公報

複数の名刺等の小紙片を読み込んで作成された画像から、それぞれの小紙片画像を抽出することが行われている。しかし、正確に小紙片画像を抽出できるとは限らない。したがって、利用者が確認する必要がある。例えば、１枚の小紙片画像を複数に分けて抽出してしまう場合がある。このような場合、誤って抽出した小紙片画像と実物の小紙片の対応がとりにくいため、利用者が確認するにあたって、どの小紙片に誤りが発生しているかを判断することが困難になっている。
本発明は、画像内の小紙片画像の抽出が失敗した場合に、複数に分かれた小紙片画像をそのまま表示する場合よりも、見やすい画像を生成することができる画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する生成手段を有する画像処理装置である。

請求項２の発明は、前記生成手段は、前記小紙片画像間の距離が閾値未満又は以下である場合に、該小紙片画像を結合する、請求項１に記載の画像処理装置である。

請求項３の発明は、前記閾値は、予め定められた値、小紙片の種類に合わせた値、抽出に成功した小紙片画像の大きさに応じた値のいずれかである、請求項２に記載の画像処理装置である。

請求項４の発明は、画像内の小紙片画像の抽出に失敗した場合、該画像から抽出に成功した小紙片画像を消去した画像を生成する生成手段を有する画像処理装置である。

請求項５の発明は、前記画像内の外接矩形が小紙片画像を示していない場合、該画像内の小紙片画像の抽出に失敗した場合とする、請求項１又は４に記載の画像処理装置である。

請求項６の発明は、前記外接矩形の大きさ又は該外接矩形内の検出できた小紙片画像の辺の数にしたがって、該外接矩形が小紙片画像を示しているか否かを判定する判定手段をさらに具備し、前記生成手段は、前記判定手段の判定結果を用いる、請求項５に記載の画像処理装置である。

請求項７の発明は、前記判定手段は、外接矩形の大きさが予め定められた範囲内にある場合、又は、小紙片画像の辺の数が予め定められた数より多い若しくは以上である場合に、外接矩形が小紙片画像を示していると判定する、請求項６に記載の画像処理装置である。

請求項８の発明は、コンピュータを、画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する生成手段として機能させるための画像処理プログラムである。

請求項９の発明は、コンピュータを、画像内の小紙片画像の抽出に失敗した場合、該画像から抽出に成功した小紙片画像を消去した画像を生成する生成手段として機能させるための画像処理プログラムである。

請求項１の画像処理装置によれば、画像内の小紙片画像の抽出が失敗した場合に、複数に分かれた小紙片画像をそのまま表示する場合よりも、見やすい画像を生成することができる。

請求項２の画像処理装置によれば、近い小紙片画像同士を結合することができる。

請求項３の画像処理装置によれば、閾値として、予め定められた値、小紙片の種類に合わせた値、抽出に成功した小紙片画像の大きさに応じた値のいずれかを用いることができる。

請求項４の画像処理装置によれば、画像内の小紙片画像の抽出が失敗した場合に、複数に分かれた小紙片画像をそのまま表示する場合よりも、見やすい画像を生成することができる。

請求項５の画像処理装置によれば、小紙片画像の抽出に失敗した場合として、外接矩形が小紙片画像を示していない場合を用いることができる。

請求項６の画像処理装置によれば、外接矩形が小紙片画像を示しているか否かを判定するのに、外接矩形の大きさ又は小紙片画像の辺の数を用いることができる。

請求項７の画像処理装置によれば、外接矩形が小紙片画像を示している場合として、外接矩形の大きさが予め定められた範囲内にあること、又は、小紙片画像の辺の数が予め定められた数より多い若しくは以上であることを用いることができる。

請求項８の画像処理プログラムによれば、画像内の小紙片画像の抽出が失敗した場合に、複数に分かれた小紙片画像をそのまま表示する場合よりも、見やすい画像を生成することができる。

請求項９の画像処理プログラムによれば、画像内の小紙片画像の抽出が失敗した場合に、複数に分かれた小紙片画像をそのまま表示する場合よりも、見やすい画像を生成することができる。

第１の実施の形態の構成例についての概念的なモジュール構成図である。 画像分離処理モジュールの構成例についての概念的なモジュール構成図である。 二値画像に含まれる各連結画素に設定された外接矩形の一例を示す図である。 小紙片画像が傾いているか否かの判断基準の一例を説明する図である。 連結画素と外接矩形の一例を示す図である。 小紙片画像の領域を特定する際のノイズ耐性の強化について説明する図である。 拡張された抽出画像領域の設定処理を説明する図である。 画像分離処理モジュールによる処理例を示すフローチャートである。 本実施の形態を利用したシステム構成例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 第１の実施の形態を用いずに行った処理例を示す説明図である。 第１の実施の形態による処理例を示すフローチャートである。 リストＺのデータ構造例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 第２の実施の形態の構成例についての概念的なモジュール構成図である。 第２の実施の形態による処理例を示すフローチャートである。 第２の実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

第１の実施の形態である画像処理装置１００は、画像内から小紙片画像を抽出するものであって、図１の例に示すように、画像取得モジュール１０５、画像分離処理モジュール１１０、判定モジュール１１５、画像生成モジュール１２０を有している。
小紙片とは、１回のスキャンで複数枚を読み取ることができる程度の大きさの文書をいう。例えば、名刺、クレジットカード等のカード、レシート（領収書）、レター等の文書が該当する。以下、名刺を例示して説明する。
「画像内の小紙片画像を抽出する」における画像とは、例えば、スキャナの原稿置き台（プラテンともいわれる）の上に、小紙片を置き、１回のスキャンで読み取られた画像をいう。つまり、複数の小紙片を置いた場合は、１回のスキャンで１枚の小紙片を読み取るよりも、スキャン回数を減らすことができる。ただし、本実施の形態（第１の実施の形態又は第２の実施の形態）では、複数の小紙片ではなく、画像内に１つの小紙片であっても対応可能である。また、スキャナを例示したが、デジタルカメラ等を用いて撮影した画像であってもよい。

画像取得モジュール１０５は、画像分離処理モジュール１１０と接続されている。画像取得モジュール１０５は、画像を取得して、その画像を画像分離処理モジュール１１０へ渡す。画像を取得するとは、例えば、スキャナ、デジタルカメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、１枚又は複数枚の小紙片画像が含まれている。

画像分離処理モジュール１１０は、画像取得モジュール１０５、判定モジュール１１５と接続されている。画像分離処理モジュール１１０は、画像取得モジュール１０５が取得した画像から小紙片画像を分離する。処理内容については、図２から図８の例を用いて後述する。

判定モジュール１１５は、画像分離処理モジュール１１０、画像生成モジュール１２０と接続されている。判定モジュール１１５は、画像取得モジュール１０５が取得した画像内の外接矩形が小紙片画像を示していない場合、その画像内の小紙片画像の抽出に失敗した場合とする。「外接矩形が小紙片画像を示していない場合」とは、具体的には、「外接矩形が小紙片画像の全体を含んでいない場合」をいい、必ずしも外接矩形の４辺が小紙片画像の４辺に対応している必要はない。小紙片画像が傾いている場合があるからである。
また、判定モジュール１１５は、外接矩形の大きさ又はその外接矩形内の検出できた小紙片画像の辺の数にしたがって、その外接矩形が小紙片画像を示しているか否かを判定する。具体的には、判定モジュール１１５は、外接矩形の大きさが予め定められた範囲内にある場合、又は、小紙片画像の辺の数が予め定められた数より多い若しくは以上である場合に、外接矩形が小紙片画像を示していると判定するようにしてもよい。もちろんのことながら、２つの条件（（１）外接矩形の大きさが予め定められた範囲内にあること、（２）小紙片画像の辺の数が予め定められた数より多い若しくは以上であること）を満たした場合に、外接矩形が小紙片画像を示していると判定するようにしてもよい。

画像生成モジュール１２０は、判定モジュール１１５と接続されている。画像生成モジュール１２０は、画像内の小紙片画像の抽出に失敗した場合、複数のその小紙片画像を結合した画像を生成する。ここで「画像内の小紙片画像の抽出に失敗した場合」として、例えば、判定モジュール１１５による判定結果を用いればよい。
例えば、画像生成モジュール１２０は、小紙片画像間の距離が閾値未満又は以下である場合に、その小紙片画像を結合するようにしてもよい。ここで「小紙片画像間の距離」として、例えば、小紙片画像の予め定められた位置（例えば、中心、重心、左上角等）間の距離であってもよいし、小紙片画像間の最短距離（又は最長距離）等であってもよい。
また、ここでの閾値は、（１）予め定められた値、（２）小紙片の種類に合わせた値、（３）抽出に成功した小紙片画像の大きさに応じた値のいずれかとしてもよい。「小紙片の種類」とは、例えば、前述したように、名刺、カード、レシート等がある。この種類は、予め定められた種類であってもよいし、操作者の操作によって指定された種類であってもよい。（２）は、種類毎に予め定められた閾値を用いる。また、「抽出に成功した小紙片画像」は、一般的には画像内に複数の小紙片画像があるので、抽出に成功した小紙片画像もあり得る。そこで、抽出に成功した小紙片画像の大きさに応じた閾値を採用する。一般的に、小紙片の大きさが大きいほど、閾値も大きくする。

図２は、画像分離処理モジュール１１０の構成例についての概念的なモジュール構成図である。以下、画像分離処理モジュール１１０が備える各機能についての詳細を説明する。
画像分離処理モジュール１１０は、図２の例に示すように、二値化処理モジュール１６、外接矩形設定モジュール１８、原稿傾き判断モジュール２０、エッジ画素検出モジュール２２、有効エッジ判断モジュール２４、辺傾き算出モジュール２６、抽出画像領域設定モジュール２８、画像抽出モジュール３０を有している。

二値化処理モジュール１６は、画像取得モジュール１０５により取得されたスキャン画像に二値化処理を施して、対象としている画像の二値画像を生成する。例えば、二値化処理モジュール１６は、画像のエッジを強調した二値化処理を行うことにより、画像に含まれる小紙片の輪郭部を抽出しやすくしている。もちろんのことながら、画像取得モジュール１０５が取得した画像が二値画像である場合は、二値化処理モジュール１６は何もせずに画像を外接矩形設定モジュール１８に渡す。

外接矩形設定モジュール１８は、二値化処理モジュール１６により生成された二値画像に含まれる黒画素の連結画素毎にラベルを付与し（ラベリング処理）、ラベルが付与された各連結画素に外接矩形を設定する。以下、図３を参照しながら外接矩形設定モジュール１８の処理を具体的に説明する。

図３は、外接矩形設定モジュール１８の処理により、二値画像に含まれる各連結画素に設定された外接矩形の一例を示す。図３に示した例では、二値画像４０内に３つの小紙片画像が含まれている。ここで、外接矩形設定モジュール１８は、二値画像４０の中に含まれる各小紙片画像の輪郭エッジを表す連結画素４２、４４、４６のそれぞれについて外接矩形５２、５４、５６を設定する。なお、連結画素とは、４連結又は８連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含めてもよい。これらの画素領域の集合とは、４連結等で連続した画素領域が複数あり、その複数の画素領域が近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの（予め定められた距離未満又は以下にあるもの）である。

原稿傾き判断モジュール２０は、外接矩形設定モジュール１８により各連結画素について設定された外接矩形の領域内に含まれている連結画素（小紙片画像）が、設定された外接矩形に対して傾いているか否かを判断する。原稿傾き判断モジュール２０により外接矩形に対して傾いていないと判断された小紙片画像については、そのままその外接矩形の領域を小紙片画像が含まれる画像領域として設定することとしてよい。一方で、外接矩形に対して傾いていると判断された小紙片画像については、以下に説明するように外接矩形の中から小紙片画像の輪郭部を検出して小紙片画像の輪郭に沿った領域を小紙片画像の抽出画像領域として設定する。この傾いた小紙片画像の抽出画像領域の設定処理の詳細については後述する。

ここで、図４を参照しつつ、原稿傾き判断モジュール２０において用いられる、小紙片画像が傾いているか否かの判断基準の一例を説明する。図４に示されるように、原稿傾き判断モジュール２０は、外接矩形５２の各辺において、外接矩形５２の１辺から、当該辺に近接する連結画素４２により構成される１辺が所定の距離（Ｔｈ）内に収まっている場合に、外接矩形に含まれる小紙片画像が傾いていないと判断する。上記の条件に合致しないものは小紙片画像が傾いて画像に含まれているものと判断される。上記Ｔｈの値は辺の長さ毎に予め定めておくこととしてもよい。

エッジ画素検出モジュール２２は、外接矩形設定モジュール１８により設定された各外接矩形内の画像領域から、以下説明する規則にしたがって小紙片画像のエッジ画素を検出する。具体的には、エッジ画素検出モジュール２２は、まず外接矩形の１つの辺を処理対象として選択し、当該辺において連結画素と接する点から、当該辺の遠い方の頂点へと至る線分上の複数の各点から、当該辺に対して垂直方向に走査して最初に検出される画素をエッジ画素として検出する。上記複数の各点は、例えば線分上の１画素毎に取ることとしてもよいし、所定の間隔毎に取ることとしてもよい。

図５は、連結画素と外接矩形の一例を示す図である。図５の例を参照しつつ、エッジ画素検出モジュール２２による処理を具体的に説明する。まずエッジ画素検出モジュール２２は、外接矩形５４の上辺５４−１に対して、連結画素４４との接点４４−Ａを起点とし、４４−Ａから遠い方の頂点、すなわち５４−Ｂに至るまで以下の処理を行う。まずエッジ画素検出モジュール２２は、起点とした接点４４−Ａとの接点の位置座標を記録し、次に５４−Ｂの方向に所定の画素数（例えば１画素）移動して、その点から上辺５４−１に対して垂直方向に走査して黒画素を検出し、検出した黒画素の位置座標を記録する。こうして検出された黒画素をエッジ画素とする。エッジ画素検出モジュール２２は、上記の処理を接点４４−Ａから頂点５４−Ｂに至るまで繰り返し行う。そして、同様の処理を各辺５４−２，３，４についても行い、各辺においてエッジ画素の位置座標を得る。なお、スキャン画像にはノイズが含まれることがあるため、上記検出されたエッジ画素は必ずしも小紙片画像の輪郭部を構成するとはいえない。そこで、以下説明する機能を設け、エッジ画素のうち輪郭部を構成する蓋然性が高いものを選別するようにしてもよい。これによって、小紙片画像の抽出精度を向上させることとしている。

有効エッジ判断モジュール２４は、エッジ画素検出モジュール２２により検出されたエッジ画素が小紙片画像の輪郭部に位置する画素であるか否かを判断する。有効エッジ判断モジュール２４により小紙片画像の輪郭部に位置すると判断されたエッジ画素を有効エッジ画素とする。有効エッジ判断モジュール２４は、以下の３つの判断基準のいずれかに合致するエッジ画素は小紙片画像の輪郭部に位置しない、すなわち有効エッジ画素でないと判断し、いずれの判断基準にも合致しないエッジ画素を有効エッジ画素であると判断する。

第１の判断基準は、走査の開始点たる外接矩形の辺から外接矩形の対角線を超えて検出されたエッジ画素は有効エッジ画素としないとするものである。これは、矩形の小紙片画像の４辺がスキャン画像中に正しく写し出されているのであれば、対角線を超えて小紙片画像の辺が検出されることはないことによる。

第２の判断基準は、隣り合ったエッジ画素との位置の差が所定正値よりも大きいエッジ画素は有効エッジ画素としないとするものである。これは、外接矩形と小紙片画像とのそれぞれの辺とがなだらかな傾斜対の関係にあるため、急激な位置の差があるような場合にはノイズである可能性が高いと判断されることによる。

第３の判断基準は、エッジ画素が接点側に隣接するエッジ画素よりも外接矩形の辺に近づく場合には、そのエッジ画素は有効エッジ画素としないとするものである。これは、外接矩形の辺における接点から頂点へと至るにつれて検出されるエッジ画素は外接矩形の辺から遠くなるはずであるため、逆に外接矩形の辺に近づくエッジ画素はノイズである可能性が高いと判断されることによる。

ここで図６に示した例を参照しつつ、上記の各判断基準により、スキャン画像に各種のノイズが含まれていた場合に、小紙片画像の領域を特定する際のノイズ耐性が強化されることについて説明する。
図６は、小紙片画像の領域を特定する際のノイズ耐性の強化について説明する図である。
図６（Ａ）に示された例では、小紙片画像の上部のエッジが欠けているとする。このとき、外接矩形の上辺に対応して検出されるエッジ画素は、６０−Ａ及び６０−Ｂとなる。ただし、６０−Ａのエッジ画素は、対角線６１を超えて検出されたため第１の判断基準により、そして６０−Ｂのエッジ画素は頂点５６−Ａに近づくにつれて上辺に近づくため第３の判断基準により有効エッジ画素とは判断されない。

図６（Ｂ）に示された例では、小紙片画像の辺の一部に突起４８−Ａ，Ｂがノイズとして付加されているとする。このとき、突起４８−Ａ，Ｂはそれぞれエッジ画素として検出されるが、突起４８−Ａ，Ｂはそれぞれ隣り合うエッジ画素との位置の差が大きく、また、頂点５６−Ｂ側で検出されたエッジ画素に比べて上辺に近いため、第２又は第３の判断基準により有効エッジ画素とは判断されない。

図６（Ｃ）に示された例では、二値化処理の際に小紙片画像の内部がエッジとされてしまったとする。このとき、小紙片画像の内部に入り込んだエッジ画素の一部は、大きく位置が変動し、また頂点５６−Ａに向かうにつれて上辺に近づくものであるため、第２及び第３の判断基準により有効エッジ画素とは判断されない。

以上説明したように、第１の判断基準から第３の判断基準に基づいて、エッジ画素として検出されたもののうち、小紙片画像の輪郭部には位置しないエッジ画素を排除して、小紙片画像の輪郭部に位置するエッジ画素を有効エッジ画素として選別することができる。

辺傾き算出モジュール２６は、有効エッジ判断モジュール２４により有効エッジ画素であると判断された黒画素の位置座標に基づいて、これらの有効エッジ画素により構成される各辺の傾きを算出する。具体的には、辺傾き算出モジュール２６は、外接矩形の辺に対応して取得された有効エッジ画素を１つのグループとして、各グループについて例えば最小二乗法により線分を特定し、特定した各線分と対応する外接矩形の辺との傾きを算出する。

抽出画像領域設定モジュール２８は、有効エッジ画素により構成される辺の座標と、辺傾き算出モジュール２６で算出された有効エッジ画素により構成される各辺の傾きの整合性とに基づいて、小紙片画像が写し出されている矩形領域たる抽出画像領域を設定する。ここで、抽出画像領域は外接矩形設定モジュール１８により設定された外接矩形の内部に限定されるものではなく、外接矩形の外部にまで拡張してもよい。ここで図７を参照しつつ上記の拡張された抽出画像領域の設定処理を説明する。

図７は、拡張された抽出画像領域の設定処理を説明する図である。
図７（Ａ）の例には、一部の輪郭が欠けた二値画像（頂点７０−Ａ、Ｂ、Ｃ、Ｄ、Ｅの各点を連結してなる連結画素）について外接矩形（頂点７２−Ａ、Ｂ、Ｃ、Ｄにより表される矩形）が設定された様子が描かれている。ここで、外接矩形の画像に対して上述した処理を行い有効エッジ画素を取得する。ここで、各辺の傾きの整合性が確認されると、図７（Ｂ）の例に示されるように、対向する辺について長い方の辺の長さに合うように連結画素を拡張して、抽出画像領域（頂点７０−Ａ、Ｂ、Ｆ、Ｄを結んでなる矩形領域）を設定する。
画像抽出モジュール３０は、抽出画像領域設定モジュール２８により設定された矩形の抽出画像領域から画像を抽出する。

次に、図８に示されたフローチャートを参照しながら、画像分離処理モジュール１１０により行われる小紙片画像抽出処理の流れを説明する。

図８に示されるように、画像取得モジュール１０５は、画像読み取り部にセットされた１又は複数枚の小紙片を読み取り、スキャン画像を生成して取得する（Ｓ１０１）。画像分離処理モジュール１１０は、取得したスキャン画像に対してエッジを強調した二値化処理を施して、二値画像を生成する（Ｓ１０２）。画像分離処理モジュール１１０は、生成した二値画像に含まれる連結画素毎にラベルを付与して（Ｓ１０３）、ラベルが付与された連結画素毎に外接矩形を設定する（Ｓ１０４）。

画像分離処理モジュール１１０は、設定された外接矩形に対して、その外接矩形に含まれる連結画素が外接矩形に対して傾いているか否かを判断する（Ｓ１０５）。ここで、傾いていないと判断された外接矩形についてはその外接矩形を抽出画像領域として設定する（Ｓ１０９）。一方で、傾いていると判断された外接矩形については以下の処理を行う。

画像分離処理モジュール１１０は、外接矩形の各辺において、連結画素との接点から当該接点から遠い方の頂点へと至る線上の各点から、当該辺に対して垂直方向に走査してエッジ画素を検出する（Ｓ１０６）。画像分離処理モジュール１１０は、検出されたエッジ画素の中から小紙片画像の輪郭部を構成する有効エッジ画素を選択する（Ｓ１０７）。

画像分離処理モジュール１１０は、外接矩形の各辺において上記の有効エッジ画素の検出処理を行い、得られた有効エッジ画素により形成される各辺の傾きを算出する（Ｓ１０８）。そして、画像分離処理モジュール１１０は、有効エッジ画素により形成される辺と、各辺について算出された傾きとの整合性に基づいて矩形の抽出画像領域を設定する（Ｓ１０９）。画像分離処理モジュール１１０は、外接矩形のそれぞれについて上記の各処理を行い、設定された矩形領域について画像を抽出する（Ｓ１１０）。こうして、スキャン画像に写し出された各小紙片画像を抽出するものである。
以上説明したように、画像分離処理モジュール１１０によれば、対象としている画像から矩形原稿等（小紙片）の矩形画像を抽出する際の雑音耐性を強化することができる。

図９は、本実施の形態を利用したシステム構成例を示す説明図である。
図９（ａ）に示す例は、スタンドアロン型として構築したものであり、画像入出力装置９００は、画像処理装置１００を有している。画像入出力装置９００に備え付けられたスキャナを用いて、対象とする画像を取得し、抽出に成功した小紙片画像をＵＳＢメモリ等に出力する。そして、小紙片画像の抽出に失敗した場合、複数のその小紙片画像を結合した画像を、画像入出力装置９００に備え付けられたパネル等の表示装置に表示してもよい。

図９（ｂ）に示す例は、ネットワーク型として構築したものであり、画像入出力装置９００Ａ、画像入出力装置９００Ｂ、原稿管理装置９１０Ａ、原稿管理装置９１０Ｂ、ユーザー端末９２０Ａ、ユーザー端末９２０Ｂは、通信回線９９０を介してそれぞれ接続されている。通信回線９９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、原稿管理装置９１０による機能は、クラウドサービスとして実現してもよい。例えば、名刺を小紙片として扱う場合として、原稿管理装置９１０は、名刺データベースであり、名刺画像の認識、組織図の作成、自社担当者との交流関係の解析等を行う。また、レシートを小紙片として扱う場合として、原稿管理装置９１０は、会計処理サーバーであり、レシート画像の認識、経費精算、確定申告処理等を行う。

画像入出力装置９００Ａは、画像処理装置１００を有している。例えば、画像入出力装置９００Ａは、画像処理装置１００による処理結果（抽出に成功した小紙片画像と、抽出に失敗した小紙片画像を結合した画像）を原稿管理装置９１０Ａに送信し、ユーザーはユーザー端末９２０によってそれらの処理結果を確認する。
原稿管理装置９１０Ｂは、画像処理装置１００を有している。例えば、画像入出力装置９００Ｂは、読み込んだ画像（小紙片画像が含まれている画像）を原稿管理装置９１０Ｂに送信する。原稿管理装置９１０Ｂの画像処理装置１００による処理結果（抽出に成功した小紙片画像と、抽出に失敗した小紙片画像を結合した画像）をユーザー端末９２０に送信し、ユーザーはユーザー端末９２０によってそれらの処理結果を確認する。

図１０は、第１の実施の形態による処理例（抽出に成功した例）を示す説明図である。例えば、画像処理装置１００は、プラテン上に名刺やレシート等の小紙片を複数枚配置して、プラテン全体のスキャン画像から各々の小紙片画像に分離する。
図１０（ａ）の例に示す画像１０００は、名刺を６枚読み込んで生成された画像である。
図１０（ｂ）の例に示す画像１０１０は、エッジ強調、２値化処理の結果の画像である。
図１０（ｃ）の例に示す画像１０２０は、ラベリング、外接矩形分離処理の結果の画像である。例えば、図１０（ｃ１）に示すように、外接矩形１０２２内には、エッジ画像１０２４がある。ここで、外接矩形１０２２ａは、「富」を囲む外接矩形である。外接矩形１０２２ｂは、「士」を囲む外接矩形である。外接矩形１０２２ｃは、「太」を囲む外接矩形である。外接矩形１０２２ｄは、「郎」を囲む外接矩形である。ここで、外接矩形間で内包されるものは対象外とする。具体的には、図１０（ｃ２）の例に示すように、外接矩形１０２２に内包されている外接矩形１０２２ａ、１０２２ｂ、１０２２ｃ、１０２２ｄを、削除する。また、この場合、閾値を用いて、ある程度（例えば、名刺の大きさ）以上の大きさは内包関係を調査しないようにしてもよい。

図１０（ｄ）の例に示す外接矩形１０２２は、傾き推定、角度算出処理を示しており、前述した通りの処理である。例えば、外接矩形１０２２内のエッジ画像１０２４の３つ以上の辺を検出した場合、回転角度を算出する。
図１０（ｅ）の例に示す名刺画像１０３０は、抽出に成功した名刺画像であり、元画像である画像１０００からの切り出し処理、回転補正処理を施したものである。

図１１は、第１の実施の形態を用いずに行った処理例（抽出に失敗した例）を示す説明図である。例えば、濃度が薄い等の条件下で、名刺の枠線が連結して検出されず、１枚の名刺画像が複数の画像として認識される場合がある。ユーザーは、どの名刺が抽出に失敗したのかわかりづらく、後段の訂正処理が面倒になる。
図１１（ａ）の例に示す画像１１００は、名刺画像を読み取って、エッジ強調、２値化処理を行った後の一部の画像である（前述の画像１０１０の一部に該当）。ここでは、エッジ検出において、下側の紙片境界が検出されない例を示している。
図１１（ｂ）の例に示すグループ結果１１１０、グループ結果１１２０は、ラベリング（グループ化）結果の例を示すものである。つまり、１枚の名刺画像が２つのグループ結果１１１０、グループ結果１１２０に分かれている。
これらも名刺画像として抽出してしまうと、図１１（ｃ）の例に示すように、グループ結果１１１０に対応する名刺画像（失敗）１１１２、グループ結果１１２０に対応する名刺画像（失敗）１１２２を抽出してしまうことになる。つまり、最終出力として、１つの名刺画像が２つの画像として出力されることとなる。

図１１（ｄ）の例は、図９（ｂ）の例に示す構成での処理結果を示すものである。ユーザー１１８０は、画像入出力装置９００で複数の名刺を読み込ませ、原稿管理装置９１０に送信する。そして、ユーザー１１８２は、ユーザー端末９２０を用いて、原稿管理装置９１０内の名刺画像の抽出結果を確認する。
ユーザー端末９２０では、名刺画像の抽出結果を画面１１３０に提示する。画面１１３０には、名刺画像欄１１３２、会社名・氏名認識結果欄１１３４、電話番号認識結果欄１１３６を表示する。本来は１枚の名刺画像である名刺画像（失敗）１１１２、名刺画像（失敗）１１２２は、それぞれ１枚の名刺画像として扱われてしまい、ユーザー１１８２にとって、どの名刺が抽出に失敗したものであるかがわかりにくくなっており、訂正対象も複数となってしまい煩雑である。
第１の実施の形態によると、抽出に失敗した画像は、１枚の名刺に対応することになる。これによって、ユーザー１１８２にとって、どの名刺が抽出に失敗したものであるかの特定が容易にでき、訂正対象の枚数も少なくなる。

図１２は、第１の実施の形態（主に、判定モジュール１１５、画像生成モジュール１２０）による処理例を示すフローチャートである。
ステップＳ１２００では、画像処理装置１００は、失敗画像の結合処理を開始する。
ステップＳ１２０２では、画像分離処理モジュール１１０は、画像分離処理を行う。例えば、図８に示したフローチャートによる処理を行う。

ステップＳ１２０４では、判定モジュール１１５は、分離結果を判定する。つまり、小紙片画像の抽出に成功（又は失敗）したか否かを判定する。前述したように、判定モジュール１１５による判定処理を行えばよい。
例えば、図８に示したステップＳ１０４、Ｓ１０５で、外接矩形の大きさが予め定められた大きさの範囲内に収まらない場合は、小紙片画像の抽出に失敗したと判定してもよい。ここで、「予め定められた大きさの範囲」として、例えば、名刺の大きさ（外接矩形が最小）以上であって、名刺を回転させて外接矩形が最大となるときの大きさまでとすればよい。「外接矩形が最大となるとき」とは、名刺の対角線を水平（又は垂直）としたときの外接矩形であり、具体的には、外接矩形の１辺は対角線の長さとなり、もう１辺は対角線を水平（又は垂直）としたときの名刺の上端と下端（左端と右端）間の長さとなる。
また、例えば、図８に示したステップＳ１０７、Ｓ１０８で、有効エッジ画素によって構成される辺が３辺以上でない場合は、小紙片画像の抽出に失敗したと判定してもよい。有効エッジとして検出された辺の数が２辺等の場合、図１１（ｂ）の例で示したように、１つの名詞画像を複数の画像に分割して抽出してしまうことになるからである。

ステップＳ１２０６では、判定モジュール１１５は、判定結果を各画像に付与する。
ステップＳ１２０８では、判定モジュール１１５は、対象としている画像内の分離結果の全てについて判定が完了したか否かを判断し、完了した場合はステップＳ１２１０へ進み、それ以外の場合はステップＳ１２０４へ戻る。

ステップＳ１２１０では、判定モジュール１１５は、分離処理失敗だけをリストＺに登録する。リストＺとして、例えば、リストＺ１３００がある。図１３は、リストＺ１３００のデータ構造例を示す説明図である。リストＺ１３００は、ＩＤ欄１３１０、ｘ欄１３２０、ｙ欄１３３０、ｗ欄１３４０、ｈ欄１３５０を有している。ＩＤ欄１３１０は、分離結果の画像を一意に特定する識別子（ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。ｘ欄１３２０は、その分離結果の画像の左上角のｘ座標を記憶している。ｙ欄１３３０は、その分離結果の画像の左上角のｙ座標を記憶している。ｗ欄１３４０は、その分離結果の画像の幅（ｗ）を記憶している。ｈ欄１３５０は、その分離結果の画像の高さ（ｈ）を記憶している。リストＺ１３００以外のデータ構造であってもよい。例えば、分離結果の画像（ファイル）をリストＺとして登録するようにしてもよい。

ステップＳ１２１２では、画像生成モジュール１２０は、変数Ｘ＝１とする。変数Ｘは、分離結果の画像の１つを示すものである。
ステップＳ１２１４では、画像生成モジュール１２０は、リストＺからＸ番目の画像を選択する。
ステップＳ１２１６では、画像生成モジュール１２０は、変数Ｙ＝Ｘ＋１とする。変数Ｙは、分離結果の画像の１つを示すものであり、変数Ｘで示される画像と結合対象となるか否かが判定される。
ステップＳ１２１８では、画像生成モジュール１２０は、リストＺからＹ番目の画像を選択する。
ステップＳ１２２０では、画像生成モジュール１２０は、ＸとＹで画像間の距離を測定する。
ステップＳ１２２２では、画像生成モジュール１２０は、距離が閾値以内であるか否かを判断し、閾値以内の場合はステップＳ１２２４へ進み、それ以外の場合はステップＳ１２２８へ進む。なお、変数Ｙに対応する画像がない場合も、ステップＳ１２２８へ進む。

ステップＳ１２２４では、画像生成モジュール１２０は、ＸとＹの結合処理を行う。例えば、変数Ｘで示される分離結果の画像と変数Ｙで示される分離結果の画像の両方を囲む外接矩形を生成する。
ステップＳ１２２６では、画像生成モジュール１２０は、ＸとＹをリストＺから削除し、結合画像をリストＺに登録し、ステップＳ１２１２へ戻る。
ステップＳ１２２８では、画像生成モジュール１２０は、Ｙはリスト要素数であるか否かを判断し、リスト要素数の場合はステップＳ１２３０へ進み、それ以外の場合はステップＳ１２１６へ戻る。つまり、変数Ｘで示される分離結果の画像と他の分離結果の画像との組み合わせを全て判定したか否かを判断している。
ステップＳ１２３０では、画像生成モジュール１２０は、Ｘ＝Ｘ＋１（変数Ｘの値をインクリメント）とする。
ステップＳ１２３２では、画像生成モジュール１２０は、全検査が完了したか否かを判断し、完了した場合は失敗画像結合処理を完了し（ステップＳ１２９９）、それ以外の場合はステップＳ１２１４へ戻る。つまり、分離結果の画像間の組み合わせを全て判定したか否かを判断している。

図１４は、第１の実施の形態による処理例を示す説明図である。つまり、図１２に示すフローチャートによる具体例を用いた処理例を示す。
図１４（Ａ）の例に示す画像１４００は、対象となる画像であって、１回のスキャンで生成された画像である。例えば、画像１４００内には、名刺１４０２、名刺１４０６、名刺１４０６が撮影されている。
図１４（Ｂ）の例に示す画像分離結果１４１０は、画像分離処理モジュール１１０による画像１４００の処理結果を示している。ここで、名刺１４０２の外接矩形１４１２は成功と判定され、名刺１４０４の外接矩形１４１４、外接矩形１４１６、外接矩形１４１８は失敗と判定され、名刺１４０６の外接矩形１４２０、外接矩形１４２２は失敗と判定される。大きさ又は辺の数が成功の条件を満たさないと判定されたからである。

図１４（Ｃ）の例は、各々の失敗画像を結合する処理を示している。
図１４（Ｃ１）の例は、失敗した画像をリストＺに格納する。ここでは、外接矩形１４１４、外接矩形１４１６、外接矩形１４１８、外接矩形１４２０、外接矩形１４２２がリストＺに格納される。なお、図１４（Ｃ１）の（ａ）は外接矩形１４１４に該当し、（ｂ）は外接矩形１４１６に該当し、（ｃ）は外接矩形１４２０に該当し、（ｄ）は外接矩形１４１８に該当し、（ｅ）は外接矩形１４２２に該当する。
図１４（Ｃ２）の例では、２つの画像間の距離を計測して、近いものを結合し、元の画像（結合対象となった画像）を削除して、結合した画像を新規の画像として登録する。ここでは（ａ）と（ｂ）を結合して（ｆ）を追加する。
同様の処理を繰り返す。つまり、図１４（Ｃ３）の例では、（ｃ）と（ｅ）を結合して（ｇ）を追加する。図１４（Ｃ４）の例では、（ｄ）と（ｆ）を結合して（ｈ）を追加する。最終的には２つの画像となる。

図１４（Ｄ）の例は、抽出結果として３つの画像を出力することを示している。図１４（Ｄ１）の画像は名刺画像の抽出に成功した画像であり、図１４（Ｄ２）、（Ｄ３）の画像は名刺画像の抽出に失敗した画像である。例えば、図１１に示した画面１１３０内の名刺画像欄１１３２に表示する画像である。
第１の実施の形態を用いずに表示した場合は、図１４（Ｄ２）の画像は図１４（Ｃ１）内の（ａ）、（ｂ）、（ｄ）（外接矩形１４１４、外接矩形１４１６、外接矩形１４１８）の３つに分かれて表示され、図１４（Ｄ３）の画像は図１４（Ｃ１）内の（ｃ）、（ｅ）（外接矩形１４２０、外接矩形１４２２）の２つに分かれて表示されてしまい、元の名刺との対応がとりにくかったが、図１４（Ｄ）のように表示されるので、元の名刺のどれが抽出に失敗したのかがわかりやすくなっている。

＜第２の実施の形態＞
図１５は、第２の実施の形態の構成例についての概念的なモジュール構成図である。
画像処理装置１５００は、画像取得モジュール１０５、画像分離処理モジュール１１０、判定モジュール１１５、画像生成モジュール１５２０を有している。なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
画像生成モジュール１５２０は、判定モジュール１１５と接続されている。画像生成モジュール１５２０は、画像取得モジュール１０５が取得した画像内の小紙片画像の抽出に失敗した場合、その画像から抽出に成功した小紙片画像を消去した画像を生成する。ここで「画像内の小紙片画像の抽出に失敗した場合」として、例えば、判定モジュール１１５による判定結果を用いればよい。画像生成モジュール１５２０の処理によって、抽出に失敗した画像だけが残ることになるので、どの小紙片が抽出に失敗したのかがわかりやすくなる。

図１６は、第２の実施の形態による処理例を示すフローチャートである。なお、ステップＳ１６０２からＳ１６０８までの処理は、図１２の例に示したフローチャート内のステップＳ１２０２からＳ１２０８までの処理と同等である。
ステップＳ１６００では、失敗画像生成処理を開始する。
ステップＳ１６０２では、画像分離処理を行う。
ステップＳ１６０４では、分離結果を判定する。
ステップＳ１６０６では、判定結果を各画像に付与する。
ステップＳ１６０８では、全て判定が完了したか否かを判断し、完了した場合はステップＳ１６１０へ進み、それ以外の場合はステップＳ１６０４へ戻る。

ステップＳ１６１０では、元画像から成功画像を削除する。つまり、画像取得モジュール１０５が取得した画像から、小紙片画像として抽出に成功した画像を消去する。したがって、小紙片画像として抽出に失敗した画像だけが残ることになる。
ステップＳ１６１２では、削除した領域を周囲の色で補正する。具体的には、周囲の色で消去した領域を塗りつぶす。周囲の色は、削除した領域の周囲の色の統計的値（平均値、中央値、最頻値等）であってもよい。なお、ステップＳ１６１２の処理は省略してもよい。
ステップＳ１６９９では、失敗画像生成処理を完了する。

図１７は、第２の実施の形態による処理例を示す説明図である。つまり、図１６に示すフローチャートによる具体例を用いた処理例を示す。
図１７（Ａ）の例に示す画像１７００は、対象となる画像であって、１回のスキャンで生成された画像である。例えば、画像１７００内には、名刺１７０２、名刺１７０４、名刺１７０６が撮影されている。図１４（Ａ）の例に示す画像１４００と同等である。
図１７（Ｂ）の例に示す画像分離結果１７１０は、画像分離処理モジュール１１０による画像１７００の処理結果を示している。なお、画像分離結果１７１０は、図１４（Ｂ）の例に示す画像分離結果１４１０と同等である。名刺１７０２の外接矩形１７１２は成功と判定され、名刺１７０４の外接矩形１７１４、外接矩形１７１６、外接矩形１７１８は失敗と判定され、名刺１７０６の外接矩形１７２０、外接矩形１７２２は失敗と判定される。大きさ又は辺の数が成功の条件を満たさないと判定されたからである。

図１７（Ｃ）の例に示す画像１７３０は、抽出に成功した小紙片画像（名刺１７０２の画像）を削除したものである。つまり、失敗画像が含まれる場合、成功画像を消去して、抽出成功領域１７３２内を周囲の色で穴埋めした合成画像（画像１７３０）を生成する。したがって、抽出に失敗した名刺１７０４、名刺１７０６は、画像１７３０内に残ることになる。
図１７（Ｄ）の例は、抽出結果として２つの画像を出力することを示している。つまり、成功画像群の名刺画像１７４０と失敗画像の画像１７３０である。なお、成功画像群は、図１７（Ｄ）の例では、１つの名刺画像１７４０であるが、抽出に成功した名刺画像が複数あれば、複数の名刺画像となる。
第２の実施の形態を用いずに表示した場合は、図１７（Ａ）の名刺１７０４の画像は外接矩形１７１４、外接矩形１７１６、外接矩形１７１８の３つに分かれて表示され、名刺１７０６の画像は外接矩形１７２０、外接矩形１７２２の２つに分かれて表示されてしまい、元の名刺との対応がとりにくかったが、図１７（Ｄ）のように表示されるので、元の名刺のどれが抽出に失敗したのかがわかりやすくなっている。

図１８を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１８に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部１８１７と、プリンタ等のデータ出力部１８１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像取得モジュール１０５、画像分離処理モジュール１１０、判定モジュール１１５、画像生成モジュール１２０、画像生成モジュール１５２０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８０２は、ＣＰＵ１８０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１８０３は、ＣＰＵ１８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス１８０４により相互に接続されている。

ホストバス１８０４は、ブリッジ１８０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス１８０６に接続されている。

キーボード１８０８、マウス等のポインティングデバイス１８０９は、操作者により操作されるデバイスである。ディスプレイ１８１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。また、ポインティングデバイス１８０９とディスプレイ１８１０の両方の機能を備えているタッチスクリーン等であってもよい。その場合、キーボードの機能の実現について、キーボード１８０８のように物理的に接続しなくても、画面（タッチスクリーン）上にソフトウエアでキーボード（いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる）を描画して、キーボードの機能を実現するようにしてもよい。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１８１１は、ハードディスク（フラッシュ・メモリ等であってもよい）を内蔵し、ハードディスクを駆動し、ＣＰＵ１８０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象となる画像、処理結果の画像、リストＺ１３００等が格納される。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。

ドライブ１８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１８１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１８０７、外部バス１８０６、ブリッジ１８０５、及びホストバス１８０４を介して接続されているＲＡＭ１８０３に供給する。なお、リムーバブル記録媒体１８１３も、データ記録領域として利用可能である。

接続ポート１８１４は、外部接続機器１８１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１８１４は、インタフェース１８０７、及び外部バス１８０６、ブリッジ１８０５、ホストバス１８０４等を介してＣＰＵ１８０１等に接続されている。通信部１８１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１８１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１８１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１８に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１８に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

また、前述の実施の形態の説明内での比較処理において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

前述の実施の形態（特に、画像分離処理モジュール１１０）は以下のように把握してもよい。
［Ａ１］小紙片である対象物をスキャンしたスキャン画像を取得する手段と、
前記取得したスキャン画像の二値画像を生成するとともに、当該生成された二値画像から連結画素を検出する検出手段と、
前記検出手段により検出した連結画素に対して設定した外接矩形の各辺において、前記連結画素との接点から当該接点の属する辺の一方の頂点へと至る線分上の複数の点から、前記接点の属する辺に対して垂直方向に走査してエッジ画素を検出するエッジ画素検出手段と、
前記エッジ画素検出手段により検出されたエッジ画素のうち前記外接矩形の対角線を超えて検出されるか、又は前記検出されたエッジ画素と前記辺との距離が前記連結画素との接点から前記一方の頂点に向かうに連れて小さくなるものを排除して、前記スキャン画像に写し出された前記対象物の輪郭部に位置する有効エッジ画素を選別する選別手段と、
前記有効エッジ画素に基づいて矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された矩形領域から画像を抽出する手段と、
を含むことを特徴とする画像抽出装置。

［Ａ２］前記選別手段は、前記検出されたエッジ画素のうち、隣り合うエッジ画素との距離が閾値より大きいものをさらに排除して前記有効エッジ画素を選別する、
ことを特徴とする［Ａ１］に記載の画像抽出装置。

［Ａ３］前記一方の頂点は、前記連結画素との接点が属する辺の頂点のうち、前記接点から遠い方の頂点とする、
ことを特徴とする［Ａ１］又は［Ａ２］に記載の画像抽出装置。

［Ａ４］前記有効エッジ画素の位置座標に基づいて、前記有効エッジ画素が構成する少なくとも３以上の線分の傾きを算出する手段をさらに含み、
前記矩形領域設定手段は、前記算出された線分の傾きの整合性に基づいて前記矩形領域を設定する、
ことを特徴とする［Ａ１］乃至［Ａ３］のいずれかに記載の画像抽出装置。

［Ａ５］前記検出された連結画素と前記外接矩形との傾きを検出する手段をさらに含み、
前記検出された傾きが所定の値よりも大きい場合に、前記エッジ画素検出手段、前記選別手段、及び前記矩形領域設定手段による各処理を実行する、
ことを特徴とする［Ａ１］乃至［Ａ４］のいずれかに記載の画像抽出装置。

［Ａ６］前記対象物は、矩形の小紙片画像である、
ことを特徴とする［Ａ１］乃至［Ａ５］のいずれかに記載の画像抽出装置。

［Ａ７］コンピュータを、
小紙片である対象物をスキャンしたスキャン画像を取得する手段と、
前記取得したスキャン画像の二値画像を生成するとともに、当該生成された二値画像から連結画素を検出する検出手段と、
前記検出手段により検出した連結画素に対して設定した外接矩形の各辺において、前記連結画素との接点から当該接点の属する辺の一方の頂点へと至る線分上の複数の点から、前記接点の属する辺に対して垂直方向に走査してエッジ画素を検出するエッジ画素検出手段と、
前記エッジ画素検出手段により検出されたエッジ画素のうち前記外接矩形の対角線を超えて検出されるか、又は前記検出されたエッジ画素と前記辺との距離が前記連結画素との接点から前記一方の頂点に向かうに連れて小さくなるものを排除して、前記スキャン画像に写し出された前記対象物の輪郭部に位置する有効エッジ画素を選別する選別手段と、
前記有効エッジ画素に基づいて矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された矩形領域から画像を抽出する手段として機能させるための画像抽出プログラム。

そして、前述の発明は、以下の効果を有する。
［Ａ１］に記載の発明によれば、スキャン画像に写し出された対象物の画像を抽出する際の雑音耐性を強化することができる。また、対象物画像の輪郭部のエッジでない画素を排除することによりスキャン画像に写し出された対象物の画像を抽出する際の雑音耐性を強化することができる。

［Ａ２］に記載の発明によれば、対象物画像の輪郭部のエッジでない画素を排除することによりスキャン画像に写し出された対象物の画像を抽出する際の雑音耐性を強化することができる。

［Ａ３］に記載の発明によれば、検出するエッジ画素の数が増加するため、スキャン画像にノイズが含まれていても画像抽出に与える悪影響を軽減させることができる。

［Ａ４］に記載の発明によれば、エッジ画素により構成される各辺の傾きに基づいて対象物が写し出されていると推定される部分に矩形領域を設定することで、スキャン画像の中から対象物画像を抽出する精度を向上させることができる。

［Ａ５］に記載の発明によれば、スキャン画像に対して傾いている対象物についてのみ処理対象とすることで、不要な処理を省略することができる。

［Ａ６］に記載の発明によれば、スキャン画像に写し出された矩形の小紙片画像を精度よく抽出することができる。

［Ａ７］に記載の発明によれば、スキャン画像に写し出された対象物の画像を抽出する際の雑音耐性を強化するようにコンピュータを機能させることができる。また、対象物画像の輪郭部のエッジでない画素を排除することによりスキャン画像に写し出された対象物の画像を抽出する際の雑音耐性を強化するようにコンピュータを機能させることができる。

１００…画像処理装置
１０５…画像取得モジュール
１１０…画像分離処理モジュール
１１５…判定モジュール
１２０…画像生成モジュール
１６…二値化処理モジュール
１８…外接矩形設定モジュール
２０…原稿傾き判断モジュール
２２…エッジ画素検出モジュール
２４…有効エッジ判断モジュール
２６…辺傾き算出モジュール
２８…抽出画像領域設定モジュール
３０…画像抽出モジュール
９００…画像入出力装置
９１０…原稿管理装置
９２０…ユーザー端末
９９０…通信回線
１５００…画像処理装置
１５２０…画像生成モジュール

Claims (9)

1. 画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する生成手段
   を有する画像処理装置。
2. 前記生成手段は、前記小紙片画像間の距離が閾値未満又は以下である場合に、該小紙片画像を結合する、
   請求項１に記載の画像処理装置。
3. 前記閾値は、予め定められた値、小紙片の種類に合わせた値、抽出に成功した小紙片画像の大きさに応じた値のいずれかである、
   請求項２に記載の画像処理装置。
4. 画像内の小紙片画像の抽出に失敗した場合、該画像から抽出に成功した小紙片画像を消去した画像を生成する生成手段
   を有する画像処理装置。
5. 前記画像内の外接矩形が小紙片画像を示していない場合、該画像内の小紙片画像の抽出に失敗した場合とする、
   請求項１又は４に記載の画像処理装置。
6. 前記外接矩形の大きさ又は該外接矩形内の検出できた小紙片画像の辺の数にしたがって、該外接矩形が小紙片画像を示しているか否かを判定する判定手段
   をさらに具備し、
   前記生成手段は、前記判定手段の判定結果を用いる、
   請求項５に記載の画像処理装置。
7. 前記判定手段は、外接矩形の大きさが予め定められた範囲内にある場合、又は、小紙片画像の辺の数が予め定められた数より多い若しくは以上である場合に、外接矩形が小紙片画像を示していると判定する、
   請求項６に記載の画像処理装置。
8. コンピュータを、
   画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する生成手段
   として機能させるための画像処理プログラム。
9. コンピュータを、
   画像内の小紙片画像の抽出に失敗した場合、該画像から抽出に成功した小紙片画像を消去した画像を生成する生成手段
   として機能させるための画像処理プログラム。

Images