JP6569500B2

JP6569500B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP6569500B2
Application number: JP2015236467A
Authority: JP
Inventors: シエ・シュフゥ; リィウ・ウェイ; ファヌ・ウエイ; 俊孫
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-12-04
Filing date: 2015-12-03
Publication date: 2019-09-04
Anticipated expiration: 2035-12-03
Also published as: US9524559B2; CN105719243A; CN105719243B; US20160163059A1; JP2016110647A

Description

本公開は、画像処理分野に関し、具体的には透き通しの除去装置及び方法に関する。

この部分は本公開に関する背景情報を提供し、必ずしも従来技術ではない。

両面に手書き又は印刷のテキスト／ピクチャが存在する文書では、裏面文書の内容の影響により、表面文書の背景領域には裏面の透き通しのテキスト又はピクチャが存在することがある。同様な現象は裏面文書にも存在する。図１Ａ及び図１Ｂに示すように、このような現象が透き通し（ｓｈｏｗ−ｔｈｒｏｕｇｈ又はｂｌｅｅｄ−ｔｈｒｏｕｇｈ）と称される。通常、スキャンした文書画像内の透き通しを除去する方法は、主に２種類がある。１つは、片面の画像の情報に基づいてのみ透き通しを除去する。もう１つは、両面の画像の情報に基づいて透き通しを除去する。２つ目の方法は、１つ目の方法に比べて、両面の画像の情報に基づいて文書画像の前景領域を取得する。より多くの情報を用いるため、透き通し領域をより正確に除去できる。２つ目の方法では、文書画像の前景領域を効果的に抽出するのは重要である。

図２Ａ及び図２Ｂに示すように、文書画像の前景層はピクチャ及びテキストの２つの部分を含む。多くの従来のローカル二値化／グローバル二値化の方法は、画像の前景層を抽出するために用いられてもよい。例えば、設定された色又は輝度の閾値に基づいて、画像の画素を前景画素と背景画素に分類する。しかし、これらのローカル二値化／グローバル二値化の方法は、単一の画素又は局所領域内の情報のみ利用している。文書のピクチャ領域では、ある画素の色と背景画素の色と非常に近いため、背景画素に誤って分類されてしまう。これは前景画素の紛失に繋がる。テキスト行を位置決めする方法を用いることができるが、画像におけるピクチャが複雑な色分布及び不規則な形状を有するため、これらの方法はピクチャ領域の前景層を効果的に抽出しにくい。よって、本公開は、文書の前景領域を効果的に抽出する方法を提供する。

この部分は本公開の一般的な概要を提供するが、その全ての範囲又はその全ての特徴を全て開示するものではない。

本公開は、文書画像の前景層を直接に位置決めすることなく、相対的に位置決めやすい背景層を検出し、検出された背景層を除去することで、文書画像の前景層をより効果的に取得できる画像処理装置及び画像処理方法を提供することを目的とする。

本公開の一の態様では、画像処理装置であって、画素を含む画像を取得する画像取得手段と、前記画像からピクチャ領域を検索するピクチャ検索手段と、前記画像の前記ピクチャ領域を含まない非ピクチャ領域及び前記ピクチャ領域において背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得する背景取得手段であって、前記非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされ、前記ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされる、背景取得手段と、前記非ピクチャ領域及び前記ピクチャ領域から前記非ピクチャ背景連結成分及び前記ピクチャ背景連結成分をそれぞれ除去することで、前記非ピクチャ領域の非ピクチャ前景領域及び前記ピクチャ領域のピクチャ前景領域をそれぞれ取得する前景取得手段であって、前記非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされ、前記ピクチャ前景領域における各画素がピクチャ前景画素と見なされる、前景取得手段と、前記非ピクチャ領域の非ピクチャ前景領域と前記ピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得する合併手段であって、前記画像前景領域における各画素が画像前景画素と見なされる、合併手段と、を含む、装置を提供する。

本公開の他の態様では、画像処理方法であって、画素を含む画像を取得するステップと、前記画像からピクチャ領域を検索するステップと、前記画像の前記ピクチャ領域を含まない非ピクチャ領域及び前記ピクチャ領域において背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得するステップであって、前記非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされ、前記ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされる、ステップと、前記非ピクチャ領域及び前記ピクチャ領域から前記非ピクチャ背景連結成分及び前記ピクチャ背景連結成分をそれぞれ除去することで、前記非ピクチャ領域の非ピクチャ前景領域及び前記ピクチャ領域のピクチャ前景領域をそれぞれ取得するステップであって、前記非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされ、前記ピクチャ前景領域における各画素がピクチャ前景画素と見なされる、ステップと、前記非ピクチャ領域の非ピクチャ前景領域と前記ピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得するステップであって、前記画像前景領域における各画素が画像前景画素と見なされる、ステップと、を含む、方法を提供する。

本公開の他の態様では、コンピュータが命令コードを読み取って実行する時に前記コンピュータに本公開に記載の画像処理方法を実行させるための機器読み取り可能な前記命令コードを記憶したプログラムプロダクトを提供する。

本公開の他の態様では、本公開に記載のプログラムプロダクトを記録した機器読み取り可能な記憶媒体を提供する。

本公開の画像処理装置及び方法を用いることで、文書画像を候補ピクチャ領域と非候補ピクチャ領域に分類できる。そして、この２種類の領域の背景層を位置決めする。この２種類の領域の背景層を検出した後に、背景層を除去し、文書画像の初期前景層を取得する。最後に、文書の初期前景層に対して小さなノイズを除去して、最終的な前景層画像を取得することで、文書画像の前景層をより効果的に取得できる。

この概要に記述、特定された例は、単なる例示的なものであり、本公開の範囲を限定するものではない。

ここに記述された図面は、全てが可能な実施形態ではなく、単なる実施例を例示的に説明するものであり、本公開の範囲を限定するものではない。
図１Ａは、本公開の実施形態に係る存在する透き通しを示す図である。図１Ｂは、本公開の実施形態に係る存在する透き通しを示す図である。図２Ａは、ピクチャ領域及びテキスト領域を含む入力画像を示す図である。図２Ｂは、図２Ａの入力画像の前景層を示す図である。本公開の実施形態の基本的な思想のフローチャートである。本公開の実施例に係る画像処理装置のブロック図である。本公開の実施例に係る画像処理装置の一部のブロック図である。本公開の実施例に係る連結成分の外接矩形を示す図である。本公開の実施例に係る画像処理装置の一部のブロック図である。本公開の他の実施例に係る画像処理装置のブロック図である。本公開の実施例に係る画像処理装置の一部のブロック図である。本公開の実施例に係る画像処理装置の一部のブロック図である。本公開の実施例に係る画像処理方法のフローチャートである。図１２Ａは、初期前景画素層を示す図である。図１２Ｂは、図１２Ａの初期前景画素層に対応する二値化距離画像を示す図である。図１２Ｃは、図１２Ａの初期前景画素層に対応する最終前景画像層を示す図である。ソース画像をカットして得られた画像ブロックを示す図である。本公開の実施例に係る画像処理装置及び方法を実現可能な汎用パーソナルコンピュータの例示的な構成を示すブロック図である。

本公開を容易に修正、変更できるが、その特定の実施例は例として図面に示され、ここで詳細に説明される。なお、本公開は特定の実施例の説明により具体的な形式に限定されず、本公開の主旨及び範囲内の全ての修正、均等的なもの、変更をカバーする。なお、全ての図面において、同様な部材について同様な符号を付与する。

以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。以下の説明は、単なる例示的なものであり、本公開、応用又は用途を限定するものではない。

以下は、本公開を具体的に説明し、当業者に本公開の範囲を十分に伝えるために、例示的な実施例を提供する。本公開の実施例を具体的に説明するために、多くの特定の詳細なもの、例えば特定のユニット、装置及び方法の例を説明する。なお、当業者が特定の詳細なものを用いる必要がなく、例示的な実施例を異なる形で実施することができ、これらの実施例が本公開の範囲を限定するものではない。ある例示的な実施例では、周知のプロセス、周知の構造及び周知の技術を詳細に説明していない。

図１Ａ及び図１Ｂは本公開の実施形態に係る存在する透き通しを示す図である。例えば文書をスキャンする際に、通常、透き通しという現象が発生し、即ち１つのページで他のページの内容を見える。図１Ａ及び図１Ｂに示すように、得られたスキャン画像では、前景画素により構成された正常の画像部分も存在し、透き通し画素により構成された透き通し画像も存在する。透き通し画素の存在が文書の可読性に大きな影響を与え、自動的な文字認識に影響を与える可能性がある。よって、スキャン画像における透き通し部分を除去する必要がある。

上述したように、透き通しの除去方法は、主に片面画像の情報に基づいて透き通しを除去する方法及び両面画像の情報に基づいて透き通しを除去する方法がある。２つ目の方法では、重要なのは文書画像の前景層を効果的に抽出することである。図２Ａはピクチャ領域及びテキスト領域を含む入力画像を示し、図２Ｂは該入力画像の前景層を示している。図２Ｂにおいて、黒色画素は前景画素を表し、白色画素は背景画素を表す。多くの従来のローカル二値化／グローバル二値化の方法は、画像の前景層を抽出するために用いられてもよい。しかし、これらの方法は、単一の画素又は局所領域内の情報のみ利用している。また、文書のピクチャ領域では、ある画素の色と背景画素の色と非常に近いため、背景画素に誤って分類されてしまう。これは前景画素の紛失に繋がる。テキスト行を位置決めする方法を用いることができるが、画像におけるピクチャが複雑な色分布及び不規則な形状を有するため、これらの方法はピクチャ領域の前景層を効果的に抽出しにくい。よって、本公開は、文書の前景領域を効果的に抽出する方法を提供する。

本公開の実施形態の基本的な思想によれば、文書画像の前景層を直接に位置決めすることなく、相対的に位置決めやすい背景層を検出し、検出された背景層を除去することで、文書画像の前景層を取得する。

図３は本公開の実施形態の基本的な思想のフローチャートである。図３に示すように、入力画像において候補ピクチャ領域を位置決めすると共に、候補ピクチャ領域が除去された非候補ピクチャ領域を取得する。即ち、ここで、画像は候補ピクチャ領域と非候補ピクチャ領域の２つの部分に分けられる。そして、候補ピクチャ領域及び非候補ピクチャ領域において、連結成分解析によりそれぞれの背景領域を検出する。そして、候補ピクチャ領域及び非候補ピクチャ領域から、背景領域をそれぞれ除去して、候補ピクチャ領域及び非候補ピクチャ領域の前景領域を取得する。そして、取得された候補ピクチャ領域の前景領域と非候補ピクチャ領域の前景領域を合併し（図示せず）、該入力画像の前景領域を出力する。

以上は本公開の実施形態の基本的な思想を簡単に説明した。以下は、図面を参照しながら、本公開の実施形態をさらに詳細に説明する。

図４は本公開の実施例に係る画像処理装置４００を示している。図４に示すように、本公開の実施例に係る画像処理装置４００は、画像取得部４１０、ピクチャ検索部４２０、背景取得部４３０、前景取得部４４０、及び合併部４５０を含んでもよい。

画像取得部４１０は、画素を含む画像、例えば所定の入力画像Ｉ（ｘ，ｙ）を取得してもよい。

ピクチャ検索部４２０は、画像からピクチャ領域を検索してもよい。本公開の１つの実施例では、ピクチャ検索部４２０は、入力画像Ｉ（ｘ，ｙ）に対して例えば連結成分取得処理を実行し、ピクチャ領域を取得してもよい。図２Ａ及び図２Ｂに示すように、ピクチャ検索部４２０は、図２Ｂにおける４つの黒い影部分に対応する、図２Ａにおける４つのピクチャをピクチャ領域として位置決めし、位置決めされたピクチャ領域以外の領域を非ピクチャ領域として位置決めしてもよい。

背景取得部４３０は、画像のピクチャ領域を含まない非ピクチャ領域及びピクチャ領域において、背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得してもよい。非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされてもよく、ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされてもよい。本公開の１つの実施例では、入力画像Ｉ（ｘ，ｙ）には色が均一な背景が存在すると仮定し、非ピクチャ領域について、サイズが比較的に大きい連結成分を該非ピクチャ領域の背景連結成分（以下は、ＣＣ_ｂｇとも称される）として位置決めしてもよい。同様に、ピクチャ領域について、サイズが比較的に大きい連結成分を該ピクチャ領域の背景連結成分として位置決めしてもよい。また、非ピクチャ背景連結成分及びピクチャ背景連結成分の取得プロセスにおいて、各画素の値をそれが属する連結成分の標識、例えば（１〜ｎ）に設定してもよい。

前景取得部４４０は、非ピクチャ領域及びピクチャ領域から非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ除去して、非ピクチャ領域の非ピクチャ前景領域及びピクチャ領域のピクチャ前景領域をそれぞれ取得してもよい。非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされてもよく、ピクチャ前景領域における各画素がピクチャ前景画素と見なされてもよい。本公開の１つの実施例では、入力画像Ｉ（ｘ，ｙ）の非ピクチャ領域について、背景連結成分ＣＣ_ｂｇを位置決めした後に、該背景連結成分ＣＣ_ｂｇに属する背景画素を除去し、該非ピクチャ領域の初期前景画像、例えばＭａｓｋ_{ｆｏｒｅ，ｉｎｉｔ}を取得してもよい。

ここで、ｌａｂｅｌ（ｂｇ）は背景連結成分ＣＣ_ｂｇの標識を表し、ｌａｂｅｌ（ｘ，ｙ）は画素（ｘ，ｙ）が属する連結成分の標識を表す。同様に、入力画像Ｉ（ｘ，ｙ）のピクチャ領域について、背景連結成分を位置決めした後に、該背景連結成分に属する背景画素を除去し、該ピクチャ領域の初期前景画像を取得してもよい。

合併部４５０は、非ピクチャ領域の非ピクチャ前景領域とピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得してもよい。該画像前景領域における各画素は画像前景画素と見なされてもよい。

図４に示される画像処理装置４００を用いることで、文書画像の前景層を直接に位置決めすることなく、相対的に位置決めやすい背景層を検出し、検出された背景層を除去することで、文書画像の前景層をより効果的に取得できる。

本公開のもう１つの実施例では、図５に示すように、ピクチャ検索部４２０は、第１の勾配画像取得部４２０１、第１の画像変換部４２０２、候補ピクチャ連結成分取得部４２０３、ピクチャ選択部４２０４、及びピクチャ標示部４２０５を含んでもよい。

第１の勾配画像取得部４２０１は、画像の画素情報に基づいて、画像の勾配画像を取得してもよい。本公開の１つの実施例では、１つの入力画像Ｉ（ｘ，ｙ）を設定し、第１の勾配画像取得部４２０１は、Ｓｏｂｅｌ演算子により該入力画像に対応する勾配画像Ｉ_Ｇｒａｄ（ｘ，ｙ）を計算してもよい。なお、本分野の他の公知の演算子を用いて、画像に対応する勾配画像を計算してもよい。

第１の画像変換部４２０２は、画像の勾配画像を二値画像に変換してもよい。例えば、第１の画像変換部４２０２は、グローバル閾値化方法により、入力画像Ｉ（ｘ，ｙ）の勾配画像Ｉ_Ｇｒａｄ（ｘ，ｙ）を二値画像Ｍａｓｋ_Ｇｒａｄ（ｘ，ｙ）に変換してもよい。

なお、本分野の他の公知方法を用いて閾値ｔを選択し、或いは本分野の他の方法を用いて勾配画像を二値画像に変換してもよい。

候補ピクチャ連結成分取得部４２０３は、二値画像に対して連結成分解析アルゴリズムを実行し、候補ピクチャ連結成分を取得してもよい。本公開の１つの実施例では、上記の二値画像Ｍａｓｋ_Ｇｒａｄ（ｘ，ｙ）において、候補ピクチャ連結成分取得部４２０３は、値が「１」の画素の連結成分ＣＣ（１）_１、ＣＣ（１）_２、…、ＣＣ（１）_ｎを候補ピクチャ連結成分として位置決めしてもよい。ここで、各値が「１」の画素の値を、それが属する連結成分の標識（１〜ｎ）に設定してもよい。

しかし、位置決めされた候補ピクチャ連結成分は異なるサイズを有する可能性がある。通常、サイズが比較的に大きい候補ピクチャ連結成分を候補ピクチャ領域であると判定してもよい。ピクチャ選択部４２０４は、サイズ（例えば高さ又は幅）が第１の所定閾値よりも大きい候補ピクチャ連結成分をピクチャ領域として選択してもよい。連結成分を特定するためのサイズを満たすため、連結成分について所定の閾値（例えば高さ又は幅）を設定してもよく、該所定の閾値は経験値に基づいて決定されてもよい。

ピクチャ標示部４２０５は、ピクチャ領域と非ピクチャ領域を分割するように、ピクチャ領域の境界を標示してもよい。本公開の１つの実施例では、図６に示すように、ピクチャ標示部４２０５は、サイズが比較的に大きい候補ピクチャ連結成分（即ちピクチャ領域）の外接矩形に位置する画素を前景画素（値が「１」である）に設定してもよい。

ここで、ｘ_０、ｙ_０、ｘ_１、ｙ_１は候補ピクチャ連結成分の外接矩形の座標をそれぞれ表し、即ち外接矩形の幅ｗはｘ_１−ｘ_０であり、外接矩形の高さｈはｙ_１−ｙ_０である。

本公開のもう１つの実施例では、図７に示すように、背景取得部４３０は、第２の勾配画像取得部４３０１、第２の画像変換部４３０２、分割部４３０３、候補背景取得部４３０４、及び背景選択部４３０５を含んでもよい。

第２の勾配画像取得部４３０１は、画像の画素情報に基づいて前記画像の勾配画像を取得する。本公開の１つの実施例では、上記所定の入力画像Ｉ（ｘ，ｙ）について、第２の勾配画像取得部４３０１は、例えばＳｏｂｅｌ演算子により該入力画像に対応する勾配画像Ｉ_Ｇｒａｄ（ｘ，ｙ）を計算してもよい。同様に、本分野の他の公知の演算子を用いて、画像に対応する勾配画像を計算してもよい。

第２の画像変換部４３０２は、画像の勾配画像を二値画像に変換する。本公開の１つの実施例では、第２の画像変換部４３０２は、グローバル閾値化方法により、入力画像Ｉ（ｘ，ｙ）の勾配画像Ｉ_Ｇｒａｄ（ｘ，ｙ）を二値画像Ｍａｓｋ_Ｇｒａｄ（ｘ，ｙ）に変換してもよい。同様に、本分野の他の公知方法を用いて閾値ｔを選択し、或いは本分野の他の公知方法を用いて勾配画像を二値画像に変換してもよい。

分割部４３０３は、画像の二値画像を非ピクチャ領域とピクチャ領域に分割する。本公開の１つの実施例では、二値画像Ｍａｓｋ_Ｇｒａｄ（ｘ，ｙ）について、分割部４３０３は、画素値が「１」の連結成分ＣＣ（１）_１、ＣＣ（１）_２、…、ＣＣ（１）_ｎをピクチャ領域として分割し、画素値が「０」の連結成分ＣＣ（０）_１、ＣＣ（０）_２、…、ＣＣ（０）_ｎを非ピクチャ領域として分割してもよい。

候補背景取得部４３０４は、非ピクチャ領域及びピクチャ領域に対して連結成分解析アルゴリズムをそれぞれ実行し、非ピクチャ領域の候補背景連結成分及びピクチャ領域の候補背景連結成分をそれぞれ取得する。通常、非ピクチャ領域について、例えばＲＭａｓｋ_Ｇｒａｄ（ｘ，ｙ）画像において、値が「０」の画素は比較的に小さい勾配レスポンスを有するため、値が「０」の画素は非ピクチャ領域背景画素に対応する。従って、本公開の１つの実施例では、二値画像ＲＭａｓｋ_Ｇｒａｄ（ｘ，ｙ）において、候補背景取得部４３０４は、非ピクチャ領域及びピクチャ領域において値が「０」の連結成分ＣＣ（０）_１、ＣＣ（０）_２、…、ＣＣ（０）_ｎを位置決めし、非ピクチャ領域及びピクチャ領域の候補背景連結成分とする。ここで、値が「０」の各画素の値は、それが属する連結成分の標識（１〜ｎ）に設定されてもよい。

本実施例では、単独の非ピクチャ領域及びピクチャ領域にはいずれも色が均一な背景が存在すると仮定してもよい。よって、非ピクチャ領域又はピクチャ領域の候補背景領域はサイズが大きい連結成分である可能性がある。

背景選択部４３０５は、非ピクチャ領域及びピクチャ領域から最大サイズを有する候補背景連結成分をそれぞれ選択し、非ピクチャ領域の非ピクチャ背景連結成分及び前記ピクチャ領域のピクチャ背景連結領域とする。本公開の１つの実施例では、非ピクチャ領域について、最大サイズを有する候補背景連結成分は、背景連結成分ＣＣ_ｂｇと標示されてもよい。

ここで、ｓｉｚｅ（ＣＣ（０）_ｉ）は候補背景連結成分ＣＣ（０）_ｉに含まれる背景画素の数を表し、Ｗ_{ＣＣ（０）ｉ}及びｈ_{ＣＣ（０）ｉ}は該候補背景連結成分の外接矩形の幅及び高さ（図６に示されるように）をそれぞれ表す。

なお、取得された文書画像の前景層にノイズが存在する可能性があるため、該前景層に対して補正処理を行ってもよい。よって、本公開の他の実施例の画像処理装置を提供する。図８は本公開の他の実施例に係る画像処理装置８００を示している。補正部８６０を除いて、図８に示される画像処理装置８００の他の構成部分は図４に示される画像処理装置４００と同一であり、本公開はその説明を省略する。

図８に示すように、画像処理装置８００は、画像取得部４１０、ピクチャ検索部４２０、背景取得部４３０、前景取得部４４０及び合併部４５０以外に、補正部８６０をさらに含んでもよい。

図９に示すように、補正部８６０は、背景色取得部８６０１、背景色計算部８６０２、日距離画像計算部８６０３、計数部８６０４及び設定部８６０５を含んでもよい。

背景色取得部８６０１は、画像の非ピクチャ背景連結成分における非ピクチャ背景画素の情報に基づいて、画像の参照背景色を取得してもよい。例えば、背景取得部８６０１により取得された非ピクチャ背景連結成分ＣＣ_ｂｇに基づいて、非ピクチャ背景領域の色平均値（即ち参照背景色）を取得してもよい。

好ましくは、最大頻度を有する色は参照背景色と見なされてもよい。具体的には、各非ピクチャ背景画素の色をビン（ｂｉｎ）（例えば、０、１、…、３１、合計３２個のｂｉｎである）に量子化し、各非ピクチャ背景画素の、これらのビンにおけるヒストグラムｈ_１、ｈ_２、…、ｈ_ｄを計算し、最大値を有するｂｉｎにおける画素の平均色値を参照背景色としてもよい。

背景色計算部８６０２は、画像における各画素の色と画像の参照背景色との間の距離を計算し、距離画像を取得してもよい。本公開の１つの実施例では、入力画像Ｉ（ｘ，ｙ）の色画像と背景色取得部８６０１により取得された参照背景色に基づいて距離画像ｄｉｓｔ（ｘ，ｙ）を計算してもよい。

ここで、｜・｜はＬ１（幾何学的）距離を表す。

二値距離画像計算部８６０３は、距離画像に基づいて二値距離画像を計算してもよい。本公開の１つの実施例では、二値距離画像計算部８６０３は、背景色計算部８６０２により計算された距離画像ｄｉｓｔ（ｘ，ｙ）に基づいて、例えばグローバル二値化方法（例えばＯＴＳＵ）により１つの距離二値画像（以下はテンプレート画像とも称される）Ｍａｓｋ_ｄｉｓｔ（ｘ，ｙ）を取得してもよい。

ここで、ｔ_２はＯＴＳＵアルゴリズムに基づいて計算された閾値である。なお、本分野の他の公知方法を用いて二値距離画像を計算してもよい。この距離二値画像（テンプレート画像）では、値が「１」の画素は、該画素が前景画素となる確率が高いことを表す。

計数部８６０４は、二値距離画像の、画像前景画素を中心として一定の範囲内の参照画像前景画素の数を計数してもよい。本公開の１つの実施例では、初期前景画像Ｍａｓｋ_{ｆｏｒｅ，ｉｎｉｔ}では、計数部８６０４は、テンプレート画像Ｍａｓｋ_ｄｉｓｔの、初期画像前景画素を中心として一定の範囲内の参照画像前景画素の数を計数してもよい。好ましくは、計数部８６０４は、初期画像前景領域における各連結成分について、テンプレート画像Ｍａｓｋ_ｄｉｓｔにおける対応領域に含まれる参照画像前景画素の数を計算してもよい。

ここで、ｘ_０、ｙ_０、ｘ_１、ｙ_１は連結成分ＣＣ（０）ｉの外接矩形の座標をそれぞれ表す。

設定部８６０５は、参照画像前景画素の数が第２の所定閾値よりも小さい画像前景画素を画像の背景画素に設定してもよい。本実施例では、Ｎｕｍ_ｆｏｒｅ（ＣＣ_ｉ）の値が第２の所定閾値よりも小さい場合、該連結成分が無効のものと見なされる。即ち、無効と判断された全ての連結成分について、これらの連結成分に属する前景画素を背景画素に設定し、最終的な前景画素層を取得する。

図１２Ａ、図１２Ｂ及び図１２Ｃは、初期前景画素層Ｍａｓｋ_{ｆｏｒｅ，ｉｎｉｔ}、図１２Ａの初期前景画素層Ｍａｓｋ_{ｆｏｒｅ，ｉｎｉｔ}に対応する二値化距離画像及び図１２Ａの初期前景画素層Ｍａｓｋ_{ｆｏｒｅ，ｉｎｉｔ}に対応する最終前景画像層Ｍａｓｋ_ｆｏｒｅをそれぞれ示している。

また、これらのピクチャ領域について、各ピクチャ領域を１つの単独画像として処理してもよい。図１３に示すように、画像におけるフローチャートは比較的に大きい連結成分であり、オリジナルの画像からカットする。上述した非ピクチャ前景層の抽出方法は該画像ブロックに適用され、画像ブロックの前景層を抽出する。

図８に示す画像処理装置８００を用いることで、文書画像を候補ピクチャ領域と非候補ピクチャ領域に分類できる。そして、この２種類の領域の背景層を位置決めする。この２種類の領域の背景層を検出した後に、背景層を除去し、文書画像の初期前景層を取得する。最後に、文書の初期前景層に対して小さなノイズを除去して、最終的な前景層画像を取得することで、文書に複数種類の色及び複雑なピクチャ領域が存在するためピクチャ領域の前景層を抽出しにくいという課題を解決できる。

本公開の他の実施例では、図１０に示すように、補正部８６０は、ピクチャ補正部８６０６、ピクチャ色距離計算部８６０７及びピクチャ前景保留部８６０８を含んでもよい。

ピクチャ補正部８６０６は、ピクチャ背景連結成分におけるピクチャ背景画素の情報に基づいて、ピクチャ領域の背景色を取得してもよい。

ピクチャ色距離計算部８６０７は、ピクチャ領域の背景色と画像の参照背景色との間の距離を計算し、背景色距離を取得してもよい。本実施例では、ピクチャ領域の背景色をｃｏｌｏｒ_ｂｇ，ｋと標示し、ピクチャ色距離計算部８６０７は、ピクチャ領域の背景色ｃｏｌｏｒ_ｂｇ，ｋと画像の参照背景色ｃｏｌｏｒ_ｂｇとの間の距離を計算してもよい。

ピクチャ前景保留部８６０８は、背景色距離が閾値よりも大きい場合、ピクチャ領域の全体をピクチャ領域のピクチャ前景領域として保留してもよい。本実施例では、ｄｉｆの値が所定の閾値を超えた場合、候補ピクチャ領域の背景色と画像全体の背景色と異なることを意味するため、候補ピクチャ領域の全体が保留される。そうでない場合、上述した前景抽出方法を用いて該候補ピクチャ領域の前景を抽出する。

以下は図１１を参照しながら本公開の実施例に係る画像処理方法を説明する。図１１に示すように、本公開の実施例に係る画像処理方法はステップＳ１１１０から始まる。ステップＳ１１１０において、画素を含む画像を取得する。

そして、ステップＳ１１２０において、画像からピクチャ領域を検索する。

そして、ステップＳ１１３０において、画像のピクチャ領域を含まない非ピクチャ領域及びピクチャ領域において背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得する。非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされ、ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされる。

そして、ステップＳ１１４０において、非ピクチャ領域及びピクチャ領域から非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ除去することで、非ピクチャ領域の非ピクチャ前景領域及びピクチャ領域のピクチャ前景領域をそれぞれ取得する。非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされ、ピクチャ前景領域における各画素がピクチャ前景画素と見なされる。

そして、ステップＳ１１５０において、非ピクチャ領域の非ピクチャ前景領域とピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得する。画像前景領域における各画素が画像前景画素と見なされる。この後、処理が終了する。

本公開の他の実施例では、画像からピクチャ領域を検索するステップは、画像の画素情報に基づいて画像の勾配画像を取得するステップと、画像の勾配画像を二値画像に変換するステップと、二値画像に対して連結成分解析アルゴリズムを実行し、候補ピクチャ連結成分を取得するステップと、サイズが第１の所定閾値よりも大きい候補ピクチャ連結成分をピクチャ領域として選択するステップと、ピクチャ領域と非ピクチャ領域を分割するように、ピクチャ領域の境界を標示するステップと、を含んでもよい。

本公開の他の実施例では、非ピクチャ背景連結成分及びピクチャ背景連結成分を取得するステップは、画像の画素情報に基づいて画像の勾配画像を取得するステップと、画像の勾配画像を二値画像に変換するステップと、画像の二値画像を非ピクチャ領域とピクチャ領域に分割するステップと、非ピクチャ領域及びピクチャ領域に対して連結成分解析アルゴリズムをそれぞれ実行し、非ピクチャ領域の候補背景連結成分及びピクチャ領域の候補背景連結成分をそれぞれ取得するステップと、非ピクチャ領域及びピクチャ領域から最大サイズを有する候補背景連結成分をそれぞれ選択し、非ピクチャ領域の非ピクチャ背景連結成分及びピクチャ領域のピクチャ背景連結領域とするステップと、を含む。

本公開の他の実施例では、補正ステップをさらに含み、該補正ステップは、画像の非ピクチャ背景連結成分における非ピクチャ背景画素の情報に基づいて、画像の参照背景色を取得するステップと、画像における各画素の色と画像の参照背景色との間の距離を計算し、距離画像を取得するステップと、距離画像に基づいて二値距離画像を計算するステップと、二値距離画像の、画像前景画素を中心として一定の範囲内の参照画像前景画素の数を計数するステップと、参照画像前景画素の数が第２の所定閾値よりも小さい画像前景画素を画像の背景画素に設定するステップと、を含んでもよい。

本公開の他の実施例では、補正ステップは、ピクチャ背景連結成分におけるピクチャ背景画素の情報に基づいて、ピクチャ領域の背景色を取得するステップと、ピクチャ領域の背景色と画像の参照背景色との間の距離を計算し、背景色距離を取得するステップと、背景色距離が閾値よりも大きい場合、ピクチャ領域の全体をピクチャ領域のピクチャ前景領域として保留するステップと、を含んでもよい。

本公開の他の実施例では、画像の参照背景色を取得するステップは、各非ピクチャ背景画素の色をビン（ｂｉｎ）に量子化するステップと、各非ピクチャ背景画素の、対応するビンにおけるヒストグラムを計算するステップと、最大値を有するビンにおける画素の平均色値を画像の参照背景色として選択するステップと、を含む。

本公開の実施例に係る画像処理方法の上記ステップの各種の具体的な実施形態は既に詳細に説明されたため、ここでその説明を省略する。

なお、本公開の画像処理方法の各操作プロセスは、各種の機器読み取り可能な記憶媒体におけるコンピュータ実行可能なプログラムに記憶される形で実現されてもよい。

また、本公開の目的は以下の方式で実現されてもよい。上記実行可能なプログラムコードを記憶した記憶媒体を直接、或いは間接にシステム又は装置に提供し、該システム又は装置におけるコンピュータ又は中央処理部（ＣＰＵ）が上記プログラムコードを読み出して、実行する。この場合は、該システム又は装置がプログラムを実行する機能さえ有すれば、本公開の実施形態はプログラムに限定されず、該プログラムも任意の形、例えばオブジェクトプログラム、インタープリタにより実行されるプログラム又はオペレーションシステムに提供されるスクリプトプログラム等であってもよい。

上記の機器読み取り可能な記憶媒体は、各種の記憶装置又は記憶ユニット、半導体装置、例えば光ディスク、磁気ディスク及び光磁気ディスクを含むディスクユニット、及び情報を記憶可能な他の媒体などを含むが、これらに限定されない。

また、コンピュータはインターネットを介して対応するウェブサイトに接続され、本公開のコンピュータプログラムコードをダウンロードして、コンピュータで該プログラムを実行することで、本公開の実施形態を実現してもよい。

図１４は本公開の実施例に係る画像処理装置及び方法を実現可能な汎用パーソナルコンピュータの例示的な構成を示すブロック図である。

図１４に示すように、ＣＰＵ１３０１は、読み出し専用メモリ（ＲＯＭ）１３０２に記憶されているプログラム、又は記憶部１３０８からランダムアクセスメモリ（ＲＡＭ）１３０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ１３０３には、必要に応じて、ＣＰＵ１３０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ１３０１、ＲＯＭ１３０２、及びＲＡＭ１３０３は、バス１３０４を介して互いに接続されている。入力／出力インターフェース１３０５もバス１３０４に接続されている。

入力部１３０６（キーボード、マウスなどを含む）、出力部１３０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部１３０８（例えばハードディスクなどを含む）、通信部１３０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース１３０５に接続されている。通信部１３０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部１３１０は、入力／出力インターフェース１３０５に接続されてもよい。取り外し可能な媒体１３１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部１３１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部１３０８にインストールされている。

ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体１３１１を介してソフトウェアを構成するプログラムをインストールする。

なお、これらの記憶媒体は、図１４に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体１３１１に限定されない。取り外し可能な媒体１３１１は、例えば磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ１３０２、記憶部１３０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。

本公開の装置及び方法では、各ユニット又は各ステップは分解及び／又は再組み合わせられたものであってもよい。これらの分解及び／又は再組み合わせは本公開と等価する態様と見なされるべきである。また、上記処理のステップは明細書に説明された時間順で実行されてもよいし、時間順以外の順序で実行されてもよい。あるステップは、並行又は単独で実行されもよい。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。

（付記１）
画像処理装置であって、
画素を含む画像を取得する画像取得手段と、
前記画像からピクチャ領域を検索するピクチャ検索手段と、
前記画像の前記ピクチャ領域を含まない非ピクチャ領域及び前記ピクチャ領域において背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得する背景取得手段であって、前記非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされ、前記ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされる、背景取得手段と、
前記非ピクチャ領域及び前記ピクチャ領域から前記非ピクチャ背景連結成分及び前記ピクチャ背景連結成分をそれぞれ除去することで、前記非ピクチャ領域の非ピクチャ前景領域及び前記ピクチャ領域のピクチャ前景領域をそれぞれ取得する前景取得手段であって、前記非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされ、前記ピクチャ前景領域における各画素がピクチャ前景画素と見なされる、前景取得手段と、
前記非ピクチャ領域の非ピクチャ前景領域と前記ピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得する合併手段であって、前記画像前景領域における各画素が画像前景画素と見なされる、合併手段と、を含む、装置。

（付記２）
前記ピクチャ検索手段は、
前記画像の画素情報に基づいて前記画像の勾配画像を取得する第１の勾配画像取得手段と、
前記画像の勾配画像を二値画像に変換する第１の画像変換手段と、
前記二値画像に対して連結成分解析アルゴリズムを実行し、候補ピクチャ連結成分を取得する候補ピクチャ連結成分取得手段と、
サイズが第１の所定閾値よりも大きい候補ピクチャ連結成分を前記ピクチャ領域として選択するピクチャ選択手段と、
前記ピクチャ領域と前記非ピクチャ領域を分割するように、前記ピクチャ領域の境界を標示するピクチャ標示手段と、を含む、付記１に記載の装置。

（付記３）
前記背景取得手段は、
前記画像の画素情報に基づいて前記画像の勾配画像を取得する第２の勾配画像取得手段と、
前記画像の勾配画像を二値画像に変換する第２の画像変換手段と、
前記画像の二値画像を前記非ピクチャ領域と前記ピクチャ領域に分割する分割手段と、
前記非ピクチャ領域及び前記ピクチャ領域に対して連結成分解析アルゴリズムをそれぞれ実行し、前記非ピクチャ領域の候補背景連結成分及び前記ピクチャ領域の候補背景連結成分をそれぞれ取得する候補背景取得手段と、
前記非ピクチャ領域及び前記ピクチャ領域から最大サイズを有する候補背景連結成分をそれぞれ選択し、前記非ピクチャ領域の非ピクチャ背景連結成分及び前記ピクチャ領域のピクチャ背景連結領域とする背景選択手段と、を含む、付記１に記載の装置。

（付記４）
補正手段をさらに含み、
前記補正手段は、
前記画像の非ピクチャ背景連結成分における非ピクチャ背景画素の情報に基づいて、前記画像の参照背景色を取得する背景色取得手段と、
前記画像における各画素の色と前記画像の参照背景色との間の距離を計算し、距離画像を取得する背景色計算手段と、
前記距離画像に基づいて二値距離画像を計算する二値距離画像計算手段と、
前記二値距離画像の、前記画像前景画素を中心として一定の範囲内の参照画像前景画素の数を計数する計数手段と、
前記参照画像前景画素の数が第２の所定閾値よりも小さい前記画像前景画素を前記画像の背景画素に設定する設定手段と、を含む、付記１乃至３のいずれかに記載の装置。

（付記５）
前記補正手段は、
前記ピクチャ背景連結成分におけるピクチャ背景画素の情報に基づいて、前記ピクチャ領域の背景色を取得するピクチャ補正手段と、
前記ピクチャ領域の背景色と前記画像の参照背景色との間の距離を計算し、背景色距離を取得するピクチャ色距離計算手段と、
前記背景色距離が閾値よりも大きい場合、前記ピクチャ領域の全体を前記ピクチャ領域のピクチャ前景領域として保留するピクチャ前景保留手段と、を含む、付記４に記載の装置。

（付記６）
前記背景色取得手段は、
各非ピクチャ背景画素の色をビン（ｂｉｎ）に量子化する色量子化手段と、
各非ピクチャ背景画素の、対応するビンにおけるヒストグラムを計算するヒストグラム計算手段と、
最大値を有するビンにおける画素の平均色値を前記画像の参照背景色として選択する色選択手段と、を含む、付記４に記載の装置。

（付記７）
前記計数手段は、前記画像前景領域における各連結成分について、前記二値距離画像における対応領域に含まれる参照画像前景画素の数を計算する、付記４に記載の装置。

（付記８）
前記二値距離画像計算手段は、ＯＴＳＵアルゴリズムにより二値距離画像を計算する、付記４に記載の装置。

（付記９）
前記非ピクチャ領域及び前記ピクチャ領域にはいずれも色が均一な背景が存在する、付記１に記載の装置。

（付記１０）
画像処理方法であって、
画素を含む画像を取得するステップと、
前記画像からピクチャ領域を検索するステップと、
前記画像の前記ピクチャ領域を含まない非ピクチャ領域及び前記ピクチャ領域において背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得するステップであって、前記非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされ、前記ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされる、ステップと、
前記非ピクチャ領域及び前記ピクチャ領域から前記非ピクチャ背景連結成分及び前記ピクチャ背景連結成分をそれぞれ除去することで、前記非ピクチャ領域の非ピクチャ前景領域及び前記ピクチャ領域のピクチャ前景領域をそれぞれ取得するステップであって、前記非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされ、前記ピクチャ前景領域における各画素がピクチャ前景画素と見なされる、ステップと、
前記非ピクチャ領域の非ピクチャ前景領域と前記ピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得するステップであって、前記画像前景領域における各画素が画像前景画素と見なされる、ステップと、を含む、方法。

（付記１１）
前記画像からピクチャ領域を検索するステップは、
前記画像の画素情報に基づいて前記画像の勾配画像を取得するステップと、
前記画像の勾配画像を二値画像に変換するステップと、
前記二値画像に対して連結成分解析アルゴリズムを実行し、候補ピクチャ連結成分を取得するステップと、
サイズが第１の所定閾値よりも大きい候補ピクチャ連結成分を前記ピクチャ領域として選択するステップと、
前記ピクチャ領域と前記非ピクチャ領域を分割するように、前記ピクチャ領域の境界を標示するステップと、を含む、付記１０に記載の方法。

（付記１２）
前記非ピクチャ背景連結成分及びピクチャ背景連結成分を取得するステップは、
前記画像の画素情報に基づいて前記画像の勾配画像を取得するステップと、
前記画像の勾配画像を二値画像に変換するステップと、
前記画像の二値画像を前記非ピクチャ領域と前記ピクチャ領域に分割するステップと、
前記非ピクチャ領域及び前記ピクチャ領域に対して連結成分解析アルゴリズムをそれぞれ実行し、前記非ピクチャ領域の候補背景連結成分及び前記ピクチャ領域の候補背景連結成分をそれぞれ取得するステップと、
前記非ピクチャ領域及び前記ピクチャ領域から最大サイズを有する候補背景連結成分をそれぞれ選択し、前記非ピクチャ領域の非ピクチャ背景連結成分及び前記ピクチャ領域のピクチャ背景連結領域とするステップと、を含む、付記１０に記載の方法。

（付記１３）
補正ステップをさらに含み、
前記補正ステップは、
前記画像の非ピクチャ背景連結成分における非ピクチャ背景画素の情報に基づいて、前記画像の参照背景色を取得するステップと、
前記画像における各画素の色と前記画像の参照背景色との間の距離を計算し、距離画像を取得するステップと、
前記距離画像に基づいて二値距離画像を計算するステップと、
前記二値距離画像の、前記画像前景画素を中心として一定の範囲内の参照画像前景画素の数を計数するステップと、
前記参照画像前景画素の数が第２の所定閾値よりも小さい前記画像前景画素を前記画像の背景画素に設定するステップと、を含む、付記１０乃至１２のいずれかに記載の方法。

（付記１４）
前記補正ステップは、
前記ピクチャ背景連結成分におけるピクチャ背景画素の情報に基づいて、前記ピクチャ領域の背景色を取得するステップと、
前記ピクチャ領域の背景色と前記画像の参照背景色との間の距離を計算し、背景色距離を取得するステップと、
前記背景色距離が閾値よりも大きい場合、前記ピクチャ領域の全体を前記ピクチャ領域のピクチャ前景領域として保留するステップと、を含む、付記１３に記載の方法。

（付記１５）
前記画像の参照背景色を取得するステップは、
各非ピクチャ背景画素の色をビン（ｂｉｎ）に量子化するステップと、
各非ピクチャ背景画素の、対応するビンにおけるヒストグラムを計算するステップと、
最大値を有するビンにおける画素の平均色値を前記画像の参照背景色として選択するステップと、を含む、付記１３に記載の方法。

（付記１６）
前記画像前景領域における各連結成分について、前記二値距離画像における対応領域に含まれる参照画像前景画素の数を計算する、付記１３に記載の方法。

（付記１７）
ＯＴＳＵアルゴリズムにより二値距離画像を計算する、付記１３に記載の方法。

（付記１８）
前記非ピクチャ領域及び前記ピクチャ領域にはいずれも色が均一な背景が存在する、付記１０に記載の方法。

（付記１９）
コンピュータが命令コードを読み取って実行する時に前記コンピュータに付記１０乃至１８のいずれかに記載の方法を実行させるための機器読み取り可能な前記命令コードを記憶したプログラムプロダクトを記録した機器読み取り可能な記憶媒体。

Claims

画像処理装置であって、
画素を含む画像を取得する画像取得手段と、
前記画像からピクチャ領域を検索するピクチャ検索手段と、
前記画像の前記ピクチャ領域を含まない非ピクチャ領域及び前記ピクチャ領域において背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得する背景取得手段であって、前記非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされ、前記ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされる、背景取得手段と、
前記非ピクチャ領域及び前記ピクチャ領域から前記非ピクチャ背景連結成分及び前記ピクチャ背景連結成分をそれぞれ除去することで、前記非ピクチャ領域の非ピクチャ前景領域及び前記ピクチャ領域のピクチャ前景領域をそれぞれ取得する前景取得手段であって、前記非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされ、前記ピクチャ前景領域における各画素がピクチャ前景画素と見なされる、前景取得手段と、
前記非ピクチャ領域の非ピクチャ前景領域と前記ピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得する合併手段であって、前記画像前景領域における各画素が画像前景画素と見なされる、合併手段と、を含む、装置。
前記ピクチャ検索手段は、
前記画像の画素情報に基づいて前記画像の勾配画像を取得する第１の勾配画像取得手段と、
前記画像の勾配画像を二値画像に変換する第１の画像変換手段と、
前記二値画像に対して連結成分解析アルゴリズムを実行し、候補ピクチャ連結成分を取得する候補ピクチャ連結成分取得手段と、
サイズが第１の所定閾値よりも大きい候補ピクチャ連結成分を前記ピクチャ領域として選択するピクチャ選択手段と、
前記ピクチャ領域と前記非ピクチャ領域を分割するように、前記ピクチャ領域の境界を標示するピクチャ標示手段と、を含む、請求項１に記載の装置。
前記背景取得手段は、
前記画像の画素情報に基づいて前記画像の勾配画像を取得する第２の勾配画像取得手段と、
前記画像の勾配画像を二値画像に変換する第２の画像変換手段と、
前記画像の二値画像を前記非ピクチャ領域と前記ピクチャ領域に分割する分割手段と、
前記非ピクチャ領域及び前記ピクチャ領域に対して連結成分解析アルゴリズムをそれぞれ実行し、前記非ピクチャ領域の候補背景連結成分及び前記ピクチャ領域の候補背景連結成分をそれぞれ取得する候補背景取得手段と、
前記非ピクチャ領域及び前記ピクチャ領域から最大サイズを有する候補背景連結成分をそれぞれ選択し、前記非ピクチャ領域の非ピクチャ背景連結成分及び前記ピクチャ領域のピクチャ背景連結領域とする背景選択手段と、を含む、請求項１に記載の装置。
補正手段をさらに含み、
前記補正手段は、
前記画像の非ピクチャ背景連結成分における非ピクチャ背景画素の情報に基づいて、前記画像の参照背景色を取得する背景色取得手段と、
前記画像における各画素の色と前記画像の参照背景色との間の距離を計算し、距離画像を取得する背景色計算手段と、
前記距離画像に基づいて二値距離画像を計算する二値距離画像計算手段と、
前記二値距離画像の、前記画像前景画素を中心として一定の範囲内の参照画像前景画素の数を計数する計数手段と、
前記参照画像前景画素の数が第２の所定閾値よりも小さい前記画像前景画素を前記画像の背景画素に設定する設定手段と、を含む、請求項１乃至３のいずれかに記載の装置。
前記補正手段は、
前記ピクチャ背景連結成分におけるピクチャ背景画素の情報に基づいて、前記ピクチャ領域の背景色を取得するピクチャ補正手段と、
前記ピクチャ領域の背景色と前記画像の参照背景色との間の距離を計算し、背景色距離を取得するピクチャ色距離計算手段と、
前記背景色距離が閾値よりも大きい場合、前記ピクチャ領域の全体を前記ピクチャ領域のピクチャ前景領域として保留するピクチャ前景保留手段と、を含む、請求項４に記載の装置。
前記背景色取得手段は、
各非ピクチャ背景画素の色をビン（ｂｉｎ）に量子化する色量子化手段と、
各非ピクチャ背景画素の、対応するビンにおけるヒストグラムを計算するヒストグラム計算手段と、
最大値を有するビンにおける画素の平均色値を前記画像の参照背景色として選択する色選択手段と、を含む、請求項４に記載の装置。
前記計数手段は、前記画像前景領域における各連結成分について、前記二値距離画像における対応領域に含まれる参照画像前景画素の数を計算する、請求項４に記載の装置。
前記二値距離画像計算手段は、ＯＴＳＵアルゴリズムにより二値距離画像を計算する、請求項４に記載の装置。
前記非ピクチャ領域及び前記ピクチャ領域にはいずれも色が均一な背景が存在する、請求項１に記載の装置。
画像処理方法であって、
画素を含む画像を取得するステップと、
前記画像からピクチャ領域を検索するステップと、
前記画像の前記ピクチャ領域を含まない非ピクチャ領域及び前記ピクチャ領域において背景連結成分取得処理をそれぞれ実行し、非ピクチャ背景連結成分及びピクチャ背景連結成分をそれぞれ取得するステップであって、前記非ピクチャ背景連結成分における各画素が非ピクチャ背景画素と見なされ、前記ピクチャ背景連結成分における各画素がピクチャ背景画素と見なされる、ステップと、
前記非ピクチャ領域及び前記ピクチャ領域から前記非ピクチャ背景連結成分及び前記ピクチャ背景連結成分をそれぞれ除去することで、前記非ピクチャ領域の非ピクチャ前景領域及び前記ピクチャ領域のピクチャ前景領域をそれぞれ取得するステップであって、前記非ピクチャ前景領域における各画素が非ピクチャ前景画素と見なされ、前記ピクチャ前景領域における各画素がピクチャ前景画素と見なされる、ステップと、
前記非ピクチャ領域の非ピクチャ前景領域と前記ピクチャ領域のピクチャ前景領域を合併し、最終的な画像前景領域を取得するステップであって、前記画像前景領域における各画素が画像前景画素と見なされる、ステップと、を含む、方法。