JP2009071625A - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 文字と写真が混在したカラー文書画像から写真領域を抽出する。
【解決手段】 画像処理装置は、入力されたカラー文書画像から２値画像を生成し、画素の分布に基づき、文字領域を抽出する。入力されたカラー文書画像を予め定められたサイズの部分領域に分割し、部分領域に文字領域が含まれるか判定する。部分領域に文字領域が含まれる場合において、文字領域に含まれない領域の色情報に基づき、文字領域を塗りつぶしたカラー画像を生成し、生成されたカラー画像の色情報を量子化した結果に基づき、カラー画像を部分領域に分割する。分割された部分領域における色情報と、部分領域に含まれる、塗りつぶされた文字領域の塗りつぶし色情報と、が一致する場合、または、それぞれの差分が予め定められた閾値以下の場合、部分領域を背景領域と判定する。カラー文書画像において、背景領域に囲まれる領域を写真領域として抽出する。
【選択図】 図２

Description

本発明は文字、写真が混在した文書画像中から写真領域を抽出する画像処理技術に関する。

近年、スキャナの普及により文書の電子化が進んでいる。このとき、電子化された文書中の情報を分割して再利用する場面も多くみられるようになっている。スキャンして取り込む画像も、単純な文字のみを表記した二値画像から、写真など多値の情報を持つカラー画像が増加している。

現在の一般的な文書画像の領域分割は文字領域の分割に特化しており、入力画像を二値化処理後にそれぞれの領域の属性を判定している。

このため、黒単色で書かれることの多い文字の抽出は成功するが、写真などでは二値化で色の情報が失われてしまい、写真の一部分のみが黒になり、これを領域分割するため写真の正確な境界の判別は難しい。

よってカラー情報を使った領域分割および写真領域の属性判定の技術がある。たとえば、カラー画像の背景色を決め、背景色と異なる領域のうち、同じ色の画素を連結し、領域の持つ色が一定色以上で、領域の外接矩形のサイズや他の背景色ではない領域の外接矩形の重なり具合から写真か否かを判定する（例えば特許文献１参照）。
特開２００４−１１０４３４号公報

しかし、上記の背景技術では背景の色が単色でない場合、例えば、グラデーションのかかった色のとき、背景領域の決定が難しい。また、写真の色数が少ない場合や矩形ではない場合、文字の色数が多い場合を考慮していない。

本発明は、かかる問題点に鑑みなされたものであり、文字、写真が混在した文書画像中から写真領域を正確に抽出可能な画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、文字と写真が混在したカラー文書画像から写真領域を抽出する画像処理装置であって、
入力されたカラー文書画像から２値化画像を生成し、当該２値化画像における黒画素の分布に基づき、文字領域を抽出する抽出手段と、
入力された前記カラー文書画像を予め定められたサイズの部分領域に分割し、当該部分領域に前記文字領域が含まれるか判定する文字領域判定手段と、
前記部分領域に前記文字領域が含まれる場合に、当該文字領域に含まれない領域の色情報の平均値を塗りつぶし色情報として算出し、当該塗りつぶし色情報により当該文字領域を塗りつぶしたカラー画像を生成する画像生成手段と、
前記カラー画像の色情報を量子化し、量子化した色情報と一致する、または予め定められた閾値以下となる色情報を有する画素をグループ化して、前記カラー画像を部分領域に分割する分割手段と、
分割された前記部分領域において、量子化された前記色情報と、前記塗りつぶし色情報とが一致する領域、または、それぞれの差分が予め定められた閾値以下となる領域を背景領域と判定する背景領域判定手段と、
前記カラー文書画像において、前記背景領域に含まれない領域を写真領域として抽出する抽出手段と、
を備えることを特徴とする。

あるいは、本発明にかかる画像処理方法は、文字と写真が混在したカラー文書画像から写真領域を抽出する画像処理方法であって、
抽出手段が、入力されたカラー文書画像から２値化画像を生成し、当該２値化画像における黒画素の分布に基づき、文字領域を抽出する抽出工程と、
文字領域判定手段が、入力された前記カラー文書画像を予め定められたサイズの部分領域に分割し、当該部分領域に前記文字領域が含まれるか判定する文字領域判定工程と、
前記部分領域に前記文字領域が含まれる場合に、画像生成手段が、当該文字領域に含まれない領域の色情報の平均値を塗りつぶし色情報として算出し、当該塗りつぶし色情報により当該文字領域を塗りつぶしたカラー画像を生成する画像生成工程と、
分割手段が、前記カラー画像の色情報を量子化し、量子化した色情報と一致する、または予め定められた閾値以下となる色情報を有する画素をグループ化して、前記カラー画像を部分領域に分割する分割工程と、
背景領域判定手段が、分割された前記部分領域において、量子化された前記色情報と、前記塗りつぶし色情報とが一致する領域、または、それぞれの差分が予め定められた閾値以下となる領域を背景領域と判定する背景領域判定工程と、
抽出手段が、前記カラー文書画像において、前記背景領域に含まれない領域を写真領域として抽出する抽出工程と、
を備えることを特徴とする。

本発明によれば、文字と写真が混在したカラー文書画像から写真領域の抽出することが可能になる。

以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

＜実施形態１＞
（画像処理装置の構成）
図１は本発明を実施するための画像処理装置１０の概略的な構成を示すブロック図である。ＣＰＵ１０１はＲＯＭ１０２に格納されている制御プログラムに従って画像処理装置１０の全体的な制御を行う制御部として機能することが可能である。ＲＯＭ１０２はＣＰＵ１０１が実行する後述するフローチャートに示す処理等、画像処理装置１０の制御プログラム等を格納する。画像処理装置１０の制御プログラムとＣＰＵ１０１との組み合わせには、本発明の実施形態にかかる画像処理を実行するための処理手段を構成することが可能である。

ＲＡＭ１０３は、後述するスキャナ１０８より入力された文書画像等を記憶することが可能である。外部記憶装置１０４は磁気ディスク等により構成される。ディスプレイ１０５は入力された文書画像等や文書画像等に対する画像処理の結果を表示することが可能である。キーボード１０６、マウス等のポインティングデバイス１０７は、画像処理装置１０に対する各種操作入力を入力するための操作入力部として機能する。スキャナ１０８は、カラー画像、文字、写真が混在した文書画像などの画像を読み取るための入力部として機能することが可能である。

本発明の実施形態にかかる画像処理は、例えば、情報処理装置でも実行可能である。その場合、コンピュータ可読の媒体等で提供される制御プログラムを外部記憶装置１０４に記憶し、オペレータの指示等により情報処理装置に制御プログラムをインストールして、ＣＰＵ１０１で実行するように構成することも可能である。

また、画像処理装置１０は、ネットワークインターフェース１０９を介して、ネットワーク１１０と接続することが可能である。画像処理装置１０は、遠隔地に存在する情報処理装置１１１や他の画像処理装置やスキャナ装置などのネットワークデバイス１１２と通信し、プログラムや文字、写真が混在した文書画像などを受信することが可能である。画像処理装置１０は、ネットワーク１１０を介して受信した文書画像等に対して画像処理を実行することが可能である。

（画像処理）
図２は、本発明の実施形態にかかる画像処理の流れを説明するフローチャートであり、ＣＰＵ１０１の制御に下に、処理は実行される。

Ｓ２０１において、ＣＰＵ１０１は、スキャナ１０８等を制御して、文字、写真が混在したカラー文書画像を入力する。図４はカラー文書画像の一例を示す図である。図４に例示するカラー文書画像は、黒文字の文書と、カラー写真と、グラデーションによる背景画像を含む。

Ｓ２０２において、ＣＰＵ１０１の制御により、入力したカラー画像から二値画像を生成する。具体的には入力カラー画像から輝度のヒストグラムをとり、二値化閾値を演算し、カラー文書画像を閾値に基づいて二値化する。図５は、図４に示したカラー文書画像を二値化した画像の一例を示す図である。ここで、ＣＰＵ１０１は、入力された画像から２値化画像を生成する手段として機能する。

Ｓ２０３において、ＣＰＵ１０１の制御により、Ｓ２０２の処理で得られた二値化された画像の領域を分割する。領域分割処理の具体例としては、例えば、米国特許５、６８０、４７８号公報に記載の処理などがある。ＣＰＵ１０１は、２値化された画像中の黒画素塊、白画素塊の集合（分布）を抽出する。画素の分布形状、大きさ、集合状態等、画素の分布の特徴量から、文字、絵や図、表、枠、線といった特徴名で、領域を抽出する。図６は二値化画像に対する領域分割（領域の抽出）の結果の一例を示す図である。領域６０１、６０２、６０３、６０４、６０５は文字として判別され、領域６０６、６０７、６０８、６０９は絵として判別されている。カラー写真の領域は、二値化で色の情報が失われてしまい、写真の一部分のみが黒になり、結果として１つの写真が複数の絵の領域として過分割されている。

ここで、ＣＰＵ１０１は、２値化画像の黒画素または白画素の分布に基づき、文字、絵や図、表、枠、線といった特徴領域を抽出する手段として機能する。

Ｓ２０４において、ＣＰＵ１０１は、文字領域の部分を背景色で塗りつぶしたカラー画像を生成する。

（文字領域を塗りつぶしたカラー画像の生成処理）
文字領域を塗りつぶしたカラー画像の生成処理の流れを図３のフローチャートを参照して具体的に説明する。本処理は、ＣＰＵ１０１の全体的な制御の下に実行される。

Ｓ３０１において、ＣＰＵ１０１は、Ｓ２０１で入力されたカラー文書画像を予め定められたサイズのブロック（部分領域）に分割する。

Ｓ３０２において、ＣＰＵ１０１は、未処理のブロック（部分領域）の有無を判定する。全てのブロック（部分領域）に対して、処理が終了した場合は（Ｓ３０２−Ｙｅｓ）、処理を終了し、処理をＳ２０４に戻す。一方、Ｓ３０２の判定で、全てのブロック（部分領域）に対して処理が終了していない場合（Ｓ３０２−Ｎｏ）、処理はＳ３０３に進められる。

Ｓ３０３において、ＣＰＵ１０１は、Ｓ３０１の処理により分割されたブロック（部分領域）内に文字領域が含まれるか判定する。具体的には、ＣＰＵ１０１は、ブロック（部分領域）内に図２のＳ２０３で文字領域と判定された領域（図６の文字領域６０１〜６０５に相当する領域）が含まれるか判定する。ブロック内に文字領域が含まれている場合、処理はＳ３０４に進められる。ブロック内に文字領域がなければ他の未処理ブロックを処理するために、処理をＳ３０２に戻し、同様の処理を繰り返す。ここで、ＣＰＵ１０１は、入力されたカラー文書画像を予め定められたサイズの部分領域に分割し、部分領域に文字領域が含まれるか判定する文字領域判定手段として機能することが可能である。

Ｓ３０４において、ＣＰＵ１０１は、ブロック内において、文字部分（文字領域）以外の領域の色情報を算出する。ＣＰＵ１０１は、ブロック内で、文字に対応する黒部分（黒画素）以外の二値画像の白部分（白画素）に対応するカラー文書画像の色情報の平均値を算出し、この算出結果を文字部分以外の色情報として算出する。

Ｓ３０５において、ＣＰＵ１０１の制御により、ブロック内の文字領域をＳ３０４で求めた色情報で塗りつぶす。具体的には、二値画像の文字に対応する黒部分（黒画素）にあたるカラー画像の画素の色情報を、Ｓ３０４で算出した文字部分（文字領域）以外の色情報に置き換える。図７は文字部分（文字領域６０１〜６０４）の塗りつぶし画像の一例を示す図である。ここで、ＣＰＵ１０１は、部分領域に前記文字領域が含まれる場合に、文字領域に含まれない領域の色情報の平均値を塗りつぶし色情報として算出する。そして、塗りつぶし色情報により文字領域を塗りつぶしたカラー画像を生成する画像生成手段として機能する。

Ｓ３０６において、ＣＰＵ１０１は、Ｓ３０５で文字領域の塗りつぶしに用いた色情報と、塗りつぶした文字領域の位置情報とを関連付けて、テーブルに格納する。図１０は、塗りつぶした文字領域の位置情報と、色情報とを関連付けるテーブルを例示する図である。塗りつぶした文字領域は、識別情報に従い特定することが可能である。塗りつぶした文字領域の位置は、例えば、図６に示すように、文書画像中における文字領域の位置情報（（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２））により、特定することができる。塗りつぶした文字領域の色情報は、位置情報とともにテーブルに格納されているＲ、Ｇ、Ｂの値により特定される。

以上の処理により、文字領域を塗りつぶしたカラー画像の生成処理を終了する。

説明を図２に戻し、Ｓ２０５において、ＣＰＵ１０１は、文字領域を塗りつぶしたカラー画像を、色情報が近似する画素のグループに分割する。

（文字部塗りつぶしカラー画像の分割処理）
文字領域を塗りつぶしたカラー画像の分割処理の流れを図８のフローチャートを参照して説明する。本処理は、ＣＰＵ１０１の全体的な制御の下に実行される。

Ｓ８０１において、ＣＰＵ１０１は、Ｓ２０４の処理により生成された文字領域を塗りつぶしたカラー画像を予め定められたサイズのブロック（部分領域）に分割し、Ｓ８０２において、ＣＰＵ１０１は、ブロック（部分領域）ごとの色情報を量子化する。ＣＰＵ１０１は、文字領域を塗りつぶしたカラー画像を予め定められたサイズの部分領域に分割し、部分領域における色情報を量子化する手段として機能する。

Ｓ８０３において、ＣＰＵ１０１は、注目するブロック（部分領域）と隣接するブロックに量子化された色情報が一致する画素または、量子化された色情報と近似する色情報を有する画素があるか判定する。ＣＰＵ１０１は、量子化された色情報の差分が予め定められた閾値以下の場合、近似した色情報と判定する。

注目するブロック（部分領域）と隣接するブロックに、一致した、または近似した色情報を有する画素がある場合（Ｓ８０３−Ｙｅｓ）、処理はＳ８０４に進められる。Ｓ８０３の判定で、一致した、または近似した色情報を有する画素がない場合（Ｓ８０３−Ｎｏ）、処理はＳ８０５に進められる。

Ｓ８０４で、ＣＰＵ１０１は、量子化した色情報と一致する、または予め定められた閾値以下となる色情報を有する画素（近似する色情報を有する画素）をグループ化して、カラー画像を部分領域に分割する。

Ｓ８０５において、未処理のブロックの有無を判定し、未処理のブロックがある場合（Ｓ８０５−Ｙｅｓ）、ＣＰＵ１０１は、処理をＳ８０３に戻し、同様の処理を全てのブロックに対して実行する。

以上の処理により、ＣＰＵ１０１は、量子化された色情報に基づいて、近似した色情報を有する画素をグループ化することにより、文字領域を塗りつぶしたカラー画像を分割することができる。

説明を図２に戻し、Ｓ２０６において、ＣＰＵ１０１は、先のＳ２０５で分割された文字領域を塗りつぶしたカラー画像の各領域が背景領域に対応するか判定する。ＣＰＵ１０１は、背景領域判定手段として機能し、分割された部分領域において、量子化された色情報と塗りつぶし色情報とが一致する領域又は差分が予め定められた閾値以下となる領域を背景領域と判定する。

図９は、色情報を量子化した画像の一例を示す図である。もともとのカラー文書画像の背景部分はグラデーションのため、量子化の結果、３つの領域９０１、９０２、９０３に分割されている。

ＣＰＵ１０１は、図１０に示すテーブルの座標情報を参照し、部分領域（例えば、領域９０１）に塗りつぶされた文字領域が包含されるか判定する。塗りつぶされた文字領域が包含される場合、領域に対応する塗りつぶし色情報を読み出す。そして、ＣＰＵ１０１は、読み出した塗りつぶし色情報と、量子化された色情報とが一致するか、または予め定められた閾値以下であるか判定する。ＣＰＵ１０１は、読み出した塗りつぶし色情報と、量子化された色情報とが一致する場合、または読み出した塗りつぶし色情報が予め定められた閾値以下の場合、その領域を背景と判定する。

写真などのオブジェクトの色情報が量子化され分割されている場合（図９の領域９０４）、その領域が持つ量子化された色情報とテーブルに格納されている色情報とは一致しないため、背景でないと判定される。

ＣＰＵ１０１は、この処理を量子化した色情報のすべての領域に対して行い、背景と判定された領域９０１、９０２、９０３を統合する。

Ｓ２０７において、ＣＰＵ１０１は、入力されたカラー文書画像から写真領域を抽出する。ＣＰＵ１０１は、入力されたカラー文書画像からＳ２０６で統合された背景領域に含まれない領域、または背景領域に囲まれている領域を写真領域として抽出する。

本実施形態に拠れば、背景色がグラデーションなどの単色でない場合や、色量子化の過分割があった場合、面積が大きくない領域であっても正確に背景領域を抽出できる。

文字領域を塗りつぶしたカラー画像を量子化処理する処理により量子化領域数が減り、処理ステップを低減することができる。

背景領域に囲まれた領域を写真領域と判定するので、写真領域が非矩形であっても正確に写真領域の切り出しができる。

本発明の実施形態に拠れば、文字と写真が混在したカラー文書画像から写真領域の抽出が可能となる。

（他の実施形態）
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。

本発明を実施するための画像処理装置１０の概略的な構成を示すブロック図である。 本発明の実施形態にかかる画像処理の流れを説明する図である。 文字領域を塗りつぶしたカラー画像の生成処理を説明する図である。 カラー文書画像の一例を示す図である。 図４に示したカラー文書画像を二値化した画像の一例を示す図である。 二値化画像に対する領域分割（領域の抽出）の結果の一例を示す図である。 文字部分（文字領域６０１〜６０４）の塗りつぶし画像の一例を示す図である。 文字領域を塗りつぶしたカラー画像の分割処理の流れを説明する図である。 色情報を量子化した画像の一例を示す図である。 塗りつぶした文字領域の位置情報と、色情報とを関連付けるテーブルを例示する図である。

符号の説明

１０ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ

Claims (8)

1. 文字と写真が混在したカラー文書画像から写真領域を抽出する画像処理装置であって、
   入力されたカラー文書画像から２値化画像を生成し、当該２値化画像における黒画素の分布に基づき、文字領域を抽出する抽出手段と、
   入力された前記カラー文書画像を予め定められたサイズの部分領域に分割し、当該部分領域に前記文字領域が含まれるか判定する文字領域判定手段と、
   前記部分領域に前記文字領域が含まれる場合に、当該文字領域に含まれない領域の色情報の平均値を塗りつぶし色情報として算出し、当該塗りつぶし色情報により当該文字領域を塗りつぶしたカラー画像を生成する画像生成手段と、
   前記カラー画像の色情報を量子化し、量子化した色情報と一致する、または予め定められた閾値以下となる色情報を有する画素をグループ化して、前記カラー画像を部分領域に分割する分割手段と、
   分割された前記部分領域において、量子化された前記色情報と、前記塗りつぶし色情報とが一致する領域、または、それぞれの差分が予め定められた閾値以下となる領域を背景領域と判定する背景領域判定手段と、
   前記カラー文書画像において、前記背景領域に含まれない領域を写真領域として抽出する抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像生成手段は、
   塗りつぶした前記文字領域の位置情報と、前記塗りつぶし色情報とを対応させて格納手段に格納することを特徴とする請求項１に記載の画像処理装置。
3. 前記背景領域判定手段は、
   格納手段に格納されている文字領域の位置情報に基づき、分割された部分領域に、塗りつぶされた文字領域が包含されるか判定し、
   前記文字領域が包含される場合に、当該文字領域の塗りつぶしに用いた塗りつぶし色情報と、量子化された前記色情報と、が一致する領域、または、それぞれの差分が予め定められた閾値以下となる領域を背景領域と判定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 文字と写真が混在したカラー文書画像から写真領域を抽出する画像処理方法であって、
   抽出手段が、入力されたカラー文書画像から２値化画像を生成し、当該２値化画像における黒画素の分布に基づき、文字領域を抽出する抽出工程と、
   文字領域判定手段が、入力された前記カラー文書画像を予め定められたサイズの部分領域に分割し、当該部分領域に前記文字領域が含まれるか判定する文字領域判定工程と、
   前記部分領域に前記文字領域が含まれる場合に、画像生成手段が、当該文字領域に含まれない領域の色情報の平均値を塗りつぶし色情報として算出し、当該塗りつぶし色情報により当該文字領域を塗りつぶしたカラー画像を生成する画像生成工程と、
   分割手段が、前記カラー画像の色情報を量子化し、量子化した色情報と一致する、または予め定められた閾値以下となる色情報を有する画素をグループ化して、前記カラー画像を部分領域に分割する分割工程と、
   背景領域判定手段が、分割された前記部分領域において、量子化された前記色情報と、前記塗りつぶし色情報とが一致する領域、または、それぞれの差分が予め定められた閾値以下となる領域を背景領域と判定する背景領域判定工程と、
   抽出手段が、前記カラー文書画像において、前記背景領域に含まれない領域を写真領域として抽出する抽出工程と、
   を備えることを特徴とする画像処理方法。
5. 前記画像生成工程では、
   塗りつぶした前記文字領域の位置情報と、前記塗りつぶし色情報とを対応させて格納手段に格納することを特徴とする請求項４に記載の画像処理方法。
6. 前記背景領域判定工程では、
   格納手段に格納されている文字領域の位置情報に基づき、分割された部分領域に、塗りつぶされた文字領域が包含されるか判定し、
   前記文字領域が包含される場合に、当該文字領域の塗りつぶしに用いた塗りつぶし色情報と、量子化された前記色情報と、が一致する領域、または、それぞれの差分が予め定められた閾値以下となる領域を背景領域と判定することを特徴とする請求項４または請求項５に記載の画像処理方法。
7. 請求項４乃至請求項６のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
8. 請求項７に記載のプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。