JP2009044739A - デジタル画像の背景色を決定するための方法およびシステム - Google Patents

Abstract

【課題】背景色を精度よく推定することができるシステムを実現する。
【解決手段】エッジ濃度、画像の均一性（均一度）、局所的な色ではないという情報、前景色などの選択条件に基づいて、画像データからカラーバッファに選択的に蓄積された画素の色値を集約することにより、局所背景の色を推定する。
【選択図】図６

Description

本発明は、デジタル画像の背景色を決定するための方法およびシステムに関するものである。

多くのデジタル画像における視覚的品質を改善させるための処理は、デジタル画像の中の異なる画像領域を正確に特定できるかどうかに依存している。さらに、様々な画像領域の正確な検出は、多くの圧縮処理において重要である。

特許文献１の技術では、原画像をブロック分割し、文字領域に属する画素を色に応じて文字と背景とに分類する。例えば、暗い画素を文字とし、明るい画素を背景とする。そして、背景に属する画素数が最大となるブロックを選択して、ブロック内における背景色の平均値を背景色とし、階調補正を行う。
特開２００４−３２０７０１（２００４年１１月１１日公開）

しかしながら、上記従来の構成では、ブロック内の画素を輝度に応じて文字と背景とに分類しているので、着色した大きな文字（テキスト）の内部の画素が背景として誤って分類されるおそれがある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、背景色を精度よく推定することができるシステムおよび方法を実現することにある。

本発明に係るシステムは、上記課題を解決するために、デジタル画像の背景色を決定するシステムであって、第１バッファと、デジタル画像から、上記第１バッファに蓄積するデータを選択するためのデータ選択部と、上記第１バッファに蓄積されたデータに基づいて背景の色値を推定する背景色値推定部とを備えることを特徴とする。

本発明に係る方法は、デジタル画像の背景色を決定する方法であって、デジタル画像の中から注目画素を決定する第１ステップと、上記注目画素の周辺の第１領域に含まれる第１複数画素の中から、所定の選択条件を満たす第２複数画素を選択する第２ステップと、上記第２複数画素に基づいて背景の色値を算出する第３ステップとを含むことを特徴とする。

これにより、背景色を精度よく推定することができる。

具体的には、上記データ選択部は、デジタル画像におけるエッジに近い位置のデータを上記第１バッファに蓄積しないことが好ましい。

例えば、上記データ選択部は、デジタル画像において検出されたエッジから所定の距離の範囲に含まれる画素のデータを第１バッファに蓄積しない。もしくは、データ選択部は、エッジ画素と非エッジ画素の数の差分の重み付けを行って求められるエッジ濃度の値が所定閾値以上の画素のデータを第１バッファに蓄積しない。

また、上記選択条件は、上記デジタル画像のエッジからの距離に基づいていることが好ましい。

例えば、上記選択条件は、デジタル画像において検出されたエッジから所定の距離の範囲外である条件であってもよい。もしくは、選択条件は、エッジ画素と非エッジ画素の数の差分の重み付けを行って求められるエッジ濃度の値が所定閾値未満であるという条件であってもよい。

これにより、エッジの周辺の画素のデータが第１バッファに蓄積されない。この周辺の領域の大きさを予め決定しておくことで、大きなサイズのテキストやボールドテキストの内部の画素についても第１バッファに蓄積されなくなる。そのため、このようなテキストの内部の色が背景色の推定の際に考慮されることがなくなる。その結果、背景色を精度よく推定することができる。

また、本発明のシステムにおいて、上記データ選択部は、デジタル画像における均一領域の位置に存在するデータを上記第１バッファに蓄積することが好ましい。

なお、デジタル画像における均一領域は、以下のようにして求めることができる。例えば、デジタル画像を複数のブロックに分割し、各ブロックに含まれる画素の色値の分散を求め、当該分散の値が所定閾値以下のブロックを均一領域であるとする。

また、本発明の方法において、上記選択条件は、均一度に基づいていることが好ましい。

ここで、均一度とは例えば分散の値で示され、選択条件は、例えば、均一度が所定閾値以下であるという条件である。

上記の構成によれば、均一な領域の画素のデータが第１バッファに蓄積される。均一な領域は背景である可能性が高い。その結果、背景色を精度よく推定することができる。

さらに、本発明のシステムは、上記第１バッファに蓄積された各データに対して重み係数を割り当てる重み係数割り当て部を備え、上記背景色値推定部は、上記第１バッファに蓄積されたデータと、当該データに割り当てられた上記重み係数とを基に、背景の色値を推定することが好ましい。

また、本発明の方法において、上記第２複数画素の各画素に対して重み係数を決定する第４ステップを含むことが好ましい。そして、上記第３ステップは、上記重み係数に基づいて行われることが好ましい。

ここで、重み係数は、例えば、以下のようにして決定される。つまり、ノーマルテキスト領域（テキストが背景よりも暗い領域）において、暗い画素（つまり、輝度が所定閾値よりも低い画素）の重み係数を相対的に小さい値とし、明るい画素（つまり、輝度が所定閾値よりも高い画素）の重み係数を相対的に大きい値とする。一方、反転テキスト領域（テキストが背景よりも明るい領域）では、暗い画素（つまり、輝度が所定閾値よりも低い画素）の重み係数を相対的に大きい値とし、明るい画素（つまり、輝度が所定閾値よりも高い画素）の重み係数を相対的に小さい値とする。

すなわち、重み係数は、背景画素の特徴よりも非背景画素の特徴に近い特徴を有する画素については相対的に小さい値が割り当てられ、非背景画素の特徴よりも背景画素の特徴に近い特徴を有する画素については相対的に大きい値が割り当てられる。

これにより、背景色を精度良く推定することができる。

また、本発明のシステムにおいて、上記第１バッファは、上記デジタル画像から得られた色値のヒストグラムの第１ピークに対応し、上記データ選択部は、上記第１ピークに近い色を有するデータを選択することが好ましい。

背景画素の数はデジタル画像において多いので、デジタル画像から得られた色値のヒストグラムのピークは背景の色を示している確率が高い。上記の構成によれば、データ選択部が第１ピークに近い色を有するデータを選択するので、第１バッファには背景に属する画素のデータが蓄積されることとなる。その結果、背景色を精度よく推定することができる。

また、本発明のシステムは、上記ヒストグラムの第２ピークに対応する第２バッファを備え、上記データ選択部は、上記第２ピークに近い色を有するデータを上記第２バッファに蓄積するデータとして選択し、上記背景色値推定部は、上記第２バッファに蓄積されたデータに基づいて上記第２ピークに対応する背景の色値も推定することが好ましい。

デジタル画像から得られた色値のヒストグラムにおいて異なるピークが複数存在するということは、異なる色の背景が複数存在していることを意味する。上記の構成によれば、異なるピークに対応するバッファが設けられることになる。そして、各バッファに対応する背景の色値を推定する。このように、異なる色の背景を別々に考慮することができるので、異なる色の複数の背景の各々の色値を精度よく推定することができる。

また、本発明のシステムにおいて、上記データ選択部は、前景オブジェクトの色に近い色値を有するデータを上記第１バッファに蓄積しないことが好ましい。

具体的には、データ選択部は、前景オブジェクトの色との色差が所定閾値以下の色を有する画素のデータを第１バッファに蓄積しない。

また、本発明の方法において、上記選択条件は、前景色との距離に基づいていることが好ましい。

具体的には、上記選択条件は、前景色との距離が所定閾値より大きい色を有するという条件である。

上記の構成によれば、前景色に近い色を有する画素に対応するデータが第１バッファに蓄積されない。その結果、前景色の影響を受けることなく、背景色を精度よく推定することができる。

また、本発明のシステムにおいて、上記背景色値推定部は、上記第１バッファに蓄積されたデータの平均値、トリム平均値、重み平均値、中央値、最大値、最小値の何れかを算出する集約算出部を備え、当該集約算出部によって算出された値を、上記背景の色値とすることが好ましい。これにより、簡単な演算で背景の色値を推定できる。

また、本発明のシステムは、デジタル画像の背景色を決定するシステムであって、デジタル画像に含まれる複数の画素位置の各々に対応する画素データを含む第１バッファと、上記第１バッファの各画素データに対応する重み係数を決定するデータ重み係数決定部と、上記第１バッファに含まれる各画素データと上記重み係数とに基づいて、背景の色値を推定する背景色値推定部とを備えることを特徴とする。

これにより、背景色を精度よく推定することができる。

具体的には、上記データ重み係数決定部は、上記第１バッファに含まれる各画素データに対応するデジタル画像上の位置と、デジタル画像におけるエッジ位置とに基づいて、上記重み係数を決定することが好ましい。

さらに具体的には、データ重み係数決定部は、第１バッファに含まれる各画素データに対応するデジタル画像上の位置とデジタル画像におけるエッジ位置との距離が長くなるほど大きな値をとるように上記重み係数を決定することが好ましい。

上記の構成によれば、テキストなどのエッジ位置に近い画素の影響を小さくした状態で背景の色値を推定することとなる。その結果、背景の色値を精度よく推定することができる。

また、本発明のシステムにおいて、上記データ重み係数決定部は、上記第１バッファに含まれる各画素データに対応するデジタル画像上の位置に近接する領域の均一度に基づいて、上記重み係数を決定することが好ましい。

具体的には、データ重み係数決定部は、第１バッファに含まれる各画素データに対応するデジタル画像上の位置に近接する所定範囲の領域に含まれる画素データの均一度（例えば、分散値などで示される）が高くなるにつれ（均一度が分散の場合、分散値が小さくなるにつれ）、大きな値をとるように上記重み係数を決定することが好ましい。

均一度が高い場合、背景である可能性が高い。そのため、上記の構成によれば、均一度の高い領域の画素データの重み係数が大きくなるため、精度よく背景の色値を推定することができる。

また、本発明のシステムにおいて、上記第１バッファは、上記デジタル画像から得られた色値のヒストグラムの第１ピークに対応することが好ましい。

背景画素の数はデジタル画像において多いので、デジタル画像から得られた色値のヒストグラムのピークは背景の色を示している確率が高い。上記の構成によれば、第１バッファには背景に属する画素のデータが蓄積されることとなる。その結果、背景色を精度よく推定することができる。

また、本発明のシステムにおいて、上記ヒストグラムの第２ピークに対応する第２バッファを備えることが好ましい。

デジタル画像から得られた色値のヒストグラムにおいて異なるピークが複数存在するということは、異なる色の背景が複数存在していることを意味する。上記の構成によれば、異なるピークに対応するバッファが設けられることになる。そして、各バッファに対応する背景の色値を推定する。このように、異なる色の背景を別々に考慮することができるので、異なる色の複数の背景の各々の色値を精度よく推定することができる。

また、本発明のシステムにおいて、上記データ重み係数決定部は、上記第１バッファに含まれる各画素データの色と前景オブジェクトの色との類似度に基づいて、上記重み係数を決定することが好ましい。

具体的には、データ重み係数決定部は、第１バッファに含まれる各画素データの色と前景オブジェクトの色との類似度が高くなるにつれ、大きな値をとるように上記重み係数を決定することが好ましい。

上記の構成によれば、前景オブジェクトに近い色を有する画素の影響を小さくすることができるので、精度よく背景の色値を推定することができる。

なお、上記類似度は、ユークリッド距離、市街地距離、重み付けされた距離の何れかの距離で示されることが好ましい。

また、上記背景色値推定部は、上記第１バッファの中の画素データと上記重み係数とに基づいた重み平均値を算出する重み平均算出部を備え、当該重み平均値を上記背景の色値とすることが好ましい。

本発明に係るシステムは、上記課題を解決するために、デジタル画像の背景色を決定するシステムであって、第１バッファと、デジタル画像から、上記第１バッファに蓄積するデータを選択するためのデータ選択部と、上記第１バッファに蓄積されたデータに基づいて背景の色値を推定する背景色値推定部とを備える。

また、本発明に係る方法は、デジタル画像の背景色を決定する方法であって、デジタル画像の中から注目画素を決定する第１ステップと、上記注目画素の周辺の第１領域に含まれる第１複数画素の中から、所定の選択条件を満たす第２複数画素を選択する第２ステップと、上記第２複数画素に基づいて背景の色値を算出する第３ステップとを含む。

これにより、背景色を精度よく推定することができる。

本発明の実施形態に係るシステムおよび方法では、エッジ濃度、画像の均一性（均一度）、局所的な色ではないという情報、前景色などの選択条件に基づいて、画像データからカラーバッファに選択的に蓄積された画素の色値を集約することにより、局所背景の色を推定するものである。

本発明の実施形態は、図面を参照することでより理解されるであろう。図面では、同じ部材については同じ符号をつけている。

ここで、図に示されるように、本発明の構成は、様々な異なる形態に変形および設計されることができることが容易にわかるであろう。このように、以下に述べる、本発明の方法およびシステムの実施形態についてのより詳細な説明は、本発明の範囲を限定するものではなく、本発明の最良の形態を示したものにすぎない。

本発明の実施形態の構成は、ハードウェア、ファームウェアおよび／またはソフトウェアによって実現されてもよい。ここで述べる一実施形態はこれらの形態の１つについてのみ説明するものであり、本発明の範囲内において、これらの形態の何れかで構成を実現してもよいことは、当業者であれば理解される。

図１は、ドキュメント画像１０の一例を示している。ドキュメント画像１０は、下地領域１２と、第１局所背景領域１４と、第２局所背景領域１６と、第３局所背景領域１８とを含むいくつかの領域を備えた文書画像である。グローバル背景領域とも見なされる下地領域は、文書が印刷される用紙の色、または、電子文書が作成されている背景の色、を有する広範囲の均質の領域のことである。局所背景領域は、均質な特徴または色を有する局所的な領域である。色は、ある色空間で表現される。典型的な色空間としては、ＲＧＢ、ｓＲＧＢ、ＣＭＹＫ、ＨＳＶ、ＹＵＶ、ＹＩＱ、ＣＩＥＬ^＊ａ^＊ｂ^＊、ＹＣｂＣｒ、グレースケールおよび輝度のみを含む色空間などが挙げられる。

図２は、図１で示されるドキュメント画像１０に対応する背景画像２０を示している。背景画像（例えば、図２で示される背景画像２０）は、除去されたドキュメントコンテンツと、下地または局所背景で満たされた領域から、当該除去されたドキュメントコンテンツにより残された「ホール」とに関連する画像（例えば、図１のドキュメント画像１０）の背景画像に対応する。背景画像２０の下地領域２２は、ドキュメント画像１０の下地領域１２に対応している。背景画像２０の第１局所背景領域２４は、ドキュメント画像１０の第１局所背景領域１４に対応している。背景画像２０の第２局所背景領域２６は、ドキュメント画像１０の第２局所背景領域１６に対応している。背景画像２０の第３局所背景領域２８は、ドキュメント画像１０の第３局所背景領域１８に対応している。背景画像をより正確に決定することは、画像圧縮または画像解析のために好ましい。

本発明の一実施形態では、スキャンされたドキュメント画像の中のある位置における局所背景の色を推定するために、制限文脈（limited-context）ラスター方法を行う。

局所背景の推定色は、色の平均値に基づいて算出されてもよいし、他の推定色算出手段が使用されてもよい。典型的な算出手段としては、中央値、重み平均値、トリム平均値などに基づいて算出するものがある。例えば、平均値、中央値、重み平均値、トリム平均値、重みトリム平均値を局所背景の推定色とする。

本発明の一実施形態では、領域内を支配する色の集約（summarization）処理を行う。

また、本発明の一実施形態では、バッファ（以下、カラーバッファという場合がある）に蓄積された画像データサンプルに基づいて注目画素での局所背景の色を推定する。注目画素の周りの近傍画素の画像データをサンプリングすることにより、当該バッファにデータが集められる。

（具体的な実施形態１）
具体的な実施形態１について図３を参照しながら説明する。本実施形態では、データ選択部３２は、入力画像データ３０からデータを選択する。色推定部３４は、データ選択部３２により選択された選択データ３３および入力画像データ３０に基づいて局所背景の推定色３６を求める。

データ選択部３２は、注目画素の周辺のサンプリング近傍領域の画像データをサンプリングする画像データサンプリング部を備えていてもよい。サンプリング近傍領域は、Ｍ×Ｎの矩形ウィンドウによって決定されてもよい。もしくは、サンプリング近傍領域は、半径ｒの円形領域であってもよい。このように、データ選択部３２は、注目画素に近接する所定範囲の領域内の画素データをサンプリングする。このとき、データ選択部３２は、後述する選択条件に従って、カラーバッファに蓄積する画素データを選択する。

なお、データ選択部３２は、上記所定範囲の領域内の画素データの全てのカラーバッファに蓄積してもよい。この場合、色推定部は、各画素データの重み係数を用いる。重み係数は、非背景画素の特徴に近い画素において小さくなり、背景画素の特徴に近い画素において大きくなるように設定される。

具体的には、カラーバッファに含まれる各画素データに対応するデジタル画像上の位置とデジタル画像におけるエッジ位置との距離が長くなるほど大きな値をとるように上記重み係数が決定される。もしくは、カラーバッファに含まれる各画素データに対応するデジタル画像上の位置に近接する所定範囲の領域に含まれる画素データの均一度（例えば、分散値などで示される）が高くなるにつれ（均一度が分散の場合、分散値が小さくなるにつれ）、大きな値をとるように上記重み係数が決定される。もしくは、カラーバッファに含まれる各画素データの色と前景オブジェクトの色との類似度が高くなるにつれ、大きな値をとるように上記重み係数を決定される。重み係数を用いる場合の具体的な形態は後述する。

さらに、本実施形態は、原因バッファ（causal buffer）を備えていてもよい。この原因バッファでは、新たなデータ要素が、最小のサンプルに取って代わる。これにより、原因バッファは、サンプリング順に従って、最新のサンプルを保持することになる。

（具体的な実施形態２）
本発明の具体的な実施形態２について図４を参照しながら説明する。本実施形態では、サンプリング近傍領域の画素データは、選択条件に従って選択的にバッファに追加される。本実施形態では、データ選択部４２は、選択条件４１に従って、入力画像データ４０からのデータ選択を実行する。そして、色推定部４４は、選択データ４３および入力画像データ４０に基づいて、背景色の推定処理を実行し、推定した背景の推定色４６を求める。

次に、選択条件の具体的な例について、図５を参照しながら説明する。本具体例では、選択条件は、エッジ検出アルゴリズムの出力に基づいている。原稿画像でのエッジ位置が、公知のエッジ検出方法によって検出される。典型的なエッジ検出方法としては、ソーベル（Sobel）エッジ検出器、Cannyエッジ検出器、Prewittエッジ検出器などの方法がある。このような公知の検出方法によって検出されたエッジ位置の情報を、データ選択部４２が取得する（Ｓ５０）。エッジ位置は、色やコンテンツ（例えば、テキストに対する均一背景）の急峻な遷移が生じている画素を特定するために使用される。このような急峻な遷移の画素は、カラーバッファへの蓄積対象から除外される。すなわち、データ選択部４２は、エッジ位置からの距離に基づいて、カラーバッファに蓄積するデータを選択する（Ｓ５２）。例えば、データ選択部４２は、エッジ位置から所定距離以上離れた画素のデータのみを選択する。そして、背景色は、バッファデータに基づいて推定される（Ｓ５４）。具体的には、バッファに蓄積された画素データの平均値、トリム平均値、重み平均値、重みトリム平均値、中央値などを、背景の色値とする。このように、選択条件の一例としては、公知のエッジ検出方法によって検出されたエッジ画素に対応する画素データについてはカラーバッファへの蓄積対象から外すことが挙げられる。

エッジ検出結果を使用することにより、遷移領域でのテキストの色が局所背景の推定色を汚すことを防止することができる。

しかしながら、画像データのバッファにおけるエッジ位置の除去だけでは、大きなフォントのテキストや太字テキスト（ボールドテキスト）の悪い影響を除くことができない。バッファへの蓄積対象からエッジ画素を除去することは、背景色の推定の際に使用されるバッファの平均化から、大きなフォントの文字の内部の画素を除去するものではない。例えば、大きな文字の内部では、カラーバッファは、テキスト色によって支配されており、カラーバッファを満たすために十分なサンプルが集められた場合、局所背景の推定色は、結果としてテキストの色の方向に収束してしまう。つまり、大きなフォントのテキストや太字テキストのエッジ位置の画素のみをカラーバッファから除去したとしても、これらのテキストの内部の画素がカラーバッファに残ると、これらの画素の色が局所背景の推定色に影響を与えてしまい、得られた局所背景の推定色はテキストの色に近い色となり、背景の色を正確に示さないくなる。

この問題を軽減するための選択条件の具体例について図６を参照しながら説明する。エッジ検出結果を受信した（Ｓ６０）後、画像処理技術を用いて、テキスト文字のエッジ境界の中を満たす処理（充填処理）、または、エッジ境界を膨張させる処理（膨張処理）を行う（Ｓ６２）。当該充填処理または膨張処理の画像処理技術としては、morphological closing処理、flood filling処理、dilation処理などがある。充填処理／膨張処理の結果は、バッファへの蓄積対象となる画素データを選択するために使用される（Ｓ６４）。例えば、データ選択部４２は、膨張処理が行われた結果エッジ位置から所定距離以上離れた画素のデータのみを選択する。その後、背景色が、バッファに蓄積された画素データに基づいて推定される（Ｓ６６）。具体的には、バッファに蓄積された画素データの平均値、トリム平均値、重み平均値、重みトリム平均値、中央値などを、背景の色値とする。

例えば、デジタル画像において検出されたエッジから所定の距離の範囲外である画素のデータのみをカラーバッファへの蓄積対象とする選択条件であってもよい。

なお、充填処理および膨張処理が使用されなくてもよい。

さらに、選択条件の別の具体例について説明する。本具体例では、エッジ画素と非エッジ画素の数の差分の重み付けを行って求められるエッジ濃度が選択条件として使用される。エッジ濃度は、エッジ近傍で大きな値になり、エッジから離れると小さな値となる。エッジからの距離が設定距離を越える画素がカラーバッファに蓄積され、局所背景の色の推定に使用される。

エッジ濃度信号は入力エッジ信号から計算される。ここで、入力エッジ信号とは、上述した公知のエッジ検出方法によって検出されたエッジ画素／非エッジ画素を示す信号のことである。入力エッジ信号の各画素に対して、周辺領域が決定される。この周辺領域の中において、集約エッジ濃度信号が計算される。入力エッジ信号は、周辺領域のエッジ濃度と結合され、出力エッジ濃度信号を形成する。局所背景信号が計算される注目画素でのエッジ濃度信号を生成するために、一連の画像位置に対してこの処理が繰り返される。

本発明の一実施形態では、入力エッジ信号の各画素のエッジ濃度edgedenを、下記の方法に従って算出する。

まず、edgeden値を既知のレベルの値に初期化する。例えば、edgden＝0に初期化する。

次に、各画素(i,j)について、edgeden（i,j）を周辺領域のedgeden値の最大値に設定する（edgeden＝max（neighboring edgeden））。ここで周辺領域は、注目画素の周囲であり、かつ、予め定められた範囲の領域である。

その後、エッジマップを用いて、edgeden(i,j)を以下の式に従って更新する。具体的には、エッジ画素である場合、加算係数ｗ_ｅを加算し、非エッジ画素である場合、減算係数w_decayを減算する。

最後に、以下の式のように、マイナスの値になった場合は０とし、予め設定された設定最大値count_saturateを超える場合には当該設定最大値count_saturateとする処理を行う。

パラメータw_decay及びcount_saturateを通して、エッジ濃度は、画素値がバッファに蓄積される前に、信頼性の高いエッジ領域から画素がどの程度離れているかを制御（control）するものであり、局所背景の色の推定に影響を与える。パラメータｗ_ｅは、エッジ検知でのノイズの感度に対して高い信頼性のエッジ領域でエッジ濃度測定が取り得る割合を制御する。減衰（decay）が長くなるにつれ、大きなフォントのテキストやボールドテキストの内部のグリフ画素は、局所背景の色の推定に追加されにくくなる。逆にいえば、減衰が長くなると、局所背景の色の推定処理において、新たな局所背景色に集中（集約）するために多くの画素が取られる。ｗ_eを小さくすれば、周辺に十分に連続したエッジ画素がないと、edgedenが大きくならないが、逆にｗ_ｅを大きくすれば、短い連続したエッジ画素でも、すぐにedgedenが大きくなるので、このｗ_eを制御することで、割合が制御できるということになる。edgedenが大きくなりやすければ、それだけ減衰が長くなりやすくなる。

本発明の一実施形態では、行方向に対するedgeden値を設定するために、まず最初に左から右へのスキャン方向で、エッジデータが指標化（index）される。その後、edgeden値を補正するために、右から左へのスキャン方向でエッジデータが指標化（index）される。これにより、走査統計（running sum）の方向依存性を低減させ、エッジの両側からのカウントを減らすことができる。

もしくは、エッジまたはテキスト画素のバイナリーマップを受信し、当該バイナリーマップに従って、エッジまたはテキスト画素としてラベル付けされた画素を背景色の集約の際に無視してもよい。

なお、データ選択部は、エッジ画素と非エッジ画素の数の差分の重み付けを行って求められるエッジ濃度の値edgedenが所定閾値以上の画素のデータをカラーバッファに蓄積しないようにしてもよい。

（具体的な実施形態３）
さらに別の具体的な実施形態３について図７を参照しながら説明する。均一度算出部７２は、どの画素を背景色の推定のために選択するかを決定するために使用される均一度を算出するものである。均一度７３は、入力画像データ７０に対して均一度算出部７２によって算出される。均一度７３は、データ選択部７４によって使用される。データ選択部７４は、背景色推定部７６によって使用されるデータを選択するものである。背景色推定部は、背景の推定色７７を生成するものである。

均一度の典型的な例は分散である。均一度は、エッジ濃度と関係していない。均一度は、複数の異なる領域が空間的に混在している箇所において最大値を取る。均一領域の画素は、局所背景の色を推定するためにより信頼性の高いサンプルであるとみなされる。残りの画素は「不明」画素としてラベル付けされ、推定処理において無視される。なお、残りの画素に対して、新しい条件を用いて処理されてもよい。

均一度は、きめのある（textured）背景が「不明」画素としてラベル付けされるように選択される。もしくは、均一度は、きめのある（textured）領域が背景領域とみなされるように選択されてもよい。

このように、データ選択部７４は、注目画素の周囲の所定範囲の領域に属する画素データの分散の値が所定閾値以下である注目画素の画素データを選択すればよい。

（具体的な実施形態４）
さらに別の具体的な実施形態４について図８を参照しながら説明する。本実施形態では、「不明」画素としてラベル付けされ、十分に低いエッジ濃度edgeden(i,j)を有する画素がカラーバッファに蓄積され、局所背景の色の推定のために使用される。これにより、局所背景の推定色は、スムース（わずかな変化があってもよい）であり、きめのある（textured）局所背景領域に近くなる。本実施形態では、均一度算出部８２およびエッジ濃度算出部８４は、入力画像データ８０から各々、均一度８３およびエッジ濃度８５を測定する。これら均一度８３およびエッジ濃度８５は、色推定部８８が局所背景の推定色８９を推定するためのデータを選択するデータ選択部８６によって使用される。

具体的には、データ選択部８６は、注目画素の周囲の所定範囲の領域に属する画素データの分散の値が所定閾値より大きい注目画素であり（つまり、「不明」画素を意味する）、エッジ濃度が所定閾値以下である注目画素の画素データを、カラーバッファへの蓄積対象として選択する。これにより、きめのある（textured）局所背景領域であっても、当該領域に属する画素のデータをカラーバッファに蓄積でき、このような領域の背景色を精度よく推定できる。

（具体的な実施形態５）
さらに別の実施形態５について説明する。前景画素は、背景画素よりも暗いものもあれば、背景画素よりも明るいものもある。背景画素よりも暗いグリフ画素の領域及びテキスト画素の領域を、それぞれ「ノーマルグリフ領域」および「ノーマルテキスト領域」という。一方、局所背景の色がグリフの色よりも暗い領域を「反転グリフ領域」といい、局所背景の色がテキストの色よりも暗い領域を「反転テキスト領域」とする。

図９を参照して本実施形態を説明する。本実施形態では、重み係数信号９９が色推定部１００によって使用される。局所背景の色を推定する色推定部１００は、以下の式にしたがって、重み係数ランニング平均μを算出する。ここで、各画素の色値をｃ_ｉ、バッファでの対応する重み係数をｗ_ｉ、重み係数の合計を１、バッファサイズをＫとする。

図９で示されるように、均一度算出部９２およびエッジ濃度算出部９４は、入力画像データ９０から、それぞれ、均一度９３およびエッジ濃度９５を算出する。これら均一度９３およびエッジ濃度９５はデータ選択部９６によって使用され、色推定部１００が局所背景の色を推定するために用いる選択データ９７が決定される。選択データ９７は、重み係数算出部９８によって決定された重み係数９９に従って重み付けされる。

ノーマルテキスト領域として特定された領域では、明るい画素値の領域に大きな重み係数を割り当て、暗い画素値の前景画素に小さい重み係数を割り当てる。

反転テキスト領域として特定された領域では、暗い画素値の領域に大きな重み係数を割り当て、明るい画素値の前景画素に小さい重み係数を割り当てる。

このように、重み係数は、以下のようにして決定される。つまり、ノーマルテキスト領域（テキストが背景よりも暗い領域）において、暗い画素（つまり、輝度が所定閾値よりも低い画素）の重み係数を相対的に小さい値とし、明るい画素（つまり、輝度が所定閾値よりも高い画素）の重み係数を相対的に大きい値とする。一方、反転テキスト領域（テキストが背景よりも明るい領域）では、暗い画素（つまり、輝度が所定閾値よりも低い画素）の重み係数を相対的に大きい値とし、明るい画素（つまり、輝度が所定閾値よりも高い画素）の重み係数を相対的に小さい値とする。

（具体的な実施形態６）
さらに別の実施形態６について図１０を参照して説明する。データ選択部１１２は、入力画像データ１１０から、カラーバッファへ蓄積するデータを選択する。選択された選択データ１１３は、データ重み係数１１５と関連付けて色推定部１１６によって使用される。データ重み係数１１５は、背景の推定色を決定するために、重み係数算出部１１４によって、入力画像データ１１０から決定される。

なお、上記の実施形態では、入力画像データは、ストリームベース（stream-based）の処理がされ、処理された入力画像データがシステムに渡されると、制限文脈（limited context）が、メモリーの使用を最小限にし、計算回数を制限するために維持されてもよい。これは、オンライン処理（リアルタイム処理）を説明しており、データがストリームで次々と流れてくるので、限られたラインメモリ上の画像データを用いて限られた処理時間で処理することを意味する。また、空間的な画素の減少が、システムを通してパスされる注目画素に関連する局所背景色を推定するために必要とされてもよい。

（具体的な実施形態７）
さらに、入力画像での主たる背景色を特定するために、従来の解析方法が実行されてもよい。主たる背景色を特定するための典型的な方法としては、特開２００７−３３６５６２に記載の方法が知られている。また、非局所信号が色集約のための画素を選択する際に使用されてもよい。全体の色のヒストグラムの大きいピーク（major peak）を局所背景色と見なしてもよい。カラーバッファは、大きいピークの各々に割り当てられても良い。背景色の推定処理の際、各注目画素は、大きいピークに対応するか否かを判断するために分析される。注目画素が大きいピークに対応している場合、当該ピークに対応するカラーバッファが更新され、当該カラーバッファが注目画素のための局所背景色を推定するために使用される。この実施形態７は図１１に示される。

図１１に示す実施形態７では、画像データ値１２０をカラーバッファ１２５・１２６・１２７に追加するか否かを判断するために、非局所色情報（non-local color information）１２１がデータ選択部１２２によって使用される。データ選択部１２２は、カラーバッファ選択信号１２３を決定する。局所背景の色を推定する色推定部１２４は、複数のカラーバッファ１２５・１２６・１２７およびバッファ集約算出部１２８を備えている。バッファ集約算出部１２８は、選択されたカラーバッファ１２５・１２６・１２７の色データ値をまとめる。バッファ集約算出部１２８は、平均値、トリム平均値、中央値、重み平均値、重みトリム平均値などを算出する。非局所色情報は、画像データのヒストグラムから得られたピークの色値を含む。

なお、ヒストグラムの大きなピークに近い色を有する画素だけがカラーバッファに追加されてもよい。局所色値に集中するために必要とされる空間的な画素の減少量は、バッファでの色が既に注目画素に似ているので、少なくなる。

また、画像データがバッファに蓄積され、異なるスキャン方向を用いて複数回処理されてもよい。ラスター画像データの複数ラインは、プロセッサまたはＡＳＩＣに２回流される。１回目は、ラスター方向であり、２回目は、ラスター方向と逆の方向である。画像データの複数回の処理の各々から決定された複数の局所背景の推定色が調和され、各注目画素での単一の推定色を生成する。各推定色は、次の処理で使用されてもよい。画素の推定色は、画素の色に最も近い推定色を選択することによって決定されてもよい。

（具体的な実施形態８）
さらに別の実施形態８について図１２を参照しながら説明する。本実施形態では、前景オブジェクトの推定色を維持し、データ選択に使用する。注目画素の色値が局所前景の推定色と一致している場合、注目画素の色値は、小さい重み係数が割り当てられる、もしくは、背景色集約のためのバッファに蓄積されない。このような実施形態によれば、背景色集約のためのバッファに誤って追加される前景画素の数を減少させる。これにより、前景領域と背景領域との間の境界の周辺画素によって改悪されることなく、よりよい背景の推定色を導き出すことができる。

背景データ選択部１４２は、前景推定色を組み入れた選択条件に基づいて画像データを選択する。選択された選択データは、背景色バッファに入力される。背景色推定部１４４は、当該背景色バッファから局所背景色の推定を行う。背景色推定部１４４は、背景色バッファおよびバッファ集約算出部を備えていても良い。もしくは、背景色推定部１４４は、複数のカラーバッファを備えていても良い。各カラーバッファは、画像データのカラーヒストグラムのピークに対応している。この場合、背景データ選択部１４２は、カラーバッファ選択部を備えている。前景推定色の色値に近い画像データ１４０は、背景データ選択部１４２によって選択されず、カラーバッファに入力されない。もしくは、背景色推定部１４４は、前景推定色１４９の色値に近い画像データ１４０に対して、前景推定色１４９の色値に近くない画像データ１４０よりも小さい重み係数を割り当ててもよい。

本実施形態では、前景推定色１４９は、前景色推定部１４８によって、前景カラーバッファでの画像色値の集約に基づいて決定される。前景データ選択部１４６は、前景カラーバッファに蓄積するために前景特徴を示す画像データ値を選択する。例えば、前景データ選択部１４６は、エッジ検出結果を用い、前景特徴を示す画像データ値として、エッジの立ち上がりからエッジの立下りまでの画像データ値を選択したり、edgedenの値が大きい画像データ値を選択する。

上記の各実施形態では、色の類似度が、色値間の距離を用いて求められる。典型的な色間の距離は、Ｌ_１ノルム、Ｌ_２ノルム、luma-chroma-chroma色空間のchroma成分間の２次元市街地距離、３次元色空間の成分間の３次元市街地距離、ユークリッド距離、luma-chroma-chroma色空間のchroma成分間の重み２次元市街地距離、３次元色空間の成分間の重み３次元市街地距離など公知の距離を用いることができる。

上記の各実施形態では、背景色推定のためのバッファに蓄積する画素をどれにするかが、上述したような条件（複数の条件の組合せでもよい）に基づいて限定される。もしくは、各バッファに蓄積されたエントリーは重み係数と関連付けされていてもよい。

また、上記の各実施形態では、背景色推定部は、背景／前景の推定色から計算される値に基づいて、片寄った集約方法を行ってもよい。典型的な例では、反転テキスト領域で起こるような、前景色が背景色よりも明るい場合、背景色をより暗く片寄らせ、前景色をより明るく片寄らせる。一方、ノーマルテキスト領域で起こるような、前景色が背景色よりも暗い場合、背景色をより明るく片寄らせ、前景色をより暗く片寄らせる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、図３・４・７・８・９・１０・１１・１２に示すシステムの各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、図３・４・７・８・９・１０・１１・１２に示すシステムは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである図３・４・７・８・９・１０・１１・１２に示すシステムの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記図３・４・７・８・９・１０・１１・１２に示すシステムに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、図３・４・７・８・９・１０・１１・１２に示すシステムを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、複合機、プリンタなどの画像処理を行う画像処理装置の用途に適用できる。

図１は、下地領域および３つの局所背景領域を含むデジタル画像の一例を示す図である。 図１のデジタル画像に対応する背景画像を示す図である。 本発明の実施形態１に係るシステムの構成を示すブロック図である。 本発明の実施形態２に係るシステムの構成を示すブロック図である。 本発明の実施形態２に係るシステムにおける処理の一例の流れを示すフローチャートである。 本発明の実施形態２に係るシステムにおける処理の他の例の流れを示すフローチャートである。 本発明の実施形態３に係るシステムの構成を示すブロック図である。 本発明の実施形態４に係るシステムの構成を示すブロック図である。 本発明の実施形態５に係るシステムの構成を示すブロック図である。 本発明の実施形態６に係るシステムの構成を示すブロック図である。 本発明の実施形態７に係るシステムの構成を示すブロック図である。 本発明の実施形態８に係るシステムの構成を示すブロック図である。

符号の説明

３２・４２・７４・８６・９６・１１２・１２２ データ選択部
３４・４４・７６・８８・１００・１１６・１２４ 色推定部（背景色値推定部）
７２・８２・９２ 均一度算出部
８４・９４ エッジ濃度算出部
９８・１１４ 重み係数算出部（重み係数割り当て部）
１２５・１２６・１２７ カラーバッファ（第１バッファ、第２バッファ）
１２８ バッファ集約算出部
１４２ 背景データ選択部（データ選択部）
１４４ 背景色推定部（背景色値推定部）

Claims (22)

1. デジタル画像の背景色を決定するシステムであって、
   第１バッファと、
   デジタル画像から、上記第１バッファに蓄積するデータを選択するためのデータ選択部と、
   上記第１バッファに蓄積されたデータに基づいて背景の色値を推定する背景色値推定部とを備えることを特徴とするシステム。
2. 上記データ選択部は、デジタル画像におけるエッジに近い位置のデータを上記第１バッファに蓄積しないことを特徴とする請求項１に記載のシステム。
3. 上記データ選択部は、デジタル画像における均一領域の位置に存在するデータを上記第１バッファに蓄積することを特徴とする請求項１に記載のシステム。
4. 上記第１バッファに蓄積された各データに対して重み係数を割り当てる重み係数割り当て部を備え、
   上記背景色値推定部は、上記第１バッファに蓄積されたデータと、当該データに割り当てられた上記重み係数とを基に、背景の色値を推定することを特徴とする請求項１から３の何れか１項に記載のシステム。
5. 上記第１バッファは、上記デジタル画像から得られた色値のヒストグラムの第１ピークに対応し、
   上記データ選択部は、上記第１ピークに近い色を有するデータを選択することを特徴とする請求項１に記載のシステム。
6. 上記ヒストグラムの第２ピークに対応する第２バッファを備え、
   上記データ選択部は、上記第２ピークに近い色を有するデータを上記第２バッファに蓄積するデータとして選択し、
   上記背景色値推定部は、上記第２バッファに蓄積されたデータに基づいて上記第２ピークに対応する背景の色値も推定することを特徴とする請求項５に記載のシステム。
7. 上記データ選択部は、前景オブジェクトの色に近い色値を有するデータを上記第１バッファに蓄積しないことを特徴とする請求項１に記載のシステム。
8. 上記背景色値推定部は、上記第１バッファに蓄積されたデータの平均値、トリム平均値、重み平均値、中央値、最大値、最小値の何れかを算出する集約算出部を備え、当該集約算出部によって算出された値を、上記背景の色値とすることを特徴とする請求項１から７の何れか１項に記載のシステム。
9. デジタル画像の背景色を決定するシステムであって、
   デジタル画像に含まれる複数の画素位置の各々に対応する画素データを含む第１バッファと、
   上記第１バッファの各画素データに対応する重み係数を決定するデータ重み係数決定部と、
   上記第１バッファに含まれる各画素データと上記重み係数とに基づいて、背景の色値を推定する背景色値推定部とを備えることを特徴とするシステム。
10. 上記データ重み係数決定部は、上記第１バッファに含まれる各画素データに対応するデジタル画像上の位置と、デジタル画像におけるエッジ位置とに基づいて、上記重み係数を決定することを特徴とする請求項９に記載のシステム。
11. 上記データ重み係数決定部は、上記第１バッファに含まれる各画素データに対応するデジタル画像上の位置に近接する領域の均一度に基づいて、上記重み係数を決定することを特徴とする請求項９に記載のシステム。
12. 上記第１バッファは、上記デジタル画像から得られた色値のヒストグラムの第１ピークに対応することを特徴とする請求項９から１１の何れか１項に記載のシステム。
13. 上記ヒストグラムの第２ピークに対応する第２バッファを備えることを特徴とする請求項１２に記載のシステム。
14. 上記データ重み係数決定部は、上記第１バッファに含まれる各画素データの色と前景オブジェクトの色との類似度に基づいて、上記重み係数を決定することを特徴とする請求項９に記載のシステム。
15. 上記類似度は、ユークリッド距離、市街地距離、重み付けされた距離の何れかの距離で示されることを特徴とする請求項１４に記載のシステム。
16. 上記背景色値推定部は、上記第１バッファの中の画素データと上記重み係数とに基づいた重み平均値を算出する重み平均算出部を備え、当該重み平均値を上記背景の色値とすることを特徴とする請求項９に記載のシステム。
17. デジタル画像の背景色を決定する方法であって、
    デジタル画像の中から注目画素を決定する第１ステップと、
    上記注目画素の周辺の第１領域に含まれる第１複数画素の中から、所定の選択条件を満たす第２複数画素を選択する第２ステップと、
    上記第２複数画素に基づいて背景の色値を算出する第３ステップとを含むことを特徴とする方法。
18. 上記選択条件は、上記デジタル画像のエッジからの距離に基づいていることを特徴とする請求項１７に記載の方法。
19. 上記選択条件は、均一度に基づいていることを特徴とする請求項１７に記載の方法。
20. 上記選択条件は、前景色との距離に基づいていることを特徴とする請求項１７に記載の方法。
21. 上記第２複数画素の各画素に対して重み係数を決定する第４ステップを含むことを特徴とする請求項１７に記載の方法。
22. 上記第３ステップは、上記重み係数に基づいて行われることを特徴とする請求項２１に記載の方法。

Images