JP2010056691A

JP2010056691A - 画像処理装置及び画像処理方法

Info

Publication number: JP2010056691A
Application number: JP2008217322A
Authority: JP
Inventors: Shigeo Fukuoka; 茂雄福岡; Taeko Yamazaki; 妙子山▲崎▼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-08-26
Filing date: 2008-08-26
Publication date: 2010-03-11
Anticipated expiration: 2028-08-26
Also published as: US20100054587A1; JP5049922B2; US8229214B2

Abstract

【課題】画像データ内のグラデーションを精度良く分割することにより、分割誤りによる画質の劣化を抑制すること。
【解決手段】画像データを入力する入力部２０１と、入力部２０１で入力した画像データの各画素毎に属性情報を生成する属性情報生成部２０３と、入力部２０１で入力した画像データを、予め定められたサイズの複数のブロックに分割するブロック分割部２１１と、ブロック分割部２１１で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成するヒストグラム生成部２１２と、ヒストグラム生成部２１２で生成したヒストグラムによって規定される領域毎に色置換処理を行う色置換部２１３と、グラデーションが存在するか否かを予め定められた条件に基づいて判定するグラデーション判定部２１４と、グラデーションが存在すると判定された場合には、着目領域と隣接領域とを統合して、着目領域及び隣接領域に連続するグラデーションを生成するブロック統合部２１５と、を備える。
【選択図】図２

Description

本発明は、画像データから文字や写真等の各要素を抽出する画像処理技術に関する。

画像データから文字や写真等の各要素を抽出する技術として、例えば、特許文献１には、入力画像を複数のブロックに分割し、ブロック単位で色置換を行う技術が開示されている。
国際公開ＷＯ２００６／０６６３２５号公報

ここで、分割された画像には、複数のブロックにわたって、連続して明暗や色調の段階的な変化（すなわち、グラデーション）が存在する場合がある。

しかしながら、特許文献１で開示された技術では、分割されたブロック毎に色置換処理を行うため、グラデーションがブロックの境界を挟んで連続して存在する場合に、急激な色の変化が生じる可能性がある。

従って、本発明の目的は、画像データ内のグラデーションを精度良く分割することにより、分割誤りによる画質の劣化を抑制することにある。

上記課題を解決するため、本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段で入力した画像データの各画素毎に属性情報を生成する属性情報生成手段と、前記入力手段で入力した画像データを、予め定められたサイズの複数のブロックに分割する分割手段と、前記分割手段で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成手段と、前記生成手段で生成したヒストグラムによって規定される領域毎に色置換処理を行う色置換手段と、前記色置換手段での色置換結果に基づいて、前記着目ブロックにおける着目領域内で、前記着目ブロックと該着目ブロックに隣接する隣接ブロックとの境界に接する着目画素と、前記隣接ブロックにおける、前記着目領域に隣接する隣接領域内で前記境界に接し、前記着目画素に隣接する隣接画素との色差を算出する算出手段と、前記算出手段で算出された色差が予め定められた範囲内であるか否かを判定する第１の判定手段と、前記第１の判定手段で前記色差が予め定められた範囲内であると判定された、前記着目画素と前記隣接画素との組の数Ｘに対する、前記属性情報が前記着目画素及び前記隣接画素のうちの少なくとも一方に付加された前記着目画素と前記隣接画素との組の数Ｙの割合Ｙ／Ｘが予め定められた閾値以下であるか否かを判定する第２の判定手段と、前記第２の判定手段で前記割合Ｙ／Ｘが前記閾値以下であると判定された場合に、前記境界を横断するグラデーションが存在するとみなして、前記着目領域と前記隣接領域とを統合して、前記着目領域及び前記隣接領域に連続するグラデーションを生成する統合手段と、を備える。

また、本発明の画像処理方法は、画像データを入力する入力工程と、前記入力工程で入力した画像データの各画素毎に属性情報を生成する属性情報生成工程と、前記入力工程で入力した画像データを、予め定められたサイズの複数のブロックに分割する分割工程と、前記分割工程で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成工程と、前記生成工程で生成したヒストグラムによって規定される領域毎に色置換処理を行う色置換工程と、前記色置換工程での色置換結果に基づいて、前記着目ブロックにおける着目領域内で、前記着目ブロックと該着目ブロックに隣接する隣接ブロックとの境界に接する着目画素と、前記隣接ブロックにおける、前記着目領域に隣接する隣接領域内で前記境界に接し、前記着目画素に隣接する隣接画素との色差を算出する算出工程と、前記算出工程で算出された色差が予め定められた範囲内であるか否かを判定する第１の判定工程と、前記第１の判定工程で前記色差が予め定められた範囲内であると判定された、前記着目画素と前記隣接画素との組の数Ｘに対する、前記属性情報が前記着目画素及び前記隣接画素のうちの少なくとも一方に付加された前記着目画素と前記隣接画素との組の数Ｙの割合Ｙ／Ｘが予め定められた閾値以下であるか否かを判定する第２の判定工程と、前記第２の判定工程で前記割合Ｙ／Ｘが前記閾値以下であると判定された場合に、前記境界を横断するグラデーションが存在するとみなして、前記着目領域と前記隣接領域とを統合して、前記着目領域及び前記隣接領域に連続するグラデーションを生成する統合工程と、を有する。

本発明によれば、画像データ内のグラデーションを精度良く分割することにより、分割誤りによる画質の劣化を抑制することができる。

以下に、本発明の実施の形態について添付図面を参照して詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明は、その趣旨を逸脱しない範囲で以下の実施形態を修正又は変形したものに適用可能である。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係るシステムの機能的構成を示すブロック図である。１００は本発明を実現するための画像処理装置である。画像処理装置１００は、読み取った文書の紙面情報を画像データに変換するスキャナ１０１と、画像データに本発明の処理を施すためのプログラムを実行するＣＰＵ１０２とを有する。また、画像処理装置１００は、プログラムを実行する際のワークメモリやデータの一時保存等に利用されるメモリ１０３と、プログラムやデータを格納するハードディスク１０４と、外部装置とデータの入出力を行うためのネットワークＩ／Ｆ１０５とを有する。パーソナルコンピュータ（以下、ＰＣと言う。）１２０は、画像処理装置１００とＬＡＮ１１０等のネットワークで接続され、画像処理装置１００から送信されたデータを受信する。

図２は、第１の実施形態に係る画像処理装置１００の機能的構成を示すブロック図である。なお、ここで示す各処理は、ＣＰＵ１０２で電子ドキュメント生成プログラムを実行することによって実現されるものとするが、その一部又は全部を電気回路で構成するようにしても構わない。

２０１はスキャナ１０１により文書を入力する入力部である。２０２は文書を電子化して画像を生成するスキャン画像処理部である。２０３は画素毎に属性データを生成する画素毎の属性情報生成部である。

画素毎の属性データとは、原稿画像に含まれる画像の特徴に応じて最適な画像処理を施すために原稿画像の特徴を抽出して像域属性を画素毎に示す信号（以下、フラグデータ）を言う。例えば、イメージスキャナ等によって読み取られた画像には、原稿画像中に連続階調のフルカラーの写真領域や、黒一色の文字領域又は新聞印刷のような網点印刷領域等のように、種々の画像領域が混在している。

これらを一律に同一の画像処理手順で処理して出力すると、その出力画像は一般に好ましい画質が得られない場合が多い。そこで、入力部２０１から入力されるカラー画像データを用いて原画像中に含まれる画像データの属性を検出し、この画像データの属性を識別するためのフラグデータを生成する。

なお、具体的な手順は、特開２００４−３５０２４０に開示された技術を用いることができる。例えば、文字属性については以下のように行う。すなわち、画像データをラスタースキャン順に順次着目し、着目画素近傍の一定範囲の画素（例えば、７×７画素領域）についてラプラシアンフィルタを用いたフィルタ処理を行い、着目画素値が閾値よりも大きい場合には、その画素はエッジを構成すると判定される。文字検出用である場合には、文字は主として線から構成されるため、一定方向について比較的低周波に対応したフィルタを用いることにより、文字領域を効率的に検出することができる。

そして、着目画素近傍の一定領域内に、文字のエッジであると判定された画素が一定数以上含まれている場合には、着目画素は文字領域として対応する文字フラグがセットされる。当然のことではあるが、文字属性以外にも網点属性や図形属性等のように、画像処理に応じてあらゆる属性データが生成される。

なお、イメージスキャナの属性データだけでなく、ページ記述言語からＰＤＬコマンドを解釈してプリント画像を生成する際に、このときのコマンドの種別を示す情報を参照してもよい。この場合には、文字領域を構成する画素を識別するためのフラグデータを画素毎に検出することとなる。

いずれにしても、文字属性であると判定された画素を「１」とし、それ以外の画素を「０」として、１ビットを出力する信号である。

図３において、（ａ）は入力された画像データを示す図であり、（ｂ）は図３（ａ）で入力された画像データから生成された属性データを示す図である。また、図４において、（ａ）は図３（ｂ）で生成した属性データをフラグデータで示す図であり、（ｂ）は図４（ａ）で示すフラグデータの変形例を示す図である。

例えば、図３（ａ）に示す画像データが入力された場合には、画像データと同時に、図３（ｂ）に示す画素毎の属性データが生成される。ここで生成された属性データは、図４（ａ）で示すように、黒い部分が「０」、白い部分が「１」を示す情報である。

なお、画素毎の属性データは、本実施形態では、文字領域全体を示す情報としたが、図４（ｂ）で示すように、文字のエッジ部分のみを示す情報であっても構わない。

２１０はカラー画像を色置換し、類似する色領域に分割する類似色領域統合部である。入力される画像には、スキャンノイズやモスキートノイズが付加され、本来同一の色であった領域が微妙に色味が変化する場合がある。この処理では領域の色情報の統計を取得し、類似色の色置換を行う。

類似色領域統合部２１０は、ブロック分割部２１１と、ヒストグラム生成部２１２と、色置換部２１３と、グラデーション判定部２１４と、ブロック統合部２１５とを有する。

ブロック分割部２１１は、入力部２０１で入力した画像データを、予め設定されたサイズの複数のブロックに分割する。ヒストグラム生成部２１２は、ブロック分割部２１１で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する。色置換部２１３は、ヒストグラム生成部２１２で生成したヒストグラムによって規定される領域毎に色置換処理を行う。また、色置換部２１３は、後述する所定の条件に基づいて、着目色の領域を、着目色の領域が接する他の色の領域に統合するため、着目色の領域内の画素の色を他の色に置換する。なお、グラデーション判定部２１４の詳細については後述する。

ブロック統合部２１５は、後述する所定の条件を満たした場合には、着目領域と着目領域が接するブロック内の領域とを統合する。

図５において、（ａ）は類似色領域統合部２１０に入力された画像５００を示す図であり、（ｂ）はブロック分割部２１１で画像５００を分割した状態を示す図である。また、図６において、（ａ）は図５（ｂ）で示すブロック５０１の色情報の分布を模式的に示す図であり、（ｂ）は図５（ｂ）で示すブロック５０４の色情報の分布を模式的に示す図である。

ブロックの縦横のサイズは定数とし、本実施形態では、図５（ｂ）で示すように、６つのブロック５０１、５０２、５０３、５０４、５０５、５０６に分割する。また、ヒストグラム生成部２１２では、ブロック内の色情報を公知の技術を用いて抽出する。ヒストグラム生成部２１２は、本実施形態では、色情報とその分布を抽出する。

色置換部２１３では、ブロック内の画素を先に求めた色情報で色置換する。ここで、色置換部２１３の動作手順について、図７を用いて説明する。

図７は、色置換部２１３の動作手順を示す図である。また、図８において、（ａ）はブロック５０１を示す図であり、（ｂ）はブロック５０１のフラグデータの一例を示す図であり、（ｃ）は色置換後の画素領域８００を示す図であり、（ｄ）は色置換後の画像５００を示す図である。

まず、ステップＳ７０１では、ヒストグラム生成部２１２で生成したヒストグラムで得られた着目色を持つ着目領域の面積を算出する。すなわち、前述した分布に基づいて、色情報が類似する領域をグループ化して画素数を算出する。

次に、ステップＳ７０２では、着目領域の面積Ｓが予め設定された閾値以下（Ｓ＜＝ｔｈ１）であるか否かを判定する。ステップＳ７０２で着目領域の面積が閾値Ｔｈ１よりも大きいと判定された場合には、ステップＳ７０５に進み、着目色の領域を有意な領域として決定し、色置換処理を行わずにその領域単独の領域とする。

例えば、図５で示すブロック５０１の場合、領域ｖの面積は閾値Ｔｈ１よりも大きいため、ステップＳ７０５に進み、領域ｗ及び領域ｘの面積は閾値Ｔｈ１以下であるため、ステップＳ７０３へ進む。また、ブロック５０４の場合、領域ｙ及び領域ｚの面積はいずれも閾値Ｔｈ１よりも大きいため、ステップＳ７０５に進む。

ここで、ある程度小さな領域は、ノイズとみなして他の領域の色に置換する処理が一般的である。しかし、ブロック内での面積は小さくても、ブロックの境界で分断された領域であり、ノイズではない可能性がある。よって、本実施形態では、ステップＳ７０３以降の処理を追加する。

ステップＳ７０３では、着目領域が、着目ブロックと隣接ブロックとの境界線と接する画素を有するか否かを判定する。なお、境界線と接する画素だけでなく、境界線から一定範囲の画素分内側の領域と定義してもよい。ステップＳ７０３で境界線と接する画素を有すると判定された場合にはステップＳ７０４に進み、ステップＳ７０３で境界線と接する画素を有しないと判定された場合にはステップＳ７０６へ進む。

ここで、図８（ａ）で示す画素領域８００は、本実施形態では、着目するブロック５０１の端とみなす画素領域である。ステップＳ７０３に進んだブロック５０１の領域ｗと領域ｘのうち、領域ｗは画素領域８００に含まれないため、ステップＳ７０６へ進み、領域ｘは画素領域８００に含まれるため、ステップＳ７０４へ進む。

ステップＳ７０４では、画素毎の属性情報生成部２０３で生成したフラグデータを参照して、境界線と接する位置にフラグデータが連続して存在するか否かを判定する。ステップＳ７０４でフラグデータが連続して存在すると判定された場合には、ステップＳ７０５へ進み、ステップＳ７０４でフラグデータが連続して存在しないと判定された場合には、ステップＳ７０６へ進む。ここでは、単にフラグの有無を判定するだけでなく連続性を加味することにより、ノイズと誤認識することを抑制している。

図８（ｂ）で示すように、ブロック５０１の領域ｘに該当する位置にフラグが連続して「１」となっている。よって、ステップＳ７０５の単独領域として扱う処理へ進む。

このようにして、画素領域８００を色置換すると、図８（ｃ）で示すような状態となる。ここで、スキャンノイズとみなされた領域ｗは隣接する領域の色に置換され、分割前には大きな領域であったが、ブロック分割により小さな領域になった領域ｘは単独の領域として色置換処理を行うことなく残存する。そして、ステップＳ７０７で色置換後に残存する領域を出力する。その結果、画像５００は、図８（ｄ）に示す状態となる。

［グラデーション判定部２１４の構成及び動作手順］
グラデーション判定部２１４は、色置換部２１３でブロック毎に色置換された情報と、画素毎の属性情報生成部２０３で生成された画素毎の属性情報とを用いて、グラデーションであるか否かを判定する。更に、グラデーション判定部２１４は、各ブロック毎に色置換された色情報にグラデーションであるか否かを示す情報を付加する。

すなわち、グラデーション判定部２１４は、画素間の色差を算出する算出部と、算出部で算出された色差が予め定められた閾値以下であるか否かを判定する第１の判定部と、後述のエッジ率が予め定められた範囲内であるか否かを判定する第２の判定部とを備える。

算出部は、色置換部２１３での色置換結果に基づいて、着目ブロックにおける着目領域内で着目ブロックと隣接ブロックとの境界に接する着目画素と、隣接ブロックにおける隣接領域内で境界に接し、着目画素に隣接する隣接画素との色差を算出する。

第２の判定部で用いられるエッジ率は、色差が予め定められた範囲内であると判定された、着目画素と隣接画素との組の数Ｘに対する、属性情報が着目画素及び隣接画素のうちの少なくとも一方に付加された着目画素と隣接画素との組の数Ｙの割合Ｙ／Ｘである。

なお、着目ブロックに隣接するブロックを隣接ブロックと呼び、隣接ブロック内の領域を隣接領域と呼び、隣接領域内の画素を隣接画素と呼ぶ。

図９乃至図１１は、グラデーション判定部２１４の処理の一例を示す図である。グラデーション判定部２１４は、例えば、図９に示すように、ブロックの高さｈに相当するセンサを有しており、このセンサを右方向に走査することにより、１ライン分のブロックを１回で処理する。なお、グラデーション判定部２１４は、本実施形態では、右方向のみで処理を行い、左方向は移動するだけとしたが、左右方向の双方で処理を行うものであってもよい。

１ライン目を処理する場合には、図１０に示すように、前のラインは存在しないため、同一ライン内のブロック境界のみを処理する。ｎ（ｎは２以上の整数）ライン目を処理する場合には、ｎ−１ライン目のブロックとの境界と、ｎライン目のブロック同士の境界を処理する。すなわち、図１１で示す太い実線を処理していくこととなる。このようにして、画像全体の処理が終了した場合には、グラデーション判定を終了する。

図１２は、グラデーション判定部２１４の動作手順を示す図であり、図１３は、色置換部２１３での処理後のブロック境界を模式的に示す図である。また、図１４は、画素毎の属性情報生成部２０３で生成された画素毎の属性情報の境界部分を示す図であり、図１５は、図１３で示すブロック境界の各画素における色の組み合わせとその個数を示す図である。

まず、ステップＳ１２０１では、着目ブロックと着目ブロックに隣接する隣接ブロックとの境界に接し、互いに隣接する画素における色の組み合わせと各組み合わせ毎の個数を抽出する。例えば、図１３で示すような色の組み合わせの場合には、図１５で示すように、色の組み合わせとその個数が抽出される。この処理を上述のように、ライン毎に行っていく。

ステップＳ１２０２は、ステップＳ１２０１で取得した境界部分の色置換後の色の組み合わせに対して、ステップＳ１２０３以降の処理を実行させるループ処理指令である。ステップＳ１２０３では、ステップＳ１２０１で抽出された着目する組み合わせの色差Δが閾値ｔｈ１１以下であるか否かを判定する。

ステップＳ１２０３で色差Δが閾値ｔｈ１１以下であると判定された場合には、その組み合わせの色が同じ色であり、グラデーションではないとみなして、ループ処理内の一連の処理を終了し、次の組み合わせの判定に進む。一方、ステップＳ１２０３で色差Δが閾値ｔｈ１１より大きいと判定された場合には、ステップＳ１２０４へ進む。

ステップＳ１２０４では、更に、ステップＳ１２０１で抽出された着目する組み合わせの色差Δが閾値ｔｈ１２より大きいか否かを判定する。ステップＳ１２０４で色差が閾値ｔｈ１２より大きいと判定された場合には、その組み合わせの色が異なる色であり、グラデーションではないとみなして、ループ処理内の一連の処理を終了し、次の色の判定に進む。一方、ステップＳ１２０４で色差が閾値ｔｈ１２以下であると判定された場合には、ステップＳ１２０５へ進む。

ステップＳ１２０５は、ステップＳ１２０３及びステップＳ１２０４の条件を満たす場合（すなわち、閾値ｔｈ１１＜＝色差Δ＜閾値ｔｈ１２）に行われる。つまり、色差Δが閾値ｔｈ１１以下である場合には、本来同じ領域とされるもの（例えば、図５（ｂ）に示す領域Ｘ及びＺ）が細分化されたものに過ぎないため、グラデーションではないとみなす。一方、色差Δが閾値ｔｈ１２より大きい場合には、異なる領域とされるものが正常に分割されているものに過ぎないため、グラデーションではないとみなす。

ステップＳ１２０５では、ステップＳ１２０３で色差Δが閾値ｔｈ１１以下であると判定された全ての組み合わせの数Ｙに対する、ステップＳ１２０１で抽出された色の組み合わせの中で、エッジフラッグが有る組み合わせの数Ｘの割合Ｙ／Ｘを算出する。

例えば、図１５に示す組み合わせにおいて、下式のような関係が成立していることとする。

Δ_Ａ−Ｄ＜＝ｔｈ１１
ｔｈ１１＜Δ_Ａ−Ｅ＜＝ｔｈ１２
ｔｈ１１＜Δ_Ｂ−Ｅ＜＝ｔｈ１２
ｔｈ１２＜Δ_Ｃ−Ｅ
ｔｈ１２＜Δ_Ｃ−Ｆ
この場合、ＡとＤとの組み合わせは、ステップＳ１２０３で同じ色であるとみなされ、ＣとＥとの組み合わせ及びＣとＦとの組み合わせは、ステップＳ１２０４で異なる色とみなされることになる。よって、ＡとＥとの組み合わせ及びＢとＥとの組み合わせのみがステップＳ１２０５で処理される。

ステップＳ１２０５では、ＡとＥとの組み合わせのうち、エッジフラグを参照すると１である部分が２つあるため、２／２＝１．０がエッジ率として算出される。またＢとＥとの組み合わせは、エッジフラグが１である画素が無いため、０／７＝０がエッジ率として算出される。

ステップＳ１２０６では、ステップＳ１２０５で算出されたエッジ率が閾値ｔｈ１３以下であるか否かを判定する。ステップＳ１２０６でエッジ率が閾値ｔｈ１３以下であると判定された場合には、グラデーションであるとみなして、ステップＳ１２０７に進む。一方、ステップＳ１２０６でエッジ率が閾値ｔｈ１３より大きいと判定された場合には、グラデーションではないとみなして、次の色の判定に進む。例えば、閾値ｔｈ１３を０．２とした場合には、ｔｈ１３＜Ｙ／Ｘ（＝１．０）であるため、ＡとＥとの組み合わせはグラデーションではないと判定される。一方、Ｙ／Ｘ（＝０）＜ｔｈ１３であるため、ＢとＥとの組み合わせはグラデーションであると判定される。

ステップＳ１２０７では、ステップ１２０６でグラデーションであると判定された色の組にグラデーションであることを示す情報（以下、グラデーション情報と呼ぶ。）を付加する。この例では、ＢとＥとの組み合わせをグラデーションであるとみなし、この組み合わせに対して、境界を挟んで隣接する２つの領域にグラデーション情報を付加する。

このようして、１つのブロック境界を処理することができる。ブロックの他の境界も同様に処理を行い、１ブロックの処理を終了する。

［ブロック統合部２１５の動作手順］
ブロック統合部２１５は、ブロック毎に色置換した領域を近接するブロックの類似色領域と統合する。図１６は、ブロック統合部２１５の動作手順を示す図である。図１７は、入力された画像データを示す図であり、図１８は、図１７の画像データを色置換した結果を示す図である。また、図１９は、図１８の色置換後の領域を統合した結果を示す図である。

ステップＳ１６０１では、グラデーション判定部２１４から出力された着目する領域Ａを取得する。ステップＳ９０２では、領域Ａを含む着目ブロックに隣接する他のブロックで有意と決定された領域Ｂ［ｎｕｍ］を取得する。

なお、隣接ブロックは、本実施形態では、処理対象となる着目ブロックの上側及び左側に接するブロックとする。例えば、処理対象となるブロックが図５（ｂ）で示すブロック５０５である場合には、隣接ブロックは、ブロック５０２、５０４となる。

ステップＳ１６０３は、ステップＳ１６０２で取得した隣接ブロックの領域Ｂのすべての領域に対して、ステップＳ１６０４以降の処理を実行させるループ処理指令である。

ステップＳ１６０４では、領域Ａ及び領域Ｂがグラデーション情報を有するか否かを判定する。ステップＳ１６０４で領域Ａ及び領域Ｂがグラデーション情報を有すると判定された場合には、境界を横断して領域Ａ及び領域Ｂに連続するグラデーションが有るとみなせるため、ステップＳ１６１０の統合処理に進む。一方、ステップＳ１６０４で領域Ａ及び領域Ｂがグラデーション情報を有しないと判定された場合には、領域Ａ及び領域Ｂに連続するグラデーションが無い可能性が高いため、この段階では統合処理には進まず、ステップＳ１６０５に進む。

例えば、図１７のようなグラデーションを有する画像に対して、色置換部２１３で図１８で示すような色置換が行われ、グラデーション判定部２１４で領域１８０１と領域１８０２、及び領域１８０２と領域１８０３がグラデーションであると判定されたとする。この場合、領域１８０１を領域Ａとし、領域１８０２を領域Ｂ［ｘ］とすれば、ステップＳ１６０４でグラデーションであるとみなされた結果、ステップＳ１６１０で領域の統合が行われることとなる。同様に、領域１８０２を領域Ａとし、領域１８０３を領域Ｂ［ｘ］とすれば、ステップＳ１６０４でグラデーションであるとみなされた結果、ステップＳ１６１０で領域１８０２と領域１８０３の統合が行われる。この結果、領域１８０１乃至１８０３が、図１９で示すように１つの領域に統合されることとなる。

ステップＳ１６０５では、領域Ａと領域Ｂの色情報の色差を求める。なお、色差の求め方は、公知の技術を用いることとし、本実施形態では、一般的な色空間上における互いの色情報の距離を求めることとする。

ステップＳ１６０６では、ステップＳ１６０５で求めた色差が予め定められた閾値ｔｈ２１以下であるか否かを判定する。すなわち、領域Ａと領域Ｂ［ｘｓ］の色情報が類似するか否かが判定されることとなる。ステップＳ１６０６で色差が閾値ｔｈ２１以下であると判定された場合には、ステップＳ１６１０の統合処理へ進む。一方、ステップＳ１６０６で色差が閾値ｔｈ２１より大きいと判定された場合には、ステップＳ１６０７の処理へ進む。

ステップＳ１６０７では、着目する領域が、着目ブロックと隣接するブロックとの境界線と接する画素を有するか否かを判定する。ステップＳ１６０７で境界線と接する画素を有すると判定された場合には、ステップＳ１６０８に進み、ステップＳ１６０７で境界線と接する画素を有しないと判定された場合には、ステップＳ１６１１へ進む。

ステップＳ１６０８では、画素毎の属性情報生成部２０３で領域Ｂ［ｘ］に生成したフラグデータを参照し、境界線と接する位置にフラグデータが連続して存在しているか否かを判定する。ステップＳ１６０８でフラグデータが連続して存在していると判定された場合には、ステップＳ１６０９へ進み、ステップＳ１６０８でフラグデータが連続して存在していないと判定された場合には、ステップＳ１６１１へ進む。ここでは、単にフラグの有無を判定するだけではなく、連続性を加味することでノイズとの切り分けを行う。

ここまでの処理だけでは、領域Ｂ［ｘ］はいずれかの領域の一部分であるが、ブロック分割処理によって小さな領域になり、色置換処理でブロック内に支配的に存在する色情報により色置換結果に影響が出てしまう可能性がある。よって、ステップＳ１６０９では、閾値Ｔｈ２１を、閾値Ｔｈ２１とは異なる閾値Ｔｈ２２に変更し、類似色の判定を行う。閾値Ｔｈ２２は、例えば、領域ｂの場合、ステップＳ１６０６で用いた閾値ｔｈ２１にブロック上最大の面積を有する領域ａの色情報の明度に関する距離をａから反対の向きへ重み付けして算出する。すなわち、ステップＳ１６０９では、領域Ａ及び領域Ｂ［ｘ］の色情報が類似するか否かを判定する。

ステップＳ１６０９で色情報が類似すると判定された場合には、ステップＳ１６１０へ進み、統合処理を行う。一方、ステップＳ１６０９で色情報が類似しないと判定された場合には、ステップＳ１６１１へ進み、統合処理を行わないこととする。

なお、ステップＳ１６０５乃至ステップＳ１６０９の処理は、実装形態を想定したものであり、グラデーション部分を統合する処理だけを行うのであれば、省略することが可能である。この場合には、ステップＳ１６０４でグラデーション情報を有すると判定された場合には、ステップＳ１６１１に直接進み、統合処理を行わないこととする。

ブロック統合部２１５は、このような統合処理を行った画像データを画像解析部に入力する。画像解析部２２０は、領域分割部２２１と、文字変換部２２３と、写真変換部２２５と、線画変換部２２７と、表変換部２２９と、それらの変換結果を１つにまとめる合成部２２１０とを有する。

領域分割部２２１は、公知の領域分割技術を用いて、文字、写真、線画、表に分割する。領域分割技術の具体例としては、米国特許５６８０４７８号公報（特許文献２）に記載の処理等を用いることができる。

特許文献２では、文書画像中の黒画素塊、白画素塊の集合を抽出し、その形状、大きさ、集合状態等に基づいて、文字、絵、図、表、枠、線等の特徴的な領域を抽出する技術が開示されている。また、特許文献２以外にも、領域分割に用いる特徴量を入力多値画像から近似色画素塊を抽出する技術、多値画像を二値化して得た黒画素塊に基づいて抽出する技術、又は多値画像から微分エッジ情報等を生成してエッジ内の画素として抽出する技術等がある。本実施形態では、これらのいずれかの技術を用いることとする。

領域分割部２２１で、文字、写真、線画、表に分割された各領域は、それぞれの分類毎の変換処理を行う。例えば、文字変換部２２３では、公知の文字認識技術を用いて各文字領域内の文字認識を行い、文字コードデータを生成する。

次に、文字認識技術の具体例について説明する。まず、文字領域の行方向（すなわち、縦書きであるか、横書きであるか）を判断する。これは、例えば、画像を二値化し、縦横の射影を取得して射影分散の低い方を行方向と判定することができる。

次に、画像をそれぞれの文字画像に分割する。これは、二値画像の行方向への射影を用いて切断すべき行間を検出することで行画像に分割し、さらに、行画像を行と垂直方向への射影を用いて切断すべき文字間を検出することで文字画像に分割すればよい。

そして、それぞれの文字画像に対して特徴を取り、予め全字種分の特徴を保存した辞書から一番特徴が近似するものを検索し、辞書が示す文字コードを各文字の認識結果とする。また、写真変換部２２５では、公知の高解像度変換処理を用いて、高画質ラスタデータを生成する。

線画変換部２２７では、公知のベクトル化技術を用いて、線画の画像データから線画のベクトル描画データを生成する。ベクトル化技術の具体例としては、特許第３０２６５９２号（特許文献３）や特開２００５−３４６１３７号公報（特許文献４）記載の処理等がある。

特許文献３では、画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて、水平方向及び垂直方向の画素間ベクトルを検出する。次に、これら画素間ベクトル同士の接続状態に基づいて、画像データの輪郭を抽出することにより、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する技術が開示されている。また、特許文献４では、アウトラインベクトルを直線や２次又は３次のベジェ曲線で近似することで、大きく変倍しても高画質なベクトル記述データを生成する技術が開示されている。

表変換部２２９では、罫線部分を前述した公知のベクトル化技術によってベクトル描画データを生成し、文字部分を前述した公知の文字認識技術によって文字コードデータを生成する。

なお、文字変換部２２３、写真変換部２２５、線画変換部２２７、又は表変換部２２９では、上記以外の変換処理を行ってもよい。例えば、文字変換部２２３では、ベクトル変換を行ってもよいし、高画質ラスタデータ変換を行ってもよい。また、表変換部２２９では、高画質ラスタデータを生成してもよい。

合成部２２１０は、各変換部から生成されたデータを１つに合成する。図２０は、合成部２２１０で合成されたデータの一例を示す図である。

２０００は、合成部２２１０で生成されたデータの全体構成である。ｔｅｘｔｏｂｊｅｃｔ２００１は、領域分割部２２１が文字と判断した領域の変換結果と画像中の位置情報を保持し、また、Ｐｉｃｔｕｒｅ２００２は写真と判断した領域の変換結果と位置情報を保持する。更に、ＬｉｎｅＡｒｔ２００３は、線画と判断した領域の変換結果と位置情報を保持し、Ｔａｂｌｅ２００４は、表と判断した領域の変換結果と位置情報を保持する。Ｐｒｏｐｅｒｔｙ２００５は、入力データの書誌情報（例えば、ページ数、ページサイズ、入力機器情報、タイムスタンプ等）を保持する。

電子ファイル変換部２０４は、合成データを電子ファイルに変換する。電子ファイル変換部２０４は、本実施形態では、ＰＣ１２０で再生、編集等が可能な電子ファイルへ変換する。

以上述べた通り、本実施形態によれば、画像データ内のグラデーションを精度良く分割することにより、分割誤りによる画質の劣化を抑制することができる。

＜その他の実施形態＞
なお、本実施形態は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、複合機、ファクシミリ装置等）に適用してもよい。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのコンピュータプログラムのコードを記憶したコンピュータ可読記憶媒体（又は記録媒体）を、システム又は装置に供給してもよい。また、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み込み実行することに適用してもよい。この場合、記憶媒体から読み込まれたプログラムコード自体が前述の実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本実施形態を構成することになる。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み込まれたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

また、本実施形態を上述のコンピュータ可読記憶媒体に適用する場合、その記憶媒体には、前述のフローチャートや機能構成に対応するコンピュータプログラムのコードが格納されることになる。

本発明の第１の実施形態に係るシステムの機能的構成を示すブロック図である。第１の実施形態に係る画像処理装置１００の機能的構成を示すブロック図である。（ａ）は入力された画像データを示す図であり、（ｂ）は図３（ａ）で入力された画像データから生成された属性データを示す図である。（ａ）は図３（ｂ）で生成した属性データをフラグデータで示す図であり、（ｂ）は図４（ａ）で示すフラグデータの変形例を示す図である。（ａ）は類似色領域統合部２１０に入力された画像５００を示す図であり、（ｂ）はブロック分割部２１１で画像５００を分割した状態を示す図である。（ａ）は図５（ｂ）で示すブロック５０１の色情報の分布を模式的に示す図であり、（ｂ）は図５（ｂ）で示すブロック５０４の色情報の分布を模式的に示す図である。色置換部２１３の動作手順を示す図である。（ａ）はブロック５０１を示す図であり、（ｂ）はブロック５０１のフラグデータの一例を示す図であり、（ｃ）は色置換後の画素領域８００を示す図であり、（ｄ）は色置換後の画像５００を示す図である。グラデーション判定部２１４の処理の一例を示す図である。グラデーション判定部２１４の処理の一例を示す図である。グラデーション判定部２１４の処理の一例を示す図である。グラデーション判定部２１４の動作手順を示す図である。色置換部２１３での処理後のブロック境界を模式的に示す図である。画素毎の属性情報生成部２０３で生成された画素毎の属性情報の境界部分を示す図である。図１３で示すブロック境界の各画素における色の組み合わせとその個数を示す図である。ブロック統合部２１５の動作手順を示す図である。入力された画像データを示す図である。図１７の画像データを色置換した結果を示す図である。図１８の色置換後の領域を統合した結果を示す図である。合成部２２１０で合成されたデータの一例を示す図である。

Claims

画像データを入力する入力手段と、
前記入力手段で入力した画像データの各画素毎に属性情報を生成する属性情報生成手段と、
前記入力手段で入力した画像データを、予め定められたサイズの複数のブロックに分割する分割手段と、
前記分割手段で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成手段と、
前記生成手段で生成したヒストグラムによって規定される領域毎に色置換処理を行う色置換手段と、
前記色置換手段での色置換結果に基づいて、前記着目ブロックにおける着目領域内で、前記着目ブロックと該着目ブロックに隣接する隣接ブロックとの境界に接する着目画素と、前記隣接ブロックにおける、前記着目領域に隣接する隣接領域内で前記境界に接し、前記着目画素に隣接する隣接画素との色差を算出する算出手段と、
前記算出手段で算出された色差が予め定められた範囲内であるか否かを判定する第１の判定手段と、
前記第１の判定手段で前記色差が予め定められた範囲内であると判定された、前記着目画素と前記隣接画素との組の数Ｘに対する、前記属性情報が前記着目画素及び前記隣接画素のうちの少なくとも一方に付加された前記着目画素と前記隣接画素との組の数Ｙの割合Ｙ／Ｘが予め定められた閾値以下であるか否かを判定する第２の判定手段と、
前記第２の判定手段で前記割合Ｙ／Ｘが前記閾値以下であると判定された場合に、前記境界を横断するグラデーションが存在するとみなして、前記着目領域と前記隣接領域とを統合して、前記着目領域及び前記隣接領域に連続するグラデーションを生成する統合手段と、
を備えることを特徴とする画像処理装置。
前記属性情報生成手段は、前記着目画素が、前記着目領域のエッジに位置するか否かを識別する前記属性情報を生成することを特徴とする請求項１に記載の画像処理装置。
画像データを入力する入力工程と、
前記入力工程で入力した画像データの各画素毎に属性情報を生成する属性情報生成工程と、
前記入力工程で入力した画像データを、予め定められたサイズの複数のブロックに分割する分割工程と、
前記分割工程で分割した着目ブロック内に出現する色と画素数のヒストグラムを生成する生成工程と、
前記生成工程で生成したヒストグラムによって規定される領域毎に色置換処理を行う色置換工程と、
前記色置換工程での色置換結果に基づいて、前記着目ブロックにおける着目領域内で、前記着目ブロックと該着目ブロックに隣接する隣接ブロックとの境界に接する着目画素と、前記隣接ブロックにおける、前記着目領域に隣接する隣接領域内で前記境界に接し、前記着目画素に隣接する隣接画素との色差を算出する算出工程と、
前記算出工程で算出された色差が予め定められた範囲内であるか否かを判定する第１の判定工程と、
前記第１の判定工程で前記色差が予め定められた範囲内であると判定された、前記着目画素と前記隣接画素との組の数Ｘに対する、前記属性情報が前記着目画素及び前記隣接画素のうちの少なくとも一方に付加された前記着目画素と前記隣接画素との組の数Ｙの割合Ｙ／Ｘが予め定められた閾値以下であるか否かを判定する第２の判定工程と、
前記第２の判定工程で前記割合Ｙ／Ｘが前記閾値以下であると判定された場合に、前記境界を横断するグラデーションが存在するとみなして、前記着目領域と前記隣接領域とを統合して、前記着目領域及び前記隣接領域に連続するグラデーションを生成する統合工程と、
を有することを特徴とする画像処理方法。
コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１又は２に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
請求項４に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。