JP2007081794A - 画像処理装置 - Google Patents

Abstract

【課題】 原稿をスキャンして得た画像データ全体のメトリクス値のヒストグラムを取得しなくてもその原稿の属性を精緻に判定すること。
【解決手段】 原稿をスキャンして得た画像データを複数のブロック画像データに分割し、分割したブロック画像データを解析することによってそれらの各々が「下地」、「絵柄」、「下地」、及び「その他」の何れの属性の画像を描画しているかを個別に特定する。その後、ブロック画像データ毎に特定した属性を取り纏めた集計結果を更に解析することによって原稿画像データそのものの属性を特定する。
【選択図】 図１

Description

本発明は、画像処理装置に関する。

従来より、原稿をスキャンして得た画像データの属性（文字、写真、絵柄など）を判定するための種々の仕組みが提案されてきた。この種の仕組みの多くは、原稿をスキャンして得た画像データの明度、彩度、色相などを示すメトリクス値のヒストグラムを取得し、そのヒストグラムの特徴を解析することによって原稿の属性を判定するものであった（例えば、特許文献１乃至６を参照）。
特開平５−３２８１９号公報 特開平８−２５１４０２号公報 特開２００２−２１８２３２号公報 特開２００２−２９０７２３号公報 特開２００４−６４５３２号公報 特開２００４−２９７２１２号公報

しかしながら、上述した仕組みの場合、原稿の画像データ全体のメトリクス値及びそのヒストグラムを記憶させておくための大容量のメモリが必要となり、そのコストも高くなってしまうという問題があった。
本発明はこのような背景の下に案出されたものであり、原稿をスキャンして得た画像データ全体のメトリクス値のヒストグラムを取得しなくてもその原稿の属性を精緻に判定できるような仕組みを提供することを目的とする。

本発明の好適な態様である画像処理装置は、原稿をスキャンして得た原稿画像データを入力する入力手段と、前記入力された原稿画像データを複数のブロック画像データに分割する分割手段と、前記分割した各ブロック画像データの各々の描画内容を所定の表色系基準に従ったメトリック値の出現頻度分布として表すヒストグラムを取得するヒストグラム取得手段と、前記ブロック画像データ毎に取得したヒストグラムの特徴を所定のアルゴリズムに従って解析することにより、当該各ブロック画像データの属性を取得するブロック属性取得手段と、前記分割された各ブロック画像データの各々について前記属性判別手段が取得した各属性の集計結果を所定のアルゴリズムに従って解析することにより、原稿の属性を取得する原稿属性取得手段とを備える。

この態様において、前記分割された各ブロック画像データのうちの注目ブロック画像データとその周辺にある周辺ブロック画像データとを纏めて新たなブロック画像データを生成するブロック画像合成手段を備え、前記ブロック属性取得手段は、前記ブロック画像合成手段が新たなブロック画像データを生成すると、その新たなブロック画像データを得るべく纏められた各ブロック画像データの属性の出現頻度分布を表すヒストグラムを取得し、取得したヒストグラムを所定のアルゴリズムに従って解析することにより、前記新たなブロック画像データの属性を取得するようにしてもよい。

また、前記原稿属性取得手段は、前記ブロック画像合成手段による新たなブロック画像データの生成と前記ブロック属性取得手段による当該新たなブロック画像データの属性の取得とが再帰的に繰り返されることによって前記原稿と同じ大きさの新たなブロック画像データの属性が得られたとき、その属性を原稿の属性として取得するようにしてもよい。

前記取得された原稿の属性に応じた画像処理を前記入力された原稿画像データに施す画像処理手段を更に備えてもよい。

また、前記取得された原稿の属性に応じて原稿を仕分けする仕分け手段を更に備えてもよい。

本発明によると、原稿をスキャンして得た画像データ全体のメトリクス値のヒストグラムを取得しなくてもその原稿の属性を精緻に判定することができる。

（発明の実施の形態）
本願発明の実施形態について説明する。
本実施形態は、以下の２つの特徴を有する。
１つ目の特徴は、原稿をスキャンして得た画像データを複数のブロック画像データに分割し、分割したブロック画像データを解析することによって、それらの各々が「文字」、「絵柄」、「下地」、及び「その他」の何れの属性の画像を描画しているかを個別に特定するようにした点である。
２つ目の特徴は、各ブロック画像データ毎に特定した属性を取り纏めた集計結果を更に解析することによって原稿画像データそのものの属性を特定するようにした点である。

図１は、本実施形態に係る複合機のハードウェア概略構成図である。この複合機は、スキャンデバイス１１、プリントデバイス１２、通信デバイス１３、ユーザインターフェース（以下、「ＵＩ」と呼ぶ）デバイス１４、ＣＰＵ１５、ＲＡＭ１６、ＲＯＭ１７、及びハードディスク１８の各ハードウェアリソースを備える。
スキャンデバイス１１は、ＣＣＤ（Charge Coupled Device）や光源などといった、画像スキャン制御を実現すべく搭載されたデバイス群の総称である。
プリントデバイス１２は、感光体ドラムや帯電器などといった、画像プリント制御を実現すべく搭載されたデバイス群の総称である。
通信デバイス１３は、モデムや各種インターフェースユニットなどといった、外部ノードとの通信制御を実現すべく搭載されたデバイス群の総称である。
ＵＩデバイス１４は、タッチパネルやタッチスクリーンディスプレイなどといった、ＵＩ制御を実現すべく搭載されたデバイス群の総称である。
ＲＡＭ１６は、ＣＰＵ１５のワークエリアとして各種プログラムやデータを記憶する。
ＲＯＭ１７は、ＩＰＬ（Initial Program Loader）などを記憶する。

ハードディスク１８は、原稿属性判別プログラム１８ａを記憶する。このプログラムは、本実施形態に特有の機能をＣＰＵ１５に付与するための固有のプログラムである。このプログラムを実行するＣＰＵ１５には以下の３つの機能が付与される。
原稿属性判別プログラム１８ａは、本実施形態に特有の機能をＣＰＵ１５に付与するための固有のプログラムである。このプログラムを実行するＣＰＵ１５には以下の３つの機能が付与される。
ａ 画像分割機能
これは、スキャンデバイス１１が原稿をスキャンすることによって得た原稿画像データを、所定平方画素（例えば、１２８平方画素）毎の纏まりである複数のブロック画像データに分割する機能である。
ｂ ブロック属性取得機能
これは、各ブロック画像データの各々の描画内容が、「文字」、「絵柄」、「下地」、及び「その他」のどの属性に該当するかを判定する機能である。
ｃ 原稿属性取得機能
これは、各ブロック画像データの各々の属性の集計結果を解析することにより、それらのブロック画像データの集合体である原稿画像データそのものの属性を判定する機能である。

次に、本実施形態の動作を説明する。
図２は、本実施形態の動作を示すフローチャートである。
図に示す処理は、スキャンデバイス１１が原稿をスキャンして原稿画像データが取得されたことをトリガーとして開始される。この原稿画像データは、スキャン対象である原稿の描画内容を、一画素あたりＲＧＢ８ビット（２５６階調）の信号列で表したラスタデータである。

原稿画像データがＲＡＭ１６に記憶されると、ＣＰＵ１５は、その原稿画像データの各画素の信号列を所定の行列関数に入力することにより、Ｌ*ａ*ｂ*８ビットの信号列に変換した後、そのＬ*ａ*ｂ*の信号列の各々に所定のＬＵＴ（ルックアップテーブル）を作用させることによって、一画素あたり３ビットの信号列に量子化する（Ｓ１００）。なお、このステップの量子化は、Ｌ*、ａ*、ｂ*の各メトリック量の特徴に応じて異なる内容のＬＵＴを用いて行う。そして、Ｌ*（明度）の量子化に用いるＬＵＴは、下地検知などで検知限界としている値Ｄ０．５よりも低明度の量子化閾値の幅を細かく設定したものであることが望ましい。また、ａ*（彩度）の量子化に用いるＬＵＴは、Ｌ*ａ*ｂ*色空間の原点付近の１２８を中心に低彩度の量子化閾値の幅を細かく設定したものが望ましく、ｂ*（彩度）の量子化に用いるＬＵＴは、Ｌ*ａ*ｂ*色空間の原点付近の９６を中心に低彩度の量子化閾値の幅を細かく設定したものが望ましい。

続いて、ＣＰＵ１５は、ステップ１１０で量子化された信号列が示すＬ*ａ*ｂ*の原稿画像データを、各々が１２８平方画素の大きさの複数のブロック画像データに分割する（Ｓ１１０）。
ＣＰＵ１５は、ステップ１１０の分割により得た複数のブロック画像データのうちの１つを処理対象として特定する（Ｓ１２０）。

ＣＰＵ１５は、ステップ１２０で特定したブロック画像データから、Ｌ*ａ*ｂ*表色系のメトリック値の濃度ヒストグラムを取得する（Ｓ１３０）。
ＣＰＵ１５は、ステップ１３０で取得した濃度ヒストグラムを解析することにより、ステップ１２０で特定したブロック画像データの描画内容が、「文字」、「絵柄」、「下地」、及び「その他」のどの属性に該当するかを特定する（Ｓ１４０）。このステップの内容について具体的に説明する。

一般に、ある画像データの描画内容が「文字」である場合、その画像から得たメトリクス値Ｌ*（明度）のヒストグラムの形状は、いわゆるハイライトと高濃度に１つずつピークを有し、メトリクス値ａ*及びｂ*（彩度）のヒストグラムの形状は、中央に１つのピークを有するか（黒文字の場合）、又は中央と中央からずれた各位置に１つずつ（カラー文字の場合）のピークを有するものとなる。
また、ある画像データの描画内容が「絵柄」である場合、その画像から得たメトリクス値Ｌ*（明度）のヒストグラムの形状はなだらかでピークが不安定なものとなり、メトリクス値ａ*及びｂ*（彩度）のヒストグラムはなだらかでピークが不安定となるか（モノクロの絵柄の場合）又は中央に１つのピークを有するものとなる（カラーの絵柄の場合）。
更に、ある画像データの描画内容が「下地」である場合、その画像から得たメトリクス値Ｌ*（明度）のヒストグラムの形状はハイライトに１つのピークを有するものとなり、メトリクス値ａ*及びｂ*（彩度）のヒストグラムは中央に１つのピークを有するものとなる。
本実施形態では、以上説明した各形状の特徴と「文字」、「絵柄」、「下地」の各属性情報とを対応付けたＬＵＴを設け、濃度ヒストグラムの特徴を基にこのＬＵＴを参照することにより、ブロック画像データの属性が、「文字」、「絵柄」、「下地」のいずれに該当するか、また、それらのいずれでもない「その他」に該当するかを判定する。

ブロック画像データの属性を特定したＣＰＵ１５は、特定した属性を示す属性情報をブロック画像データと対応付ける（Ｓ１５０）。
続いて、ＣＰＵ１５は、ステップ１００の分割により得たブロック画像データの全ての属性を特定したか否か判断し、未だ属性の特定されていないブロック画像データがあれば、ステップ１２０に戻り、以降の処理を繰り返す。

ブロック画像データの全ての属性を特定したＣＰＵ１５は、ステップ１２０乃至ステップ１５０のループを繰り返すことによってブロック画像データと対応付けられた各属性情報を基に、「文字」、「絵柄」、「下地」、及び「その他」の各属性情報の出現頻度を表すヒストグラムを取得する（Ｓ１６０）。

ＣＰＵ１５は、ステップ１６０で取得したヒストグラムを解析することによって、スキャンされた原稿そのものの属性を特定する（Ｓ１７０）。具体的には、もっとも出現頻度の高かった属性を原稿そのものの属性として特定する。
このステップについて、図３を参照して更に具体的に説明する。図３は、各ブロック画像データとそれらの属性の対応関係を示している。図に示す例では、原稿画像が、ブロック画像１乃至２４の計２４個のブロック画像データに分割されており、ブロック画像１、４、２１、２２、２３、２４が「下地」、ブロック画像３、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８が「絵柄」、ブロック画像２が「文字」、ブロック画像１９、２０が「その他」の各属性であることが分かる。この場合、本ステップでは、最も出現頻度の高い、「絵柄」が原稿そのものの属性として特定されることになる。

図２において、ＣＰＵ１５は、ステップ１７０で特定された属性に応じた画像処理を、原稿画像データに対して施す（Ｓ１８０）。例えば、原稿の属性が「絵柄」と特定されたときは、絵柄を滑らかにすべく、「下地除去」、「デジタルフィルタ」、「後段色補正」、「階調補正」、「スクリーン生成」といった一連の画像処理を施し、「文字」と特定されたときは、文字のエッジ部を強調すべく、「下地除去」、「デジタルフィルタ」、「階調補正」、「スクリーン生成」といった一連の画像処理を施す。

以上説明した本実施形態によると、原稿をスキャンして得た画像データ全体のメトリクス値のヒストグラムを取得しなくてもその原稿の属性を精緻に判定することができるため、大容量のメモリを搭載する必要が無くなる。

（他の実施形態）
本願発明は、種々の変形実施が可能である。
上記実施形態では、ステップ１２０乃至ステップ１５０のループを繰り返すことによって全てのブロック画像データと属性情報とが対応付けられ、属性情報の出現頻度を表すヒストグラムが得られると、そのヒストグラムにおいて最も出現頻度の高かった属性が原稿そのものの属性として特定されるようになっていた。これに対し、上記実施形態とは別のアルゴリズムに従ってヒストグラムの解析を行い、原稿の属性を特定するようにしてもよい。例えば、「下地」の出現頻度がある閾値（例えば、全体の９０％）以上であれば、出現頻度の最も高い属性の如何に係わらず、原稿の属性を「下地」と特定するようにしてもよい。

上記実施形態では、原稿の属性が、「文字」、「絵柄」、「下地」、及び「その他」の４つのカテゴリーに分かれており、「文字」、「絵柄」、「下地」のいずれにも該当しなければ、無条件に「その他」に該当させていた。これに対し、「カラー絵柄」や「モノクロ絵柄」、更には絵柄と文字の混在する「文字絵柄」などといったような、より細かなカテゴリーに属性を分け、それらのどれに該当するかを解析するためのより複雑なアルゴリズムを取り入れてもよい。

図４は、このような変形例に係る属性特定アルゴリズムの一例を示す図である。この図に示す一連の処理は、「文字」、「絵柄」、「文字絵柄」、「下地」の４つのうちのどの属性かを解析するためのアルゴリズムである。図に示すステップ１７１では、ステップ１６０で得られたヒストグラムが示す「下地」の出現頻度が第１の閾値以上であるかが判断される。ステップ１７１の判断結果が「Ｙｅｓ（「下地」の出現頻度が閾値以上である）」であれば、原稿の属性が「下地」と特定される。一方、ステップ１７１の判断結果が「Ｎｏ」であれば、ステップ１７２に進む。
ステップ１７２では、「絵柄」と「文字」の出現頻度の差の絶対値が第２の閾値以下であるかが判断される。ステップ１７２の判断結果が「Ｙｅｓ（両者の差の絶対値が閾値以下である）」であれば、原稿の属性が「文字絵柄」と特定される。一方、ステップ１７２の判断結果が「Ｎｏ」であれば、ステップ１７３に進む。
ステップ１７３では、「絵柄」の出現頻度が「文字」の出現頻度よりも多いかが判断される。ステップ１７３の判断結果が「Ｙｅｓ（「絵柄」の出現頻度が「文字」の出現頻度より多い）」であれば、原稿の属性が「絵柄」と特定される。一方、ステップ１７３の判断結果が「Ｎｏ（「文字」の出現頻度が「絵柄」の出現頻度より多い）」であれば、原稿の属性が「文字」と特定される。
更に、この４つのほかに、「文字」や「絵柄」がカラーなのかそれともモノクロなのかまでも特定したい場合は、絵柄、文字の各ブロック画像データのうち、ヒストグラムにａ*ｂ*（彩度）のメトリクス値が所定値以上であるものの割合が閾値（例えば、全体の８０％）以上であるときに、カラーの文字又は絵柄であると判定するようにするとよい。

上記実施形態では、１つの原稿画像データを分割して得た全ブロック画像データの属性のヒストグラムを解析することによって、原稿そのものの属性を特定していた。これに対し、原稿画像データを分割して得た全ブロック画像データのうちの一部の属性のヒストグラムを解析することによって、原稿の属性を特定するようにしてもよい。この変形例の態様としては、以下のようなものが考えられる。

１つ目は、原稿画像データを分割して得た全ブロック画像データの一部を間引き、残りのブロック画像データのヒストグラムだけを解析する態様である。例えば、原稿の端には文字などが存在しないことが多いため、端にあるブロック画像データについてのヒストグラムの取得を省いたとしても、比較的高い信頼度で属性を特定することが可能である。

２つ目は、原稿画像データを分割して得た複数のブロック画像データの１つである注目ブロック画像データとその周辺の周辺ブロック画像データを纏めて新たなブロック画像データ（原稿画像データ全体からみれば、依然として一部分の画像データ）を合成して行く態様である。この態様では、ブロック画像データを纏めて新たなブロック画像データが得られると、その新たなブロック画像データを得るべく纏められた各ブロック画像データの属性の出現頻度分布を表すヒストグラムを所定のアルゴリズムに従って解析することにより、新たなブロック画像データ自体の属性を取得する。そして、新たなブロック画像データの生成と前記ブロック属性取得手段による当該新たなブロック画像データの属性の取得とを再帰的に繰り返して行き、原稿画像データと同じ大きさの新たなブロック画像データの属性が得られたとき、その属性を原稿の属性として特定する。図３の例を参照してこれを具体的に説明すると、まず、ブロック画像データ１乃至８、ブロック画像データ９乃至１６、そして、ブロック画像データ１７乃至２４毎に纏めて３つの新たなブロック画像データを生成する。そして、それら３つの新たなブロック画像データにおける属性のヒストグラムを求め、求めたヒストグラムにおいて最も出現頻度の高かった属性をそれら３つのブロック画像データの属性として夫々特定する。同様の工程を、新たなブロック画像データの大きさと原稿画像データの大きさが一致するまで繰り返して行き、最終的に得られたブロック画像データの属性を原稿そのものの属性とする。また、新たなブロック画像データの取得と属性の特定の繰り返しを例えば原稿の半分まで繰り返した時点で得られた属性を、原稿の属性として特定してもよい。そのように、属性の判定結果の大局的な情報を利用して原稿自体の属性を判定するようにしたとしても、比較的高い信頼度で属性を特定することは可能だからである。

上記実施形態では、原稿画像データを分割して得た各ブロック画像データの属性のヒストグラムを解析することによって原稿の属性を特定した後、その属性に応じた画像処理を原稿画像データに対して施すようになっていた（図２のステップ１８０）。これに対し、複合機に原稿仕分けデバイスを搭載し、スキャンデバイス１１によって原稿がスキャンされ、図２に示すステップ１１０乃至ステップ１６０の処理が行われて原稿の属性が特定された後、その特定された属性に応じて原稿仕分けデバイスが原稿を個別のトレイに仕分けするようにしてもよい。この変形例の動作手順は、図５に示すようなものとなる。図に示す処理では、ステップ１８０が実行されず、その代りに、ステップ１８１にて、原稿仕分けデバイスが、ステップ１７０で特定された属性に応じたトレイに原稿を搬出する。この変形例によると、多数のページからなる原稿を一度にスキャンし、各々の属性に応じてそれらの原稿を仕分けするといった作業も容易に行なうことができる。

上記実施形態では、一画素あたりＬ*ａ*ｂ*３ビットの信号列に量子化した原稿画像データを複数のブロック画像データに分割した後、各ブロック画像データから得た濃度ヒストグラムをそのまま解析することによってそれらの属性を特定していた。これに対し、濃度ヒストグラムを正規化した上で解析を行ってもよい。上述したように、原稿画像データは１２８平方画素毎のブロック画像データに分割されるので、その濃度ヒストグラムにおける最頻値のスケールは１２８となっている。しかしながら、例えば、ブロック画像データのＬ*（明度）の濃度ヒストグラムであれば、画像内のほぼ全ての画素のメトリクス値が同域に偏ることは通常はありえないので、図６に示すようにその最頻値のスケールが７になるように正規化することで、より精度の高い解析を行うことができる。

複合機のハードウェア概略構成図である。 実施形態の動作を示すフローチャートである。 ブロック画像データと属性の関係を示す図である。 属性特定アルゴリズムの一例を示す図である。 変形例の動作を示す図である。 ヒストグラム正規化を示す図である。

符号の説明

１１…スキャンデバイス、１２…プリントデバイス、１３…通信デバイス、１４…ＵＩデバイス、１５…ＣＰＵ、１６…ＲＡＭ、１７…ＲＯＭ、１８…ハードディスク

Claims (5)

1. 原稿をスキャンして得た原稿画像データを入力する入力手段と、
   前記入力された原稿画像データを複数のブロック画像データに分割する分割手段と、
   前記分割した各ブロック画像データの各々の描画内容を所定の表色系基準に従ったメトリック値の出現頻度分布として表すヒストグラムを取得するヒストグラム取得手段と、
   前記ブロック画像データ毎に取得したヒストグラムの特徴を所定のアルゴリズムに従って解析することにより、当該各ブロック画像データの属性を取得するブロック属性取得手段と、
   前記分割された各ブロック画像データの各々について前記属性判別手段が取得した各属性の集計結果を所定のアルゴリズムに従って解析することにより、原稿の属性を取得する原稿属性取得手段と
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記分割された各ブロック画像データのうちの注目ブロック画像データとその周辺にある周辺ブロック画像データとを纏めて新たなブロック画像データを生成するブロック画像合成手段
   を備え、
   前記ブロック属性取得手段は、
   前記ブロック画像合成手段が新たなブロック画像データを生成すると、その新たなブロック画像データを得るべく纏められた各ブロック画像データの属性の出現頻度分布を表すヒストグラムを取得し、取得したヒストグラムを所定のアルゴリズムに従って解析することにより、前記新たなブロック画像データの属性を取得する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記原稿属性取得手段は、
   前記ブロック画像合成手段による新たなブロック画像データの生成と前記ブロック属性取得手段による当該新たなブロック画像データの属性の取得とが再帰的に繰り返されることによって前記原稿と同じ大きさの新たなブロック画像データの属性が得られたとき、その属性を原稿の属性として取得する
   ことを特徴とする画像処理装置。
4. 請求項１乃至３に記載の画像処理装置において、
   前記取得された原稿の属性に応じた画像処理を前記入力された原稿画像データに施す画像処理手段
   を更に備えた画像処理装置。
5. 請求項１乃至４に記載の画像処理装置において、
   前記取得された原稿の属性に応じて原稿を仕分けする仕分け手段
   を更に備えた画像処理装置。

Images