JP4501731B2 - 画像処理装置 - Google Patents

Description

本発明は、例えばスキャナにて読み取った画像のドキュメントについて、サムネイル画像を生成する画像処理装置に関する。

コンピュータや、複合機等のディスク装置等に格納されたドキュメントの検索を容易にするため、ドキュメントのプレビュー画像として、いわゆるサムネイル画像を生成して表示することが広く行われている。例えば、静止画像であれば、その静止画像の表示画像の縮小画像をサムネイル画像とする。また、文書ドキュメントであれば、その先頭ページの表示画像から縮小画像を生成してサムネイルとして用いる。

特許文献１には、サムネイルに加えて、識別に使用できる付加情報を付して表示し、さらにドキュメントの検索を容易にする技術が開示されている。
特開２００１−３３７９９４号公報

しかしながら、上記従来のサムネイルの生成においては、ドキュメントが絵柄のみを含むものであろうと、文字・絵柄を組み合わせたものであろうと、また文字だけであろうと、表示画像の縮小画像を生成してサムネイルとしていたので、例えば文字などがつぶれて見にくくなるなどの事情に配慮されていなかった。

また、特許文献１に開示されているように、付加情報を付して表示することも考えられるが、付加情報の取得が必ずしも容易でない。例えば利用者に入力させることとすれば、操作が煩雑となって利便性が低下し、また、ＯＣＲ（光学的文字認識）を用いて付加情報を抽出するとしても、その精度などの問題から必ずしも正しく文字認識が行われるとは限らない。

本発明は上記実情に鑑みて為されたもので、ドキュメントにも多様な種類のものがあることに配慮して、ドキュメントの検索を容易にできる画像処理装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、処理の対象となるドキュメントについて、当該ドキュメントの縮小表示画像を生成する画像処理装置であって、前記処理の対象となったドキュメントに基づいて、互いに異なる複数の縮小表示画像を生成する生成手段と、前記生成された複数の縮小表示画像を表示する表示手段と、を含むことを特徴としている。

ここで、ドキュメントを、その内容に基づいて、予め定めた類型のいずれかに分類する分類手段をさらに含み、前記生成手段は、前記分類の結果に基づいて、生成する、複数の縮小表示画像の内容を決定し、当該決定された内容に係る複数の縮小表示画像を生成することとしてもよい。

これらにおいて、前記分類手段は、ドキュメントの内容として、ドキュメントの表示画像のうち、文字画像を含む領域の占める割合との関係において、ドキュメントを、予め定めた類型のいずれかに分類することとしてもよい。

さらに、前記処理対象となるドキュメントに基づいて、キーワード文字列情報を生成する手段をさらに含んでもよい。

また、本発明の一態様は、処理の対象となるドキュメントについて、当該ドキュメントの縮小表示画像を生成する画像処理方法であって、前記処理の対象となったドキュメントに基づいて、互いに異なる複数の縮小表示画像を生成する工程と、前記生成された複数の縮小表示画像を表示する工程と、を含むことを特徴としている。

また、本発明の別の態様は、処理の対象となるドキュメントについて、当該ドキュメントの縮小表示画像を生成するプログラムであって、コンピュータに、前記処理の対象となったドキュメントに基づいて、互いに異なる複数の縮小表示画像を生成する手順と、前記生成された複数の縮小表示画像を表示する手順と、を実行させることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、例えば複合機として実現でき、図１に示すように、スキャナ部１１と、制御部１２と、記憶部１３と、ストレージ部１４と、操作表示部１５と、プリンタ部１６と、通信部１７とを含んで構成される。

スキャナ部１１は、例えば紙媒体上に形成されている画像を、光学的に読み取って、画像データとして制御部１２に出力する。

制御部１２は、ＣＰＵ等によって実現でき、記憶部１３に格納されているプログラムに基づいて動作する。この制御部１２は、サムネイル画像（縮小表示画像）を生成する処理や、サムネイル画像を表示する処理などを実行する。また、この制御部１２は、ドキュメントごとに割り当てたセルを配列し、各セル内に生成したサムネイル画像等を表示して、ドキュメントを選択する処理に供する。本実施の形態では、制御部１２がドキュメント１つについて、複数のサムネイル画像を生成する場合もあるが、この場合は、複数のサムネイル画像をセル内にレイアウトして表示することになる。この制御部１２の具体的な処理の内容については、後に詳しく述べる。

記憶部１３は、ＲＡＭやＲＯＭ等の記憶素子等によって実現される。この記憶部１３には、制御部１２によって実行されるプログラムが格納され、記憶部１３は、制御部１２によって実行されるプログラムを保持するコンピュータ可読な記憶媒体として動作する。また、この記憶部１３は、制御部１２のワークメモリとしても動作する。

ストレージ部１４は、例えばハードディスク装置であり、画像データ等を格納する。操作表示部１５は、液晶ディスプレイ及びタッチパネル等を用いて実現される。この操作表示部１５は、タッチパネルにて行われた利用者の操作の内容を制御部１２に出力する。また、この操作表示部１５は、制御部１２から入力される指示に従って、情報を表示する。

プリンタ部１６は、制御部１２から入力される指示に従って、紙媒体上に画像を形成する。通信部１７は、ネットワークインタフェース等であり、制御部１２から入力される指示に従って、ネットワークを介して、指定された宛先に対してデータを送信する。また、この通信部１７は、ネットワークを介して到来するデータを受信して、制御部１２に出力する。

本実施の形態においては、処理の対象となるドキュメントは、スキャナ部１１によって読み取られる画像データであるとして以下の説明を行う。尤も、実際にはこれに限られるものではなく、処理の対処となるドキュメントとしては、ネットワークを介して受信されたワードプロセッサの電子的ドキュメントや、動画像などであってもよい。

次にここで、制御部１２の処理の内容について説明する。本実施の形態の制御部１２は、スキャナ部１１から画像データの入力を受けると、当該入力された画像データをストレージ部１４に格納するとともに、そのサムネイル画像を生成する処理を行う。

すなわち、制御部１２は、入力された画像データを、処理の対象となったドキュメントとして、当該画像データに基づいて、互いに異なる複数の縮小表示画像を生成する。具体的な例としては、制御部１２は、解像度・階調数（ないし色の数）・縮小の対象となる領域等を異ならせて、複数の縮小表示画像を生成する。

本実施の形態では、制御部１２は、ドキュメントを、その内容に基づいて、予め定めた類型のいずれかに分類して、その分類の結果に基づいて、生成する、複数の縮小表示画像の内容を決定し、当該決定された内容に係る複数の縮小表示画像を生成することとする。

つまり、本実施の形態の制御部１２によって実行される、サムネイル画像の生成のためのプログラムは、例えば機能的に、図２に示すように、表示画像生成部２１と、ドキュメント分類部２２と、サムネイル生成部２３とを含んでなる。また、ドキュメント分類部２２は、領域分離部３１と、比率演算部３２と、分類決定部３３とを含んで構成される。

ここで表示画像生成部２１は、処理対象となったドキュメントの表示画像を生成する。ここでは処理対象のドキュメントは、スキャナ部１１にて読み取られた画像データであり、表示画像は、その画像データそのものであることから、ここでは表示画像生成部２１は、処理の対象となるドキュメントとしての画像データをそのまま表示画像として、ドキュメント分類部２２と、サムネイル生成部２３とに出力する。

ドキュメント分類部２２の領域分離部３１は、広く知られた文字・絵柄分離技術を用いて、表示画像のうち、文字領域・絵柄領域を分離する。ここで文字・絵柄分離技術は、例えば、表示画像を二値化して、黒画素の連続領域のうち、予め定めたサイズ未満のものを文字、予め定めたサイズ以上のものを絵柄とするものや、ＯＣＲ等におけるレイアウト処理を利用したものなどがある。

比率演算部３２は、領域分離部３１において分離された、各領域のうち、文字領域（すなわち文字画像を含む領域）のサイズ（面積）の合計を演算する。そして、表示画像のサイズ（面積）で、この文字領域のサイズの合計を除した値を演算し、当該演算した値（文字領域の割合の情報）を分類決定部３３に出力する。

分類決定部３３は、比率演算部３２から入力される文字領域の割合の値が、設定されているしきい値を超えている場合に「文字あり」のドキュメントとして分類し、しきい値以下の場合に「絵柄主体」のドキュメントとして分類する。なお、ここではドキュメントの類型として「文字あり」または「絵柄主体」のいずれかへの分類を行うものとしているが、文字領域の割合を段階的に分けて、さらに多くの類型に分類してもよい。さらに、下地の色、絵柄領域の割合等を利用してさらに多くの類型に分類してもよい。

サムネイル生成部２３は、分類決定部３３による分類の結果に基づいて、サムネイル画像を生成する。サムネイル生成部２３は、分類決定部３３による分類の結果から、生成するサムネイル画像の種類を決定する。例えば予め、分類の結果ごとに生成するサムネイル画像の種類を関連付けたテーブルを記憶部１３に格納しておき、このテーブルを参照しながらどのサムネイル画像を生成するかを決定する。具体的な例として、「文字あり」と分類されたドキュメントについては、ドキュメントの表示画像全体を縮小した全体サムネイル画像と、文字領域の少なくとも一部の表示画像を縮小した文字部分サムネイル画像とを含む、複数のサムネイル画像を生成する。また「絵柄主体」と分類されたドキュメントについては、ドキュメントの表示画像全体を縮小した全体サムネイル画像を生成することとしておく。

本実施の形態の画像処理装置では、制御部１２が、ドキュメントごとに割り当てた矩形のセルを、図３に示すようにマトリクス状に配列し、各セル内に生成したサムネイル画像等を表示して、ドキュメントを選択する処理に供する。複数のサムネイル画像が生成されたドキュメントについては、当該ドキュメントに対応するセル内に、複数のサムネイル画像をレイアウトして表示することとなる。そこで、サムネイル生成部２３は、「文字あり」と分類されたドキュメント（複数のサムネイル画像を生成するドキュメント）については、全体サムネイル画像と文字部分サムネイル画像との双方のサイズを、セルのサイズに基づいて決定する。また、各セルには、セル内に表示されているサムネイルに係るドキュメントの生成・修正日時の情報や、ファイル名などを表示する欄（日付等表示欄）が関連づけられていてもよい。

例えば、サムネイル生成部２３は、セルサイズＳｘ×Ｓｙのとき、「文字あり」と分類されたドキュメントについては、全体サムネイル画像についてＳｘ／２×Ｓｙ／２、文字部分サムネイル画像についてＳｘ／２×Ｓｙ／２及びＳｘ×Ｓｙ／２の合計３つのサイズを決定する。また、「絵柄主体」と分類されたドキュメントについては、全体サムネイル画像のサイズとしてＳｘ×Ｓｙとする。

そしてサムネイル生成部２３は、決定したサイズの全体サムネイル画像を生成する。この全体サムネイル画像は、従来のものと同様である。また、ドキュメントが「文字あり」と分類されている場合は、サイズＳｘ／２×Ｓｙ／２の文字部分サムネイル画像と、サイズＳｘ×Ｓｙ／２の文字部分サムネイル画像とを生成する。

ここで文字部分サムネイル画像を生成する方法例について述べる。サムネイル生成部２３は、まず、ドキュメント分類部２２の領域分離部３１から、文字領域の情報の入力を受け、処理の対象となったドキュメントの表示画像（ここでは入力された画像データそのもの）のうち、文字領域の情報によって示される領域部分を抽出する。そして、当該抽出した部分の画像（文字部分画像）を、予め定めた解像度（文字の判読が可能とされる程度の解像度、例えば２００ｄｐｉ程度であればよい）の画像に変換する。またこの画像の階調数を変換（例えば二値化）してもよい。サムネイル生成部２３は、さらに、当該変換後の文字部分画像のうち、予め定められた条件に基づいて、決定されたサイズＳｘ／２×Ｓｙ／２の第１領域と、サイズＳｘ×Ｓｙ／２の第２領域とを切り出す。

ここで予め定められた条件とは、例えば文字に対応する各連続画素について、外接矩形を画定し、画定した各外接矩形のうち、サイズの大きい外接矩形が含まれている部分を抽出する（つまり、比較的大きい文字で記述されている部分を抽出する）との条件や、文字部分画像のうち、左上隅の部分（つまり、文頭と考えられる部分）を抽出するとの条件などがある。

また、文字部分画像を操作表示部１５に表示し、利用者に決定されたサイズＳｘ／２×Ｓｙ／２の第１領域と、サイズＳｘ×Ｓｙ／２の第２領域とを指定させ、当該指定されたことを条件として、当該条件により決定されたサイズＳｘ／２×Ｓｙ／２の第１領域と、サイズＳｘ×Ｓｙ／２の第２領域とを切り出すこととしてもよい。

さらにサムネイル生成部２３は、全体サムネイル画像上に、ここで切り出した第１領域及び第２領域に対応する部分を強調する枠線（Ｌ１，Ｌ２）などを描画してもよい（図４）。ここでサムネイル生成部２３が、文字領域画像のうちから切り出した第１領域及び第２領域のそれぞれの画像が、文字部分サムネイル画像となる。

サムネイル生成部２３は、こうして生成したサムネイル画像（「文字あり」のドキュメントについて全体サムネイル画像１つと文字部分サムネイル画像２つ、「絵柄主体」のドキュメントについて全体サムネイル画像１つ）を、処理の対象となったドキュメントに関連付けて、記憶部１３に格納する。

また、制御部１２は、処理対象となったドキュメントについて、上記サムネイル生成部２３が生成した文字部分画像（変換前のものであっても、変換後のものであってもよい）に対してＯＣＲ処理を行い、その結果として得られた文字列を、キーワード文字列情報として、処理の対象となったドキュメントに関連付けて、記憶部１３に格納してもよい。

さらに制御部１２は、処理対象となったドキュメントについて、利用者に対してキーワードの入力を促す表示を操作表示部１５にて行い、利用者からキーワードが入力された場合には、当該キーワードの文字列を、キーワード文字列情報として、処理の対象となったドキュメントに関連付けて、記憶部１３に格納してもよい。

さらに制御部１２は、上記処理におけるドキュメントの分類結果を、処理の対象となったドキュメントに関連付けて、記憶部１３に格納してもよい。

以上の制御部１２の処理により、記憶部１３には、図５に示すように、例えば、ドキュメントの本体の情報（Ｉ）と、当該ドキュメントの分類結果の情報（Ｃ）と、生成されたサムネイル画像（Ｐ）と、キーワード文字列情報（Ｋ）とが互いに関連付けて、ドキュメントデータベースとして格納されているようになる。

制御部１２は、ドキュメントの一覧を表示する場合に、このドキュメントデータベースを参照する。以下、制御部１２におけるドキュメント一覧の表示処理の例について説明する。制御部１２は、利用者から、記憶部１３に格納されているドキュメントのうちから、例えば印刷の対象となるドキュメントを選択する旨の指示を受けて、ドキュメントの一覧表示の処理を開始する。

制御部１２は、まず、各ドキュメントのサムネイル画像を表示するためのセル領域の座標情報を生成する。このセル領域の座標情報は、例えば、各セルのサイズＳｘ×Ｓｙの矩形領域をマトリクス状に配列して得られるものである。つまり、最初のセルの座標情報が（０，０）から（Ｓｘ，Ｓｙ）まで、次のセルの座標情報が（ラインの方向に配列するものとして）、（Ｓｘ＋１、０）から（２Ｓｘ＋１，Ｓｙ）まで…といったようになり、操作表示部１５の表示可能領域に応じて、次のラインに移り、（０，Ｓｙ＋１）から（Ｓｘ，２Ｓｙ＋１）まで…というように次のラインにおいても同様に配列を行う。以下、すべてのドキュメントが配列されるまで、ラインごとの配列を繰り返すことになる。

また制御部１２は、記憶部１３に格納されているドキュメントデータベースを参照し、ドキュメントデータベースに格納されている各ドキュメントを順次、注目ドキュメントとして選択しながら、次の処理を行う。

まず注目ドキュメントに係る分類結果の情報（Ｃ）を参照する。そして、分類結果が「絵柄主体」である場合には、全体サムネイルを一つ表示することとして、生成されている、注目ドキュメントのサムネイル画像（Ｐ）を読み出す。そして現在のセル（次にドキュメントのサムネイル画像を配置するべきセル）の座標情報を取得し、当該座標情報によって画定される領域内に、サムネイル画像（Ｐ）を表示する。そして、次のドキュメントを注目ドキュメントとして選択して処理を続ける。

また、取得した分類結果が「文字あり」である場合は、キーワード文字列情報の文字列の長さの情報を取得する。ここで当該文字列の長さが、予め定めた文字列長しきい値未満である場合は、全体サムネイルと、文字部分サムネイルとの複数のサムネイル画像を表示することとして、注目ドキュメントについて生成されている、複数のサムネイル画像（Ｐ）を読み出す。そして現在のセル（次にドキュメントのサムネイル画像を配置するべきセル）の座標情報を取得し、当該座標情報によって画定される領域内に、複数のサムネイル画像（Ｐ）をレイアウトして表示する（その例として図６（ａ）を参照）。そして、次のドキュメントを注目ドキュメントとして選択して処理を続ける。

また、取得したキーワード文字列情報の文字列の長さが、予め定めた文字列長しきい値以上である場合は、全体サムネイルと、文字部分サムネイルとの複数のサムネイル画像、並びにキーワード文字列情報を表示することとして、注目ドキュメントについて生成されている、複数のサムネイル画像（Ｐ）とキーワード文字列情報（Ｋ）とを読み出す。そして現在のセル（次にドキュメントのサムネイル画像を配置するべきセル）の座標情報を取得し、当該座標情報によって画定される領域内に、複数のサムネイル画像（Ｐ）とキーワード文字列情報（Ｋ）とをレイアウトして表示する（その例として図６（ｂ）を参照）。そして、次のドキュメントを注目ドキュメントとして選択して処理を続ける。

制御部１２は、これらの処理を、すべてのドキュメントについてのサムネイル画像が配列されるまで繰り返して行う。利用者は、各ドキュメントについて、単数、又は複数表示されているサムネイル画像や、キーワード文字列情報を参照しながら、印刷の対象となるドキュメントを選択する。この選択操作は、例えば選択の対象となるセルの座標の領域をタッチパネルの操作で選択することによって行うことができる。

制御部１２は、利用者がドキュメントの一つを選択する指示操作を行うと、ドキュメントデータベースを参照して、選択されたドキュメントの本体の情報（Ｉ）を読み出し、プリンタ部１６に出力して印刷を行わせる。

なお、ここでは、「文字あり」と分類されたドキュメントについてのみ、キーワード文字列の情報を表示することとしているが、これに限られず、例えば「絵柄主体」と分類されたドキュメントについてもキーワード文字列の情報を表示することとしてもよい。

またここまでの説明において、制御部１２は、ドキュメントの表示画像全体に占める文字部分の割合に基づいてドキュメントの分類を行うこととしていたが、例えば、パンフレットなどにおいては、絵柄が主体的でありながら、文字部分が重要な情報を有している場合もあり得る。そこで、制御部１２のドキュメント分類部２２の処理においては、ドキュメントの表示画像を予め、例えば上側半分と、下側半分と、といったように所定のブロックに分割した上で、各ブロックごとに文字部分の領域が占める割合を演算し、いずれかのブロックにおいて、文字部分の領域が占める割合が、予め定めたしきい値を超えている場合には、「文字あり」と分類することとしてもよい。これにより、例えばドキュメントの上半分が絵柄で占められているが、下半分に重要な文字情報が含まれているといった場合にも、当該文字情報に係る文字部分サムネイル画像が生成されて表示され、利用者のドキュメントの識別に資することができる。

さらにドキュメントデータベースにおいて、各ドキュメントにアクセス権の情報を関連付けてもよい。ここでアクセス権としては、例えばドキュメントにアクセス可能な利用者名を列挙して関連付けることとすればよい。

この場合、制御部１２は、ドキュメントの一覧を表示する際に、利用者に対して利用者名やパスワードの入力を求めて、利用者の認証を行い、認証した利用者の利用者名が、アクセス可能として列挙されたリストに含まれていないドキュメントについては、そのサムネイル画像を表示しないように制御してもよい。この場合、セル内に「アクセス権なし」といった文字列を表示してもよいし、そもそも当該ドキュメントについてはサムネイル画像の表示に関する処理を行わずに次のドキュメントについての処理に移行してもよい。

本実施の形態によると、必要に応じて複数のサムネイル画像を生成・表示し、利用者に提示することとしているので、多様な種類のドキュメントに配慮した処理を行うことができ、ドキュメントの検索を容易にできる。

本発明の実施の形態に係る画像処理装置の一例を表す構成ブロック図である。 本発明の実施の形態に係る画像処理装置の処理の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置によって提示されるドキュメントの一覧の例を表す説明図である。 本発明の実施の形態に係る画像処理装置によって提示されるサムネイル画像の例を表す説明図である。 ドキュメントに関する情報の例を表す説明図である。 本発明の実施の形態に係る画像処理装置によって提示されるドキュメントの一覧の例を表す説明図である。

符号の説明

１１ スキャナ部、１２ 制御部、１３ 記憶部、１４ ストレージ部、１５ 操作表示部、１６ プリンタ部、１７ 通信部、２１ 表示画像生成部、２２ ドキュメント分類部、２３ サムネイル生成部、３１ 領域分離部、３２ 比率演算部、３３ 分類決定部。

Claims (5)

1. 処理の対象となるドキュメントごとに、その内容に基づいて、予め定めた類型のいずれかに分類する分類手段と、
   前記分類の結果に基づいて、生成する縮小表示画像の内容をドキュメントごとに決定し、処理の対象となった各ドキュメントについて、前記決定された内容に係る縮小表示画像を生成する生成手段と、
   前記ドキュメントごとに生成された縮小表示画像を表示する表示手段と、
   を含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記分類手段は、ドキュメントの内容として、ドキュメントの表示画像のうち、文字画像を含む領域の占める割合に基づいて、ドキュメントを、予め定めた類型のいずれかに分類することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記処理対象となるドキュメントに基づいて、キーワード文字列情報を生成する手段をさらに含む、ことを特徴とする画像処理装置。
4. 処理の対象となるドキュメントごとに、その内容に基づいて、予め定めた類型のいずれかに分類する工程と、
   前記分類の結果に基づいて、生成する縮小表示画像の内容をドキュメントごとに決定し、処理の対象となった各ドキュメントについて、前記決定された内容に係る縮小表示画像を生成する生成工程と、
   前記ドキュメントごとに生成された縮小表示画像を表示する工程と、
   を含むことを特徴とする画像処理方法。
5. コンピュータを、
   処理の対象となるドキュメントごとに、その内容に基づいて、予め定めた類型のいずれかに分類する分類手段と、
   前記分類の結果に基づいて、生成する縮小表示画像の内容をドキュメントごとに決定し、処理の対象となった各ドキュメントについて、前記決定された内容に係る縮小表示画像を生成する生成手段と、
   前記ドキュメントごとに生成された縮小表示画像を表示する表示手段と、
   として機能させることを特徴とするプログラム。

Images