JP2010072842A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】ユーザがサムネイル画像やプレビュー画像から容易に所望のページを特定することを可能にする画像処理装置および画像処理方法を提供する。
【解決手段】画像処理システム１は、クライアント装置１００と、サーバ装置１１０とを備える。サーバ装置１１０は、項目抽出部１１８と、項目分類部１１９と、項目分類部１１９を含む。項目抽出部１１８は、原稿から所定の項目を抽出する。項目分類部１１９は、抽出された項目を分類する。画像選択処理部１２２は、読取データに含まれる各項目をグループごとに異なる態様で表示する表示画面を作成する。クライアント装置１００の表示部１０１は、作成された表示画面を表示する。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。特に、原稿を読取り、読み取った原稿のプレビュー画像を作成する画像処理装置および画像処理方法に関する。

従来、画像ファイルのサムネイル画像をディスプレイ表示して、画像ファイルを特定、確認することが行なわれている。サムネイル画像をディスプレイ表示することで、ファイルのファイル名やタイトル名あるいはファイル番号のみを頼りにファイルを検索する場合に比べて、大幅に、各画像ファイルに関する情報量が多く得られるので、素早く検索することが可能である。また、スキャンしたり他の装置から受信したりして得られた画像データを出力前にプレビュー表示させ、内容や向きなどを確認する操作などが可能である。

しかしながら、サムネイル画像により画像ファイルに関する情報量が多くなるものの、サムネイル画像が多いと、その中から所望の画像を特定することが困難であった。特に、プレビュー画面には一度に多くの画像を表示できないため、所望の画像を特定することが困難である。

そこで、特許文献１（特開２０００−３１６０８２号公報）には、画像の特定を容易化するために、マーカーなどにより任意の領域を囲んだ原稿を読み取ると、マーカーなどによる特定の輝度や濃度の部分で囲まれた領域を原稿中から検出することで読取画像から任意に指定した一部領域の読取画像を抽出する装置が提案されている。この装置は、転送、蓄積する読取画像や一時記憶してプリントなどする読取画像に抽出された一部領域の読取画像を添付する。つまり、原稿の内容の特徴が現れている部分を指定して全体の読取画像に添付する。

特許文献２（特開２００２−７２９９１号公報）には、画像ファイル毎の分類や抽出、絞り込み、順序付けなどを行なう際の目印となるように、サムネイル画像に、ユーザが選択した模様（形状すなわちパターン）や色の縁取りを付す画像処理装置ならびに画像処理方法が提案されている。ユーザは、縁取りによってサムネイル画像を分類あるいは識別することが可能となる。

特許文献３（特開２００８−５２４９６号公報）には、サムネイルなどの画像の一覧表示から文書内容を把握できるように、入力画像の構造を解析して、意味が成立するように入力画像から部分画像を切り出し、部分画像を並べた視認性の高い一覧表示を作成する画像表示装置ならびに画像表示方法が提案されている。
特開２０００−３１６０８２号公報 特開２００２−７２９９１号公報 特開２００８−５２４９６号公報

従来技術では、サムネイル画像やプレビュー画像から所望のページを特定するのに時間がかかっていた。

特許文献１のように読取画像から任意に指定した一部領域の読取画像を抽出してサムネイル画像を作成すれば、サムネイル画像を特定するための情報は増える。しかし、抽出箇所を決定するために、ユーザは文章全体の内容を把握する必要がある。

特許文献２に記載の方法を用いてサムネイル画像を識別する場合には、ユーザは、サムネイル画像を自分で分類する必要があった。

特許文献３に記載の発明が作成するような部分画像の一覧表示から所望のページを探すためには、ユーザは、サムネイル画像の中から所望のページを探し出す必要がある。結局、通常のサムネイル画像の一覧表示を用いて所望のページを探すのと同程度の時間がかかる。

本発明は、上記のような問題を解決するためになされたものであって、ユーザがサムネイル画像やプレビュー画像から容易に所望のページを特定することを可能にする画像処理装置および画像処理方法を提供することを目的とする。

１つの局面に係る本願発明は、画像処理装置であって、データを表示する表示手段と、原稿を読み取って読取データを作成する読取手段と、読取データに含まれる所定の複数の項目を認識する認識手段と、各項目を複数のグループのいずれかに分類する分類手段と、読取データに含まれる各項目をグループごとに異なる態様で表示手段に表示させる表示制御手段とを備える。

好ましくは、外部からの指示に基づいて認識手段が認識する項目を設定する設定手段をさらに備える。

好ましくは、認識手段は、タイトル、見出し、図、表、写真、手書き、キーワードのうち少なくとも１つを項目として認識する。

好ましくは、認識手段は、読取データが写真であるかどうか判断し、読取データが写真である場合、読取データ全体を項目として抽出する。

好ましくは、分類手段は、各項目を、各項目に設定されている属性に基づいて分類する。

好ましくは、項目は、複数のキーワードを含み、分類手段は、項目を、キーワードごとに分類する。

好ましくは、外部からの指示を受け付ける入力手段をさらに備え、表示制御手段は、指示に基づいて表示手段に表示されている項目を選択し、表示制御手段は、選択された項目と同一のグループに属し、かつ、選択された項目とは異なる項目を特定的に表示手段に表示させる。

好ましくは、認識された項目を見出し項目として持つしおりを作成するしおり作成手段をさらに備え、表示制御手段は、しおりを含む画面を表示手段に表示させ、表示制御手段は、指示に基づいて表示手段に表示されている見出し項目を選択し、表示制御手段は、選択された見出し項目に対応する項目と同一のグループに属し、かつ、選択された見出し項目に対応する項目とは異なる項目を特定的に表示手段に表示させる。

さらに好ましくは、表示制御手段は、指示に基づいて、表示されている項目がある箇所よりも前方および後方のいずれか一方にある項目を特定的に表示手段に表示させる。

好ましくは、認識された項目のうち所定のグループに属する項目を見出し項目として持つしおりを作成するしおり作成手段をさらに備える。

好ましくは、表示制御手段は、各項目を、各項目が特定されやすくなるような形態で表示手段に表示させる。

さらに好ましくは、表示制御手段は、表示手段に、各項目を含む領域をハイライト表示させる。

さらに好ましくは、表示制御手段は、表示手段に、各項目の枠を表示させる。
さらに好ましくは、表示制御手段は、表示手段に、各項目を拡大表示させる。

好ましくは、表示制御手段は、読取データに所定のグループに属する項目が含まれる場合、所定のグループに属する項目を最初に特定的に表示手段に表示させる。

他の局面に係る本願発明は、画像処理方法であって、原稿を読み取って読取データを作成するステップと、読取データに含まれる所定の複数の項目を認識するステップと、各項目を複数のグループのいずれかに分類するステップと、読取データに含まれる各項目をグループごとに異なる態様で表示するステップとを備える。

本発明によれば、原稿の読取データから文章のタイトル・見出し・図・表・手書きなどの所定の項目を抽出し、抽出された項目を分類して、分類結果に応じた形態で読取データをプレビュー表示する。よって、本発明は、プレビューの視認性を向上させ、ユーザが原稿の中から所望の箇所を特定することを容易にする。

あるいは、本発明によれば、任意の抽出項目に関連する箇所を表示することができる。よって、ユーザが原稿の必要な箇所をすぐに見ることを可能にする。

あるいは、本発明によれば、原稿内の必要箇所を特定することで、プレビュー表示の視認性を向上することができる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

［第１の実施の形態］
（１．システム構成）
第１の実施の形態に係る画像処理システム１の機能的構成について図１を参照して説明する。図１は、第１の実施の形態に係る画像処理システム１の機能的構成を示す図である。

図１を参照して、画像処理システム１は、クライアント装置１００と、サーバ装置１１０とを備える。クライアント装置１００としては、例えば、パーソナルコンピュータ（ＰＣ）、あるいは、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などのモバイル端末等を用いることができる。

クライアント装置１００は、表示部１０１と、入力部１０２と、インターフェース（Ｉ／Ｆ）部１０３と、処理部１０４とを含む。

表示部１０１は、クライアント装置１００内部のデータを表示する。表示部１０１としては、公知のモニタなどを用いることができる。

入力部１０２は、外部からの入力を受け付ける。入力部１０２は、外部からの指示を受け付ける指示入力部１０２ａと、画像データなどのデータの入力を受け付けるデータ入力部１０２ｂとを含む。指示入力部１０２ａとしては、例えば、キーボードやマウスを用いることができる。データ入力部１０２ｂとしては、スキャナなどを用いることができる。

Ｉ／Ｆ部１０３は、外部通信路１０５とのインターフェースである。Ｉ／Ｆ部１０３は、外部通信路１０５を介して、サーバ装置１１０との通信を行なう。外部通信路１０５としては、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やインターネットなどを用いることができる。

処理部１０４は、表示部１０１の制御、指示入力部１０２ａが受け付けたユーザなどからの指示の解釈、データ入力部１０２ｂが受け付けた入力データの処理、Ｉ／Ｆ部１０３の制御などを行なう。本実施の形態では、処理部１０４は、アプリケーションプログラムなどのソフトウェアで実現されるものとする。ただし、処理部１０４の機能は、ハードウェアにより実現されてもよい。

サーバ装置１１０は、クライアント装置１００からの閲覧要求に応じて、プレビュー画像をクライアント装置１００へ出力する。サーバ装置１１０は、Ｉ／Ｆ部１１１と、画像ＤＢ制御部１１２と、画像ＤＢ１１３と、画像処理部１１４と、入力部１１５と、設定部１１６と、設定ＤＢ１１７と、項目抽出部１１８と、項目分類部１１９と、しおり作成部１２０と、しおり管理ＤＢ１２１と、画像選択処理部１２２と、表示部１２３とを含む。

Ｉ／Ｆ部１１１は、外部通信路１０５とのインターフェースである。Ｉ／Ｆ部１０３は、外部通信路１０５を介して、クライアント装置１００との通信を行なう。

画像ＤＢ制御部１１２は、Ｉ／Ｆ部１１１がクライアント装置１００から受け取った画像の画像ＤＢ１１３への登録、画像ＤＢ１１３に格納されている画像の読み出しなどを制御する。画像ＤＢ１１３は、クライアント装置１００から送られてきた画像を蓄積する。画像処理部１１４は、クライアント装置１００から送られてきた画像のサムネイル画像を作成して、画像ＤＢ１１３に格納する。

なお、以下では、クライアント装置１００から送られてきた画像を、サムネイル画像と区別してオリジナル画像とよぶ。また、オリジナル画像とサムネイル画像とを、原稿画像と総称する。

入力部１１５は、外部からの指示などの入力を受け付ける。設定部１１６は、入力部１１５が受け付けた指示に基づいて、項目抽出部１１８がオリジナル画像から抽出する項目、あるいは、項目分類部１１９による項目の分類方法などを設定する。設定ＤＢ１１７は、設定部１１６による設定を格納する。

項目抽出部１１８は、ユーザからの指示等により設定された項目をオリジナル画像から抽出する。項目抽出部１１８が抽出する項目には、例えば、文書のタイトル、文書の見出し、文書中のキーワード、手書き、表、図、写真などがある。項目抽出部１１８は、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）処理や、キーワード抽出、画像の形態による図の抽出などを行なう。

本実施の形態においては、項目分類部１１９は、項目抽出部１１８が抽出した項目（抽出項目とよぶ）を項目の属性に基づいてグループに分類するものとする。属性には、例えば、タイトル・見出し・キーワード・手書き・表・図・写真などがある。項目分類部１１９は、１つの属性に１つのグループを割り当ててもよいし、複数の属性に１つのグループを割り当ててもよい。例えば、表および図のいずれもに、“表・図”というグループを割り当ててもよい。属性は、項目ごとに予め設定されているものとする。

しおり作成部１２０は、抽出項目に基づいてしおりを作成する。つまり、しおり作成部１２０は、抽出項目を見出し項目に持つしおりを作成する。しおり管理ＤＢ１２１は、しおり作成部１２０が作成したしおりを管理ならびに蓄積する。

画像選択処理部１２２は、画像ＤＢ１１３に格納されている原稿画像あるいはサムネイル画像、ならびに、予め画像ＤＢ１１３に格納されている蓄積画像（プレビュー画像のうち原稿画像やサムネイルを除く領域の画像）に基づいて原稿のプレビュー画像を作成する。本実施の形態においては、画像選択処理部１２２は、しおり管理ＤＢ１２１に格納されているしおりを含むプレビュー画像を作成するものとする。

表示部１２３は、クライアント装置１００から送られてきた画像、サムネイル画像、プレビュー画像などの画像を表示する。

サーバ装置１１０のハードウェア構成について、図２を参照して説明する。図２は、サーバ装置１１０のハードウェア構成を示す図である。

サーバ装置１１０は、ＣＰＵ２０１と、メモリ２０２と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）２０３と、外部Ｉ／Ｆ２０４と、ビデオメモリ２０５と、ディスプレイ２０６と、キーボード２０７と、マウス２０８と、各構成要素を接続するバス２０９とを含む。

ＣＰＵ２０１は、プログラムに応じた演算や処理を行なう。メモリ２０２は、プログラムのコードや画像の符号データなどのデータを一時的に記憶、保持するワーク領域として使用される。メモリ２０２としては、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性のメモリを用いることができる。ＨＤＤ２０３は、画像データやプログラムなどを保存、蓄積する。

外部Ｉ／Ｆ２０４は、インターネットやＬＡＮなどの外部通信路１０５を介してデータを送受信する。

ビデオメモリ２０５は、モニタなどのディスプレイ２０６が表示するデータを一時的に格納する。つまり、ビデオメモリ２０５は、ディスプレイ２０６が表示するデータのデータバッファとして機能する。

キーボード２０７およびマウス２０８は、入力部１１５として機能する。キーボード２０７およびマウス２０８は入力デバイスの一例である。サーバ装置１１０は、キーボード２０７およびマウス２０８以外の入力デバイスを備えていてもよい。

図１では、クライアント装置１００とサーバ装置１１０とが別々の機器であるとして説明した。しかしながら、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）やＰＣ等の１台の機器により、図１に示す各部の機能を実現してもよい。

また、画像ＤＢ１１３に格納される画像データや表示部１２３に表示される画像データは、原稿をスキャナで読み取って得られた画像データに限られず、外部装置から送信されてきた画像データやＷｅｂブラウザを介して取得した画像データを含んでもよい。

（２．処理の流れ）
本実施の形態に係る画像処理システム１は、原稿の読取り結果（原稿画像）から、写真・タイトル・見出し・図・表・手書き・キーワードなどの所定の項目を抽出し、抽出され項目からしおりを作成する。そして、画像処理システム１の画像選択処理部１２２は、作成したしおりとあわせて、原稿をプレビュー表示もしくはサムネイル表示する。

しおりを作成するまでの処理について図３および図４を参照して説明する。図３は、原稿の一例を示す図である。図４は、画像処理システム１が行なう処理の概要をフローチャート形式で示す図である。以下、図３に示すような原稿から項目を抽出し、しおりを作成する場合にサーバ装置１１０が行なう処理について図４を参照して説明する。

ステップＳ４００において、画像ＤＢ制御部１１２は、Ｉ／Ｆ部１１１がクライアント装置１００から受けとった原稿画像を画像ＤＢ１１３に格納するとともに、原稿画像を項目抽出部１１８に送る。

ステップＳ４０１において、項目抽出部１１８は、項目抽出設定があるか、すなわち、抽出する項目が設定ＤＢ１１７に設定されているかどうかを確認する。項目抽出設定がない場合（ステップＳ４０１においてＮｏ）、サーバ装置１１０は処理を終了する。すなわち、項目抽出部１１８は、項目を抽出せず、また、しおり作成部１２０は、しおりを作成しない。

項目抽出設定がされている場合（ステップＳ４０１においてＹｅｓ）、項目抽出部１１８は、ステップＳ４０２において、設定ＤＢ１１７に抽出対象として設定されている項目を原稿画像から抽出する。ここでは、設定ＤＢ１１７において、写真、文書のタイトル、文書の見出し、文書中のキーワード、手書き、表、図が抽出対象として設定されているものとする。

なお、原稿画像が写真である場合、項目抽出部１１８は、原稿画像全体を「写真」として抽出するものとする。「原稿画像が写真である場合」には、原稿画像が写真であると予め設定されている場合や、項目抽出部１１８が原稿画像の画像特性などに基づいて原稿画像が写真であると判定した場合が含まれるものとする。

以下のステップＳ４０３〜ステップＳ４０９において、項目分類部１１９は、抽出項目を分類する。ここでは、項目分類部１１９は、項目の属性によって項目を分類するものとする。

ステップＳ４０３において、項目分類部１１９は、抽出項目の属性が「写真」かどうかを判定する。

抽出項目の属性が写真であれば（ステップＳ４０３においてＹｅｓ）、しおり作成部１２０は、ステップＳ４１０において、抽出項目を「写真」としてしおりに追加し、しおりに追加した項目と原稿画像中の抽出項目との間のリンクを作成する。

抽出項目の属性が写真でなければ（ステップＳ４０３においてＮｏ）、項目分類部１１９は、ステップＳ４０４において、抽出項目の属性が「タイトル」かを判定する。

抽出項目の属性がタイトルであれば（ステップＳ４０４においてＹｅｓ）、しおり作成部１２０は、ステップＳ４１０において、抽出項目を「タイトル」としてしおりに追加し、しおりに追加した項目と原稿画像中の抽出項目との間のリンクを作成する。

抽出項目の属性がタイトルでなければ（ステップＳ４０４においてＮｏ）、項目分類部１１９は、ステップＳ４０５において、抽出項目の属性が「見出し」かを判定する。なお、見出しが、大見出し、小見出し、といった階層構造をもつ場合、項目分類部１１９は、見出しの階層も判定する。

抽出項目の属性が見出しであれば（ステップＳ４０５においてＹｅｓ）、しおり作成部１２０は、ステップＳ４１０において、抽出項目を「見出し」としてしおりに追加し、しおりに追加した項目と原稿画像中の抽出項目との間のリンクを作成する。見出しが階層構造をもつ場合は、しおり作成部１２０は、階層についての情報とあわせて、抽出項目をしおりに追加する。

抽出項目の属性が見出しでなければ（ステップＳ４０５においてＮｏ）、項目分類部１１９は、ステップＳ４０６において、抽出項目の属性が「キーワード」かを判定する。つまり、項目分類部１１９は、設定されたキーワードに一致する文字が抽出項目に含まれるかを判定する。

抽出項目にキーワードが含まれていれば（ステップＳ４０６においてＹｅｓ）、しおり作成部１２０は、ステップＳ４１０において、抽出項目を「キーワード」としてしおりに追加し、しおりに追加した項目と原稿画像中の抽出項目との間のリンクを作成する。なお、複数のキーワードが設定されている場合、しおり作成部１２０は、各キーワードを区別して抽出項目をしおりに登録するものとする。

抽出項目にキーワードが含まれていなければ（ステップＳ４０６においてＮｏ）、項目分類部１１９は、ステップＳ４０７において、抽出項目の属性が「手書き」かを判定する。

抽出項目の属性が手書きであれば（ステップＳ４０７においてＹｅｓ）、しおり作成部１２０は、ステップＳ４１０において、抽出項目を「手書き」としてしおりに追加し、しおりに追加した項目と原稿画像中の抽出項目との間のリンクを作成する。

抽出項目の属性が手書きでなければ（ステップＳ４０７においてＮｏ）、項目分類部１１９は、ステップＳ４０８において、抽出項目の属性が「表」かを判定する。

抽出項目の属性が表であれば（ステップＳ４０８においてＹｅｓ）、しおり作成部１２０は、ステップＳ４１０において、抽出項目を「表」としてしおりに追加し、しおりに追加した項目と原稿画像中の抽出項目との間のリンクを作成する。

抽出項目の属性が表でなければ（ステップＳ４０８においてＮｏ）、項目分類部１１９は、ステップＳ４０９において、抽出項目の属性が「図」かを判定する。

抽出項目の属性が図であれば（ステップＳ４０９においてＹｅｓ）、しおり作成部１２０は、ステップＳ４１０において、抽出項目を「図」としてしおりに追加し、しおりに追加した項目と原稿画像中の抽出項目との間のリンクを作成する。

抽出項目の属性が図でなければ（ステップＳ４０９においてＮｏ）、項目分類部１１９は、しおり作成部１２０は、しおりを作成しない。

複数の項目が抽出されている場合には、項目分類部１１９は、各抽出項目に対して、これらのステップにおける処理を実行する。しおり作成部１２０は、属性が同じ複数の抽出項目をタイトルとしてしおりに追加する場合、ステップＳ４１０において、しおりに追加する項目を区別するものとする。例えば、しおり作成部１２０は、属性が「写真」の項目を複数抽出した場合、抽出項目を「写真１」「写真２」…「写真ｎ」としてしおりに追加する。

ステップＳ４０３〜ステップＳ４０９での判定の順番は、入れ替えてもよい。また、各項目にはユーザが属性を追加できるものとし、ユーザが属性を追加した場合は、項目分類部１１９は、追加した属性についての判定も行なうものとする。また、項目分類部１１９は、上述のものとは異なる属性によって抽出項目を分類してもよい。

（３．プレビュー画像について）
本実施の形態において、画像選択処理部１２２は、原稿画像あるいはサムネイル画像、しおりを含むプレビュー画像を作成する。また、画像選択処理部１２２は、原稿画像あるいはサムネイル画像中の抽出項目およびしおりの見出し項目を選択可能に表示するものとする。

本実施の形態に係る画像選択処理部１２２は、ユーザが、プレビュー画像中のしおりの見出し項目あるいは原稿画像中の抽出項目を選択すると、選択された見出し項目に対応する抽出項目あるいは原稿画像中の抽出項目と属性が同一であり、かつ、現在特定的に表示されている抽出項目とは異なる抽出項目を特定的に表示する。

以下、画像選択処理部１２２が作成するプレビュー画像およびプレビュー画像中の抽出項目あるいは見出し項目が選択された場合のプレビュー画像の遷移について、図５〜図８を参照して説明する。

図５は、図３に示す原稿の第１ページをプレビュー表示するプレビュー画像を示す図である。図５を参照して、プレビュー表示されている第１ページの原稿画像には、抽出項目である「見出しＡ」と「図１」とが含まれている。本実施の形態においては、画像選択処理部１２２は、属性が「タイトル」「見出し」の抽出項目を枠で囲んだプレビュー画像を作成するものとする。したがって、図５に示すように、原稿画像において「見出しＡ」が枠で囲まれる。つまり、「見出しＡ」は、プレビュー画像中において、特定的に表示されている。

また、プレビュー表示されている第１ページの原稿画像に、属性が「見出し」である抽出項目「見出しＡ」が含まれている。そのため、しおりでは「見出しＡ」が選択されている状態となる。本実施の形態では、画像選択処理部１２２は、選択されているしおりの項目（「見出しＡ」）を枠で囲んだプレビュー画像を作成するものとする。

図５に示すプレビュー画像がクライアント装置１００の表示部１０１に表示されている場合を考える。このとき、クライアント装置１００の入力部１０２が、しおりの見出し項目「見出しＡ」、もしくは、原稿画像中の「見出しＡ」を選択すると、画像選択処理部１２２は、見出し属性を持つ抽出項目が次に現れる箇所を表示するプレビュー画面、すなわち、図６に示すような「見出しＢ」を含む第２ページを表示するプレビュー画面を作成する。

図６は、図３に示す原稿の第２ページをプレビュー表示するプレビュー画像を示す図である。図６を参照して、プレビュー表示されている第２ページの画像には、抽出項目である「見出しＢ」と、「見出しＢ−１」と、「図２」とが含まれている。図５を用いて説明したのと同様、画像選択処理部１２２は、属性が「タイトル」あるいは「見出し」の抽出項目を枠で囲んだプレビュー画像を作成する。したがって、図６に示すように、原稿画像において「見出しＢ」が枠で囲まれる。なお、画像選択処理部１２２は、見出しＢより下位の階層の見出しＢ−１を枠で囲むことはしないものとする。

また、プレビュー表示されている第２ページの原稿画像に、属性が「見出し」である抽出項目「見出しＢ」が含まれているため、しおりでは「見出しＢ」が選択されている状態となる。

さらに、図６に示すプレビュー画面上で、しおりまたは原稿画像中の「見出しＢ」が選択されると、画像選択処理部１２２は、「見出しＣ」を含むページのプレビュー画面を作成する。

また、画像選択処理部１２２は、見出しのレベルも属性とみなすものとする。例えば、しおりまたは原稿画像中の「見出しＢ−１」が選択されると、画像選択処理部１２２は、「見出しＢ−２」を含むページのプレビュー画面を作成する。

他の属性の項目が選択された場合にも、画像選択処理部１２２は、同様の処理を行なう。例えば、画像選択処理部１２２は、「図１」が選択されると「図２」を含むページのプレビュー画面を、「図２」が選択されると「図３」を含むページのプレビュー画面を、それぞれ作成する。また、画像選択処理部１２２は、「表１」が選択されると「表２」を含むページのプレビュー画面を、「表２」が選択されると「表３」を含むページのプレビュー画面を、それぞれ作成する。

このように、本実施の形態に係る画像処理システム１によれば、ユーザは、同じ属性を持つ抽出項目を含むページを順次プレビューできるので、所望の原稿画像を容易に探すことができる。

なお、あるページのプレビュー画面において抽出項目が選択されたが、選択された抽出項目の後ろに、選択された抽出項目と同一の属性をもつ抽出項目が存在しない場合がある。その場合には、画像選択処理部１２２は、そのページの抽出項目が選択されると、同一の属性をもつ抽出項目が最初に現れるページのプレビュー画面を作成してもよい。

以上は、原稿画像の特定の１つのページをプレビュー表示するプレビュー画面の遷移について説明した。原稿をサムネイル表示するプレビュー画面の遷移について、図７および図８を参照して説明する。

図７は、図３に示す原稿をサムネイル表示するプレビュー画像の第１の例を示す図である。図７は、原稿の第１ページのサムネイル画像が選択されている状態のプレビュー画像を示す。選択されている第１ページのサムネイル画像は、図７に示すように枠で囲まれる。ただし、画像選択処理部１２２は、ページが選択されていることを枠を用いずに特定するプレビュー画像を作成してもよい。

本実施の形態においては、画像選択処理部１２２は、属性が「タイトル」あるいは「見出し」の抽出項目を枠で囲んだプレビュー画像を作成するものとする。したがって、図７に示すように、プレビュー画像中の各サムネイル画像においてタイトルおよび見出しが枠で囲まれる。

また、選択されている第１ページのサムネイル画像には、属性が「見出し」である抽出項目「見出しＡ」が含まれている。そのため、しおりにおいても、「見出しＡ」が選択され、枠で囲まれる。

図７に示す表示状態で、画像選択処理部１２２は、しおりもしくはサムネイル画像の「見出しＡ」を選択する指示を受け付けると、図８のように「見出しＢ」を含むページが選択されていることを示すプレビュー画面を作成する。

図８は、図３に示す原稿をサムネイル表示するプレビュー画像の第２の例を示す図である。図８は、原稿の第２ページのサムネイル画像が選択されている状態のプレビュー画像を示す。図７に示したプレビュー画像と同様、図８に示すプレビュー画像中の各サムネイル画像においては、タイトルおよび見出しが枠で囲まれる。選択されている第２ページのサムネイル画像には、属性が「見出し」である抽出項目「見出しＢ」が含まれている。そのため、しおりでは「見出しＢ」が選択されている状態となる。

以上で説明した例では、画像選択処理部１２２は、しおりの項目あるいは原稿画像中の抽出項目のいずれが選択された場合にも、選択された項目と同一属性の抽出項目を含むページを特定的に表示するプレビュー画面を作成している。しかし、画像選択処理部１２２は、しおりの項目あるいは原稿画像中の抽出項目のいずれかが選択された場合にのみ、選択された項目と同一属性の抽出項目を含むページのプレビュー画面を作成してもよい。

原稿画像中の抽出項目が選択された場合にのみ、画像選択処理部１２２が新たなプレビュー画面を作成する場合、しおり選択時の動作は通常のものでよい。例えば、画像選択処理部１２２は、しおりに表示された項目が選択されたときに、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）などの目次と同様に、選択されたしおりの項目にリンクしている抽出項目を含む原稿画像のプレビュー画像を作成してもよい。

［第２の実施の形態］
第１の実施の形態に係る画像処理システム１の項目分類部１１９は、項目に設定された属性に基づいて、項目を分類する。しかしながら、項目分類部１１９は、他の方法で項目を分類してもよい。第２の実施の形態では、抽出項目のキーワードによって項目を分類する画像処理システム１について説明する。

第２の実施の形態に係る画像処理システム１の構成は、第１の実施の形態において、図１および図２を参照して説明したものとほぼ同様であるので、ここでは繰り返さない。ただし、項目分類部１１９および画像選択処理部１２２の行なう処理が、以下で説明するように第１の実施の形態と異なる。

第２の実施の形態に係る項目分類部１１９は、抽出項目が文字に関する項目である場合、抽出項目を、項目のキーワードごとに分類する。ここで、“文字に関する項目”には、タイトルおよび見出しが含まれる。

第２の実施の形態に係る項目分類部１１９は、文字に関する見出し項目もしくは文字に関する原稿画像中の抽出項目を選択する指示を受け付けると、選択された見出し項目に対応する抽出項目あるいは原稿画像中の抽出項目と同一のキーワードをもつ抽出項目を特定的に表示する。

図５に示すプレビュー画像がクライアント装置１００の表示部１０１に表示されている場合を考える。このとき、クライアント装置１００の入力部１０２が、しおりの見出し項目「見出しＡ」、もしくは、原稿画像中の「見出しＡ」を選択すると、画像選択処理部１２２は、選択された項目「見出しＡ」を含むページのうち、表示中の第１ページの次のページである第３ページを表示するプレビュー画面、つまり、図９に示すプレビュー画面を作成する。

図９は、図３に示す原稿の第３ページをプレビュー表示するプレビュー画像を示す図である。図５や図６を用いて説明したのと同様、画像選択処理部１２２は、属性が「見出し」の抽出項目を枠で囲んだプレビュー画像を作成する。したがって、図９に示すように、原稿画像において「見出しＡ」が枠で囲まれる。また、しおりにおいても、原稿第３ページに対応する「見出しＡ」が枠で囲まれる。

本実施の形態に係る画像処理システム１によれば、原稿から所望のキーワードを含む箇所を探すことが容易となる。

［第３の実施の形態］
第１の実施の形態および第２の実施の形態では、画像処理システム１が、ユーザが、プレビュー画像中のしおりの見出し項目あるいは原稿画像中の抽出項目を選択した際に、選択された項目と同一のグループに属する次のページを表示する例について説明した。より具体的には、画像選択処理部１２２は、選択された項目と属性またはキーワードが同一の項目であって、かつ、選択された項目の次にある項目を含むページを特定的に表示するプレビュー画像を作成する。

しかしながら、プレビュー画像の遷移の形態は、これに限られるものではない。第３の実施の形態では、選択されている項目の前の項目あるいは後ろの項目に遷移することができるプレビュー画像を作成する画像処理システム１について説明する。

第３の実施の形態に係る画像処理システム１の構成は、第１の実施の形態あるいは第２の実施の形態とほぼ同様である。したがって、ここではその説明を繰り返さない。ただし、画像選択処理部１２２の行なう処理が、以下で説明するように第１の実施の形態あるいは第２の実施の形態と異なる。

第３の実施の形態に係る画像処理システム１の画像選択処理部１２２は、図１０のようなプレビュー画像を作成する。

図１０は、第３の実施の形態に係る画像処理システム１が作成する、図３に示す原稿の第１ページのプレビュー画像を示す図である。図１０を参照して、第３の実施の形態に係る画像処理システム１が作成するプレビュー画像は、前項目ボタン１０１０および次項目ボタン１０２０を含む。第３の実施の形態に係るプレビュー画像は、この点において第１の実施の形態や第２の実施の形態に係るプレビュー画像と異なる。

画像選択処理部１２２は、前項目ボタン１０１０を選択する指示を受け付けると、プレビュー画面上で選択されている項目とグループが同一の項目を含み、かつ、表示中のページより前のページのうち、ページ番号の最も大きいページを特定的に表示するプレビュー画像を作成する。

図１０に示す画面では、「見出しＡ」が選択されている。選択されている「見出しＡ」は、原稿画像およびしおりのいずれにおいても枠で囲まれて表示される。原稿画像中に選択可能な項目が複数ある場合は、画像選択処理部１２２は、ユーザからの指示に基づいて、１つの項目を選択する。あるいは、画像選択処理部１２２は、予め定められている規則に基づいて項目を選択してもよい。例えば、画像選択処理部１２２は、表示されているページのうち最初に現れる項目を選択してもよい。

図３から分かるように、第１ページより前に「見出しＡ」を含むページはない。したがって、画像選択処理部１２２は、例えば、前項目ボタン１０１０が選択されると、遷移先のページがない旨を警告する画面を作成する。あるいは、画像選択処理部１２２は、原稿画像の最後から、選択されている項目とグループが同じ項目を検索し、最も後ろにグループが同じ項目が現れる箇所を特定的に表示するプレビュー画像を作成してもよい。

一方、画像選択処理部１２２は、次項目ボタン１０２０を選択する指示を受け付けると、プレビュー画面上で選択されている項目とグループが同一の項目を含み、かつ、表示中のページより後のページのうち、ページ番号の最も小さいページを特定的に表示するプレビュー画像を作成する。

なお、第１の実施の形態および第２の実施の形態で説明したように、画像選択処理部１２２しおりの見出し項目や原稿画像の抽出項目が選択されたときに、次の項目を含む箇所への遷移処理を行なってもよい。

上の例では、前項目ボタン１０１０および次項目ボタン１０２０を設けることで、ユーザが、次の項目および前の項目のいずれかへの遷移を選択できるようにしている。しかしながら、他の方法で、ユーザに遷移の方向を選択できるようにしてもよい。例えば、画像選択処理部１２２は、しおりの見出し項目や原稿画像の抽出項目が選択された際に、次へ進むか前へ進むかをポップアップ表示で確認してもよい。あるいは、設定部１１６が、項目の選択時に次へ進むか前へ進むかを前もって設定しておいてもよい。

［第４の実施の形態］
上述の各実施の形態において、プレビュー画面に表示されるしおりは、抽出項目のすべてを見出し項目として持っていた。これに対し、本実施の形態では、抽出項目の一部のみを見出し項目としてもつしおりを表示する画像処理システム１について説明する。

第４の実施の形態に係る画像処理システム１の構成は、上述の各実施の形態とほぼ同様である。したがって、ここではその説明を繰り返さない。ただし、画像選択処理部１２２の行なう処理が、以下で説明するように上述の各実施の形態と異なる。

本実施の形態に係る画像処理システム１の画像選択処理部１２２は、抽出項目のうち表示設定されているもののみをしおりの見出し項目として表示するプレビュー画面を作成する。

このようなプレビュー画面の一例を図１１に示す。図１１は、属性が「見出し」の項目をしおりの見出し項目として表示するプレビュー画面の一例を示す図である。

表示設定は、設定ＤＢ１１７に格納されているものとする。画像選択処理部１２２は、設定ＤＢ１１７に格納されている表示設定を読み出して、プレビュー画面中のしおりの表示形態を決定する。表示設定は、ユーザにより変更できるものとする。すなわち、設定部１１６は、入力部１１５が受け付けた指示に基づいて設定した表示設定を設定ＤＢ１１７に格納する。

本実施の形態に係る画像選択処理部１２２は、図１１に示すように見出し属性の項目だけを表示したり、図属性の項目だけ表示したりと、同一属性だけ表示する。ユーザは、このように同一属性だけ表示されたしおりを参照して、所望の原稿画像を容易に特定できるようになる。

再び図１１を参照して、ここでは、原稿画像中で選択されている項目が、しおり中でも選択されるものとする。つまり、原稿画像中で選択されている「見出しＡ」に対応するしおりの見出し項目「見出しＡ」が選択され、しおり中で枠で囲まれて表示される。そして、第１の実施の形態で説明したのと同様、しおりの見出し項目「見出しＡ」が選択されると、画像選択処理部１２２は、見出しＢを含む箇所を特定的に表示するものとする。

ただし、画像選択処理部１２２は、しおりに表示された項目が選択されたときに、ＰＤＦなどの目次と同様に、選択されたしおりの項目にリンクしている抽出項目を含む原稿画像のプレビュー画像を作成してもよい。

［第５の実施の形態］
原稿画像あるいはプレビュー画像中における抽出項目の表示の形態は、図５〜図１１に示したものに限られるわけではない。

第５の実施の形態では、各抽出項目を特徴的な形態で表示するプレビュー画像を作成する画像処理システム１について説明する。

第５の実施の形態に係る画像処理システム１の構成は、上述の各実施の形態とほぼ同様である。したがって、ここではその説明を繰り返さない。ただし、画像選択処理部１２２の行なう処理が、以下で説明するように上述の各実施の形態と異なる。第５の実施の形態では、画像選択処理部１２２は、各抽出項目を特徴的な形態で表示するプレビュー画像を作成する。

例えば、画像選択処理部１２２は、図１２に示すような、原稿画像の抽出項目の部分を枠で囲んだプレビュー画像を作成してもよい。図１２は、抽出項目を枠で囲んで原稿をサムネイル表示するプレビュー画像の例を示す図である。

あるいは、画像選択処理部１２２は、図１３に示すような、原稿画像の抽出項目の部分をハイライト表示したプレビュー画面を作成してもよい。図１３は、抽出項目の部分をハイライト表示して原稿をサムネイル表示するプレビュー画像の例を示す図である。なお、ハイライト表示の色の設定は、設定ＤＢ１１７に格納されており、ユーザは、色の設定を変更できるものとする。また、抽出項目の属性ごとに異なる色の設定がなされていてもよい。

あるいは、画像選択処理部１２２は、図１４に示すような、原稿画像のうち抽出項目の領域のみを表示したプレビュー画像を作成してもよい。図１４は、原稿のうち抽出項目の領域のみを表示するプレビュー画像の例を示す図である。

図１２から図１４に示したようなプレビュー画像は、画像の視認性を向上させ、ユーザが所望の画像を特定することを容易にする。また、画像選択処理部１２２は、図１４に示すようなプレビュー画像を作成するにあたっては、サムネイル画像を作成する必要がない。よって、画像選択処理部１２２は、プレビュー画像を速く表示できる。

画像選択処理部１２２は、原稿の抽出項目を含む領域を拡大したプレビュー画像を作成しもよい。図１５に、そのようなプレビュー画像の例を示す。図１５は、抽出項目付近の領域を拡大して原稿をサムネイル表示するプレビュー画像の例を示す図である。

抽出項目を含むどの範囲の領域を拡大するかや拡大率などは予め設定されているものとする。ただし、これらをユーザが設定できてもよい。

このように抽出項目の部分の周辺を拡大して表示することで、画像の視認性が向上し、ユーザが所望の画像を特定することが容易になる。

［第６の実施の形態］
第６の実施の形態では、プレビュー表示において、特定のグループに分類されている項目を自動的に最初に特定的に表示する画像処理システム１について説明する。

第６の実施の形態に係る画像処理システム１の構成は、上述の各実施の形態とほぼ同様である。したがって、ここではその説明を繰り返さない。ただし、画像選択処理部１２２の行なう処理が、以下で説明するように上述の各実施の形態と異なる。

ここでは、属性が「手書き」の項目を含むページを最初にプレビュー表示する例について説明する。なお、最初にどの項目を特定的に表示するかは、予め設定されていてもよいし、ユーザが設定できるものであってもよい。ここでは、設定に従って、画像選択処理部１２２は、プレビュー画面を作成する指示を受け付けると、最初に図１６に示すような「手書き」の項目を含むページを作成する。図１６は、第６の実施の形態に係る画像処理システム１が最初に表示するプレビュー画面を示す図である。

なお、サムネイル表示する場合は、画像選択処理部１２２は、図１６に示すページを特定的に表示（例えば、そのページを枠で囲んで表示）するプレビュー画像を作成する。

本実施の形態に係る画像処理システム１によれば、特定のグループに分類されている項目をプレビュー画面において最初に特定的に表示できるので、ユーザが所望の画像を特定することが容易になる。

［その他］
以上の各実施の形態を適宜組み合わせたものも、本発明に含まれることはもちろんである。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

第１の実施の形態に係る画像処理システム１の機能的構成を示す図である。 サーバ装置１１０のハードウェア構成を示す図である。 原稿の一例を示す図である。 画像処理システム１が行なう処理の概要をフローチャート形式で示す図である。 図３に示す原稿の第１ページをプレビュー表示するプレビュー画像を示す図である。 図３に示す原稿の第２ページをプレビュー表示するプレビュー画像を示す図である。 図３に示す原稿をサムネイル表示するプレビュー画像の第１の例を示す図である。 図３に示す原稿をサムネイル表示するプレビュー画像の第２の例を示す図である。 図３に示す原稿の第３ページをプレビュー表示するプレビュー画像を示す図である。 第３の実施の形態に係る画像処理システム１が作成する、図３に示す原稿の第１ページのプレビュー画像を示す図である。 属性が「見出し」の項目をしおりの見出し項目として表示するプレビュー画面の一例を示す図である。 抽出項目を枠で囲んで原稿をサムネイル表示するプレビュー画像の例を示す図である。 抽出項目の部分をハイライト表示して原稿をサムネイル表示するプレビュー画像の例を示す図である。 原稿のうち抽出項目の領域のみを表示するプレビュー画像の例を示す図である。 抽出項目付近の領域を拡大して原稿をサムネイル表示するプレビュー画像の例を示す図である。 第６の実施の形態に係る画像処理システム１が最初に表示するプレビュー画面を示す図である。

符号の説明

１ 画像処理システム、１００ クライアント装置、１０１ 表示部、１０２ 入力部、１０３ Ｉ／Ｆ部、１０４ 処理部、１０５ 外部通信路、１１０ サーバ装置、１１１ Ｉ／Ｆ部、１１２ 制御部、１１４ 画像処理部、１１５ 入力部、１１６ 設定部、１１８ 項目抽出部、１１９ 項目分類部、１２０ しおり作成部、１２２ 画像選択処理部、１２３ 表示部、２０２ メモリ、２０５ ビデオメモリ、２０６ ディスプレイ、２０７ キーボード、２０８ マウス、２０９ バス、１０１０ 前項目ボタン、１０２０ 次項目ボタン。

Claims (16)

1. 画像処理装置であって、
   データを表示する表示手段と、
   原稿を読み取って読取データを作成する読取手段と、
   前記読取データに含まれる所定の複数の項目を認識する認識手段と、
   各前記項目を複数のグループのいずれかに分類する分類手段と、
   前記読取データに含まれる各前記項目を前記グループごとに異なる態様で前記表示手段に表示させる表示制御手段とを備える、画像処理装置。
2. 外部からの指示に基づいて前記認識手段が認識する前記項目を設定する設定手段をさらに備える、請求項１に記載の画像処理装置。
3. 前記認識手段は、タイトル、見出し、図、表、写真、手書き、キーワードのうち少なくとも１つを前記項目として認識する、請求項１または２に記載の画像処理装置。
4. 前記認識手段は、前記読取データが写真であるかどうか判断し、前記読取データが写真である場合、前記読取データ全体を前記項目として抽出する、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記分類手段は、各前記項目を、各前記項目に設定されている属性に基づいて分類する、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記項目は、複数のキーワードを含み、
   前記分類手段は、前記項目を、前記キーワードごとに分類する、請求項１から４のいずれか１項に記載の画像処理装置。
7. 外部からの指示を受け付ける入力手段をさらに備え、
   前記表示制御手段は、前記指示に基づいて前記表示手段に表示されている前記項目を選択し、
   前記表示制御手段は、選択された前記項目と同一の前記グループに属し、かつ、選択された前記項目とは異なる前記項目を特定的に前記表示手段に表示させる、請求項１から６のいずれか１項に記載の画像処理装置。
8. 認識された前記項目を見出し項目として持つしおりを作成するしおり作成手段をさらに備え、
   前記表示制御手段は、前記しおりを含む画面を前記表示手段に表示させ、
   前記表示制御手段は、前記指示に基づいて前記表示手段に表示されている前記見出し項目を選択し、
   前記表示制御手段は、選択された前記見出し項目に対応する前記項目と同一の前記グループに属し、かつ、選択された前記見出し項目に対応する前記項目とは異なる前記項目を特定的に前記表示手段に表示させる、請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記表示制御手段は、前記指示に基づいて、表示されている前記項目がある箇所よりも前方および後方のいずれか一方にある前記項目を特定的に前記表示手段に表示させる、請求項７または８に記載の画像処理装置。
10. 認識された前記項目のうち所定の前記グループに属する前記項目を見出し項目として持つしおりを作成するしおり作成手段をさらに備える、請求項１から６のいずれか１項に記載の画像処理装置。
11. 前記表示制御手段は、各前記項目を、各前記項目が特定されやすくなるような形態で前記表示手段に表示させる、請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御手段は、前記表示手段に、各前記項目を含む領域をハイライト表示させる、請求項１１に記載の画像処理装置。
13. 前記表示制御手段は、前記表示手段に、各前記項目の枠を表示させる、請求項１１に記載の画像処理装置。
14. 前記表示制御手段は、前記表示手段に、各前記項目を拡大表示させる、請求項１１に記載の画像処理装置。
15. 前記表示制御手段は、前記読取データに所定の前記グループに属する前記項目が含まれる場合、前記所定のグループに属する前記項目を最初に特定的に前記表示手段に表示させる、請求項１から１４のいずれか１項に記載の画像処理装置。
16. 画像処理方法であって、
    原稿を読み取って読取データを作成するステップと、
    前記読取データに含まれる所定の複数の項目を認識するステップと、
    各前記項目を複数のグループのいずれかに分類するステップと、
    前記読取データに含まれる各前記項目を前記グループごとに異なる態様で表示するステップとを備える、画像処理方法。

Images