JP2009075879A - 画像処理装置と画像処理方法とプログラム - Google Patents

Abstract

【課題】 電子化された文書の構成を容易に把握することができ、かつ、文書のページ内の画像領域又は文字領域毎に編集できるようにする。
【解決手段】 領域抽出部１１が、電子文書データのページ画像データから画像を含む画像領と文字列を含む文字領域の画像データをそれぞれ抽出し、登録部１３が、上記電子文書データと上記電子文書データのページ画像データとそのページ画像データについて領域抽出部１１によって抽出した領域画像データとをそれぞれ関連付けて格納部１４に登録し、検索表示部２は、表示部２０に格納部１４に登録されたデータに基づいて上記電子文書データのページ構成とページ中の領域画像データとからなる文書構造を表示する。要求制御部２１が、上記領域画像データに対する編集を行い、検索部２２を介して格納部１４の電子文書データに対して上記編集内容を反映させる書き換えを行う。
【選択図】 図１

Description

この発明は、コンピュータを含む画像処理装置と画像処理方法とプログラムに関する。

コンピュータの急速な普及に伴って、従来は紙をファイリングすることによって保存していた文書を、電子化された情報として保存することが一般的となってきている。
従来、図、表、写真等の画像および文字列が混在した文書から画像を含む画像領域および文字列を含む文字領域を認識して領域抽出し、抽出した画像を検索対象として格納し、抽出した文字を検索用テキストとして用いて、格納した画像を容易に検索できるようにした情報処理装置（例えば、特許文献１参照）があった。
このような情報処理装置では、電子化された大量の情報の中から必要な情報が検索できる。
特開平１１−２５１１３号公報

しかしながら、上述のような従来の情報処理装置では、電子化するのは文書のみならず、文書を構成する個々の画像やテキストも電子化された情報として保存されることになるが、ユーザには電子化された文書や画像がどのような構成で保存されているのかを確認する手段がなく、文書の管理が困難であるという問題があった。
また、抽出された画像自体を操作する手段が提供されていない為、再利用性に乏しいものであるという問題もあった。
この発明は上記の点に鑑みてなされたものであり、電子化された文書の構成を容易に把握することができ、かつ、文書のページ内の画像領域又は文字領域毎に編集できるようにして文書管理性と再利用性を向上させることを目的とする

この発明は上記の目的を達成するため、次の画像処理装置と画像処理方法とプログラムを提供する。
（１）電子文書データのページ画像データから画像を含む画像領域の画像データと、文字列を含む文字領域の画像データとをそれぞれ抽出する抽出手段と、上記電子文書データと上記電子文書データのページ画像データとそのページ画像データについて上記抽出手段によって抽出した画像データをそれぞれ関連付けて登録する登録手段と、その登録手段によって登録されたデータに基づいて上記電子文書データのページ構成とページ中の画像領域と文字領域との領域構成とからなる文書構造を表示する表示手段を備えた画像処理装置において、上記画像データに編集を加える編集手段と、その編集手段によって編集された後の画像データを上記電子文書データのページ画像データと関連付けるか否かを選択する選択手段と、その選択手段によって関連付けると選択されたとき、上記電子文書データのページ画像データに関連付けられている画像データに代えて、上記編集手段によって編集された後の画像データを上記電子文書データのページ画像データと関連付ける手段を設けた画像処理装置。

（２）上記のような画像処理装置において、上記編集手段は、上記電子文書データのページ画像データに関連付けて登録されている画像データを、指定された他の画像データに置換する編集を加える手段であり、上記指定された他の画像データの画像の大きさが上記登録されている画像データの画像の大きさと異なる場合、上記指定された他の画像データの画像の大きさを、上記登録されている画像データの画像の大きさに合せる調整手段を設けた画像処理装置。

（３）上記のような画像処理装置において、上記編集手段は、上記電子文書データのページ画像データに関連付けて登録されている複数の画像データを結合して１つの画像データにする編集を加える手段である画像処理装置。
（４）上記のような画像処理装置において、上記編集手段は、上記電子文書データのページ画像データに関連付けて登録されている画像データを複数の画像データに分割する編集を加える手段である画像処理装置。

（５）上記のような画像処理装置において、上記編集手段は、上記ページ画像データ中の指定された位置に新たな画像データを追加する編集を加える手段である画像処理装置。
（６）上記のような画像処理装置において、上記編集手段は、上記ページ画像データに関連付けて登録されている画像データを削除する編集を加える手段である画像処理装置。

（７）電子文書データのページ画像データから画像を含む画像領域の画像データと、文字列を含む文字領域の画像データとをそれぞれ抽出する抽出工程と、上記電子文書データと上記電子文書データのページ画像データとそのページ画像データについて上記抽出工程によって抽出した画像データをそれぞれ関連付けて登録する登録工程と、その登録工程によって登録されたデータに基づいて上記電子文書データのページ構成とページ中の画像領域と文字領域との領域構成とからなる文書構造を表示する表示工程とからなる画像処理方法において、上記画像データに編集を加える編集工程と、その編集工程によって編集された後の画像データを上記電子文書データのページ画像データと関連付けるか否かを選択する選択工程と、その選択工程によって関連付けると選択されたとき、上記電子文書データのページ画像データに関連付けられている画像データに代えて、上記編集工程によって編集された後の画像データを上記電子文書データのページ画像データと関連付ける工程を設けた画像処理方法。

（８）上記のような画像処理方法において、上記編集工程は、上記電子文書データのページ画像データに関連付けて登録されている画像データを、指定された他の画像データに置換する編集を加える工程であり、上記指定された他の画像データの画像の大きさが上記登録されている画像データの画像の大きさと異なる場合、上記指定された他の画像データの画像の大きさを、上記登録されている画像データの画像の大きさに合せる調整工程を設けた画像処理方法。

（９）上記のような画像処理方法において、上記編集工程は、上記電子文書データのページ画像データに関連付けて登録されている複数の画像データを結合して１つの画像データにする編集を加える工程である画像処理方法。
（１０）上記のような画像処理方法において、上記編集工程は、上記電子文書データのページ画像データに関連付けて登録されている画像データを複数の画像データに分割する編集を加える工程である画像処理方法。

（１１）上記のような画像処理方法において、上記編集工程は、上記ページ画像データ中の指定された位置に新たな画像データを追加する編集を加える工程である画像処理方法。
（１２）上記のような画像処理方法において、上記編集工程は、上記ページ画像データに関連付けて登録されている画像データを削除する編集を加える工程である画像処理方法。

（１３）コンピュータに、電子文書データのページ画像データから画像を含む画像領域の画像データと、文字列を含む文字領域の画像データとをそれぞれ抽出する抽出手順と、上記電子文書データと上記電子文書データのページ画像データとそのページ画像データについて上記抽出手順によって抽出した画像データをそれぞれ関連付けて登録する登録手順と、その登録手順によって登録されたデータに基づいて上記電子文書データのページ構成とページ中の画像領域と文字領域との領域構成とからなる文書構造を表示する表示手順を実行させるためのプログラムにおいて、上記画像データに編集を加える編集手順と、その編集手順によって編集された後の画像データを上記電子文書データのページ画像データと関連付けるか否かを選択する選択手順と、その選択手順によって関連付けると選択されたとき、上記電子文書データのページ画像データに関連付けられている画像データに代えて、上記編集手順によって編集された後の画像データを上記電子文書データのページ画像データと関連付ける手順を実行させるためのプログラム。

（１４）上記のようなプログラムにおいて、上記編集手順は、上記電子文書データのページ画像データに関連付けて登録されている画像データを、指定された他の画像データに置換する編集を加える手順であり、上記指定された他の画像データの画像の大きさが上記登録されている画像データの画像の大きさと異なる場合、上記指定された他の画像データの画像の大きさを、上記登録されている画像データの画像の大きさに合せる調整手順を実行させるためのプログラム。

（１５）上記のようなプログラムにおいて、上記編集手順は、上記電子文書データのページ画像データに関連付けて登録されている複数の画像データを結合して１つの画像データにする編集を加える手順であるプログラム。
（１６）上記のようなプログラムにおいて、上記編集手順は、上記電子文書データのページ画像データに関連付けて登録されている画像データを複数の画像データに分割する編集を加える手順であるプログラム。

（１７）上記のようなプログラムにおいて、上記編集手順は、上記ページ画像データ中の指定された位置に新たな画像データを追加する編集を加える手順であるプログラム。
（１８）上記のようなプログラムにおいて、上記編集手順は、上記ページ画像データに関連付けて登録されている画像データを削除する編集を加える手順であるプログラム。

この発明による画像処理装置と画像処理方法は、電子化された文書の構成を容易に把握することができ、かつ、文書のページ内の画像領域又は文字領域毎に編集できるようにして文書管理性と再利用性を向上させることができる。
また、この発明によるプログラムは、コンピュータに、電子化された文書の構成を容易に把握することができ、かつ、文書のページ内の画像領域又は文字領域毎に編集できるようにして文書管理性と再利用性を向上させることができるようにするための機能を実現させることができる。

以下、この発明を実施するための最良の形態を図面に基づいて具体的に説明する。
〔実施例〕
図１は、この発明の実施例の画像処理装置の機能構成を示すブロック図である。
この画像処理装置は、パーソナルコンピュータを含む情報処理装置全般であり、文書から図、表、テキストを画像として抽出すると共に、抽出した画像を抽出元のページに関連づけ、その文書構造を表示するものである。
なお、上記抽出された画像のことを領域画像と定義することにする。

この画像処理装置は、登録処理部１と検索表示部２からなる。
登録処理部１は、紙文書を光学的に読み取って、電子化された電子文書データを得るための文書入力部１０と、電子文書データのページ画像データから図、表の画像を含む画像領域の画像データと、文字列（テキスト）を含む文字領域の画像データとをそれぞれ抽出する領域抽出部１１と、画像領域の画像データと文字領域の画像データ中の本文やキャプションについて文字認識し、その認識したテキストを抽出するテキスト抽出部１２と、領域抽出部１１で抽出された画像データにそれぞれテキスト抽出部１２で抽出されたテキストを関連付け、更に、抽出元のページ画像データを関連付けて記憶装置である格納部１４に登録する登録部１３から構成される。

上記登録部１３によって登録されるデータの詳細は後述する。
なお、登録処理部１は、スキャナで読み取った文書をはじめ、ワープロソフトで作成した文書や、ＳＧＭＬ、ＨＴＭＬ、ＸＭＬを含む構造化文書等、いかなる形式の文書についても扱うことができるものである。
一方、検索表示部２は、ユーザインタフェース部であるＬＣＤを含む表示部２０と、図示を省略した入力装置からのユーザの要求受付から応答までの一連のフローを制御する要求制御部２１と、指定されたキーワードに従い格納部１４から画像，テキストの検索を行う検索部２２と、その検索結果に基づいて表示用データを生成し、表示部２０へ送信する表示情報生成部２３から構成される。

［格納部に登録されたデータの説明］
図２乃至図４は、図１に示した登録部１３によって格納部１４へ登録される情報の詳しい説明図である。
格納部１４に登録される情報は、格納される文書データそのものである電子文書データ３０と、それに付随する電子文書メタデータ３１と（以上、図２に示す）、電子文書データを構成するページ画像データ３２と、それに付随するページ画像メタデータ３３と（以上、図３に示す）、電子文書データを構成する各ページ画像データから抽出された画像を含む画像領域又は文字列を含む文字領域の画像データである領域画像データ３４と、それに付随する領域画像メタデータ３５（以上、図４に示す）がそれぞれ関連付けられて格納される。

まず、上記電子文書メタデータ３１は、電子文書データを一意に特定する為の電子文書ＩＤと、電子文書データの格納部１４における登録場所を示す保管場所、電子文書データが何ページから構成される文書であるかを示すページ数の各データからなる。
次に、上記ページ画像メタデータ３３は、ページ画像データを一意に特定する為のページＩＤ、ページ画像データの領域を特定する為の座標情報、ページ画像データが含まれる電子文書データを特定する為の所属情報、ページ画像データから抽出された画像領域又は文字領域の画像データを特定する為の領域画像情報の各データからなる。
上記座標情報を、例えば、（ｘ０，ｙ０，ｘ１，ｙ１）とした場合、ページ画像データ中に設定された原点に対して、ｘ０は画像左上のＸ座標、ｙ０は画像左上のＹ座標、ｘ１は画像右下のＸ座標、ｙ１は画像右下のＹ座標を意味し、ページ画像メタデータの場合、ｘ０，ｙ０は常に０が設定される。

次に、領域画像メタデータ３５は、画像領域又は文字領域の画像データ（領域画像データ）を一意に特定する為の領域画像ＩＤ（画像領域の画像データについては画像領域画像ＩＤに相当し、文字領域の画像データについては文字領域画像ＩＤに相当する）と、領域画像データの格納部１４における登録場所を示す保管場所、領域画像データの種別を示す画像タイプ（画像の種別として少なくともテキスト、表、図に分類するデータ）と、領域画像データがどの電子文書データのどのページ画像データと関連があるかを特定する為の所属情報と、領域画像データのページ中の領域を特定する為の座標情報と、領域画像データから抽出された文字列情報であるキーテキストと、キーテキストの中で更にリンク情報として認識されたハイパーリンクの各データからなる。

［表示例の説明］
次に、図５乃至図７を用いて電子文書の文書構造を表示する画面例について説明する。
まず、図５は、ユーザが検索表示部２を介し、格納部１４に保管されている電子文書の一覧を表示した際の画面例である。
この画面により、ユーザは格納部１４に保管されている電子文書の一覧を参照することができる。
ここで表示されるサムネイル画像は、その電子文書を構成するページ一覧画面へのリンクとなっており、ユーザがサムネイル画像をクリックすることでページ一覧画面が表示される。

例えば、図５の電子文書のサムネイル画像４０をクリックすると、図６に示すように、ページ一覧画面が表示される。
このページ一覧画面には、矢示４１のように、電子文書の各ページ毎のページ画像が一覧表示される。
この時、画面中の表示対象欄４２でページが指定されている為、電子文書の各ページ画像が一覧表示される。
ここで、画面中の表示対象欄４２で文書ツリーを指定すると、図７に示すようなページ一覧画面が表示され、矢示４３のように、電子文書とその電子文書の各ページ毎のページ画像と、各ページ画像毎にページ中の領域画像とがツリー形式で表示される。

［ツリー形式の表示例の説明］
図７に示したように、電子文書の文書構造を示すツリー形式は３段構成になっており、図中の左から電子文書、その電子文書データの各ページ画像、各ページ毎の領域画像のそれぞれのサムネイルとメタデータが表示される。
ここでは、電子文書として文書の先頭ページの画像を表示しているが、ページ画像の１ページ目と重複する為、文書であることを意味するアイコンや別画像を表示してもよい。
また、メタデータとして、ここでは図２に示したメタデータの一部を表示しているが、全メタデータを表示してもよい。
さらに、ユーザによってメタデータが追加されることがあればそれを表示してもよい。

また、ツリー中の各画像は展開及び省略の表示が可能であり、ツリー上に表示される省略アイコン（−アイコン）４４をクリックすることで、不要な領域画像を省略したり、また、展開アイコン（＋アイコン）４５をクリックすることで省略された領域画像を展開することも可能である。
なお、領域画像を子ノードとして持たないページについては、これらの展開アイコンと省略アイコンは表示されない。

もし、領域画像のメタデータとしてＵＲＬ等のハイパーリンクが存在する場合は、それを表示することにより、その表示されたハイパーリンクが選択されたときにハイパーリンクのリンク先のインターネット上のページにジャンプしてそのページを表示するリンク先のサイトを参照させることも可能である。
この実施例では、ＨＴＭＬで画面表示を行い、領域画像の展開と省略の制御をジャバスクリプト（ＪａｖａＳｃｒｉｐｔ：登録商標）を行うことを想定して記載しているが、実現手段をこれに制限するものではない。

［ツリー形成の表示処理の説明］
次に、ページ一覧画面から文書ツリー画面に切り替えるときの処理について説明する。
図８は、ページ一覧画面から文書ツリー画面に切り替えるときの処理を示すフローチャート図である。
図６に示したページ一覧に表示中のページで先頭ページについて、例えば、先頭ページのメタデータである所属情報を参照し、ページが属する電子文書データを特定する為の情報である電子文書ＩＤと電子文書の保管場所が得られる為、それらの情報に基づいて上記所属情報と一致する電子文書データを検索する（ステップ（図中「Ｓ」で示す）１）。
上記検索で得られた電子文書データについて、その電子文書データからページ画像データを抽出し、電子文書データをルートノードとし、その電子文書データから抽出された各ページのデータを子ノードとした表示用ツリーを形成する表示データを作成する（Ｓ２）。

次に、抽出されたページ画像メタデータについて、そのページ画像メタデータの領域画像情報に値が存在するか否かを判断する（Ｓ３）。
ステップ３の判断で値が存在しないと判断したら、そのページに関連する領域画像が存在しないことを意味し、ツリーの形成は行わないでこの処理を終了するが、値が存在すると判断したら、ステップ４でページ画像メタデータから抽出された領域画像を特定する為の情報である電子文書ＩＤと領域画像の保管場所がリスト形式で得られる為、それらの情報に基づいてリスト長分の領域画像データ（画像領域又は文字領域の画像データ）を検索する（Ｓ４）。
ステップ４の検索で得られた全領域画像データをページの子ノードとした表示用ツリーを形成する表示データを作成する（Ｓ５）。

全ページについて調べたか否かを判断し、調べてなければステップ５へ戻って上記処理を繰り返し、全ページについて調べたら、この処理を終了する。
以上の処理により電子文書をルートノードとしたツリー表示の表示データが形成され、その表示データを表示部２０に送信することで電子文書の文書構造（ページ構成と各ページ中の画像領域又は文字領域の構成）とをツリー形式で表示し、ユーザはそのツリーを参照して電子文書の文書構造を容易に確認することが可能となる。

［領域画像のソートの説明］
次に、図８のステップ５の処理において、何のルールも無くツリーを形成すると、ページの上部にある領域画像とページの下部にある領域画像が入り乱れて表示されてしまい、ページ画像と領域画像の対応関係が分かり難くなる可能性がある。
これを回避する為に、領域画像のメタデータである座標情報に基づいてソートを行うとよい。

図９は、領域画像のソートの説明図である。
５０〜５４は、それぞれ画像領域又は文字領域の領域画像であり、図番の順はソート結果に基づいた表示順を意味している。
ここで、ページの左上をＸ座標０、Ｙ座標０とした場合、表示順は以下の１，２に従って決定される。
１．Ｙ座標の始点の値が０に近い領域画像を優先的に表示させる。
２．Ｙ座標の始点の値が同じであった場合は、Ｘ座標の始点の値がより０に近いもの優先的に表示させる。
上記２点に従うことにより、領域画像５０〜５４の順にソートされた領域画像をツリーに表示することが可能となる。
また、本ソートはツリー以外の表示方法を採用した場合でも同様に可能である。

［ツリー表示の展開と省略の表示処理の説明］
次に、表示部２０に対してツリー表示の展開又は省略の表示データを送信することでユーザに対して不要な領域画像を省略し、必要な情報だけを表示させることができる。
図１０は、ツリー表示で展開中の領域画像を省略表示にする処理を示すフローチャート図である。
表示部２０に表示されているツリー表示において、ページに付随する省略アイコン（−アイコン）がクリックされたか否かを判断する（Ｓ１１）。

ステップ１１で省略アイコンがクリックされなかったと判断したら、この処理を終了し、クリックされたと判断したら、該当ページに属する領域画像が表示中である否かを判断する（Ｓ１２）。
ステップ１２で領域画像が表示中であると判断したら、該当ページに属する領域画像を非表示にし、画面上に表示させないようにする（Ｓ１３）。
さらに、省略アイコンを展開アイコンに切替えて表示し（Ｓ１４）、この処理を終了する。このように、アイコンが展開アイコンに切り替わることにより、ユーザは領域画像が省略されていることを認識することができる。

また、ツリー表示で省略中の領域画像を展開表示にする処理は、
表示部２０に表示されているツリー表示において、ページに付随する展開アイコン（＋アイコン）がクリックされたか否かを判断し、展開アイコンがクリックされなかったと判断したら、この処理を終了し、クリックされたと判断したら、該当ページに属する領域画像の表示が省略中である否かを判断し、領域画像の表示が省略中であると判断したら、該当ページに属する領域画像を展開表示にし、画面上に表示するようにする。
さらに、展開アイコンを省略アイコンに切替えて表示し、この処理を終了する。

次に、この画像処理装置では、電子文書を構成するページを表示する際、領域画像のエリアを矩形表示し、指定された領域画像をドラッグ＆ドロップし、ワープロソフト等の別アプリケーションに添付することができる。
［プレビュー表示の画面の説明］
例えば、図６に示したページ一覧画面において、各ページのサムネイル画像にリンクが貼られており、サムネイル画像をクリックすることにより、そのサムネイル画像が示すページのプレビュー画面が表示される。

［プレビュー画面の説明］
図１１は、プレビュー画面の一例を示す図である。
このプレビュー画面では、ページから抽出された領域画像のエリアを、図中波線枠で示す矩形枠で表示されており、ユーザは矩形枠をドラッグ＆ドロップすることで別アプリケーションへ矩形枠内の領域画像データを添付することができる。
このとき、領域画像の画像種別がテキストである場合、添付されるのは領域画像ではなく、領域画像メタデータのキーテキストであることを特徴とする。
なお、矩形枠は、図中には黒の点線で表示しているが、他の色や線種で表示するようにしてもよい。
また、この実施例ではドラッグ＆ドロップの実現手段としてジャバアプレット（ＪａｖａＡｐｐｌｅｔ：登録商標）を採用することを想定して記載しているが、実現手段をこれに制限するものではなく、他の手段を用いても良い。

［プレビュー画面の表示処理の説明］
次に、ページ一覧画面からプレビュー画面に切り替える処理について説明する。
図１２は、ページ一覧画面からプレビュー画面に切り替える処理のフローチャート図である。
ユーザによって指定されたページのメタデータである保管場所に基づいてページ画像データのプレビュー画像を取得する（Ｓ２１）。
さらに、ページ画像メタデータに領域画像情報の値が存在するか否か判断する（Ｓ２２）。

ステップ２２で値が存在しないと判断したら、そのページに関連する領域画像が存在しないことを意味し、矩形枠のリンクエリアの形成は行わずに、この処理を終了するが、値が存在すると判断したら、ページから抽出された領域画像を特定する為の情報である電子文書ＩＤと領域画像の保管場所がリスト形式で得られる為、それらの情報に基づいてリスト長分の領域画像を全て検索する（Ｓ２３）。
上記検索で得られた全領域画像のメタデータから画像領域を示す座標情報を取得する（Ｓ２４）。
上記取得した画像領域を示す座標情報に基づいてプレビュー画像上に矩形のリンクエリア（矩形枠）を形成し、リンク先として保管場所に基づくダウンロード先のＵＲＩを設定し、リンク先に領域画像を指定する（Ｓ２５）。
これにより、ページ中の各領域画像について矩形のリンクエリアを伴ったプレビュー表示が可能となる。

［領域画像をドラッグ＆ドロップするときの処理の説明］
次に、ユーザがプレビュー表示されたページの領域画像をドラッグ＆ドロップする際の処理について説明する。
図１３は、プレビュー表示されたページの領域画像をドラッグ＆ドロップする際の処理を示すフローチャート図である。
例えば、図１１に示したページ中のいずれかのリンクエリア（図中波線で示す矩形枠内）がユーザによってクリックされたか否かを判断する（Ｓ３１）。
ステップ３１でクリックされなかったと判断したら、この処理を終了するが、クリックされたと判断したら、そのクリックされたリンクエリアのリンク先の領域画像のメタデータの画像タイプを取得し、この値に基づいて領域画像がテキスト画像か否かを判断する（Ｓ３２）。

ステップ３２でリンク先の領域画像がテキスト画像であると判断したら、リンク先の領域画像に登録されているキーテキストをダウンロードする（Ｓ３３）。
一方、ステップ３２でリンク先の領域画像がテキスト画像では無いと判断したら、すなわち、画像タイプが画像や表であった場合は、領域画像をダウンロードする（Ｓ３５）。
ステップ３３においてクリックによりキーテキストがダウンロード、ステップ３５においてクリックにより領域画像がダウンロードされた後、ユーザによるダウンロードデータのドラッグ＆ドロップ操作に応じてデータの表示位置の移動と、そのドロップ先が他のアプリケーションソフトウェアによるデータにキーテキスト又は領域画像を添付し、この処理を終了する。
このようにして、ユーザはリンクエリア（矩形枠）内の画像をドラッグ＆ドロップすることで、別アプリケーションにテキスト又は画像を添付することができる。

上述の説明では、この画像処理装置における電子文書の構造をツリー形式で表示する場合について説明したが、電子文書、ページ、領域画像の関連を表示する方法はツリー形式に制限されるものではない。
次に、ツリー以外の領域画像の表示形式について説明する。
［ツリー形式以外の表示形式の説明〜その１〜］
図１４は、ツリー形式以外の表示形式の説明図である。
この表示処理については、上述した説明済みの内容を用いれば実施可能であり、フローチャート図を用いた説明は省略し、表示内容についてのみ説明する。
図１４に示した画面は、表示対象欄６０で「ページ＋領域画像」を選択した際に表示される画面であり、３つのフレームで構成される。

上部のフレーム６１には「私の文書」という電子文書のファイル名が表示され、左部のフレーム６２には電子文書を構成する各ページのサムネール画像が一覧表示され、中央部から右部にわたるフレーム６３には、上記サムネール画像で選択中のページに関連する領域画像が一覧表示されている。
この画面では、左部のフレーム６２において電子文書の３ページ目のサムネール画像が選択され、それにより中央部から右部にわたるフレーム６３に３ページ目と関連をもつ領域画像（画像領域画像と文字領域画像）が表示されている。
各領域画像には、上述したプレビュー画面へのリンクが張られており、ユーザがいずれかの領域画像をクリックすることにより、そのクリックされた領域画像のプレビュー画面へ遷移することが可能である。

そのとき、プレビュー画面では遷移元の領域画像の座標情報に基づいて該当するエリアを強調表示してもよい。
図１５は、プレビュー画面におけるエリア強調表示例を示す説明図である。
このプレビュー画面では、遷移元の領域画像の座標情報に基づいて該当するエリア６４が強調表示（図中に太線枠で示す）されている。

［ツリー形式以外の表示形式の説明〜その２〜］
図１６は、ツリー形式以外の表示形式の他の例の説明図である。
この表示処理についても、上述した説明済みの内容を用いれば実施可能であり、フローチャート図を用いた説明は省略し、表示内容についてのみ説明する。
図１６に示した画面は、表示対象欄６０で「領域画像」を選択した際に表示される画面であり、矢示６５のように、ページをまたいで各ページの領域画像のみを一覧表示している。
この画面のように、表示対象が領域画像となっている場合、さらに領域画像メタデータの画像種別による絞込みが可能であり、同図では、画像種別がテキストである画像のみを表示させている画面を示している。
ここで、ユーザが絞込みを解除したい場合、画像種別の全てを選択することで全画像種別を一覧表示することが可能である。

この画像処理装置は、電子文書についてページ構成と各ページ中の領域画像構成からなる文書構造を表示するので、文書とページと領域画像の関係が明確になり、ユーザにとって文書管理性が向上する。
また、電子文書とページと領域画像の文書構造をツリー形式で表示することにより、視覚的に文書全体が把握しやすくなり、ユーザにとって文書管理性が向上する。
さらに、ツリーの展開と省略の表示を可能とすることにより、ユーザは必要な情報のみを得ることができる。
また、領域画像に登録したメタデータに基づく領域画像間のソートや領域画像の絞込みができるので、ユーザの好みに応じた表示が可能となる。

さらに、領域画像の座標情報に基づいてソートすることにより、ユーザにとってページと領域画像の位置関係が視覚的に把握しやすくなる。
また、領域画像から抽出したテキストをハイパーリンクとして表示することにより、ユーザはハイパーテキストを選択するだけで、リンク先を開いて参照することができる。
さらに、領域画像のドラッグ＆ドロップを可能とすることにより、ユーザによる領域画像の再利用性が高まる。
さらにまた、ドラッグ＆ドロップの対象となる領域画像の画像種別がテキストである場合、画像としてではなくメタデータであるキーテキストを添付することにより、ユーザは添付先のアプリケーションでテキスト編集が可能となる。

次に、この画像処理装置における電子文書データのページ画像に対する各種の加工処理について説明する。
この画像処理装置では、要求制御部２１が、ユーザによる編集、置換、結合、分割、追加、削除のいずれかの作業の入力を検出すると、表示情報生成部２３によって生成した編集、置換、結合、分割、追加、又は削除の作業画面の表示情報に基づいて表示部２０に編集、置換、結合、分割、追加、削除のいずれかの作業画面を表示する。

そして、要求制御部２１が、検索部２２を介して格納部１４に格納された加工対象の電子文書データの各ページ画像データについて、そのページ内の画像領域又は文字領域の画像データの内容を変更する編集処理、そのページ内の画像領域又は文字領域の画像データを他の画像データに代える置換処理、そのページ内の画像領域又は文字領域の画像データの複数を結合する結合処理、そのページ内の画像領域又は文字領域の画像データを複数の画像データに分割する分割処理、そのページ内の画像領域又は文字領域の画像データに他の画像データを追加する追加処理、そのページ内の画像領域又は文字領域の画像データを削除する削除処理の各加工処理を行う。

[ページ内の画像領域又は文字領域の画像データの編集処理]
図１７は、この画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの編集処理を示すフローチャート図である。
図１８は、画像データの編集処理時の電子文書の文書構造を示すツリー形式の一覧画面を示す図である。
図１９は、編集前のページ画像データとページ画像メタデータを示す図である。
図２０は、編集前の領域画像データと領域画像メタデータを示す図である。
図２１は、編集操作時に表示する編集ウインドウを示す図である。
図２２は、編集後の領域画像データと領域画像メタデータを示す図である。

図２３は、編集後の内容を電子文書データに反映させるか否かを選択する選択ダイアログ画面を示す図である。
図２４は、編集後のページ画像データとページ画像メタデータの一例の図である。
図２５は、編集後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。
なお、上記各図において、以下の説明で特に重要でないデータと一部の図の記載を省略している。

この画像処理装置における編集処理は、図１７に示すように、ステップ（図中「Ｓ」で示す）４１で、編集する領域画像に対して表示されている編集ボタンの押下を検出すると、ステップ４２で、押下された編集ボタンに対応する領域画像の編集ウインドウを表示し、ステップ４３で、編集ウインドウに表示された領域画像の内容に指示入力に基づいた編集をし、ステップ４４で編集ウインドウ内のキャンセルボタンの押下を検出したか否かを判断し、押下を検出したらこの処理を終了するが、押下を検出しなかったら、ステップ４５で、編集ウインドウ内の編集完了ボタンの押下を検出したか否かを判断し、押下を検出しなかったら、ステップ４３の処理へ戻る。

一方、ステップ４５の判断で編集完了ボタンの押下を検出したら、ステップ４６で編集後の領域画像についての領域画像メタデータを作成し、その領域画像メタデータに基づいて編集後の領域画像データを作成し、その編集後の領域画像データと領域画像メタデータを対応させて格納部の新たな保管場所に記憶して保管し、ステップ４７で全体画像（電子文書データ全体）に反映させる指示の入力を検出したか否かを判断し、反映させる指示の入力を検出しなければ、この処理を終了し、反映させる指示の入力を検出したら、ステップ４８で、編集後の領域画像データと領域画像メタデータを関連付けるように、電子文書データのページ画像データとページ画像メタデータとを書き換え、この処理を終了する。

次に、領域画像に対する編集処理と操作手順と表示画面例について説明する。
例えば、図１８の（ａ）に示すページ画像７０に対する編集をする場合、ユーザからの編集作業の選択入力があると、図１８の（ｂ）に示すような文書構造を示すツリー形式の一覧表示を表示する。
この一覧表示では、ページ内の領域画像の一覧画像で表示されている各領域画像の右隣にそれぞれ編集ボタンを表示する。
例えば、領域画像７１を編集する場合、ユーザは、領域画像７１の右隣に位置する編集ボタン７２を押下する。

ここで、編集前のページ画像７０のページ画像データとページ画像メタデータの内容は、図１９に示すような内容であり、ページ画像７０の領域画像７１の領域画像データと領域画像メタデータの内容は、図２０に示すような内容であるものとする。なお、図１９及び図２０において、この編集処理で利用しない各情報については記載を省略している。
編集ボタン７２が押下されると、要求制御部２１は、図２０に示す領域画像７１の領域画像メタデータの「画像タイプ」の「テキスト」を参照し、編集対象がテキストであることを認識すると、同じく領域画像７１の領域画像メタデータの「キーテキスト」から「ＡＢＣ」を読み出し、表示部２０に、図２１の（ａ）に示す編集ウインドウを表示する。
この編集ウインドウのテキストウインドウ７３には、上記「ＡＢＣ」を表示する。

ここで、ユーザが、図２１の（ａ）に示すテキストウインドウ７３に表示されている「ＡＢＣ」の文字列を削除し、図２１の（ｂ）に示すように、新たに「ＸＹＺ」の文字列を入力し、編集ウインドウ内の編集完了ボタン７４を押下すると、要求制御部２１は、図２２に示すように、新たな領域画像メタデータとその領域画像メタデータに基づく領域画像データを作成し、それらを対応させて検索部２２を介して格納部１４に格納する。
この領域画像メタデータでは、「領域画像ＩＤ」に新たなＩＤを付与し、「保管場所」にテキスト「ＸＹＺ」の領域画像データの保管場所を格納し、「画像タイプ」に「テキスト」を格納し、「キーテキスト」に「ＸＹＺ」の文字列を格納している。上記テキスト「ＸＹＺ」の領域画像データは、上記キーテキストの「ＸＹＺ」から生成している。
一方、図２１に示した編集ウインドウ内のキャンセルボタン７５が押下されると、それまでに領域画像７１に対して加えた変更は破棄され、編集前の領域画像７１の状態に戻る。

編集完了ボタン７４が押下された後、図２３に示すような選択ダイアログ画面を表示し、その選択ダイアログ画面中の「反映する」ボタン７６が押下されると、要求制御部２１は、検索部２２を介して格納部１４に記憶されている編集前のページ画像データとページ画像メタデータとを書き換えるリンク処理を行う。
このリンク処理では、図１９に示した編集前のページ画像メタデータの領域画像情報の領域画像ＩＤ「１００１」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００１．ｐｄｆ」を、領域画像メタデータの領域画像ＩＤ「１００４」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００４．ｐｄｆ」に書き換え、図１９に示した編集前のページ画像データ内の編集前の領域画像も編集後の領域画像に書き換え、図２４に示すような内容にする。
こうして、領域画像７１に加えた編集結果は電子文書データの全体に反映される。

その結果、図２５の（ａ）に示すようなページ画像７８になり、図２５の（ｂ）に示すように、文書構造を示すツリー形式の一覧表示では、編集前の領域画像に代わって、編集後の領域画像７９が表示される。
一方、図２３に示した選択ダイアログ画面中の「反映しない」ボタン７７が押下された場合には、編集結果は電子文書データの全体へは反映されず、編集前の領域画像７１のままとなる。この場合は、ページ画像データとページ画像メタデータには変更は加えられない。
このようにして、領域画像に修正を加え、修正後の内容を電子文書データに反映させることができるので、電子文書データ中のテキストのみの編集や画像のみの編集が容易にでき、電子文書データの編集作業効率を高めることができる。また、電子文書データの利用性を高めることができる。

[ページ内の画像領域又は文字領域の画像データの置換処理]
図２６は、この画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの置換処理を示すフローチャート図である。
図２７は、画像データの置換処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。
図２８は、置換前のページ画像データとページ画像メタデータを示す図である。
図２９は、置換前の領域画像データと領域画像メタデータを示す図である。

図３０は、置換操作時に表示する置換ウインドウを示す図である。
図３１は、置換操作時に表示する置換画像選択ダイアログウインドウを示す図である。
図３２は、置換後の領域画像データと領域画像メタデータを示す図である。
図３３は、置換後のページ画像データとページ画像メタデータの一例の図である。
図３４は、置換後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。
なお、上記各図において、以下の説明で特に重要でないデータと一部の図の記載を省略している。

この画像処理装置における置換処理は、図２６に示すように、ステップ（図中「Ｓ」で示す）５１で、置換対象の領域画像に対して表示されている置換ボタンの押下を検出すると、ステップ５２で、押下された置換ボタンに対応する領域画像の置換ウインドウを表示し、ステップ５３で、置換ウインドウ内のキャンセルボタンの押下を検出したか否かを判断し、押下を検出したら、この処理を終了するが、押下を検出しなかったら、ステップ５４で、置換ウインドウ内の置換画像選択ボタンの押下を検出したか否かを判断し、押下を検出しなかったら、ステップ５４の処理を繰り返す。

一方、ステップ５４の判断で置換画像選択ボタンの押下を検出したら、ステップ５５で置換画像選択ダイアログウインドウを表示し、ステップ５６で置換画像選択ダイアログウインドウ内で置換する領域画像データが選択されて開くボタンの押下を検出したか否かを判断し、置換する領域画像データが選択されて開くボタンの押下が検出されなければ、ステップ５５へ戻り、置換する領域画像データが選択されて開くボタンの押下が検出されたら、ステップ５７で、置換ウインドウに選択された置換する領域画像を表示し、ステップ５８で置換ウインドウ内の置換実行ボタンの押下を検出したか否かを判断する。

ステップ５８で置換実行ボタンの押下を検出しなかったと判断したら、ステップ５７の処理へ戻り、置換実行ボタンの押下を検出したと判断したら、ステップ５９で、選択された置換する領域画像の画像サイズと置換対象の領域画像の画像サイズとが異なるか否かを判断し、異なれば、ステップ６０で選択された置換する領域画像の画像サイズを置換対象の領域画像の画像サイズと同じになるように置換する領域画像データに拡大又は縮小の処理を施して変換し、あるいは、トリミング処理を施して変換し、ステップ６１へ進む。

また、ステップ５９で、選択された置換する領域画像の画像サイズと置換対象の領域画像の画像サイズとが異ならない（同じ）と判断したら、そのままステップ６１へ進む。
ステップ６１では、置換対象の領域画像データを上記選択された置換する領域画像データ（又は上記変換処理が施された領域画像データ）に置換し、置換後の領域画像データと領域画像メタデータを関連付けるように、電子文書データのページ画像データとページ画像メタデータとを書き換え、この処理を終了する。

次に、領域画像の置換処理と操作手順と表示画面例について説明する。
例えば、図２７の（ａ）に示すページ画像８０内の領域画像を他の領域画像に置換する場合、ユーザからの置換作業の選択入力があると、図２７の（ｂ）に示すような文書構造を示すツリー形式の一覧表示を表示する。
この一覧表示では、ページ内の領域画像の一覧画像で表示されている各領域画像の右隣にそれぞれ置換ボタンを表示する。
例えば、領域画像８１を他の画像に置換する場合、ユーザは、領域画像８１の右隣に位置する置換ボタン８２を押下する。

ここで、置換前のページ画像８０のページ画像データとページ画像メタデータの内容は、図２８に示すような内容であり、ページ画像８０の領域画像８１の領域画像データと領域画像メタデータの内容は、図２９に示すような内容であるものとする。なお、図２８及び図２９において、この置換処理で利用しない各情報については記載を省略している。
置換ボタン８２が押下されると、要求制御部２１は、図２９に示す領域画像８１の領域画像メタデータの「画像タイプ」の「図」を参照し、置換対象が図であることを認識すると、同じく領域画像８１の領域画像メタデータの「保管場所」から領域画像データを読み出し、表示部２０に、図３０に示す置換ウインドウを表示する。
この置換ウインドウの左側の領域に、置換前の領域画像を表示する。

ここで、ユーザが、図３０に示す置換ウインドウ内の置換画像選択ボタン８３を押下すると、要求制御部２１は、検索部２２を介して格納部１４から置換可能な領域画像データを検索し、表示情報生成部２３を介して表示部２０に図３１に示すような置換画像選択ダイアログウインドウを表示する。
この置換画像選択ダイアログウインドウには、複数の置換可能な領域画像データのファイル名，サイズ，更新日時を含む情報の一覧を表示する。

ユーザが、置換画像選択ダイアログウインドウの複数の置換可能な領域画像データの一覧から任意の領域画像データのファイル名を選択入力し、開くボタン８５を押下すると、要求制御部２１は検索部２２を介して格納部１４から上記選択入力されたファイル名の領域画像データを読み出して取得し、その領域画像データに基づいて表示情報生成部２３を介して表示部２０に表示した置換ウインドウ内の右側の領域に置換する領域画像を表示する。
また、キャンセルボタンが押下されたら、上記選択入力されたファイル名をクリアし、再度ファイル名の選択入力の画面に戻す。

置換画像選択ダイアログウインドウ内の開くボタン８５の押下後、図３０に示すような置換ウインドウ内の右側の領域に、置換する領域画像として、上記選択入力されたファイル名の領域画像データに基づく領域画像を表示する。
ここで、置換ウインドウ内のキャンセルボタンが押下されると、再度置換画像選択ダイアログウインドウを表示し、そこで選択されたファイル名の領域画像データに基づく領域画像を置換ウインドウに表示する

ユーザが、置換ウインドウ内の置換実行ボタン８４を押下すると、要求制御部２１は、検索部２２を介して格納部１４に記憶されている置換前の領域画像データと領域画像メタデータと置換前のページ画像データとページ画像メタデータとを書き換える処理を行う。
ここで、置換対象となる領域画像８１の画像サイズと置換する領域画像８７の画像サイズが異なる場合、領域画像８７の領域画像データに拡大、縮小、トリミングを含む処理を行い、置換対象の領域画像８１と同じサイズになるように変換する。

上記書き換え処理では、図２９に示した置換前の領域画像データを上記選択された領域画像データに置換し、図２９に示した領域画像メタデータの領域画像ＩＤ「１００５」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００５．ｐｄｆ」を、領域画像メタデータの領域画像ＩＤ「１００６」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００６．ｐｄｆ」にそれぞれ書き換え、図３２に示すような内容にする。
さらに、図２８に示した置換前のページ画像メタデータの領域画像情報の領域画像ＩＤ「１００５」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００５．ｐｄｆ」を、領域画像ＩＤ「１００６」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００６．ｐｄｆ」に書き換え、置換前のページ画像データも上記選択された領域画像に置換した後の領域画像に書き換え、図３３に示すような内容にする。
こうして、置換後の領域画像が電子文書データの全体に反映される。

その結果、図３４の（ａ）に示すようなページ画像８６になり、図３４の（ｂ）に示すように、文書構造を示すツリー形式の一覧表示では、置換前の領域画像に代わって、置換後の領域画像８７が表示される。ここで、置換前の領域画像８１をリンクを外した状態で表示するようにしても良い。
このようにして、格納部に格納した電子文書データ中の任意の領域画像を他の領域画像に置換することができるので、上記格納した電子文書データ中の領域画像についてのＯＣＲ認識不具合を修正することができる。また、ユーザが意図したデータを持つ文書を作成することができる。

[ページ内の画像領域又は文字領域の画像データの結合処理]
図３５は、この画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの結合処理を示すフローチャート図である。
図３６は、画像データの結合処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。
図３７は、結合前のページ画像データとページ画像メタデータを示す図である。
図３８は、結合する一方の領域画像の結合前の領域画像データと領域画像メタデータを示す図である。
図３９は、結合するもう一方の領域画像の結合前の領域画像データと領域画像メタデータを示す図である。

図４０は、結合操作時に表示する結合ウインドウを示す図である。
図４１は、結合後の領域画像データと領域画像メタデータを示す図である。
図４２は、結合後のページ画像データとページ画像メタデータの一例の図である。
図４３は、結合後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。
なお、上記各図において、以下の説明で特に重要でないデータと一部の図の記載を省略している。

この画像処理装置における結合処理は、図３５に示すように、ステップ（図中「Ｓ」で示す）７１で、結合させる複数の領域画像が含まれるページ画像に対して表示されている結合ボタンの押下を検出すると、ステップ７２で、押下された結合ボタンに対応するページ画像内の各領域画像についての結合ウインドウを表示し、ステップ７３で、結合ウインドウ内の結合させる複数の領域画像が選択され、ステップ７４で、キャンセルボタンの押下を検出したか否かを判断し、押下を検出したら、この処理を終了する。

ステップ７４の判断でキャンセルボタンの押下を検出しなかったら、ステップ７５で、結合ウインドウ内の結合実行ボタンの押下を検出したか否かを判断し、押下を検出しなかったら、ステップ７５の処理を繰り返し、結合実行ボタンの押下を検出したら、ステップ７６で結合ウインドウで選択された複数の領域画像を結合して１つの領域画像にし、その結合後の領域画像データと領域画像メタデータを作成して記憶して保管し、上記結合後の領域画像データと領域画像メタデータを関連付けるように、電子文書データのページ画像データとページ画像メタデータとを書き換え、この処理を終了する。

次に、領域画像の結合処理と操作手順と表示画面例について説明する。
例えば、図３６の（ａ）に示すページ画像９０内の複数の領域画像を１つに結合する場合、ユーザからの結合作業の選択入力があると、図３６の（ｂ）に示すような文書構造を示すツリー形式の一覧表示を表示する。
この一覧表示では、電子文書一覧画像の各ページ画像の内、複数の領域画像が含まれるページ画像の右隣にそれぞれ結合ボタンを表示する。
例えば、ページ画像９１に結合処理をする場合、ユーザは、ページ画像９１の右隣に位置する結合ボタン９２を押下する。

ここで、結合前のページ画像９０のページ画像データとページ画像メタデータの内容は、図３７に示すような内容であり、ページ画像９０内の結合する一方の領域画像の領域画像データと領域画像メタデータの内容は、図３８に示すような内容であり、ページ画像９０内の結合するもう一方の領域画像の領域画像データと領域画像メタデータの内容は、図３９に示すような内容であるものとする。なお、図３７乃至図３９において、この結合処理で利用しない各情報については記載を省略している。
結合ボタン９２が押下されると、要求制御部２１は、図３７に示すページ画像メタデータの領域画像情報を参照し、そのページ内の各領域画像の保管場所から領域画像データを読み出し、表示部２０に、図４０に示す結合ウインドウを表示する。

この結合ウインドウには、ページ内の各領域画像がページ内の配置位置のままで表示されており、ここで、図４０の（ａ）に示すように、図中点線枠で示す２つの領域画像を１つに結合する場合、一方の領域画像に表示された破線枠９３を、図４０の（ｂ）に示すように、右隣の領域画像も含むように右方向まで広げる操作をした後、結合実行ボタン９５を押下する。
結合実行ボタン９５が押下されると、要求制御部２１は、図３８と図３９にそれぞれ示した各領域画像を１つに結合した新たな領域画像データを作成する。
こうして、結合ウインドウで領域画像の４点の座標を新たに指定し、その４点の座標に基づく矩形領域を再定義して領域画像を抽出し直すことで、１つの新たな領域画像を作成する。

そして、検索部２２を介して格納部１４に新たな領域画像データを格納し、その領域画像データに割り当てた領域画像ＩＤと保管場所に基づいてその新たな領域画像データの領域画像メタデータを作成し、上記新たな領域画像データに対応させて記憶する。
さらに、要求制御部２１は、検索部２２を介して格納部１４に記憶されている結合前のページ画像データとページ画像メタデータとを書き換える処理を行う。
上記結合処理で新たに作成された領域画像データと領域画像メタデータの内容は、図４１に示すような内容であり、その領域画像メタデータには領域画像ＩＤ「１００８」と、保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００８．ｐｄｆ」と、画像タイプ「図」が格納されている。

また、上記書き換え処理では、図３７に示した結合前のページ画像メタデータの領域画像情報の領域画像ＩＤ「１００２」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００２．ｐｄｆ」と領域画像ＩＤ「１００７」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００７．ｐｄｆ」を削除し、新たに領域画像ＩＤ「１００８」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００８．ｐｄｆ」を追加する書き換えを行い、結合前のページ画像データも上記結合された領域画像を含む領域画像に書き換え、図４２に示すような内容にする。
こうして、結合後の領域画像が電子文書データの全体に反映される。
その結果、図４３の（ａ）に示すようなページ画像９６になり、図４３の（ｂ）に示すように、文書構造を示すツリー形式の一覧表示では、結合前のページ画像に代わって、結合後のページ画像９７が表示され、領域画像一覧画像についても、結合前の２つの領域画像に代わって、それらが１つに結合された領域画像９８が表示される。

一方、結合ウインドウでキャンセルボタンを押下すると、それまでに領域画像に対して加えた変更は破棄され、結合前の状態に戻る。
このようにして、複数の領域画像同士を結合して、１つの新たな領域画像を作成して電子文書データの全体に反映させることができるので、ＯＣＲ認識不具合を修正することができ、ユーザが意図したデータを作成することができる。

[ページ内の画像領域又は文字領域の画像データの分割処理]
図４４は、この画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの分割処理を示すフローチャート図である。
図４５は、画像データの分割処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。
図４６は、分割操作時に表示する分割ウインドウを示す図である。
図４７は、分割後の一方の領域画像データと領域画像メタデータを示す図である。
図４８は、分割後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。
なお、上記各図において、以下の説明で特に重要でないデータと一部の図の記載を省略している。

この画像処理装置における分割処理は、図４４に示すように、ステップ（図中「Ｓ」で示す）８１で、分割させる領域画像が含まれるページ画像に対して表示されている分割ボタンの押下を検出すると、ステップ８２で、押下された分割ボタンに対応するページ画像内の領域画像についての分割ウインドウを表示し、ステップ８３で、分割ウインドウ内の分割させる領域画像が選択され、ステップ８４で、キャンセルボタンの押下を検出したか否かを判断し、押下を検出したら、この処理を終了する。

ステップ８４の判断でキャンセルボタンの押下を検出しなかったら、ステップ８５で、分割ウインドウ内の分割実行ボタンの押下を検出したか否かを判断し、押下を検出しなかったら、ステップ８５の処理を繰り返し、分割実行ボタンの押下を検出したら、ステップ８６で分割ウインドウで選択された領域画像を、指定された複数の領域で分割し、その分割後の各領域画像データと領域画像メタデータを作成して記憶して保管し、上記分割後の各領域画像データと領域画像メタデータを関連付けるように、電子文書データのページ画像データとページ画像メタデータとを書き換え、この処理を終了する。

次に、領域画像の分割処理と操作手順と表示画面例について説明する。
例えば、図４５の（ａ）に示すページ画像１００内の領域画像を２つに分割する場合、ユーザからの分割作業の選択入力があると、図４５の（ｂ）に示すような文書構造を示すツリー形式の一覧表示を表示する。
この一覧表示では、電子文書一覧画像の各ページ画像の内、領域画像が含まれるページ画像の右隣にそれぞれ分割ボタンを表示する。
例えば、ページ画像１０１に分割処理をする場合、ユーザは、ページ画像１０１の右隣に位置する分割ボタン１０２を押下する。

ここで、分割前のページ画像１００のページ画像データとページ画像メタデータの内容は、図４２に示すような内容であり、ページ画像１００内の分割する領域画像の領域画像データと領域画像メタデータの内容は、図４１に示すような内容であるものとする。
分割ボタン１０２が押下されると、要求制御部２１は、図４２に示すページ画像メタデータの領域画像情報を参照し、そのページ内の各領域画像の保管場所から領域画像データを読み出し、表示部２０に、図４６に示す分割ウインドウを表示する。

この分割ウインドウには、ページ内の各領域画像がページ内の配置位置のままで表示されており、ここで、図４６の（ａ）に示すように、図中点線枠で示す領域画像を２つに分割する場合、図４６の（ｂ）に示すように、この領域画像に対して分割する領域を破線枠１０３と１０４で示すように指定する操作をした後、分割実行ボタン１０５を押下する。
分割実行ボタン１０５が押下されると、要求制御部２１は、図４１に示した領域画像データから上記指定された２つの領域の新たな領域画像データを作成する。
こうして、分割ウインドウで領域画像の４点の座標を新たに指定し、その４点の座標に基づく矩形領域を再定義して２つ以上の領域画像を抽出し直すことで、複数の新たな領域画像を作成する。

そして、検索部２２を介して格納部１４に２つの新たな領域画像データを格納し、その各領域画像データに割り当てた領域画像ＩＤと保管場所に基づいて、各新たな領域画像データの領域画像メタデータを作成し、上記各新たな領域画像データにそれぞれ対応させて記憶する。
さらに、要求制御部２１は、検索部２２を介して格納部１４に記憶されている分割前のページ画像データとページ画像メタデータとを書き換える処理を行う。

上記分割処理で新たに作成された領域画像データと領域画像メタデータの内容は、一方は、図３８に示すような内容であり、その領域画像メタデータには領域画像ＩＤ「１００２」と、保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００２．ｐｄｆ」と、画像タイプ「図」が格納されている。
また、もう一方は、図４７に示すような内容であり、その領域画像メタデータには領域画像ＩＤ「１００７」と、保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００７．ｐｄｆ」と、画像タイプ「図」が格納されている。

また、上記書き換え処理では、図４２に示した分割前のページ画像メタデータの領域画像情報の領域画像ＩＤ「１００８」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００８．ｐｄｆ」を削除し、新たに、領域画像ＩＤ「１００２」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００２．ｐｄｆ」、領域画像ＩＤ「１００７」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００７．ｐｄｆ」を追加する書き換えを行い、分割前のページ画像データも上記分割された領域画像を含む領域画像に書き換え、図３７に示すような内容にする。
こうして、分割後の領域画像が電子文書データの全体に反映される。

その結果、図４８の（ａ）に示すようなページ画像１０６になり、図４８の（ｂ）に示すように、文書構造を示すツリー形式の一覧表示では、分割前のページ画像に代わって、分割後のページ画像１０７が表示され、領域画像一覧画像についても、分割前の領域画像に代わって、それらが２つに分割された領域画像の領域画像１０８と１０９が表示される。

一方、分割ウインドウでキャンセルボタンを押下すると、それまでに領域画像に対して加えた変更は破棄され、分割前の状態に戻る。
このようにして、１の領域画像を分割して、新たな複数の領域画像を作成して電子文書データの全体に反映させることができるので、ＯＣＲ認識不具合を修正することができ、ユーザが意図したデータを作成することができる。

[ページ内への画像領域又は文字領域の画像データの追加処理]
図４９は、この画像処理装置におけるページ画像内への画像領域又は文字領域の画像データの追加処理を示すフローチャート図である。
図５０は、画像データの追加処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。

図５１は、追加前のページ画像データとページ画像メタデータを示す図である。
図５２は、追加操作時に表示する追加画像選択ダイアログウインドウを示す図である。
図５３は、追加操作時に表示する全体画像表示画面を示す図である。
図５４は、追加後のページ画像データとページ画像メタデータの一例の図である。
図５５は、追加後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。
なお、上記各図において、以下の説明で特に重要でないデータと一部の図の記載を省略している。

この画像処理装置における追加処理は、図４９に示すように、ステップ（図中「Ｓ」で示す）９１で、新たな領域画像を追加するページ画像に対して表示されている追加ボタンの押下を検出すると、ステップ９２で、押下された追加ボタンに対応するページ画像内に新たに追加する領域画像を選択する追加画像選択ダイアログウインドウを表示し、ステップ９３で、追加画像選択ダイアログウインドウにおいて追加する領域画像データの選択がされ、ステップ９４で追加画像選択ダイアログウインドウ内のキャンセルボタンの押下を検出したか否かを判断し、押下を検出したら、この処理を終了するが、押下を検出しなかったら、ステップ９５で、追加画像選択ダイアログウインドウ内の開くボタンの押下を検出したか否かを判断し、押下を検出しなかったら、ステップ９４の処理を繰り返す。

一方、ステップ９４の判断で開くボタンの押下を検出したら、ステップ９５で全体画像表示画面を表示し、その全体画像表示画面内において上記選択した領域画像の追加位置を決定し、ステップ９７で全体画像表示画面内の追加実行ボタンの押下を検出したか否かを判断し、追加実行ボタンの押下が検出されなければ、ステップ９７の処理を繰り返し、追加実行ボタンの押下が検出されたら、ステップ９８で、追加する領域画像データの領域画像メタデータを作成し、追加する領域画像データとその領域画像メタデータを対応させて記憶し、追加する領域画像データとその領域画像メタデータを関連付けるように、電子文書データのページ画像データとページ画像メタデータとを書き換え、この処理を終了する。

また、上記処理において、追加するものとして選択された領域画像の画像サイズをページ内に納めたり、他の領域画像のサイズに合わせたりするため、追加に指定された領域画像の画像サイズをユーザによって任意に指定されたサイズまで拡大又は縮小の処理を施して変換し、あるいは、トリミング処理を施して変換するようにしてもよい。

次に、領域画像の追加処理と操作手順と表示画面例について説明する。
例えば、図５０の（ａ）に示すページ画像１１０内に新たな領域画像を追加する場合、ユーザからの追加作業の選択入力があると、図５０の（ｂ）に示すような文書構造を示すツリー形式の一覧表示を表示する。
この一覧表示では、電子文書一覧画像の各ページ画像の右隣にそれぞれ追加ボタンを表示する。
例えば、ページ画像１１１に追加処理をする場合、ユーザは、ページ画像１１１の右隣に位置する追加ボタン１１２を押下する。

ここで、追加前のページ画像１１０のページ画像データとページ画像メタデータの内容は、図５１に示すような内容である。なお、図５１において、この追加処理で利用しない各情報については記載を省略している。
追加ボタン１１２が押下されると、要求制御部２１は、検索部２２によって格納部１４に格納されている追加可能な領域画像データを検索し、表示部２０に、図５２に示す追加画像選択ダイアログウインドウを表示する。
この追加画像選択ダイアログウインドウには、複数の追加可能な領域画像データのファイル名，サイズ，更新日時を含む情報の一覧を表示する。
また、追加画像選択ダイアログウインドウ内のキャンセルボタンが押下されたら、上記選択入力されたファイル名をクリアし、再度ファイル名の選択入力の画面に戻す。

ユーザが、追加画像選択ダイアログウインドウの複数の追加可能な領域画像データの一覧から任意の領域画像データのファイル名を選択入力し、開くボタン１１３を押下すると、要求制御部２１は検索部２２を介して格納部１４から上記選択入力されたファイル名の領域画像データを読み出して取得し、さらに、上記押下された追加ボタン１１２に対応するページ画像のページ画像データとページ画像メタデータとに基づいて、表示情報生成部２３を介して、図５３に示すような全体画像表示画面を表示部２０に表示する。

この全体画像表示画面には、ページ画像内の各領域画像がそのままの配置で表示され、その余白部に上記選択された領域画像データに基づく領域画像を表示しており、ユーザによる操作によって、上記選択された領域画像データに基づく領域画像１１４が、ページ画像中の追加する位置に配置され、全体画像表示画面中の追加実行ボタン１１５が押下されると、上記選択された領域画像データの領域画像メタデータを作成し、上記選択された領域画像データにその領域画像メタデータを対応させて検索部２２を介して格納部１４に格納すると共に、上記選択された領域画像データにその領域画像メタデータに基づいて、格納部１４に記憶されている追加前のページ画像データとページ画像メタデータとを書き換える処理を行う。
ここで、全体画像表示画面内のキャンセルボタンが押下されると、それまでにページ画像に対して加えた変更は破棄され、ページ画像は追加前の状態に戻る。

上記書き換え処理では、図５１に示した追加前のページ画像メタデータの領域画像情報に、今回新たに追加された領域画像データの領域画像ＩＤ「１００３」と保管場所「ｒｅｐｏｓｉｔｏｒｙ／１００３．ｐｄｆ」を追加するように書き換え、図５４に示すような内容にする。
こうして、領域画像の追加が電子文書データの全体に反映される。

その結果、図５５の（ａ）に示すようなページ画像１１６になり、図５５の（ｂ）に示すように、文書構造を示すツリー形式の一覧表示では、領域画像の追加前のページ画像に代わって、領域画像の追加後のページ画像１１７が表示される。さらに、そのページ画像内の領域画像一覧画像について、新たに追加された領域画像１１８がツリー形式で表示される。
このようにして、電子文書データに、選択した任意の領域画像を追加することにより、ＯＣＲ認識不具合を修正することができる。また、ユーザが意図したデータを持つ電子文書データを作成することができる。

[ページ内の画像領域又は文字領域の画像データの削除処理]
図５６は、この画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの削除処理を示すフローチャート図である。
図５７は、画像データの削除処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。
図５８は、削除操作時に表示する全体画像表示画面を示す図である。
図５９は、削除後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。
なお、上記各図において、以下の説明で特に重要でないデータと一部の図の記載を省略している。

この画像処理装置における削除処理は、図５６に示すように、ステップ（図中「Ｓ」で示す）１０１で、削除する領域画像に対して表示されている削除ボタンの押下を検出すると、ステップ１０２で、押下された削除ボタンに対応する領域画像を確認させるための全体画像表示画面を表示し、ステップ１０３で、全体画像表示画面中のキャンセルボタンの押下を検出したか否かを判断し、押下を検出したら、この処理を終了するが、押下を検出しなかったら、ステップ１０４で、全体画像表示画面内の削除実行ボタンの押下を検出したか否かを判断し、押下を検出しなかったら、ステップ１０４の処理を繰り返し、削除実行ボタンの押下を検出したら、ステップ１０５でページ画像中から上記選択された領域画像を削除し、その削除後の内容を反映させるように、電子文書データのページ画像データとページ画像メタデータとを書き換え、この処理を終了する。

次に、領域画像の削除処理と操作手順と表示画面例について説明する。
例えば、図５７の（ａ）に示すページ画像１２０内の領域画像を削除する場合、ユーザからの削除作業の選択入力があると、図５７の（ｂ）に示すような文書構造を示すツリー形式の一覧表示を表示する。
この一覧表示では、ページ内の領域画像の一覧画像で表示されている各領域画像の右隣にそれぞれ削除ボタンを表示する。
例えば、領域画像１２１を削除する場合、ユーザは、領域画像１２１の右隣に位置する削除ボタン１２２を押下する。

ここで、削除前のページ画像１２０のページ画像データとページ画像メタデータの内容は、図１９に示したような内容である。
削除ボタン１２２が押下されると、要求制御部２１は、図１９に示すページ画像メタデータの領域画像情報を参照し、このページ内の各領域画像データを読み出し、表示部２０に、図５８に示す全体画像表示画面を表示する。
この全体画像表示画面には、このページ画像内の各領域画像がそのままの配置で表示され、上記削除ボタン１２２に対応する領域画像１２３は削除対象として選択されたことを強調表示で示している。

ユーザは、全体画像表示画面において、削除される領域画像１２３を確認し、削除実行ボタン１２４を押下すると、要求制御部２１は、検索部２２を介して格納部１４に格納されているページ画像データとページ画像メタデータを書き換える。
この書き換え処理では、図１９に示したページ画像メタデータの領域画像情報から、上記削除した領域画像の領域画像ＩＤ「１００３」と保存場所「ｒｅｐｏｓｉｔｏｒｙ／１００３．ｐｄｆ」を削除し、ページ画像データも上記削除が指定された領域画像を削除した内容に書き換え、図５１に示すような内容にする。
このようにして、ページ画像中から任意の領域画像を削除した内容が、電子文書データ全体に反映される。

その結果、図５９の（ａ）に示すようなページ画像１２５になり、図５９の（ｂ）に示すように、文書構造を示すツリー形式の一覧表示では、領域画像の削除前のページ画像に代わって、領域画像の削除後のページ画像１２６が表示される。さらに、そのページ画像内の領域画像一覧画像について、削除された領域画像とその右隣に表示されていた削除ボタンが消去されている。
一方、全体画像表示画面でキャンセルボタンが押下されると、それまでにページ画像に対して加えた変更は破棄され、ページ画像は削除前の状態に戻る。
このようにして、電子文書データのページ画像から任意の領域画像を削除することにより、ＯＣＲ認識不具合を修正することができる。また、ユーザが意図したデータを持つ電子文書データを作成することができる。

この発明による画像処理装置と画像処理方法とプログラムは、デスクトップパソコン，ノートブックパソコン等のパーソナルコンピュータにおいても適用することができる。

この発明の実施例の画像処理装置の機能構成を示すブロック図である。 図１に示した登録部によって格納部へ登録される情報の詳しい説明図である。 図２の続きの説明図である。 図３の続きの説明図である。 電子文書の文書構造を表示する画面例の説明図である。

同じく電子文書の文書構造を表示する画面例の説明図である。 同じく電子文書の文書構造を表示する画面例の説明図である。 ページ一覧画面から文書ツリー画面に切り替えるときの処理を示すフローチャート図である。 領域画像のソートの説明図である。

ツリー表示で展開中の領域画像を省略表示にする処理を示すフローチャート図である。 プレビュー画面の一例を示す図である。 ページ一覧画面からプレビュー画面に切り替える処理のフローチャート図である。 プレビュー表示されたページの領域画像をドラッグ＆ドロップする際の処理を示すフローチャート図である。

ツリー形式以外の表示形式の説明図である。 プレビュー画面におけるエリア強調表示例を示す説明図である。 ツリー形式以外の表示形式の他の例の説明図である。 この実施例の画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの編集処理を示すフローチャート図である。

この実施例の画像処理装置における画像データの編集処理時の電子文書の文書構造を示すツリー形式の一覧画面を示す図である。 この実施例の画像処理装置における編集前のページ画像データとページ画像メタデータを示す図である。 この実施例の画像処理装置における編集前の領域画像データと領域画像メタデータを示す図である。

この実施例の画像処理装置における編集操作時に表示する編集ウインドウを示す図である。 この実施例の画像処理装置における編集後の領域画像データと領域画像メタデータを示す図である。 この実施例の画像処理装置における編集後の内容を電子文書データに反映させるか否かを選択する選択ダイアログ画面を示す図である。

この実施例の画像処理装置における編集後のページ画像データとページ画像メタデータの一例の図である。 この実施例の画像処理装置における編集後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。 この実施例の画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの置換処理を示すフローチャート図である。

この実施例の画像処理装置における画像データの置換処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。 この実施例の画像処理装置における置換前のページ画像データとページ画像メタデータを示す図である。 この実施例の画像処理装置における置換前の領域画像データと領域画像メタデータを示す図である。

この実施例の画像処理装置における置換操作時に表示する置換ウインドウを示す図である。 この実施例の画像処理装置における置換操作時に表示する置換画像選択ダイアログウインドウを示す図である。 この実施例の画像処理装置における置換後の領域画像データと領域画像メタデータを示す図である。

この実施例の画像処理装置における置換後のページ画像データとページ画像メタデータの一例の図である。 この実施例の画像処理装置における置換後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。 この実施例の画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの結合処理を示すフローチャート図である。

この実施例の画像処理装置における画像データの結合処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。 この実施例の画像処理装置における結合前のページ画像データとページ画像メタデータを示す図である。 この実施例の画像処理装置における結合する一方の領域画像の結合前の領域画像データと領域画像メタデータを示す図である。

この実施例の画像処理装置における結合するもう一方の領域画像の結合前の領域画像データと領域画像メタデータを示す図である。 この実施例の画像処理装置における結合操作時に表示する結合ウインドウを示す図である。 この実施例の画像処理装置における結合後の領域画像データと領域画像メタデータを示す図である。

この実施例の画像処理装置における結合後のページ画像データとページ画像メタデータの一例の図である。 この実施例の画像処理装置における結合後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。 この実施例の画像処理装置におけるこの画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの分割処理を示すフローチャート図である。

この実施例の画像処理装置における画像データの分割処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。 この実施例の画像処理装置における分割操作時に表示する分割ウインドウを示す図である。 この実施例の画像処理装置における分割後の一方の領域画像データと領域画像メタデータを示す図である。

この実施例の画像処理装置における分割後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。 この実施例の画像処理装置におけるページ画像内への画像領域又は文字領域の画像データの追加処理を示すフローチャート図である。 この実施例の画像処理装置における画像データの追加処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。

この実施例の画像処理装置における追加前のページ画像データとページ画像メタデータを示す図である。 この実施例の画像処理装置における追加操作時に表示する追加画像選択ダイアログウインドウを示す図である。 この実施例の画像処理装置における追加操作時に表示する全体画像表示画面を示す図である。

この実施例の画像処理装置における追加後のページ画像データとページ画像メタデータの一例の図である。 この実施例の画像処理装置における追加後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。 この実施例の画像処理装置におけるページ画像内の画像領域又は文字領域の画像データの削除処理を示すフローチャート図である。

この実施例の画像処理装置における画像データの削除処理時の電子文書の文書構造を示すツリー形式を表す一覧画面を示す図である。 この実施例の画像処理装置における削除操作時に表示する全体画像表示画面を示す図である。 この実施例の画像処理装置における削除後の内容を電子文書全体に反映させたときの電子文書の文書構造を示すツリー形式の一覧画面を示す図である。

符号の説明

１：登録処理部 ２：検索表示部 １０：文書入力部 １１：領域抽出部 １２：テキスト抽出部 １３：登録部 １４：格納部 ２０：表示部 ２１：要求制御部 ２２：検索部 ２３：表示情報生成部 ３０：電子文書データ ３１：電子文書メタデータ ３２：ページ画像データ ３３：ページ画像メタデータ ３４：領域画像データ ３５：領域画像メタデータ

Claims (18)

1. 電子文書データのページ画像データから画像を含む画像領域の画像データと、文字列を含む文字領域の画像データとをそれぞれ抽出する抽出手段と、前記電子文書データと前記電子文書データのページ画像データと該ページ画像データについて前記抽出手段によって抽出した画像データをそれぞれ関連付けて登録する登録手段と、該登録手段によって登録されたデータに基づいて前記電子文書データのページ構成とページ中の画像領域と文字領域との領域構成とからなる文書構造を表示する表示手段とを備えた画像処理装置において、
   前記画像データに編集を加える編集手段と、該編集手段によって編集された後の画像データを前記電子文書データのページ画像データと関連付けるか否かを選択する選択手段と、該選択手段によって関連付けると選択されたとき、前記電子文書データのページ画像データに関連付けられている画像データに代えて、前記編集手段によって編集された後の画像データを前記電子文書データのページ画像データと関連付ける手段とを設けたことを特徴とする画像処理装置。
2. 前記編集手段は、前記電子文書データのページ画像データに関連付けて登録されている画像データを、指定された他の画像データに置換する編集を加える手段であり、前記指定された他の画像データの画像の大きさが前記登録されている画像データの画像の大きさと異なる場合、前記指定された他の画像データの画像の大きさを、前記登録されている画像データの画像の大きさに合せる調整手段を設けたことを特徴とする請求項１記載の画像処理装置。
3. 前記編集手段は、前記電子文書データのページ画像データに関連付けて登録されている複数の画像データを結合して１つの画像データにする編集を加える手段であることを特徴とする請求項１記載の画像処理装置。
4. 前記編集手段は、前記電子文書データのページ画像データに関連付けて登録されている画像データを複数の画像データに分割する編集を加える手段であることを特徴とする請求項１記載の画像処理装置。
5. 前記編集手段は、前記ページ画像データ中の指定された位置に新たな画像データを追加する編集を加える手段であることを特徴とする請求項１記載の画像処理装置。
6. 前記編集手段は、前記ページ画像データに関連付けて登録されている画像データを削除する編集を加える手段であることを特徴とする請求項１記載の画像処理装置。
7. 電子文書データのページ画像データから画像を含む画像領域の画像データと、文字列を含む文字領域の画像データとをそれぞれ抽出する抽出工程と、前記電子文書データと前記電子文書データのページ画像データと該ページ画像データについて前記抽出工程によって抽出した画像データをそれぞれ関連付けて登録する登録工程と、該登録工程によって登録されたデータに基づいて前記電子文書データのページ構成とページ中の画像領域と文字領域との領域構成とからなる文書構造を表示する表示工程とからなる画像処理方法において、
   前記画像データに編集を加える編集工程と、該編集工程によって編集された後の画像データを前記電子文書データのページ画像データと関連付けるか否かを選択する選択工程と、該選択工程によって関連付けると選択されたとき、前記電子文書データのページ画像データに関連付けられている画像データに代えて、前記編集工程によって編集された後の画像データを前記電子文書データのページ画像データと関連付ける工程とを設けたことを特徴とする画像処理方法。
8. 前記編集工程は、前記電子文書データのページ画像データに関連付けて登録されている画像データを、指定された他の画像データに置換する編集を加える工程であり、前記指定された他の画像データの画像の大きさが前記登録されている画像データの画像の大きさと異なる場合、前記指定された他の画像データの画像の大きさを、前記登録されている画像データの画像の大きさに合せる調整工程を設けたことを特徴とする請求項７記載の画像処理方法。
9. 前記編集工程は、前記電子文書データのページ画像データに関連付けて登録されている複数の画像データを結合して１つの画像データにする編集を加える工程であることを特徴とする請求項７記載の画像処理方法。
10. 前記編集工程は、前記電子文書データのページ画像データに関連付けて登録されている画像データを複数の画像データに分割する編集を加える工程であることを特徴とする請求項７記載の画像処理方法。
11. 前記編集工程は、前記ページ画像データ中の指定された位置に新たな画像データを追加する編集を加える工程であることを特徴とする請求項７記載の画像処理方法。
12. 前記編集工程は、前記ページ画像データに関連付けて登録されている画像データを削除する編集を加える工程であることを特徴とする請求項７記載の画像処理方法。
13. コンピュータに、電子文書データのページ画像データから画像を含む画像領域の画像データと、文字列を含む文字領域の画像データとをそれぞれ抽出する抽出手順と、前記電子文書データと前記電子文書データのページ画像データと該ページ画像データについて前記抽出手順によって抽出した画像データをそれぞれ関連付けて登録する登録手順と、該登録手順によって登録されたデータに基づいて前記電子文書データのページ構成とページ中の画像領域と文字領域との領域構成とからなる文書構造を表示する表示手順とを実行させるためのプログラムにおいて、
    前記画像データに編集を加える編集手順と、該編集手順によって編集された後の画像データを前記電子文書データのページ画像データと関連付けるか否かを選択する選択手順と、該選択手順によって関連付けると選択されたとき、前記電子文書データのページ画像データに関連付けられている画像データに代えて、前記編集手順によって編集された後の画像データを前記電子文書データのページ画像データと関連付ける手順とを実行させるためのプログラム。
14. 前記編集手順は、前記電子文書データのページ画像データに関連付けて登録されている画像データを、指定された他の画像データに置換する編集を加える手順であり、前記指定された他の画像データの画像の大きさが前記登録されている画像データの画像の大きさと異なる場合、前記指定された他の画像データの画像の大きさを、前記登録されている画像データの画像の大きさに合せる調整手順を実行させるための請求項１３記載のプログラム。
15. 前記編集手順は、前記電子文書データのページ画像データに関連付けて登録されている複数の画像データを結合して１つの画像データにする編集を加える手順である請求項１３記載のプログラム。
16. 前記編集手順は、前記電子文書データのページ画像データに関連付けて登録されている画像データを複数の画像データに分割する編集を加える手順である請求項１３記載のプログラム。
17. 前記編集手順は、前記ページ画像データ中の指定された位置に新たな画像データを追加する編集を加える手順である請求項１３記載のプログラム。
18. 前記編集手順は、前記ページ画像データに関連付けて登録されている画像データを削除する編集を加える手順である請求項１３記載のプログラム。

Images