JP2005182460A - 情報処理装置、注釈処理方法、情報処理プログラムおよび情報処理プログラムを格納した記録媒体 - Google Patents

Abstract

【課題】 本出願は文書データに注釈データを付加するとき、付加した注釈に関連した電子情報データ中の対応する部分から検索情報を抽出し検索を可能とするものである。
【解決手段】 文書データを格納する文書データ記憶、文書データに対応つけて注釈データ（文字、図形、ライン）を入力する注釈入力手段、注釈データを検索キーワードとして登録する手段、注釈データに対応した対象領域から検索キーワード（文字）を抽出し、登録する手段、登録された検索キーワードを一覧表示し該当文書データを表示させる手段、登録されたキーワードで検索する検索手段、検索結果の文書データを画面上に注釈データとともに表示する手段とを備えた情報処理装置。
【選択図】 図１

Description

本発明は文書データ中に注釈データを入力することができる情報処理装置に関するものである。特に注釈データに関連した情報をもとに検索する機能をもった情報処理装置に関する。

従来、この種の情報処理装置において登録文書に対して検索情報としてアノテーション機能、しおり機能、マーカ機能といった検索データを登録することができる装置が実現されている。アノテーション機能では登録した文字列での検索が可能であり、登録した文字列の部分一致での検索が可能である。しおり機能では重要なページにしるしをつけておき、しおり一覧からジャンプする機能が提供されている。マーカ機能では注目すべき領域をマーカで印をつけ囲んでおき使用したマーカ色で検索し、該当ページを表示する機能が提供されている。

先行技術例として、特許文献１では注釈イメージを文書データの指定位置に対応づけて登録できる文書処理装置が提案されている。該出願では初期の手書きストロークで文書データの対応場所を指定し、第２ストローク以降で注釈イメージを作成して登録することが提案されている。
特開２０００−２５０９０３号公報

前記、従来例による注釈データ登録機能では文書に付加した注釈データそのものを検索情報として利用して、該当文書の特定のページを呼び出すことができた。前記、先行技術例においても手書きによる注釈イメージを用いて文書データと注釈イメージを対応付けて登録し、呼び出すことが提案されている。

しかしながら、前記のいずれの場合においても注釈データを付加した箇所の元データの近傍にある文字や画像情報など、利用者が着目している情報での検索、呼び出しを行うことができなかった。

本発明は、以上の点に着目して成されたもので、文書データに注釈データを付加するとき、付加した注釈に関連した電子情報データ中の対応する部分から検索情報を抽出し検索を可能とする情報処理装置、注釈処理方法、情報処理プログラムおよび情報処理プログラムを格納した記録媒体を提供することを目的とする。

本発明は、注釈データを文書に付加するときに、注釈データに対応する文書データの表示画面から文字認識機能（ＯＣＲ）を使って検索情報を取得し登録することにより、注釈データ登録後に表示画面と対応する注釈データとを対応付けて呼び出すことを可能とすることを特徴とする。

また、付加する注釈データの種類に応じて表示画面上の登録対象領域を変化させ、特別な操作を必要とせずに注釈データ入力位置の近傍から検索データを取得することを特徴とする。

すなわち、本発明の技術内容は以下の構成を備えることにより前記課題を解決できた。

（１）文字、図形、画像等を含む文書データを格納する文書データ記憶手段、文書データ記憶の内容を表示器に表示する表示制御手段、前記文書データを入力する文書入力手段を備えた情報処理装置において、表示中の文書データの表示画面を画像情報として一時記憶する表示画面記憶手段、表示画面の任意の位置に対応させて注釈データを入力する注釈入力手段、前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録手段、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出手段、前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出手段、抽出された第２の検索キーを登録する第２の検索キー登録手段、前記、第１の検索キー登録手段によって登録された第１の検索キー、および第２の検索キー登録手段によって登録された第２の検索キーの双方を記憶するインデックス記憶手段を備えたことを特徴とする情報処理装置。

（２）注釈データは手書き線、直線、文字、図形のうち１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記（１）記載の情報処理装置。

（３）表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録手段を備えたことを特徴とする前記（１）記載の情報処理装置。

（４）表示画面記憶手段の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出手段を備えたことを特徴とする前記（１）記載の情報処理装置。

（５）前記（１）で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする前記（１）記載の情報処理装置。

（６）前記、（１）で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする情報処理装置。

（７）文字、図形、画像等を含む文書データを格納する文書データ記憶工程、文書データ記憶の内容を表示器に表示する表示制御工程、前記文書データを入力する文書入力工程を備えた情報処理装置において、表示中の文書データの表示画面を一時記憶する表示画面記憶工程、表示画面の任意の位置に対応させて注釈データを入力する注釈入力工程、前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録工程、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出工程、前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出工程、抽出された第２の検索キーを登録する第２の検索キー登録工程、前記、第１の検索キー登録工程によって登録された第１の検索キー、および第２の検索キー登録工程によって登録された第２の検索キーの双方を記憶するインデックス記憶工程を備えたことを特徴とする注釈処理方法。

（８）注釈データは手書き線、直線、文字、図形の１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記（７）記載の注釈処理方法。

（９）前記、（６）において、表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録工程を備えたことを特徴とする注釈処理方法。

（１０）表示画面記憶の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出工程を備えたことを特徴とする前記（７）記載の注釈処理方法。

（１１）前記（７）で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする前記（７）記載の注釈処理方法。

（１２）前記、（７）で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする注釈処理方法。

（１３）文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理とを備えた情報処理プログラムにおいて、表示中の文書データの表示画面を一時記憶する表示画面記憶処理、表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録処理、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出処理、抽出された第２の検索キーを登録する第２の検索キー登録処理、前記、第１の検索キー登録処理によって登録された第１の検索キー、および第２の検索キー登録処理によって登録された第２の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラム。

（１４）注釈データは手書き線、直線、文字、図形の１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記（１３）記載の情報処理プログラム。

（１５）表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする前記（１３）記載の情報処理プログラム。

（１６）表示画面記憶の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出処理を備えたことを特徴とする前記（１３）記載の情報処理プログラム。

（１７）前記（１３）で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする前記（１３）記載の情報処理プログラム。

（１８）前記、（１１）で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラム。

（１９）文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理を備えた情報処理プログラムにおいて、表示中の文書データの表示画面を一時記憶する表示画面記憶処理、表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録処理、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出処理、抽出された第２の検索キーを登録する第２の検索キー登録処理、前記、第１の検索キー登録処理によって登録された第１の検索キー、および第２の検索キー登録処理によって登録された第２の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。

（２０）注釈データは手書き線、直線、文字、図形の１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記（１９）記載の情報処理プログラムを格納した記録媒体。

（２１）表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする前記（１９）記載の情報処理プログラムを格納した記録媒体。

（２２）表示画面記憶の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出処理を備えたことを特徴とする前記（１９）記載の情報処理プログラムを格納した記録媒体。

（２３）前記（１９）で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする前記（１９）記載の情報処理プログラムを格納した記録媒体。

（２４）前記、（１９）で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。

本発明によれば注釈データ入力時に、該当する文書データの注釈データ入力位置近傍から、特別な操作を必要とせず注釈データの種類に応じた所定の登録範囲から検索情報を生成することができるため、検索のための登録操作なしに該当ページを検索し呼び出すことができるようになった。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

以下の図の説明において説明を理解しやすくするため、請求項１で定義した第１の検索キーを注釈キー、第２の検索キーを注釈対象キーと呼ぶことにする。

図１は、本実施例による情報処理装置による注釈処理方法を示すクレーム関連図である。

図示において、入力操作手段１００は後述のキーボードやマウスなどの入力装置を使用して文字や図形を入力して文書作成、注釈入力、検索指示などを行う入力操作手段である。

入力された文書データは文書データ記憶手段１０１に格納され、表示制御手段１０２によって文書データは表示装置１０３に表示される。表示制御手段１０２では後述するインデックス記憶手段１０８に格納されている注釈データを文書データ記憶手段１０１の文書データと対応させて表示することも行う。

表示画面記憶手段１０４は表示装置１０３に表示されている文書データの表示画面を一時的に記憶する表示画面記憶手段である。記憶された表示画面は後述の注釈領域抽出手段１０６で抽出領域の判定と文字認識の入力データとして使用される。

注釈キー登録手段１０５は表示装置１０３に表示されている画面に注釈データを登録する。本実施例においては手書きによる線、直線、文字、図形などを使って注釈データを入力する場合を例として示している。注釈データは入力操作手段１００から入力されその属性に応じてインデックス記憶１０８に注釈種別、サイズ、テキストを格納する。

注釈領域対象抽出手段１０６は入力された注釈データに対応する表示画面中の取り込み対象領域を決定する手段である。本実施例では線、文字、図形など注釈データの種類によって対象領域を異ならせて取り込むことができる。注釈対象画像登録手段１０７は注釈データに対応する表示画面中の所定の領域を縮小画像としてインデックス記憶手段１０８に登録する手段である。

注釈対象キー抽出手段１０９前記の注釈対象領域抽出手段１０６によって得られた表示画面上の対象領域から検索キーを抽出する手段である。注釈対象キー登録手段１１０は抽出された検索キーをインデックス記憶手段１０８に登録する手段である。

文書検索手段１１１はインデックス記憶手段１０８に登録されている検索データを使用して該当文書の検索を行うことを指示する手段である。文書検索手段１１３は入力操作手段１００からの操作で検索を実行し、インデックス記憶手段１０８を参照して該当する注釈データの一覧を検索結果記憶１１２に格納する。

検索結果は検索結果表示制御手段１１３によって、表示制御手段１０２を経由して表示装置１０３に表示される。検索結果の該当文書データが選択された場合はインデックス記憶１０８に記憶されている注釈データと文書データの該当ページが合成されて表示される。

図２は、本実施例による注釈処理を説明するための情報処理装置の構成を示す機能ブロック図である。図示において、ＣＰＵ２０はマイクロプロセッサであり文書データの表示、注釈データの入力、検索情報の抽出、インデックスへの登録などのプログラムを実行する。

キーボード／マウス２１は文字の入力、入力位置の指示などを行う入力装置である。

メモリ２２にはランダムアクセスメモリで本実施例による注釈データの入力、インデックスへの登録など一連の処理手順が記述されたプログラムが格納されて実行される。また、プログラム実行中に必要となる一時記憶としても使用される。ディスプレイ２３は文書データや注釈データ、検索結果などを表示するための表示装置である。文書データ記憶装置２４には表示するための文書データが格納されている。

インデックスデータ記憶装置２５には注釈データや注釈データを入力したときに文書データから抽出された検索情報を格納する記憶装置である。ＤＩＳＫ ２６は文書データを格納したり、呼び出したりするための外部記憶装置である。

２７はシステムＢＵＳであり、本実施例により接続されている各種装置とを接続し、制御するシステムバスである。

図３は、本発明による実施例の表示例である。

３０は、文書データを表示している状態の例であり、この表示状態が注釈の初期表示例である。３１は、注釈入力例であり注釈を入力する注釈ツール３２が表示されている。

注釈ツール３２の直線等のボタンを押すことにより、各種別の注釈入力が可能となる。

注釈ツール３２のペンボタンを押すとペン入力モードとなり、クリックアンドドラッグにより手書き線入力が可能である。

注釈ツール３２の直線、四角、円ボタンを押すと対応する入力モードとなる。直線、四角、円の入力は、クリックアンドドラッグにより始点と終点を指定することで行われる。

注釈ツール３２の文字ボタンを押すと文字入力モードとなる。文字の入力は、注釈対象を四角の描画と同様にして選択し、次のクリック後クリック個所にテキスト入力ボックスが表示され、入力装置による文字の入力が可能となる。

注釈入力例３１では、注釈ツール３２から四角が選択され、３３の四角がクリックアンドドラッグにより描画されている。

図４は、各種注釈入力と注釈種別に対応した注釈対象抽出の例である。

４０は、文書データ中のテキストに対する直線による注釈入力の例である。直線注釈入力例４０では、“ＩＭ Ｔｅａｍ Ｆａｒｄｅｎａｎｄ”の下に直線による注釈が行われており、後述直線注釈対象抽出Ｓ２０６により破線の長方形部分が注釈対象として抽出する。

４１は、文書データ中のテキストと図形に対する四角による注釈入力の例である。四角注釈入力例４１では、“ＩＭ Ｔｅａｍ Ｆａｒｄｅｎａｎｄ”と画像中の車に四角による注釈が行われており、後述四角注釈対象抽出Ｓ２０８により破線の長方形部分が注釈対象として抽出される。

４２は、文書データ中のテキストと図形に対する円による注釈入力の例である。円注釈入力例４２では、“ＩＭ Ｔｅａｍ Ｆａｒｄｅｎａｎｄ”と画像中の車に円による注釈が行われており、後述円注釈対象抽出Ｓ２０８により破線の長方形部分が注釈対象として抽出する。

４３は、文書データ中のテキストと図形に対する文字による注釈入力の例である。文字注釈入力例４３では、“ＩＭ Ｔｅａｍ Ｆａｒｄｅｎａｎｄ”と画像中の車に文字による注釈が行われており、後述文字注釈対象抽出Ｓ２０８により破線の長方形部分が注釈対象として抽出する。

注釈入力手段の１つである前記ペンモードの場合は、クリックアンドドラッグによる手書き線入力後、後述手書き注釈認識処理Ｓ２０２により直線、四角、円、文字に認識されるため、認識結果の種別に対応する各処理を行う。

図５は、注釈対象から生成したインデクスの例である。インデクスには、注釈キー、注釈対象、注釈対象キーがある。注釈キーには、入力された注釈の順番による注釈番号、注釈種別、注釈サイズ、注釈テキストが含まれる。注釈対象は、注釈対象範囲を表示画面記憶１０４から一部を切り出した画像である。注釈対象キーは、注釈の行われた位置情報であるページ・行数・桁数・文字数と、注釈対象に含まれるテキストである。

５０と５１は、直線、四角、円、文字による注釈が行われた後の状態例である。注釈後状態例５０は文書データの１ページ目、注釈後状態例５１は文書データの２ページ目とし、これにより生成されたインデクス例を５５とする。

注釈５２を最初に行われた注釈とすると、注釈５２の注釈番号は“１”となる。注釈５２の注釈種別は“四角”として登録され、サイズは“中”として登録される。注釈５２は四角による注釈であるため、注釈テキストは空欄となる。後述のテキスト抽出処理Ｓ２１３により注釈対象からテキストが抽出されたため、注釈５２の注釈対象の切り出し画像は“文字１”として登録され、注釈対象キーのテキストにテキスト抽出結果である“トヨタ自動車とホンダ”が登録され、文字数“１０”が登録される。後述四角注釈対象抽出Ｓ２０８により抽出される注釈対象の位置情報は、注釈５２の注釈対象キーのページ数、行数、桁数も注釈対象キーとして登録さる。

注釈５３を２番目に入力された注釈とすると、注釈５３の注釈番号は“２”となる。注釈５３の注釈種別は“円”と登録され、サイズは“小”と登録される。注釈５３は円であるため、注釈テキストは空欄となる。後述のテキスト抽出処理Ｓ２１３により注釈対象からテキストが抽出されなかったため、注釈対象の切り出し画像は“画像１”として登録さる。注釈５３では、注釈対象が画像であるため、注釈対象キーのテキストと文字数が空欄となる。後述円注釈対象抽出Ｓ２０６により抽出される注釈対象の位置情報は、注釈５３の注釈対象キーのページ数、行数、桁数も注釈対象キーとして登録される。

注釈５４と注釈５５をそれぞれ３番目、４番目に入力された注釈とすると、注釈５２と同様にインデクスが登録される。

注釈５６を５番目に入力された注釈とすると、注釈５６の注釈番号は“５”となる。注釈５６の注釈種別は“文字”と登録され、注釈キーのテキストは入力文字“協調”と登録され、サイズは注釈キーのテキストの文字数である“２”が登録される。注釈５６の注釈対象と注釈対象キーの登録は、注釈５２と同様に行われる。

図６は、検索操作の流れを示した例である。

６００では、一覧表示モードと検索モードの選択を行う例である。モード選択６００での選択結果は、後述の検索指示Ｓ３００に反映される。

６０１は、モード選択６００で一覧表示モードを選んだ場合に表示される例である。６０２は、表示対象インデクスの表示モードを選択するタブであり、リスト表示モードとイメージ表示モードがあり、一覧表示モード例６０１ではリスト表示モードが選択されている。表示モード選択タブ６０２により、いつでもリスト表示モードとイメージ表示モードの切り替えが可能である。６０３は、表示対象インデクスの表示リストであり、一覧表示モード例６０１では前出インデクス例５５の一部が表示されている。６０４は、表示しているリストをスクロールするスクロールバーであり、このスクロールバー６０４を操作することにより、表示外の表示対象インデクスを表示することができる。

６０５には、表示対象インデクスから選択された注釈の注釈対象をプレビュー表示する。一覧表示例６０１では、表示リスト６０３で注釈番号５が選択されており、注釈対象プレビュー６０５には、注釈番号５の注釈対象が表示されている。表示リスト６０３の中にある注釈の１つをダブルクリックするか、注釈対象プレビュー６０５がクリックされると、注釈対象文書データに注釈が付加された画面６１０が表示される。

６０６は、前記一覧モード表示例６０１と同様にモード選択６００で一覧表示モードを選んだ場合に表示される例である。一覧表示モード表示例６０６は、表示モード選択タブ６０２でイメージ表示モードが選択されている点で、前記一覧表示モード表示例６０１と異なる。

一覧表示モード表示例６０６では、表示モード選択タブ６０２でイメージ表示モードが選択されているため、注釈の一覧が注釈対象プレビューと注釈対象キーのテキストの一部を並べて表示されている。注釈対象プレビューがクリックされると、注釈対象文書データに注釈が付加された画面６１０が表示される。

６０７は、モード選択６００において検索を選んだ検索モード表示例である。６０８は、検索項目選択部であり、各検索項目と検索項目の組み合わせが選択可能である。また、検索項目選択部６０８の中に一覧表示も用意されており、一覧表示が選択された場合は一覧表示モード表示例６０１、６０６と同じものが表示されることになる。６０９は、検索キー入力部でありここで検索したいテキストや注釈種別を選択する。検索キー入力部６０９には、検索項目選択部６０８で選択された検索項目に応じて最適な入力インターフェースが提供される。検索にマッチしたインデクスは表示インデクスとなり、一覧表示モード表示例６０１、６０６と同様にリスト表示、イメージ表示され、同様の動作を行う。検索結果表示状態で検索項目の選択と検索キーの入力を行うと、検索結果である表示インデクスをもとに絞込検索を行う。

図７は、情報処理装置における注釈処理方法である本実施例のフローチャートを示す。

図７における開始とは、図２に示した情報処理装置における注釈処理に用いる各装置に電源が行き渡りＤＩＳＫ３７からオペレーションシステムが読み出された状態で、情報処理装置における注釈処理が起動されたことを示す。

情報処理装置における注釈処理の起動後、まずＳ１０でユーザが文書データを読み込みモード、注釈モード、検索モードの選択を行う。文書読み込みモードでは文書の読み込み処理を、注釈モードでは文書に対する注釈の付加処理を、検索モードではインデクス記憶装置２５に記憶されているインデクスの検索処理を行う。

Ｓ１１では、処理モードが文書読み込みモードかの判定を行い、文書読み込みモードであればＳ１２の文書データ選択を行う。文書データ選択Ｓ１２では、オペレーションシステム上でアクティブになっている文書データが選択される。文書データ選択Ｓ１２では文書データの選択と同時に、文書データ選択Ｓ１２で選択された文書データに対応したインデクスデータ記憶領域がインデクスデータ記憶装置２５内に存在しない場合は、インデクスデータ記憶装置内にインデクスデータ記憶領域を作成する。本実施例は理解しやすいよう、１つの文書データに対する注釈と検索を説明する。

各文書データに対するインデクスデータは、どの文書に対して行われた注釈であるかをインデクスに登録することにより、インデクスデータ記憶装置内の各文書に対応するインデクスデータ記憶領域を設けないことも考えられる。

Ｓ１３では、処理モードが注釈モードかの判定を行い、注釈モードであればＳ１４のインデクス登録を行う。インデクス登録Ｓ１４では、注釈入力処理を行い、システムが入力された注釈データをもとにインデクスの生成と登録を行う。

Ｓ１５では、処理モードが検索モードかの判定を行い、検索モードであればＳ１６の検索処理を行う。検索処理Ｓ１６では、ユーザが一覧モードか検索モードを選択し、各モードでユーザが望みの注釈の検索を行い、検索結果をもとに文書データの読み込みと注釈データの合成を行う。

Ｓ１７では、各処理モードの処理結果をディスプレイ３３に表示する。

Ｓ１８では、処理の終了判定を行い、処理を終了しない場合は処理モード選択Ｓ１０に戻り、処理を終了する場合は情報処理装置における注釈処理を終了する。

図８に、インデクス登録処理Ｓ１４を行うときの処理例についてフローチャートを示し説明する。

Ｓ２００では、図３に示した注釈入力により注釈の入力処理を行う。

Ｓ２０１では、入力された注釈が注釈ツール３２でペンボタンの押されたペンモードによる手書き注釈であるかどうかの判定を行い、手書き注釈であった場合はＳ２０２の手書き注釈認識処理を行う。

手書き注釈認識処理Ｓ２０２では、図形認識システムと文字認識システムを用い手書き注釈データの認識を行う。手書き認識処理Ｓ２０２により、手書き注釈データも描画システムを用いて行われた注釈の注釈データと同じ注釈データに変換し、以降の処理に用いる注釈データとする。

Ｓ２０３では、注釈データの入力された注釈の順番による注釈番号、注釈種別、注釈サイズ、注釈テキストを注釈キーとしてインデクス記憶装置２０５に登録する。

Ｓ２０４では、ディスプレイ３３に表示されている画面を注釈対象の含まれる画像として読み出す。注釈対象読み出し処理Ｓ２０４では、ディスプレイ３３に表示されている画面を注釈対象の含まれる画像として読み出す方法のほか、文書データ選択Ｓ１２で選択された文書データのディスプレイ３３に表示されている個所をデータとして取り出すことが考えられるが、以降の処理が前記方法による処理とは異なるため、後述の方法による実施例を他の実施例にあげている。

Ｓ２０５からＳ２１２により、注釈データをもとに注釈対象の含まれる画像から注釈対象を長方形の画像として抽出し、長方形の画面上の位置と文書データの対応を取ることで注釈対象の文書データ内での位置情報を取得する。

Ｓ２０５では、注釈データの種別が直線であるかの判定を行い、注釈種別が直線であれば直線注釈対象抽出処理Ｓ２０６を行う。本実施例における直線注釈対象抽出処理Ｓ２０６では、直線の注釈対象を直線の上方あるいは下方にあるテキストとし、直線の長さから上方下方に注釈対象範囲を、テキストが抽出されるまで広げ、上方か下方の近い方のテキストを注釈対象として抽出する。同時に、長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。

Ｓ２０７では、注釈データの種別が四角であるかの判定を行い、注釈種別が四角であれば四角注釈対象抽出処理Ｓ２０８を行う。本実施例における四角注釈対象抽出処理Ｓ２０８では、四角内に対して注釈を行ったと考え四角を囲む長方形を注釈対象とし、注釈対象を長方形の画像として注釈対象の含まれる画像から切り出す。同時に、長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。本実施例では、四角による注釈と前記長方形の間に四角の大きさに比例したマージンを設けることにより、注釈入力誤差の許容範囲を設ける。

Ｓ２０９では、注釈データの種別が円であるかの判定を行い、注釈種別が円であれば円注釈対象抽出処理Ｓ２１０を行う。本実施例における円注釈対象抽出処理Ｓ２１０では、円内に対して注釈を行ったと考え円を囲む長方形を注釈対象とし、注釈対象を長方形の画像として注釈対象の含まれる画像から切り出す。同時に、長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。本実施例では、円による注釈と前記長方形の間に円の大きさに比例したマージンを設けることにより、注釈入力誤差の許容範囲を設ける。

Ｓ２１１では、注釈データの種別が文字であるかの判定を行い、注釈種別が文字であれば文字注釈対象抽出処理Ｓ２１２を行い、文字でない場合はインデクス登録を終了する。本実施例では、文字による注釈の場合は注釈対象の選択を四角の描画と同様に行ってから注釈文字の入力が行われるため、注釈対象抽出は描画された四角をもとに四角注釈対象抽出を行うこととする。同時に、注釈対象とした長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。ただし本実施例では、文字注釈と文字注釈対象抽出処理Ｓ２１２により抽出された注釈対象を含む画像をインデクス登録する注釈対象とするため、文字注釈と文字注釈対象抽出処理Ｓ２１２により抽出された注釈対象を含むような長方形の画像を切り出しておく。

また、文字の注釈対象範囲を文字の近傍にあるテキストか画像とし、文字注釈対象抽出処理Ｓ２１２を、文字注釈から上下左右方向に均等に注釈対象範囲を広げながらテキストと画像の探索を行い、テキストまたは画像の一部が発見されて以降は全部が対象範囲となるよう注釈対象範囲の拡大を偏って行うとすれば、文字注釈入力時に注釈対象範囲を四角により指定する必要がなくなる。ただしこの際には、抽出された注釈対象が文書や語句の一部であることが予想されるため、注釈対象に含まれるテキストと辞書とのマッチング、構文解析等により注釈対象に含まれるテキストに意味があるのかを判断する処理と、意味のあるテキストが抽出されるまで注釈対象を拡大していく処理を用いるのが効果的である。

Ｓ２１３では、注釈対象からテキストを抽出する処理を行う。本実施例では、注釈対象が画像として抽出されるため、ＯＣＲ等の文字認識処理により行う。

Ｓ２１４では、抽出された注釈対象をインデクスデータ記憶装置３５に注釈対象として登録する。テキスト抽出処理Ｓ２１３でテキストが抽出された場合は注釈対象の画像ファイル名の頭を文字にしその後ろにテキストを含む注釈対象の通し番号をつけ、テキストが抽出されなかった場合は画像にしその後ろにテキストを含まない注釈対象の通し番号をつける。

Ｓ２１５では、インデクスデータ記憶装置２５に注釈対象キーの登録を行う。注釈対象キー登録処理Ｓ２１５では、注釈対象からテキストが抽出されたかを判定しテキストが抽出された場合には注釈対象キーのテキストとして、テキストの文字数を注釈対象キーの文字数として登録し、注釈対象と同時に取得された注釈対象の文書データ内での位置情報を注釈対象キーのページ数、行数、桁数として登録する。

図９に、検索処理Ｓ１６を行うときの処理例についてフローチャートを示し説明する。

Ｓ３００では、インデクス記憶装置２５からインデクスデータを読み込み該当インデクスリストとする。

Ｓ３０１では、図６に示した検索操作によって入力された検索操作をもとに、注釈キーによる検索を行うか、注釈対象キーによる検索を行うか、文書データ位置による検索を行うかを指示する。

モード選択６００で一覧モードが選択された場合と検索モードの検索項目選択部６０８で一覧が選択された場合にはすべての検索を行わないとし、検索モードの検索項目選択部６０８で一覧以外が選択された場合には該当する検索を行う指示する。

Ｓ３０２では、検索指示Ｓ３０１が注釈キーによる検索かの判定を行う。検索指示Ｓ３０１が注釈キーによる検索であれば、ユーザが検索キーである注釈キーを入力するＳ３０３を行い、該当インデクスリスト編集Ｓ３０４を行う。該当インデクスリスト編集Ｓ３０４では、検索に該当したインデクスのみを残す編集を行う。

Ｓ３０５では、検索指示Ｓ３０１が注釈対象キーによる検索かの判定を行う。検索指示Ｓ３０１が注釈対象キーによる検索であれば、ユーザが検索キーである注釈対象キーを入力するＳ３０６を行い、該当インデクスリスト編集Ｓ３０４を行う。

Ｓ３０７では、検索指示Ｓ３０１が文書データ位置による検索かの判定を行う。検索指示Ｓ３０１が文書データ位置による検索であれば、ユーザが検索キーである文書データ位置を入力するＳ３０８を行い、入力された検索キーとインデクスデータのマッチングを行い、該当インデクスリスト編集３０４を行う。

Ｓ３０９では、検索結果の表示がリスト表示モードであるかの判定を行い、リスト表示モードであれば該当インデクスリストをリスト表示するＳ３１０を行い、リスト表示モードでなければ該当インデクスリストをイメージ表示するＳ３１１を行う。

Ｓ３１２では、ユーザが次の操作を入力する。

Ｓ３１３では、操作入力Ｓ３１２でユーザが入力した操作が絞込検索であるかの判定を行い、絞込検索であれば該当インデクスリストを検索対象とし検索指示Ｓ３０１に戻る。操作入力Ｓ３１２が絞込検索でなければ、Ｓ３１４で該当インデクスリストの中から、ユーザがインデクスを選択したかの判定を行う。該当インデクスリストの中からユーザがインデクスを選択していた場合には検索処理を終了し、選択していない場合にはＳ３１５の検索終了かの判定を行う。

検索終了判定Ｓ３１５では、検索が終了であれば終了し、終了でなければインデクスデータ読み込みＳ３００に戻る。

［他の実施例］
本発明の実施例ではでは検索キーワードの抽出を表示画面上の画像情報がら光学的文字認識（ＯＣＲ）を使って抽出する場合を記述したが、画面上の注釈データ入力位置と文書データの対応付けはインデックステーブルを使うことによって注釈データと文書データの対応位置関係は公知の方法で容易に実現できるので、文書データから取り出す方法で実現することも可能である。

本発明の特徴を説明するためのクレーム関連図である。 本実施例の構成を示す機能ブロック図である。 本実施例の説明のための初期表示、および注釈データ入力例を示す図である。 本実施例による注釈データの種類に応じた動作のための説明図である。 本実施例による文書データとインデックス記憶との関係を示す図である。 本実施例による検索操作の流れを説明する図である。 本実施例の動作説明のためのメインフローチャートである。 本実施例による注釈データ入力処理を説明するフローチャートである。 本実施例による検索処理を説明するフローチャートである。

符号の説明

２０ マイクロプロセッサ
２１ キーボード、マウスなどの入力装置
２２ ランダムアクセスメモリ
２３ ディスプレイ
２４ 入力装置から入力された文書データ
２５ 注釈データ、検索キーを格納するインデックス記憶
２６ ＦＤ、ＣＤ−ＲＯＭ、ハードディスクなどの外部記憶装置
２７ 各装置間を接続するシステムバス

Claims (24)

1. 文字、図形、画像等を含む文書データを格納する文書データ記憶手段、文書データ記憶の内容を表示器に表示する表示制御手段、前記文書データを入力する文書入力手段を備えた情報処理装置において、
   表示中の文書データの表示画面を画像情報として一時記憶する表示画面記憶手段、
   表示画面の任意の位置に対応させて注釈データを入力する注釈入力手段、
   前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録手段、
   前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出手段、
   前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出手段、
   抽出された第２の検索キーを登録する第２の検索キー登録手段、
   前記、第１の検索キー登録手段によって登録された第１の検索キー、および第２の検索キー登録手段によって登録された第２の検索キーの双方を記憶するインデックス記憶手段を備えたことを特徴とする情報処理装置。
2. 注釈データは手書き線、直線、文字、図形のうち１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項１記載の情報処理装置。
3. 表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録手段を備えたことを特徴とする請求項１記載の情報処理装置。
4. 表示画面記憶手段の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出手段を備えたことを特徴とする請求項１記載の情報処理装置。
5. 請求項１で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする請求項１記載の情報処理装置。
6. 前記、請求項１で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする情報処理装置。
7. 文字、図形、画像等を含む文書データを格納する文書データ記憶工程、文書データ記憶の内容を表示器に表示する表示制御工程、前記文書データを入力する文書入力工程を備えた情報処理装置において、
   表示中の文書データの表示画面を一時記憶する表示画面記憶工程、
   表示画面の任意の位置に対応させて注釈データを入力する注釈入力工程、
   前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録工程、
   前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出工程、
   前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出工程、
   抽出された第２の検索キーを登録する第２の検索キー登録工程、
   前記、第１の検索キー登録工程によって登録された第１の検索キー、および第２の検索キー登録工程によって登録された第２の検索キーの双方を記憶するインデックス記憶工程を備えたことを特徴とする注釈処理方法。
8. 注釈データは手書き線、直線、文字、図形の１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項７記載の注釈処理方法。
9. 前記、請求項６において、表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録工程を備えたことを特徴とする注釈処理方法。
10. 表示画面記憶の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出工程を備えたことを特徴とする請求項７記載の注釈処理方法。
11. 請求項７で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする請求項７記載の注釈処理方法。
12. 前記、請求項７で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする注釈処理方法。
13. 文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理とを備えた情報処理プログラムにおいて、
    表示中の文書データの表示画面を一時記憶する表示画面記憶処理、
    表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、
    前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録処理、
    前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、
    前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出処理、
    抽出された第２の検索キーを登録する第２の検索キー登録処理、
    前記、第１の検索キー登録処理によって登録された第１の検索キー、および第２の検索キー登録処理によって登録された第２の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラム。
14. 注釈データは手書き線、直線、文字、図形の１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項１３記載の情報処理プログラム。
15. 表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする請求項１３記載の情報処理プログラム。
16. 表示画面記憶の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出処理を備えたことを特徴とする請求項１３記載の情報処理プログラム。
17. 請求項１３で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする請求項１３記載の情報処理プログラム。
18. 前記、請求項１１で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラム。
19. 文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理を備えた情報処理プログラムにおいて、
    表示中の文書データの表示画面を一時記憶する表示画面記憶処理、
    表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、
    前記注釈データを第１の検索キーとして前記文書データに対応付けて登録する第１の検索キー登録処理、
    前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、
    前記注釈対象領域から第２の検索キーを抽出する第２の検索キー抽出処理、
    抽出された第２の検索キーを登録する第２の検索キー登録処理、
    前記、第１の検索キー登録処理によって登録された第１の検索キー、および第２の検索キー登録処理によって登録された第２の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。
20. 注釈データは手書き線、直線、文字、図形の１つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項１９記載の情報処理プログラムを格納した記録媒体。
21. 表示画面中の注釈対象領域の画像データを縮小画像として第１の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする請求項１９記載の情報処理プログラムを格納した記録媒体。
22. 表示画面記憶の注釈対象領域から文字認識機能（ＯＣＲ）により検索情報を抽出する第２の検索キー抽出処理を備えたことを特徴とする請求項１９記載の情報処理プログラムを格納した記録媒体。
23. 請求項１９で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする請求項１９記載の情報処理プログラムを格納した記録媒体。
24. 前記、請求項１９で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。