JP2005182460A - Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein - Google Patents

Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein Download PDF

Info

Publication number
JP2005182460A
JP2005182460A JP2003422341A JP2003422341A JP2005182460A JP 2005182460 A JP2005182460 A JP 2005182460A JP 2003422341 A JP2003422341 A JP 2003422341A JP 2003422341 A JP2003422341 A JP 2003422341A JP 2005182460 A JP2005182460 A JP 2005182460A
Authority
JP
Japan
Prior art keywords
annotation
data
search key
search
document data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003422341A
Other languages
Japanese (ja)
Inventor
Kisho Sato
紀章 佐藤
Tadashi Kimura
正 木村
Tadahiko Iijima
忠彦 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003422341A priority Critical patent/JP2005182460A/en
Publication of JP2005182460A publication Critical patent/JP2005182460A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To extract and retrieve retrieval information from a corresponding part in electronic information data relating to an added annotation in adding annotation data to document data. <P>SOLUTION: An information processor is provided with: a document data storage for storing the document data; an annotation input means for inputting the annotation data (characters, graphics and lines) by correlating the data with the document data; a means for registering the annotation data as retrieval keywords; a means for extracting the retrieval keywords (characters) from an object area corresponding to the annotation data and registering them; a means for listing and displaying the registered retrieval keywords and displaying the pertinent document data; a retrieval means for performing retrieval by the registered keyword; and a means for displaying the document data of a retrieved result on a screen together with the annotation data. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は文書データ中に注釈データを入力することができる情報処理装置に関するものである。特に注釈データに関連した情報をもとに検索する機能をもった情報処理装置に関する。   The present invention relates to an information processing apparatus capable of inputting annotation data into document data. In particular, the present invention relates to an information processing apparatus having a function of searching based on information related to annotation data.

従来、この種の情報処理装置において登録文書に対して検索情報としてアノテーション機能、しおり機能、マーカ機能といった検索データを登録することができる装置が実現されている。アノテーション機能では登録した文字列での検索が可能であり、登録した文字列の部分一致での検索が可能である。しおり機能では重要なページにしるしをつけておき、しおり一覧からジャンプする機能が提供されている。マーカ機能では注目すべき領域をマーカで印をつけ囲んでおき使用したマーカ色で検索し、該当ページを表示する機能が提供されている。   Conventionally, an apparatus capable of registering search data such as an annotation function, a bookmark function, and a marker function as search information for a registered document in this type of information processing apparatus has been realized. With the annotation function, it is possible to search with registered character strings, and it is possible to search with partial matches of registered character strings. The bookmark function provides a function to mark important pages and jump from the bookmark list. In the marker function, a function is provided in which a region to be noticed is marked with a marker, searched with the marker color used, and the corresponding page is displayed.

先行技術例として、特許文献1では注釈イメージを文書データの指定位置に対応づけて登録できる文書処理装置が提案されている。該出願では初期の手書きストロークで文書データの対応場所を指定し、第2ストローク以降で注釈イメージを作成して登録することが提案されている。
特開2000−250903号公報
As a prior art example, Patent Document 1 proposes a document processing apparatus capable of registering an annotation image in association with a designated position of document data. In this application, it is proposed to designate the corresponding location of the document data with the initial handwriting stroke, and create and register the annotation image after the second stroke.
JP 2000-250903 A

前記、従来例による注釈データ登録機能では文書に付加した注釈データそのものを検索情報として利用して、該当文書の特定のページを呼び出すことができた。前記、先行技術例においても手書きによる注釈イメージを用いて文書データと注釈イメージを対応付けて登録し、呼び出すことが提案されている。   In the conventional annotation data registration function, the annotation data itself added to the document can be used as search information to call a specific page of the document. Also in the prior art examples, it has been proposed to register and call document data and annotation images in association with each other using handwritten annotation images.

しかしながら、前記のいずれの場合においても注釈データを付加した箇所の元データの近傍にある文字や画像情報など、利用者が着目している情報での検索、呼び出しを行うことができなかった。   However, in any of the cases described above, it has not been possible to perform a search or call using information focused on by the user, such as characters or image information in the vicinity of the original data where the annotation data is added.

本発明は、以上の点に着目して成されたもので、文書データに注釈データを付加するとき、付加した注釈に関連した電子情報データ中の対応する部分から検索情報を抽出し検索を可能とする情報処理装置、注釈処理方法、情報処理プログラムおよび情報処理プログラムを格納した記録媒体を提供することを目的とする。   The present invention has been made paying attention to the above points. When annotation data is added to document data, retrieval can be performed by extracting search information from a corresponding portion in electronic information data related to the added annotation. An information processing apparatus, an annotation processing method, an information processing program, and a recording medium storing the information processing program are provided.

本発明は、注釈データを文書に付加するときに、注釈データに対応する文書データの表示画面から文字認識機能(OCR)を使って検索情報を取得し登録することにより、注釈データ登録後に表示画面と対応する注釈データとを対応付けて呼び出すことを可能とすることを特徴とする。   The present invention obtains and registers search information using a character recognition function (OCR) from a display screen of document data corresponding to the annotation data when adding the annotation data to the document. And the corresponding annotation data can be called in association with each other.

また、付加する注釈データの種類に応じて表示画面上の登録対象領域を変化させ、特別な操作を必要とせずに注釈データ入力位置の近傍から検索データを取得することを特徴とする。   Further, the registration target area on the display screen is changed according to the type of annotation data to be added, and search data is acquired from the vicinity of the annotation data input position without requiring any special operation.

すなわち、本発明の技術内容は以下の構成を備えることにより前記課題を解決できた。   That is, the technical contents of the present invention can solve the above-described problems by including the following configuration.

(1)文字、図形、画像等を含む文書データを格納する文書データ記憶手段、文書データ記憶の内容を表示器に表示する表示制御手段、前記文書データを入力する文書入力手段を備えた情報処理装置において、表示中の文書データの表示画面を画像情報として一時記憶する表示画面記憶手段、表示画面の任意の位置に対応させて注釈データを入力する注釈入力手段、前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録手段、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出手段、前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出手段、抽出された第2の検索キーを登録する第2の検索キー登録手段、前記、第1の検索キー登録手段によって登録された第1の検索キー、および第2の検索キー登録手段によって登録された第2の検索キーの双方を記憶するインデックス記憶手段を備えたことを特徴とする情報処理装置。   (1) Information processing comprising document data storage means for storing document data including characters, figures, images, etc., display control means for displaying the contents of the document data storage on a display, and document input means for inputting the document data In the apparatus, a display screen storage means for temporarily storing a display screen of document data being displayed as image information, an annotation input means for inputting annotation data corresponding to an arbitrary position on the display screen, and a first search for the annotation data First search key registration means for registering the document data in association with the document data, annotation target area extraction means for extracting the annotation target area from the vicinity of the input position of the annotation data, and a second search key from the annotation target area Second search key extraction means for extracting the second search key, second search key registration means for registering the extracted second search key, and registration by the first search key registration means First search key, and an information processing apparatus characterized by comprising an index storage means for storing both the second search key registered by the second search key registration unit that.

(2)注釈データは手書き線、直線、文字、図形のうち1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記(1)記載の情報処理装置。   (2) The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. (1) The information processing apparatus according to description.

(3)表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録手段を備えたことを特徴とする前記(1)記載の情報処理装置。   (3) The information processing apparatus according to (1), further comprising annotation target image registration means for registering image data of the annotation target area in the display screen in association with the first search key as a reduced image. .

(4)表示画面記憶手段の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出手段を備えたことを特徴とする前記(1)記載の情報処理装置。   (4) The information processing apparatus according to (1), further comprising second search key extraction means for extracting search information from the annotation target area of the display screen storage means by a character recognition function (OCR).

(5)前記(1)で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする前記(1)記載の情報処理装置。   (5) Document search means for searching for the corresponding position in the document data with reference to the index storage means registered in (1), and a search result for combining and displaying the annotation data together with the searched document data The information processing apparatus according to (1), further comprising display control means.

(6)前記、(1)で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする情報処理装置。   (6) Document search means for searching for the corresponding position in the document data with reference to the index storage means registered in (1), search for combining and displaying the annotation data together with the searched document data An information processing apparatus comprising a result display control means.

(7)文字、図形、画像等を含む文書データを格納する文書データ記憶工程、文書データ記憶の内容を表示器に表示する表示制御工程、前記文書データを入力する文書入力工程を備えた情報処理装置において、表示中の文書データの表示画面を一時記憶する表示画面記憶工程、表示画面の任意の位置に対応させて注釈データを入力する注釈入力工程、前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録工程、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出工程、前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出工程、抽出された第2の検索キーを登録する第2の検索キー登録工程、前記、第1の検索キー登録工程によって登録された第1の検索キー、および第2の検索キー登録工程によって登録された第2の検索キーの双方を記憶するインデックス記憶工程を備えたことを特徴とする注釈処理方法。   (7) Information processing comprising a document data storage step for storing document data including characters, figures, images, etc., a display control step for displaying the contents of the document data storage on a display, and a document input step for inputting the document data In the apparatus, a display screen storing step of temporarily storing a display screen of document data being displayed, an annotation input step of inputting annotation data corresponding to an arbitrary position on the display screen, and the annotation data as the first search key A first search key registration step for registering in association with document data; an annotation target region extraction step for extracting an annotation target region from the vicinity of the input position of the annotation data; and a second search key is extracted from the annotation target region. A second search key extraction step, a second search key registration step for registering the extracted second search key, and the first search key registered by the first search key registration step. Key, and annotation processing method comprising the index storage step of storing both the second search key registered by the second search key registration process.

(8)注釈データは手書き線、直線、文字、図形の1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記(7)記載の注釈処理方法。   (8) The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. 7) The annotation processing method according to the description.

(9)前記、(6)において、表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録工程を備えたことを特徴とする注釈処理方法。   (9) In the above (6), an annotation process characterized by comprising an annotation target image registration step of registering image data of the annotation target area in the display screen as a reduced image in association with the first search key. Method.

(10)表示画面記憶の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出工程を備えたことを特徴とする前記(7)記載の注釈処理方法。   (10) The annotation processing method according to (7), further comprising a second search key extracting step of extracting search information from the annotation target area of the display screen storage by a character recognition function (OCR).

(11)前記(7)で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする前記(7)記載の注釈処理方法。   (11) A document search step for searching the corresponding position in the document data with reference to the index storage registered in (7), and a search result display for combining and displaying the annotation data together with the searched document data The annotation processing method according to (7), further comprising a control step.

(12)前記、(7)で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする注釈処理方法。   (12) A document search step for searching the corresponding position in the document data with reference to the index storage registered in (7), and a search result for combining and displaying the annotation data together with the searched document data An annotation processing method comprising a display control step.

(13)文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理とを備えた情報処理プログラムにおいて、表示中の文書データの表示画面を一時記憶する表示画面記憶処理、表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録処理、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出処理、抽出された第2の検索キーを登録する第2の検索キー登録処理、前記、第1の検索キー登録処理によって登録された第1の検索キー、および第2の検索キー登録処理によって登録された第2の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラム。   (13) Information including document data storage processing for storing document data including characters, graphics, images, etc., display control processing for displaying the contents of the document data storage on a display, and document input processing for inputting the document data In a processing program, a display screen storage process for temporarily storing a display screen of document data being displayed, an annotation input process for inputting annotation data corresponding to an arbitrary position on the display screen, and the annotation data as a first search key First search key registration process for registering in association with the document data, annotation target area extraction process for extracting an annotation target area from the vicinity of the input position of the annotation data, and extracting a second search key from the annotation target area Registered by the second search key extracting process, the second search key registering process for registering the extracted second search key, and the first search key registering process. First search key, and an information processing program characterized by comprising an index storage process of storing both the second search key registered by the second search key registration process.

(14)注釈データは手書き線、直線、文字、図形の1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記(13)記載の情報処理プログラム。   (14) The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. 13) The information processing program described.

(15)表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする前記(13)記載の情報処理プログラム。   (15) The information processing program according to (13), further comprising an annotation target image registration process for registering image data of the annotation target area in the display screen in association with the first search key as a reduced image .

(16)表示画面記憶の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出処理を備えたことを特徴とする前記(13)記載の情報処理プログラム。   (16) The information processing program according to (13), further including a second search key extraction process for extracting search information from the annotation target area of the display screen storage by a character recognition function (OCR).

(17)前記(13)で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする前記(13)記載の情報処理プログラム。   (17) A document search process for searching the corresponding position in the document data with reference to the index storage registered in (13), and a search result display for combining and displaying the annotation data together with the searched document data. The information processing program according to (13), further comprising a control process.

(18)前記、(11)で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラム。   (18) Document search processing for searching for a corresponding position in document data with reference to the index storage registered in (11), and a search result for combining and displaying the annotation data together with the searched document data An information processing program comprising display control processing.

(19)文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理を備えた情報処理プログラムにおいて、表示中の文書データの表示画面を一時記憶する表示画面記憶処理、表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録処理、前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出処理、抽出された第2の検索キーを登録する第2の検索キー登録処理、前記、第1の検索キー登録処理によって登録された第1の検索キー、および第2の検索キー登録処理によって登録された第2の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。   (19) Information processing including document data storage processing for storing document data including characters, graphics, images, etc., display control processing for displaying the contents of the document data storage on a display, and document input processing for inputting the document data In the program, a display screen storage process for temporarily storing a display screen of document data being displayed, an annotation input process for inputting annotation data corresponding to an arbitrary position on the display screen, and the annotation data as the first search key First search key registration processing for registering in association with document data, annotation target region extraction processing for extracting an annotation target region from the vicinity of the input position of the annotation data, and extracting a second search key from the annotation target region Registered by the second search key extraction process, the second search key registration process for registering the extracted second search key, and the first search key registration process 1 of the search key, and a recording medium storing an information processing program characterized by comprising an index storage process of storing both the second search key registered by the second search key registration process.

(20)注釈データは手書き線、直線、文字、図形の1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする前記(19)記載の情報処理プログラムを格納した記録媒体。   (20) The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. 19) A recording medium storing the information processing program according to the description.

(21)表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする前記(19)記載の情報処理プログラムを格納した記録媒体。   (21) The information processing program according to (19), further comprising an annotation target image registration process for registering image data of the annotation target area in the display screen as a reduced image in association with the first search key. Recording medium that stores

(22)表示画面記憶の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出処理を備えたことを特徴とする前記(19)記載の情報処理プログラムを格納した記録媒体。   (22) An information processing program as set forth in (19) above, comprising a second search key extraction process for extracting search information from the annotation target area of the display screen storage by a character recognition function (OCR) recoding media.

(23)前記(19)で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする前記(19)記載の情報処理プログラムを格納した記録媒体。   (23) A document search process for searching for the corresponding position in the document data with reference to the index storage registered in (19), and a search result display for combining and displaying the annotation data together with the searched document data. A recording medium storing the information processing program according to (19), comprising a control process.

(24)前記、(19)で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。   (24) Document search processing for searching for a corresponding position in the document data with reference to the index storage registered in (19), and a search result for combining and displaying the annotation data together with the searched document data A recording medium storing an information processing program comprising a display control process.

本発明によれば注釈データ入力時に、該当する文書データの注釈データ入力位置近傍から、特別な操作を必要とせず注釈データの種類に応じた所定の登録範囲から検索情報を生成することができるため、検索のための登録操作なしに該当ページを検索し呼び出すことができるようになった。   According to the present invention, when annotating data is input, search information can be generated from a predetermined registration range corresponding to the type of the annotation data without requiring a special operation from the vicinity of the annotation data input position of the corresponding document data. The corresponding page can be searched and called without registration operation for searching.

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。   Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

以下の図の説明において説明を理解しやすくするため、請求項1で定義した第1の検索キーを注釈キー、第2の検索キーを注釈対象キーと呼ぶことにする。   In order to make the description easy to understand in the description of the following drawings, the first search key defined in claim 1 is referred to as an annotation key, and the second search key is referred to as an annotation target key.

図1は、本実施例による情報処理装置による注釈処理方法を示すクレーム関連図である。   FIG. 1 is a claim related diagram showing an annotation processing method by the information processing apparatus according to the present embodiment.

図示において、入力操作手段100は後述のキーボードやマウスなどの入力装置を使用して文字や図形を入力して文書作成、注釈入力、検索指示などを行う入力操作手段である。   In the drawing, an input operation means 100 is an input operation means for inputting a character or a figure using an input device such as a keyboard or a mouse, which will be described later, and performing document creation, annotation input, search instruction and the like.

入力された文書データは文書データ記憶手段101に格納され、表示制御手段102によって文書データは表示装置103に表示される。表示制御手段102では後述するインデックス記憶手段108に格納されている注釈データを文書データ記憶手段101の文書データと対応させて表示することも行う。   The input document data is stored in the document data storage unit 101, and the document data is displayed on the display device 103 by the display control unit 102. The display control unit 102 also displays annotation data stored in an index storage unit 108 (to be described later) in association with the document data in the document data storage unit 101.

表示画面記憶手段104は表示装置103に表示されている文書データの表示画面を一時的に記憶する表示画面記憶手段である。記憶された表示画面は後述の注釈領域抽出手段106で抽出領域の判定と文字認識の入力データとして使用される。   The display screen storage unit 104 is a display screen storage unit that temporarily stores a display screen of document data displayed on the display device 103. The stored display screen is used as input data for extraction area determination and character recognition by an annotation area extraction means 106 described later.

注釈キー登録手段105は表示装置103に表示されている画面に注釈データを登録する。本実施例においては手書きによる線、直線、文字、図形などを使って注釈データを入力する場合を例として示している。注釈データは入力操作手段100から入力されその属性に応じてインデックス記憶108に注釈種別、サイズ、テキストを格納する。   The annotation key registration unit 105 registers the annotation data on the screen displayed on the display device 103. In this embodiment, a case where annotation data is input using handwritten lines, straight lines, characters, figures, etc. is shown as an example. The annotation data is input from the input operation means 100, and the annotation type, size, and text are stored in the index storage 108 according to the attribute.

注釈領域対象抽出手段106は入力された注釈データに対応する表示画面中の取り込み対象領域を決定する手段である。本実施例では線、文字、図形など注釈データの種類によって対象領域を異ならせて取り込むことができる。注釈対象画像登録手段107は注釈データに対応する表示画面中の所定の領域を縮小画像としてインデックス記憶手段108に登録する手段である。   The annotation area target extraction means 106 is a means for determining a capture target area in the display screen corresponding to the input annotation data. In the present embodiment, it is possible to capture different target areas depending on the types of annotation data such as lines, characters, and figures. The annotation target image registration unit 107 is a unit that registers a predetermined area in the display screen corresponding to the annotation data in the index storage unit 108 as a reduced image.

注釈対象キー抽出手段109前記の注釈対象領域抽出手段106によって得られた表示画面上の対象領域から検索キーを抽出する手段である。注釈対象キー登録手段110は抽出された検索キーをインデックス記憶手段108に登録する手段である。   Annotation target key extraction means 109 is means for extracting a search key from the target area on the display screen obtained by the annotation target area extraction means 106. The annotation target key registration unit 110 is a unit that registers the extracted search key in the index storage unit 108.

文書検索手段111はインデックス記憶手段108に登録されている検索データを使用して該当文書の検索を行うことを指示する手段である。文書検索手段113は入力操作手段100からの操作で検索を実行し、インデックス記憶手段108を参照して該当する注釈データの一覧を検索結果記憶112に格納する。   The document search unit 111 is a unit for instructing to search the corresponding document using the search data registered in the index storage unit 108. The document search unit 113 executes a search by an operation from the input operation unit 100, and stores a list of corresponding annotation data in the search result storage 112 with reference to the index storage unit 108.

検索結果は検索結果表示制御手段113によって、表示制御手段102を経由して表示装置103に表示される。検索結果の該当文書データが選択された場合はインデックス記憶108に記憶されている注釈データと文書データの該当ページが合成されて表示される。   The search result is displayed on the display device 103 by the search result display control means 113 via the display control means 102. When the corresponding document data of the search result is selected, the annotation data stored in the index storage 108 and the corresponding page of the document data are combined and displayed.

図2は、本実施例による注釈処理を説明するための情報処理装置の構成を示す機能ブロック図である。図示において、CPU20はマイクロプロセッサであり文書データの表示、注釈データの入力、検索情報の抽出、インデックスへの登録などのプログラムを実行する。   FIG. 2 is a functional block diagram showing the configuration of the information processing apparatus for explaining the annotation processing according to this embodiment. In the figure, a CPU 20 is a microprocessor and executes programs such as document data display, annotation data input, retrieval information extraction, and index registration.

キーボード/マウス21は文字の入力、入力位置の指示などを行う入力装置である。   The keyboard / mouse 21 is an input device for inputting characters, specifying an input position, and the like.

メモリ22にはランダムアクセスメモリで本実施例による注釈データの入力、インデックスへの登録など一連の処理手順が記述されたプログラムが格納されて実行される。また、プログラム実行中に必要となる一時記憶としても使用される。ディスプレイ23は文書データや注釈データ、検索結果などを表示するための表示装置である。文書データ記憶装置24には表示するための文書データが格納されている。   The memory 22 is a random access memory and stores and executes a program describing a series of processing procedures such as input of annotation data and registration in an index according to this embodiment. It is also used as temporary storage required during program execution. The display 23 is a display device for displaying document data, annotation data, search results, and the like. The document data storage device 24 stores document data for display.

インデックスデータ記憶装置25には注釈データや注釈データを入力したときに文書データから抽出された検索情報を格納する記憶装置である。DISK 26は文書データを格納したり、呼び出したりするための外部記憶装置である。   The index data storage device 25 is a storage device that stores annotation data and search information extracted from document data when the annotation data is input. The DISK 26 is an external storage device for storing and calling document data.

27はシステムBUSであり、本実施例により接続されている各種装置とを接続し、制御するシステムバスである。   A system BUS 27 is a system bus that connects and controls various devices connected according to the present embodiment.

図3は、本発明による実施例の表示例である。   FIG. 3 is a display example of the embodiment according to the present invention.

30は、文書データを表示している状態の例であり、この表示状態が注釈の初期表示例である。31は、注釈入力例であり注釈を入力する注釈ツール32が表示されている。   Reference numeral 30 denotes an example of a state in which document data is displayed, and this display state is an initial display example of an annotation. 31 is an example of an annotation input, and an annotation tool 32 for inputting an annotation is displayed.

注釈ツール32の直線等のボタンを押すことにより、各種別の注釈入力が可能となる。   By pressing a button such as a straight line of the annotation tool 32, various types of annotation input can be performed.

注釈ツール32のペンボタンを押すとペン入力モードとなり、クリックアンドドラッグにより手書き線入力が可能である。   When the pen button of the annotation tool 32 is pressed, the pen input mode is entered, and handwriting line input is possible by clicking and dragging.

注釈ツール32の直線、四角、円ボタンを押すと対応する入力モードとなる。直線、四角、円の入力は、クリックアンドドラッグにより始点と終点を指定することで行われる。   When a straight line, square, or circle button of the annotation tool 32 is pressed, a corresponding input mode is set. Lines, squares, and circles are entered by clicking and dragging to specify the start and end points.

注釈ツール32の文字ボタンを押すと文字入力モードとなる。文字の入力は、注釈対象を四角の描画と同様にして選択し、次のクリック後クリック個所にテキスト入力ボックスが表示され、入力装置による文字の入力が可能となる。   When the character button of the annotation tool 32 is pressed, the character input mode is set. For character input, an annotation target is selected in the same manner as in the drawing of a square, and after the next click, a text input box is displayed at the clicked position, and the character can be input by the input device.

注釈入力例31では、注釈ツール32から四角が選択され、33の四角がクリックアンドドラッグにより描画されている。   In the annotation input example 31, a square is selected from the annotation tool 32, and 33 squares are drawn by clicking and dragging.

図4は、各種注釈入力と注釈種別に対応した注釈対象抽出の例である。   FIG. 4 is an example of annotation target extraction corresponding to various annotation inputs and annotation types.

40は、文書データ中のテキストに対する直線による注釈入力の例である。直線注釈入力例40では、“IM Team Fardenand”の下に直線による注釈が行われており、後述直線注釈対象抽出S206により破線の長方形部分が注釈対象として抽出する。   Reference numeral 40 denotes an example of annotation input by a straight line with respect to text in document data. In the straight line annotation input example 40, a straight line annotation is performed under “IM Team Fardendand”, and a rectangular portion of a broken line is extracted as an annotation target by a straight line annotation target extraction S206 described later.

41は、文書データ中のテキストと図形に対する四角による注釈入力の例である。四角注釈入力例41では、“IM Team Fardenand”と画像中の車に四角による注釈が行われており、後述四角注釈対象抽出S208により破線の長方形部分が注釈対象として抽出される。   Reference numeral 41 denotes an example of inputting annotations by using squares with respect to text and graphics in document data. In the square annotation input example 41, “IM Team Fardenand” and the cars in the image are annotated with squares, and a rectangular portion of a broken line is extracted as an annotation target by square annotation target extraction S208 described later.

42は、文書データ中のテキストと図形に対する円による注釈入力の例である。円注釈入力例42では、“IM Team Fardenand”と画像中の車に円による注釈が行われており、後述円注釈対象抽出S208により破線の長方形部分が注釈対象として抽出する。   42 is an example of annotation input by a circle for text and figures in document data. In the circle annotation input example 42, “IM Team Fardenand” and the car in the image are annotated with a circle, and a broken-line rectangular portion is extracted as an annotation object by circle annotation object extraction S208 described later.

43は、文書データ中のテキストと図形に対する文字による注釈入力の例である。文字注釈入力例43では、“IM Team Fardenand”と画像中の車に文字による注釈が行われており、後述文字注釈対象抽出S208により破線の長方形部分が注釈対象として抽出する。   Reference numeral 43 is an example of inputting annotations by using characters for text and graphics in document data. In the character annotation input example 43, “IM Team Fardenand” and the car in the image are annotated with characters, and a rectangular portion of a broken line is extracted as an annotation target by character annotation target extraction S208 described later.

注釈入力手段の1つである前記ペンモードの場合は、クリックアンドドラッグによる手書き線入力後、後述手書き注釈認識処理S202により直線、四角、円、文字に認識されるため、認識結果の種別に対応する各処理を行う。   In the case of the pen mode, which is one of the annotation input means, since a handwritten line is input by clicking and dragging, it is recognized as a straight line, square, circle, or character by the handwritten annotation recognition process S202, which will be described later. Each process is performed.

図5は、注釈対象から生成したインデクスの例である。インデクスには、注釈キー、注釈対象、注釈対象キーがある。注釈キーには、入力された注釈の順番による注釈番号、注釈種別、注釈サイズ、注釈テキストが含まれる。注釈対象は、注釈対象範囲を表示画面記憶104から一部を切り出した画像である。注釈対象キーは、注釈の行われた位置情報であるページ・行数・桁数・文字数と、注釈対象に含まれるテキストである。   FIG. 5 is an example of an index generated from an annotation target. The index includes an annotation key, an annotation target, and an annotation target key. The annotation key includes an annotation number, an annotation type, an annotation size, and an annotation text according to the order of the inputted annotations. The annotation target is an image obtained by cutting out a part of the annotation target range from the display screen storage 104. The annotation target key includes the page, the number of lines, the number of digits, the number of characters, and the text included in the annotation target, which are positional information on which the annotation has been performed.

50と51は、直線、四角、円、文字による注釈が行われた後の状態例である。注釈後状態例50は文書データの1ページ目、注釈後状態例51は文書データの2ページ目とし、これにより生成されたインデクス例を55とする。   Reference numerals 50 and 51 are examples of states after annotation with straight lines, squares, circles, and characters. The post-annotation state example 50 is the first page of the document data, the post-annotation state example 51 is the second page of the document data, and the index example generated thereby is 55.

注釈52を最初に行われた注釈とすると、注釈52の注釈番号は“1”となる。注釈52の注釈種別は“四角”として登録され、サイズは“中”として登録される。注釈52は四角による注釈であるため、注釈テキストは空欄となる。後述のテキスト抽出処理S213により注釈対象からテキストが抽出されたため、注釈52の注釈対象の切り出し画像は“文字1”として登録され、注釈対象キーのテキストにテキスト抽出結果である“トヨタ自動車とホンダ”が登録され、文字数“10”が登録される。後述四角注釈対象抽出S208により抽出される注釈対象の位置情報は、注釈52の注釈対象キーのページ数、行数、桁数も注釈対象キーとして登録さる。   If the annotation 52 is the annotation made first, the annotation number of the annotation 52 is “1”. The annotation type of the annotation 52 is registered as “square”, and the size is registered as “medium”. Since the annotation 52 is a square annotation, the annotation text is blank. Since the text was extracted from the annotation target by the text extraction process S213 described later, the clipped image of the annotation target of the annotation 52 is registered as “character 1”, and “Toyota and Honda”, which is the text extraction result, is added to the text of the annotation target key. Is registered and the number of characters “10” is registered. In the position information of the annotation target extracted by the square annotation target extraction S208 described later, the number of pages, the number of lines, and the number of digits of the annotation target key of the annotation 52 are also registered as the annotation target key.

注釈53を2番目に入力された注釈とすると、注釈53の注釈番号は“2”となる。注釈53の注釈種別は“円”と登録され、サイズは“小”と登録される。注釈53は円であるため、注釈テキストは空欄となる。後述のテキスト抽出処理S213により注釈対象からテキストが抽出されなかったため、注釈対象の切り出し画像は“画像1”として登録さる。注釈53では、注釈対象が画像であるため、注釈対象キーのテキストと文字数が空欄となる。後述円注釈対象抽出S206により抽出される注釈対象の位置情報は、注釈53の注釈対象キーのページ数、行数、桁数も注釈対象キーとして登録される。   When the annotation 53 is the second input annotation, the annotation number of the annotation 53 is “2”. The annotation type of the annotation 53 is registered as “circle”, and the size is registered as “small”. Since the annotation 53 is a circle, the annotation text is blank. Since no text is extracted from the annotation target by the text extraction processing S213 described later, the cut-out image of the annotation target is registered as “image 1”. In the annotation 53, since the annotation target is an image, the text and the number of characters of the annotation target key are blank. In the annotation target position information extracted by circle annotation target extraction S206 described later, the number of pages, the number of lines, and the number of digits of the annotation target key of the annotation 53 are also registered as the annotation target key.

注釈54と注釈55をそれぞれ3番目、4番目に入力された注釈とすると、注釈52と同様にインデクスが登録される。   If the annotation 54 and the annotation 55 are the third and fourth input annotations, respectively, the index is registered in the same manner as the annotation 52.

注釈56を5番目に入力された注釈とすると、注釈56の注釈番号は“5”となる。注釈56の注釈種別は“文字”と登録され、注釈キーのテキストは入力文字“協調”と登録され、サイズは注釈キーのテキストの文字数である“2”が登録される。注釈56の注釈対象と注釈対象キーの登録は、注釈52と同様に行われる。   If the annotation 56 is the fifth input annotation, the annotation number of the annotation 56 is “5”. The annotation type of the annotation 56 is registered as “character”, the text of the annotation key is registered as the input character “cooperation”, and the size is registered as “2” which is the number of characters of the text of the annotation key. The annotation target and annotation target key of the annotation 56 are registered in the same manner as the annotation 52.

図6は、検索操作の流れを示した例である。   FIG. 6 is an example showing the flow of the search operation.

600では、一覧表示モードと検索モードの選択を行う例である。モード選択600での選択結果は、後述の検索指示S300に反映される。   Reference numeral 600 denotes an example in which a list display mode and a search mode are selected. The selection result in the mode selection 600 is reflected in a search instruction S300 described later.

601は、モード選択600で一覧表示モードを選んだ場合に表示される例である。602は、表示対象インデクスの表示モードを選択するタブであり、リスト表示モードとイメージ表示モードがあり、一覧表示モード例601ではリスト表示モードが選択されている。表示モード選択タブ602により、いつでもリスト表示モードとイメージ表示モードの切り替えが可能である。603は、表示対象インデクスの表示リストであり、一覧表示モード例601では前出インデクス例55の一部が表示されている。604は、表示しているリストをスクロールするスクロールバーであり、このスクロールバー604を操作することにより、表示外の表示対象インデクスを表示することができる。   Reference numeral 601 denotes an example displayed when the list display mode is selected in the mode selection 600. Reference numeral 602 denotes a tab for selecting the display mode of the display target index, which includes a list display mode and an image display mode. In the list display mode example 601, the list display mode is selected. A list display mode and an image display mode can be switched at any time by a display mode selection tab 602. Reference numeral 603 denotes a display list of display target indexes. In the list display mode example 601, a part of the above-described index example 55 is displayed. Reference numeral 604 denotes a scroll bar for scrolling the displayed list. By operating the scroll bar 604, a display target index that is not displayed can be displayed.

605には、表示対象インデクスから選択された注釈の注釈対象をプレビュー表示する。一覧表示例601では、表示リスト603で注釈番号5が選択されており、注釈対象プレビュー605には、注釈番号5の注釈対象が表示されている。表示リスト603の中にある注釈の1つをダブルクリックするか、注釈対象プレビュー605がクリックされると、注釈対象文書データに注釈が付加された画面610が表示される。   In 605, the annotation target of the annotation selected from the display target index is displayed as a preview. In the list display example 601, the annotation number 5 is selected in the display list 603, and the annotation target with the annotation number 5 is displayed in the annotation target preview 605. When one of the annotations in the display list 603 is double-clicked or the annotation target preview 605 is clicked, a screen 610 in which the annotation is added to the annotation target document data is displayed.

606は、前記一覧モード表示例601と同様にモード選択600で一覧表示モードを選んだ場合に表示される例である。一覧表示モード表示例606は、表示モード選択タブ602でイメージ表示モードが選択されている点で、前記一覧表示モード表示例601と異なる。   606 is an example displayed when the list display mode is selected by the mode selection 600 as in the list mode display example 601. The list display mode display example 606 is different from the list display mode display example 601 in that the image display mode is selected on the display mode selection tab 602.

一覧表示モード表示例606では、表示モード選択タブ602でイメージ表示モードが選択されているため、注釈の一覧が注釈対象プレビューと注釈対象キーのテキストの一部を並べて表示されている。注釈対象プレビューがクリックされると、注釈対象文書データに注釈が付加された画面610が表示される。   In the list display mode display example 606, since the image display mode is selected in the display mode selection tab 602, a list of annotations is displayed side by side with a part of the annotation target preview and the text of the annotation target key. When the annotation target preview is clicked, a screen 610 in which an annotation is added to the annotation target document data is displayed.

607は、モード選択600において検索を選んだ検索モード表示例である。608は、検索項目選択部であり、各検索項目と検索項目の組み合わせが選択可能である。また、検索項目選択部608の中に一覧表示も用意されており、一覧表示が選択された場合は一覧表示モード表示例601、606と同じものが表示されることになる。609は、検索キー入力部でありここで検索したいテキストや注釈種別を選択する。検索キー入力部609には、検索項目選択部608で選択された検索項目に応じて最適な入力インターフェースが提供される。検索にマッチしたインデクスは表示インデクスとなり、一覧表示モード表示例601、606と同様にリスト表示、イメージ表示され、同様の動作を行う。検索結果表示状態で検索項目の選択と検索キーの入力を行うと、検索結果である表示インデクスをもとに絞込検索を行う。   Reference numeral 607 denotes a search mode display example in which search is selected in the mode selection 600. Reference numeral 608 denotes a search item selection unit, which can select combinations of search items and search items. A list display is also prepared in the search item selection unit 608, and when the list display is selected, the same display as the list display mode display examples 601 and 606 is displayed. Reference numeral 609 denotes a search key input unit which selects a text or an annotation type to be searched. The search key input unit 609 is provided with an optimal input interface according to the search item selected by the search item selection unit 608. The index that matches the search becomes a display index, and is displayed as a list and an image as in the list display mode display examples 601 and 606, and performs the same operation. When a search item is selected and a search key is entered in the search result display state, a narrow search is performed based on the display index that is the search result.

図7は、情報処理装置における注釈処理方法である本実施例のフローチャートを示す。   FIG. 7 shows a flowchart of the present embodiment which is an annotation processing method in the information processing apparatus.

図7における開始とは、図2に示した情報処理装置における注釈処理に用いる各装置に電源が行き渡りDISK37からオペレーションシステムが読み出された状態で、情報処理装置における注釈処理が起動されたことを示す。   The start in FIG. 7 means that the annotation processing in the information processing apparatus is started in a state where power is distributed to each device used for the annotation processing in the information processing apparatus shown in FIG. 2 and the operation system is read from the DISK 37. Show.

情報処理装置における注釈処理の起動後、まずS10でユーザが文書データを読み込みモード、注釈モード、検索モードの選択を行う。文書読み込みモードでは文書の読み込み処理を、注釈モードでは文書に対する注釈の付加処理を、検索モードではインデクス記憶装置25に記憶されているインデクスの検索処理を行う。   After starting the annotation process in the information processing apparatus, first, in S10, the user selects a document data reading mode, annotation mode, and search mode. A document reading process is performed in the document reading mode, an annotation adding process is performed on the document in the annotation mode, and an index searching process stored in the index storage device 25 is performed in the search mode.

S11では、処理モードが文書読み込みモードかの判定を行い、文書読み込みモードであればS12の文書データ選択を行う。文書データ選択S12では、オペレーションシステム上でアクティブになっている文書データが選択される。文書データ選択S12では文書データの選択と同時に、文書データ選択S12で選択された文書データに対応したインデクスデータ記憶領域がインデクスデータ記憶装置25内に存在しない場合は、インデクスデータ記憶装置内にインデクスデータ記憶領域を作成する。本実施例は理解しやすいよう、1つの文書データに対する注釈と検索を説明する。   In S11, it is determined whether the processing mode is the document reading mode. If the processing mode is the document reading mode, the document data is selected in S12. In document data selection S12, document data that is active on the operation system is selected. In the document data selection S12, when the index data storage area corresponding to the document data selected in the document data selection S12 does not exist in the index data storage device 25 simultaneously with the selection of the document data, the index data storage device stores the index data. Create a storage area. In this embodiment, an annotation and search for one document data will be described for easy understanding.

各文書データに対するインデクスデータは、どの文書に対して行われた注釈であるかをインデクスに登録することにより、インデクスデータ記憶装置内の各文書に対応するインデクスデータ記憶領域を設けないことも考えられる。   It may be possible not to provide an index data storage area corresponding to each document in the index data storage device by registering in the index which index data for each document data is an annotation made to which document. .

S13では、処理モードが注釈モードかの判定を行い、注釈モードであればS14のインデクス登録を行う。インデクス登録S14では、注釈入力処理を行い、システムが入力された注釈データをもとにインデクスの生成と登録を行う。   In S13, it is determined whether the processing mode is the annotation mode. If it is the annotation mode, the index registration in S14 is performed. In the index registration S14, an annotation input process is performed, and the system generates and registers an index based on the input annotation data.

S15では、処理モードが検索モードかの判定を行い、検索モードであればS16の検索処理を行う。検索処理S16では、ユーザが一覧モードか検索モードを選択し、各モードでユーザが望みの注釈の検索を行い、検索結果をもとに文書データの読み込みと注釈データの合成を行う。   In S15, it is determined whether the processing mode is the search mode. If the search mode is the search mode, the search process in S16 is performed. In the search process S16, the user selects either the list mode or the search mode, the user searches for the desired annotation in each mode, and reads the document data and combines the annotation data based on the search result.

S17では、各処理モードの処理結果をディスプレイ33に表示する。   In S17, the processing result of each processing mode is displayed on the display 33.

S18では、処理の終了判定を行い、処理を終了しない場合は処理モード選択S10に戻り、処理を終了する場合は情報処理装置における注釈処理を終了する。   In S18, the end of the process is determined. If the process is not terminated, the process returns to the process mode selection S10. If the process is terminated, the annotation process in the information processing apparatus is terminated.

図8に、インデクス登録処理S14を行うときの処理例についてフローチャートを示し説明する。   FIG. 8 is a flowchart illustrating a processing example when the index registration processing S14 is performed.

S200では、図3に示した注釈入力により注釈の入力処理を行う。   In S200, an annotation input process is performed by the annotation input shown in FIG.

S201では、入力された注釈が注釈ツール32でペンボタンの押されたペンモードによる手書き注釈であるかどうかの判定を行い、手書き注釈であった場合はS202の手書き注釈認識処理を行う。   In S201, it is determined whether or not the input annotation is a handwritten annotation in the pen mode in which the pen button is pressed by the annotation tool 32. If it is a handwritten annotation, the handwritten annotation recognition process in S202 is performed.

手書き注釈認識処理S202では、図形認識システムと文字認識システムを用い手書き注釈データの認識を行う。手書き認識処理S202により、手書き注釈データも描画システムを用いて行われた注釈の注釈データと同じ注釈データに変換し、以降の処理に用いる注釈データとする。   In the handwritten annotation recognition process S202, handwritten annotation data is recognized using a figure recognition system and a character recognition system. Through the handwriting recognition process S202, the handwritten annotation data is also converted into the same annotation data as the annotation data of the annotation performed using the drawing system, and used as the annotation data used in the subsequent processing.

S203では、注釈データの入力された注釈の順番による注釈番号、注釈種別、注釈サイズ、注釈テキストを注釈キーとしてインデクス記憶装置205に登録する。   In step S203, the annotation number, the annotation type, the annotation size, and the annotation text according to the order of the annotations in which the annotation data is input are registered in the index storage device 205 as annotation keys.

S204では、ディスプレイ33に表示されている画面を注釈対象の含まれる画像として読み出す。注釈対象読み出し処理S204では、ディスプレイ33に表示されている画面を注釈対象の含まれる画像として読み出す方法のほか、文書データ選択S12で選択された文書データのディスプレイ33に表示されている個所をデータとして取り出すことが考えられるが、以降の処理が前記方法による処理とは異なるため、後述の方法による実施例を他の実施例にあげている。   In S204, the screen displayed on the display 33 is read as an image including an annotation target. In the annotation target reading process S204, in addition to the method of reading the screen displayed on the display 33 as an image including the annotation target, the location displayed on the display 33 of the document data selected in the document data selection S12 is used as data. Although it is conceivable to take out, since the subsequent processing is different from the processing by the above method, an embodiment by the method described later is given as another embodiment.

S205からS212により、注釈データをもとに注釈対象の含まれる画像から注釈対象を長方形の画像として抽出し、長方形の画面上の位置と文書データの対応を取ることで注釈対象の文書データ内での位置情報を取得する。   From S205 to S212, the annotation object is extracted as a rectangular image from the image included in the annotation object based on the annotation data, and the correspondence between the position of the rectangle on the screen and the document data is taken into the annotation object document data. Get location information.

S205では、注釈データの種別が直線であるかの判定を行い、注釈種別が直線であれば直線注釈対象抽出処理S206を行う。本実施例における直線注釈対象抽出処理S206では、直線の注釈対象を直線の上方あるいは下方にあるテキストとし、直線の長さから上方下方に注釈対象範囲を、テキストが抽出されるまで広げ、上方か下方の近い方のテキストを注釈対象として抽出する。同時に、長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。   In S205, it is determined whether the annotation data type is a straight line. If the annotation type is a straight line, a straight line annotation target extraction process S206 is performed. In the straight line annotation target extraction process S206 in the present embodiment, the straight line annotation target is set to the text above or below the straight line, and the annotation target range is expanded from the length of the straight line up and down until the text is extracted. The nearer lower text is extracted as an annotation target. At the same time, the correspondence between the position on the rectangular screen and the document data is taken, and the position information in the document data to be annotated is acquired.

S207では、注釈データの種別が四角であるかの判定を行い、注釈種別が四角であれば四角注釈対象抽出処理S208を行う。本実施例における四角注釈対象抽出処理S208では、四角内に対して注釈を行ったと考え四角を囲む長方形を注釈対象とし、注釈対象を長方形の画像として注釈対象の含まれる画像から切り出す。同時に、長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。本実施例では、四角による注釈と前記長方形の間に四角の大きさに比例したマージンを設けることにより、注釈入力誤差の許容範囲を設ける。   In S207, it is determined whether the annotation data type is a square, and if the annotation type is a square, a square annotation target extraction process S208 is performed. In the square annotation target extraction process S208 in the present embodiment, it is assumed that the annotation is performed on the inside of the square, and the rectangle surrounding the square is set as the annotation target, and the annotation target is cut out from the image including the annotation target as a rectangular image. At the same time, the correspondence between the position on the rectangular screen and the document data is taken, and the position information in the document data to be annotated is acquired. In this embodiment, an allowable range of annotation input error is provided by providing a margin proportional to the size of the square between the annotation by the square and the rectangle.

S209では、注釈データの種別が円であるかの判定を行い、注釈種別が円であれば円注釈対象抽出処理S210を行う。本実施例における円注釈対象抽出処理S210では、円内に対して注釈を行ったと考え円を囲む長方形を注釈対象とし、注釈対象を長方形の画像として注釈対象の含まれる画像から切り出す。同時に、長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。本実施例では、円による注釈と前記長方形の間に円の大きさに比例したマージンを設けることにより、注釈入力誤差の許容範囲を設ける。   In S209, it is determined whether the annotation data type is a circle. If the annotation type is a circle, a circle annotation target extraction process S210 is performed. In the circle annotation target extraction process S210 in the present embodiment, it is assumed that an annotation is performed on the inside of the circle, and a rectangle surrounding the circle is set as the annotation target, and the annotation target is cut out from the image including the annotation target as a rectangular image. At the same time, the correspondence between the position on the rectangular screen and the document data is taken, and the position information in the document data to be annotated is acquired. In this embodiment, an allowable range of annotation input error is provided by providing a margin proportional to the size of the circle between the circle annotation and the rectangle.

S211では、注釈データの種別が文字であるかの判定を行い、注釈種別が文字であれば文字注釈対象抽出処理S212を行い、文字でない場合はインデクス登録を終了する。本実施例では、文字による注釈の場合は注釈対象の選択を四角の描画と同様に行ってから注釈文字の入力が行われるため、注釈対象抽出は描画された四角をもとに四角注釈対象抽出を行うこととする。同時に、注釈対象とした長方形の画面上の位置と文書データの対応を取り注釈対象の文書データ内での位置情報を取得する。ただし本実施例では、文字注釈と文字注釈対象抽出処理S212により抽出された注釈対象を含む画像をインデクス登録する注釈対象とするため、文字注釈と文字注釈対象抽出処理S212により抽出された注釈対象を含むような長方形の画像を切り出しておく。   In S211, it is determined whether the annotation data type is a character. If the annotation type is a character, a character annotation target extraction process S212 is performed. If it is not a character, the index registration is terminated. In this embodiment, in the case of annotation by characters, the annotation target is selected after the selection of the annotation target in the same manner as the drawing of the square, and therefore the annotation target extraction is performed based on the drawn square. To do. At the same time, the correspondence between the position on the rectangular screen to be annotated and the document data is taken, and the position information in the document data to be annotated is acquired. However, in this embodiment, since the image including the character annotation and the annotation target extracted by the character annotation target extraction processing S212 is set as the annotation target for index registration, the annotation target extracted by the character annotation and the character annotation target extraction processing S212 is used. Cut out a rectangular image to include.

また、文字の注釈対象範囲を文字の近傍にあるテキストか画像とし、文字注釈対象抽出処理S212を、文字注釈から上下左右方向に均等に注釈対象範囲を広げながらテキストと画像の探索を行い、テキストまたは画像の一部が発見されて以降は全部が対象範囲となるよう注釈対象範囲の拡大を偏って行うとすれば、文字注釈入力時に注釈対象範囲を四角により指定する必要がなくなる。ただしこの際には、抽出された注釈対象が文書や語句の一部であることが予想されるため、注釈対象に含まれるテキストと辞書とのマッチング、構文解析等により注釈対象に含まれるテキストに意味があるのかを判断する処理と、意味のあるテキストが抽出されるまで注釈対象を拡大していく処理を用いるのが効果的である。   Further, the character annotation target range is set to text or an image in the vicinity of the character, and the character annotation target extraction process S212 searches the text and image while expanding the annotation target range evenly in the vertical and horizontal directions from the character annotation. Alternatively, if a part of the image is discovered and the annotation target range is enlarged so that the whole is the target range, it is not necessary to specify the annotation target range with a square when inputting the character annotation. However, in this case, it is expected that the extracted annotation target is part of the document or phrase, so the text included in the annotation target is matched with the dictionary and the text included in the annotation target by parsing, parsing, etc. It is effective to use a process for determining whether there is a meaning and a process for expanding the annotation target until a meaningful text is extracted.

S213では、注釈対象からテキストを抽出する処理を行う。本実施例では、注釈対象が画像として抽出されるため、OCR等の文字認識処理により行う。   In S213, processing for extracting text from the annotation target is performed. In this embodiment, since the annotation target is extracted as an image, it is performed by character recognition processing such as OCR.

S214では、抽出された注釈対象をインデクスデータ記憶装置35に注釈対象として登録する。テキスト抽出処理S213でテキストが抽出された場合は注釈対象の画像ファイル名の頭を文字にしその後ろにテキストを含む注釈対象の通し番号をつけ、テキストが抽出されなかった場合は画像にしその後ろにテキストを含まない注釈対象の通し番号をつける。   In S214, the extracted annotation object is registered in the index data storage device 35 as an annotation object. When text is extracted in the text extraction process S213, the name of the image file to be annotated is prefixed with a letter, followed by the serial number of the annotation object including the text, and if no text is extracted, it is converted into an image and the text after it. The serial number of the annotation target that does not contain

S215では、インデクスデータ記憶装置25に注釈対象キーの登録を行う。注釈対象キー登録処理S215では、注釈対象からテキストが抽出されたかを判定しテキストが抽出された場合には注釈対象キーのテキストとして、テキストの文字数を注釈対象キーの文字数として登録し、注釈対象と同時に取得された注釈対象の文書データ内での位置情報を注釈対象キーのページ数、行数、桁数として登録する。   In S215, the annotation target key is registered in the index data storage device 25. In the annotation target key registration process S215, it is determined whether text is extracted from the annotation target. When the text is extracted, the number of characters of the text is registered as the number of characters of the annotation target key as the text of the annotation target key. At the same time, the position information in the annotation target document data is registered as the number of pages, the number of lines, and the number of digits of the annotation target key.

図9に、検索処理S16を行うときの処理例についてフローチャートを示し説明する。   FIG. 9 is a flowchart illustrating a processing example when the search processing S16 is performed.

S300では、インデクス記憶装置25からインデクスデータを読み込み該当インデクスリストとする。   In S300, the index data is read from the index storage device 25 and set as the corresponding index list.

S301では、図6に示した検索操作によって入力された検索操作をもとに、注釈キーによる検索を行うか、注釈対象キーによる検索を行うか、文書データ位置による検索を行うかを指示する。   In S301, based on the search operation input by the search operation shown in FIG. 6, it is instructed whether to search using the annotation key, search using the annotation target key, or search using the document data position.

モード選択600で一覧モードが選択された場合と検索モードの検索項目選択部608で一覧が選択された場合にはすべての検索を行わないとし、検索モードの検索項目選択部608で一覧以外が選択された場合には該当する検索を行う指示する。   When the list mode is selected in the mode selection 600 and when the list is selected in the search item selection unit 608 in the search mode, all searches are not performed, and other than the list is selected in the search item selection unit 608 in the search mode. Instructed to perform the corresponding search if it is done.

S302では、検索指示S301が注釈キーによる検索かの判定を行う。検索指示S301が注釈キーによる検索であれば、ユーザが検索キーである注釈キーを入力するS303を行い、該当インデクスリスト編集S304を行う。該当インデクスリスト編集S304では、検索に該当したインデクスのみを残す編集を行う。   In S302, it is determined whether the search instruction S301 is a search using an annotation key. If the search instruction S301 is a search using an annotation key, the user performs S303 in which the annotation key that is the search key is input, and performs the corresponding index list editing S304. In the corresponding index list editing S304, editing is performed to leave only the index corresponding to the search.

S305では、検索指示S301が注釈対象キーによる検索かの判定を行う。検索指示S301が注釈対象キーによる検索であれば、ユーザが検索キーである注釈対象キーを入力するS306を行い、該当インデクスリスト編集S304を行う。   In S305, it is determined whether the search instruction S301 is a search using the annotation target key. If the search instruction S301 is a search using an annotation target key, the user performs an input of the annotation target key that is the search key, and performs an appropriate index list editing S304.

S307では、検索指示S301が文書データ位置による検索かの判定を行う。検索指示S301が文書データ位置による検索であれば、ユーザが検索キーである文書データ位置を入力するS308を行い、入力された検索キーとインデクスデータのマッチングを行い、該当インデクスリスト編集304を行う。   In S307, it is determined whether the search instruction S301 is a search based on the document data position. If the search instruction S301 is a search based on the document data position, the user performs S308 in which the document data position as the search key is input, matches the input search key with the index data, and performs the corresponding index list edit 304.

S309では、検索結果の表示がリスト表示モードであるかの判定を行い、リスト表示モードであれば該当インデクスリストをリスト表示するS310を行い、リスト表示モードでなければ該当インデクスリストをイメージ表示するS311を行う。   In S309, it is determined whether the display of the search result is the list display mode. If the list display mode, the corresponding index list is displayed as a list. If not, the corresponding index list is displayed as an image. S311 I do.

S312では、ユーザが次の操作を入力する。   In S312, the user inputs the next operation.

S313では、操作入力S312でユーザが入力した操作が絞込検索であるかの判定を行い、絞込検索であれば該当インデクスリストを検索対象とし検索指示S301に戻る。操作入力S312が絞込検索でなければ、S314で該当インデクスリストの中から、ユーザがインデクスを選択したかの判定を行う。該当インデクスリストの中からユーザがインデクスを選択していた場合には検索処理を終了し、選択していない場合にはS315の検索終了かの判定を行う。   In S313, it is determined whether the operation input by the user in the operation input S312 is a narrow search. If the search is a narrow search, the corresponding index list is set as a search target and the process returns to the search instruction S301. If the operation input S312 is not a narrow search, it is determined in S314 whether the user has selected an index from the corresponding index list. If the user has selected an index from the corresponding index list, the search process is terminated, and if it has not been selected, it is determined whether the search is terminated in S315.

検索終了判定S315では、検索が終了であれば終了し、終了でなければインデクスデータ読み込みS300に戻る。   In the search end determination S315, if the search is completed, the process ends. If not, the process returns to the index data reading S300.

[他の実施例]
本発明の実施例ではでは検索キーワードの抽出を表示画面上の画像情報がら光学的文字認識(OCR)を使って抽出する場合を記述したが、画面上の注釈データ入力位置と文書データの対応付けはインデックステーブルを使うことによって注釈データと文書データの対応位置関係は公知の方法で容易に実現できるので、文書データから取り出す方法で実現することも可能である。
[Other embodiments]
In the embodiment of the present invention, the case where the search keyword is extracted using optical character recognition (OCR) from the image information on the display screen is described, but the annotation data input position on the screen is associated with the document data. Since the correspondence position relationship between the annotation data and the document data can be easily realized by a known method by using the index table, it can also be realized by a method of extracting from the document data.

本発明の特徴を説明するためのクレーム関連図である。It is a claim related figure for demonstrating the characteristic of this invention. 本実施例の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of a present Example. 本実施例の説明のための初期表示、および注釈データ入力例を示す図である。It is a figure which shows the initial display for description of a present Example, and the example of annotation data input. 本実施例による注釈データの種類に応じた動作のための説明図である。It is explanatory drawing for the operation | movement according to the kind of annotation data by a present Example. 本実施例による文書データとインデックス記憶との関係を示す図である。It is a figure which shows the relationship between the document data and index storage by a present Example. 本実施例による検索操作の流れを説明する図である。It is a figure explaining the flow of search operation by a present Example. 本実施例の動作説明のためのメインフローチャートである。It is a main flowchart for operation | movement description of a present Example. 本実施例による注釈データ入力処理を説明するフローチャートである。It is a flowchart explaining the annotation data input process by a present Example. 本実施例による検索処理を説明するフローチャートである。It is a flowchart explaining the search process by a present Example.

符号の説明Explanation of symbols

20 マイクロプロセッサ
21 キーボード、マウスなどの入力装置
22 ランダムアクセスメモリ
23 ディスプレイ
24 入力装置から入力された文書データ
25 注釈データ、検索キーを格納するインデックス記憶
26 FD、CD−ROM、ハードディスクなどの外部記憶装置
27 各装置間を接続するシステムバス
20 Microprocessor 21 Input device 22 such as keyboard and mouse Random access memory 23 Display 24 Document data 25 input from input device Index storage 26 storing annotation data and search key 26 External storage device such as FD, CD-ROM, hard disk 27 System bus connecting each device

Claims (24)

文字、図形、画像等を含む文書データを格納する文書データ記憶手段、文書データ記憶の内容を表示器に表示する表示制御手段、前記文書データを入力する文書入力手段を備えた情報処理装置において、
表示中の文書データの表示画面を画像情報として一時記憶する表示画面記憶手段、
表示画面の任意の位置に対応させて注釈データを入力する注釈入力手段、
前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録手段、
前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出手段、
前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出手段、
抽出された第2の検索キーを登録する第2の検索キー登録手段、
前記、第1の検索キー登録手段によって登録された第1の検索キー、および第2の検索キー登録手段によって登録された第2の検索キーの双方を記憶するインデックス記憶手段を備えたことを特徴とする情報処理装置。
In an information processing apparatus comprising document data storage means for storing document data including characters, figures, images, etc., display control means for displaying the contents of the document data storage on a display, and document input means for inputting the document data,
Display screen storage means for temporarily storing the display screen of the document data being displayed as image information;
Annotation input means for inputting annotation data corresponding to an arbitrary position on the display screen,
First search key registration means for registering the annotation data in association with the document data as a first search key;
Annotation target area extracting means for extracting the annotation target area from the vicinity of the input position of the annotation data;
Second search key extraction means for extracting a second search key from the annotation target area;
Second search key registration means for registering the extracted second search key;
Index storage means for storing both the first search key registered by the first search key registration means and the second search key registered by the second search key registration means is provided. Information processing apparatus.
注釈データは手書き線、直線、文字、図形のうち1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項1記載の情報処理装置。   The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. Information processing device. 表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録手段を備えたことを特徴とする請求項1記載の情報処理装置。   2. The information processing apparatus according to claim 1, further comprising annotation target image registration means for registering image data of the annotation target area in the display screen in association with the first search key as a reduced image. 表示画面記憶手段の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出手段を備えたことを特徴とする請求項1記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising second search key extraction means for extracting search information from the annotation target area of the display screen storage means by a character recognition function (OCR). 請求項1で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする請求項1記載の情報処理装置。   A document search means for searching for a corresponding position in the document data with reference to the index storage means registered in claim 1, and a search result display control means for combining and displaying the annotation data together with the searched document data. The information processing apparatus according to claim 1, further comprising: 前記、請求項1で登録されたインデックス記憶手段を参照して、文書データ中の該当位置を検索する文書検索手段、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御手段を備えたことを特徴とする情報処理装置。   A document search means for searching for a corresponding position in document data with reference to the index storage means registered in claim 1, and a search result display control for combining and displaying the annotation data together with the searched document data An information processing apparatus comprising means. 文字、図形、画像等を含む文書データを格納する文書データ記憶工程、文書データ記憶の内容を表示器に表示する表示制御工程、前記文書データを入力する文書入力工程を備えた情報処理装置において、
表示中の文書データの表示画面を一時記憶する表示画面記憶工程、
表示画面の任意の位置に対応させて注釈データを入力する注釈入力工程、
前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録工程、
前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出工程、
前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出工程、
抽出された第2の検索キーを登録する第2の検索キー登録工程、
前記、第1の検索キー登録工程によって登録された第1の検索キー、および第2の検索キー登録工程によって登録された第2の検索キーの双方を記憶するインデックス記憶工程を備えたことを特徴とする注釈処理方法。
In an information processing apparatus comprising a document data storage step for storing document data including characters, graphics, images, etc., a display control step for displaying the contents of the document data storage on a display, and a document input step for inputting the document data.
A display screen storage step for temporarily storing a display screen of the document data being displayed;
An annotation input process for inputting annotation data corresponding to an arbitrary position on the display screen,
A first search key registration step of registering the annotation data in association with the document data as a first search key;
An annotation target area extracting step of extracting an annotation target area from the vicinity of the input position of the annotation data;
A second search key extracting step of extracting a second search key from the annotation target area;
A second search key registration step of registering the extracted second search key;
An index storage step for storing both the first search key registered by the first search key registration step and the second search key registered by the second search key registration step is provided. Annotation processing method.
注釈データは手書き線、直線、文字、図形の1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項7記載の注釈処理方法。   The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. Annotation processing method. 前記、請求項6において、表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録工程を備えたことを特徴とする注釈処理方法。   7. The annotation processing method according to claim 6, further comprising an annotation target image registration step of registering image data of the annotation target area in the display screen in association with the first search key as a reduced image. 表示画面記憶の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出工程を備えたことを特徴とする請求項7記載の注釈処理方法。   8. The annotation processing method according to claim 7, further comprising a second search key extracting step of extracting search information from the annotation target area of the display screen storage by a character recognition function (OCR). 請求項7で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする請求項7記載の注釈処理方法。   A document search step for searching for a corresponding position in document data with reference to the index storage registered in claim 7, and a search result display control step for combining and displaying the annotation data together with the searched document data. The annotation processing method according to claim 7, wherein: 前記、請求項7で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索工程、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御工程を備えたことを特徴とする注釈処理方法。   A document search step for searching for a corresponding position in document data with reference to the index storage registered in claim 7, and a search result display control step for combining and displaying the annotation data together with the searched document data An annotation processing method characterized by comprising: 文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理とを備えた情報処理プログラムにおいて、
表示中の文書データの表示画面を一時記憶する表示画面記憶処理、
表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、
前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録処理、
前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、
前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出処理、
抽出された第2の検索キーを登録する第2の検索キー登録処理、
前記、第1の検索キー登録処理によって登録された第1の検索キー、および第2の検索キー登録処理によって登録された第2の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラム。
An information processing program comprising: document data storage processing for storing document data including characters, graphics, images, etc .; display control processing for displaying the contents of the document data storage on a display; and document input processing for inputting the document data ,
Display screen storage processing for temporarily storing the display screen of the document data being displayed;
Annotation input processing that inputs annotation data corresponding to any position on the display screen,
A first search key registration process for registering the annotation data in association with the document data as a first search key;
An annotation target area extraction process for extracting an annotation target area from the vicinity of the input position of the annotation data;
A second search key extraction process for extracting a second search key from the annotation target area;
A second search key registration process for registering the extracted second search key;
An index storage process for storing both the first search key registered by the first search key registration process and the second search key registered by the second search key registration process is provided. Information processing program.
注釈データは手書き線、直線、文字、図形の1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項13記載の情報処理プログラム。   The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. Information processing program. 表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする請求項13記載の情報処理プログラム。   14. The information processing program according to claim 13, further comprising an annotation target image registration process for registering image data of the annotation target area in the display screen as a reduced image in association with the first search key. 表示画面記憶の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出処理を備えたことを特徴とする請求項13記載の情報処理プログラム。   14. The information processing program according to claim 13, further comprising a second search key extraction process for extracting search information from the annotation target area of the display screen storage by a character recognition function (OCR). 請求項13で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする請求項13記載の情報処理プログラム。   14. A document search process for searching for a corresponding position in document data with reference to the index storage registered in claim 13, and a search result display control process for combining and displaying the annotation data together with the searched document data. The information processing program according to claim 13, wherein: 前記、請求項11で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラム。   12. Document search processing for searching for a corresponding position in document data with reference to the index storage registered in claim 11, and search result display control processing for combining and displaying the annotation data together with the searched document data An information processing program comprising: 文字、図形、画像等を含む文書データを格納する文書データ記憶処理、文書データ記憶の内容を表示器に表示する表示制御処理、前記文書データを入力する文書入力処理を備えた情報処理プログラムにおいて、
表示中の文書データの表示画面を一時記憶する表示画面記憶処理、
表示画面の任意の位置に対応させて注釈データを入力する注釈入力処理、
前記注釈データを第1の検索キーとして前記文書データに対応付けて登録する第1の検索キー登録処理、
前記注釈データの入力位置の近傍から注釈対象領域を抽出する注釈対象領域抽出処理、
前記注釈対象領域から第2の検索キーを抽出する第2の検索キー抽出処理、
抽出された第2の検索キーを登録する第2の検索キー登録処理、
前記、第1の検索キー登録処理によって登録された第1の検索キー、および第2の検索キー登録処理によって登録された第2の検索キーの双方を記憶するインデックス記憶処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。
In an information processing program comprising document data storage processing for storing document data including characters, graphics, images, etc., display control processing for displaying the contents of the document data storage on a display, and document input processing for inputting the document data,
Display screen storage processing for temporarily storing the display screen of the document data being displayed;
Annotation input processing that inputs annotation data corresponding to any position on the display screen,
A first search key registration process for registering the annotation data in association with the document data as a first search key;
An annotation target area extraction process for extracting an annotation target area from the vicinity of the input position of the annotation data;
A second search key extraction process for extracting a second search key from the annotation target area;
A second search key registration process for registering the extracted second search key;
An index storage process for storing both the first search key registered by the first search key registration process and the second search key registered by the second search key registration process is provided. A recording medium storing an information processing program.
注釈データは手書き線、直線、文字、図形の1つまたは複数を使うものとし、表示画面からの前記注釈対象領域は前記注釈データの種類に応じて変化させることを特徴とする請求項19記載の情報処理プログラムを格納した記録媒体。   The annotation data uses one or more of handwritten lines, straight lines, characters, and figures, and the annotation target area from the display screen is changed according to the type of the annotation data. A recording medium storing an information processing program. 表示画面中の注釈対象領域の画像データを縮小画像として第1の検索キーと対応付けて登録する注釈対象画像登録処理を備えたことを特徴とする請求項19記載の情報処理プログラムを格納した記録媒体。   20. A record storing an information processing program according to claim 19, further comprising an annotation target image registration process for registering image data of the annotation target area in the display screen as a reduced image in association with the first search key. Medium. 表示画面記憶の注釈対象領域から文字認識機能(OCR)により検索情報を抽出する第2の検索キー抽出処理を備えたことを特徴とする請求項19記載の情報処理プログラムを格納した記録媒体。   20. A recording medium storing an information processing program according to claim 19, further comprising a second search key extraction process for extracting search information from the annotation target area of the display screen storage by a character recognition function (OCR). 請求項19で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする請求項19記載の情報処理プログラムを格納した記録媒体。   A document search process for searching for a corresponding position in document data with reference to the index storage registered in claim 19, and a search result display control process for combining and displaying the annotation data together with the searched document data. 20. A recording medium storing an information processing program according to claim 19. 前記、請求項19で登録されたインデックス記憶を参照して、文書データ中の該当位置を検索する文書検索処理、検索された該文書データとともに前記注釈データを合成して表示する検索結果表示制御処理を備えたことを特徴とする情報処理プログラムを格納した記録媒体。   A document search process for searching for a corresponding position in document data with reference to the index storage registered in claim 19, and a search result display control process for combining and displaying the annotation data together with the searched document data A recording medium storing an information processing program characterized by comprising:
JP2003422341A 2003-12-19 2003-12-19 Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein Withdrawn JP2005182460A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003422341A JP2005182460A (en) 2003-12-19 2003-12-19 Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003422341A JP2005182460A (en) 2003-12-19 2003-12-19 Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein

Publications (1)

Publication Number Publication Date
JP2005182460A true JP2005182460A (en) 2005-07-07

Family

ID=34783251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003422341A Withdrawn JP2005182460A (en) 2003-12-19 2003-12-19 Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein

Country Status (1)

Country Link
JP (1) JP2005182460A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233695A (en) * 2006-03-01 2007-09-13 Just Syst Corp Annotation management device, web display terminal, annotation management method and web display method
JP2008234203A (en) * 2007-03-19 2008-10-02 Ricoh Co Ltd Image processing apparatus
JP2009098763A (en) * 2007-10-15 2009-05-07 Hitachi Ltd Handwritten annotation management apparatus and interface
JP2009187401A (en) * 2008-02-07 2009-08-20 Canon Inc Document management system, document management apparatus, and document managing method and program
JP2010134876A (en) * 2008-12-08 2010-06-17 Canon Inc Information processing device and method
JP2010525497A (en) * 2007-05-11 2010-07-22 ジェネラル・インスツルメント・コーポレーション Method and apparatus for annotating video content with metadata generated using speech recognition technology
JP2010200225A (en) * 2009-02-27 2010-09-09 Sharp Corp Image forming apparatus and program
JP2011170418A (en) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd Method for generating tag data for retrieving image
US20120154436A1 (en) * 2010-12-21 2012-06-21 Casio Computer Co., Ltd Information display apparatus and information display method
JP2014186366A (en) * 2013-03-21 2014-10-02 Toshiba Corp Commodity comparison device, method and program
JP2015148951A (en) * 2014-02-06 2015-08-20 シャープ株式会社 handwriting input device and handwriting input method
JP2016009418A (en) * 2014-06-26 2016-01-18 京セラドキュメントソリューションズ株式会社 Document processor and document processing program
JP7396970B2 (en) 2020-09-02 2023-12-12 シャープ株式会社 Information processing device, control method and control program for information processing device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233695A (en) * 2006-03-01 2007-09-13 Just Syst Corp Annotation management device, web display terminal, annotation management method and web display method
JP2008234203A (en) * 2007-03-19 2008-10-02 Ricoh Co Ltd Image processing apparatus
JP2010525497A (en) * 2007-05-11 2010-07-22 ジェネラル・インスツルメント・コーポレーション Method and apparatus for annotating video content with metadata generated using speech recognition technology
JP2009098763A (en) * 2007-10-15 2009-05-07 Hitachi Ltd Handwritten annotation management apparatus and interface
JP2009187401A (en) * 2008-02-07 2009-08-20 Canon Inc Document management system, document management apparatus, and document managing method and program
JP2010134876A (en) * 2008-12-08 2010-06-17 Canon Inc Information processing device and method
JP2010200225A (en) * 2009-02-27 2010-09-09 Sharp Corp Image forming apparatus and program
JP2011170418A (en) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd Method for generating tag data for retrieving image
US20120154436A1 (en) * 2010-12-21 2012-06-21 Casio Computer Co., Ltd Information display apparatus and information display method
JP2012133060A (en) * 2010-12-21 2012-07-12 Casio Comput Co Ltd Information display device and information display program
CN102708108A (en) * 2010-12-21 2012-10-03 卡西欧计算机株式会社 Information display apparatus and information display method
JP2014186366A (en) * 2013-03-21 2014-10-02 Toshiba Corp Commodity comparison device, method and program
JP2015148951A (en) * 2014-02-06 2015-08-20 シャープ株式会社 handwriting input device and handwriting input method
JP2016009418A (en) * 2014-06-26 2016-01-18 京セラドキュメントソリューションズ株式会社 Document processor and document processing program
JP7396970B2 (en) 2020-09-02 2023-12-12 シャープ株式会社 Information processing device, control method and control program for information processing device

Similar Documents

Publication Publication Date Title
JP4907715B2 (en) Method and apparatus for synchronizing, displaying, and manipulating text and image documents
JPH0773190A (en) Pictograph naming for pen base computer system
US10175850B2 (en) Search inquiry method using contextual annotation
JP2005182460A (en) Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein
JP4054428B2 (en) Image search apparatus and method, and computer-readable memory
JP2006065477A (en) Character recognition device
JP2003186889A (en) Method and apparatus for annotating document and generating summary from document image
JP2005107931A (en) Image search apparatus
JP4136282B2 (en) Image processing apparatus, image processing method, and storage medium
JPH03276260A (en) Electronic filing device containing title processing function for character code
JP2000020549A (en) Device for assisting input to document database system
JP2550068B2 (en) How to search and display information
JP2009020689A (en) Data retrieval method and data retrieval device
US20040237026A1 (en) System and method for creating reminders in electronic documents
JP2016103150A (en) Document processing device and document processing program
JPH1166065A (en) Image layout device and program recording medium therefor
JP4906044B2 (en) Information retrieval apparatus, control method therefor, computer program, and storage medium
JPH06162107A (en) Electronic filing system
JPH08202859A (en) Electronic filing device and its method
JP2001134579A (en) Method and system for multimedia information retrieval and recording medium with recorded multimedia information retrieving program
JPH10124523A (en) Method and device for retrieving guidance of multimedia data
JPH10312387A (en) Processor and method for information processing and recording medium where information processing program is recorded
JPH04148370A (en) Document processor
JP2003330965A (en) Image retrieval device, program, and recording medium
JP2021051364A (en) Information processing device and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070306