JP2007173938A

JP2007173938A - Image processor, image processing method and program

Info

Publication number: JP2007173938A
Application number: JP2005364920A
Authority: JP
Inventors: 裕太 ▲浜▼田; Hirota Hamada; Toshiyuki Furuta; 俊之古田; Tomohiko Beppu; 智彦別府; Sadao Takahashi; 禎郎高橋; Satoshi Suga; 智須賀; Hirofumi Horikawa; 裕文堀川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2005-12-19
Filing date: 2005-12-19
Publication date: 2007-07-05
Anticipated expiration: 2025-12-19
Also published as: JP4741363B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor in which the content of processing, the range of processing, and the like, can be specified by an arbitrary symbol determined by a user when the content is printed on a paper, or the like, and processed by writing on that paper by hand. <P>SOLUTION: The image processor comprises a means for managing paper identification information in correspondence with a content printed on a paper based on the content, the paper identification information identifying the paper, and a first symbol written on the paper by hand, a processing symbol management means outputting the content of processing corresponding to a second symbol for the printed content when the first symbol coincides with the second symbol based on the reading results of a plurality of contents of processing printed on a paper and the second symbol written by hand for every content of processing, and a means for executing processing of content corresponding to the paper identification information. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program.

従来から、電子文書のコンテンツが印刷された紙に加筆した内容を読み取り、所定の処理を行う装置等がある。このような装置では、前記コンテンツが印刷された紙にユーザがシンボル等を手書きし、その紙をスキャナ等で読み取ることにより、処理内容や処理を行う対象を定めることができる。例えば、次の文献があげられる。 2. Description of the Related Art Conventionally, there are apparatuses that read a content that has been added to paper on which content of an electronic document is printed, and perform a predetermined process. In such an apparatus, the user can hand-write a symbol or the like on the paper on which the content is printed, and read the paper with a scanner or the like, thereby determining the processing content and the target to be processed. For example, the following documents can be cited.

特開２００２−２５２７３２号公報（特許文献１）には、複数の処理内容及びチェック欄を有するメニュー用紙を印刷し、該メニュー用紙のチェック欄に加筆し、前記メニュー用紙及び処理を行う対象となるコンテンツが印刷された紙をスキャナで読み取らせることにより、ユーザが所望する処理内容及び処理を行う対象となるコンテンツを入力するシステムが開示されている。 Japanese Patent Laid-Open No. 2002-252732 (Patent Document 1) prints a menu sheet having a plurality of processing contents and a check column, adds the menu sheet to the check column of the menu sheet, and performs the menu sheet and processing. There is disclosed a system for inputting processing content desired by a user and content to be processed by causing the scanner to read the paper on which the content is printed.

また、特開２００４−７８９７３号公報（特許文献２）には、文書内の文字と該文字に対応するリンク先を管理するデータベースとを有する装置の例が開示されている。この例では、まず、文書と該文書を特定するバーコードが印刷された紙に、ユーザが所定のマークを記入して前記リンクを有する文字を選択する。次に、前記紙をスキャナ等で読み込ませることにより、前記所定のマークが記された位置及び該位置に印刷されている文字を検出する。そして、該文字にリンクされている文書をデータベースを参照して取得し、印刷出力を行う。
特開２００２−２５２７３２号公報特開２００４−７８９７３号公報 Japanese Patent Application Laid-Open No. 2004-78973 (Patent Document 2) discloses an example of an apparatus having characters in a document and a database that manages link destinations corresponding to the characters. In this example, first, the user enters a predetermined mark on a paper on which a document and a barcode specifying the document are printed, and selects a character having the link. Next, by reading the paper with a scanner or the like, the position where the predetermined mark is written and the character printed at the position are detected. Then, a document linked to the character is acquired with reference to the database, and printed out.
JP 2002-252732 A JP 2004-78973 A

しかしながら、特許文献１に記載されたシステムでは、処理内容が記されたメニュー用紙、及び、処理の対象となるコンテンツを、それぞれスキャナ等で読み込ませることによって入力するため、文書の校正等、コンテンツ内の各部分で異なる処理や、対象となる範囲を指定する処理ができない他、コンテンツを読み込んでテキストデータにする場合に、文字イメージを正しく取得できないなどの不具合があった。 However, in the system described in Patent Document 1, the menu paper on which the processing content is written and the content to be processed are input by being read by a scanner or the like. In addition to being able to perform different processing in each part and processing to specify the target range, there were problems such as unable to acquire character images correctly when reading content into text data.

また、特許文献２に記載された装置では、予め文字とリンク先が対応したハイパーテキストが必要であり、リンクされていない情報は取得できないという不具合があった。 Further, the apparatus described in Patent Document 2 has a problem that hypertext corresponding to characters and link destinations is necessary in advance, and information that is not linked cannot be acquired.

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、コンテンツを紙等に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定することができる画像処理装置を提供することを目的としている。 The present invention has been invented in order to solve these problems in view of the above points, and in the case of processing the content by printing the content on paper or the like and handwriting on the paper, An object of the present invention is to provide an image processing apparatus capable of designating contents, a processing range, and the like by an arbitrary symbol defined by a user.

上記目的を達成するために、本発明の画像処理装置、画像処理方法、及び、画像処理プログラムは次のような構成を採用した。 In order to achieve the above object, the image processing apparatus, the image processing method, and the image processing program of the present invention employ the following configurations.

上記目的を達成するために、本発明の画像処理装置は、第一の紙に印刷されたコンテンツと、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う画像処理装置において、前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段と、第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込んだ結果に基づき、前記第一の紙に手書きされた前記第一のシンボルと前記第二のシンボルとが一致性を有する場合に、前記第一の紙に印刷されたコンテンツに対して前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理手段と、前記処理シンボル管理手段が出力する処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行手段とを有する構成とすることができる。 In order to achieve the above object, an image processing apparatus of the present invention includes a content printed on a first paper, paper identification information for identifying the first paper printed on the first paper, and A paper identification information managing means for managing the paper identification information and the content in association with each other in the image processing apparatus for processing the content based on the first symbol handwritten on the first paper; Based on the result of reading a plurality of processing contents printed on the paper and a second symbol handwritten for each processing content, the first symbol handwritten on the first paper and the second symbol A processing symbol management unit that outputs a processing content corresponding to the second symbol for the content printed on the first paper when the symbol has a match, and the processing symbol management unit outputs In the process Based on, it can be configured to have a process executing means for processing the content corresponding to the paper identification information.

これにより、コンテンツを紙に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定する画像処理装置を提供することができる。 Thereby, when processing the content by printing the content on paper and handwriting on the paper, it is possible to provide an image processing apparatus that specifies the processing content, processing range, and the like by an arbitrary symbol defined by the user. .

なお、本特許請求の範囲、及び、本明細書における画像処理装置が行う処理とは、「コンテンツの編集」、「コンテンツを印刷により出力する」、又は、「コンテンツの再生」等の所定の処理を言う。 Note that the processing performed by the image processing apparatus in the claims and in the present specification refers to predetermined processing such as “content editing”, “content output by printing”, or “content playback”. Say.

上記目的を達成するために、本発明の画像処理装置は、前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前記第一の紙に印刷する印刷手段を有する構成とすることができる。 In order to achieve the above object, in the image processing apparatus of the present invention, when the content is printed on the first paper, the paper identification information managing means identifies the paper identification information for identifying the first paper. It can be configured to have printing means for printing on the first paper in accordance with the managed association.

これにより、処理の対象である、紙に印刷されたコンテンツの電子データを特定することができる。 Thereby, the electronic data of the content printed on the paper, which is the object of processing, can be specified.

上記目的を達成するために、本発明の画像処理装置が読み込む前記第二の紙は、印刷された前記第二の紙の識別情報を有する構成とすることができる。 In order to achieve the above object, the second paper read by the image processing apparatus of the present invention can be configured to have identification information of the printed second paper.

これにより、複数枚の紙を用いて処理内容を入力する場合に、該複数枚の紙を区別することができる。 Thereby, when the processing content is input using a plurality of sheets of paper, the plurality of sheets of paper can be distinguished.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断するように構成することができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention determines whether the first symbol and the second symbol are the same when determining whether or not they have the coincidence. It can be configured to determine that the similarity is within a predetermined range.

これにより、処理内容等を指定するシンボルをユーザが任意に定めることができ、さらに、前記第一のシンボル及び前記第二のシンボルを一のユーザが記すことにより、類似度が高くなり、判断の精度を高くすることができる。 As a result, the user can arbitrarily determine a symbol for designating the processing content and the like. Further, when one user writes the first symbol and the second symbol, the degree of similarity is increased, and the determination is made. The accuracy can be increased.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持するように構成することができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention associates the range to be processed, the content to be processed, and the processing content with the second symbol. It can be configured to hold.

これにより、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容をユーザが任意に指定することができる。 Accordingly, the user can arbitrarily specify the range to be processed, the content to be processed, and the processing details.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させる構成とすることができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention includes a selection column for the range to be processed, the content to be processed, and the processing details. Based on the content selected by handwriting on the second paper, the second symbol and the processing content can be made to correspond to each other.

これにより、シンボルに対応する処理内容を、ユーザが指定することができる。 Thereby, the user can specify the processing content corresponding to the symbol.

上記目的を達成するために、本発明の画像処理装置が有する前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断された前記第一のシンボルを、前記コンテンツに上書きするように構成することができる。 In order to achieve the above object, the processing execution means included in the image processing apparatus of the present invention overwrites the content with the first symbol determined to be consistent with the second symbol. Can be configured.

これにより、処理されたコンテンツの部分及び処理内容を、ユーザが容易に確認することができる。 Accordingly, the user can easily confirm the processed content portion and the processing content.

上記目的を達成するために、本発明の画像処理装置が有する前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断されなかった第一のシンボルを前記コンテンツに上書きするように構成することができる。 In order to achieve the above object, the processing execution means included in the image processing apparatus of the present invention overwrites the content with a first symbol that has not been determined to be consistent with the second symbol. Can be configured.

これにより、ユーザがシンボルを記入し、処理されなかったコンテンツの部分及び処理内容を、容易に確認することができる。 Thereby, the user can easily confirm the part of the content and the processing contents that have not been processed by entering the symbol.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記シンボルをイメージデータとして保持する構成とすることができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention can be configured to hold the symbols as image data.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記第一のシンボルと前記第二のシンボルとの類似性を、シンボルの座標の値、及び／又は、シンボルの色の値を用いて判断するように構成することができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention uses the similarity between the first symbol and the second symbol, the coordinate value of the symbol, and / or The determination can be made using the value of the color of the symbol.

これにより、類似性の判断の精度を高めることができ、さらに、シンボル等を単色のデータで扱う場合にも対応することができる。 As a result, it is possible to increase the accuracy of similarity determination, and it is also possible to deal with the case where symbols and the like are handled with monochromatic data.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、複数の前記第二のシンボルがイメージデータである場合に、前記第二のシンボルを表す情報である、色、位置、及び、大きさの内、一以上のシンボルを表す情報に基づき、前記第二のシンボルに対応する処理を行う優先順を決めるように構成することができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention is a color that is information representing the second symbol when the plurality of the second symbols are image data. The priority order for performing the processing corresponding to the second symbol can be determined based on information representing one or more symbols among the position and the size.

これにより、複数の処理の指定を一の第一の紙を用いて行う場合に、全ての処理が行われた結果を単一にすることができる。 As a result, when a plurality of processes are specified using one first paper, the result of all the processes being performed can be unified.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、複数の前記第二のシンボルに対応する処理毎に、該編処理を行う優先の度合いを保持している構成とすることができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention holds a degree of priority for performing the knitting processing for each processing corresponding to the plurality of second symbols. It can be configured.

上記目的を達成するために、前記第一の紙に手書きされた前記第一のシンボルに代えて前記第一の紙に手書きする場合の第一のストロークデータ、及び、前記第二の紙に手書きされた前記第二のシンボルに代えて前記第二の紙に手書きする場合の第二のストロークデータを用いるように構成することができる。 To achieve the above object, first stroke data when handwritten on the first paper instead of the first symbol handwritten on the first paper, and handwritten on the second paper Instead of the second symbol, the second stroke data when handwritten on the second paper can be used.

これにより、シンボルよりも情報量の多いストロークデータを用いることにより、第一のストロークデータと第二のストロークデータとの類似性を判断する場合の精度を高めることができる。 Thereby, the accuracy in determining the similarity between the first stroke data and the second stroke data can be increased by using the stroke data having a larger amount of information than the symbol.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断するように構成することができる。 In order to achieve the above object, the processing symbol management means of the image processing apparatus of the present invention uses the similarity between the first stroke data and the second stroke data, the coordinate value of the stroke, The writing speed value and the stroke color value can be determined using a value representing one or more strokes.

これにより、第一のストロークデータと第二のストロークデータとの類似性の判断の精度を高めることができる。 Thereby, the precision of the judgment of the similarity between the first stroke data and the second stroke data can be improved.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持している構成とすることができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention includes a stroke color value, a stroke position value, and a stroke, which are the contents of the plurality of second stroke data. The degree of priority for performing the processing corresponding to the second stroke data is held by a value representing one or more strokes among the value of the stroke size and the value of the stroke writing speed. Can do.

これにより、複数の処理を一の第一の紙を用いて行う場合に、全ての処理が行われた結果を単一にすることができる。 As a result, when a plurality of processes are performed using one first paper, a result obtained by performing all the processes can be unified.

上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決める構成とすることができる。 In order to achieve the above object, the processing symbol management means included in the image processing apparatus of the present invention is configured to determine a priority order for performing the processing for each processing corresponding to the plurality of second stroke data. Can do.

上記目的を達成するために、本発明の画像処理方法は、第一の紙に印刷されたコンテンツ、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う、前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段を有する画像処理装置における画像処理方法において、第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込む第一の読み込みステップと、前記第一の紙に印刷されたコンテンツ、前記第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた前記第一のシンボルを読み込む第二の読み込みステップと、前記第一及び第二の読み込みステップで読み込まれた、前記第二のシンボル及び前記第一のシンボルとが一致性を有する場合に、前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理ステップと、前記処理シンボル管理ステップにより出力された処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行ステップとを有する構成とすることができる。 In order to achieve the above object, an image processing method of the present invention includes a content printed on a first paper, paper identification information for identifying the first paper printed on the first paper, and the An image processing method in an image processing apparatus having paper identification information management means for managing the content in association with each other based on the first symbol handwritten on the first paper A first reading step of reading a plurality of processing contents printed on the second paper and a second symbol handwritten for each processing content; a content printed on the first paper; The paper reading information for identifying one paper, the second reading step for reading the first symbol handwritten on the first paper, and the first and second reading steps, When a second symbol and the first symbol are coincident, the processing content corresponding to the second symbol is output, and the processing content is output by the processing symbol management step. And a process executing step for processing the content corresponding to the paper identification information.

これにより、コンテンツを紙に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定する画像処理方法を提供することができる。 Thereby, when the content is processed by printing the content on paper and handwriting on the paper, it is possible to provide an image processing method for designating the processing content, processing range, and the like by an arbitrary symbol defined by the user. .

上記目的を達成するために、本発明の画像処理方法は、前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前記第一の紙に印刷する印刷ステップを有する構成とすることができる。 In order to achieve the above object, according to the image processing method of the present invention, when the content is printed on the first paper, the paper identification information managing means identifies the paper identification information for identifying the first paper. It can be configured to have a printing step for printing on the first paper in accordance with the managed association.

上記目的を達成するために、本発明の画像処理方法において読み込まれる、前記第二の紙は、印刷された前記第二の紙の識別情報を有する構成とすることができる。 In order to achieve the above object, the second paper read in the image processing method of the present invention can be configured to have identification information of the printed second paper.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断するように構成することができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention is similar to the first symbol and the second symbol when determining whether or not they have the coincidence. It can be configured to determine that the degree is within a predetermined range.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持する構成とすることができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention holds the range to be processed, the content to be processed, and the processing content in association with the second symbol. It can be set as the structure to do.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させる構成とすることができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention includes a selection column for the range to be processed, the content to be processed, and the processing details. The second symbol and the processing content can be made to correspond to each other based on the content selected by handwriting on the paper.

上記目的を達成するために、本発明の画像処理方法における前記処理実行ステップは、前記処理シンボル管理手段が出力した処理内容を示すシンボルを、コンテンツに上書きするように構成することができる。 In order to achieve the above object, the processing execution step in the image processing method of the present invention can be configured to overwrite a content with a symbol indicating the processing content output by the processing symbol management means.

上記目的を達成するために、本発明の画像処理方法における前記処理実行ステップは、前記第二のシンボルとの一致性を有すると判断されなかった第一のシンボルを前記コンテンツに上書きするように構成することができる。 In order to achieve the above object, the processing execution step in the image processing method of the present invention is configured to overwrite the content with a first symbol that has not been determined to be consistent with the second symbol. can do.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記シンボルをイメージデータとして保持する構成とすることができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention may be configured to hold the symbol as image data.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記第一のシンボルと前記第二のシンボルとの類似性を、シンボルの座標の値、及び／又は、シンボルの色の値を用いて判断するように構成することができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention includes a similarity between the first symbol and the second symbol, a symbol coordinate value, and / or a symbol. The color value can be determined using the color value.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、複数の前記第二のシンボルがイメージデータである場合に、前記第二のシンボルを表す情報である、色、位置、及び、大きさの内、一以上のシンボルを表す情報により、前記第二のシンボルに対応する処理を行う優先順を決めるように構成することができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention includes a color, which is information representing the second symbol when the plurality of the second symbols are image data, A priority order in which processing corresponding to the second symbol is performed can be determined based on information representing one or more symbols of position and size.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、複数の前記第二のシンボルに対応する処理毎に、該処理を行う優先の度合いを保持している構成とすることができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention holds a degree of priority for performing the processing for each processing corresponding to a plurality of the second symbols, can do.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断するように構成することができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention includes the similarity between the first stroke data and the second stroke data, the value of the coordinate of the stroke, and the writing of the stroke. The determination can be made using a value representing one or more strokes among the velocity value and the stroke color value.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持している構成とすることができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention includes a stroke color value, a stroke position value, a stroke position, which are the contents of the plurality of second stroke data. Among the size value and the stroke writing speed value, a value representing one or more strokes may be used to hold a priority level for performing processing corresponding to the second stroke data. it can.

これにより、複数の処理の指定を一の第一の紙を用いて行う場合に、全ての処理が行われた結果を一意に定めることができる。 As a result, when a plurality of processes are specified using one first sheet, the result of all the processes can be uniquely determined.

上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決める構成とすることができる。 In order to achieve the above object, the processing symbol management step in the image processing method of the present invention is configured to determine a priority order for performing the processing for each processing corresponding to the plurality of second stroke data. it can.

上記目的を達成するために、本発明の画像処理プログラムは、請求項１７ないし３２のいずれか一項に記載の画像処理方法を実行させる画像処理プログラムとすることができる。 In order to achieve the above object, the image processing program of the present invention can be an image processing program for executing the image processing method according to any one of claims 17 to 32.

これにより、コンテンツを紙に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定する画像処理プログラムを提供することができる。 Thereby, when processing the content by printing the content on paper and handwriting on the paper, it is possible to provide an image processing program that specifies the processing content, processing range, and the like by an arbitrary symbol defined by the user. .

本発明によれば、コンテンツを紙等に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定することができる画像処理装置を提供することができる。 According to the present invention, when processing the content by printing the content on paper or the like and handwriting on the paper, the image processing that can specify the processing content, processing range, etc. by any symbol determined by the user An apparatus can be provided.

以下、本発明の実施例を図面に基づき説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１９は、本発明の構成原理図である。 FIG. 19 is a structural principle diagram of the present invention.

図１９では、コンテンツ等が印刷された第一の紙１９１０に、ユーザがシンボルを記入し、該第一の紙を読み取ることにより、画像処理装置１９４０が前記コンテンツに対して処理を行い、処理されたコンテンツ１９６０を出力する。 In FIG. 19, when a user fills in a symbol on a first sheet 1910 on which content or the like is printed and reads the first sheet, the image processing apparatus 1940 performs processing on the content and performs processing. Content 1960 is output.

画像処理装置１９４０は、第一の紙１９１０及び第二の紙１９２０を読み取った結果から、第一の紙に印刷されたコンテンツの処理を行う装置であり、紙識別情報管理手段１９４１、処理シンボル管理手段１９４２、及び、処理実行手段１９４３から構成されている。 The image processing device 1940 is a device that processes the content printed on the first paper from the results of reading the first paper 1910 and the second paper 1920. The paper processing information management unit 1941, processing symbol management It comprises means 1942 and processing execution means 1943.

紙識別情報管理手段１９４１は、第一の紙１９１０を読み取った結果から、印刷されている紙識別情報１９１１に対応するコンテンツのデータを記憶装置１９５０より取得し、処理実行手段に出力する。紙識別情報管理手段１９４１は、また、第一の紙を読み取った結果と、記憶装置１９５０より取得したコンテンツのデータとを比較することにより、ユーザが第一の紙１９１０に記入した第一のシンボル１９１３を抽出し、処理シンボル管理手段１９４２へ出力する。 The paper identification information management means 1941 acquires content data corresponding to the printed paper identification information 1911 from the storage device 1950 from the result of reading the first paper 1910, and outputs it to the process execution means. The paper identification information management means 1941 also compares the result of reading the first paper with the content data acquired from the storage device 1950, so that the first symbol entered by the user on the first paper 1910 1913 is extracted and output to the processing symbol management means 1942.

処理シンボル管理手段１９４２は、第二の紙１９２０を読み取った結果に基づき、処理内容１９２１と、該処理内容１９２１に対応してユーザが記入した第二のシンボル１９２２とを管理する。そして、紙識別情報管理手段１９４１より第一のシンボル１９１３が入力された場合に、該第一のシンボル１９１３と第二のシンボル１９２２とを比較し、類似度が所定の範囲内の場合に、前記第二のシンボル１９２２に対応する処理内容１９２１を、処理実行手段１９４３に出力する。 The processing symbol management unit 1942 manages the processing content 1921 and the second symbol 1922 entered by the user corresponding to the processing content 1921 based on the result of reading the second paper 1920. When the first symbol 1913 is input from the paper identification information management unit 1941, the first symbol 1913 is compared with the second symbol 1922. When the similarity is within a predetermined range, The processing content 1921 corresponding to the second symbol 1922 is output to the processing execution means 1943.

処理実行手段１９４３は、紙識別情報管理手段１９４１から入力されたコンテンツ１９１２のデータに対して、処理シンボル管理手段１９４２から入力された処理内容１９２１の処理を行い、処理されたコンテンツ１９６０を出力する。 The processing execution unit 1943 performs processing of the processing content 1921 input from the processing symbol management unit 1942 on the data of the content 1912 input from the paper identification information management unit 1941, and outputs the processed content 1960.

第一の紙１９１０は、該紙を識別する紙識別情報１９１１及びコンテンツ１９１２が印刷された紙であって、ユーザが手書きによって第一のシンボル１９１３を記入した紙である。 The first paper 1910 is paper on which paper identification information 1911 for identifying the paper and content 1912 are printed, and is a paper on which the user has entered the first symbol 1913 by handwriting.

第二の紙１９２０は、処理内容１９２１が印刷された紙であって、ユーザが手書きによって前記処理内容に対応する第二のシンボル１９２２を記入した紙である。ここで、第二の紙には、該第二の紙を識別する紙識別情報が印刷されていても良い。 The second paper 1920 is a paper on which the processing content 1921 is printed, and is a paper on which the user has entered the second symbol 1922 corresponding to the processing content by handwriting. Here, paper identification information for identifying the second paper may be printed on the second paper.

読み取り手段１９３０は、第一の紙１９１０及び第二の紙１９２０に印刷されている内容、並びに、ユーザが手書きによって記入した前記第一のシンボル及び前記第二のシンボルを読み取ってイメージデータとして取得する。また、記憶装置１９５０は、コンテンツのデータを格納する装置である。
（図１の説明）
図１は、本発明の画像処理装置１０１の機能ブロック、及び、その周辺の装置を示したものである。画像処理装置１０１は、紙に手書きによって記入されたシンボル等に基づき、前記紙に印刷されたコンテンツの処理を行う画像処理装置であって、ユーザＩ／Ｆデバイス１１９、紙入力装置であるスキャナ１１６及びデジタイザ１１７、プリンタ等の紙出力装置１１８、並びに、ディスク装置１０７と接続されている。 The reading unit 1930 reads the contents printed on the first paper 1910 and the second paper 1920, and the first symbol and the second symbol entered by the user by handwriting, and acquires them as image data. . The storage device 1950 is a device that stores content data.
(Description of FIG. 1)
FIG. 1 shows functional blocks of an image processing apparatus 101 according to the present invention and peripheral devices. The image processing apparatus 101 is an image processing apparatus that processes content printed on paper based on symbols or the like that are handwritten on the paper, and includes a user I / F device 119 and a scanner 116 that is a paper input device. And a digitizer 117, a paper output device 118 such as a printer, and a disk device 107.

画像処理装置１０１は、ユーザＩ／Ｆ制御部１０２、スキャナＩ／Ｆ制御部１０８、デジタイザＩ／Ｆ制御部１０９、紙情報取得部１１０、筆記処理部１１１、プリンタＩ／Ｆ制御部１１２、印刷処理部１１３、紙識別情報管理部１１４、及び、ディスクＩ／Ｆ制御部１１５から構成されている。 The image processing apparatus 101 includes a user I / F control unit 102, a scanner I / F control unit 108, a digitizer I / F control unit 109, a paper information acquisition unit 110, a writing processing unit 111, a printer I / F control unit 112, and printing. The processing unit 113, the paper identification information management unit 114, and the disk I / F control unit 115 are configured.

ユーザＩ／Ｆ制御部１０２は、外部入力デバイスから紙情報取得命令または文書印刷命令を受け取り、紙情報取得部１１０及び印刷処理部１１３へ出力する。また、筆記処理部１１１から入力された外部への出力を要求する信号をディスプレイ１０３及びスピーカ１０４等の外部出力デバイスへ送信する。また、ディスクＩ／Ｆ制御部１１５は、ディスク装置１０７を制御し、コンテンツである文書データの取得や格納を行う。 The user I / F control unit 102 receives a paper information acquisition command or a document print command from the external input device, and outputs it to the paper information acquisition unit 110 and the print processing unit 113. In addition, a signal requesting output to the outside input from the writing processing unit 111 is transmitted to an external output device such as the display 103 and the speaker 104. Further, the disk I / F control unit 115 controls the disk device 107 to acquire and store document data as content.

スキャナＩ／Ｆ制御部１０８は、スキャナ１１６を制御することにより、紙識別情報（ＩＤ）、及び、手書きにより加筆されたシンボル等を含む文書のイメージを取得し、紙情報取得部１１０へ送信する。デジタイザＩ／Ｆ制御部１０９は、デジタイザ１１７を制御し、ユーザが紙に手書きする際の動作の情報であるストロークデータ、及び、イメージで表される紙識別情報を取得し、紙情報取得部１１０へ送信する。 The scanner I / F control unit 108 controls the scanner 116 to acquire a document image including paper identification information (ID) and a handwritten symbol, and transmits the acquired image to the paper information acquisition unit 110. . The digitizer I / F control unit 109 controls the digitizer 117 to acquire stroke data, which is information on operations when the user performs handwriting on paper, and paper identification information represented by an image, and a paper information acquisition unit 110. Send to.

なお、本明細書においては、紙識別情報を「ＩＤ」と表記する。ＩＤは、紙に印刷された文書を特定するための情報を示す符号であり、例えば、前記文書を紙に印刷する場合に、全ての紙に対して一意に付与される番号等である。ＩＤと文書の情報とを後述する紙識別情報管理部１１４が対応づけて管理する。文書の情報とは、例えば、記憶装置に格納されているコンテンツの「ファイル名」「ページ番号」「コンテンツの種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等であり、これらがＩＤと関連づけて管理されることにより、紙に印刷された文書のＩＤを取得した場合に、前記文書のデータを記憶装置等から読み出すことができる。 In this specification, the paper identification information is expressed as “ID”. The ID is a code indicating information for specifying a document printed on paper, and is, for example, a number uniquely assigned to all paper when the document is printed on paper. A paper identification information management unit 114 (to be described later) manages IDs and document information in association with each other. Document information includes, for example, “file name”, “page number”, “content type”, and “path name or address representing the location of the file on the disk” of the content stored in the storage device. Is managed in association with the ID, the data of the document can be read from a storage device or the like when the ID of the document printed on paper is acquired.

印刷処理部１１３、紙識別情報管理部１１４、紙情報取得部１１０、及び、筆記処理部１１１の詳細な動作は後述するが、ここでは各部の動作の概略について説明する。 Although detailed operations of the print processing unit 113, the paper identification information management unit 114, the paper information acquisition unit 110, and the writing processing unit 111 will be described later, an outline of the operation of each unit will be described here.

印刷処理部１１３は、ディスク装置１０７等に格納されていた文書データに、ＩＤを付加し、紙出力装置であるプリンタ１１８で出力するためのイメージを生成する。プリンタＩ／Ｆ制御部１１２は、プリンタ１１８を制御することにより、紙に文書等のイメージを印刷する処理を行う。 The print processing unit 113 adds an ID to the document data stored in the disk device 107 or the like, and generates an image to be output by the printer 118 that is a paper output device. The printer I / F control unit 112 performs processing for printing an image such as a document on paper by controlling the printer 118.

紙識別情報管理部１１４は、文書の各ページとＩＤの関係が一対一になるように紙識別情報管理テーブルによって管理し、ＩＤの登録、削除、参照等を行う。 The paper identification information management unit 114 manages the page identification information management table by using a paper identification information management table so that the relationship between each page of the document and the ID becomes one-to-one, and performs ID registration, deletion, reference, and the like.

紙情報取得部１１０は、スキャナ１１６及びデジタイザ１１７等で読み取ったイメージに基づいてＩＤを取得し、紙情報である、前記ＩＤに対応する文書の情報、及び、前記読み取ったイメージを筆記処理部１１１に出力する。 The paper information acquisition unit 110 acquires an ID based on the image read by the scanner 116, the digitizer 117, and the like, and writes the document information corresponding to the ID as the paper information and the read image. Output to.

なお、本明細書においては、文書等のコンテンツを読み取ったイメージ、及び、ＩＤに対応する文書の情報を「紙情報」とする。文書の情報とは、例えば、記憶装置に格納されているコンテンツの「ファイル名」「ページ番号」「コンテンツの種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等である。 Note that in this specification, the image of content such as a document and the document information corresponding to the ID are referred to as “paper information”. The document information includes, for example, “file name”, “page number”, “content type”, “path name or address indicating the position of the file on the disk”, and the like of the content stored in the storage device.

筆記処理部１１１は、紙情報取得部１１０より入力されたＩＤに対応する文書の情報から、前記ＩＤに対応する文書をディスクＩ／Ｆ制御部１１５を介してディスク装置１０７より取得し、紙情報取得部１１０より入力されたイメージと比較して処理することにより、ユーザが手書きしたシンボル等を取得し、該シンボルに対応する処理を前記ＩＤに対応する文書に実行する。 The writing processing unit 111 acquires the document corresponding to the ID from the disk device 107 via the disk I / F control unit 115 from the information of the document corresponding to the ID input from the paper information acquisition unit 110, and the paper information By processing the image compared with the image input from the acquisition unit 110, a symbol or the like handwritten by the user is acquired, and processing corresponding to the symbol is executed on the document corresponding to the ID.

ユーザＩ／Ｆデバイス１１９は、画像処理装置１１０に対してユーザが入力を行い、又は、画像処理装置１１０が表示を行うＩ／Ｆであり、ディスプレイ１０３、スピーカ１０４、キーボード１０５、及び、マウス１０６とから構成されている。キーボード１０５及びマウス１０６は、ユーザが各種の命令を入力するデバイスであり、紙情報の取得の命令や、文書を印刷して出力する命令を入力する。ディスプレイ１０３及びスピーカ１０４は、ユーザが命令を入力等する操作の際に、画像処理装置１１０が必要な情報を出力する。 The user I / F device 119 is an I / F that is input by the user to the image processing apparatus 110 or displayed by the image processing apparatus 110, and includes a display 103, a speaker 104, a keyboard 105, and a mouse 106. It consists of and. A keyboard 105 and a mouse 106 are devices for a user to input various commands, and input commands for obtaining paper information and commands for printing and outputting a document. The display 103 and the speaker 104 output information necessary for the image processing apparatus 110 when the user performs an operation such as inputting a command.

ディスク装置１０７は、コンテンツである文書のデータを格納し、プリンタ１１８は、イメージを紙面に形成して出力する。 The disk device 107 stores document data as content, and the printer 118 forms an image on a paper surface and outputs it.

スキャナ１１６は、紙面を走査して２次元画像データであるイメージを取得する装置である。また、本実施例のデジタイザ１１７は、ＩＤを読み取ることができるように構成されており、さらに、ユーザの筆致動作であるストロークを検出し、２次元データであるストロークデータに変換する装置である。図示しない紙識別情報読み取り装置とは、例えば、ＣＣＤカメラ、２次元コードリーダ、又は、１次元バーコードリーダ等がある。
（ストロークデータの説明）
図３は、ストロークデータの一例である。表３０１の各項目は、手書きの文字またはシンボルを構成する複数の座標の取得順であるシーケンス３０２、使用したペンの種類を示すペンの識別情報３０３、前記複数の座標の取得時刻であるタイムスタンプ３０４、前記複数の座標のＸ成分３０５、前記複数の座標のＹ成分３０６、前記複数の座標のそれぞれを取得した時に、ペンと紙面が接していたか否かを表すペンダウン／ペンアップ３０７、及び、前記複数の座標が属するストロークを区別するストロークのラベル３０８である。一のストロークとは、シーケンス３０２の項目表される数字の順に、ペンダウン／ペンアップ３０７が、ペンダウンとなる座標点を記す動作から、ペンアップとなる座標点を記す動作までの複数の座標点を記す筆致動作のことである。また、シンボルを表す情報の一つである色に代えて、ストロークではペンの識別情報３０３が用いられる。 The scanner 116 is a device that scans the paper surface and acquires an image that is two-dimensional image data. The digitizer 117 according to the present embodiment is configured to be able to read the ID, and further detects a stroke that is a user's writing operation and converts the stroke data into two-dimensional data. Examples of the paper identification information reading device (not shown) include a CCD camera, a two-dimensional code reader, and a one-dimensional bar code reader.
(Explanation of stroke data)
FIG. 3 is an example of stroke data. Each item in the table 301 includes a sequence 302 that is an acquisition order of a plurality of coordinates constituting a handwritten character or symbol, a pen identification information 303 that indicates the type of pen used, and a time stamp that is the acquisition time of the plurality of coordinates. 304, an X component 305 of the plurality of coordinates, a Y component 306 of the plurality of coordinates, a pen down / pen up 307 indicating whether or not the pen and the paper surface are in contact with each other, and It is a stroke label 308 for distinguishing a stroke to which the plurality of coordinates belong. One stroke is a plurality of coordinate points from the operation in which the pen-down / pen-up 307 writes the coordinate point that becomes the pen-down to the operation that writes the coordinate point that becomes the pen-up in the order of the numbers shown in the items of the sequence 302 This is the writing action described. In addition, pen identification information 303 is used in a stroke instead of a color which is one of information representing symbols.

次に、本発明の特徴である紙情報の取得及び該紙情報による処理を行う、印刷処理部１１３、紙情報取得部１１０、紙識別情報管理部１１４、及び、筆記処理部１１１の動作について、以下説明する。
（印刷処理部１１３の動作）
図４は、ユーザＩ／Ｆ制御部１０２から文書の印刷を要求する信号を受けたときの印刷処理部１１３の動作を説明する流れ図である。 Next, regarding the operations of the print processing unit 113, the paper information acquisition unit 110, the paper identification information management unit 114, and the writing processing unit 111 that perform the acquisition of the paper information and the processing based on the paper information, which are features of the present invention, This will be described below.
(Operation of the print processing unit 113)
FIG. 4 is a flowchart for explaining the operation of the print processing unit 113 when a signal for requesting printing of a document is received from the user I / F control unit 102.

ステップ４０１では、印刷処理部１１３が、ユーザＩ／Ｆ制御部より、印刷する文書の情報を取得する。文書の情報とは、例えば、ディスク装置１０７に格納されている文書の「ファイル名」「ページ番号」「文書の種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等である。 In step 401, the print processing unit 113 acquires information on a document to be printed from the user I / F control unit. The document information includes, for example, “file name”, “page number”, “document type”, “path name or address indicating the position of the file on the disk”, and the like of the document stored in the disk device 107.

ステップ４０２では、紙識別情報管理部１１４が、印刷処理部１１３より文書の情報を受信し、該文書の情報に基づき、ＩＤを発行、登録するとともに、該ＩＤを印刷処理部１１３へ送信する。 In step 402, the paper identification information management unit 114 receives document information from the print processing unit 113, issues and registers an ID based on the document information, and transmits the ID to the print processing unit 113.

ステップ４０３では、印刷処理部１１３が、文書の情報に基づき、ディスクＩ／Ｆ制御部１１５を介してディスク装置１０７に記録されている文書を取得する。ステップ４０４では、印刷処理部１１３が、ＩＤを符号に変換する。 In step 403, the print processing unit 113 acquires a document recorded on the disk device 107 via the disk I / F control unit 115 based on the document information. In step 404, the print processing unit 113 converts the ID into a code.

ステップ４０５では、印刷処理部１１３が、取得した文書のイメージを生成し、該イメージにＩＤ、及び、印刷した紙面を読み取ってスキュー補正を行う場合に必要となるタイミングマークを重畳した印刷イメージを生成する。 In step 405, the print processing unit 113 generates an image of the acquired document, and generates a print image in which an ID and a timing mark necessary for performing skew correction by reading the printed paper surface are superimposed. To do.

ステップ４０６では、印刷処理部１１３が、印刷を要求する命令とともに、印刷イメージをプリンタ１１８に送信する。
（紙識別情報管理部１１４の管理データの例）
図５は、紙識別情報管理部１１４が管理するＩＤテーブルの一例である。 In step 406, the print processing unit 113 transmits a print image to the printer 118 together with a command for requesting printing.
(Example of management data of the paper identification information management unit 114)
FIG. 5 is an example of an ID table managed by the paper identification information management unit 114.

ＩＤテーブル５０１は、コンテンツである文書を一意に識別する番号と該文書のファイル名及び／又はパス名等を管理するＩＤテーブルであり、各列の項目は、文書を一意に識別する番号であるＩＤ５０２、該文書をディスク装置から読み出す場合のアドレス等を表すパス名及びファイル名５０３、該文書内の頁番号５０４、該文書の種類５０５から構成されている。ＩＤテーブル５０１の各行が、一の文書の情報となり、行５０６は、ＩＤが０００１の文書の情報である。複数頁の文書を処理する場合には、行５０６の構成を有する情報が頁数だけ必要となる。 The ID table 501 is an ID table that manages a number that uniquely identifies a document as a content and a file name and / or path name of the document, and each column item is a number that uniquely identifies the document. The ID 502 includes a path name and file name 503 indicating an address when the document is read from the disk device, a page number 504 in the document, and a document type 505. Each row of the ID table 501 is information of one document, and a row 506 is information of a document whose ID is 0001. When processing a multi-page document, information having the configuration of the line 506 is required for the number of pages.

文書の種類５０５は、数値によって文書の種類を分類する項目であり、例えば、後述する処理シンボル入力シートを「０」、その他の文書を「１」とする他、更に詳細に分類してもよい。また、数値による分類の他、文字その他の任意のデータ形式で分類してもよい。
（印刷イメージの説明）
図６は、文書のイメージの一例であり、図７は、印刷処理部１１３が図６のイメージである文書から生成した印刷イメージの例である。 The document type 505 is an item for classifying the document type by numerical value. For example, a processing symbol input sheet described later is set to “0”, and other documents are set to “1”, and may be further classified. . Further, in addition to classification by numerical values, classification may be performed by any other data format such as characters.
(Description of print image)
FIG. 6 is an example of a document image, and FIG. 7 is an example of a print image generated by the print processing unit 113 from the document that is the image of FIG.

図６のイメージ６０１には、文字及び画像が含まれている。印刷処理部１１３が、紙識別情報管理部１１４より受信したＩＤを符号化し、イメージ６０１に重畳することにより、図７におけるイメージ７０１が生成される。イメージ７０１において、マーク７０２から７０５は、イメージ７０１が印刷された紙を読み込み、スキュー補正を行う場合に用いるタイミングマークである。マーク７０２から７０５は、イメージ内の所定の４箇所に形成されており、読み込みの際に歪み等が生じた場合に、画像処理装置１０１が有する規定の値と比較することにより、読み込んだイメージに対する補正を行う。符号７０６は、イメージ６０１の文書に対応するＩＤである。また、イメージ７０７は、イメージ６０１のコンテンツに相当する部分である。
（紙情報取得部１１０の動作）
図８は、紙情報取得部１１０の動作を説明する流れ図であり、図９は、イメージ７０１が印刷された紙に対して、ユーザがシンボル等を加筆したイメージを説明する図である。 The image 601 in FIG. 6 includes characters and images. The print processing unit 113 encodes the ID received from the paper identification information management unit 114 and superimposes it on the image 601, thereby generating the image 701 in FIG. 7. In the image 701, marks 702 to 705 are timing marks used when the paper on which the image 701 is printed is read and skew correction is performed. The marks 702 to 705 are formed at predetermined four positions in the image. When distortion occurs during reading, the marks 702 to 705 are compared with a predetermined value of the image processing apparatus 101 to thereby compare the read image. Make corrections. Reference numeral 706 denotes an ID corresponding to the document of the image 601. An image 707 is a portion corresponding to the content of the image 601.
(Operation of the paper information acquisition unit 110)
FIG. 8 is a flowchart for explaining the operation of the paper information acquisition unit 110. FIG. 9 is a diagram for explaining an image in which a user adds a symbol or the like to the paper on which the image 701 is printed.

ステップ８０１では、紙情報取得部１１０が、ユーザＩ／Ｆ制御部より、使用する紙入力機器を指定する信号を取得する。本実施例においては、紙入力機器は、スキャナ１１６及びデジタイザ１１７であり、ユーザは、ユーザＩ／Ｆデバイス１１９から、これら紙入力機器のいずれかを指定して入力する。 In step 801, the paper information acquisition unit 110 acquires a signal specifying a paper input device to be used from the user I / F control unit. In this embodiment, the paper input devices are the scanner 116 and the digitizer 117, and the user designates and inputs one of these paper input devices from the user I / F device 119.

ステップ８０２では、紙情報取得部１１０が受信した、紙入力機器を指定する信号の内容が、スキャナ１１６か、デジタイザ１１７かを判断する。前記信号の内容がスキャナ１１６である場合には、ステップ８０３から８０７の処理が行われる。 In step 802, it is determined whether the content of the signal specifying the paper input device received by the paper information acquisition unit 110 is the scanner 116 or the digitizer 117. If the content of the signal is the scanner 116, the processing of steps 803 to 807 is performed.

ステップ８０３では、スキャナ１１６が指定された場合に、紙情報取得部１１０が、スキャナＩ／Ｆ制御部１０８に対して紙面の読み取りを指示し、イメージのデータを受信する。ステップ８０４では、紙情報取得部１１０が、受信したイメージからスキュー補正のマーク７０２から７０５を検出し、規定の値と比較することにより、前記イメージに対してスキュー補正を行う。ステップ８０５では、紙情報取得部１１６が、スキュー補正を行った前記イメージから、符号化されたＩＤ７０６を検出し、これを復号することにより文書のＩＤを得る。 In step 803, when the scanner 116 is designated, the paper information acquisition unit 110 instructs the scanner I / F control unit 108 to read the paper surface, and receives image data. In step 804, the paper information acquisition unit 110 detects skew correction marks 702 to 705 from the received image and compares the marks with a specified value to perform skew correction on the image. In step 805, the paper information acquisition unit 116 detects the encoded ID 706 from the image subjected to skew correction, and obtains the document ID by decoding it.

ステップ８０６では、紙情報取得部１１０が、取得した文書のＩＤに基づく文書の情報を、紙識別情報管理部１１４より受信する。文書の情報とは、例えば、記憶装置に格納されているコンテンツの「ファイル名」「ページ番号」「コンテンツの種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等である。 In step 806, the paper information acquisition unit 110 receives document information based on the acquired document ID from the paper identification information management unit 114. The document information includes, for example, “file name”, “page number”, “content type”, “path name or address indicating the position of the file on the disk”, and the like of the content stored in the storage device.

ステップ８０７では、紙情報取得部１１０が、取得したイメージのデータ及び文書の情報からなる紙情報を筆記処理部１１１に送信し、本流れ図の処理である、紙情報取得部１１０の動作が終了する。 In step 807, the paper information acquisition unit 110 transmits paper information including the acquired image data and document information to the writing processing unit 111, and the operation of the paper information acquisition unit 110, which is the processing of this flowchart, ends. .

ステップ８０２において、紙情報取得部１１０が受信した、紙入力機器を指定する信号の内容がデジタイザ１１７である場合には、ステップ８０８から８１０の処理が行われる。 In step 802, if the content of the signal specifying the paper input device received by the paper information acquisition unit 110 is the digitizer 117, the processing of steps 808 to 810 is performed.

ステップ８０８では、紙情報取得部１１０が、デジタイザＩ／Ｆ制御部１０９に対して、印刷された紙面にユーザがストロークする際のストロークデータ、及び、前記印刷された紙面上に形成されている符号化されたＩＤのイメージの取得を指示する。符号化されたＩＤのイメージとは、例えば、バーコード等で表されるＩＤのことである。紙情報取得部１１０が、前記ストロークデータ及び前記符号化されたＩＤのイメージを取得し、該ＩＤのイメージを処理することにより、文書のＩＤを得る。ステップ８０９では、紙情報取得部１１０が、文書のＩＤに基づく文書の情報を、紙識別情報管理部１１４より受信する。ステップ８１０では、紙情報取得部１１０が、取得したストロークデータ及び文書の情報からなる紙情報を筆記処理部１１１に送信し、本流れ図の処理である、紙情報取得部１１０の動作が終了する。 In step 808, the paper information acquisition unit 110 instructs the digitizer I / F control unit 109 to stroke data when the user strokes on the printed paper, and the code formed on the printed paper. The acquisition of the image of the converted ID is instructed. The encoded ID image is, for example, an ID represented by a barcode or the like. The paper information acquisition unit 110 acquires the stroke data and the encoded ID image, and processes the ID image to obtain the document ID. In step 809, the paper information acquisition unit 110 receives document information based on the document ID from the paper identification information management unit 114. In step 810, the paper information acquisition unit 110 transmits paper information including the acquired stroke data and document information to the writing processing unit 111, and the operation of the paper information acquisition unit 110, which is the processing of this flowchart, ends.

読み取りを行う紙が複数枚ある場合には、ステップ８０３からステップ８０７の処理、又は、ステップ８０８からステップ８１０の処理を、紙の枚数と同数だけ行う。
（処理シンボル入力シートの場合の処理）
処理シンボル入力シートの構成についは後述するが、ここでは、処理シンボル入力シートが読み込まれた場合の、紙情報取得部１１０の動作について説明する。 When there are a plurality of sheets to be read, the processes from step 803 to step 807 or the processes from step 808 to step 810 are performed by the same number as the number of sheets.
(Processing for processing symbol input sheet)
The configuration of the processing symbol input sheet will be described later. Here, the operation of the paper information acquisition unit 110 when the processing symbol input sheet is read will be described.

処理シンボル入力シートのうち、マーク７０２から７０５及び符号７０６を有していない処理シンボル入力シートが、スキャナ１１６によって読み込まれた場合は、ステップ８０４からステップ８０６の処理は行われない。また、符号７０６を有していない処理シンボル入力シートが、デジタイザ１１７によって読み込まれた場合は、ステップ８０８において、紙情報取得部１１０は、デジタイザ制御手段１１７よりストロークデータのみを受信し、ステップ８０９の処理は行われない。また、ステップ８１０において、紙情報取得部１１０は、ストロークデータのみを筆記処理部１１１に送信する。
（ユーザがシンボルを手書きした紙面の説明）
図９において、紙面９０１は、イメージ７０１が印刷された紙であって、ユーザがシンボル等を上書きしたものである。紙面９０１は、イメージ７０１を構成する要素である、スキュー補正のためのタイミングマーク７０２から７０５、文書の符号化されたＩＤ７０６、並びに、文書の内容である、タイトル文字９０２、文字領域９０３、及び、イラスト９０４を有する。紙面９０１は、さらに、イメージ７０１が印刷された紙面にユーザが上書きしたシンボル等９０５から９０８を有する。
（筆記処理部１１１の動作）
図１０、図１１、及び、図１５は、筆記処理部１１１の動作を説明する流れ図である。 When the processing symbol input sheet that does not have the marks 702 to 705 and the reference numeral 706 among the processing symbol input sheets is read by the scanner 116, the processing from step 804 to step 806 is not performed. If the processing symbol input sheet not having the reference numeral 706 is read by the digitizer 117, the paper information acquisition unit 110 receives only the stroke data from the digitizer control means 117 in step 808, and in step 809. No processing is performed. In step 810, the paper information acquisition unit 110 transmits only stroke data to the writing processing unit 111.
(Description of the page on which the user has handwritten the symbol)
In FIG. 9, a paper surface 901 is paper on which an image 701 is printed, and is overwritten by a user with a symbol or the like. A paper surface 901 is an element constituting the image 701, timing marks 702 to 705 for skew correction, an encoded ID 706 of the document, and a title character 902, a character region 903, which are contents of the document, and It has an illustration 904. The paper surface 901 further includes symbols 905 to 908 that the user has overwritten on the paper surface on which the image 701 is printed.
(Operation of the writing processing unit 111)
10, 11, and 15 are flowcharts for explaining the operation of the writing processing unit 111.

図１０は、紙情報取得部１１０から紙情報を受信した場合の筆記処理部１１１の動作を説明する図である。ステップ１００１からステップ１００５は、受信した紙情報の数だけ処理を繰り返し、処理されていない紙情報が無くなった場合に、処理を終了する。 FIG. 10 is a diagram for explaining the operation of the writing processing unit 111 when paper information is received from the paper information acquisition unit 110. Steps 1001 to 1005 repeat the process for the number of received paper information, and when there is no unprocessed paper information, the process ends.

ステップ１００１では、筆記処理部１１１が、処理されていない紙情報の有無を判断し、処理されていない紙情報が一つ以上存在する場合には、ステップ１００２へ進む。 In step 1001, the writing processing unit 111 determines the presence or absence of unprocessed paper information. If there is one or more unprocessed paper information, the process proceeds to step 1002.

ステップ１００２では、筆記処理部１１１が、処理する紙情報に対応する文書が、処理シンボル対応シートか否かを判断し、処理シンボル対応シートである場合には、ステップ１００３へ進み、処理シンボル対応シートではない場合には、ステップ１００４へ進む。 In step 1002, the writing processing unit 111 determines whether or not the document corresponding to the paper information to be processed is a processing symbol-corresponding sheet. If the document is a processing symbol-corresponding sheet, the process proceeds to step 1003. If not, go to Step 1004.

ステップ１００２では、筆記処理部１１１が、処理シンボル対応シートの紙情報に基づき、処理内容に対応したシンボル等を取得する。ステップ１００４では、筆記処理部１１１が、処理内容に対応したシンボル等の取得が終了しているか否かを判断し、処理内容に対応したシンボル等の取得が終了している場合には、ステップ１００５に進む。処理内容に対応したシンボル等の取得が終了していない場合には、ステップ１００１に戻る。ステップ１００５では、筆記処理部１１１が、ステップ１００３で取得した、処理内容に対応したシンボル等と、ステップ１００５に入力された紙情報から得られるシンボル等とを比較して一致性を判断することにより、対応する処理を行う。
（処理シンボル対応シートを処理する流れの説明）
図１１は、ステップ１００３の処理の詳細であり、筆記処理部１１１が、読み込んだ処理シンボル対応シートのイメージから、処理内容に対応するシンボル等のデータを取得する動作を説明する流れ図である。筆記処理部１１１は、読み込んだ処理シンボル対応シートのイメージ又はストロークデータを含む紙情報を、既に有している。 In step 1002, the writing processing unit 111 acquires a symbol or the like corresponding to the processing content based on the paper information of the processing symbol corresponding sheet. In step 1004, the writing processing unit 111 determines whether or not acquisition of symbols or the like corresponding to the processing content has been completed. If acquisition of symbols or the like corresponding to the processing content has been completed, step 1005 is performed. Proceed to If acquisition of the symbol corresponding to the processing content has not been completed, the process returns to step 1001. In step 1005, the writing processing unit 111 compares the symbol corresponding to the processing content acquired in step 1003 with the symbol obtained from the paper information input in step 1005 to determine the coincidence. , Perform the corresponding process.
(Explanation of the flow to process the processing symbol correspondence sheet)
FIG. 11 shows details of the processing in step 1003 and is a flowchart for explaining the operation in which the writing processing unit 111 acquires data such as symbols corresponding to the processing content from the read image of the processing symbol corresponding sheet. The writing processing unit 111 already has paper information including the image or stroke data of the read processing symbol corresponding sheet.

ステップ１１０１では、筆記処理部１１１が、ディスクＩ／Ｆ制御部１１５を介してディスク装置１０７より、筆記処理部１１１が有する紙情報に含まれている文書の情報に対応する処理シンボル対応シートのデータを取得する。前記紙情報に文書の情報が含まれていない場合、即ち、読み取った紙に符号化されたＩＤが印刷されていない場合には、筆記処理部１１１が取得する処理シンボル対応シートのデータは、予め情報処理装置１０１が有しているデータ、又は、予めディスク装置１０７等に記憶されている所定のデータとなる。 In step 1101, the writing processing unit 111 receives processing symbol corresponding sheet data corresponding to document information included in the paper information of the writing processing unit 111 from the disk device 107 via the disk I / F control unit 115. To get. When the document information is not included in the paper information, that is, when the encoded ID is not printed on the read paper, the processing symbol corresponding sheet data acquired by the writing processing unit 111 is stored in advance. This is data that the information processing apparatus 101 has, or predetermined data that is stored in advance in the disk device 107 or the like.

ステップ１１０２では、筆記処理部１１１が、該筆記処理部１１１が有する紙情報が、イメージを含んでいるか、ストロークデータを含んでいるかを判断し、イメージの場合には、ステップ１１０３へ、ストロークデータの場合には、ステップ１１０７へ進む。 In step 1102, the writing processing unit 111 determines whether the paper information included in the writing processing unit 111 includes an image or stroke data. If yes, go to Step 1107.

ステップ１１０３では、筆記処理部１１１が、紙情報に含まれている読み込んだイメージと、文書の情報に対応する処理シンボル対応シートのデータから生成されたイメージとの画素毎の差分を計算することにより、ユーザが手書きによって記入したシンボルのみが描かれたイメージを生成する。 In step 1103, the writing processing unit 111 calculates a pixel-by-pixel difference between the read image included in the paper information and the image generated from the processing symbol corresponding sheet data corresponding to the document information. Then, an image is generated in which only symbols entered by the user by handwriting are drawn.

ステップ１１０４では、筆記処理部１１１が、ステップ１１０３で生成されたシンボルのみが描かれたイメージについて、処理シンボル対応シートのデータから、紙面上でユーザが記入する欄の位置情報を取得してそれぞれの欄を記入部分とし、該記入部分毎に、差分画像をシンボルとして抽出する。 In step 1104, the writing processing unit 111 obtains position information of a column to be filled in by the user on the paper from the data of the processing symbol corresponding sheet for the image in which only the symbol generated in step 1103 is drawn. The column is an entry part, and the difference image is extracted as a symbol for each entry part.

ステップ１１０５では、筆記処理部１１１が、ステップ１１０４で抽出した部分画像と、
該部分画像が描かれた紙面上の位置に対応する処理内容とを関連づけたデータ対としてディスク装置１０７等に記憶させる。 In step 1105, the writing processor 111 extracts the partial image extracted in step 1104, and
The data is stored in the disk device 107 or the like as a data pair in association with the processing content corresponding to the position on the paper surface on which the partial image is drawn.

ステップ１１０６では、筆記処理部１１１が、全ての記入部分について、ステップ１１０４とステップ１１０５の処理が行われているか否かを判断し、未処理の記入部分を有する場合には、ステップ１１０４へ進み、全ての記入部分の処理が終了した場合には、ステップ１００１へ進む。 In step 1106, the writing processing unit 111 determines whether or not the processing in steps 1104 and 1105 has been performed for all entry parts. If there is an unprocessed entry part, the process proceeds to step 1104. When the processing of all the entry portions is completed, the process proceeds to step 1001.

一方、筆記処理部１１１が有する紙情報が、ストロークデータを含む場合には、ステップ１１０７からステップ１１０９の処理を行う。 On the other hand, when the paper information included in the writing processing unit 111 includes stroke data, the processing from step 1107 to step 1109 is performed.

ステップ１１０７では、筆記処理部１１１が、処理シンボル対応シートのデータから、紙面上でユーザが記入する欄の位置情報を取得してそれぞれの欄を部分領域とし、該部分領域毎に、含まれるストロークデータを生成する。 In step 1107, the writing processing unit 111 obtains position information of fields to be filled in by the user on the paper from the data of the processing symbol corresponding sheet, and sets each field as a partial area, and the stroke included in each partial area. Generate data.

ステップ１１０８では、筆記処理部１１１が、ステップ１１０７で生成したストロークデータと、該ストロークデータを有する部分領域に対応する処理内容とを関連づけたデータ対として、ディスク装置１０７等に記憶させる。 In step 1108, the writing processing unit 111 stores the stroke data generated in step 1107 and a data pair in which the processing content corresponding to the partial area having the stroke data is associated with the disk device 107 or the like.

ステップ１１０９では、筆記処理部１１１が、処理シンボル対応シートに含まれている全てのユーザが記入する欄について、処理が終了しているか否かを判断し、未処理の欄がある場合にはステップ１１０７へ進み、全ての欄が終了している場合には、ステップ１００１へ進む。
（処理シンボル対応シートの説明）
図１２は、処理シンボル対応シートのイメージの一例である。 In step 1109, the writing processing unit 111 determines whether or not the processing has been completed for all the fields entered by the user included in the processing symbol correspondence sheet. Proceed to 1107, and if all the columns have been completed, proceed to step 1001.
(Explanation of processing symbol sheet)
FIG. 12 is an example of an image of a processing symbol corresponding sheet.

処理シンボル対応シートのイメージ１２０１は、表１２１０、タイトルの文字列１２１１、ユーザがシンボルを記入する欄１２０２から１２０５、及び、該記入欄にそれぞれ対応する処理内容を表す文字列１２０６から１２０９を有する。表１２１０は、処理内容とユーザがシンボルを記入する欄を対応させて表示する表であり、タイトル１２１１は、処理シンボル対応シートの表題を表す文字列である。 The processing symbol correspondence sheet image 1201 includes a table 1210, a title character string 1211, columns 1202 to 1205 in which a user enters symbols, and character strings 1206 to 1209 representing processing contents corresponding to the entry columns, respectively. The table 1210 is a table that displays the processing contents in correspondence with the columns in which the user enters symbols, and the title 1211 is a character string that represents the title of the processing symbol corresponding sheet.

記入欄１２０２から１２０５は、それぞれ記入されたシンボル等に対する処理が定められている。記入欄１２０２及び記入欄１２０３は、ユーザが記入したチェック記号の有無により、対応する処理の実行の有無を定める。例えば、記入欄１２０２にチェック記号が手書きされた場合には、対応する処理である「シンボルを重畳表示」について、前記処理を実行することを示す値を前記処理内容と対応させる。前記対応する処理の実行の有無を示す値は、ブーリアン型の変数としてもよい。また、例えば、記入欄１２０４に記入されたシンボルは、イメージ又はストロークデータとして、処理内容１２０８に対応させて記録され、記入欄１２０５に記入されたシンボルに基づくイメージ又はストロークデータは、処理内容１２０９に対応させて記録される。 In the entry fields 1202 to 1205, processing for each entered symbol or the like is defined. The entry column 1202 and the entry column 1203 determine whether or not to execute the corresponding processing depending on the presence or absence of a check symbol entered by the user. For example, when a check symbol is handwritten in the entry field 1202, a value indicating that the process is to be executed is associated with the process content for the corresponding process “symbol superimposed display”. The value indicating whether or not the corresponding process is executed may be a Boolean variable. Further, for example, the symbol entered in the entry field 1204 is recorded as image or stroke data in correspondence with the processing content 1208, and the image or stroke data based on the symbol entered in the entry field 1205 is recorded in the processing content 1209. Correspondingly recorded.

図１３は、処理シンボル対応シートにユーザがシンボルを記入したイメージの一例である。 FIG. 13 is an example of an image in which a user enters a symbol on the processing symbol correspondence sheet.

処理シンボル対応シートのイメージ１３０１は、処理シンボル対応シートのイメージ１２０１が有する要素に加えて、ユーザが手書きしたシンボル１３０２から１３０４を有する。記入欄１２０３に記入されたシンボル１３０２が、処理内容を表す文字列１２０７に対応し、記入欄１２０４に記入されたシンボル１３０３が、処理内容を表す文字列１２０８に対応し、記入欄１２０５に記入されたシンボル１３０４が、処理内容を表す文字列１２０９に対応するデータとして記録される。 The processing symbol corresponding sheet image 1301 includes symbols 1302 to 1304 handwritten by the user in addition to the elements included in the processing symbol corresponding sheet image 1201. The symbol 1302 entered in the entry column 1203 corresponds to the character string 1207 representing the processing content, and the symbol 1303 entered in the entry column 1204 corresponds to the character string 1208 representing the processing content and is entered in the entry column 1205. The symbol 1304 is recorded as data corresponding to the character string 1209 representing the processing content.

ここで、処理シンボル対応シートのイメージ１３０１は、スキュー補正のためのタイミングマーク７０２から７０５、及び、前記処理シンボル対応シートの符号化されたＩＤ７０６を有している。このような場合は、処理シンボル対応シート１３０１は、複数枚を区別して使用することができる。 Here, the processing symbol corresponding sheet image 1301 includes timing marks 702 to 705 for skew correction, and an encoded ID 706 of the processing symbol corresponding sheet. In such a case, a plurality of processing symbol correspondence sheets 1301 can be used.

図１４は、処理シンボル対応シートのイメージ１３０１に基づく、シンボルと処理内容とを対応させて管理する、処理シンボル管理テーブルの例である。 FIG. 14 is an example of a processing symbol management table that manages symbols and processing contents in association with each other based on the processing symbol corresponding sheet image 1301.

記入欄１２０２及び１２０３にそれぞれ対応する処理内容である「シンボルを重畳表示」及び「シンボル以外の筆記を重畳表示」は、ブーリアン型の変数に対応される。記入欄１２０４及び１２０５にそれぞれ対応する処理内容は、「コンテンツの抽出範囲」「処理を行うコンテンツの種類」及び「処理内容」のそれぞれについて定められており、前記処理内容に、ユーザが記入したシンボル１３０３及び１３０４がそれぞれ対応される。
（一致性の判断の処理の説明）
図１５は、筆記処理部１１１が行う、ステップ１００５におけるシンボル等の一致性を判断する処理を説明する流れ図である。 The processing contents corresponding to the entry fields 1202 and 1203, “superimpose symbol display” and “superimpose writing other than symbols”, correspond to Boolean variables. The processing contents respectively corresponding to the entry fields 1204 and 1205 are defined for each of “content extraction range”, “type of content to be processed”, and “processing content”. Symbols entered by the user in the processing contents 1303 and 1304 correspond respectively.
(Explanation of consistency judgment process)
FIG. 15 is a flowchart for explaining the process performed by the writing processing unit 111 to determine the coincidence of symbols and the like in step 1005.

ステップ１５０１では、筆記処理部１１１が、ディスクＩ／Ｆ制御部１１５を介してディスク装置１０７より紙情報に対応する文書のデータを取得する。ステップ１５０２では、紙情報に含まれているデータが、イメージかストロークデータであるかを判断し、イメージの場合には、ステップ１５０３へ進み、ストロークデータの場合には、ステップ１５１１へ進む。 In step 1501, the writing processing unit 111 acquires document data corresponding to the paper information from the disk device 107 via the disk I / F control unit 115. In step 1502, it is determined whether the data included in the paper information is an image or stroke data. If the data is an image, the process proceeds to step 1503. If the data is stroke data, the process proceeds to step 1511.

イメージの場合には、筆記処理部１１１が、ステップ１５０３において、ステップ１５０１で取得した文書のデータからイメージを生成し、該イメージと、紙情報に含まれている読み込んだイメージとの画素毎の差分を計算して差分画像を得ることにより、ユーザが手書きしたシンボルから構成される画像を得る。 In the case of an image, the writing processing unit 111 generates an image from the document data acquired in step 1501 in step 1503, and the difference for each pixel between the image and the read image included in the paper information. To obtain a difference image, thereby obtaining an image composed of symbols handwritten by the user.

ステップ１５０４では、筆記処理部１１１が、ステップ１５０３で生成した差分画像について、画素毎の近接と領域からクラスタリングを行い、複数の筆記クラスタを得、該筆記クラスタ毎に、外接する矩形の領域の頂点座標を取得する。 In step 1504, the writing processing unit 111 performs clustering from the proximity and area for each pixel on the difference image generated in step 1503 to obtain a plurality of writing clusters, and for each writing cluster, the vertex of the circumscribed rectangular area Get the coordinates.

一方、ストロークデータの場合には、筆記処理部１１１が、ステップ１５１１において、紙情報に含まれているストロークデータを、筆記領域と座標点を描画した時刻とを用いてクラスタリングを行い、複数の筆記クラスタを得、該筆記クラスタ毎に、外接する矩形の頂点座標を取得する。 On the other hand, in the case of stroke data, the writing processing unit 111 performs clustering on the stroke data included in the paper information by using the writing area and the time at which the coordinate points are drawn in step 1511, thereby providing a plurality of writing data. A cluster is obtained, and for each writing cluster, the vertex coordinates of the circumscribed rectangle are obtained.

図１６は、イメージ９０１上から抽出した筆記クラスタを説明する図である。 FIG. 16 is a diagram for explaining a writing cluster extracted from the image 901.

ユーザが筆記したシンボルは、イメージの差分画像、又は、ストロークデータとしてイメージ９０１上から抽出され、クラスタリングによって、クラスタ９０５から９０８として取得され、それぞれのクラスタについて、外接する矩形１６０１から１６０４が得られる。矩形１６０１から１６０４は、それぞれ４点の頂点座標によって識別される。 The symbol written by the user is extracted from the image 901 as a differential image of the image or as stroke data, and is acquired as clusters 905 to 908 by clustering, and circumscribed rectangles 1601 to 1604 are obtained for each cluster. Each of the rectangles 1601 to 1604 is identified by four vertex coordinates.

ステップ１５０５では、筆記処理部１１１が、紙情報に含まれているＩＤに対応する文書のデータをＰＤＦ（ＰｏｒｔａｂｌｅＤｏｃｕｍｅｎｔＦｏｒｍａｔ）に変換する。なお、イメージを構成する要素である、文字の領域、及び、画像の領域のイメージ上の位置を保持し、かつ、個々の要素を別個に扱って処理を行うことが可能なフォーマットであれば、ＰＤＦに限らない。 In step 1505, the writing processing unit 111 converts the document data corresponding to the ID included in the paper information into PDF (Portable Document Format). In addition, if it is a format that can hold the position on the image of the character area and the image area, which are the elements constituting the image, and can process each element separately, It is not limited to PDF.

ステップ１５０６では、筆記処理部１１１が、未処理の筆記クラスタの有無を判断し、未処理の筆記クラスタが存在する場合には、ステップ１５０７へ進み、全ての筆記クラスタの処理が終了している場合には、ステップ１５１０へ進む。 In step 1506, the writing processing unit 111 determines whether or not there is an unprocessed writing cluster. If there is an unprocessed writing cluster, the process proceeds to step 1507, and all the writing clusters have been processed. Then, go to Step 1510.

ステップ１５０７では、筆記処理部１１１が、処理シンボル対応シートに基づいて処理内容とシンボルとを対応させて管理する、処理シンボル管理テーブルが有するシンボルと、一の筆記クラスタとを比較し、一致性を判断する。一致性を有すると判断された場合には、ステップ１５０８へ進み、一致性を有すると判断されない場合には、ステップ１５０６へ進む。 In step 1507, the writing processing unit 111 compares the symbols included in the processing symbol management table, which manages the processing contents and the symbols in association with each other based on the processing symbol correspondence sheet, and the one writing cluster. to decide. If it is determined that there is a match, the process proceeds to step 1508, and if it is not determined that there is a match, the process proceeds to step 1506.

一致性の判断は、パターンマッチング等の公知の手法を用いる。シンボルがイメージの場合には、例えば、シンボルを構成する点の座標と、筆記クラスタの座標とを比較し、一致する点の割合によって類似度を判断し、類似度が所定の値を超える場合に、処理シンボル管理テーブルが有するシンボルと、筆記クラスタとが一致性を有すると判断する。 The determination of coincidence uses a known method such as pattern matching. When the symbol is an image, for example, the coordinates of the points constituting the symbol are compared with the coordinates of the writing cluster, and the similarity is determined by the ratio of the matching points. Then, it is determined that the symbols included in the processing symbol management table and the writing cluster have a match.

さらに、シンボルのイメージが、座標点の他に色の値を有する場合には、前記処理シンボル管理テーブルが有するシンボルの色の値と、筆記クラスタの色の値とを比較し、これらの値の差が所定の値以下の場合に、一致性を有するとし、座標及び色の値の双方が一致性を有する場合に、前記処理シンボル管理テーブルが有するシンボルと筆記クラスタとが一致性を有すると判断する。 Further, when the symbol image has color values in addition to the coordinate points, the symbol color values of the processing symbol management table are compared with the color values of the writing cluster, and the values of these values are compared. When the difference is equal to or smaller than a predetermined value, it is assumed that there is a match, and when both the coordinate and color values have a match, the symbol included in the processing symbol management table and the writing cluster have a match. to decide.

シンボルがストロークデータの場合には、座標及び色の値に加えて筆記速度によっても一致性の判断を行う。筆記速度は、ストロークデータを構成する点のうち、任意の一点のタイムスタンプと、該任意の一点と筆記順が直前の点のタイムスタンプとから、それらの点の間の平均的な筆記速度を算出し、これを用いる。 When the symbol is stroke data, the consistency is determined not only by the coordinate and color values but also by the writing speed. The writing speed is an average writing speed between these points from the time stamp of any one of the points constituting the stroke data and the time stamp of the point immediately before the writing order. Calculate and use this.

ステップ１５０８では、筆記処理部１１１が、一致性を有すると判断した筆記クラスタについて、該筆記クラスタのイメージ９０１上の位置の所定の範囲内に、該筆記クラスタと一致性を有すると判断された処理シンボル管理テーブルが有するシンボルと対応する処理内容を満たすコンテンツの有無を判断する。当該コンテンツが存在する場合には、ステップ１５０９へ進み、存在しない場合には、ステップ１５０６へ進む。
例えば、シンボル１３０４と筆記クラスタ９０５とが一致性を有すると判断された場合には、図１４に示す、シンボル１３０４に対応する処理内容である、「シンボル領域内」に「画像」のコンテンツが存在するか否かを判断する。筆記処理部１１１は、イメージ９０１のＰＤＦデータが有する各要素の座標から、筆記クラスタ９０５の領域内には、画像領域９０４が存在すると判断し、ステップ１５０９へ進む。 In step 1508, for the writing cluster that the writing processing unit 111 has determined to have consistency, the processing determined to have consistency with the writing cluster within a predetermined range of the position on the image 901 of the writing cluster. It is determined whether or not there is content satisfying the processing content corresponding to the symbol included in the symbol management table. If the content exists, the process proceeds to step 1509. If not, the process proceeds to step 1506.
For example, if it is determined that the symbol 1304 and the writing cluster 905 are consistent, the content of “image” exists in “in the symbol area”, which is the processing content corresponding to the symbol 1304 shown in FIG. Judge whether to do. The writing processing unit 111 determines from the coordinates of each element included in the PDF data of the image 901 that the image region 904 exists in the region of the writing cluster 905, and the process proceeds to step 1509.

ステップ１５０９では、ステップ１５０８において筆記クラスタの位置の所定の範囲内に存在するコンテンツについて、前記筆記クラスタと一致性を有するシンボルに対応する処理内容を実行する。例えば、筆記クラスタ９０５内に存在する画像コンテンツ９０４について、シンボル１３０４に対応する処理内容である「取得」の処理を行う。取得した画像データは、例えば、ユーザＩ／Ｆデバイス１１９からの入力に従って保存される。 In step 1509, the processing contents corresponding to the symbol having the consistency with the writing cluster are executed for the content existing in the predetermined range of the position of the writing cluster in step 1508. For example, “acquisition” processing, which is processing content corresponding to the symbol 1304, is performed on the image content 904 existing in the writing cluster 905. The acquired image data is stored in accordance with an input from the user I / F device 119, for example.

ステップ１５１０は、全ての筆記クラスタについて、ステップ１５０７からステップ１５０９の処理が終了した場合に、ステップ１５０７で処理シンボル管理テーブルが有するシンボルとの一致性を有すると判断されなかった筆記クラスタ、及び、前記一致性を有すると判断された筆記クラスタのそれぞれについて、予め処理シンボル管理シート等で定められている処理を行う。例えば、筆記クラスタ９０７及び９０８が、前記一致性を有すると判断されなかった場合に、図１４の処理シンボル管理テーブルに基づき、筆記クラスタ９０７及び９０８を、イメージ６０１に上書きする。
（構成の変形例）
図２は、本発明の画像処理装置２０１について、入出力デバイスをネットワークを介して接続したものである。画像処理装置２０１は、ユーザＩ／Ｆデバイス１１９と接続され、ネットワーク２０３を介してネットワークスキャナ２０４、ネットワークデジタイザ２０５、ネットワークプリンタ２０６、ネットワークサーバ２０７、及び、クライアントＰＣ２０８と接続されている。 Step 1510 includes, for all the writing clusters, when the processing from Step 1507 to Step 1509 is completed, the writing cluster that is not determined to be consistent with the symbols included in the processing symbol management table in Step 1507, and For each writing cluster that is determined to have a match, a process defined in advance in the process symbol management sheet or the like is performed. For example, when the writing clusters 907 and 908 are not determined to have the coincidence, the writing clusters 907 and 908 are overwritten on the image 601 based on the processing symbol management table of FIG.
(Configuration variation)
FIG. 2 shows an image processing apparatus 201 of the present invention in which input / output devices are connected via a network. The image processing apparatus 201 is connected to a user I / F device 119, and is connected to a network scanner 204, a network digitizer 205, a network printer 206, a network server 207, and a client PC 208 via a network 203.

画像処理装置２０１は、画像処理装置１０１が有する、スキャナＩ／Ｆ制御部１０８、デジタイザ制御部１０９、プリンタＩ／Ｆ制御部１１２、及び、ディスクＩ／Ｆ制御部１１５に代えて、ネットワークＩ／Ｆ制御部２０２を有し、該ネットワークＩ／Ｆ制御部２０２が、前記ネットワーク２０３に接続された各種デバイスの制御及びデータの入出力等を行う。 The image processing apparatus 201 replaces the scanner I / F control unit 108, the digitizer control unit 109, the printer I / F control unit 112, and the disk I / F control unit 115 included in the image processing apparatus 101 with a network I / F. The network I / F control unit 202 controls various devices connected to the network 203 and inputs / outputs data.

ネットワークサーバ２０７は、ディスク装置１１９を有し、該ディスク装置１１９からのデータ出力、及び、データを記憶させる処理を行う。クライアントＰＣ２０８は、ＦＴＰ（ＦｉｌｅＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）によるデータの転送や、データの格納等の処理を行う。 The network server 207 includes a disk device 119, and performs data output from the disk device 119 and processing for storing data. The client PC 208 performs processing such as data transfer by FTP (File Transfer Protocol) and data storage.

また、図２では、紙入力装置、紙出力装置等をネットワークを介して画像処理装置２０１に接続しているが、これらの一部をネットワークを介して接続し、他の装置は画像処理装置１０１が有する各種Ｉ／Ｆ制御部によって直接接続されて制御する構成でもよい。
（処理シンボル管理シートの変形例）
図１７に、処理シンボル管理シートの図１２とは異なる例を示す。 In FIG. 2, a paper input device, a paper output device, and the like are connected to the image processing apparatus 201 via a network. It may be configured to be directly connected and controlled by various I / F control units included in the.
(Modification of processing symbol management sheet)
FIG. 17 shows an example different from FIG. 12 of the processing symbol management sheet.

イメージ１７０１は、処理シンボル管理シートのイメージであり、処理内容を表す文字列１２０４に代えて、選択欄１７０２から１７０４、及び、処理内容を表す文字列１２０５に代えて、選択欄１７０５から１７０７を有している。 An image 1701 is an image of a processing symbol management sheet, and includes selection columns 1702 to 1704 instead of the character string 1204 indicating the processing content, and selection columns 1705 to 1707 instead of the character string 1205 indicating the processing content. is doing.

選択欄１７０２から１７０７は、それぞれ、図１４における処理内容を表す各項目である「コンテンツ抽出範囲」「処理を行うコンテンツの種類」及び「処理内容」に対応している。選択欄１７０２から１７０７が有する各選択肢に、ユーザがチェック記号を記入することにより、処理内容を表す各項目について、その内容が定められる。
（筆記クラスタの形状の変形例）
図１８は、筆記クラスタの筆記領域の形状を表す説明図である。本発明の実施例では、筆記クラスタ９０６の筆記領域を、外接する矩形１６０１を用いて表したが、必ずしも矩形に限定されるものではなく、例えば、領域１８０１のように、筆記クラスタ９０６を囲む形状であれば良い。
（コンピュータプログラムの実施例）
図２０は、本発明をコンピュータのプログラムによって構成する説明図である。 The selection columns 1702 to 1707 correspond to “content extraction range”, “type of content to be processed”, and “processing content”, which are items representing the processing content in FIG. When the user enters a check symbol in each option included in the selection columns 1702 to 1707, the contents of each item representing the processing contents are determined.
(Modification of the shape of the writing cluster)
FIG. 18 is an explanatory diagram showing the shape of the writing area of the writing cluster. In the embodiment of the present invention, the writing area of the writing cluster 906 is expressed by using a circumscribed rectangle 1601. However, the writing area is not necessarily limited to a rectangle. For example, a shape surrounding the writing cluster 906, such as an area 1801. If it is good.
(Example of computer program)
FIG. 20 is an explanatory diagram for constructing the present invention by a computer program.

コンピュータ２００１は、紙に手書きによって記入されたシンボル等に基づき、前記紙に印刷されたコンテンツの処理を行う画像処理プログラムを有するコンピュータであって、ユーザＩ／Ｆデバイス１１９、紙入力装置２００５、プリンタ等の紙出力装置１１８、及び、ディスク装置１０８と接続されている。 A computer 2001 is a computer having an image processing program for processing content printed on paper based on symbols handwritten on the paper, and includes a user I / F device 119, a paper input device 2005, a printer. Are connected to the paper output device 118 and the disk device 108.

コンピュータ２００１は、ＣＰＵ２００２、ＲＯＭ２００３、及び、ＲＡＭ２００４から構成されており、ＣＰＵ２００２が、ＲＯＭ２００３に記録されているプログラムを実行することにより、コンピュータを構成する部分の各種制御、及び、コンピュータに接続されたデバイスである１１６から１１９及びディスク装置１０７等の制御を行う。 A computer 2001 includes a CPU 2002, a ROM 2003, and a RAM 2004. The CPU 2002 executes a program recorded in the ROM 2003, whereby various controls of parts constituting the computer and devices connected to the computer. 116 to 119 and the disk device 107 are controlled.

ＲＯＭ２００３は、本発明の実施の形態である画像処理プログラムを保持している。ＲＡＭ２００４は、ＣＰＵ２００２が処理を行う場合に、一時データ等を格納するメモリである。
（その他の処理の実施例）
なお、上記の例では、コンテンツから画像データを取得する場合、及び、コンテンツの内容を変更する場合の処理について説明したが、上記の例に限定されることなく、例えば、コンテンツを印刷により出力する場合、コンテンツを再生する場合等の所定の処理について、実施することが可能である。
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
The ROM 2003 holds an image processing program that is an embodiment of the present invention. A RAM 2004 is a memory that stores temporary data and the like when the CPU 2002 performs processing.
(Example of other processing)
In the above example, the processing for acquiring image data from content and changing the content is described. However, the present invention is not limited to the above example, and for example, the content is output by printing. In this case, it is possible to carry out predetermined processing such as when content is reproduced.
Although the best mode for carrying out the invention has been described above, the present invention is not limited to the embodiment described in the best mode. Modifications can be made without departing from the spirit of the present invention.

本実施の形態における画像処理装置の実施例Example of image processing apparatus in this embodiment 本実施の形態における画像処理装置をネットワークを介してデバイスと接続する実施例Example of connecting the image processing apparatus according to the present embodiment to a device via a network ストロークデータの一例Example of stroke data 印刷処理部の動作を説明する流れ図Flow chart explaining the operation of the print processing unit ＩＤテーブルの一例Example of ID table 文書のイメージの例Example document image ＩＤのイメージを付加して紙に印刷された文書のイメージの例Example of a document image printed on paper with an ID image added 紙情報取得部の動作を説明する流れ図Flow chart explaining the operation of the paper information acquisition unit ユーザがシンボル等を手書きした文書のイメージの例Example of a document image in which the user has handwritten symbols, etc. 筆記処理部の動作を説明する流れ図Flow chart explaining the operation of the writing processor 処理シンボル対応シートから情報を取得する動作の流れ図Flow chart of operation to obtain information from processing symbol compatible sheet 処理シンボル対応シートのイメージの例Example of processing symbol image ユーザがシンボル等を手書きした処理シンボル対応シートのイメージの例Example of processing symbol-compatible sheet image in which the user has handwritten symbols 処理シンボル管理テーブルの例Processing symbol management table example シンボル等の一致性を判断する処理の流れ図Flow chart of processing to determine coincidence of symbols etc. イメージ上から抽出した筆記クラスタの説明図Illustration of the handwritten cluster extracted from the image 選択欄を有する処理シンボル対応シートの例Example of processing symbol compatible sheet with selection field 筆記クラスタの筆記領域の形状の例Example of the shape of the writing area of a writing cluster 本発明の構成原理図Configuration principle diagram of the present invention 本発明の画像処理プログラムによる実施例Embodiment by the image processing program of the present invention

符号の説明Explanation of symbols

１１１筆記処理部
１１０紙情報取得部
１１４紙識別情報管理部
１１３印刷処理部
１９４１紙識別情報管理手段
１９４２処理シンボル管理手段
１９４３処理実行手段 111 Writing Processing Unit 110 Paper Information Acquisition Unit 114 Paper Identification Information Management Unit 113 Print Processing Unit 1941 Paper Identification Information Management Unit 1942 Processing Symbol Management Unit 1943 Processing Execution Unit

Claims

第一の紙に印刷されたコンテンツと、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う画像処理装置において、
前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段と、
第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込んだ結果に基づき、前記第一の紙に手書きされた前記第一のシンボルと前記第二のシンボルとが一致性を有する場合に、前記第一の紙に印刷されたコンテンツに対して前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理手段と、
前記処理シンボル管理手段が出力する処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行手段と
を有することを特徴とする画像処理装置。 Based on the content printed on the first paper, the paper identification information for identifying the first paper printed on the first paper, and the first symbol handwritten on the first paper, In an image processing apparatus for processing the content,
Paper identification information management means for managing the paper identification information and the content in association with each other;
Based on the result of reading a plurality of processing contents printed on the second paper and a second symbol handwritten for each processing content, the first symbol handwritten on the first paper and the first symbol Processing symbol management means for outputting processing contents corresponding to the second symbol for the content printed on the first paper when the two symbols have a match;
An image processing apparatus comprising: processing execution means for processing the content corresponding to the paper identification information based on the processing content output by the processing symbol management means.

前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前記第一の紙に印刷する印刷手段を有することを特徴とする請求項１記載の画像処理装置。 When printing the content on the first paper, printing means for printing the paper identification information for identifying the first paper on the first paper according to the association managed by the paper identification information management means The image processing apparatus according to claim 1, further comprising:

前記第二の紙は、印刷された前記第二の紙の識別情報を有することを特徴とする請求項１又は２記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the second paper has identification information of the printed second paper.

前記処理シンボル管理手段は、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断することを特徴とする請求項１ないし３記載の画像処理装置。 The processing symbol management means determines that the similarity between the first symbol and the second symbol is within a predetermined range when determining whether or not there is the coincidence. The image processing apparatus according to claim 1.

前記処理シンボル管理手段は、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持することを特徴とする請求項４記載の画像処理装置。 The image processing apparatus according to claim 4, wherein the processing symbol management unit holds a processing range, a content to be processed, and a processing content in association with the second symbol.

前記処理シンボル管理手段は、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させることを特徴とする請求項４又は５記載の画像処理装置。 The processing symbol management means, based on the content selected by handwriting on the second paper having a selection field for the range to be processed, the content to be processed, and the processing content, 6. The image processing apparatus according to claim 4, wherein a second symbol is associated with the processing content.

前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断された前記第一のシンボルを、前記コンテンツに上書きすることを特徴とする、請求項１ないし６記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the processing execution unit overwrites the content with the first symbol determined to have consistency with the second symbol.

前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断されなかった前記第一のシンボルを前記コンテンツに上書きすることを特徴とする、請求項１ないし７記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the processing execution unit overwrites the content with the first symbol that is not determined to be consistent with the second symbol.

前記処理シンボル管理手段は、前記シンボルをイメージデータとして保持することを特徴とする請求項１ないし８記載の画像処理装置。 9. The image processing apparatus according to claim 1, wherein the processing symbol management unit holds the symbol as image data.

前記処理シンボル管理手段は、前記第一のシンボルと前記第二のシンボルとの類似性を、シンボルの座標の値、及び／又は、シンボルの色の値を用いて判断することを特徴とする請求項９記載の画像処理装置。 The processing symbol management means determines the similarity between the first symbol and the second symbol by using a coordinate value of the symbol and / or a color value of the symbol. Item 10. The image processing apparatus according to Item 9.

前記処理シンボル管理手段は、複数の前記第二のシンボルがイメージデータである場合に、前記第二のシンボルを表す情報である、色、位置、及び、大きさの内、一以上のシンボルを表す情報に基づき、前記第二のシンボルに対応する処理を行う優先順を決めることを特徴とする請求項９又は１０記載の画像処理装置。 The processing symbol management means represents one or more symbols out of color, position, and size, which is information representing the second symbol when the plurality of the second symbols are image data. 11. The image processing apparatus according to claim 9, wherein a priority order for performing processing corresponding to the second symbol is determined based on the information.

前記処理シンボル管理手段は、複数の前記第二のシンボルに対応する処理毎に、該処理を行う優先の度合いを保持していることを特徴とする請求項１１記載の画像処理装置。 The image processing apparatus according to claim 11, wherein the processing symbol management unit holds a priority level for performing the processing for each of the processing corresponding to the plurality of second symbols.

前記第一の紙に手書きされた前記第一のシンボルに代えて前記第一の紙に手書きする場合の第一のストロークデータ、及び、前記第二の紙に手書きされた前記第二のシンボルに代えて前記第二の紙に手書きする場合の第二のストロークデータを用いることを特徴とする請求項１ないし８記載の画像処理装置。 In place of the first symbol handwritten on the first paper, the first stroke data when handwritten on the first paper, and the second symbol handwritten on the second paper 9. The image processing apparatus according to claim 1, wherein the second stroke data when handwritten on the second paper is used instead.

前記処理シンボル管理手段は、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断することを特徴とする請求項１３記載の画像処理装置。 The processing symbol management means calculates the similarity between the first stroke data and the second stroke data by selecting one of a stroke coordinate value, a stroke writing speed value, and a stroke color value. The image processing apparatus according to claim 13, wherein the determination is made using a value representing the above stroke.

前記処理シンボル管理手段は、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持していることを特徴とする請求項１３又は１４記載の画像処理装置。 The processing symbol management means includes a content of a plurality of the second stroke data, a stroke color value, a stroke position value, a stroke size value, and a stroke writing speed value. The image processing apparatus according to claim 13, wherein a priority level for performing processing corresponding to the second stroke data is held by a value representing one or more strokes.

前記処理シンボル管理手段は、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決めることを特徴とする請求項１５記載の画像処理装置。 The image processing apparatus according to claim 15, wherein the processing symbol management unit determines a priority order for performing the processing for each processing corresponding to the plurality of second stroke data.

第一の紙に印刷されたコンテンツ、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う、前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段を有する画像処理装置における画像処理方法において、
第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込む第一の読み込みステップと、
前記第一の紙に印刷されたコンテンツ、前記第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた前記第一のシンボルを読み込む第二の読み込みステップと、
前記第一及び第二の読み込みステップで読み込まれた、前記第二のシンボル及び前記第一のシンボルとが一致性を有する場合に、前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理ステップと、
前記処理シンボル管理ステップにより出力された処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行ステップと
を有することを特徴とする画像処理方法。 Based on the content printed on the first paper, the paper identification information for identifying the first paper printed on the first paper, and the first symbol handwritten on the first paper, In an image processing method in an image processing apparatus having a paper identification information management unit that performs processing of content and manages the paper identification information and the content in association with each other,
A first reading step of reading a plurality of processing contents printed on the second paper and a second symbol handwritten for each processing content;
A second reading step of reading the content printed on the first paper, the paper identification information for identifying the first paper, and the first symbol handwritten on the first paper;
A processing symbol that outputs the processing content corresponding to the second symbol when the second symbol and the first symbol read in the first and second reading steps have a match. Administrative steps;
An image processing method comprising: a process execution step of processing the content corresponding to the paper identification information based on the processing content output by the processing symbol management step.

前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前記第一の紙に印刷する印刷ステップを有することを特徴とする請求項１７記載の画像処理方法。 When printing the content on the first paper, a printing step of printing the paper identification information for identifying the first paper on the first paper according to the association managed by the paper identification information management means 18. The image processing method according to claim 17, further comprising:

前記第二の紙は、印刷された前記第二の紙の識別情報を有することを特徴とする請求項１７又は１８記載の画像処理方法。 The image processing method according to claim 17 or 18, wherein the second paper has identification information of the printed second paper.

前記処理シンボル管理ステップは、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断することを特徴とする請求項１７ないし１９記載の画像処理方法。 In the processing symbol management step, it is determined that the similarity between the first symbol and the second symbol is within a predetermined range when it is determined whether or not there is the coincidence. 20. An image processing method according to claim 17 or 19.

前記処理シンボル管理ステップは、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持することを特徴とする請求項２０記載の画像処理方法。 21. The image processing method according to claim 20, wherein the processing symbol management step retains a processing range, a content to be processed, and a processing content in association with the second symbol.

前記処理シンボル管理ステップは、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させることを特徴とする請求項２０又は２１記載の画像処理方法。 In the processing symbol management step, the range to be processed, the content to be processed, and the processing content, based on the content selected by the user by handwriting on the second paper having a selection field, The image processing method according to claim 20 or 21, wherein a second symbol is associated with the processing content.

前記処理実行ステップは、前記第二のシンボルとの一致性を有すると判断された前記第一のシンボルを、前記コンテンツに上書きすることを特徴とする、請求項１７ないし２２記載の画像処理方法。 23. The image processing method according to claim 17, wherein the processing execution step overwrites the content with the first symbol determined to have consistency with the second symbol.

前記処理実行ステップは、前記第二のシンボルとの一致性を有すると判断されなかった前記第一のシンボルを前記コンテンツに上書きすることを特徴とする、請求項１７ないし２３記載の画像処理方法。 24. The image processing method according to claim 17, wherein the processing execution step overwrites the content with the first symbol that is not determined to be consistent with the second symbol.

前記処理シンボル管理ステップは、前記シンボルをイメージデータとして保持することを特徴とする請求項１７ないし２４記載の画像処理方法。 25. The image processing method according to claim 17, wherein the processing symbol management step holds the symbol as image data.

前記処理シンボル管理ステップは、前記第一のシンボルと前記第二のシンボルとの類似性を、シンボルの座標の値、及び／又は、シンボルの色の値を用いて判断することを特徴とする請求項２５記載の画像処理方法。 The processing symbol management step is characterized in that the similarity between the first symbol and the second symbol is determined using a symbol coordinate value and / or a symbol color value. Item 26. The image processing method according to Item 25.

前記処理シンボル管理ステップは、複数の前記第二のシンボルがイメージデータである場合に、前記第二のシンボルを表す情報である、色、位置、及び、大きさの内、一以上のシンボルを表す情報により、前記第二のシンボルに対応する処理を行う優先順を決めることを特徴とする請求項２５又は２６記載の画像処理方法。 In the processing symbol management step, when a plurality of the second symbols are image data, the processing symbol management step represents one or more symbols among colors, positions, and sizes, which are information representing the second symbols. 27. The image processing method according to claim 25 or 26, wherein a priority order for performing processing corresponding to the second symbol is determined based on the information.

前記処理シンボル管理ステップは、複数の前記第二のシンボルに対応する処理毎に、該処理を行う優先の度合いを保持していることを特徴とする請求項２７記載の画像処理方法。 28. The image processing method according to claim 27, wherein the processing symbol management step retains a priority of performing the processing for each processing corresponding to a plurality of the second symbols.

前記第一の紙に手書きされた前記第一のシンボルに代えて前記第一の紙に手書きする場合の第一のストロークデータ、及び、前記第二の紙に手書きされた前記第二のシンボルに代えて前記第二の紙に手書きする場合の第二のストロークデータを用いることを特徴とする請求項１７ないし２４記載の画像処理方法。 In place of the first symbol handwritten on the first paper, the first stroke data when handwritten on the first paper, and the second symbol handwritten on the second paper 25. The image processing method according to claim 17, wherein second stroke data when handwritten on the second paper is used instead.

前記処理シンボル管理ステップは、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断することを特徴とする請求項２９記載の画像処理方法。 In the processing symbol management step, the similarity between the first stroke data and the second stroke data is calculated based on one of a stroke coordinate value, a stroke writing speed value, and a stroke color value. 30. The image processing method according to claim 29, wherein the determination is made using a value representing the above stroke.

前記処理シンボル管理ステップは、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持していることを特徴とする請求項２９又は３０記載の画像処理方法。 The processing symbol management step includes a content of a plurality of the second stroke data, a stroke color value, a stroke position value, a stroke size value, and a stroke writing speed value. 31. The image processing method according to claim 29, wherein a priority level for performing processing corresponding to the second stroke data is held by a value representing one or more strokes.

前記処理シンボル管理ステップは、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決めることを特徴とする請求項３１記載の画像処理方法。 32. The image processing method according to claim 31, wherein, in the processing symbol management step, a priority order for performing the processing is determined for each processing corresponding to the plurality of second stroke data.

コンピュータに、請求項１７ないし３２のいずれか一項に記載の画像処理方法を実行させるための画像処理プログラム。 An image processing program for causing a computer to execute the image processing method according to any one of claims 17 to 32.