JP2007133550A - Information management system, and information management method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To associate contents handwritten onto a medium such as paper by a user and various information such as sound information, image information or moving image information. <P>SOLUTION: The contents of handwritten information written down on a code sheet 11 by the user and handwriting time related to time when the handwriting is performed are associated and are stored in a paper information processing server 30, and information provided from various terminals such as video information processor 5 and provision time related to time when the information is provided are associated and are stored in an integration processing server 50. The prescribed handwriting time stored in the paper information processing server 30 is specified by indicating a prescribed part of the handwritten code sheet 11 by an electronic pen 12, and the provision information related to the provision time is read from the integration processing server 50 by use of the specified prescribed handwriting time, and is display-outputted to a terminal such as a handwritten information acquisition terminal 2. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、各種の情報を融合するシステム等に係り、より詳しくは、電子文書と各種情報とを融合可能なシステム等に関する。   The present invention relates to a system or the like that fuses various types of information, and more particularly to a system or the like that can fuse an electronic document and various types of information.

従来から会議の議事録作成や講義のノート作成などを支援する技術が提案されている。例えば特許文献１には、会議システムの入出力装置に関する技術が提案されている。ここで提案されている入出力装置では、会議中に表示している画像に対して手書きした情報も重ね合わせて表示している。より詳しくは、表示している画像と別に印刷された紙が存在しており、その紙の上に書かれた情報を重ねて表示する。紙の上に書かれた情報の読み込みには手書き入力装置が用いられている。そしてこの手書き入力装置は、ペンから電磁波を出力し、その電磁波を検出することでペン先の座標を検出している。   Conventionally, techniques for supporting the creation of meeting minutes and lecture notes have been proposed. For example, Patent Document 1 proposes a technique related to an input / output device of a conference system. In the input / output device proposed here, handwritten information is superimposed and displayed on the image displayed during the conference. More specifically, there is paper printed separately from the displayed image, and information written on the paper is displayed in an overlapping manner. A handwriting input device is used to read information written on paper. The handwriting input device detects the coordinates of the pen tip by outputting an electromagnetic wave from the pen and detecting the electromagnetic wave.

また、他の特許公報記載の技術として、ホワイトボード等の書き込みボード上に位置座標コードを描き、ペンなどがそのコードを読むことにより書き込みを電子化する技術が提案されている（例えば、特許文献２参照。）。この技術によれば、プロジェクタ映像を書き込みボードに投影した場合も、ペンの動きにより位置合わせが可能となる。   In addition, as a technique described in other patent publications, a technique has been proposed in which a position coordinate code is drawn on a writing board such as a white board, and a pen or the like reads the code to digitize the writing (for example, a patent document). 2). According to this technique, even when a projector image is projected onto a writing board, alignment can be performed by the movement of the pen.

特開２００５−１０８６３号公報JP 2005-10863 A 特表２００３−５０８８３１号公報Special table 2003-508831 gazette

しかしながら、会議や講義において、ノート等に書き込む内容は議論の中で重要と考えられる文章である場合が多く、その周辺において議論された音声や画像との紐付け（関連付け）がなされていない。そのため、ノート等に書き込まれた内容について、何時その文章が書かれたのかを抽出するためには、例えば会議や講義の内容についての録音やビデオ録画を利用し、これらを最初から全部通して聞いたり見たりする必要があった。その結果、音声や動画を記録していても再生することが非常に困難となることから、ノート等の書き込み内容とともに音声や動画の記録は、その利用効果が低く、利用頻度も現実にはかなり低いものであった。また、録音やビデオ映像を利用し易い形とするためには、人間の手が介在して編集等を施すことが必要となり、直ぐに利用し易い形で情報を活用することは困難であった。   However, in conferences and lectures, the content written in a notebook or the like is often a sentence considered to be important in the discussion, and is not linked (associated) with the voice or image discussed in the vicinity. Therefore, in order to extract the time when the text was written about the contents written in the notebook etc., for example, recording and video recording of the contents of the meeting and lecture are used, and these are listened through all from the beginning. I had to watch it. As a result, since it is very difficult to reproduce even if audio and video are recorded, recording of audio and video along with written contents such as notes is not very effective and the frequency of use is actually quite high. It was low. Further, in order to make recordings and video images easy to use, it is necessary to perform editing and the like with human hands, making it difficult to utilize information in a form that is readily available.

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、紙などの媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報などの各種情報との関連付けを図ることにある。
また他の目的は、紙などの媒体にユーザが手書きして形成された手書き情報と各種情報との時間的同期をとることにある。
更に他の目的は、紙などの媒体に手書きした手書き情報を索引とし、そこから音声情報、画像情報、動画情報などの各種情報へのアクセスを可能にすることにある。
また更に他の目的は、紙などの媒体に形成された手書き情報について、その手書きがなされた時間に関する情報を管理することにある。 The present invention has been made in order to solve the technical problems as described above. The object of the present invention is the content handwritten by a user on a medium such as paper, audio information, image information, and moving image information. It is to try to associate with various types of information.
Another object is to obtain temporal synchronization between handwritten information formed by handwriting on a medium such as paper and various information.
Still another object is to use handwritten information handwritten on a medium such as paper as an index, from which various information such as audio information, image information, and moving image information can be accessed.
Still another object of the present invention is to manage information related to the time when handwriting is performed on handwritten information formed on a medium such as paper.

かかる目的のもと、本発明が適用される情報管理システムは、媒体上に配置されたコード画像を用いて、ユーザによりなされた筆記動作に基づく媒体上の位置を特定手段により特定し、筆記動作が実行された時刻情報を取得手段により取得する。そして、この媒体上の位置と時刻情報とを関連付けた情報を格納手段に格納している。コード画像を用いて位置を特定する特定手段としては、コード画像自体に位置情報が存在している場合と、コード画像から他のコードを変換する手段（ＰＣ等）によって位置情報を算出する場合がある。   For this purpose, the information management system to which the present invention is applied uses a code image arranged on the medium to specify the position on the medium based on the writing operation performed by the user by the specifying means, and the writing operation. The time information when is executed is acquired by the acquisition means. Information relating the position on the medium and the time information is stored in the storage means. As the specifying means for specifying the position using the code image, there are a case where the position information exists in the code image itself and a case where the position information is calculated by means (PC etc.) for converting another code from the code image. is there.

ここで、この取得手段により取得される時刻情報は、筆記動作が実行された時刻を基準時刻により修正した時刻に関する情報であることを特徴とすれば、参照される時刻情報を統一できる点で好ましい。
また、このコード画像は、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が低く近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が高い不可視トナーによって媒体上に印字されていることを特徴とすることができる。 Here, the time information acquired by the acquisition unit is preferably information that relates to a time obtained by correcting the time when the writing operation is executed by the reference time, which is preferable in that the time information referred to can be unified. .
The code image is printed on the medium with an invisible toner having a low maximum absorption in the visible light region (400 nm to 700 nm) and a high absorption in the near infrared region (800 nm to 1000 nm). be able to.

また、ユーザに対して提供された所定の情報について、この所定の情報が提供された時刻に関連した提供時刻情報を取得する手段と、取得された提供時刻情報を基準時刻により修正する手段と、修正された提供時刻情報に関連付けて所定の情報を格納する情報格納手段とを更に含む。
更に、コード画像が含まれると共に筆記動作に係わる手書き情報の画像が含まれる媒体へのユーザの操作から位置情報を取得する手段と、格納手段により格納された情報を用いて位置情報から時刻情報を特定する手段と、特定された時刻情報を用いて、情報格納手段に格納されている所定の情報を情報格納手段から読み出す手段と、ユーザに対して提供される複数の所定の情報を、この修正する手段により修正された複数の提供時刻情報を用いて統合する手段を更に含むことを特徴とすることができる。 Further, with respect to the predetermined information provided to the user, means for acquiring provision time information related to the time when the predetermined information was provided, means for correcting the acquired provision time information with a reference time, Information storage means for storing predetermined information in association with the corrected provision time information;
Further, means for acquiring position information from a user operation on a medium including a code image and an image of handwritten information related to a writing operation, and time information from the position information using information stored by the storage means A means for specifying, a means for reading predetermined information stored in the information storage means from the information storage means using the specified time information, and a plurality of predetermined information provided to the user are corrected. The information processing apparatus may further include means for integrating using a plurality of provision time information corrected by the means for performing.

他の観点から捉えると、本発明が適用される情報管理方法は、ユーザが筆記した手書き情報の内容に対応した手書き対応情報と手書きがなされた時刻に関する手書き時刻とを関連付けて第１のメモリに格納し、ユーザに提供される提供情報とこの情報が提供される時刻に関する提供時刻とを関連付けて第２のメモリに格納する。また、手書き情報が形成された紙面上に印字されているコード画像を用いて手書き情報の所定箇所に対するユーザの指定を認識し、この所定箇所に対応する所定の手書き対応情報を特定する。そして、所定の手書き対応情報を用いて第１のメモリに格納された所定の手書き時刻を特定し、特定された所定の手書き時刻を用いて提供時刻に関連付けられた提供情報を第２のメモリから読み出すことを特徴とすることができる。   From another point of view, the information management method to which the present invention is applied relates to handwriting correspondence information corresponding to the content of handwritten information written by the user and handwritten time related to the time when handwriting was made in the first memory. The provision information provided to the user and the provision time related to the time when the information is provided are associated with each other and stored in the second memory. Further, the user's designation for a predetermined portion of the handwritten information is recognized using a code image printed on the paper surface on which the handwritten information is formed, and predetermined handwritten correspondence information corresponding to the predetermined portion is specified. Then, the predetermined handwriting time stored in the first memory is identified using the predetermined handwriting correspondence information, and the provision information associated with the provision time is identified from the second memory using the identified predetermined handwriting time. It can be characterized by reading.

ここで、この手書き対応情報は、ユーザが筆記する紙面上に形成されたコード画像によって把握される位置情報であることを特徴とすることができる。
また、この第２のメモリへの格納は、基準となる時刻により修正された提供時刻を用いて提供情報を格納することを特徴とすることができる。
更に、この第２のメモリへの格納は、複数の提供情報について、修正された提供時刻を用いて統一時間を設定し、統合化された情報として格納することを特徴とすることができる。 Here, the handwriting correspondence information can be characterized in that it is position information grasped by a code image formed on a paper surface written by the user.
Further, the storage in the second memory can be characterized in that the provision information is stored using the provision time corrected by the reference time.
Further, the storage in the second memory may be characterized in that a unified time is set by using the corrected provision time for a plurality of provision information and stored as integrated information.

本発明によれば、紙などの媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報などの各種情報とを簡易に関連付けることが可能となる。   According to the present invention, it is possible to easily associate contents handwritten by a user on a medium such as paper and various types of information such as audio information, image information, and moving image information.

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される電子文書管理システムの構成の一例を示したものである。このシステムは、例えばイーサネット（登録商標）などのネットワーク１に各種の端末やサーバ等が接続されている。即ち、このネットワーク１に、手書き情報取得端末２や、プロジェクタ操作端末３、音声情報処理装置４、映像情報処理装置５、情報を利用するクライアントが利用する情報利用端末６が接続されている。また、ネットワーク１には、コード用紙１１などのコード画像を含む印刷画像を出力するプリンタ２０と、電子文書管理システムにおける紙情報を管理する紙情報処理サーバ３０と、紙情報と各種情報とを統合する統合処理サーバ５０とが接続されている。尚、紙情報処理サーバ３０と統合処理サーバ５０とは同一のサーバとすることも可能である。 Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 shows an example of the configuration of an electronic document management system to which the present embodiment is applied. In this system, for example, various terminals and servers are connected to a network 1 such as Ethernet (registered trademark). That is, the handwritten information acquisition terminal 2, the projector operation terminal 3, the audio information processing apparatus 4, the video information processing apparatus 5, and the information use terminal 6 used by the client using information are connected to the network 1. The network 1 also integrates a printer 20 that outputs a print image including a code image such as a code sheet 11, a paper information processing server 30 that manages paper information in the electronic document management system, and paper information and various types of information. The integrated processing server 50 is connected. Note that the paper information processing server 30 and the integrated processing server 50 can be the same server.

手書き情報取得端末２には、コード用紙１１に形成された手書き内容を読み取る電子ペン１２の入力を受け付けるアプリケーションソフトウェアが搭載されている。この電子ペン１２は、通常のペンと同様の操作により文字や図形を紙上に書き込むための筆記部を備えている。また、この筆記部に加え、例えば不可視トナーによるコード画像を認識するための機能を備えている。より具体的には、用紙上のコード画像を読み取るために赤外光を照射する赤外照射機能と、赤外光が照射されたコード画像を捕捉して入力する画像入力機能を備えている。このコード画像には、後述するように、少なくとも位置情報と媒体識別情報とが含まれている。更には、筆記部の動きを監視し電子ペン１２の先端が用紙（コード用紙１１）に押し付けられていることを検出する機能を備えている。また、電子ペン１２の全体の電子的な動作を制御する制御部を備えている。この制御部は時計機能を有しており、ユーザにより筆記作業が行われた時刻を認識することが可能である。   The handwritten information acquisition terminal 2 is equipped with application software that accepts an input of the electronic pen 12 that reads the handwritten content formed on the code sheet 11. The electronic pen 12 includes a writing unit for writing characters and figures on paper by the same operation as a normal pen. In addition to the writing unit, a function for recognizing a code image using, for example, invisible toner is provided. More specifically, an infrared irradiation function for irradiating infrared light to read a code image on a sheet and an image input function for capturing and inputting a code image irradiated with infrared light are provided. As will be described later, this code image includes at least position information and medium identification information. Furthermore, it has a function of monitoring the movement of the writing unit and detecting that the tip of the electronic pen 12 is pressed against the paper (code paper 11). In addition, a control unit that controls the entire electronic operation of the electronic pen 12 is provided. This control unit has a clock function and can recognize the time when the writing operation was performed by the user.

この電子ペン１２を用いて、コード用紙１１にユーザによる文字や図形の筆記動作が行われると、制御部は、コード用紙１１に対してペンによる記録が行われていることの検出信号を例えば筆圧検出機能から取得する。この検出信号を検出すると、制御部は赤外照射機能に対して赤外光をコード用紙１１に照射するように指示する。この赤外照射機能によってコード用紙１１に照射される赤外光は、不可視トナーによって形成されたコード画像にて吸収される。画像入力機能ではこの赤外光が照射されたコード画像が捕捉される。そして、電子ペン１２の制御部は、画像入力機能から入力された画像を解析してコードを取得し、取得したコードの位置情報から、筆記部のペン先の座標と画像入力機能が捕捉した画像の座標とのずれを補正してペン先の軌跡を算出する。この算出された軌跡情報は電子ペン１２に内蔵されたメモリ（後述）に格納される。また、この軌跡の算出と同時に、ユーザの手書き文字が形成された部分のコード画像が有する位置情報に対応して、時刻情報が取得される。その後、この軌跡情報と時刻情報とは、所定のタイミングにて、例えばＵＳＢや無線ＬＡＮ、ＲＳ−２３２Ｃ、Bluetoothなどによって手書き情報取得端末２に送信される。   When a character or graphic writing operation is performed on the code paper 11 by the user using the electronic pen 12, the control unit outputs a detection signal indicating that the pen recording is performed on the code paper 11, for example, Obtained from the pressure detection function. When this detection signal is detected, the control unit instructs the infrared irradiation function to irradiate the code paper 11 with infrared light. The infrared light irradiated on the code paper 11 by this infrared irradiation function is absorbed by the code image formed by the invisible toner. In the image input function, the code image irradiated with the infrared light is captured. Then, the control unit of the electronic pen 12 analyzes the image input from the image input function to acquire a code, and the image captured by the pen input coordinates of the writing unit and the image input function from the acquired position information of the code. The locus of the pen tip is calculated by correcting the deviation from the coordinates. The calculated trajectory information is stored in a memory (described later) built in the electronic pen 12. Simultaneously with the calculation of the trajectory, time information is acquired corresponding to the position information of the code image of the portion where the user's handwritten characters are formed. Thereafter, the trajectory information and time information are transmitted to the handwritten information acquisition terminal 2 at a predetermined timing, for example, by USB, wireless LAN, RS-232C, Bluetooth, or the like.

プロジェクタ操作端末３には、このプロジェクタ操作端末３で実行されるソフトウェアの内容をスクリーンに投射するプロジェクタ１３が接続されている。また、音声情報処理装置４には、デジタル録音を行う録音機１４が接続されている。更に、映像情報処理装置５には、デジタル撮影を行うビデオカメラ１５が接続されている。このプロジェクタ操作端末３や音声情報処理装置４、映像情報処理装置５は、各々、時計発生部を備えている。例えばプロジェクタ操作端末３は、プロジェクタ１３を用いてユーザに対して情報を提供した時刻を、その情報のコンテンツ毎（例えば、アプリケーションソフトウェアの特定ファイルの特定ページ等）に対応して把握している。音声情報処理装置４は、録音された音声に対応した時刻を取得し、メモリ（図示せず）に格納している。同様に、映像情報処理装置５は、録画に対応した時刻を取得し、メモリ（図示せず）に格納している。   The projector operation terminal 3 is connected to a projector 13 that projects the content of software executed on the projector operation terminal 3 on a screen. The audio information processing apparatus 4 is connected to a recorder 14 that performs digital recording. Further, a video camera 15 that performs digital photography is connected to the video information processing apparatus 5. Each of the projector operation terminal 3, the audio information processing device 4, and the video information processing device 5 includes a clock generation unit. For example, the projector operation terminal 3 grasps the time at which information is provided to the user using the projector 13 corresponding to each content of the information (for example, a specific page of a specific file of application software). The voice information processing apparatus 4 acquires the time corresponding to the recorded voice and stores it in a memory (not shown). Similarly, the video information processing apparatus 5 acquires the time corresponding to the recording and stores it in a memory (not shown).

尚、図１に示す手書き情報取得端末２やプロジェクタ操作端末３、情報利用端末６は、パーソナルコンピュータ（ＰＣ）としての図示しない各種ハードウェア資源を利用している。また、音声情報処理装置４や映像情報処理装置５、紙情報処理サーバ３０や統合処理サーバ５０も、コンピュータの一種として図示しない各種ハードウェア資源を利用して実現されている。これらのハードウェア資源としては、演算手段であるＣＰＵ（Central Processing Unit：中央処理装置）を備え、また、例えばＭ/Ｂ（マザーボード）チップセットおよびＣＰＵバスを介してＣＰＵに接続されたメインメモリと、同じく例えばＭ/ＢチップセットおよびＡＧＰ（Accelerated Graphics Port）を介してＣＰＵに接続されたビデオカードを備えている。更に、例えばＰＣＩ（Peripheral Component Interconnect）バスを介してＭ/Ｂチップセットに接続された磁気ディスク装置（ＨＤＤ）、ネットワークインタフェイスと、このＰＣＩバスからブリッジ回路およびＩＳＡ（Industry Standard Architecture）バスなどの低速なバスを介してＭ/Ｂチップセットに接続された各種ディスクドライブやキーボード/マウスなどを備える。また更に、電子ペン１２もＣＰＵや各種ＲＯＭ、ＲＡＭ等のメモリを備え、ハードウェア資源を用いて各種演算処理や通信処理等を実現している。   Note that the handwritten information acquisition terminal 2, the projector operation terminal 3, and the information use terminal 6 shown in FIG. 1 use various hardware resources (not shown) as a personal computer (PC). The audio information processing apparatus 4, the video information processing apparatus 5, the paper information processing server 30, and the integrated processing server 50 are also realized as various types of hardware resources (not shown) as a kind of computer. These hardware resources include a CPU (Central Processing Unit) which is a computing means, and a main memory connected to the CPU via, for example, an M / B (motherboard) chipset and a CPU bus, Similarly, for example, a video card connected to the CPU via an M / B chipset and an AGP (Accelerated Graphics Port) is provided. Further, for example, a magnetic disk device (HDD) connected to an M / B chipset via a PCI (Peripheral Component Interconnect) bus, a network interface, a bridge circuit and an ISA (Industry Standard Architecture) bus from the PCI bus, etc. Various disk drives and keyboard / mouse connected to the M / B chipset via a low-speed bus. Furthermore, the electronic pen 12 is also provided with a memory such as a CPU, various ROMs, and a RAM, and implements various arithmetic processes and communication processes using hardware resources.

プリンタ２０は、例えば電子写真方式を用いて、可視画像である文書画像と不可視画像であるコード画像とを同時に印刷している。そのために、例えば不可視用、イエロー用、マゼンタ用、シアン用、ブラック用のトナー像を感光体ドラム上に形成する複数の画像形成ユニットや、これらのトナー像を順次転写するための中間転写ベルト、トナー像を定着させる定着器等を備えている。例えば、位置情報や識別情報を含むコード画像は、例えば不可視用画像形成ユニットによって画像形成される。また、文書画像（写真画像やテキスト画像などを含む。コード画像を除く他の画像）は、他の画像形成ユニットによって画像形成される。更に、プリンタ２０は、全体制御を実行するとともに、文書画像やコード画像の印刷に関する各種処理を実行する制御部を備えている。   The printer 20 simultaneously prints a document image that is a visible image and a code image that is an invisible image using, for example, an electrophotographic method. For this purpose, for example, a plurality of image forming units for forming invisible, yellow, magenta, cyan, and black toner images on the photosensitive drum, an intermediate transfer belt for sequentially transferring these toner images, A fixing device for fixing the toner image is provided. For example, a code image including position information and identification information is formed by, for example, an invisible image forming unit. Document images (including photographic images and text images, and other images excluding code images) are image-formed by other image forming units. Further, the printer 20 includes a control unit that executes overall control and executes various processes related to printing of document images and code images.

図２（ａ）〜（ｃ）は、例えばコード用紙１１としてプリンタ２０にて印刷される２次元コード画像を説明するための図である。後述する統合画像情報を媒体に出力する際にも、その文書画像とともにこれらのコード画像が形成される。図２（ａ）は、不可視画像によって形成され媒体上に配置される２次元コード画像の単位を格子状に表現した図であり、模式的に示している。また、図２（ｂ）は不可視画像が赤外光照射により認識された２次元コード画像の１単位を示した図である。更に、図２（ｃ）は、バックスラッシュ「＼」とスラッシュ「／」の斜線パターンを説明するための図である。   2A to 2C are diagrams for explaining a two-dimensional code image printed by the printer 20 as the code sheet 11, for example. These code images are formed together with the document image when outputting the later-described integrated image information to the medium. FIG. 2A is a diagram schematically showing units of a two-dimensional code image formed by an invisible image and arranged on a medium in a lattice shape. FIG. 2B is a diagram showing one unit of a two-dimensional code image in which an invisible image is recognized by infrared light irradiation. Further, FIG. 2C is a diagram for explaining a diagonal line pattern of backslash “\” and slash “/”.

形成される２次元コード画像は、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が例えば７％以下であり、近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が例えば３０％以上の、いわゆる不可視トナーによって形成される。また、この不可視トナーは、画像の機械読み取りのために必要な近赤外光吸収能力を高めるために、平均分散径は１００ｎｍ〜６００ｎｍの範囲のものが採用される。また、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能である。例えば、印刷される媒体の大きさに合わせて媒体一面（紙面）の全面に不可視画像が形成される。また、例えば、目視した際に光沢差によって認識できる不可視画像とすることができる。
尚、「可視」および「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。 The formed two-dimensional code image has a maximum absorption rate in the visible light region (400 nm to 700 nm) of, for example, 7% or less, and an absorption rate in the near infrared region (800 nm to 1000 nm) of, for example, 30% or more. Formed by toner. The invisible toner has an average dispersion diameter in the range of 100 nm to 600 nm in order to enhance the near-infrared light absorption capability necessary for machine reading of an image. Further, it can be provided in any area regardless of the area where the visible image on the medium surface for outputting the image is provided. For example, an invisible image is formed on the entire surface of the medium (paper surface) according to the size of the medium to be printed. Further, for example, an invisible image that can be recognized by a difference in gloss when visually observed can be obtained.
Note that “visible” and “invisible” are not related to whether or not they can be recognized visually. “Visible” and “invisible” are distinguished depending on whether or not an image formed on a printed medium can be recognized by the presence or absence of color development due to absorption of a specific wavelength in the visible light region.

図２（ｂ）に示す２次元コードパターンは、位置コード（位置（アドレス）情報に対応するコード）が格納される領域と、印刷媒体を一意に特定するための識別コード（識別情報に対応するコード）が格納される領域とを含んでいる。また、同期コードが格納される領域も含んでいる。そして、図２（ａ）に示すように、印刷される媒体の大きさに合わせて媒体一面（紙面）の全面に、異なるアドレス情報が格納された２次元コードが格子状に配置される。即ち、媒体一面に、図２（ｂ）に示すような２次元コードパターンが複数個、配置され、各々に識別コード、位置コード、および同期コードを備えている。そして、複数の位置コードの領域には、夫々配置される場所により異なる位置情報が格納されている。一方、複数の識別コードの領域には、配置される場所に拠らず同じ識別情報が格納されている。位置コードは例えば６ビット×６ビットの矩形領域内に配置されている。   The two-dimensional code pattern shown in FIG. 2B corresponds to an area for storing a position code (a code corresponding to position (address) information) and an identification code (identification information) for uniquely specifying a print medium. Code) is stored. It also includes an area for storing the synchronization code. Then, as shown in FIG. 2A, two-dimensional codes storing different address information are arranged in a lattice pattern on the entire surface of the medium (paper surface) according to the size of the medium to be printed. That is, a plurality of two-dimensional code patterns as shown in FIG. 2B are arranged on one surface of the medium, and each has an identification code, a position code, and a synchronization code. In a plurality of position code areas, different position information is stored depending on the location of each. On the other hand, the same identification information is stored in the areas of the plurality of identification codes regardless of the place where they are arranged. The position code is arranged in a rectangular area of 6 bits × 6 bits, for example.

各ビット値は、例えば回転角度が異なる複数の微小ラインビットマップで形成され、図２（ｃ）に示されるような、相互に異なる傾きを有するバックスラッシュ「＼」およびスラッシュ「／」の斜線パターン（パターン０とパターン１）で、ビット値０とビット値１を表現している。この斜線パターンは、例えば６００ｄｐｉで８×８画素の大きさで構成されており、左上がりの斜線パターン(パターン０)がビット値０を、右上がりの斜線パターン(パターン１)がビット値１を表現する。従って、１つの斜線パターンで１ビットの情報(０または１)を表現できる。このような２種類の傾きからなる微小ラインビットマップを用いることで、可視画像に与えるノイズが極めて小さく、かつ大量の情報を高密度にデジタル化して埋め込むことが可能な２次元コードパターンを提供することが可能となる。   Each bit value is formed of, for example, a plurality of minute line bitmaps having different rotation angles, and as shown in FIG. 2 (c), a diagonal pattern of backslash “\” and slash “/” having different inclinations. Bit value 0 and bit value 1 are expressed by (pattern 0 and pattern 1). This diagonal line pattern is composed of, for example, 600 dpi and a size of 8 × 8 pixels. A diagonal line pattern (pattern 0) that rises to the left has a bit value 0, and a diagonal line pattern (pattern 1) that rises to the right has a bit value 1. Express. Therefore, 1-bit information (0 or 1) can be expressed by one oblique line pattern. By using such a minute line bitmap having two kinds of inclinations, there is provided a two-dimensional code pattern in which noise given to a visible image is extremely small and a large amount of information can be digitized and embedded with high density. It becomes possible.

図２(ｂ)に示す位置コード領域には合計３６ビットの位置情報が格納されており、１８ビットをＸ座標の符号化に、１８ビットをＹ座標の符号化に使用することができる。各１８ビットを全て位置の符号化に使用すると、２＾１８通り(約２６万通り)の位置を符号化できる。各斜線パターンが図２(ｃ)に示したように８画素×８画素(６００ｄｐｉ)で構成されている場合には、６００ｄｐｉの１ドットは０.０４２３ｍｍであることから、図２(ｂ)の２次元コード(同期コードを含む)の大きさは、縦横共に３ｍｍ程度(８画素×９ビット×０.０４２３ｍｍ)となる。３ｍｍ間隔で２６万通りの位置を符号化した場合、約７８６ｍの長さを符号化できる。このように１８ビット全てを位置の符号化に使用することができるし、また斜線パターンの検出誤りが発生するような場合には、誤り検出や誤り訂正のための冗長ビットを含めても良い。   The position code area shown in FIG. 2B stores 36 bits of position information in total, and 18 bits can be used for encoding the X coordinate and 18 bits can be used for encoding the Y coordinate. If all 18 bits are used for encoding the position, 2 ^ 18 (about 260,000) positions can be encoded. When each hatched pattern is composed of 8 pixels × 8 pixels (600 dpi) as shown in FIG. 2C, one dot of 600 dpi is 0.0423 mm. The size of the two-dimensional code (including the synchronization code) is about 3 mm (8 pixels × 9 bits × 0.0423 mm) both vertically and horizontally. When 260,000 positions are encoded at intervals of 3 mm, a length of about 786 m can be encoded. In this way, all 18 bits can be used for position coding, and when a hatched pattern detection error occurs, redundant bits for error detection and error correction may be included.

識別コードは、２ビット×８ビットおよび２ビット×６ビットの矩形領域に配置されており、合計２８ビットの識別情報を格納できる。識別情報として２８ビットを使用した場合は、２＾２８通り（約２億７千万通り）の識別情報を表現できる。識別コードも位置コードと同様に、２８ビットの中に誤り検出や誤り訂正のための冗長ビットを含めることができる。この識別情報としては、媒体を一意に特定するものとして、印刷毎に生成される情報を用いることができる。即ち、印刷されるコード用紙１１の一枚、一枚を、一意に特定可能な情報である。コード用紙１１の一枚、一枚を一意に特定可能な情報としては、プリンタ２０の識別情報に印刷のカウンタを含めた情報や、プリンタ２０の識別情報に印刷の時刻情報を含めたもの等を用いることもできる。このような識別コードによって、手書き情報が形成された媒体を識別することが可能となる。例えば、この識別コードを用いることで、どのユーザが何時、使用したコード用紙１１であるか等を容易に管理することが可能となる。   The identification code is arranged in a rectangular area of 2 bits × 8 bits and 2 bits × 6 bits, and can store identification information of a total of 28 bits. When 28 bits are used as identification information, 2 ^ 28 (about 270 million) identification information can be expressed. Similarly to the position code, the identification code can include redundant bits for error detection and error correction in 28 bits. As this identification information, information generated for each printing can be used as a medium for uniquely specifying the medium. That is, it is information that can uniquely specify one sheet of code paper 11 to be printed. Information that can uniquely specify one sheet of the code sheet 11 includes information including a printing counter in the identification information of the printer 20, information including printing time information in the identification information of the printer 20, and the like. It can also be used. Such an identification code can identify a medium on which handwritten information is formed. For example, by using this identification code, it becomes possible to easily manage which user is what code sheet 11 is used at what time.

図３は、紙情報処理サーバ３０の機能を示すブロック図である。この紙情報処理サーバ３０は、ファイル作成の機能として、手書き情報取得端末２や情報利用端末６等からなされたコード用紙１１の印刷指示を入力する印刷指示入力部３１と、印刷指示入力部３１による印刷指示に伴い、文書画像を生成する文書画像生成部３２と、コード画像を生成するコード画像生成部３３とを備えている。また、生成された文書画像をプリンタ２０へ出力する文書画像出力部３４と、生成されたコード画像を同じくプリンタ２０へ出力するコード画像出力部３５とを備えている。これらの各機能によって、統合化された議事録（後述）等を出力する際、文書画像にコード画像を重畳した印刷物を得ることができる。   FIG. 3 is a block diagram illustrating functions of the paper information processing server 30. The paper information processing server 30 includes a print instruction input unit 31 that inputs a print instruction of the code sheet 11 made from the handwritten information acquisition terminal 2 and the information use terminal 6 as a file creation function, and a print instruction input unit 31. A document image generating unit 32 that generates a document image and a code image generating unit 33 that generates a code image are provided in accordance with a print instruction. In addition, a document image output unit 34 that outputs the generated document image to the printer 20 and a code image output unit 35 that outputs the generated code image to the printer 20 are provided. With these functions, a printed matter in which a code image is superimposed on a document image can be obtained when outputting integrated minutes (described later) or the like.

紙情報処理サーバ３０は、更に、電子ペン１２のペン軌跡から手書き情報と手書きがされたときの時刻情報とを入力する手書き・時刻情報入力部３６と、入力された手書き情報を処理する手書き情報処理部３７と、入力された時刻情報を処理する時刻情報処理部３８とを備えている。これらの各機能を利用することによって、ユーザによりなされた筆記動作に基づく手書き情報を、手書き時刻に関連付けて管理することが可能となる。   The paper information processing server 30 further includes a handwriting / time information input unit 36 that inputs handwritten information and time information when handwriting is performed from the pen locus of the electronic pen 12, and handwritten information that processes the input handwritten information. A processing unit 37 and a time information processing unit 38 for processing the input time information are provided. By using these functions, handwritten information based on the writing operation performed by the user can be managed in association with the handwriting time.

また、紙情報処理サーバ３０は、例えば磁気ディスク装置（ＨＤＤ）等の広義のメモリによって構成され各種情報を格納する紙情報管理データベース（ＤＢ）４０を備えている。更に、統合処理サーバ５０にて生成された統合ファイルを入力し、紙情報管理ＤＢ４０へ情報を格納するための各種処理を実行する統合ファイル情報処理部４６を備えている。この統合ファイル情報処理部４６は、必要に応じて、統合処理サーバ５０から出力された統合ファイルを文書画像生成部３２にそのまま出力する場合もある。また紙情報処理サーバ３０は、紙情報管理ＤＢ４０に格納された手書き情報を統合処理サーバ５０へ出力する手書き情報出力部４７を備えている。   In addition, the paper information processing server 30 includes a paper information management database (DB) 40 configured by a broad memory such as a magnetic disk device (HDD) and storing various types of information. Furthermore, the integrated file information processing part 46 which inputs the integrated file produced | generated in the integrated processing server 50, and performs various processes for storing information in paper information management DB40 is provided. The integrated file information processing unit 46 may output the integrated file output from the integrated processing server 50 as it is to the document image generating unit 32 as necessary. The paper information processing server 30 includes a handwritten information output unit 47 that outputs handwritten information stored in the paper information management DB 40 to the integrated processing server 50.

また更に、紙情報処理サーバ３０は、ファイル参照の機能として、指示コード情報解析部４１を備えている。この指示コード情報解析部４１は、コード用紙１１等への筆記動作に伴う手書き文書の所定箇所に対し、ユーザが電子ペン１２によって指示したコード情報（指示コード情報）を、ユーザのアクセスとして解析している。また、紙情報処理サーバ３０は、指示コード情報解析部４１によって解析された指示コード情報について、紙情報管理ＤＢ４０に格納された情報を用いて、位置情報から時刻情報に変換する時刻情報変換部４２と、変換された時刻情報を統合処理サーバ５０へ出力する時刻情報出力部４４とを備えている。この時刻情報出力部４４から出力される時刻情報には、参照要求クライアントのアドレス情報など、参照のための各種情報を含めることが可能である。また、この指示コード情報解析部４１によって解析された指示コード情報について、紙情報管理ＤＢ４０に格納されているリンク情報を用いて位置情報をリンク情報に変換するリンク情報変換部４３と、変換されたリンク情報を用いて所定のリンク処理を行うリンク処理部４５とを備えている。   Further, the paper information processing server 30 includes an instruction code information analysis unit 41 as a file reference function. The instruction code information analysis unit 41 analyzes the code information (instruction code information) designated by the user with the electronic pen 12 as a user access to a predetermined portion of the handwritten document accompanying the writing operation on the code sheet 11 or the like. ing. Further, the paper information processing server 30 uses the information stored in the paper information management DB 40 to convert the instruction code information analyzed by the instruction code information analysis unit 41 from position information to time information. And a time information output unit 44 that outputs the converted time information to the integrated processing server 50. The time information output from the time information output unit 44 can include various information for reference such as address information of the reference request client. Further, the instruction code information analyzed by the instruction code information analysis unit 41 is converted into a link information conversion unit 43 that converts position information into link information using link information stored in the paper information management DB 40. A link processing unit 45 that performs predetermined link processing using the link information.

紙情報管理ＤＢ４０は、機能別に複数のデータベースを備えている。ここでは、プリンタ２０にて印刷されるコード用紙１１などの媒体を一意に特定する識別情報を格納する識別情報データベース（ＤＢ）４０ａと、プリンタ２０にて印刷されるコード用紙１１などの媒体に印字される位置（アドレス）情報を格納する位置情報データベース（ＤＢ）４０ｂとを備えている。また、各種文書情報を格納する文書情報データベース（ＤＢ）４０ｃと、電子ペン１２によって書かれた手書き情報を格納する手書き情報データベース（ＤＢ）４０ｄとを備えている。更に、位置情報にリンクされるリンク情報を格納するリンク情報データベース（ＤＢ）４０ｅと、位置情報と時刻情報との関係を格納する位置・時刻情報データベース（ＤＢ）４０ｆとを備えている。   The paper information management DB 40 includes a plurality of databases for each function. Here, an identification information database (DB) 40a that stores identification information for uniquely identifying a medium such as code paper 11 printed by the printer 20 and a medium such as code paper 11 printed by the printer 20 are printed. And a position information database (DB) 40b for storing position (address) information. Further, a document information database (DB) 40c that stores various document information and a handwritten information database (DB) 40d that stores handwritten information written by the electronic pen 12 are provided. Further, a link information database (DB) 40e for storing link information linked to the position information and a position / time information database (DB) 40f for storing the relationship between the position information and the time information are provided.

本実施の形態では、一旦、手書きされた情報を、新たな紙（媒体）に印刷することも可能である。その際には、まず、紙情報処理サーバ３０の印刷指示入力部３１にて、手書きされた情報に対する印刷指示が入力される。この印刷指示には、手書き文書を識別するための何らかの識別情報が含まれている。例えばユーザＩＤと手書き文書作成日時等の情報である。文書画像生成部３２は、この識別情報を用いて文書情報ＤＢ４０ｃから文書情報を読み出す。そして、文書情報を画像化して文書画像を生成する。その後、文書画像出力部３４は、文書画像をプリンタ２０へ出力する。一方、コード画像生成部３３は、印刷する手書き文書（文書情報）の識別情報を識別情報ＤＢ４０ａから取得する。そして、所定のメモリに格納されている図２に示すようなコードパターンを用いて、識別情報と位置情報とを含むコード情報からコード画像を生成する。そして、生成されたコード画像は、コード画像出力部３５からプリンタ２０へ出力される。プリンタ２０では、紙情報処理サーバ３０から出力される文書画像とコード画像を用いて、手書き情報とコード情報とを含むプリント画像を印刷する。   In the present embodiment, once handwritten information can be printed on new paper (medium). At that time, first, a print instruction for handwritten information is input by the print instruction input unit 31 of the paper information processing server 30. This print instruction includes some identification information for identifying the handwritten document. For example, it is information such as a user ID and a handwritten document creation date. The document image generation unit 32 reads the document information from the document information DB 40c using this identification information. Then, the document information is imaged to generate a document image. Thereafter, the document image output unit 34 outputs the document image to the printer 20. On the other hand, the code image generation unit 33 acquires identification information of a handwritten document (document information) to be printed from the identification information DB 40a. Then, a code image is generated from code information including identification information and position information using a code pattern as shown in FIG. 2 stored in a predetermined memory. Then, the generated code image is output from the code image output unit 35 to the printer 20. The printer 20 prints a print image including handwritten information and code information using the document image and code image output from the paper information processing server 30.

次に、電子ペン１２について説明する。
図４は、電子ペン１２の構成を示した図である。この電子ペン１２は、コード用紙や、コード画像と文書画像とが印刷された用紙(媒体)に、通常のペンと同様の操作により文字や図形を記録する筆記部(ペン先)１２１と、筆記部１２１の動きを監視し電子ペン１２が用紙に押し付けられていることを検出する筆圧センサからなる筆圧検出部１２２を備えている。また、基板上の集積回路によって実現され電子ペン１２全体の電子的な動作を制御する制御部１２３と、用紙上のコード画像を読み取るために赤外光を照射する赤外照射部１２４と、赤外光が照射されたコード画像を捕捉して入力する画像入力部１２５とを備えている。更に、読み取られた媒体上のコード情報などを送信する通信機能部１２６を備えている。また更に、電子ペン１２による操作が手書き情報の入力などの入力処理なのか、媒体上のコード画像を読み取る読み取り処理なのか、を切り替える切り替え部１２７を備えている。 Next, the electronic pen 12 will be described.
FIG. 4 is a diagram showing the configuration of the electronic pen 12. The electronic pen 12 includes a writing unit (pen tip) 121 that records characters and figures on a code sheet or a sheet (medium) on which a code image and a document image are printed by the same operation as a normal pen. A pen pressure detection unit 122 is provided that includes a pen pressure sensor that monitors the movement of the unit 121 and detects that the electronic pen 12 is pressed against the paper. In addition, a control unit 123 that is realized by an integrated circuit on the substrate and controls the electronic operation of the entire electronic pen 12, an infrared irradiation unit 124 that emits infrared light to read a code image on a sheet, and red An image input unit 125 that captures and inputs a code image irradiated with external light. Further, a communication function unit 126 that transmits code information and the like on the read medium is provided. Furthermore, a switching unit 127 is provided for switching whether the operation with the electronic pen 12 is input processing such as input of handwritten information or reading processing for reading a code image on a medium.

制御部１２３は、コード取得部１２３ａと、軌跡算出部１２３ｂと、時計機能１２３ｃと、情報記憶部１２３ｄとを備えている。コード取得部１２３ａは、画像入力部１２５から入力された画像を解析してコードを取得している。軌跡算出部１２３ｂは、コード取得部１２３ａにより取得したコードに対し、筆記部１２１のペン先の座標と画像入力部１２５が捕捉した画像の座標とのずれを補正してペン先の軌跡を算出する部分である。時計機能１２３ｃは、筆圧検出部１２２により電子ペン１２が用紙に押し付けられた際の時刻を出力する部分である。情報記憶部１２３ｄは、コード取得部１２３ａが取得したコードや軌跡算出部１２３ｂが算出した軌跡情報、時計機能１２３ｃにより把握された時刻情報を記憶する部分である。この情報記憶部１２３ｄにて記憶される時刻情報は、軌跡算出部１２３ｂにより算出された軌跡の位置情報に対応している。例えば、軌跡算出部１２３ｂにより算出される軌跡情報が１本の線などとしてまとまりのある単位である場合には、この単位に対応して、例えば１本の線が描かれたときの最初の時刻と最後の時刻との中間の時刻が、時刻情報として情報記憶部１２３ｄに記憶される。   The control unit 123 includes a code acquisition unit 123a, a locus calculation unit 123b, a clock function 123c, and an information storage unit 123d. The code acquisition unit 123a analyzes the image input from the image input unit 125 and acquires a code. The trajectory calculation unit 123b calculates the pen tip trajectory by correcting the deviation between the pen tip coordinates of the writing unit 121 and the image coordinates captured by the image input unit 125 for the code acquired by the code acquisition unit 123a. Part. The clock function 123c is a part that outputs the time when the electronic pen 12 is pressed against the paper by the writing pressure detection unit 122. The information storage unit 123d is a part that stores the code acquired by the code acquisition unit 123a, the trajectory information calculated by the trajectory calculation unit 123b, and the time information grasped by the clock function 123c. The time information stored in the information storage unit 123d corresponds to the position information of the trajectory calculated by the trajectory calculation unit 123b. For example, when the trajectory information calculated by the trajectory calculation unit 123b is a unit that is organized as a single line or the like, for example, the first time when a single line is drawn corresponding to this unit An intermediate time between the first time and the last time is stored in the information storage unit 123d as time information.

図５は、電子ペン１２の主に制御部１２３にて実行される手書き情報入力処理を示したフローチャートである。電子ペン１２では、切り替え部１２７の操作によって入力処理に切り替えられ、例えばコード用紙１１などの媒体に文字や図形の記録が行われると、制御部１２３は、用紙に対してペンによる記録が行われていることの検出信号を筆圧検出部１２２から取得する（ステップ１０１）。また、この検出信号を検出した際の時刻を時計機能１２３ｃから取得する（ステップ１０２）。筆圧検出部１２２からの検出信号を検出すると、制御部１２３は赤外照射部１２４に対し、赤外光を用紙に照射するように指示し、画像入力部１２５を介して不可視画像の入力(スキャン)が行われる（ステップ１０３）。即ち、赤外照射部１２４によって用紙に照射される赤外光は不可視画像にて吸収され、画像入力部１２５では、この赤外光が照射されたコード画像が捕捉される。   FIG. 5 is a flowchart showing handwritten information input processing executed mainly by the control unit 123 of the electronic pen 12. When the electronic pen 12 is switched to input processing by the operation of the switching unit 127 and, for example, characters and figures are recorded on a medium such as the code paper 11, the control unit 123 performs recording with the pen on the paper. Is detected from the writing pressure detector 122 (step 101). Further, the time when this detection signal is detected is acquired from the clock function 123c (step 102). When detecting the detection signal from the writing pressure detection unit 122, the control unit 123 instructs the infrared irradiation unit 124 to irradiate the paper with infrared light, and inputs an invisible image via the image input unit 125 ( Scanning) is performed (step 103). That is, the infrared light irradiated on the paper by the infrared irradiation unit 124 is absorbed by the invisible image, and the code image irradiated with the infrared light is captured by the image input unit 125.

その後、制御部１２３のコード取得部１２３ａでは、ステップ１０４〜ステップ１１０に示すコード画像検出処理が実行される。ここでは、まず、入力されたスキャン画像が整形される（ステップ１０４）。このスキャン画像の整形は、傾き補正やノイズ除去などである。そして、整形されたスキャン画像からスラッシュ「／」やバックスラッシュ「＼」等のビットパターン(斜線パターン)が検出される（ステップ１０５）。また一方で、整形されたスキャン画像から、２次元コード位置決め用のコードである同期コードが検出される（ステップ１０６）。コード取得部１２３ａでは、この同期コード位置を参照して２次元コードの検出がなされる（ステップ１０７）。また、２次元コードからＥＣＣ（Error Correcting Code：誤り訂正符号）などの情報が取り出されて復号される（ステップ１０８）。そして、復号した情報を元の情報に復元する（ステップ１０９）。制御部１２３のコード取得部１２３ａでは、復元したコード情報からＸ座標、Ｙ座標、媒体識別情報を取り出し、取り出した位置（アドレス）情報、媒体識別情報を情報記憶部１２３ｄに記憶する（ステップ１１０）。その一方で、軌跡算出部１２３ｂは、情報記憶部１２３ｄに格納された座標情報からペン先の軌跡を算出し、情報記憶部１２３ｄに記憶する。またこのとき、軌跡に対応する時刻情報を算出して情報記憶部１２３ｄに記憶する（ステップ１１１)。この情報記憶部１２３ｄに記憶された識別情報、位置情報や軌跡情報、時刻情報などの記憶情報は、通信機能部１２６を介して、例えば手書き情報取得端末２などの外部機器に有線または無線で送信される（ステップ１１２）。以上のようにして生成された、時刻情報に紐付けられた手書き情報は、例えば手書き情報取得端末２から出力され、例えば図３に示す紙情報処理サーバ３０の手書き・時刻情報入力部３６に入力される。   Thereafter, in the code acquisition unit 123a of the control unit 123, the code image detection process shown in Step 104 to Step 110 is executed. Here, first, the input scan image is shaped (step 104). The shaping of the scanned image includes tilt correction and noise removal. Then, a bit pattern (shaded pattern) such as a slash “/” or a backslash “\” is detected from the shaped scan image (step 105). On the other hand, a synchronization code, which is a two-dimensional code positioning code, is detected from the shaped scan image (step 106). In the code acquisition unit 123a, the two-dimensional code is detected with reference to the synchronization code position (step 107). Further, information such as ECC (Error Correcting Code) is extracted from the two-dimensional code and decoded (step 108). Then, the decrypted information is restored to the original information (step 109). The code acquisition unit 123a of the control unit 123 extracts the X coordinate, the Y coordinate, and the medium identification information from the restored code information, and stores the extracted position (address) information and medium identification information in the information storage unit 123d (step 110). . On the other hand, the trajectory calculation unit 123b calculates the trajectory of the pen tip from the coordinate information stored in the information storage unit 123d and stores it in the information storage unit 123d. At this time, time information corresponding to the locus is calculated and stored in the information storage unit 123d (step 111). Storage information such as identification information, position information, locus information, and time information stored in the information storage unit 123d is transmitted to an external device such as the handwritten information acquisition terminal 2 via the communication function unit 126 by wire or wirelessly. (Step 112). The handwritten information associated with the time information generated as described above is output from, for example, the handwritten information acquisition terminal 2 and input to the handwriting / time information input unit 36 of the paper information processing server 30 illustrated in FIG. 3, for example. Is done.

尚、図５は手書き情報入力処理の流れを示したが、電子ペン１２は、同様な処理によって、媒体上のコード画像の読み取り動作も行う。即ち、電子ペン１２の制御部１２３は、切り替え部１２７の操作によって読み取り処理に切り替えられた後、ステップ１０１と同様に筆圧検出部１２２から検出信号を取得する。その後、ステップ１０３と同様に、赤外照射部１２４に対し、赤外光を用紙に照射するように指示し、画像入力部１２５を介して不可視画像を読み取る。その後、ステップ１０４〜ステップ１１０に示すコード画像検出処理が同様に実行される。検出された各種情報は、ステップ１１２と同様に、例えば手書き情報取得端末２に送信される。手書き情報取得端末２は、電子ペン１２から受信した読み取り動作に関する情報（ユーザの指示情報）を、例えば図３に示す紙情報処理サーバ３０へ出力する。出力された情報は、紙情報処理サーバ３０の指示コード情報解析部４１によって解析される。   Although FIG. 5 shows the flow of the handwritten information input process, the electronic pen 12 also performs a code image reading operation on the medium by a similar process. That is, the control unit 123 of the electronic pen 12 acquires the detection signal from the writing pressure detection unit 122 in the same manner as in step 101 after being switched to the reading process by the operation of the switching unit 127. Thereafter, as in step 103, the infrared irradiation unit 124 is instructed to irradiate the paper with infrared light, and the invisible image is read via the image input unit 125. Thereafter, the code image detection process shown in steps 104 to 110 is executed in the same manner. Various detected information is transmitted to the handwritten information acquisition terminal 2, for example, similarly to step 112. The handwritten information acquisition terminal 2 outputs information related to the reading operation received from the electronic pen 12 (user instruction information) to, for example, the paper information processing server 30 illustrated in FIG. The output information is analyzed by the instruction code information analysis unit 41 of the paper information processing server 30.

次に、統合処理サーバ５０について説明する。
図６は、統合処理サーバ５０の機能を示すブロック図である。統合処理サーバ５０は、ファイル作成のための各機能として、例えば標準電波時刻を受けて基準時刻を発生する基準時刻発生部５１と、ファイルの格納指示を出すクライアント（格納指示クライアント）からの格納情報を入力する情報入力部５２とを備えている。このクライアント（格納指示クライアント）としては、図１に示すプロジェクタ操作端末３や音声情報処理装置４、映像情報処理装置５などが該当する。また、統合処理サーバ５０は、情報入力部５２に入力された格納情報に含まれる時刻情報を解析する時刻情報解析部５３と、この時刻情報解析部５３により解析された時刻情報を、基準時刻発生部５１により発生した基準時刻を用いて修正する時刻情報修正部５４とを備えている。更に、修正された時刻情報を用いて、統一時刻と情報の位置との紐付けがなされた統合ファイルを生成する統合ファイル生成部５５を備えている。この統合ファイル生成部５５により生成された統合ファイルは、統合ファイル格納部６０に格納される。また、統合ファイル生成部５５による生成結果は、ファイル結果出力部５６により格納指示クライアントに出力される。また、統合ファイル生成部５５により生成された統合ファイル情報は、必要に応じて統合ファイル情報出力部５７より紙情報処理サーバ３０に出力される。 Next, the integrated processing server 50 will be described.
FIG. 6 is a block diagram illustrating functions of the integrated processing server 50. The integrated processing server 50 includes, as functions for creating a file, for example, a reference time generating unit 51 that receives a standard radio wave time and generates a reference time, and storage information from a client that issues a file storage instruction (storage instruction client) And an information input unit 52 for inputting. The client (storage instruction client) corresponds to the projector operation terminal 3, the audio information processing device 4, the video information processing device 5 and the like shown in FIG. In addition, the integrated processing server 50 analyzes the time information included in the storage information input to the information input unit 52 and analyzes the time information analyzed by the time information analysis unit 53 with reference time generation. And a time information correction unit 54 that corrects using the reference time generated by the unit 51. Furthermore, an integrated file generation unit 55 that generates an integrated file in which the unified time and the information position are linked using the corrected time information is provided. The integrated file generated by the integrated file generation unit 55 is stored in the integrated file storage unit 60. Further, the generation result by the integrated file generation unit 55 is output to the storage instruction client by the file result output unit 56. The integrated file information generated by the integrated file generation unit 55 is output from the integrated file information output unit 57 to the paper information processing server 30 as necessary.

また、統合処理サーバ５０は、ファイル参照のための各機能として、紙情報処理サーバ３０から時刻情報を入力する時刻情報入力部６１と、入力された時刻情報を用いて統合ファイル格納部６０からファイルを読み出すファイル読み出し部６２とを備えている。更に、時刻情報に含まれる各種参照情報の中から例えば参照要求クライアントのアドレスを用いて、ファイル読み出し部６２から読み出されたファイル情報を参照要求クライアントへ出力する情報出力部６３を備えている。この参照要求クライアントとしては、例えば図１に示す電子ペン１２により実行された参照指示を出力する手書き情報取得端末２が該当する。   The integrated processing server 50 also includes a time information input unit 61 for inputting time information from the paper information processing server 30 and a file from the integrated file storage unit 60 using the input time information as functions for file reference. And a file reading unit 62 for reading out. Furthermore, an information output unit 63 is provided that outputs the file information read from the file reading unit 62 to the reference requesting client using, for example, the address of the reference requesting client among various types of reference information included in the time information. An example of the reference request client is the handwritten information acquisition terminal 2 that outputs a reference instruction executed by the electronic pen 12 shown in FIG.

図７は、統合ファイル生成部５５にて生成される統合ファイルの例を示した図である。図６に示す統合処理サーバ５０の情報入力部５２には、時間にリンク付けられた情報が入力される。図７では、時刻Ａにリンク付けられた情報Ａを有する格納情報Ａ７１と、時刻Ｂにリンク付けられた情報Ｂを有する格納情報Ｂ７２と、時刻Ｃにリンク付けられた情報Ｃを有する格納情報Ｃ７３とが示されている。統合ファイル生成部５５では、これらの情報を統合し、まず、時刻Ａと時刻Ｂと時刻Ｃとを基準時刻により修正し、これらを統合して統一時刻を作成する。また、情報Ａと情報Ｂと情報Ｃとが統合される。この統一時刻と情報の統一とによって統合ファイル７４が生成される。尚、この統合ファイル７４では、統一時刻と情報位置とが紐付けられ、これらの情報が統合ファイル格納部６０に格納される。また、この情報は、統合ファイル情報出力部５７より紙情報処理サーバ３０に提供される。   FIG. 7 is a diagram illustrating an example of an integrated file generated by the integrated file generation unit 55. Information linked to time is input to the information input unit 52 of the integrated processing server 50 shown in FIG. In FIG. 7, storage information A71 having information A linked to time A, storage information B72 having information B linked to time B, and storage information C73 having information C linked to time C are shown. Is shown. The integrated file generation unit 55 integrates these pieces of information, first corrects the time A, time B, and time C with the reference time, and integrates them to create a unified time. Information A, information B, and information C are integrated. An integrated file 74 is generated by the unified time and the unified information. In the integrated file 74, the unified time and the information position are associated with each other, and these pieces of information are stored in the integrated file storage unit 60. This information is provided to the paper information processing server 30 from the integrated file information output unit 57.

図８は、統合化された議事録の表示例を示した図である。例えば、図１に示す手書き情報取得端末２や情報利用端末６のディスプレイ等に表示される。図８では、画像情報や動画情報の一部、手書き情報などが画像として表示されている。また、各情報のメニューや音声時刻情報なども出力されている。画像情報や動画情報、手書き情報などは、図７に示すような統一時刻で管理され、統合化された議事録を表示することが可能となる。そして、例えば時刻に応じて、動画情報や音声時刻情報、メニューが変化するのと同時に、画像情報も適宜、切り替えることが好ましい。このように、本実施の形態によれば、位置情報によって紐付けられることで、図８に示すような統合化された議事録を生成することが可能となる。   FIG. 8 is a diagram showing a display example of integrated minutes. For example, it is displayed on the display of the handwritten information acquisition terminal 2 and the information use terminal 6 shown in FIG. In FIG. 8, part of image information and moving image information, handwritten information, and the like are displayed as images. In addition, a menu of each information and audio time information are also output. Image information, moving image information, handwritten information, and the like are managed at a unified time as shown in FIG. 7, and an integrated minutes can be displayed. Then, for example, it is preferable to switch the image information as appropriate at the same time as the moving image information, the audio time information, and the menu change according to the time. As described above, according to the present embodiment, it is possible to generate the integrated minutes as shown in FIG. 8 by being associated with the position information.

尚、ディスプレイへの表示以外に、図２に示すようなコード画像が形成されるコード用紙１１に、文書画像として各種情報を形成するように構成することも可能である。例えば不可視トナーなどから形成されるコード画像と各種文書画像とをまとめてプリンタ２０（図１参照）で印刷するように構成しても構わない。コード画像とともに各情報を印刷した場合には、印刷された各情報を指示することで、関連する情報だけをピックアップして出力する等の展開が可能である。このように、コード情報を画像化したコード画像と、手書き情報や動画、画像情報の一部である文書画像とを紙等に印字し、それをＣＣＤカメラ等でキャプチャし、コードを解析することで、手書き情報や動画、画像情報にアクセスすることが可能となる。また、マルチメディ文書を印字することも可能とする。   In addition to the display on the display, it is possible to form various information as a document image on a code sheet 11 on which a code image as shown in FIG. 2 is formed. For example, a code image formed from invisible toner or the like and various document images may be collectively printed by the printer 20 (see FIG. 1). When each information is printed together with the code image, it is possible to develop such as picking up and outputting only relevant information by instructing each printed information. In this way, the code image obtained by imaging the code information and the handwritten information, the moving image, and the document image that is a part of the image information are printed on paper or the like, captured by a CCD camera or the like, and the code is analyzed. Thus, it becomes possible to access handwritten information, moving images, and image information. It is also possible to print multimedia documents.

尚、図８に示すような手書き情報は、図３に示す手書き・時刻情報入力部３６や手書き情報処理部３７、時刻情報処理部３８によって生成され、紙情報管理ＤＢ４０に格納されていたものが出力されている。即ち、手書き・時刻情報入力部３６は、コード用紙１１上にてなされた電子ペン１２の軌跡を取得するが、このペン軌跡の情報には、例えば図５に示すような処理の流れによって、時刻情報に紐付けられた手書き情報が含まれている。また、ユーザによって手書きされたコード用紙１１を識別する識別情報も取得される。手書き・時刻情報入力部３６では、時刻情報に紐付けられた手書き情報について、手書き情報処理部３７にて手書き情報の格納処理等が処理される。また、時刻情報は、時刻情報処理部３８によって処理される。処理された手書き情報は、識別情報に対応付けて紙情報管理ＤＢ４０の手書き情報ＤＢ４０ｄに格納される。また、処理された時刻情報は、識別情報に対応付けられた位置情報に関連付けられて、位置・時刻情報ＤＢ４０ｆに格納される。   8 is generated by the handwriting / time information input unit 36, the handwriting information processing unit 37, and the time information processing unit 38 shown in FIG. 3 and stored in the paper information management DB 40. It is output. That is, the handwriting / time information input unit 36 obtains the locus of the electronic pen 12 made on the code sheet 11, and the pen locus information includes, for example, the time as shown in FIG. Handwritten information associated with the information is included. Further, identification information for identifying the code sheet 11 handwritten by the user is also acquired. In the handwriting / time information input unit 36, a handwriting information storage process or the like is processed by the handwriting information processing unit 37 for the handwritten information associated with the time information. The time information is processed by the time information processing unit 38. The processed handwritten information is stored in the handwritten information DB 40d of the paper information management DB 40 in association with the identification information. Further, the processed time information is stored in the position / time information DB 40f in association with the position information associated with the identification information.

次に、ファイル作成に関する処理と、ファイル参照に関する処理について説明する。
図９は、主に統合処理サーバ５０によって実行されるファイル生成に関する処理の一例を示したフローチャートである。図６に示す統合処理サーバ５０の情報入力部５２は、プロジェクタ操作端末３や音声情報処理装置４、映像情報処理装置５等の所定のクライアント（格納指示クライアント）から、ファイルを格納したい旨の指示情報、このクライアントが管理している現在時刻情報を入力する（ステップ２０１）。時刻情報解析部５３は、取得した現在時刻情報を解析し、時刻情報修正部５４にて、例えば、このクライアントが管理する時刻と基準時刻発生部５１にて発生される時刻との時間差を計算する（ステップ２０２）。また統合ファイル生成部５５は、統合ファイル格納部６０におけるファイル格納領域を確保し（ステップ２０３）、図示しない送信部から、送信準備完了の情報を格納指示クライアントに送信する（ステップ２０４）。 Next, processing related to file creation and processing related to file reference will be described.
FIG. 9 is a flowchart illustrating an example of processing relating to file generation executed mainly by the integrated processing server 50. The information input unit 52 of the integrated processing server 50 shown in FIG. 6 instructs from a predetermined client (storage instruction client) such as the projector operation terminal 3, the audio information processing apparatus 4, the video information processing apparatus 5 or the like to store a file. Information and current time information managed by this client are input (step 201). The time information analysis unit 53 analyzes the acquired current time information, and calculates, for example, a time difference between the time managed by the client and the time generated by the reference time generation unit 51 by the time information correction unit 54. (Step 202). Further, the integrated file generation unit 55 secures a file storage area in the integrated file storage unit 60 (step 203), and transmits transmission preparation completion information from the transmission unit (not shown) to the storage instruction client (step 204).

その後、情報入力部５２は、特定の格納指示クライアントより、例えば、図７の格納情報Ａ７１に示すような格納情報を受信する（ステップ２０５）。この格納情報の受信を複数のクライアント毎に実行する。統合ファイル生成部５５は、統一時間を生成し（ステップ２０６）、情報に統一時間を割り付けて統合ファイル格納部６０に統合ファイル７４（図７参照）を格納する（ステップ２０７）。ファイル結果出力部５６は、格納指示クライアントに対してファイル作成完了情報を出力する（ステップ２０８）。また、必要に応じて統合ファイル情報出力部５７から統合ファイル情報を紙情報処理サーバ３０へ出力し（ステップ２０９）、処理が終了する。紙情報処理サーバ３０へ統合ファイル情報を出力することにより、図８に示すような統合化された議事録を、例えばプリンタ２０を用いて用紙等の媒体に出力することが可能となる。   Thereafter, the information input unit 52 receives storage information such as the storage information A71 of FIG. 7 from a specific storage instruction client (step 205). The storage information is received for each of a plurality of clients. The integrated file generation unit 55 generates a unified time (step 206), assigns the unified time to the information, and stores the integrated file 74 (see FIG. 7) in the integrated file storage unit 60 (step 207). The file result output unit 56 outputs file creation completion information to the storage instruction client (step 208). Further, if necessary, the integrated file information output unit 57 outputs the integrated file information to the paper information processing server 30 (step 209), and the process ends. By outputting the integrated file information to the paper information processing server 30, it is possible to output the integrated minutes as shown in FIG. 8 on a medium such as paper using the printer 20, for example.

尚、図９に示すファイル作成処理では、格納指示クライアントから格納情報が送信される場合を例に挙げているが、手書き情報を含むファイルを作成する場合には、情報入力部５２は、紙情報処理サーバ３０からファイルすべき手書き情報を取得する。手書き情報についての基準時間は、紙情報処理サーバ３０の手書き・時刻情報入力部３６により時刻情報を入力した際、時刻情報処理部３８にて、統合処理サーバ５０の基準時刻発生部５１により発生される時刻と同等の時刻により修正されることが好ましい。即ち、紙情報処理サーバ３０は、統合処理サーバ５０の基準時刻発生部５１と同等の機能を有する時計手段を備え、または統合処理サーバ５０から基準時刻発生部５１の基準時刻を取得する。手書き・時刻情報を入力する前に、図９のステップ２０１〜２０２と同等の処理を、電子ペン１２またはこれに接続される手書き情報取得端末２との間で実行すれば良い。紙情報管理ＤＢ４０への手書き情報の格納前に基準時間を用いることで、統合ファイルの生成に際して新たに電子ペン１２の時計の時間のずれを修正する必要がなくなる。   In the file creation process shown in FIG. 9, a case where the storage information is transmitted from the storage instruction client is taken as an example. However, when creating a file including handwritten information, the information input unit 52 uses the paper information. Handwritten information to be filed is acquired from the processing server 30. The reference time for the handwritten information is generated by the reference time generating unit 51 of the integrated processing server 50 at the time information processing unit 38 when the time information is input by the handwriting / time information input unit 36 of the paper information processing server 30. It is preferable that the time is corrected by a time equivalent to the time to be read. That is, the paper information processing server 30 includes a clock unit having a function equivalent to that of the reference time generating unit 51 of the integrated processing server 50 or acquires the reference time of the reference time generating unit 51 from the integrated processing server 50. Before inputting handwriting / time information, the same processing as steps 201 to 202 in FIG. 9 may be executed between the electronic pen 12 or the handwritten information acquisition terminal 2 connected thereto. By using the reference time before the handwritten information is stored in the paper information management DB 40, it is not necessary to newly correct the time difference of the clock of the electronic pen 12 when the integrated file is generated.

次に、ファイル参照に関する処理について説明する。
図１０は、紙情報処理サーバ３０および統合処理サーバ５０によって実行されるファイル参照に関する処理の一例を示したフローチャートである。紙情報処理サーバ３０の指示コード情報解析部４１は、手書き文書へのアクセスに関する情報を例えば手書き情報取得端末２から取得する（ステップ３０１）。この手書き情報取得端末２から取得される情報は、コード画像が形成されている手書き情報の記載部分に対して、電子ペン１２を用いてなされた参照指示の情報である。指示コード情報解析部４１は、指示コード情報に含まれるコード情報から位置情報と識別情報とを分析する等、指示コード情報を解析する（ステップ３０２）。時刻情報変換部４２は、紙情報管理ＤＢ４０の位置・時刻情報ＤＢ４０ｆから読み出された位置情報と時刻情報との対応関係を用いて、分析された位置情報を時刻情報に変換する（ステップ３０３）。その後、時刻情報出力部４４は、変換されて取得された時刻情報を統合処理サーバ５０へ送信する（ステップ３０４）。尚、送信する時刻情報には、参照要求クライアントのアドレス情報が付加されていることが好ましい。 Next, processing related to file reference will be described.
FIG. 10 is a flowchart showing an example of file reference processing executed by the paper information processing server 30 and the integrated processing server 50. The instruction code information analysis unit 41 of the paper information processing server 30 acquires information related to access to a handwritten document from, for example, the handwritten information acquisition terminal 2 (step 301). The information acquired from the handwritten information acquisition terminal 2 is information on a reference instruction made using the electronic pen 12 with respect to the portion of the handwritten information on which the code image is formed. The instruction code information analysis unit 41 analyzes the instruction code information such as analyzing position information and identification information from the code information included in the instruction code information (step 302). The time information conversion unit 42 converts the analyzed position information into time information using the correspondence between the position information read from the position / time information DB 40f of the paper information management DB 40 and the time information (step 303). . Thereafter, the time information output unit 44 transmits the converted and acquired time information to the integrated processing server 50 (step 304). In addition, it is preferable that the address information of the reference request client is added to the time information to be transmitted.

統合処理サーバ５０では、時刻情報入力部６１にて時刻情報を入力し、ファイル読み出し部６２は、この時刻情報を用いて統合ファイル格納部６０から該当ファイルを読み出す（ステップ３０５）。読み出されたファイルは、時刻情報に付加されていた参照要求クライアントのアドレスを用いて、情報出力部６３から参照要求クライアントへ出力されて（ステップ３０６）、処理が終了する。
尚、コード画像からコード情報を読み取り、このコード情報から位置情報、識別情報を分析する作業については、そのアプリケーションの組み方によって、電子ペン１２、手書き情報取得端末２、および紙情報処理サーバ３０の何れかが実行すればよい。各構成要素における機能の分担の仕方によって、機能ブロック構成が変わってくる。 In the integrated processing server 50, time information is input through the time information input unit 61, and the file reading unit 62 reads out the corresponding file from the integrated file storage unit 60 using this time information (step 305). The read file is output from the information output unit 63 to the reference request client using the address of the reference request client added to the time information (step 306), and the process ends.
In addition, about the operation | work which reads code information from a code image and analyzes position information and identification information from this code information, it is any of the electronic pen 12, the handwritten information acquisition terminal 2, and the paper information processing server 30 by the way of assembling the application. Just do it. The functional block configuration varies depending on how the functions of each component are shared.

このように、本実施の形態では、手書きを行う契機となるような、その手書きを行った際の周囲環境を容易に再生することで手書き内容の意味（背景）を、より容易に理解することができる。具体的には、手書きを行った時間を基準として、その時間の前後で現れていた情報（プレゼンテーションの資料、収録情報、環境情報等）を取得し、再生できるようにしている。また、その再生方法としては、随時サーバ（統合処理サーバ５０等）からデータ取得を行う場合もあるし、手書き時間に対応する情報を予め単純なリンクで関連付けてマルチメディア文書として作成しておくことも可能である。あるいは、単純にメディアごとのタイムカウンタをテーブル化してこれから参照する方法もある。このタイムカウンタのテーブル化は、例えば、処理を行う端末装置が備えるアプリケーションソフトウェア等で実行される。   Thus, in this embodiment, the meaning (background) of handwritten content can be more easily understood by easily reproducing the surrounding environment when handwriting is performed, which is an opportunity for handwriting. Can do. Specifically, information (presentation materials, recorded information, environmental information, etc.) that appeared before and after that time is acquired and replayed based on the time of handwriting. As a reproduction method, data may be acquired from a server (such as the integrated processing server 50) as needed, or information corresponding to handwriting time is created in advance as a multimedia document by associating with a simple link. Is also possible. Alternatively, there is also a method of simply referring to a time counter for each medium as a table. The table formation of the time counter is executed by, for example, application software provided in a terminal device that performs processing.

尚、検索される時間を決定する手書き文字については、上記実施の形態では、紙からデジタルペンで入力する態様について説明している。しかしながら、例えばＰＣ上でポインティングデバイス等を用いて指示するように構成することもできる。また文字単位ではなくページ単位、段落単位とすることも可能である。更に、抽出される情報範囲は、ページ全体等を書いた時間内（±α）で用いられた情報を抽出してもよい。また、一文字（一画）毎の時間で抽出することも可能である。特に、時間は、ある程度まとまった方が処理し易いことから、実施例のような時間範囲を定めて抽出することも有効である。   In addition, about the handwritten character which determines the time searched, the said embodiment has demonstrated the aspect input with a digital pen from paper. However, for example, it can be configured to instruct using a pointing device or the like on a PC. It is also possible to use page units and paragraph units instead of character units. Further, as the information range to be extracted, information used within the time (± α) in which the entire page is written may be extracted. Moreover, it is also possible to extract by time for each character (one stroke). In particular, since it is easier to process a certain amount of time, it is also effective to define and extract a time range as in the embodiment.

本実施の形態が適用される電子文書管理システムの構成の一例を示したものである。1 illustrates an example of a configuration of an electronic document management system to which the exemplary embodiment is applied. （ａ）〜（ｃ）は、例えばコード用紙としてプリンタにて印刷される２次元コード画像を説明するための図である。(A)-(c) is a figure for demonstrating the two-dimensional code image printed with a printer as code paper, for example. 紙情報処理サーバの機能を示すブロック図である。It is a block diagram which shows the function of a paper information processing server. 電子ペンの構成を示した図である。It is the figure which showed the structure of the electronic pen. 電子ペンの主に制御部にて実行される手書き情報入力処理を示したフローチャートである。It is the flowchart which showed the handwritten information input process mainly performed by the control part of an electronic pen. 統合処理サーバの機能を示すブロック図である。It is a block diagram which shows the function of an integrated processing server. 統合ファイル生成部にて生成される統合ファイルの例を示した図である。It is the figure which showed the example of the integrated file produced | generated in an integrated file production | generation part. 統合化された議事録の表示例を示した図である。It is the figure which showed the example of a display of the integrated minutes. 主に統合処理サーバによって実行されるファイル生成に関する処理の一例を示したフローチャートである。It is the flowchart which showed an example of the process regarding the file generation mainly performed by the integrated processing server. 紙情報処理サーバおよび統合処理サーバによって実行されるファイル参照に関する処理の一例を示したフローチャートである。It is the flowchart which showed an example of the process regarding the file reference performed by the paper information processing server and the integrated processing server.

符号の説明Explanation of symbols

１…ネットワーク、２…手書き情報取得端末、３…プロジェクタ操作端末、４…音声情報処理装置、５…映像情報処理装置、６…情報利用端末、１１…コード用紙、１２…電子ペン、２０…プリンタ、３０…紙情報処理サーバ、５０…統合処理サーバ DESCRIPTION OF SYMBOLS 1 ... Network, 2 ... Handwritten information acquisition terminal, 3 ... Projector operation terminal, 4 ... Audio | voice information processing apparatus, 5 ... Image | video information processing apparatus, 6 ... Information utilization terminal, 11 ... Code paper, 12 ... Electronic pen, 20 ... Printer 30 ... paper information processing server, 50 ... integrated processing server

Claims (11)

媒体上に配置されたコード画像を用いて、ユーザによりなされた筆記動作に基づく当該媒体上の位置を特定する特定手段と、
前記筆記動作が実行された時刻情報を取得する取得手段と、
前記媒体上の位置と前記時刻情報とを関連付けた情報を格納する格納手段と
を含む情報管理システム。 A specifying means for specifying a position on the medium based on a writing operation performed by the user using a code image arranged on the medium;
Obtaining means for obtaining time information when the writing operation is performed;
An information management system comprising storage means for storing information associating a position on the medium with the time information. 前記取得手段により取得される時刻情報は、前記筆記動作が実行された時刻を基準時刻により修正した時刻に関する情報であることを特徴とする請求項１記載の情報管理システム。   The information management system according to claim 1, wherein the time information acquired by the acquisition unit is information related to a time obtained by correcting a time when the writing operation is performed with a reference time. ユーザに対して提供された所定の情報について、当該所定の情報が提供された時刻に関連した提供時刻情報を取得する手段と、
取得された前記提供時刻情報を基準時刻により修正する手段と、
修正された前記提供時刻情報に関連付けて前記所定の情報を格納する情報格納手段と
を更に含む請求項１記載の情報管理システム。 Means for obtaining provision time information related to the time at which the predetermined information is provided for the predetermined information provided to the user;
Means for correcting the acquired provision time information according to a reference time;
The information management system according to claim 1, further comprising: information storage means for storing the predetermined information in association with the corrected provision time information. コード画像が含まれると共に筆記動作に係わる手書き情報の画像が含まれる媒体へのユーザの操作から、位置情報を取得する手段と、
前記格納手段により格納された前記情報を用いて前記位置情報から時刻情報を特定する手段と、
特定された前記時刻情報を用いて、前記情報格納手段に格納されている前記所定の情報を当該情報格納手段から読み出す手段と
を更に含む請求項３記載の情報管理システム。 Means for acquiring position information from a user's operation on a medium including a code image and a handwritten information image related to a writing operation;
Means for specifying time information from the position information using the information stored by the storage means;
The information management system according to claim 3, further comprising: means for reading out the predetermined information stored in the information storage unit from the information storage unit using the identified time information. ユーザに対して提供される複数の前記所定の情報を、前記修正する手段により修正された複数の前記提供時刻情報を用いて統合する手段を更に含む請求項３記載の情報管理システム。   The information management system according to claim 3, further comprising means for integrating the plurality of predetermined information provided to the user using the plurality of provision time information modified by the modification unit. 前記コード画像は、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が低く近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が高い不可視トナーによって前記媒体上に印字されていることを特徴とする請求項１記載の情報管理システム。   The code image is printed on the medium with an invisible toner having a low maximum absorption in a visible light region (400 nm to 700 nm) and a high absorption in a near infrared region (800 nm to 1000 nm). Item 1. The information management system according to Item 1. ユーザが筆記した手書き情報の内容に対応した手書き対応情報と手書きがなされた時刻に関する手書き時刻とを関連付けて第１のメモリに格納し、
ユーザに提供される提供情報と当該情報が提供される時刻に関する提供時刻とを関連付けて第２のメモリに格納し、
所定の手書き対応情報を用いて前記第１のメモリに格納された所定の手書き時刻を特定し、
特定された前記所定の手書き時刻を用いて前記提供時刻に関連付けられた前記提供情報を前記第２のメモリから読み出す
情報管理方法。 The handwritten correspondence information corresponding to the content of the handwritten information written by the user and the handwritten time related to the time when the handwriting was made are associated and stored in the first memory,
The provision information provided to the user and the provision time related to the time when the information is provided are associated with each other and stored in the second memory,
Specifying a predetermined handwriting time stored in the first memory using predetermined handwriting correspondence information;
An information management method for reading the provision information associated with the provision time from the second memory using the specified predetermined handwriting time. 前記手書き対応情報は、ユーザが筆記する紙面上に形成されたコード画像によって把握される位置情報であることを特徴とする請求項７記載の情報管理方法。   8. The information management method according to claim 7, wherein the handwriting correspondence information is position information grasped by a code image formed on a paper surface written by a user. 前記手書き情報が形成された紙面上に印字されているコード画像を用いて当該手書き情報の所定箇所に対するユーザの指定を認識し、当該所定箇所に対応する前記所定の手書き対応情報を特定することを特徴とする請求項７記載の情報管理方法。   Recognizing a user's designation for a predetermined location of the handwritten information using a code image printed on the paper surface on which the handwritten information is formed, and specifying the predetermined handwriting correspondence information corresponding to the predetermined location The information management method according to claim 7, wherein: 前記第２のメモリへの格納は、基準となる時刻により修正された前記提供時刻を用いて前記提供情報を格納することを特徴とする請求項７記載の情報管理方法。   8. The information management method according to claim 7, wherein the providing information is stored in the second memory by using the providing time corrected by a reference time. 前記第２のメモリへの格納は、複数の提供情報について、修正された前記提供時刻を用いて統一時間を設定し、統合化された情報として格納することを特徴とする請求項１０記載の情報管理方法。   11. The information according to claim 10, wherein the storage in the second memory is performed by setting a unified time using the modified provision time for a plurality of provision information and storing the unified information as the integrated information. Management method.

Images