JP2007133550A - 情報管理システム、および情報管理方法 - Google Patents

Abstract

【課題】紙などの媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報などの各種情報との関連付けを図る。
【解決手段】ユーザがコード用紙１１に筆記した手書き情報の内容と手書きがなされた時刻に関する手書き時刻とを関連付けて紙情報処理サーバ３０にて格納し、映像情報処理装置５等の各種端末から提供される情報と、この情報が提供される時刻に関する提供時刻とを関連付けて統合処理サーバ５０にて格納する。手書きされたコード用紙１１の所定箇所を電子ペン１２で指示することにより、紙情報処理サーバ３０に格納された所定の手書き時刻を特定し、特定された所定の手書き時刻を用いて提供時刻に関連付けられた提供情報を統合処理サーバ５０から読み出し、手書き情報取得端末２などの端末に表示出力する。
【選択図】図１

Description

本発明は、各種の情報を融合するシステム等に係り、より詳しくは、電子文書と各種情報とを融合可能なシステム等に関する。

従来から会議の議事録作成や講義のノート作成などを支援する技術が提案されている。例えば特許文献１には、会議システムの入出力装置に関する技術が提案されている。ここで提案されている入出力装置では、会議中に表示している画像に対して手書きした情報も重ね合わせて表示している。より詳しくは、表示している画像と別に印刷された紙が存在しており、その紙の上に書かれた情報を重ねて表示する。紙の上に書かれた情報の読み込みには手書き入力装置が用いられている。そしてこの手書き入力装置は、ペンから電磁波を出力し、その電磁波を検出することでペン先の座標を検出している。

また、他の特許公報記載の技術として、ホワイトボード等の書き込みボード上に位置座標コードを描き、ペンなどがそのコードを読むことにより書き込みを電子化する技術が提案されている（例えば、特許文献２参照。）。この技術によれば、プロジェクタ映像を書き込みボードに投影した場合も、ペンの動きにより位置合わせが可能となる。

特開２００５−１０８６３号公報 特表２００３−５０８８３１号公報

しかしながら、会議や講義において、ノート等に書き込む内容は議論の中で重要と考えられる文章である場合が多く、その周辺において議論された音声や画像との紐付け（関連付け）がなされていない。そのため、ノート等に書き込まれた内容について、何時その文章が書かれたのかを抽出するためには、例えば会議や講義の内容についての録音やビデオ録画を利用し、これらを最初から全部通して聞いたり見たりする必要があった。その結果、音声や動画を記録していても再生することが非常に困難となることから、ノート等の書き込み内容とともに音声や動画の記録は、その利用効果が低く、利用頻度も現実にはかなり低いものであった。また、録音やビデオ映像を利用し易い形とするためには、人間の手が介在して編集等を施すことが必要となり、直ぐに利用し易い形で情報を活用することは困難であった。

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、紙などの媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報などの各種情報との関連付けを図ることにある。
また他の目的は、紙などの媒体にユーザが手書きして形成された手書き情報と各種情報との時間的同期をとることにある。
更に他の目的は、紙などの媒体に手書きした手書き情報を索引とし、そこから音声情報、画像情報、動画情報などの各種情報へのアクセスを可能にすることにある。
また更に他の目的は、紙などの媒体に形成された手書き情報について、その手書きがなされた時間に関する情報を管理することにある。

かかる目的のもと、本発明が適用される情報管理システムは、媒体上に配置されたコード画像を用いて、ユーザによりなされた筆記動作に基づく媒体上の位置を特定手段により特定し、筆記動作が実行された時刻情報を取得手段により取得する。そして、この媒体上の位置と時刻情報とを関連付けた情報を格納手段に格納している。コード画像を用いて位置を特定する特定手段としては、コード画像自体に位置情報が存在している場合と、コード画像から他のコードを変換する手段（ＰＣ等）によって位置情報を算出する場合がある。

ここで、この取得手段により取得される時刻情報は、筆記動作が実行された時刻を基準時刻により修正した時刻に関する情報であることを特徴とすれば、参照される時刻情報を統一できる点で好ましい。
また、このコード画像は、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が低く近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が高い不可視トナーによって媒体上に印字されていることを特徴とすることができる。

また、ユーザに対して提供された所定の情報について、この所定の情報が提供された時刻に関連した提供時刻情報を取得する手段と、取得された提供時刻情報を基準時刻により修正する手段と、修正された提供時刻情報に関連付けて所定の情報を格納する情報格納手段とを更に含む。
更に、コード画像が含まれると共に筆記動作に係わる手書き情報の画像が含まれる媒体へのユーザの操作から位置情報を取得する手段と、格納手段により格納された情報を用いて位置情報から時刻情報を特定する手段と、特定された時刻情報を用いて、情報格納手段に格納されている所定の情報を情報格納手段から読み出す手段と、ユーザに対して提供される複数の所定の情報を、この修正する手段により修正された複数の提供時刻情報を用いて統合する手段を更に含むことを特徴とすることができる。

他の観点から捉えると、本発明が適用される情報管理方法は、ユーザが筆記した手書き情報の内容に対応した手書き対応情報と手書きがなされた時刻に関する手書き時刻とを関連付けて第１のメモリに格納し、ユーザに提供される提供情報とこの情報が提供される時刻に関する提供時刻とを関連付けて第２のメモリに格納する。また、手書き情報が形成された紙面上に印字されているコード画像を用いて手書き情報の所定箇所に対するユーザの指定を認識し、この所定箇所に対応する所定の手書き対応情報を特定する。そして、所定の手書き対応情報を用いて第１のメモリに格納された所定の手書き時刻を特定し、特定された所定の手書き時刻を用いて提供時刻に関連付けられた提供情報を第２のメモリから読み出すことを特徴とすることができる。

ここで、この手書き対応情報は、ユーザが筆記する紙面上に形成されたコード画像によって把握される位置情報であることを特徴とすることができる。
また、この第２のメモリへの格納は、基準となる時刻により修正された提供時刻を用いて提供情報を格納することを特徴とすることができる。
更に、この第２のメモリへの格納は、複数の提供情報について、修正された提供時刻を用いて統一時間を設定し、統合化された情報として格納することを特徴とすることができる。

本発明によれば、紙などの媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報などの各種情報とを簡易に関連付けることが可能となる。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される電子文書管理システムの構成の一例を示したものである。このシステムは、例えばイーサネット（登録商標）などのネットワーク１に各種の端末やサーバ等が接続されている。即ち、このネットワーク１に、手書き情報取得端末２や、プロジェクタ操作端末３、音声情報処理装置４、映像情報処理装置５、情報を利用するクライアントが利用する情報利用端末６が接続されている。また、ネットワーク１には、コード用紙１１などのコード画像を含む印刷画像を出力するプリンタ２０と、電子文書管理システムにおける紙情報を管理する紙情報処理サーバ３０と、紙情報と各種情報とを統合する統合処理サーバ５０とが接続されている。尚、紙情報処理サーバ３０と統合処理サーバ５０とは同一のサーバとすることも可能である。

手書き情報取得端末２には、コード用紙１１に形成された手書き内容を読み取る電子ペン１２の入力を受け付けるアプリケーションソフトウェアが搭載されている。この電子ペン１２は、通常のペンと同様の操作により文字や図形を紙上に書き込むための筆記部を備えている。また、この筆記部に加え、例えば不可視トナーによるコード画像を認識するための機能を備えている。より具体的には、用紙上のコード画像を読み取るために赤外光を照射する赤外照射機能と、赤外光が照射されたコード画像を捕捉して入力する画像入力機能を備えている。このコード画像には、後述するように、少なくとも位置情報と媒体識別情報とが含まれている。更には、筆記部の動きを監視し電子ペン１２の先端が用紙（コード用紙１１）に押し付けられていることを検出する機能を備えている。また、電子ペン１２の全体の電子的な動作を制御する制御部を備えている。この制御部は時計機能を有しており、ユーザにより筆記作業が行われた時刻を認識することが可能である。

この電子ペン１２を用いて、コード用紙１１にユーザによる文字や図形の筆記動作が行われると、制御部は、コード用紙１１に対してペンによる記録が行われていることの検出信号を例えば筆圧検出機能から取得する。この検出信号を検出すると、制御部は赤外照射機能に対して赤外光をコード用紙１１に照射するように指示する。この赤外照射機能によってコード用紙１１に照射される赤外光は、不可視トナーによって形成されたコード画像にて吸収される。画像入力機能ではこの赤外光が照射されたコード画像が捕捉される。そして、電子ペン１２の制御部は、画像入力機能から入力された画像を解析してコードを取得し、取得したコードの位置情報から、筆記部のペン先の座標と画像入力機能が捕捉した画像の座標とのずれを補正してペン先の軌跡を算出する。この算出された軌跡情報は電子ペン１２に内蔵されたメモリ（後述）に格納される。また、この軌跡の算出と同時に、ユーザの手書き文字が形成された部分のコード画像が有する位置情報に対応して、時刻情報が取得される。その後、この軌跡情報と時刻情報とは、所定のタイミングにて、例えばＵＳＢや無線ＬＡＮ、ＲＳ−２３２Ｃ、Bluetoothなどによって手書き情報取得端末２に送信される。

プロジェクタ操作端末３には、このプロジェクタ操作端末３で実行されるソフトウェアの内容をスクリーンに投射するプロジェクタ１３が接続されている。また、音声情報処理装置４には、デジタル録音を行う録音機１４が接続されている。更に、映像情報処理装置５には、デジタル撮影を行うビデオカメラ１５が接続されている。このプロジェクタ操作端末３や音声情報処理装置４、映像情報処理装置５は、各々、時計発生部を備えている。例えばプロジェクタ操作端末３は、プロジェクタ１３を用いてユーザに対して情報を提供した時刻を、その情報のコンテンツ毎（例えば、アプリケーションソフトウェアの特定ファイルの特定ページ等）に対応して把握している。音声情報処理装置４は、録音された音声に対応した時刻を取得し、メモリ（図示せず）に格納している。同様に、映像情報処理装置５は、録画に対応した時刻を取得し、メモリ（図示せず）に格納している。

尚、図１に示す手書き情報取得端末２やプロジェクタ操作端末３、情報利用端末６は、パーソナルコンピュータ（ＰＣ）としての図示しない各種ハードウェア資源を利用している。また、音声情報処理装置４や映像情報処理装置５、紙情報処理サーバ３０や統合処理サーバ５０も、コンピュータの一種として図示しない各種ハードウェア資源を利用して実現されている。これらのハードウェア資源としては、演算手段であるＣＰＵ（Central Processing Unit：中央処理装置）を備え、また、例えばＭ/Ｂ（マザーボード）チップセットおよびＣＰＵバスを介してＣＰＵに接続されたメインメモリと、同じく例えばＭ/ＢチップセットおよびＡＧＰ（Accelerated Graphics Port）を介してＣＰＵに接続されたビデオカードを備えている。更に、例えばＰＣＩ（Peripheral Component Interconnect）バスを介してＭ/Ｂチップセットに接続された磁気ディスク装置（ＨＤＤ）、ネットワークインタフェイスと、このＰＣＩバスからブリッジ回路およびＩＳＡ（Industry Standard Architecture）バスなどの低速なバスを介してＭ/Ｂチップセットに接続された各種ディスクドライブやキーボード/マウスなどを備える。また更に、電子ペン１２もＣＰＵや各種ＲＯＭ、ＲＡＭ等のメモリを備え、ハードウェア資源を用いて各種演算処理や通信処理等を実現している。

プリンタ２０は、例えば電子写真方式を用いて、可視画像である文書画像と不可視画像であるコード画像とを同時に印刷している。そのために、例えば不可視用、イエロー用、マゼンタ用、シアン用、ブラック用のトナー像を感光体ドラム上に形成する複数の画像形成ユニットや、これらのトナー像を順次転写するための中間転写ベルト、トナー像を定着させる定着器等を備えている。例えば、位置情報や識別情報を含むコード画像は、例えば不可視用画像形成ユニットによって画像形成される。また、文書画像（写真画像やテキスト画像などを含む。コード画像を除く他の画像）は、他の画像形成ユニットによって画像形成される。更に、プリンタ２０は、全体制御を実行するとともに、文書画像やコード画像の印刷に関する各種処理を実行する制御部を備えている。

図２（ａ）〜（ｃ）は、例えばコード用紙１１としてプリンタ２０にて印刷される２次元コード画像を説明するための図である。後述する統合画像情報を媒体に出力する際にも、その文書画像とともにこれらのコード画像が形成される。図２（ａ）は、不可視画像によって形成され媒体上に配置される２次元コード画像の単位を格子状に表現した図であり、模式的に示している。また、図２（ｂ）は不可視画像が赤外光照射により認識された２次元コード画像の１単位を示した図である。更に、図２（ｃ）は、バックスラッシュ「＼」とスラッシュ「／」の斜線パターンを説明するための図である。

形成される２次元コード画像は、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が例えば７％以下であり、近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が例えば３０％以上の、いわゆる不可視トナーによって形成される。また、この不可視トナーは、画像の機械読み取りのために必要な近赤外光吸収能力を高めるために、平均分散径は１００ｎｍ〜６００ｎｍの範囲のものが採用される。また、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能である。例えば、印刷される媒体の大きさに合わせて媒体一面（紙面）の全面に不可視画像が形成される。また、例えば、目視した際に光沢差によって認識できる不可視画像とすることができる。
尚、「可視」および「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。

図２（ｂ）に示す２次元コードパターンは、位置コード（位置（アドレス）情報に対応するコード）が格納される領域と、印刷媒体を一意に特定するための識別コード（識別情報に対応するコード）が格納される領域とを含んでいる。また、同期コードが格納される領域も含んでいる。そして、図２（ａ）に示すように、印刷される媒体の大きさに合わせて媒体一面（紙面）の全面に、異なるアドレス情報が格納された２次元コードが格子状に配置される。即ち、媒体一面に、図２（ｂ）に示すような２次元コードパターンが複数個、配置され、各々に識別コード、位置コード、および同期コードを備えている。そして、複数の位置コードの領域には、夫々配置される場所により異なる位置情報が格納されている。一方、複数の識別コードの領域には、配置される場所に拠らず同じ識別情報が格納されている。位置コードは例えば６ビット×６ビットの矩形領域内に配置されている。

各ビット値は、例えば回転角度が異なる複数の微小ラインビットマップで形成され、図２（ｃ）に示されるような、相互に異なる傾きを有するバックスラッシュ「＼」およびスラッシュ「／」の斜線パターン（パターン０とパターン１）で、ビット値０とビット値１を表現している。この斜線パターンは、例えば６００ｄｐｉで８×８画素の大きさで構成されており、左上がりの斜線パターン(パターン０)がビット値０を、右上がりの斜線パターン(パターン１)がビット値１を表現する。従って、１つの斜線パターンで１ビットの情報(０または１)を表現できる。このような２種類の傾きからなる微小ラインビットマップを用いることで、可視画像に与えるノイズが極めて小さく、かつ大量の情報を高密度にデジタル化して埋め込むことが可能な２次元コードパターンを提供することが可能となる。

図２(ｂ)に示す位置コード領域には合計３６ビットの位置情報が格納されており、１８ビットをＸ座標の符号化に、１８ビットをＹ座標の符号化に使用することができる。各１８ビットを全て位置の符号化に使用すると、２＾１８通り(約２６万通り)の位置を符号化できる。各斜線パターンが図２(ｃ)に示したように８画素×８画素(６００ｄｐｉ)で構成されている場合には、６００ｄｐｉの１ドットは０.０４２３ｍｍであることから、図２(ｂ)の２次元コード(同期コードを含む)の大きさは、縦横共に３ｍｍ程度(８画素×９ビット×０.０４２３ｍｍ)となる。３ｍｍ間隔で２６万通りの位置を符号化した場合、約７８６ｍの長さを符号化できる。このように１８ビット全てを位置の符号化に使用することができるし、また斜線パターンの検出誤りが発生するような場合には、誤り検出や誤り訂正のための冗長ビットを含めても良い。

識別コードは、２ビット×８ビットおよび２ビット×６ビットの矩形領域に配置されており、合計２８ビットの識別情報を格納できる。識別情報として２８ビットを使用した場合は、２＾２８通り（約２億７千万通り）の識別情報を表現できる。識別コードも位置コードと同様に、２８ビットの中に誤り検出や誤り訂正のための冗長ビットを含めることができる。この識別情報としては、媒体を一意に特定するものとして、印刷毎に生成される情報を用いることができる。即ち、印刷されるコード用紙１１の一枚、一枚を、一意に特定可能な情報である。コード用紙１１の一枚、一枚を一意に特定可能な情報としては、プリンタ２０の識別情報に印刷のカウンタを含めた情報や、プリンタ２０の識別情報に印刷の時刻情報を含めたもの等を用いることもできる。このような識別コードによって、手書き情報が形成された媒体を識別することが可能となる。例えば、この識別コードを用いることで、どのユーザが何時、使用したコード用紙１１であるか等を容易に管理することが可能となる。

図３は、紙情報処理サーバ３０の機能を示すブロック図である。この紙情報処理サーバ３０は、ファイル作成の機能として、手書き情報取得端末２や情報利用端末６等からなされたコード用紙１１の印刷指示を入力する印刷指示入力部３１と、印刷指示入力部３１による印刷指示に伴い、文書画像を生成する文書画像生成部３２と、コード画像を生成するコード画像生成部３３とを備えている。また、生成された文書画像をプリンタ２０へ出力する文書画像出力部３４と、生成されたコード画像を同じくプリンタ２０へ出力するコード画像出力部３５とを備えている。これらの各機能によって、統合化された議事録（後述）等を出力する際、文書画像にコード画像を重畳した印刷物を得ることができる。

紙情報処理サーバ３０は、更に、電子ペン１２のペン軌跡から手書き情報と手書きがされたときの時刻情報とを入力する手書き・時刻情報入力部３６と、入力された手書き情報を処理する手書き情報処理部３７と、入力された時刻情報を処理する時刻情報処理部３８とを備えている。これらの各機能を利用することによって、ユーザによりなされた筆記動作に基づく手書き情報を、手書き時刻に関連付けて管理することが可能となる。

また、紙情報処理サーバ３０は、例えば磁気ディスク装置（ＨＤＤ）等の広義のメモリによって構成され各種情報を格納する紙情報管理データベース（ＤＢ）４０を備えている。更に、統合処理サーバ５０にて生成された統合ファイルを入力し、紙情報管理ＤＢ４０へ情報を格納するための各種処理を実行する統合ファイル情報処理部４６を備えている。この統合ファイル情報処理部４６は、必要に応じて、統合処理サーバ５０から出力された統合ファイルを文書画像生成部３２にそのまま出力する場合もある。また紙情報処理サーバ３０は、紙情報管理ＤＢ４０に格納された手書き情報を統合処理サーバ５０へ出力する手書き情報出力部４７を備えている。

また更に、紙情報処理サーバ３０は、ファイル参照の機能として、指示コード情報解析部４１を備えている。この指示コード情報解析部４１は、コード用紙１１等への筆記動作に伴う手書き文書の所定箇所に対し、ユーザが電子ペン１２によって指示したコード情報（指示コード情報）を、ユーザのアクセスとして解析している。また、紙情報処理サーバ３０は、指示コード情報解析部４１によって解析された指示コード情報について、紙情報管理ＤＢ４０に格納された情報を用いて、位置情報から時刻情報に変換する時刻情報変換部４２と、変換された時刻情報を統合処理サーバ５０へ出力する時刻情報出力部４４とを備えている。この時刻情報出力部４４から出力される時刻情報には、参照要求クライアントのアドレス情報など、参照のための各種情報を含めることが可能である。また、この指示コード情報解析部４１によって解析された指示コード情報について、紙情報管理ＤＢ４０に格納されているリンク情報を用いて位置情報をリンク情報に変換するリンク情報変換部４３と、変換されたリンク情報を用いて所定のリンク処理を行うリンク処理部４５とを備えている。

紙情報管理ＤＢ４０は、機能別に複数のデータベースを備えている。ここでは、プリンタ２０にて印刷されるコード用紙１１などの媒体を一意に特定する識別情報を格納する識別情報データベース（ＤＢ）４０ａと、プリンタ２０にて印刷されるコード用紙１１などの媒体に印字される位置（アドレス）情報を格納する位置情報データベース（ＤＢ）４０ｂとを備えている。また、各種文書情報を格納する文書情報データベース（ＤＢ）４０ｃと、電子ペン１２によって書かれた手書き情報を格納する手書き情報データベース（ＤＢ）４０ｄとを備えている。更に、位置情報にリンクされるリンク情報を格納するリンク情報データベース（ＤＢ）４０ｅと、位置情報と時刻情報との関係を格納する位置・時刻情報データベース（ＤＢ）４０ｆとを備えている。

本実施の形態では、一旦、手書きされた情報を、新たな紙（媒体）に印刷することも可能である。その際には、まず、紙情報処理サーバ３０の印刷指示入力部３１にて、手書きされた情報に対する印刷指示が入力される。この印刷指示には、手書き文書を識別するための何らかの識別情報が含まれている。例えばユーザＩＤと手書き文書作成日時等の情報である。文書画像生成部３２は、この識別情報を用いて文書情報ＤＢ４０ｃから文書情報を読み出す。そして、文書情報を画像化して文書画像を生成する。その後、文書画像出力部３４は、文書画像をプリンタ２０へ出力する。一方、コード画像生成部３３は、印刷する手書き文書（文書情報）の識別情報を識別情報ＤＢ４０ａから取得する。そして、所定のメモリに格納されている図２に示すようなコードパターンを用いて、識別情報と位置情報とを含むコード情報からコード画像を生成する。そして、生成されたコード画像は、コード画像出力部３５からプリンタ２０へ出力される。プリンタ２０では、紙情報処理サーバ３０から出力される文書画像とコード画像を用いて、手書き情報とコード情報とを含むプリント画像を印刷する。

次に、電子ペン１２について説明する。
図４は、電子ペン１２の構成を示した図である。この電子ペン１２は、コード用紙や、コード画像と文書画像とが印刷された用紙(媒体)に、通常のペンと同様の操作により文字や図形を記録する筆記部(ペン先)１２１と、筆記部１２１の動きを監視し電子ペン１２が用紙に押し付けられていることを検出する筆圧センサからなる筆圧検出部１２２を備えている。また、基板上の集積回路によって実現され電子ペン１２全体の電子的な動作を制御する制御部１２３と、用紙上のコード画像を読み取るために赤外光を照射する赤外照射部１２４と、赤外光が照射されたコード画像を捕捉して入力する画像入力部１２５とを備えている。更に、読み取られた媒体上のコード情報などを送信する通信機能部１２６を備えている。また更に、電子ペン１２による操作が手書き情報の入力などの入力処理なのか、媒体上のコード画像を読み取る読み取り処理なのか、を切り替える切り替え部１２７を備えている。

制御部１２３は、コード取得部１２３ａと、軌跡算出部１２３ｂと、時計機能１２３ｃと、情報記憶部１２３ｄとを備えている。コード取得部１２３ａは、画像入力部１２５から入力された画像を解析してコードを取得している。軌跡算出部１２３ｂは、コード取得部１２３ａにより取得したコードに対し、筆記部１２１のペン先の座標と画像入力部１２５が捕捉した画像の座標とのずれを補正してペン先の軌跡を算出する部分である。時計機能１２３ｃは、筆圧検出部１２２により電子ペン１２が用紙に押し付けられた際の時刻を出力する部分である。情報記憶部１２３ｄは、コード取得部１２３ａが取得したコードや軌跡算出部１２３ｂが算出した軌跡情報、時計機能１２３ｃにより把握された時刻情報を記憶する部分である。この情報記憶部１２３ｄにて記憶される時刻情報は、軌跡算出部１２３ｂにより算出された軌跡の位置情報に対応している。例えば、軌跡算出部１２３ｂにより算出される軌跡情報が１本の線などとしてまとまりのある単位である場合には、この単位に対応して、例えば１本の線が描かれたときの最初の時刻と最後の時刻との中間の時刻が、時刻情報として情報記憶部１２３ｄに記憶される。

図５は、電子ペン１２の主に制御部１２３にて実行される手書き情報入力処理を示したフローチャートである。電子ペン１２では、切り替え部１２７の操作によって入力処理に切り替えられ、例えばコード用紙１１などの媒体に文字や図形の記録が行われると、制御部１２３は、用紙に対してペンによる記録が行われていることの検出信号を筆圧検出部１２２から取得する（ステップ１０１）。また、この検出信号を検出した際の時刻を時計機能１２３ｃから取得する（ステップ１０２）。筆圧検出部１２２からの検出信号を検出すると、制御部１２３は赤外照射部１２４に対し、赤外光を用紙に照射するように指示し、画像入力部１２５を介して不可視画像の入力(スキャン)が行われる（ステップ１０３）。即ち、赤外照射部１２４によって用紙に照射される赤外光は不可視画像にて吸収され、画像入力部１２５では、この赤外光が照射されたコード画像が捕捉される。

その後、制御部１２３のコード取得部１２３ａでは、ステップ１０４〜ステップ１１０に示すコード画像検出処理が実行される。ここでは、まず、入力されたスキャン画像が整形される（ステップ１０４）。このスキャン画像の整形は、傾き補正やノイズ除去などである。そして、整形されたスキャン画像からスラッシュ「／」やバックスラッシュ「＼」等のビットパターン(斜線パターン)が検出される（ステップ１０５）。また一方で、整形されたスキャン画像から、２次元コード位置決め用のコードである同期コードが検出される（ステップ１０６）。コード取得部１２３ａでは、この同期コード位置を参照して２次元コードの検出がなされる（ステップ１０７）。また、２次元コードからＥＣＣ（Error Correcting Code：誤り訂正符号）などの情報が取り出されて復号される（ステップ１０８）。そして、復号した情報を元の情報に復元する（ステップ１０９）。制御部１２３のコード取得部１２３ａでは、復元したコード情報からＸ座標、Ｙ座標、媒体識別情報を取り出し、取り出した位置（アドレス）情報、媒体識別情報を情報記憶部１２３ｄに記憶する（ステップ１１０）。その一方で、軌跡算出部１２３ｂは、情報記憶部１２３ｄに格納された座標情報からペン先の軌跡を算出し、情報記憶部１２３ｄに記憶する。またこのとき、軌跡に対応する時刻情報を算出して情報記憶部１２３ｄに記憶する（ステップ１１１)。この情報記憶部１２３ｄに記憶された識別情報、位置情報や軌跡情報、時刻情報などの記憶情報は、通信機能部１２６を介して、例えば手書き情報取得端末２などの外部機器に有線または無線で送信される（ステップ１１２）。以上のようにして生成された、時刻情報に紐付けられた手書き情報は、例えば手書き情報取得端末２から出力され、例えば図３に示す紙情報処理サーバ３０の手書き・時刻情報入力部３６に入力される。

尚、図５は手書き情報入力処理の流れを示したが、電子ペン１２は、同様な処理によって、媒体上のコード画像の読み取り動作も行う。即ち、電子ペン１２の制御部１２３は、切り替え部１２７の操作によって読み取り処理に切り替えられた後、ステップ１０１と同様に筆圧検出部１２２から検出信号を取得する。その後、ステップ１０３と同様に、赤外照射部１２４に対し、赤外光を用紙に照射するように指示し、画像入力部１２５を介して不可視画像を読み取る。その後、ステップ１０４〜ステップ１１０に示すコード画像検出処理が同様に実行される。検出された各種情報は、ステップ１１２と同様に、例えば手書き情報取得端末２に送信される。手書き情報取得端末２は、電子ペン１２から受信した読み取り動作に関する情報（ユーザの指示情報）を、例えば図３に示す紙情報処理サーバ３０へ出力する。出力された情報は、紙情報処理サーバ３０の指示コード情報解析部４１によって解析される。

次に、統合処理サーバ５０について説明する。
図６は、統合処理サーバ５０の機能を示すブロック図である。統合処理サーバ５０は、ファイル作成のための各機能として、例えば標準電波時刻を受けて基準時刻を発生する基準時刻発生部５１と、ファイルの格納指示を出すクライアント（格納指示クライアント）からの格納情報を入力する情報入力部５２とを備えている。このクライアント（格納指示クライアント）としては、図１に示すプロジェクタ操作端末３や音声情報処理装置４、映像情報処理装置５などが該当する。また、統合処理サーバ５０は、情報入力部５２に入力された格納情報に含まれる時刻情報を解析する時刻情報解析部５３と、この時刻情報解析部５３により解析された時刻情報を、基準時刻発生部５１により発生した基準時刻を用いて修正する時刻情報修正部５４とを備えている。更に、修正された時刻情報を用いて、統一時刻と情報の位置との紐付けがなされた統合ファイルを生成する統合ファイル生成部５５を備えている。この統合ファイル生成部５５により生成された統合ファイルは、統合ファイル格納部６０に格納される。また、統合ファイル生成部５５による生成結果は、ファイル結果出力部５６により格納指示クライアントに出力される。また、統合ファイル生成部５５により生成された統合ファイル情報は、必要に応じて統合ファイル情報出力部５７より紙情報処理サーバ３０に出力される。

また、統合処理サーバ５０は、ファイル参照のための各機能として、紙情報処理サーバ３０から時刻情報を入力する時刻情報入力部６１と、入力された時刻情報を用いて統合ファイル格納部６０からファイルを読み出すファイル読み出し部６２とを備えている。更に、時刻情報に含まれる各種参照情報の中から例えば参照要求クライアントのアドレスを用いて、ファイル読み出し部６２から読み出されたファイル情報を参照要求クライアントへ出力する情報出力部６３を備えている。この参照要求クライアントとしては、例えば図１に示す電子ペン１２により実行された参照指示を出力する手書き情報取得端末２が該当する。

図７は、統合ファイル生成部５５にて生成される統合ファイルの例を示した図である。図６に示す統合処理サーバ５０の情報入力部５２には、時間にリンク付けられた情報が入力される。図７では、時刻Ａにリンク付けられた情報Ａを有する格納情報Ａ７１と、時刻Ｂにリンク付けられた情報Ｂを有する格納情報Ｂ７２と、時刻Ｃにリンク付けられた情報Ｃを有する格納情報Ｃ７３とが示されている。統合ファイル生成部５５では、これらの情報を統合し、まず、時刻Ａと時刻Ｂと時刻Ｃとを基準時刻により修正し、これらを統合して統一時刻を作成する。また、情報Ａと情報Ｂと情報Ｃとが統合される。この統一時刻と情報の統一とによって統合ファイル７４が生成される。尚、この統合ファイル７４では、統一時刻と情報位置とが紐付けられ、これらの情報が統合ファイル格納部６０に格納される。また、この情報は、統合ファイル情報出力部５７より紙情報処理サーバ３０に提供される。

図８は、統合化された議事録の表示例を示した図である。例えば、図１に示す手書き情報取得端末２や情報利用端末６のディスプレイ等に表示される。図８では、画像情報や動画情報の一部、手書き情報などが画像として表示されている。また、各情報のメニューや音声時刻情報なども出力されている。画像情報や動画情報、手書き情報などは、図７に示すような統一時刻で管理され、統合化された議事録を表示することが可能となる。そして、例えば時刻に応じて、動画情報や音声時刻情報、メニューが変化するのと同時に、画像情報も適宜、切り替えることが好ましい。このように、本実施の形態によれば、位置情報によって紐付けられることで、図８に示すような統合化された議事録を生成することが可能となる。

尚、ディスプレイへの表示以外に、図２に示すようなコード画像が形成されるコード用紙１１に、文書画像として各種情報を形成するように構成することも可能である。例えば不可視トナーなどから形成されるコード画像と各種文書画像とをまとめてプリンタ２０（図１参照）で印刷するように構成しても構わない。コード画像とともに各情報を印刷した場合には、印刷された各情報を指示することで、関連する情報だけをピックアップして出力する等の展開が可能である。このように、コード情報を画像化したコード画像と、手書き情報や動画、画像情報の一部である文書画像とを紙等に印字し、それをＣＣＤカメラ等でキャプチャし、コードを解析することで、手書き情報や動画、画像情報にアクセスすることが可能となる。また、マルチメディ文書を印字することも可能とする。

尚、図８に示すような手書き情報は、図３に示す手書き・時刻情報入力部３６や手書き情報処理部３７、時刻情報処理部３８によって生成され、紙情報管理ＤＢ４０に格納されていたものが出力されている。即ち、手書き・時刻情報入力部３６は、コード用紙１１上にてなされた電子ペン１２の軌跡を取得するが、このペン軌跡の情報には、例えば図５に示すような処理の流れによって、時刻情報に紐付けられた手書き情報が含まれている。また、ユーザによって手書きされたコード用紙１１を識別する識別情報も取得される。手書き・時刻情報入力部３６では、時刻情報に紐付けられた手書き情報について、手書き情報処理部３７にて手書き情報の格納処理等が処理される。また、時刻情報は、時刻情報処理部３８によって処理される。処理された手書き情報は、識別情報に対応付けて紙情報管理ＤＢ４０の手書き情報ＤＢ４０ｄに格納される。また、処理された時刻情報は、識別情報に対応付けられた位置情報に関連付けられて、位置・時刻情報ＤＢ４０ｆに格納される。

次に、ファイル作成に関する処理と、ファイル参照に関する処理について説明する。
図９は、主に統合処理サーバ５０によって実行されるファイル生成に関する処理の一例を示したフローチャートである。図６に示す統合処理サーバ５０の情報入力部５２は、プロジェクタ操作端末３や音声情報処理装置４、映像情報処理装置５等の所定のクライアント（格納指示クライアント）から、ファイルを格納したい旨の指示情報、このクライアントが管理している現在時刻情報を入力する（ステップ２０１）。時刻情報解析部５３は、取得した現在時刻情報を解析し、時刻情報修正部５４にて、例えば、このクライアントが管理する時刻と基準時刻発生部５１にて発生される時刻との時間差を計算する（ステップ２０２）。また統合ファイル生成部５５は、統合ファイル格納部６０におけるファイル格納領域を確保し（ステップ２０３）、図示しない送信部から、送信準備完了の情報を格納指示クライアントに送信する（ステップ２０４）。

その後、情報入力部５２は、特定の格納指示クライアントより、例えば、図７の格納情報Ａ７１に示すような格納情報を受信する（ステップ２０５）。この格納情報の受信を複数のクライアント毎に実行する。統合ファイル生成部５５は、統一時間を生成し（ステップ２０６）、情報に統一時間を割り付けて統合ファイル格納部６０に統合ファイル７４（図７参照）を格納する（ステップ２０７）。ファイル結果出力部５６は、格納指示クライアントに対してファイル作成完了情報を出力する（ステップ２０８）。また、必要に応じて統合ファイル情報出力部５７から統合ファイル情報を紙情報処理サーバ３０へ出力し（ステップ２０９）、処理が終了する。紙情報処理サーバ３０へ統合ファイル情報を出力することにより、図８に示すような統合化された議事録を、例えばプリンタ２０を用いて用紙等の媒体に出力することが可能となる。

尚、図９に示すファイル作成処理では、格納指示クライアントから格納情報が送信される場合を例に挙げているが、手書き情報を含むファイルを作成する場合には、情報入力部５２は、紙情報処理サーバ３０からファイルすべき手書き情報を取得する。手書き情報についての基準時間は、紙情報処理サーバ３０の手書き・時刻情報入力部３６により時刻情報を入力した際、時刻情報処理部３８にて、統合処理サーバ５０の基準時刻発生部５１により発生される時刻と同等の時刻により修正されることが好ましい。即ち、紙情報処理サーバ３０は、統合処理サーバ５０の基準時刻発生部５１と同等の機能を有する時計手段を備え、または統合処理サーバ５０から基準時刻発生部５１の基準時刻を取得する。手書き・時刻情報を入力する前に、図９のステップ２０１〜２０２と同等の処理を、電子ペン１２またはこれに接続される手書き情報取得端末２との間で実行すれば良い。紙情報管理ＤＢ４０への手書き情報の格納前に基準時間を用いることで、統合ファイルの生成に際して新たに電子ペン１２の時計の時間のずれを修正する必要がなくなる。

次に、ファイル参照に関する処理について説明する。
図１０は、紙情報処理サーバ３０および統合処理サーバ５０によって実行されるファイル参照に関する処理の一例を示したフローチャートである。紙情報処理サーバ３０の指示コード情報解析部４１は、手書き文書へのアクセスに関する情報を例えば手書き情報取得端末２から取得する（ステップ３０１）。この手書き情報取得端末２から取得される情報は、コード画像が形成されている手書き情報の記載部分に対して、電子ペン１２を用いてなされた参照指示の情報である。指示コード情報解析部４１は、指示コード情報に含まれるコード情報から位置情報と識別情報とを分析する等、指示コード情報を解析する（ステップ３０２）。時刻情報変換部４２は、紙情報管理ＤＢ４０の位置・時刻情報ＤＢ４０ｆから読み出された位置情報と時刻情報との対応関係を用いて、分析された位置情報を時刻情報に変換する（ステップ３０３）。その後、時刻情報出力部４４は、変換されて取得された時刻情報を統合処理サーバ５０へ送信する（ステップ３０４）。尚、送信する時刻情報には、参照要求クライアントのアドレス情報が付加されていることが好ましい。

統合処理サーバ５０では、時刻情報入力部６１にて時刻情報を入力し、ファイル読み出し部６２は、この時刻情報を用いて統合ファイル格納部６０から該当ファイルを読み出す（ステップ３０５）。読み出されたファイルは、時刻情報に付加されていた参照要求クライアントのアドレスを用いて、情報出力部６３から参照要求クライアントへ出力されて（ステップ３０６）、処理が終了する。
尚、コード画像からコード情報を読み取り、このコード情報から位置情報、識別情報を分析する作業については、そのアプリケーションの組み方によって、電子ペン１２、手書き情報取得端末２、および紙情報処理サーバ３０の何れかが実行すればよい。各構成要素における機能の分担の仕方によって、機能ブロック構成が変わってくる。

このように、本実施の形態では、手書きを行う契機となるような、その手書きを行った際の周囲環境を容易に再生することで手書き内容の意味（背景）を、より容易に理解することができる。具体的には、手書きを行った時間を基準として、その時間の前後で現れていた情報（プレゼンテーションの資料、収録情報、環境情報等）を取得し、再生できるようにしている。また、その再生方法としては、随時サーバ（統合処理サーバ５０等）からデータ取得を行う場合もあるし、手書き時間に対応する情報を予め単純なリンクで関連付けてマルチメディア文書として作成しておくことも可能である。あるいは、単純にメディアごとのタイムカウンタをテーブル化してこれから参照する方法もある。このタイムカウンタのテーブル化は、例えば、処理を行う端末装置が備えるアプリケーションソフトウェア等で実行される。

尚、検索される時間を決定する手書き文字については、上記実施の形態では、紙からデジタルペンで入力する態様について説明している。しかしながら、例えばＰＣ上でポインティングデバイス等を用いて指示するように構成することもできる。また文字単位ではなくページ単位、段落単位とすることも可能である。更に、抽出される情報範囲は、ページ全体等を書いた時間内（±α）で用いられた情報を抽出してもよい。また、一文字（一画）毎の時間で抽出することも可能である。特に、時間は、ある程度まとまった方が処理し易いことから、実施例のような時間範囲を定めて抽出することも有効である。

本実施の形態が適用される電子文書管理システムの構成の一例を示したものである。 （ａ）〜（ｃ）は、例えばコード用紙としてプリンタにて印刷される２次元コード画像を説明するための図である。 紙情報処理サーバの機能を示すブロック図である。 電子ペンの構成を示した図である。 電子ペンの主に制御部にて実行される手書き情報入力処理を示したフローチャートである。 統合処理サーバの機能を示すブロック図である。 統合ファイル生成部にて生成される統合ファイルの例を示した図である。 統合化された議事録の表示例を示した図である。 主に統合処理サーバによって実行されるファイル生成に関する処理の一例を示したフローチャートである。 紙情報処理サーバおよび統合処理サーバによって実行されるファイル参照に関する処理の一例を示したフローチャートである。

符号の説明

１…ネットワーク、２…手書き情報取得端末、３…プロジェクタ操作端末、４…音声情報処理装置、５…映像情報処理装置、６…情報利用端末、１１…コード用紙、１２…電子ペン、２０…プリンタ、３０…紙情報処理サーバ、５０…統合処理サーバ

Claims (11)

1. 媒体上に配置されたコード画像を用いて、ユーザによりなされた筆記動作に基づく当該媒体上の位置を特定する特定手段と、
   前記筆記動作が実行された時刻情報を取得する取得手段と、
   前記媒体上の位置と前記時刻情報とを関連付けた情報を格納する格納手段と
   を含む情報管理システム。
2. 前記取得手段により取得される時刻情報は、前記筆記動作が実行された時刻を基準時刻により修正した時刻に関する情報であることを特徴とする請求項１記載の情報管理システム。
3. ユーザに対して提供された所定の情報について、当該所定の情報が提供された時刻に関連した提供時刻情報を取得する手段と、
   取得された前記提供時刻情報を基準時刻により修正する手段と、
   修正された前記提供時刻情報に関連付けて前記所定の情報を格納する情報格納手段と
   を更に含む請求項１記載の情報管理システム。
4. コード画像が含まれると共に筆記動作に係わる手書き情報の画像が含まれる媒体へのユーザの操作から、位置情報を取得する手段と、
   前記格納手段により格納された前記情報を用いて前記位置情報から時刻情報を特定する手段と、
   特定された前記時刻情報を用いて、前記情報格納手段に格納されている前記所定の情報を当該情報格納手段から読み出す手段と
   を更に含む請求項３記載の情報管理システム。
5. ユーザに対して提供される複数の前記所定の情報を、前記修正する手段により修正された複数の前記提供時刻情報を用いて統合する手段を更に含む請求項３記載の情報管理システム。
6. 前記コード画像は、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が低く近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が高い不可視トナーによって前記媒体上に印字されていることを特徴とする請求項１記載の情報管理システム。
7. ユーザが筆記した手書き情報の内容に対応した手書き対応情報と手書きがなされた時刻に関する手書き時刻とを関連付けて第１のメモリに格納し、
   ユーザに提供される提供情報と当該情報が提供される時刻に関する提供時刻とを関連付けて第２のメモリに格納し、
   所定の手書き対応情報を用いて前記第１のメモリに格納された所定の手書き時刻を特定し、
   特定された前記所定の手書き時刻を用いて前記提供時刻に関連付けられた前記提供情報を前記第２のメモリから読み出す
   情報管理方法。
8. 前記手書き対応情報は、ユーザが筆記する紙面上に形成されたコード画像によって把握される位置情報であることを特徴とする請求項７記載の情報管理方法。
9. 前記手書き情報が形成された紙面上に印字されているコード画像を用いて当該手書き情報の所定箇所に対するユーザの指定を認識し、当該所定箇所に対応する前記所定の手書き対応情報を特定することを特徴とする請求項７記載の情報管理方法。
10. 前記第２のメモリへの格納は、基準となる時刻により修正された前記提供時刻を用いて前記提供情報を格納することを特徴とする請求項７記載の情報管理方法。
11. 前記第２のメモリへの格納は、複数の提供情報について、修正された前記提供時刻を用いて統一時間を設定し、統合化された情報として格納することを特徴とする請求項１０記載の情報管理方法。

Images