JP4687324B2 - 情報処理装置及び関連付け方法 - Google Patents

Description

本発明は、紙等の媒体に関する情報を処理する情報処理装置、情報の関連付けを行う関連付け方法等に関する。

近年、細かなドットが印刷された特殊な用紙に文字や絵を描き、ユーザがこの用紙上に書いた文字等のデータをパソコンや携帯電話等に転送し、この内容の保存や、メール送信を可能とする技術が注目されている。この技術では、この特殊な用紙に例えば０.３ｍｍ程度の間隔にて小さなドットが印刷され、これが例えば所定の大きさのグリッドごとに、全て異なるパターンを描くように構成されている。これを、例えばデジタルカメラを内蔵した専用のペンを用いて読み込むことで、この特殊な用紙上に書かれた文字等の位置を特定することができ、このような文字等を電子情報として利用することが可能となる。

ここで、公報記載の従来技術として、このような特殊な用紙上の相異なるエリアにおける情報を互いに結び付ける技術が存在する(例えば、特許文献１参照)。この技術では、相異なる座標を有するエリア間の境界をペンが通過することにより、不連続部を有するハイパーラインが生成される。そして、コンピュータが、このハイパーラインを認識して、相異なるエリアにおける情報を互いに結び付け、その情報に何らかの属性を与え、情報に対する作用を実行し、また、その情報を受信者に送信する。

特表２００３−５２９９８５号公報(第１２、１３頁、第１、２図)

ところで、人間の自然な行為として、会議、個人のデスク等で、手書きでメモをとることがある。例えば、会議で配布された文書プリントに補足事項を書き留めておくといった行為である。但し、このようなメモは、必ずしもその文書プリント上だけになされるわけではなく、関連事項が他の文書プリントやメモ用紙になされる等、複数の紙にまたがってなされる場合も少なくない。このような場合、メモを電子情報として有効に利用するためには、複数の紙にまたがって書かれたメモを、これらの関連を含めて電子情報として保存する必要がある。

しかしながら、特許文献１は、紙等の媒体の面(以下、「媒体面」という)上のエリア間で関連付けを行うことしか開示しておらず、媒体面どうしを関連付けるための具体的な手段を提供するものではない。

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、媒体面どうしをその出力後に関連付けることができるようにすることにある。
また、本発明の他の目的は、複数の媒体面にまたがって書かれたメモを関連付けることができるようにすることにある。

かかる目的のもと、本発明では、媒体面どうしの関連付けを各媒体面に対して操作を行うことにより可能とした。即ち、本発明の情報処理装置は、第１の媒体面に対するユーザの操作に関する第１の操作情報を取得する第１の情報取得部と、第２の媒体面に対するユーザの操作に関する第２の操作情報を取得する第２の情報取得部と、第１の操作情報と第２の操作情報とに所定の関係がある場合に、第１の媒体面と第２の媒体面との関連情報を生成する情報生成部とを備えている。
ここで、所定の関係としては、例えば、第１の媒体面に対するユーザの操作の時刻と第２の媒体面に対するユーザの操作の時刻とが時間的に接近しているという関係が考えられる。また、第１の媒体面に対するユーザの操作による第１の記述内容と第２の媒体面に対するユーザの操作による第２の記述内容とが共に特別な記号を含んでいるという関係も考えられる。

また、本発明は、かかる情報処理装置による関連付け方法として捉えることもできる。その場合、本発明の関連付け方法は、第１の媒体面に対するユーザの第１の操作を認識するステップと、第２の媒体面に対するユーザの第２の操作を認識するステップと、第１の操作と第２の操作とに所定の関係がある場合に、第１の媒体面と第２の媒体面との関連情報を記憶するステップとを含んでいる。

一方、本発明は、所定の機能をコンピュータに実現させるためのプログラムとして捉えることもできる。その場合、本発明のプログラムは、コンピュータに、第１の媒体面に対するユーザの操作に関する第１の操作情報を取得する機能と、第２の媒体面に対するユーザの操作に関する第２の操作情報を取得する機能と、第１の操作情報と第２の操作情報とに所定の関係がある場合に、第１の媒体面と第２の媒体面とを関連付ける機能とを実現させるためのものである。

本発明によれば、媒体面どうしをその出力後に関連付けることができるようになる。

以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図１は、本実施の形態が適用されるシステムの構成の一例を示したものである。このシステムは、少なくとも、電子文書の印刷又はメモ用紙の出力を指示する端末装置１００と、電子文書の印刷又はメモ用紙の出力の際に媒体面に付与する識別情報を管理しこの識別情報等を表すコード画像を含む画像を生成する識別情報管理サーバ２００と、電子文書を管理する文書管理サーバ３００と、識別情報管理サーバ２００が生成した画像を媒体面に印刷する画像形成装置４００とがネットワーク９００に接続されることにより構成されている。

また、識別情報管理サーバ２００には、識別情報を記憶する記憶装置としての識別情報リポジトリ２５０が接続され、文書管理サーバ３００には、電子文書を記憶する記憶装置としての文書リポジトリ３５０が接続されている。
更に、このシステムは、画像形成装置４００にて出力される印刷物５００と、印刷物５００に文字又は図形を記録し、その文字又は図形の軌跡を読み取るペンデバイス６００とを含む。また、ネットワーク９００には、ペンデバイス６００により読み取られた軌跡を、必要に応じて電子文書と重ね合わせて表示する端末装置７００も接続されている。

以下、本システムの動作の概略を説明する。
本システムは、電子文書の文書画像にコード画像を重畳したコード付き文書プリントと、白紙にコード画像のみを印刷したコード付きメモ用紙とを出力可能に構成されている。
そこで、まず、コード付き文書プリントを出力する場合について述べる。
この場合、端末装置１００は、識別情報管理サーバ２００に対し、文書リポジトリ３５０にて管理されている電子文書の画像にコード画像を重畳して印刷するよう指示する(Ａ)。このとき、端末装置１００からは、用紙サイズ、向き、縮小/拡大、Ｎ−ｕｐ(用紙の１ページ内に電子文書のＮページを割り付ける印刷)、両面印刷等の印刷属性も入力される。
これにより、識別情報管理サーバ２００は、印刷を指示された電子文書を文書管理サーバ３００から取得する(Ｂ)。そして、取得した電子文書の画像に対し、識別情報リポジトリ２５０にて管理されている識別情報と、印刷属性に応じて決定された位置情報とを表すコード画像を付与し、画像形成装置４００にその印刷を指示する(Ｃ)。尚、ここで、識別情報とは、電子文書の画像が印刷された個々の媒体面を一意に識別する情報であり、位置情報とは、媒体面上の座標(Ｘ座標、Ｙ座標)を特定するための情報である。

このように識別情報管理サーバ２００から印刷指示を受けると、画像形成装置４００は、印刷物５００としてコード付き文書プリントを出力する(Ｄ)。
尚、画像形成装置４００は、後で詳しく述べるが、識別情報管理サーバ２００で付与されたコード画像を赤外光の吸収率が所定の基準よりも高い不可視トナーを用いて形成し、その他の画像(オリジナルの電子文書に含まれていた部分の画像)を赤外光の吸収率が所定の基準よりも低い可視トナーを用いて形成するものとする。

一方、ユーザが、ペンデバイス６００を用いて印刷物５００に文字又は図形を記録(筆記)したとする(Ｅ)。これにより、ペンデバイス６００は、一定の時間間隔で、印刷物５００の識別情報及び位置情報を得る。具体的には、ペンデバイス６００の赤外光照射機能及び赤外光検知機能によりこれらの情報を読み取る。
そして、ペンデバイス６００は、位置情報に基づいて求めた文字又は図形の軌跡情報と、識別情報とを、無線又は有線により端末装置７００へ転送する(Ｆ)。

その後、端末装置７００は、識別情報管理サーバ２００に識別情報を送信することにより、この識別情報に対応する電子文書の送信を要求する。識別情報管理サーバ２００は、この要求を受けると、文書管理サーバ３００から識別情報に対応する電子文書を取得し、端末装置７００に送信する(Ｇ)。その結果、端末装置７００には、識別情報管理サーバ２００から送られた電子文書と、ペンデバイス６００から得られた軌跡とが合成され表示される。

次に、コード付きメモ用紙を出力する場合について述べる。
この場合、端末装置１００は、識別情報管理サーバ２００に対し、白紙にコード画像を重畳して印刷するよう指示する(Ａ)。このとき、端末装置１００からは、用紙サイズ、向き、縮小/拡大、Ｎ−ｕｐ(用紙の１ページ内に電子文書のＮページを割り付ける印刷)、両面印刷等の印刷属性も入力される。
これにより、識別情報管理サーバ２００は、文書管理サーバ３００から電子文書を取得することなく、識別情報リポジトリ２５０にて管理されている識別情報と、印刷属性に応じて決定された位置情報とを含むコード画像のみの印刷を、画像形成装置４００に指示する(Ｃ)。

このように識別情報管理サーバ２００から印刷指示を受けると、画像形成装置４００は、印刷物５００としてコード付きメモ用紙を出力する(Ｄ)。
尚、画像形成装置４００は、後で詳しく述べるが、識別情報管理サーバ２００で付与されたコード画像を赤外光の吸収率が所定の基準よりも高い不可視トナーを用いて形成するものとする。

一方、ユーザが、ペンデバイス６００を用いて印刷物５００に文字又は図形を記録(筆記)したとする(Ｅ)。これにより、ペンデバイス６００は、一定の時間間隔で、印刷物５００の識別情報及び位置情報を得る。具体的には、ペンデバイス６００の赤外光照射機能及び赤外光検知機能によりこれらの情報を読み取る。
そして、ペンデバイス６００は、位置情報に基づいて求めた文字又は図形の軌跡情報と、識別情報とを、無線又は有線により端末装置７００へ転送する(Ｆ)。

その後、端末装置７００は、ペンデバイス６００から得られた軌跡を、電子文書と重ね合わせることなく表示する。その際、本実施の形態では、コード付き文書プリントに対する手書きと、コード付きメモ用紙に対する手書きとが所定の関係にある場合には、これらの手書きがなされた媒体面及び領域を関連付ける。即ち、端末装置７００から識別情報管理サーバ２００へは、ペンデバイス６００による筆記に関する操作情報も送られ、識別情報管理サーバ２００にて媒体面どうしの関連情報が管理されることとなる。
尚、手書きしたメモを電子化するだけであれば、識別情報をコード画像として印刷する必要はないが、本実施の形態では、メモ用紙と他の印刷物５００とを関連付けることから、識別情報もコード画像として印刷するようにしている。

以上、本実施の形態が適用されるシステムについて述べてきたが、このような構成及び動作はあくまで一例に過ぎない。例えば、識別情報管理サーバ２００の機能と文書管理サーバ３００の機能とを１台のサーバに持たせてもよい。また、識別情報管理サーバ２００の機能を画像形成装置４００の図示しない画像処理部にて実現してもよい。更に、端末装置１００と７００は、同一の端末装置としてもよい。
また、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、その他の印刷可能な電子データも含めて「電子文書」としている。

以下、このシステムに含まれる各構成について詳細に説明する。
図２は、識別情報管理サーバ２００の構成の一例を示す図である。
識別情報管理サーバ２００は、受信部２０ａと、対応情報管理部２１と、対応情報データベース(ＤＢ)２２と、情報分離部２３と、文書画像生成部２４と、文書画像バッファ２５と、コード画像生成部２６と、コード画像バッファ２７と、画像合成部２８と、軌跡情報取得部２９ａと、関連情報管理部２９ｂと、関連情報ＤＢ２９ｃと、送信部２０ｂとを備えている。
また、コード画像生成部２６は、位置情報符号化部２６ａと、位置コード生成部２６ｂと、識別情報符号化部２６ｃと、識別コード生成部２６ｄと、コード配置部２６ｇと、パターン格納部２６ｈと、パターン画像生成部２６ｉとを備えている。

受信部２０ａは、端末装置７００から送られた印刷指示、文書管理サーバ３００から送られた電子文書、ペンデバイス６００で取得され端末装置７００から送られた軌跡情報等をネットワーク９００から受信する。
対応情報管理部２１は、媒体面を識別する識別情報(以下、「媒体ＩＤ」という)と、媒体面に印刷された画像の元となる電子文書のページの識別情報(以下、「ページＩＤ」という)とを対応付けた情報(以下、「対応情報」という)を、対応情報ＤＢ２２に登録したり、対応情報ＤＢ２２から読み出したりする。
対応情報ＤＢ２２は、上記対応情報を記憶する記憶部としてのデータベースである。

情報分離部２３は、対応情報管理部２１から受け渡された情報を、文書画像の生成に必要な情報と、コード画像の生成に必要な情報とに分離する。
文書画像生成部２４は、情報分離部２３によって分離された文書画像の生成に必要な情報に基づいて、電子文書を画像化し、文書画像バッファ２５へ格納する。
コード画像生成部２６は、情報分離部２３によって分離されたコード画像の生成に必要な情報に基づいて、コード画像を生成し、コード画像バッファ２７へ格納する。
画像合成部２８は、文書画像バッファ２５に格納されている文書画像と、コード画像バッファ２７に格納されているコード画像とを合成する。

軌跡情報取得部２９ａは、受信部２０ａが受信した軌跡情報を取得して、図示しないメモリに記録する。即ち、この軌跡情報取得部２９ａは、第１の媒体面(例えば、コード付き文書プリント)に対するユーザの操作に関する情報を取得する点に着目すれば、第１の情報取得部として把握することができる。また、第２の媒体面(例えば、コード付きメモ用紙)に対するユーザの操作に関する情報を取得する点に着目すれば、第２の情報取得部として把握することもできる。
関連情報管理部２９ｂは、このメモリに記録された軌跡情報に基づいて媒体面どうしの関連情報を生成し、その関連情報を関連情報ＤＢ２９ｃに登録する。また、関連情報の関連情報ＤＢ２９ｃからの読出しも行う。即ち、この関連情報管理部２９ｂは、関連情報を生成するという点に着目すれば、情報生成部として把握することができる。
関連情報ＤＢ２９ｃは、上記関連情報を記憶する記憶部としてのデータベースである。
送信部２０ｂは、画像合成部２８による合成後の画像を出力する指示を、ＰｏｓｔＳｃｒｉｐｔ等に代表されるＰＤＬ(Page Description Language)として画像形成装置４００へ送信したり、指示された電子文書を端末装置７００に送信したりする。

位置情報符号化部２６ａは、位置情報を所定の符号化方式により符号化する。この符号化には、例えば、既知の誤り訂正符号であるＲＳ(リードソロモン)符号やＢＣＨ符号を用いることができる。また、誤り検出符号として、位置情報のＣＲＣ(Cyclic Redundancy Check)やチェックサム値を計算し、それを冗長ビットとして位置情報に付加することもできる。また、疑似雑音系列の一種であるＭ系列符号を位置情報として利用することもできる。Ｍ系列符号は、Ｐ次のＭ系列(系列長２^Ｐ−１)の場合、Ｍ系列から長さＰの部分系列を取り出したときに、その部分系列に現われるビットパターンがＭ系列中に一度しか現われない性質を利用して符号化を行うものである。

位置コード生成部２６ｂは、符号化された位置情報を、コード情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された位置情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、位置コードが２次元配置される場合は、ビット値をコードの配置と同様に２次元配置しておく。

識別情報符号化部２６ｃは、識別情報が入力されると、識別情報を所定の符号化方式により符号化する。この符号化には、位置情報の符号化に使用したのと同様の方式を使用することができる。
識別コード生成部２６ｄは、符号化された識別情報を、コード情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された識別情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、識別コードが２次元配置される場合は、ビット値をコードの配置と同様に２次元配置しておく。

コード配置部２６ｇは、コードと同じ形式に配置された符号化位置情報と符号化識別情報とを合成し、出力画像サイズに相当する２次元コード配列を生成する。このとき、符号化位置情報としては、配置位置により異なる位置情報を符号化した符号を使用し、符号化識別情報としては、位置によらず同じ情報を符号化した符号を使用する。
パターン画像生成部２６ｉは、２次元コード配列における配列要素のビット値を確認し、各ビット値に対応するビットパターン画像をパターン格納部２６ｈより取得して、２次元コード配列を画像化したコード画像として出力する。

尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、識別情報管理サーバ２００の図示しないＣＰＵが、受信部２０ａ、対応情報管理部２１、情報分離部２３、文書画像生成部２４、コード画像生成部２６、画像合成部２８、軌跡情報取得部２９ａ、関連情報管理部２９ｂ、送信部２０ｂの各機能を実現するプログラムを外部記憶装置から主記憶装置に読み込んで処理を行う。

次に、この識別情報管理サーバ２００が端末装置１００からの指示に応じて画像形成装置４００に対し画像出力指示を送信する際の動作について説明する。
識別情報管理サーバ２００では、まず、受信部２０ａが、端末装置１００から印刷指示を受信する。この印刷指示には、コード付き文書プリント又はコード付きメモ用紙のいずれを出力するかを指定する印刷モードや、用紙サイズ、向き、縮小/拡大、Ｎ−ｕｐ、両面印刷等の印刷属性が含まれる。また、コード付き文書プリントの出力が指定された場合には、文書ＩＤも含まれる。
ここで、文書ＩＤとは、電子文書を一意に識別する情報であり、電子文書のアドレス情報であるＵＲＬ(Uniform Resource Locator)を用いることができる。
尚、印刷モードを印刷指示に明示的に含めず、文書ＩＤが含まれていれば、コード付き文書プリントの出力指示であると判断し、文書ＩＤが含まれていなければ、コード付きメモ用紙の出力指示であると判断するようにしてもよい。

次に、受信部２０ａは、受信した情報を対応情報管理部２１に受け渡す。
これにより、対応情報管理部２１は、これらの情報を保持すると共に、文書ＩＤがあれば、それを送信部２０ｂに受け渡し、文書ＩＤに対応する電子文書の取得要求を送信するよう指示する。この指示を受けた送信部２０ｂは、文書管理サーバ３００に対し、電子文書の送信を要求する。
この送信要求に応じて、文書管理サーバ３００が印刷対象の電子文書を識別情報管理サーバ２００へ送信し、識別情報管理サーバ２００では、受信部２０ａがこの電子文書を受信し、対応情報管理部２１に受け渡す。

次いで、対応情報管理部２１は、媒体ＩＤとして用いる識別情報を、指定されたページ数だけ、識別情報リポジトリ２５０(図１参照)から取り出す。また、コード付き文書プリントの出力が指示された場合であれば、媒体ＩＤとページＩＤとの対応情報を対応情報ＤＢ２２に登録する。コード付きメモ用紙の出力が指示された場合であれば、媒体ＩＤのみを対応情報ＤＢ２２に登録する。
そして、対応情報管理部２１は、コード付き文書プリントの出力が指示された場合であれば、媒体ＩＤと電子文書のページ画像と印刷属性とを情報分離部２３に出力する。コード付きメモ用紙の出力が指示された場合であれば、媒体ＩＤのみを情報分離部２３に出力する。

その後、情報分離部２３は、受け渡された情報を、コード生成に必要な情報(媒体ＩＤ及び印刷属性)と、文書画像の生成に必要な情報(電子文書)とに分離し、前者をコード画像生成部２６に、後者を文書画像生成部２４に出力する。
これにより、位置情報符号化部２６ａで、位置情報が符号化され、位置コード生成部２６ｂで、符号化された位置情報を示す位置コードが生成される。また、識別情報符号化部２６ｃで、媒体ＩＤが符号化され、識別コード生成部２６ｄで、符号化された媒体ＩＤを示す識別コードが生成される。
そして、コード配置部２６ｇにより出力画像サイズに相当する２次元コード配列が生成され、パターン画像生成部２６ｉにより２次元コード配列に対応するパターン画像が生成される。

一方で、文書画像生成部２４が、電子文書の文書画像を生成する。
そして、最後に、この文書画像生成部２４が生成した文書画像と、先にコード画像生成部２６が生成したコード画像とが、画像合成部２８にて合成される。但し、コード付きメモ用紙の出力が指定された場合は、文書画像生成部２４に対して電子文書が受け渡されないので、文書画像バッファ２５には文書画像が蓄積されない。そこで、画像合成部２８は、一定時間内に文書画像バッファ２５に文書画像が蓄積されない場合は、コード画像バッファ２７に蓄積されたコード画像のみから合成画像を生成し、送信部２０ｂに受け渡す。
これにより、送信部２０ｂが、合成後の画像の出力指示を画像形成装置４００に対して送信する。
この画像出力指示に応じて、画像形成装置４００が、合成画像を媒体に印刷し、ユーザは印刷物５００としてコード付き文書プリント又はコード付きメモ用紙を得ることになる。

ここで、対応情報ＤＢ２２について説明する。
図３は、対応情報ＤＢ２２の一例を示した図である。
図示するように、対応情報ＤＢ２２は、媒体ＩＤとページＩＤとを対応付けて管理している。このうち、媒体ＩＤは、上述したように、電子文書が印刷される媒体面を一意に識別する情報である。また、ページＩＤは、電子文書のページを一意に識別する情報である。ページＩＤは、例えば、図示するように、文書ＩＤ(ＵＲＬ)とページ番号との結合により表すことができる。
ところで、本実施の形態では、コード付きメモ用紙に付与された媒体ＩＤに対してページＩＤは登録されない。従って、媒体ＩＤ「０００００００３」及び「０００００００６」の媒体は、コード付きメモ用紙として出力されたものであることが分かる。
尚、識別情報管理サーバ２００による関連情報の生成時の動作については後述する。

図４(ａ)〜(ｃ)は、識別情報管理サーバ２００のコード画像生成部２６によって生成され、画像形成装置４００にて印刷される２次元コード画像を説明するための図である。図４(ａ)は不可視画像によって形成され、配置される２次元コード画像の単位を模式的に示すために格子状に表現した図である。また、図４(ｂ)は不可視画像が赤外光照射により認識された２次元コード画像の１単位を示した図である。更に、図４(ｃ)は、バックスラッシュ「＼」とスラッシュ「／」の斜線パターンを説明するための図である。

画像形成装置４００にて形成される２次元コード画像は、例えば、可視光領域(４００ｎｍ〜７００ｎｍ)における最大吸収率が例えば７％以下であり、近赤外領域(８００ｎｍ〜１０００ｎｍ)における吸収率が例えば３０％以上の不可視トナーによって形成される。また、この不可視トナーは、画像の機械読み取りのために必要な近赤外光吸収能力を高めるために、平均分散径は１００ｎｍ〜６００ｎｍの範囲のものが採用される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。

この図４(ａ)〜(ｃ)に示す２次元コード画像は、赤外光照射による機械読取りと復号化処理とが長期に亘って安定して可能で、かつ、情報が高密度に記録できる不可視画像で形成される。また、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能な不可視画像であることが好ましい。本実施の形態では、印刷される媒体の大きさに合わせて媒体一面(紙面)の全面に不可視画像が形成される。また、例えば、目視した際に光沢差によって認識できる不可視画像であることが更に好ましい。但し、「全面」とは、用紙の四隅を全て含む意味ではない。電子写真方式等の装置では、通常、紙面の周囲は印刷できない範囲である場合が多いことから、かかる範囲には不可視画像を印刷する必要はない。

図４(ｂ)に示す２次元コードパターンは、媒体上の座標位置を示す位置コードが格納される領域と、印刷媒体を一意に特定するための識別コードが格納される領域とを含んでいる。また、同期コードが格納される領域も含んでいる。そして、図４(ａ)に示すように、この２次元コードパターンが複数、配置され、印刷される媒体の大きさに合わせて媒体一面(紙面)の全面に異なる位置情報が格納された２次元コードが格子状に配置される。即ち、媒体一面に、図４(ｂ)に示すような２次元コードパターンが複数個、配置され、その各々が、位置コード、識別コード、及び同期コードを備えている。そして、複数の位置コードの領域には、それぞれ配置される場所により異なる位置情報が格納されている。一方、複数の識別コードの領域には、配置される場所によらず同じ識別情報が格納されている。

図４(ｂ)において、位置コードは、６ビット×６ビットの矩形領域内に配置されている。各ビット値は、回転角度が異なる複数の微小ラインビットマップで形成され、図４(ｃ)に示される斜線パターン(パターン０とパターン１)で、ビット値０とビット値１を表現している。より具体的には、相互に異なる傾きを有するバックスラッシュ「＼」及びスラッシュ「／」を用いてビット０とビット１とを表現している。斜線パターンは６００ｄｐｉで８×８画素の大きさで構成されており、左上がりの斜線パターン(パターン０)がビット値０を、右上がりの斜線パターン(パターン１)がビット値１を表現する。従って、１つの斜線パターンで１ビットの情報(０又は１)を表現できる。このような２種類の傾きからなる微小ラインビットマップを用いることで、可視画像に与えるノイズが極めて小さく、かつ大量の情報を高密度にデジタル化して埋め込むことが可能な２次元コードパターンを提供することが可能となる。

即ち、図４(ｂ)に示した位置コード領域には合計３６ビットの位置情報が格納されている。この３６ビットのうち、１８ビットをＸ座標の符号化に、１８ビットをＹ座標の符号化に使用することができる。各１８ビットを全て位置の符号化に使用すると、２^１８通り(約２６万通り)の位置を符号化できる。各斜線パターンが図４(ｃ)に示したように８画素×８画素(６００ｄｐｉ)で構成されている場合には、６００ｄｐｉの１ドットは０.０４２３ｍｍであることから、図４(ｂ)の２次元コード(同期コードを含む)の大きさは、縦横共に３ｍｍ程度(８画素×９ビット×０.０４２３ｍｍ)となる。３ｍｍ間隔で２６万通りの位置を符号化した場合、約７８６ｍの長さを符号化できる。このように１８ビット全てを位置の符号化に使用してもよいし、或いは、斜線パターンの検出誤りが発生するような場合には、誤り検出や誤り訂正のための冗長ビットを含めてもよい。

また、識別コードは、２ビット×８ビット及び６ビット×２ビットの矩形領域に配置されており、合計２８ビットの識別情報を格納できる。識別情報として２８ビットを使用した場合は、２^２８通り(約２億７千万通り)の識別情報を表現できる。識別コードも位置コードと同様に、２８ビットの中に誤り検出や誤り訂正のための冗長ビットを含めることができる。

尚、図４(ｃ)に示す例では、２つの斜線パターンは互いに角度が９０度異なるが、角度差を４５度とすれば４種類の斜線パターンを構成できる。このように構成した場合は、１つの斜線パターンで２ビットの情報(０〜３)を表現できる。即ち、斜線パターンの角度種類を増やすことで、表現できるビット数を増加することができる。
また、図４(ｃ)に示す例では、斜線パターンを使用してビット値の符号化を説明しているが、選択できるパターンは斜線パターンに限らない。ドットのＯＮ/ＯＦＦや、ドットの位置を基準位置からずらす方向により符号化する方法も採用することが可能である。

次に、本実施の形態における媒体面どうしの関連付け方法について、具体的に説明する。
本実施の形態では、媒体面どうしの関連付けのために、ペンデバイス６００を用いる。
そこで、まず、このペンデバイス６００について詳細に説明する。
図５は、ペンデバイス６００の構成を示した図である。
このペンデバイス６００は、コード画像と文書画像とが合成されて印刷された印刷物５００に通常のペンと同様の操作により文字や図形を記録する筆記部６１と、筆記部６１の動きを監視しペンデバイス６００が用紙に押し付けられていることを検出する筆圧検出部６２とを備えている。また、ペンデバイス６００の全体の電子的な動作を制御する制御部６３と、用紙上のコード画像を読み取るために赤外光を照射する赤外照射部６４と、反射される赤外光を受光することによりコード画像を認識して入力する画像入力部６５とを備えている。

ここで、制御部６３について更に詳しく説明する。
制御部６３は、コード取得部６３１と、軌跡算出部６３２と、情報記憶部６３３とを備えている。コード取得部６３１は、画像入力部６５から入力された画像を解析してコードを取得する部分である。軌跡算出部６３２は、コード取得部６３１により取得したコードに対し、筆記部６１のペン先の座標と画像入力部６５が捕捉した画像の座標とのずれを補正してペン先の軌跡を算出する部分である。情報記憶部６３３は、コード取得部６３１が取得したコードや軌跡算出部６３２が算出した軌跡情報を記憶する部分である。

図６は、ペンデバイス６００の主に制御部６３にて実行される処理を示したフローチャートである。ペンデバイス６００を用いて、例えば用紙に文字や図形の記録が行われると、制御部６３は、用紙に対してペンによる記録が行われていることの検出信号を筆圧検出部６２から取得する(ステップ６０１)。この検出信号を検出すると、制御部６３は、赤外照射部６４に対し、赤外光を用紙に照射するように指示する(ステップ６０２)。赤外照射部６４によって用紙に照射される赤外光は不可視画像にて吸収され、それ以外の部分では反射される。画像入力部６５ではこの反射された赤外光を受光し、赤外光が反射されなかった部分をコード画像として認識する。制御部６３は、画像入力部６５からこのコード画像を入力(スキャン)する(ステップ６０３)。

その後、制御部６３のコード取得部６３１では、ステップ６０４〜ステップ６１０に示すコード画像検出処理が実行される。まず、コード取得部６３１は、入力されたスキャン画像を整形する(ステップ６０４)。このスキャン画像の整形は、傾き補正やノイズ除去等である。そして、整形されたスキャン画像からスラッシュ「／」やバックスラッシュ「＼」等のビットパターン(斜線パターン)を検出する(ステップ６０５)。また一方で、整形されたスキャン画像から、２次元コード位置決め用のコードである同期コードを検出する(ステップ６０６)。コード取得部６３１は、この同期コード位置を参照して２次元コードを検出する(ステップ６０７)。また、２次元コードからＥＣＣ(Error Correcting Code：誤り訂正符号)等の情報を取り出し復号する(ステップ６０８)。そして、復号した情報を元の情報に復元する(ステップ６０９)。

制御部６３のコード取得部６３１では、以上のようにして復元したコード情報から位置情報及び識別情報を取り出し、取り出した情報を情報記憶部６３３に記憶する(ステップ６１０)。その一方で、軌跡算出部６３２は、情報記憶部６３３に格納された位置情報から軌跡情報(時刻とその時刻におけるペン先の座標との対応の列)を算出し、情報記憶部６３３に記憶する(ステップ６１１)。この情報記憶部６３３に記憶された識別情報(媒体ＩＤ)及び軌跡情報は、例えば、端末装置７００に有線又は無線で送信される(ステップ６１２)。

これらの情報を受信した端末装置７００は、識別情報管理サーバ２００に対し、媒体ＩＤ及び軌跡情報を送信する。
これにより、識別情報管理サーバ２００では、受信部２０ａが、媒体ＩＤ及び軌跡情報を受信する。そして、これらの情報は、受信部２０ａから軌跡情報取得部２９ａに受け渡され、軌跡情報取得部２９ａにおいて、印刷物５００上のペン先の軌跡を、メモ単位に切り分ける処理が行われる。即ち、ペンデバイス６００から送られる軌跡情報は、必ずしもメモの意味的な区切りとは対応しておらず、そのままでは、媒体どうしの関連付けに用いることはできないので、最初に軌跡情報を意味的なまとまりであるメモ単位に分けてメモリに記録しておくのである。

図７は、軌跡情報取得部２９ａによる軌跡の切り分け処理の流れを示したフローチャートである。
まず、軌跡情報取得部２９ａは、受信部２０ａから、媒体ＩＤ、座標、時刻を取得する(ステップ２０１)。即ち、既述の通り、軌跡情報は、時刻とその時刻におけるペン先の座標との対応の列であるが、その区切りのまま媒体の関連付けに用いることはできないので、より細かな単位である座標と時刻の対応として取得する。
次に、軌跡情報取得部２９ａは、今回取得した情報と前回取得した情報とで、媒体ＩＤが同じか判定し(ステップ２０２)、座標が近いか判定し(ステップ２０３)、時刻が近いか判定する(ステップ２０４)。つまり、同じ媒体面への手書きであって、手書きの位置が近く、手書きした時刻が近い場合に、今回の情報は前回の情報と意味的につながった１つのメモ単位を構成すると判断している。但し、この判断における基準はあくまで一例であり、その他の判断基準を採用してもよい。

これらの判定の結果が全てＹｅｓとなった場合は、今回の情報と前回の情報を区切らず、ステップ２０１に戻り、その次の情報を取得する。
一方、ステップ２０２〜２０４のいずれかの判定の結果がＮｏとなった場合は、前回の情報までを１つのメモ単位とし、今回の情報からは次のメモ単位とする。その際、軌跡情報取得部２９ａは、前回の情報までのメモ単位に含まれる全ての座標に基づいて、そのメモ単位の領域を特定する領域情報を求める(ステップ２０５)。尚、ここでの領域情報の求め方については特に限定しないが、例えば、全ての座標におけるＸ座標の最大値Ｘｍａｘ、最小値Ｘｍｉｎ、Ｙ座標の最大値Ｙｍａｘ、最小値Ｙｍｉｎを求め、直線Ｘ＝Ｘｍａｘ、Ｘ＝Ｘｍｉｎ、Ｙ＝Ｙｍａｘ、Ｙ＝Ｙｍｉｎで囲まれた矩形領域を、求める領域とすることが考えられる。
そして、最後に、軌跡情報取得部２９ａは、媒体ＩＤ、領域情報、時間情報をメモリに記憶する(ステップ２０６)。ここで、時間情報とは、切り分けられた軌跡情報に含まれる時刻の最小値と最大値によって画定される時刻の範囲の情報である。

以上により、図８に示すような情報がメモリに蓄積される。
図８では、媒体ＩＤ、領域情報、時間情報の対応が管理されている。
この図では、１つのメモ単位に関する情報を１行に記録している。即ち、最初の４行は、媒体ＩＤ「０００００００１」の媒体面にメモを行った後、媒体ＩＤ「０００００００３」の媒体面にメモを行い、再び、媒体ＩＤ「０００００００１」の媒体面に戻ってメモを行った後、媒体ＩＤ「０００００００３」の媒体面にメモを行ったことを示している。
また、領域情報は、対象となる領域の左上点の座標と右下点の座標によって表現している。例えば、１つ目のメモ単位は、左上点の座標が(ｘ１０，ｙ１０)、右下点の座標が(ｘ１１，ｙ１１)の領域になされたものであることが分かる。

更に、時間情報は、メモの開始時刻、終了時刻を示したものであるが、１つ目のメモ単位を例にとると、２００５年８月１日１０時０分０秒にメモが開始され、同日１０時０分２０秒にメモが終了したことが示されている。
尚、複数のペンデバイス６００からの軌跡情報を識別情報管理サーバ２００で一元管理する場合、通常は、ペンデバイス６００を識別するペンＩＤも管理する必要があるが、ここでは説明を単純化するため、１つのペンデバイス６００のみを想定し、ペンＩＤに関する記述は省略している。

このように軌跡情報がメモの意味的なまとまりであるメモ単位に切り分けられた後、本実施の形態では、各メモ単位の関係を考慮して、メモがなされた媒体面どうしを関連付ける。
ここでは、その際に考慮するメモ単位間の関係として、２つの実施例を説明する。
まず、第１の実施例は、コード付き文書プリントにメモをした時刻とコード付きメモ用紙にメモをした時刻とが時間的に接近している場合に、これらのメモは互いに関連するとして、メモがなされたプリントどうしを関連付けるというものである。
即ち、最初、図９(ａ)に示すように、印刷物５００として、文書画像にコード画像を重畳して印刷したコード付き文書プリント(上側)と、白紙にコード画像を印刷したコード付きメモ用紙(下側)とが出力されている。
そこで、図９(ｂ)に示すように、コード付き文書プリントに手書きを行ってから、一定時間内にコード付きメモ用紙に対して手書きを行ったとする。図９(ｂ)の「△ｔ」が手書きから手書きまでの時間の短さを示している。
これにより、図９(ｃ)に示すように、端末装置７００の画面７１０上に、コード付き文書プリント及びコード付きメモ用紙が関連付けられて表示される。尚、その際、図示するように、関連付けられたメモを含む領域間に、関連付けを示す表示を行うようにしてもよい。

このような関連付けの処理は、図２の関連情報管理部２９ｂにて行われる。
図１０は、関連情報管理部２９ｂの動作を示したフローチャートである。
まず、関連情報管理部２９ｂは、今回メモリに記録したメモ単位の情報を取得する(ステップ２１１)。また、前回メモリに記録したメモ単位の情報も取得する(ステップ２１２)。
そして、今回のメモ単位における時間情報と、前回のメモ単位における時間情報とに基づいて、メモした時刻が近いかどうかを判定する(ステップ２１３)。具体的には、前者の時間情報におけるメモの開始時刻と、後者の時間情報におけるメモの終了時刻との時間差が、所定の閾値未満かどうかを判定する。
その結果、時間差が閾値以上であれば、これらのメモの関連性は薄いと判断し、媒体面の関連付けは行わずに処理を終了する。
一方、時間差が閾値未満であれば、媒体面の関連付けを行う。具体的には、まず、前回のメモ単位における媒体ＩＤ及び領域情報に対し、既に関連ＩＤが付与されているかどうかを判定する(ステップ２１４)。そこで、関連ＩＤが付与されていなければ、前回のメモ単位における媒体ＩＤ及び領域情報と、今回のメモ単位における媒体ＩＤ及び領域情報とに、同じ関連ＩＤを対応付けて関連情報ＤＢ２９ｃに登録する(ステップ２１５)。また、関連ＩＤが付与されていれば、その関連ＩＤを今回のメモ単位における媒体ＩＤ及び領域情報に対応付けて関連情報ＤＢ２９ｃに登録する(ステップ２１６)。

図１１は、このようにして登録された関連情報ＤＢ２９ｃの内容の一例を示した図である。
この図では、関連ＩＤ「Ｒ０１」、「Ｒ０２」により、２つの関連する媒体及び領域の組が定義されている。
このうち、関連ＩＤ「Ｒ０１」は、媒体ＩＤ「０００００００１」の媒体の左上点の座標が(ｘ１０，ｙ１０)、右下点の座標が(ｘ１１，ｙ１１)の領域と、媒体ＩＤ「０００００００３」の媒体の左上点の座標が(ｘ３０，ｙ３０)、右下点の座標が(ｘ３１，ｙ３１)の領域とが関連することを示している。即ち、媒体ＩＤ「０００００００１」の媒体の左上点の座標が(ｘ１０，ｙ１０)、右下点の座標が(ｘ１１，ｙ１１)の領域に対するメモの終了時刻から、媒体ＩＤ「０００００００３」の媒体の左上点の座標が(ｘ３０，ｙ３０)、右下点の座標が(ｘ３１，ｙ３１)の領域に対するメモの開始時刻までは１０秒であり、例えば、閾値が３０秒であるとすれば、これらの領域は関連付けられることになるのである。これに対し、媒体ＩＤ「０００００００１」の媒体の左上点の座標が(ｘ１２，ｙ１２)、右下点の座標が(ｘ１３，ｙ１３)の領域に対するメモの終了時刻から、媒体ＩＤ「０００００００３」の媒体の左上点の座標が(ｘ３２，ｙ３２)、右下点の座標が(ｘ３３，ｙ３３)の領域に対するメモの開始時刻までは１０分程度あるため、これらの領域は関連付けられない。

また、関連ＩＤ「Ｒ０２」は、媒体ＩＤ「０００００００４」の媒体の左上点の座標が(ｘ４０，ｙ４０)、右下点の座標が(ｘ４１，ｙ４１)の領域と、媒体ＩＤ「０００００００５」の媒体の左上点の座標が(ｘ５０，ｙ５０)、右下点の座標が(ｘ５１，ｙ５１)の領域と、媒体ＩＤ「０００００００６」の媒体の左上点の座標が(ｘ６０，ｙ６０)、右下点の座標が(ｘ６１，ｙ６１)の領域とが関連することを示している。このように、関連付けは、２つの媒体面に限らず、３つ以上の媒体面について行われる場合もある。

次に、第２の実施例は、コード付き文書プリントにおけるメモ内容とコード付きメモ用紙におけるメモ内容に同じ特別な記号(マーク)が含まれている場合に、これらのメモは互いに関連するとして、メモがなされたプリントどうしを関連付けるというものである。
即ち、最初、図１２(ａ)に示すように、印刷物５００として、文書画像にコード画像を重畳して印刷したコード付き文書プリント(上側)と、白紙にコード画像を印刷したコード付きメモ用紙(下側)とが出力されている。
そこで、図１２(ｂ)に示すように、コード付き文書プリントにマーク付きの手書きを行ってから、コード付きメモ用紙に対しても同じマーク付きの手書きを行ったとする。ここでは、マークとして、メモの先頭に「★」を付している。但し、マークは、「★」に限られるものではなく、通常の作法でメモをとるときに用いるような記号であれば、いかなるものであってもよい。代表的なものとしては、「＊」、「※」等が挙げられる。このように通常の作法でメモをとるときに用いるようなマークを利用すれば、特別な操作を行うことなく関連付けを行えるという利点がある。尚、関連付けのためのマークは、個人の好みに合わせて登録したものであってもよい。
これにより、図１２(ｃ)に示すように、端末装置７００の画面７１０上に、コード付き文書プリント及びコード付きメモ用紙が関連付けられて表示される。尚、その際、図示するように、関連付けられたメモを含む領域間に、関連付けを示す表示を行うようにしてもよい。

このような関連付けの処理は、図２の関連情報管理部２９ｂにて行われる。
図１３は、関連情報管理部２９ｂの動作を示したフローチャートである。但し、この第２の実施例では、関連付けられたメモにおけるマークのいずれかを消したり、他のマークに書き換えたりすることにより、関連付けを解除することもできる。そこで、図１３では、このような関連付けの解除に関する動作も含めている。
まず、関連情報管理部２９ｂは、今回メモリに記録したメモ単位の情報を取得する(ステップ２２１)。
そして、今回のメモ単位におけるメモ内容に所定のマークが含まれるかどうかを判定する(ステップ２２２)。尚、図８では、媒体ＩＤと領域情報と時間情報しか示さなかったが、例えば、媒体ＩＤと領域情報とに基づいて一意に定まる格納場所に、実際に筆記されたイメージを格納しておくことにより、そのイメージの中にマークが含まれるかどうかを解析することができる。

ここで、マークが含まれると判定されれば、前回メモリに記録したメモ単位の情報を取得する(ステップ２２３)。そして、今回のメモ単位におけるマークと前回のメモ単位におけるマークとが同じかどうかを判定する(ステップ２２４)。
その結果、マークが同じでなければ、これらのメモの関連性は薄いと判断し、媒体面の関連付けは行わずに処理を終了する。
一方、マークが同じであれば、媒体面の関連付けを行う。具体的には、まず、前回のメモ単位における媒体ＩＤ及び領域情報に対し、既に関連ＩＤが付与されているかどうかを判定する(ステップ２２５)。そこで、関連ＩＤが付与されていなければ、前回のメモ単位における媒体ＩＤ及び領域情報と、今回のメモ単位における媒体ＩＤ及び領域情報とに、同じ関連ＩＤを対応付けて関連情報ＤＢ２９ｃに登録する(ステップ２２６)。また、関連ＩＤが付与されていれば、その関連ＩＤを今回のメモ単位における媒体ＩＤ及び領域情報に対応付けて関連情報ＤＢ２９ｃに登録する(ステップ２２７)。

ところで、ステップ２２２でマークがないと判定された場合、元々マークがない場合と、元々あったマークが消された場合とが考えられる。これを以下のような動作により適切に判断して関連付けの解除も行う。
即ち、関連情報管理部２９ｂは、今回のメモ単位と同じ媒体面の同じ領域のメモ単位を検索し、そのようなメモ単位があるかどうかを判定する(ステップ２２８)。

その結果、このようなメモ単位がなければ、今回のメモ単位はその領域に初めてなされたものであり、関連付けの意図がないためにマークを付さなかったと判断できるので、そのまま処理を終了する。
一方、このようなメモ単位があれば、そのメモ単位におけるメモ内容にマークが含まれるかどうかを判定する(ステップ２２９)。ここで、マークがなければ、前回もマークがなく今回もマークがないことから、関連付けの意図がないと判断できるので、そのまま処理を終了する。また、マークがあれば、前回のマークが今回のメモ単位で消去され又は書き換えられているので、関連付けを解除する。具体的には、関連情報ＤＢ２９ｃにおいて、今回のメモ単位における媒体ＩＤ及び領域情報に対応する関連ＩＤを削除する(ステップ２３０)。

図１４は、このようにして登録された関連情報ＤＢ２９ｃの内容の一例を示した図である。
この図では、関連ＩＤ「Ｒ０３」、「Ｒ０４」により、２つの関連する媒体及び領域の組が定義されている。
即ち、関連ＩＤ「Ｒ０３」は、媒体ＩＤ「０００００００１」の媒体の左上点の座標が(ｘ１２，ｙ１２)、右下点の座標が(ｘ１３，ｙ１３)の領域と、媒体ＩＤ「０００００００３」の媒体の左上点の座標が(ｘ３２，ｙ３２)、右下点の座標が(ｘ３３，ｙ３３)の領域とが関連することを示している。即ち、媒体ＩＤ「０００００００１」の媒体の左上点の座標が(ｘ１２，ｙ１２)、右下点の座標が(ｘ１３，ｙ１３)の領域に対するメモの終了時刻から、媒体ＩＤ「０００００００３」の媒体の左上点の座標が(ｘ３２，ｙ３２)、右下点の座標が(ｘ３３，ｙ３３)の領域に対するメモの開始時刻までは１０分程度あるが、これらの領域のメモ内に同じマークが記されていれば、このように関連付けられることになるのである。

また、関連ＩＤ「Ｒ０４」は、媒体ＩＤ「０００００００４」の媒体の左上点の座標が(ｘ４２，ｙ４２)、右下点の座標が(ｘ４３，ｙ４３)の領域と、媒体ＩＤ「０００００００５」の媒体の左上点の座標が(ｘ５２，ｙ５２)、右下点の座標が(ｘ５３，ｙ５３)の領域と、媒体ＩＤ「０００００００６」の媒体の左上点の座標が(ｘ６２，ｙ６２)、右下点の座標が(ｘ６３，ｙ６３)の領域とが関連することを示している。このように、関連付けは、２つの媒体面に限らず、３つ以上の媒体面について行われる場合もある。

さて、媒体どうしを関連付けた結果の表示方法については、図９(ｃ)、図１２(ｃ)において、媒体面を並べて表示し、関連する領域が分かるような形態で表示する例を示した。
しかしながら、これ以外にも、幾つかの表示方法が考えられる。
図１５にそのような表示方法の例を示す。
図１５(ａ)は、関連付けられた一方の媒体(例えば、コード付き文書プリント)上のイメージを表示し、関連付けられた領域の近傍に、他方の媒体面の関連付けられた領域７２０のみを表示するというものである。
図１５(ｂ)は、関連付けられた一方の媒体(例えば、コード付き文書プリント)上のイメージを表示し、関連付けられた領域の近傍に、関連付けられた領域が存在することのみを示す標識７３０を表示するものである。この場合、その標識７３０をマウスでクリック等することにより、関連付けられた他方の媒体面の関連付けられた領域を表示するようにすることもできる。

このように、本実施の形態では、関連付けられることを意識することなく識別情報が割り振られた媒体面に対し、ユーザが例えばペンデバイスを用いて所定の操作を行うことにより、媒体面の関連付けを行うことが可能となる。

尚、本実施の形態では、媒体面に対しペンデバイスを用いて筆記を行うことで、媒体面どうしの関連付けを行うようにしたが、このような形態には限られない。即ち、筆記以外の種々の操作、例えば、媒体面上を叩いたり、なぞったりするだけの操作により、媒体面どうしを関連付けることも可能である。
また、本実施の形態では、媒体面どうしの関連付けを識別情報管理サーバにて行うようにしたが、これもかかる形態には限られない。例えば、媒体面に対する操作情報を取得したペンデバイスが、媒体面の関連付けを行い、その情報を他のコンピュータに送信するような形態もあり得る。
また、本実施の形態では、媒体どうしの関連付けを行う際に、必ず領域どうしの関連付けも行うようにしたが、媒体面どうしを関連付ければ十分であって、領域どうしの関連付けは必ずしも行わなくてよい。

本発明の実施の形態が適用されるシステムの全体構成を示した図である。 本発明の実施の形態における識別情報管理サーバの機能構成を示したブロック図である。 本発明の実施の形態における対応情報ＤＢの内容の例を示した図である。 本発明の実施の形態において媒体上に印刷される２次元コード画像を説明するための図である。 本発明の実施の形態におけるペンデバイスの構成例を示した図である。 本発明の実施の形態におけるペンデバイスの動作を示したフローチャートである。 本発明の実施の形態における軌跡情報の切り分けの動作を示したフローチャートである。 本発明の実施の形態におけるメモ単位ごとの情報の例を示した図である。 本発明の実施の形態の第１の実施例の概要を説明するための図である。 本発明の実施の形態の第１の実施例における関連情報生成時の動作を示したフローチャートである。 本発明の実施の形態の第１の実施例で生成される関連情報の例を示した図である。 本発明の実施の形態の第２の実施例の概要を説明するための図である。 本発明の実施の形態の第２の実施例における関連情報生成、削除時の動作を示したフローチャートである。 本発明の実施の形態の第２の実施例で生成される関連情報の例を示した図である。 本発明の実施の形態における媒体どうし、領域どうしの関連付けの表示方法の別の例を示した図である。

符号の説明

２０ａ…受信部、２０ｂ…送信部、２１…対応情報管理部、２２…対応情報ＤＢ、２３…情報分離部、２４…文書画像生成部、２５…文書画像バッファ、２６…コード画像生成部、２７…コード画像バッファ、２８…画像合成部、２９ａ…軌跡情報取得部、２９ｂ…関連情報管理部、２９ｃ…関連情報ＤＢ、１００，７００…端末装置、２００…識別情報管理サーバ、３００…文書管理サーバ、４００…画像形成装置、５００…印刷物、６００…ペンデバイス

Claims (6)

1. 第１の媒体面に対するユーザの操作に応じて、当該操作に関する情報であって、当該第１の媒体面を識別する第１の識別情報と、当該第１の媒体面上の当該操作が行われた第１の領域を示す第１の領域情報とを含む情報である第１の操作情報を取得する第１の情報取得部と、
   第２の媒体面に対するユーザの操作に応じて、当該操作に関する情報であって、当該第２の媒体面を識別する第２の識別情報と、当該第２の媒体面上の当該操作が行われた第２の領域を示す第２の領域情報とを含む情報である第２の操作情報を取得する第２の情報取得部と、
   前記第１の操作情報と前記第２の操作情報とに所定の関係がある場合に、前記第１の媒体面上の前記第１の領域と前記第２の媒体面上の前記第２の領域との関連情報として、前記第１の識別情報と前記第１の領域情報と前記第２の識別情報と前記第２の領域情報とを対応付けた情報を生成する情報生成部と
   を備えたことを特徴とする情報処理装置。
2. 前記第１の媒体面と前記第２の媒体面とを、前記第１の領域と前記第２の領域との関連が分かるような形態で表示する表示部を更に備えたことを特徴とする請求項１記載の情報処理装置。
3. 前記第１の媒体面を表示し、かつ、前記第１の領域の近傍に前記第２の領域を表示する表示部を更に備えたことを特徴とする請求項１記載の情報処理装置。
4. 前記第１の媒体面を表示し、かつ、前記第１の領域の近傍に前記第２の領域の存在を示す標識を表示し、当該標識に対する所定の操作に応じて、当該第２の領域を表示する表示部を更に備えたことを特徴とする請求項１記載の情報処理装置。
5. 第１の媒体面に対するユーザの第１の操作を認識するステップと、
   前記第１の操作に応じて、前記第１の媒体面を識別する第１の識別情報を取得するステップと、
   前記第１の操作に応じて、前記第１の媒体面上の当該第１の操作が行われた第１の領域を示す第１の領域情報を取得するステップと、
   第２の媒体面に対するユーザの第２の操作を認識するステップと、
   前記第２の操作に応じて、前記第２の媒体面を識別する第２の識別情報を取得するステップと、
   前記第２の操作に応じて、前記第２の媒体面上の当該第２の操作が行われた第２の領域を示す第２の領域情報を取得するステップと、
   前記第１の操作と前記第２の操作とに所定の関係がある場合に、前記第１の媒体面上の前記第１の領域と前記第２の媒体面上の前記第２の領域との関連情報として、前記第１の識別情報と前記第１の領域情報と前記第２の識別情報と前記第２の領域情報とを対応付けた情報を記憶するステップと
   を含むことを特徴とする関連付け方法。
6. 前記第１の媒体面と前記第２の媒体面とを、前記第１の領域と前記第２の領域との関連が分かるような形態で表示するステップを更に含むことを特徴とする請求項５記載の関連付け方法。

Images