JP2010212866A - 筆記情報処理装置及びプログラム - Google Patents

Abstract

【課題】互いに異なる媒体にまたがる筆記が行われた場合に、一方の媒体に対する筆記情報と他方の媒体に対する筆記情報とを関連付ける。
【解決手段】デジタルペンの画像処理部６１ａでは、画像取得部６１１が、媒体から読み取られた符号画像を取得し、ドット配列生成部６１２が、符号画像からドット配列を生成する。また、データ処理部６１ｂでは、符号配列生成部６１３が、ドット配列から符号配列を生成し、識別情報取得部６１４が、符号配列から識別符号を検出し復号して識別情報を取得し、位置情報取得部６１５が、符号配列から位置符号を検出し復号して位置情報を取得し、筆跡情報生成部６１６が、位置情報を連結して筆跡情報を生成し、関連付け情報生成部６１７が、媒体にまたがって筆記された場合に媒体を関連付ける関連付け情報を生成し、通信制御部６１９が、識別情報、筆跡情報、関連付け情報を外部に送信する。
【選択図】図９

Description

本発明は、筆記情報処理装置、プログラムに関する。

紙等の媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報等の各種情報との関連付けを図る技術が知られている（例えば、特許文献１参照）。この特許文献１の技術では、まず、ユーザがコード用紙に筆記した手書き情報の内容と手書き時刻とを関連付けて紙情報処理サーバにて格納し、各種端末から提供される情報と提供時刻とを関連付けて統合処理サーバにて格納する。次に、手書きされたコード用紙の所定箇所を電子ペンで指示することにより、紙情報処理サーバに格納された手書き時刻を特定し、その手書き時刻を用いて提供時刻に関連付けられた提供情報を統合処理サーバから読み出し、端末に表示出力している。

特開２００７−１３３５５０号公報

本発明の目的は、互いに異なる媒体にまたがる筆記が行われた場合に、一方の媒体に対する筆記情報と他方の媒体に対する筆記情報とを関連付けることにある。

請求項１に記載の発明は、媒体の識別情報と当該媒体上の位置情報とが印刷された当該媒体から読み取られた当該識別情報を取得する識別情報取得手段と、前記媒体から読み取られた前記位置情報に基づいて生成された当該媒体に対する筆記情報を取得する筆記情報取得手段と、第１の識別情報と、当該第１の識別情報とは異なる第２の識別情報とが、前記識別情報取得手段により取得されたことを条件として、前記筆記情報取得手段により取得された前記筆記情報のうち、当該第１の識別情報が印刷された第１の媒体に対する第１の筆記情報と、当該第２の識別情報が印刷された第２の媒体に対する第２の筆記情報とが関連していることを示す関連付け情報を生成する生成手段とを備えたことを特徴とする筆記情報処理装置である。
請求項２に記載の発明は、前記生成手段は、前記第１の識別情報が読み取られてから前記第２の識別情報が読み取られるまでの時間が予め定められた時間内であることを更なる条件として、前記関連付け情報を生成することを特徴とする請求項１に記載の筆記情報処理装置である。
請求項３に記載の発明は、前記生成手段は、前記第１の識別情報が読み取られてから前記第２の識別情報が読み取られるまでの間に識別情報の読取りが試みられなかった場合に、当該第１の媒体と当該第２の媒体とが重ねて配置されていることを更に示す前記関連付け情報を生成することを特徴とする請求項１に記載の筆記情報処理装置である。
請求項４に記載の発明は、前記生成手段は、前記第１の識別情報が前記第１の媒体の端部として定められた領域から読み取られたかどうか、又は、前記第２の識別情報が前記第２の媒体の端部として定められた領域から読み取られたかどうかに基づいて、当該第１の媒体と当該第２の媒体の重なりの順序を更に示す前記関連付け情報を生成する請求項３に記載の筆記情報処理装置である。
請求項５に記載の発明は、前記生成手段は、前記第１の識別情報が読み取られてから前記第２の識別情報が読み取られるまでの間に識別情報の読取りが試みられ、かつ、当該読取りが成功しなかった場合に、当該第１の媒体と当該第２の媒体とが離れて配置されていることを更に示す前記関連付け情報を生成することを特徴とする請求項１に記載の筆記情報処理装置である。
請求項６に記載の発明は、前記生成手段は、前記第１の識別情報が読み取られた前記第１の媒体の位置と、前記第２の識別情報が読み取られた前記第２の媒体の位置と、筆記に用いた電子筆記具の移動速度とに基づいて、当該第１の媒体と当該第２の媒体の離れ度合いを更に示す前記関連付け情報を生成することを特徴とする請求項５に記載の筆記情報処理装置である。
請求項７に記載の発明は、前記関連付け情報に基づいて、前記第１の媒体、前記第２の媒体、前記第１の筆記情報、前記第２の筆記情報を表す画像が表示されるように制御する制御手段を更に備えたことを特徴とする請求項１乃至請求項６の何れかに記載の筆記情報処理装置である。
請求項８に記載の発明は、媒体上の位置情報が印刷された当該媒体から読み取られた当該位置情報を取得する位置情報取得手段と、前記媒体から読み取られた前記位置情報に基づいて生成された当該媒体に対する筆記情報を取得する筆記情報取得手段と、第１の位置情報と、当該第１の位置情報までの位置情報の規則性を途切れさせる第２の位置情報とが、前記位置情報取得手段により取得されたことを条件として、前記筆記情報取得手段により取得された前記筆記情報のうち、当該第１の位置情報が印刷された第１の媒体に対する第１の筆記情報と、当該第２の位置情報が印刷された第２の媒体に対する第２の筆記情報とが関連していることを示す関連付け情報を生成する生成手段とを備えたことを特徴とする筆記情報処理装置である。
請求項９に記載の発明は、コンピュータに、媒体の識別情報と当該媒体上の位置情報とが印刷された当該媒体から読み取られた当該識別情報を取得する機能と、前記媒体から読み取られた前記位置情報に基づいて生成された当該媒体に対する筆記情報を取得する機能と、第１の識別情報と、当該第１の識別情報とは異なる第２の識別情報とが、取得されたことを条件として、当該第１の識別情報が印刷された第１の媒体に対する第１の筆記情報と、当該第２の識別情報が印刷された第２の媒体に対する第２の筆記情報とが関連していることを示す関連付け情報を生成する機能とを実現させるためのプログラムである。

請求項１の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、一方の媒体に対する筆記情報と他方の媒体に対する筆記情報とを関連付けることができる。
請求項２の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、これらの媒体がある程度離れていれば、一方の媒体に対する筆記情報と他方の媒体に対する筆記情報を関連付けないようにすることができる。
請求項３の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、これらの媒体が重ねて配置されていることを示すことができる。
請求項４の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、これらの媒体の重なり順序を示すことができる。
請求項５の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、これらの媒体が離れて配置されていることを示すことができる。
請求項６の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、これらの媒体の離れ度合いを示すことができる。
請求項７の発明によれば、互いに異なる媒体にまたがる筆記を表示画像として再現することができる。
請求項８の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、一方の媒体に対する筆記情報と他方の媒体に対する筆記情報とを関連付けることができる。
請求項９の発明によれば、互いに異なる媒体にまたがる筆記が行われた場合に、一方の媒体に対する筆記情報と他方の媒体に対する筆記情報とを関連付けることができる。

本発明の実施の形態が適用されるシステム構成を示した図である。 本発明の実施の形態における筆跡情報の処理の概要を示した図である。 本発明の実施の形態における文書サーバの機能構成を示したブロック図である。 本発明の実施の形態における識別情報サーバの機能構成を示したブロック図である。 本発明の実施の形態における印刷文書出力時の動作を示したシーケンス図である。 本発明の実施の形態で生成される符号画像の例を示した図である。 本発明の実施の形態で記憶される媒体管理情報の例を示した図である。 本発明の実施の形態におけるデジタルペンの機構を示した図である。 本発明の実施の形態におけるデジタルペンの制御回路の機能機構を示したブロック図である。 本発明の実施の形態における印刷文書への筆記時の動作を示したフローチャートである。 本発明の実施の形態で記憶される関連付け情報の例を示した図である。 本発明の実施の形態で記憶される関連付け情報における座標及び傾き角の算出方法について説明するための図である。 本発明の実施の形態における筆跡情報の表示時の動作を示したシーケンス図である。 本発明の実施の形態を実現可能なコンピュータのハードウェア構成図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図１は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置１０と、文書サーバ２０と、識別情報サーバ３０と、画像形成装置４０と、端末装置５０とがネットワーク８０に接続されることにより構成されている。また、端末装置５０には、デジタルペン６０が通信装置７０を介して接続されている。

端末装置１０は、文書サーバ２０に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置１０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
文書サーバ２０は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置１０から電子文書の印刷要求があると、電子文書の画像と、識別情報及び位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置４０に対して出力する。この場合、識別情報とは、媒体を一意に特定するための情報であり、位置情報とは、媒体上の座標位置を特定するための情報である。ここで、文書サーバ２０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。

識別情報サーバ３０は、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ３０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
画像形成装置４０は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置４０は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂複合機であってもよい。ここで、画像形成装置４０における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。尚、以下では、媒体に付与する識別情報を識別情報サーバ３０が発行するものとして説明するが、システム内で重複なく発行できるのであれば識別情報はどの装置で発行してもよく、この画像形成装置４０で発行するようにしてもよい。その場合は、例えば、画像形成装置４０の機械番号と画像形成装置４０におけるプリントカウントの値とを結合したものを識別情報として用いるとよい。

端末装置５０は、印刷文書に対する筆記を電子化した情報（以下、「筆跡情報」という）を、印刷文書に記録された画像の元となる電子文書に反映させるために識別情報サーバ３０に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書を図示しないディスプレイに表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置５０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。尚、本実施の形態では、筆記の内容を電子化した筆記情報の一例として、筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報であってもよい。

デジタルペン６０は、電子筆記具の一例であり、印刷文書上に文字又は図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像を読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字又は図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶する。
通信装置７０は、デジタルペン６０から筆跡情報を取得して端末装置５０に送信する装置である。例えば、デジタルペン６０を差し込む差込口を設け、この差込口にデジタルペン６０が差し込まれると、デジタルペン６０に記憶された筆跡情報を端末装置５０に送信するようにするとよい。ここで、端末装置５０との間の通信の方式としては、ＵＳＢ（Universal Serial Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信機能等、種々の方式が考えられる。また、図では、通信装置７０をデジタルペン６０と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。

尚、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ（ラスタデータかベクターデータかによらない）、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、ＯＨＰシートや金属板等であっても構わない。
更に、本明細書では、電子文書、媒体、更にはデジタルペン６０やユーザについて、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」というときは、このうち、媒体の識別情報を意味するものとする。

ところで、このようなコンピュータシステムで出力された複数の印刷文書を並べた状態で、それらにまたがる筆記を行う場合がある。
このような場合に、筆記を行った印刷文書ごとに筆跡情報を管理したのでは、例えば、ＰＣ（Personal Computer）等で筆跡情報を確認する際に、１つの連続した画像として見ることができない。
そこで、本実施の形態では、複数の印刷媒体にまたがった筆跡情報を関連付けて管理し、１つの連続した画像として再現する。

図２は、本実施の形態の概略動作を示した図である。
（ａ）は、符号画像付きの２つの紙文書を重ねた状態で、２つの紙文書にまたがる筆記を行った場合の例である。この場合、（ａ−１）のように、紙文書Ａと紙文書Ｂを重ねて、（ａ−２）のように、デジタルペン６０でそれらにまたがる筆記を行う。その後、例えば、ＰＣで紙文書Ａを呼び出すと、（ａ−３）のように、紙文書Ｂと共に一連の筆跡情報が１つの画像として表示される。具体的には、紙文書Ａに対する筆記とそれに連続して行われた筆記とを関連付けた連続筆記管理情報を照会することにより、紙文書Ｂに対する筆記が表示される。尚、このとき、筆跡情報の境界が自然な形で接するように表示位置が調整される。

また、（ｂ）は、符号画像付きの２つの紙文書を少し離した状態で、２つの紙文書にまたがる筆記を行った場合の例である。この場合、（ｂ−１）のように、紙文書Ｃと紙文書Ｄとを少し離して、（ｂ−２）のように、デジタルペン６０でそれらにまたがる筆記を行う。その後、例えば、ＰＣで紙文書Ｃを呼び出すと、（ｂ−３）のように、紙文書Ｄと共に一連の筆跡情報が１つの画像として表示される。具体的には、紙文書Ｃに対する筆記とそれに連続して行われた筆記とを関連付けた連続筆記管理情報を照会することにより、紙文書Ｄに対する筆記が表示される。尚、このとき、符号画像を読み取っていない時間とその前後のペンのストローク速度をもとに、紙文書Ｃと紙文書Ｄの間の距離を推定し、表示に反映する。また、筆跡情報の境界が自然な形で接するように表示位置が調整される。

以下、このような概略動作を行う本実施の形態について、具体的に説明する。
本実施の形態では、文書サーバ２０が筆跡情報を管理し、筆跡情報の表示が指示されると、識別情報サーバ３０が筆跡情報を表示するための表示情報を生成する。
このように、本実施の形態では、文書サーバ２０及び識別情報サーバ３０が中心となって動作するので、これらのサーバの構成について詳細に説明する。
まず、文書サーバ２０の構成について説明する。
図３は、文書サーバ２０の機能構成例を示したブロック図である。
図示するように、文書サーバ２０は、受信部２１と、識別情報取得部２２と、筆跡管理部２３と、筆跡管理情報記憶部２４とを備える。また、識別符号生成部２５ａと、位置符号生成部２５ｂと、符号配置部２５ｃと、パターン画像記憶部２５ｄと、符号画像生成部２５ｅとを備える。更に、文書画像生成部２６と、画像合成部２７と、送信部２９とを備える。

受信部２１は、端末装置１０から印刷要求を受信する。ここで、印刷要求には、印刷対象となる電子文書の識別情報（以下、「文書ＩＤ」という）と、印刷に関する各種設定（以下、「印刷設定」という）とが含まれる。また、受信部２１は、印刷文書に対する筆記がなされた際には、識別情報サーバ３０から、印刷文書の元となる電子文書の文書ＩＤ及びページ番号と、印刷文書に対する筆記の内容を電子化した筆跡情報とを受信する。
識別情報取得部２２は、受信部２１から文書ＩＤ及び印刷設定を取得し、これを送信部２９に渡して識別情報の発行要求の送信を指示し、これを文書画像生成部２６に渡して文書画像の生成を指示する。また、受信部２１から識別情報を取得し、これを識別符号生成部２５ａに渡して識別符号の生成を指示する。

筆跡管理部２３は、受信部２１が受信した文書ＩＤ、ページ番号、筆跡情報を取得し、筆跡管理情報記憶部２４に登録する。また、筆跡情報の表示が指示された際には、指定された文書ＩＤ、ページ番号に対応する筆跡情報を、筆跡管理情報記憶部２４から取り出す。
筆跡管理情報記憶部２４は、筆跡管理部２３によって管理される筆跡管理情報を記憶する。

識別符号生成部２５ａは、媒体を特定する識別情報を符号化して識別符号を生成する。
位置符号生成部２５ｂは、媒体上の座標位置を示す位置情報を符号化して位置符号を生成する。
符号配置部２５ｃは、識別符号生成部２５ａにて生成された識別符号や、位置符号生成部２５ｂにて生成された位置符号等を所定のレイアウトに従って２次元平面に配置し２次元の符号配列を生成する。
パターン画像記憶部２５ｄは、符号配列に格納される各符号の符号値に対応するパターン画像を記憶する。
符号画像生成部２５ｅは、符号配置部２５ｃが生成した２次元の符号配列を参照し、各符号値に対応したパターン画像を選択して符号画像を生成する。

文書画像生成部２６は、識別情報取得部２２から文書ＩＤ及び印刷設定を取得し、この文書ＩＤで特定される電子文書を図示しない記憶手段から読み出し、印刷設定に従ってその電子文書の文書画像を生成する。
画像合成部２７は、符号画像生成部２５ｅが生成した符号画像と、文書画像生成部２６が生成した文書画像とを合成し、合成画像を生成する。
送信部２９は、識別情報サーバ３０に対して識別情報の発行要求を送信する。また、画像形成装置４０に対して媒体に対する画像の印刷命令を送信する。更に、筆跡情報の表示が指示された際には、識別情報サーバ３０に対して、電子文書と筆跡情報とを送信する。

次に、識別情報サーバ３０の構成について説明する。
図４は、識別情報サーバ３０の機能構成例を示したブロック図である。
図示するように、識別情報サーバ３０は、受信部３１と、媒体管理部３２と、媒体管理情報記憶部３３と、表示情報生成部３４と、関連付け情報記憶部３５と、送信部３９とを備える。

受信部３１は、文書サーバ２０から識別情報の発行要求を受信する。また、受信部３１は、印刷文書に対する筆記がなされた際には、識別情報、筆跡情報、関連付け情報を端末装置５０から受信する。更に、筆跡情報の表示が指示された際に、端末装置５０からは、表示する筆跡情報を抽出する際のキーとなる識別情報を受信し、文書サーバ２０からは、関連付けられた印刷文書に関する電子文書と筆跡情報とを受信する。

媒体管理部３２は、識別情報の発行要求があると、識別情報を重複することなく発行し、その際に指定された文書ＩＤ及び印刷設定を識別情報に関連付けて記憶する。また、印刷文書に対する筆記がなされた際には、関連付け情報を関連付け情報記憶部３５に記憶する。更に、筆跡情報の表示が指示された際には、指定された識別情報の印刷文書に関連付けられた印刷文書の識別情報（以下、「関連識別情報」という）を取得すると共に、指定された識別情報及び関連識別情報に対応する文書ＩＤ及び印刷設定を取得する。

媒体管理情報記憶部３３は、識別情報と、その識別情報が付与された媒体に印刷された電子文書の文書ＩＤと、それが付与された媒体に電子文書が印刷された際の印刷設定とを記憶するデータベースである。
表示情報生成部３４は、筆跡情報の表示が指示された際に、文書サーバ２０から取得した情報に基づいて、筆跡情報を表示するための表示情報を生成する。この表示情報としては、例えば、端末装置５０で表示するイメージを生成する元となるデータを生成する。本実施の形態では、画像が表示されるように制御する制御手段の一例として、表示情報生成部３４を設けている。

関連付け情報記憶部３５は、識別情報と、関連識別情報と、識別情報で特定される印刷文書と関連識別情報で特定される印刷文書との位置関係を示す位置関係情報とを記憶するデータベースである。

送信部３９は、文書サーバ２０からの要求に応じて発行した識別情報を文書サーバ２０に送信する。また、印刷文書に対する筆記がなされた際には、識別情報に対応する文書ＩＤ及びページ番号（印刷設定に含まれる）、筆跡情報を文書サーバ２０に送信する。更に、筆跡情報の表示が指示された際には、文書サーバ２０に対して文書ＩＤ、ページ番号（印刷設定に含まれる）を送信し、端末装置５０に対して表示情報を送信する。

次いで、本実施の形態の動作について説明する。
本実施の形態における動作は、大きく、印刷文書の出力と、印刷文書への筆記と、筆跡情報の表示とに分けられるので、以下ではこれらを分けて説明する。

Ａ．印刷文書の出力
図５は、このときの文書サーバ２０及び識別情報サーバ３０の動作を示したシーケンス図である。
文書サーバ２０では、まず、受信部２１が、電子文書の印刷要求を端末装置１０から受信する（ステップ２１１）。このうち、電子文書の印刷要求には、文書ＩＤと印刷設定とが含まれる。ここで、文書ＩＤとしては、例えば、ＵＲＬ（Uniform Resource Locator）を用いるとよいが、電子文書を一意に特定することができるものであれば他の情報を用いてもよい。また、印刷設定は、ページ、部数、用紙サイズ、拡大縮小率、Ｎアップ（電子文書のＮページを媒体の１ページに割り付ける印刷）、余白等の設定を含む。
受信部２１は、これらの情報を受信すると、識別情報取得部２２に受け渡す。すると、識別情報取得部２２は、受け渡された情報のうち、文書ＩＤと印刷設定とを送信部２９に渡し、送信部２９が、これらの情報を識別情報サーバ３０に送信することで、識別情報の発行を要求する（ステップ２１２）。

これにより、識別情報サーバ３０では、受信部３１が、文書ＩＤと印刷設定とを受信する（ステップ３１１）。そして、文書ＩＤと印刷設定は媒体管理部３２に渡され、媒体管理部３２が、媒体管理情報記憶部３３から未使用の識別情報を取り出す（ステップ３１２）。ここで、取り出す識別情報の数は、印刷設定に応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の識別情報が取り出される。但し、設定情報中に、Ｎアップの指定等がある場合は、それも考慮される。例えば、１０ページの電子文書を２アップで５部印刷する場合は、２５（＝１０÷２×５）個の識別情報が取り出される。
次に、媒体管理部３２は、識別情報と文書ＩＤと印刷設定とを関連付けて媒体管理情報記憶部３３に記憶する（ステップ３１３）。そして、ステップ３１２で発行された識別情報は送信部３９に渡され、送信部３９が、文書サーバ２０に対し、識別情報を送信する（ステップ３１４）。

これにより、文書サーバ２０では、受信部２１が識別情報を受信する（ステップ２１３）。そして、受信部２１は、受信した識別情報を識別情報取得部２２に受け渡す。
すると、文書サーバ２０は、識別情報と位置情報とを表す符号画像を生成する（ステップ２１４）。この符号画像の生成は、具体的には、次のような処理により行われる。
即ち、まず、識別情報取得部２２が、ステップ２１３で取得した識別情報を識別符号生成部２５ａに渡し、識別符号生成部２５ａが、識別情報を符号化することで識別符号を生成する。尚、識別情報の符号化の詳細については後述する。
また、位置符号生成部２５ｂは、受信部２１から印刷設定を受け取り、印刷設定に応じた範囲の位置情報を符号化することで位置符号を生成する。尚、位置情報の符号化の詳細についても後述する。
その後、符号配置部２５ｃが、識別符号と位置符号とを所定のレイアウトに従って配置し、これを符号画像生成部２５ｅが、パターン画像記憶部２５ｄに記憶されたパターン画像を用いて画像化することで符号画像を生成する。

また、文書サーバ２０では、文書画像生成部２６が、電子文書の文書画像を生成する（ステップ２１５）。その際、文書画像生成部２６は、ステップ２１１で識別情報取得部２２が取得した文書ＩＤを受け取り、これに基づいて対象となる電子文書を図示しない記憶手段から読み出す。また、ステップ２１１で識別情報取得部２２が取得した印刷設定を受け取り、これに基づいて文書画像を生成する。
そして、画像合成部２７は、ステップ２１４で生成された符号画像と、ステップ２１５で生成された文書画像とを合成し、合成画像を生成する（ステップ２１６）。
その後、合成画像は送信部２９に渡され、送信部２９が、合成画像の印刷命令を画像形成装置４０に送信する（ステップ２１７）。ここで、合成画像の印刷命令は、例えば、文書画像の印刷命令の列からなるＰＤＬ（Page Description Language）ファイルに対し、符号画像として印刷する内容をＰＤＬコマンドとして設定したＰＤＬの形式で送信される。

これにより、画像形成装置４０は、文書画像を例えばＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）のトナーを用いて媒体に印刷する。また、符号画像を例えばＫ（カーボンを含む黒）のトナー又は特殊トナーを用いて媒体に印刷する。
ここで、特殊トナーとしては、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が７％以下であり、近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が３０％以上の不可視トナーが例示される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷文書における画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが人間の目で認識し難いものも、「不可視」に含める。

尚、ここでは、電子文書の画像に符号画像を合成して印刷することとしたが、白紙（ノートや付箋等）に符号画像を印刷する構成としてもよい。その場合は、ステップ２１１で受信する印刷要求に文書ＩＤを含めないようにし、ステップ３１３で識別情報と文書ＩＤ及び印刷設定との関連付けを行わないようにし、ステップ２１５における文書画像の生成は実行しないようにすればよい。

次に、本実施の形態で生成される符号画像について説明する。
図６は、符号画像を構成する画像等の一例を示した図である。
まず、符号画像を構成する単位パターンについて説明する。
図６（ａ）は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図は、ドットを配置可能な９箇所の中から選択した２箇所にドットを配置することで単位パターンを構成した例を示したものである。ここで、９箇所の中から２箇所を選択する組み合わせは３６（＝_９Ｃ_２）通りなので、単位パターンは、３６種類存在する。このうち、４種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号及び位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、４種類の同期パターンとしては、そのうちの１つの同期パターンを９０度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この４種類の単位パターンを除く３２種類の単位パターンは、識別符号及び位置符号を表現する情報パターンとして使用され、５ビットの情報が表現される。

ところで、図６（ａ）に示したドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット（図６（ａ）の最小の四角）は、６００ｄｐｉにおける２ドット×２ドットの大きさを有している。６００ｄｐｉにおける１ドットの大きさは０．０４２３ｍｍなので、情報表現のためのドット（図６（ａ）の最小の四角）の一辺は、８４．６μｍ（＝０．０４２３ｍｍ×２）である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、５０μｍより大きく１００μｍより小さい上記の値を採用している。但し、上記の値８４．６μｍは、あくまで計算上の数値であり、実際に印刷されたトナー像では１００μｍ程度になる。尚、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。

次に、このような単位パターンから構成される符号ブロックについて説明する。
図６（ｂ）に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図６（ｂ）の最小の四角（以下、「単位ブロック」という）に、図６（ａ）のような単位パターン（３６通りの単位パターンのいずれか）が配置され、その画像が媒体に形成されることになる。
図６（ｂ）のレイアウトでは、符号ブロックの左上の１つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の４つの単位ブロックにＸ位置符号が配置され、同期符号が配置された単位ブロックの下側の４つの単位ブロックにＹ位置符号が配置されている。更に、これらの位置符号が配置された単位ブロックに囲まれた１６（＝４×４）個の単位ブロックに識別符号が配置されている。

ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、ＲＳ符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、ＲＳ符号化が適している。ＲＳ符号は多値の符号法であり、この場合、単位ブロックで表現される値がＲＳ符号の多値に対応するからである。例えば、１つの単位ブロックで５ビットの情報を表現する場合、６０ビットの識別情報は、ブロック長が５ビットの１２個のブロックに分割される。そして、２ブロックの誤りを訂正可能なＲＳ符号を採用したとすると、符号長は１６ブロックとなり、図６（ｂ）の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。尚、符号化方式はＲＳ符号に限定するものでなく、その他の符号化方式、例えば、ＢＣＨ符号等を使用してもよい。

次に、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるＭ系列符号が使用される。ここで、Ｍ系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列のうち、その周期が最長になる系列をいう。Ｋをシフトレジスタの段数とすると、Ｍ系列の系列長は２^Ｋ−１となる。このＭ系列から取り出した任意の連続したＫビットは、同じＭ系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なＭ系列の次数を求め、Ｍ系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、Ｍ系列を毎回生成する必要はない。即ち、固定のＭ系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長８１９１のＭ系列（Ｋ＝１３）を使用したとする。この場合、位置符号も５ビット単位で埋め込むため、系列長８１９１のＭ系列から５ビットずつ取り出してブロック化する。

尚、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。

ここで、媒体管理情報記憶部３３に記憶される媒体管理情報の具体的な内容について説明する。
図７は、媒体管理情報の具体例を示した図である。
図示するように、媒体管理情報は、識別情報と、文書ＩＤと、印刷設定とが関連付けて記憶される。
このうち、識別情報は、既に述べた通り、媒体を一意に識別するための情報である。
また、文書ＩＤは、既に述べた通り、電子文書を一意に識別するための情報である。
更に、印刷設定は、既に述べた通り、端末装置１０で電子文書の印刷が要求された際に設定されたページ、用紙サイズ、拡大縮小率等の情報である。

図には、文書ＩＤ「ＤｏｃＡ」の電子文書の１ページ目を、識別情報「０００１０１」のＡ４サイズの媒体に１００％で印刷し、文書ＩＤ「ＤｏｃＢ」の電子文書の２ページ目を、識別情報「０００１０２」のＡ４サイズの媒体に１００％で印刷したことが示されている。
また、文書ＩＤ「ＤｏｃＣ」の電子文書の１ページ目を、識別情報「０００１０３」のＡ４サイズの媒体に１００％で印刷し、文書ＩＤ「ＤｏｃＤ」の電子文書の２ページ目を、識別情報「０００１０４」のＡ４サイズの媒体に１００％で印刷したことも示されている。

Ｂ．印刷文書への筆記
本実施の形態では、印刷文書に対する筆跡情報がデジタルペン６０から通信装置７０を介して端末装置５０に伝えられ、文書サーバ２０へ登録される。
そこで、まず、デジタルペン６０の機構について説明する。
図８は、デジタルペン６０の構成例を示した図である。
図示するように、デジタルペン６０は、ペン全体の動作を制御する制御回路６１を備える。また、制御回路６１は、読み取った符号画像を処理する画像処理部６１ａと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部６１ｂとを含む。
また、制御回路６１には、デジタルペン６０による筆記動作をペンチップ６９に加わる圧力によって検出する圧力センサ６２が接続されている。更に、媒体上に赤外光を照射する赤外ＬＥＤ６３と、反射光を検知することによって符号画像を読み取る赤外ＣＭＯＳ６４も接続されている。更にまた、識別情報及び位置情報を記憶するための情報メモリ６５と、外部装置と通信するための通信回路６６と、ペンを駆動するためのバッテリ６７と、ペンの識別情報（ペンＩＤ）を記憶するペンＩＤメモリ６８も接続されている。

次に、このうち制御回路６１において実現される機能構成について更に詳細に説明する。
図９は、制御回路６１の機能構成例を示したブロック図である。尚、図では、制御回路６１内の画像処理部６１ａとデータ処理部６１ｂとに分けて、機能構成例を示している。
図示するように、画像処理部６１ａは、画像取得部６１１と、ドット配列生成部６１２とを備える。また、データ処理部６１ｂは、符号配列生成部６１３と、識別情報取得部６１４と、位置情報取得部６１５と、筆跡情報生成部６１６とを備える。そして、更に、関連付け情報生成部６１７と、通信制御部６１９とを備える。

画像取得部６１１は、赤外ＣＭＯＳ６４が印刷文書から読み取った符号画像を取得する。また、必要に応じて、符号画像に含まれるノイズを除去する。
ドット配列生成部６１２は、符号画像におけるドットの位置を参照して、ドット配列を生成する。即ち、２次元の配列上で、例えば、ドットがある位置に「１」を、ドットがない位置に「０」を記憶することにより、画像として検出したドットをデジタルデータに置き換える。そして、この２次元の配列をドット配列として出力する。

符号配列生成部６１３は、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状及び大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図６（ａ）の単位パターンを用いる場合であれば、３ドット×３ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が２となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。

識別情報取得部６１４は、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にＲＳ符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報を取得する。本実施の形態では、識別情報を取得する識別情報取得手段の一例として、識別情報取得部６１４を設けている。
位置情報取得部６１５は、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からＭ系列の部分系列を取り出し、画像生成時に使用したＭ系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。尚、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。本実施の形態では、位置情報を取得する位置情報取得手段の一例として、位置情報取得部６１５を設けている。

筆跡情報生成部６１６は、位置情報取得部６１５が取得した位置情報を連結して筆跡情報を生成する。ここで、筆跡情報には、少なくともデジタルペン６０のペン先の軌跡を電子化したデータが含まれるが、これ以外の情報を含んでもよい。ペン先の軌跡以外の情報としては、例えば、筆記した時にペンに設定されていた色の情報や、筆圧の情報等がある。本実施の形態では、筆記情報を取得する筆記情報取得手段の一例として、筆跡情報生成部６１６を設けている。
関連付け情報生成部６１７は、複数の印刷文書にまたがる筆記を行った場合に、複数の印刷文書を関連付けると共にそれらの位置関係を示す関連付け情報を生成する。ここで、筆跡情報は印刷文書に関連付けられるので、印刷文書を関連付けることにより、筆跡情報も関連付けられることになる。即ち、本実施の形態では、筆跡情報が関連していることを示す関連付け情報を生成する生成手段の一例として、関連付け情報生成部６１７を設けている。

通信制御部６１９は、識別情報取得部６１４が取得した識別情報と、筆跡情報生成部６１６が生成した筆跡情報と、関連付け情報生成部６１７が生成した関連付け情報とを通信回路６６に受け渡すことで、通信装置７０への情報送信を実現する。

次に、デジタルペン６０が筆跡情報を生成して文書サーバ２０に登録する際の動作について説明する。
デジタルペン６０では、まず、赤外ＬＥＤ６３が媒体に対して赤外光を照射し、赤外ＣＭＯＳ６４がその反射光を受光することにより、符号画像を読み取る。そして、画像取得部６１１がこの読み取った符号画像を取得する。そして、符号画像にノイズが含まれていれば、これを除去する。次に、ドット配列生成部６１２が、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、符号配列生成部６１３が、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部６１４が、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報を取得する。また、位置情報取得部６１５が、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報を取得する。そして、筆跡情報生成部６１６が、位置情報を連結して筆跡情報を生成する。更に、本実施の形態では、関連付け情報生成部６１７が、またがった筆記が行われている複数の媒体を関連付ける関連付け情報を生成する。

図１０は、このときの関連付け情報生成部６１７の動作例を示したフローチャートである。
関連付け情報生成部６１７は、まず、識別情報取得部６１４から識別情報を受け取り、位置情報取得部６１５から位置情報を受け取る（ステップ６２１）。そして、ここで受け取った識別情報又は位置情報に関する幾つかの条件を判定することにより、２つの媒体をまたがる筆記がどの位置にどのようになされたかを認識する。
即ち、第一に、関連付け情報生成部６１７は、直近に識別情報及び位置情報の読取りが成功した時点からの経過時間が予め定められた時間内であるかどうかを判定する（ステップ６２２）。直近の読取り成功からある程度時間が経過して識別情報及び位置情報の読取りが再度成功した場合、２つの媒体は大きく離れて配置されており、もはや２つの媒体にまたがって筆記しているとは言えないので、このような条件を判定している。尚、識別情報及び位置情報の読取りが成功しなかった場合、ドット配列生成部６１２や符号配列生成部６１３の処理が不能となるので、その旨を伝えてもらうことにより、読取りが成功したかは判定可能である。

この判定の結果、直近の読取り成功からの経過時間が予め定められた時間内でなければ、ステップ６３０に進むが、直近の読取り成功からの経過時間が予め定められた時間内であれば、次の判定に進む。
即ち、第二に、関連付け情報生成部６１７は、ステップ６２１で受け取った識別情報が、直近に読取りが成功したときに受け取った識別情報と同じであるかどうかを判定する（ステップ６２３）。今回読み取った識別情報が前回読み取った識別情報と異なるかどうかを検証することにより、前回の読取りから今回の読取りまでの間に媒体が切り替わったことが分かるので、このような条件を判定している。

この判定の結果、ステップ６２１で受け取った識別情報が直近の読取り成功時に受け取った識別情報と同じであれば、ステップ６３０に進むが、ステップ６２１で受け取った識別情報が直近の読取り成功時に受け取った識別情報と異なれば、次の判定に進む。
即ち、第三に、関連付け情報生成部６１７は、ステップ６２１で受け取った位置情報と、直近に読取りが成功したときに受け取った位置情報の少なくとも一方が、媒体の端部の位置情報であるかどうかを判定する（ステップ６２４）。２つの媒体にまたがる筆記は、必ず何れかの媒体の端部を通るので、このような条件を判定している。尚、媒体の端部としては、媒体の縁の部分の予め定めた領域を用いればよい。

この判定の結果、ステップ６２１で受け取った位置情報と直近の読取り成功時に受け取った位置情報の何れも媒体の端部の位置情報でなければ、ステップ６３０に進むが、ステップ６２１で受け取った位置情報と直近の読取り成功時に受け取った位置情報の少なくとも一方が媒体の端部の位置情報であれば、次の判定に進む。
即ち、第四に、関連付け情報生成部６１７は、直前の識別情報及び位置情報の読取りが成功したかどうかを判定する（ステップ６２５）。尚、識別情報及び位置情報の読取りが成功しなかった場合、ドット配列生成部６１２や符号配列生成部６１３の処理が不能となるので、その旨を伝えてもらうことにより、読取りが成功したかは判定可能である。

この判定の結果、直前の識別情報及び位置情報の読取りが成功していれば、つまり、前回の読取り成功と今回の読取り成功との間に識別情報及び位置情報の読取りが試みられていなければ、関連付け情報生成部６１７は、ステップ６２１で受け取った位置情報が、媒体の端部の位置情報であるかどうかを判定する（ステップ６２６）。尚、媒体の端部としては、媒体の縁の部分の予め定めた領域を用いればよい。
そして、ステップ６２１で受け取った位置情報が媒体の端部の位置情報であれば、ある媒体からその媒体の上に置かれた別の媒体への筆記と判断し、そのような筆記の場合の関連付け情報を生成する（ステップ６２７）。具体的には、先に筆記されていた媒体のレイヤ番号よりも１つ大きなレイヤ番号を含む関連付け情報を生成する。尚、レイヤ番号は、重なり順序を示す情報の一例である。

また、ステップ６２１で受け取った位置情報が媒体の端部の位置情報でなければ、ステップ６２４で少なくとも一方の位置情報は媒体の端部の位置情報であると判定されているので、直前の位置情報が媒体の端部の位置情報であることになる。従って、この場合は、ある媒体からその媒体の下に置かれた別の媒体への筆記と判断し、そのような筆記の場合の関連付け情報を生成する（ステップ６２８）。具体的には、先に筆記されていた媒体のレイヤ番号よりも１つ小さなレイヤ番号を含む関連付け情報を生成する。
尚、ここでは、ステップ６２１で受け取った位置情報、つまり、今回の媒体の位置情報が媒体の端部の位置情報であるかどうかを判定しているが、前回の媒体の位置情報が媒体の端部の位置情報であるかどうかを判定するようにしてもよい。

一方、ステップ６２５で直前の識別情報及び位置情報の読取りが成功しなかったと判定された場合、つまり、前回の読取り成功と今回の読取り成功との間に識別情報及び位置情報の読取りが試みられたものの読取りが成功しなかった場合は、ある媒体から少し離れた位置に置かれた別の媒体への筆記と判断し、そのような筆記の場合の関連付け情報を生成する（ステップ６２９）。具体的には、先に筆記されていた媒体のレイヤ番号と同じレイヤ番号を含む関連付け情報を生成する。
そして、関連付け情報生成部６１７は、ストローク信号を引き続き受信しているかどうかを判定し（ステップ６３０）、受信していれば、ステップ６２１に戻って処理を継続し、受信していなければ、処理を終了する。

その後、関連付け情報生成部６１７は、関連付け情報を通信制御部６１９に受け渡す。すると、通信制御部６１９は、識別情報取得部６１４から取得した識別情報と、筆跡情報生成部６１６から取得した筆跡情報と、関連付け情報生成部６１７から取得した関連付け情報とを通信回路６６に出力する。これにより、通信回路６６は、これらの情報を識別情報サーバ３０に送信し、識別情報サーバ３０が、関連付け情報記憶部３５に関連付け情報を記憶することになる。尚、筆跡情報は、識別情報サーバ３０から、識別情報に対応する文書ＩＤの電子文書を管理する文書サーバ２０へと更に送られ、文書サーバ２０にて文書ＩＤと関連付けて筆跡管理情報として記憶されることになる。

ここで、関連付け情報記憶部３５に記憶される関連付け情報の具体的な内容について説明する。
図１１−１（ａ）は、関連付け情報の具体例を示した図である。
図示するように、関連付け情報は、識別情報と、関連識別情報と、位置関係情報とを対応付けたものとなっている。
このうち、識別情報は、既に述べた通り、媒体を一意に識別するための情報である。
また、関連識別情報は、既に述べた通り、識別情報で特定される媒体に関連付けられた媒体を一意に識別するための情報である。

更に、位置関係情報は、既に述べた通り、識別情報で特定される媒体と関連識別情報で特定される媒体との位置関係を示す情報である。図では、位置関係情報を、（媒体の左上点のＸ座標，媒体の左上点のＹ座標，媒体の傾き角，媒体のレイヤ番号）という形式で示している。ここでは、互いに関連付けられた複数の媒体のうち、最も先に筆記が行われた媒体を基準媒体とする。そして、基準媒体の左上点に原点を、基準媒体上の符号画像におけるＸ方向にＸ軸を、基準媒体上の符号画像におけるＹ方向にＹ軸をそれぞれ設定した座標系を基準座標系とし、基準媒体上の符号画像におけるＹ方向を基準方向とし、基準媒体が存在するレイヤを基準レイヤ（レイヤ０）とする。この状態で、基準媒体以外の媒体の左上点の座標は、基準座標系における座標で表している。また、基準媒体以外の媒体の傾き角は、基準方向からの時計回りの角度で表している。更に、基準媒体以外の媒体のレイヤ番号は、基準レイヤとの差分（基準レイヤよりも上の場合は正の数、基準レイヤよりも下の場合は負の数）で表している。

図では、識別情報「０００１０１」の媒体と識別情報「０００１０２」の媒体に関し、関連識別情報により、これらの媒体が互いに関連付けられていることが示されている。そして、位置関係情報（０，０，０，０）により、識別情報「０００１０１」の媒体が先に筆記された基準媒体であることが示されている。また、位置関係情報（Ｘａ，Ｙａ，α，−１）により、識別情報「０００１０２」の媒体の左上点の座標が基準座標系において（Ｘａ，Ｙａ）であり、識別情報「０００１０２」の媒体の傾き角が基準方向に対してαであり、識別情報「０００１０２」の媒体のレイヤが基準レイヤの１つ下のレイヤであることが示されている。

また、識別情報「０００１０３」の媒体と識別情報「０００１０４」の媒体に関し、関連識別情報により、これらの媒体が互いに関連付けられていることが示されている。そして、位置関係情報（０，０，０，０）により、識別情報「０００１０３」の媒体が先に筆記された基準媒体であることが示されている。また、位置関係情報（Ｘｂ，Ｙｂ，β，０）により、識別情報「０００１０４」の媒体の左上点の座標が基準座標系において（Ｘｂ，Ｙｂ）であり、識別情報「０００１０４」の媒体の傾き角が基準方向に対してβであり、識別情報「０００１０４」の媒体のレイヤが基準レイヤと同じレイヤであることが示されている。尚、このようにレイヤが同じなのは、識別情報「０００１０３」の媒体と識別情報「０００１０４」の媒体とが重なっていないことを前提としているためである。

次に、（ａ）の（Ｘａ，Ｙａ）及びαの算出方法について説明する。
図１１−２（ｂ）は、これらの値の算出方法について説明するための図である。尚、ここでは、識別情報「０００１０１」の媒体（基準媒体）を「印刷文書Ａ」とし、識別情報「０００１０２」の媒体を「印刷文書Ｂ」とする。また、座標系としては、印刷文書Ａを基準とした基準座標系を用いるが、説明のために、印刷文書Ｂを基準としたｘ軸及びｙ軸も示している。
図において、太線で示した筆跡は、点（Ｘ１，Ｙ１）において、印刷文書Ａ上から印刷文書Ｂ上へと移っている。このとき、点（Ｘ１，Ｙ１）の直前の予め定めた範囲内で印刷文書Ａから取得した位置情報により、筆跡のＹ軸に対する方向角が分かる。また、点（Ｘ１，Ｙ１）の直後の予め定めた範囲内で印刷文書Ｂから取得した位置情報により、筆跡のｙ軸に対する方向角も分かる。そこで、前者の方向角と、後者の方向角をＹ軸に対する方向角に変換して得られた方向角とが等しくなるという条件により、αを算出することができる。

また、（Ｘａ，Ｙａ）は、傾き角αを考慮しなければ、（Ｘ１，Ｙ１）からベクトル（ｘ１，ｙ１）を減じたものとすればよい。しかし、実際は傾き角αがあるので、ベクトル（ｘ１，ｙ１）をαだけ回転したベクトルを（Ｘ１，Ｙ１）から減じたものとなる。即ち、（Ｘａ，Ｙａ）＝（Ｘ１−ｘ１＊ｃｏｓα＋ｙ１＊ｓｉｎα，Ｙ１−ｘ１＊ｓｉｎα−ｙ１＊ｃｏｓα）となる。

次に、（ｂ）の（Ｘｂ，Ｙｂ）及びβの算出方法について説明する。
図１１−２（ｃ）は、これらの値の算出方法について説明するための図である。尚、ここでは、識別情報「０００１０３」の媒体（基準媒体）を「印刷文書Ｃ」とし、識別情報「０００１０４」の媒体を「印刷文書Ｄ」とする。また、座標系としては、印刷文書Ｃを基準とした基準座標系を用いるが、説明のために、印刷文書Ｄを基準としたｘ軸及びｙ軸も示している。
図において、太線で示した筆跡は、点（Ｘ２，Ｙ２）において、印刷文書Ｃ上からなくなり、点（Ｘ２’，Ｙ２’）において、印刷文書Ｄ上に現れている。このとき、点（Ｘ２，Ｙ２）の直前の予め定めた範囲内で印刷文書Ｃから取得した位置情報により、筆跡のＹ軸に対する方向角が分かる。また、点（Ｘ２’，Ｙ２’）の直後の予め定めた範囲内で印刷文書Ｄから取得した位置情報により、筆跡のｙ軸に対する方向角も分かる。そこで、印刷文書Ｃを離れてから印刷文書Ｄに接するまでの筆跡が直線であることが保証されているとすると、前者の方向角と、後者の方向角をＹ軸に対する方向角に変換して得られた方向角とが等しくなるという条件により、βを算出することができる。

また、（Ｘｂ，Ｙｂ）は、傾き角βを考慮しなければ、（Ｘ２’，Ｙ２’）からベクトル（ｘ２，ｙ２）を減じたものとすればよい（ｘ２は、筆跡が印刷文書Ｄに達した点の印刷文書Ｄを基準とした座標系におけるｘ座標）。しかし、実際は傾き角βがあるので、ベクトル（ｘ２，ｙ２）をβだけ回転したベクトルを（Ｘ２’，Ｙ２’）から減じたものとなる。即ち、（Ｘｂ，Ｙｂ）＝（Ｘ２’−ｘ２＊ｃｏｓβ＋ｙ２＊ｓｉｎβ，Ｙ２’−ｘ２＊ｓｉｎβ−ｙ２＊ｃｏｓβ）となる。

ところで、この例の場合、（Ｘ２’，Ｙ２’）は、印刷文書から取得した位置情報により直ちには分からない。従って、次のような計算を行う。即ち、まず、点（Ｘ２，Ｙ２）の前後の予め定めた範囲内でデジタルペン６０が移動した距離を、デジタルペン６０がその距離を移動するのに要した時間で割って、第１の移動速度を求める。次に、点（Ｘ２’，Ｙ２’）の前後の予め定めた範囲内でデジタルペン６０が移動した距離を、デジタルペン６０がその距離を移動するのに要した時間で割って、第２の移動速度を求める。そして、第１の移動速度と第２の移動速度を平均してデジタルペン６０の移動速度を求める。また、点（Ｘ２，Ｙ２）から点（Ｘ２’，Ｙ２’）までデジタルペン６０が移動するのに要した時間と移動速度とを掛け合わせて、点（Ｘ２，Ｙ２）から点（Ｘ２’，Ｙ２’）までの距離を求める。そして、最後に、この距離と印刷文書Ｄの傾き角βとから、点（Ｘ２，Ｙ２）から点（Ｘ２’，Ｙ２’）へのベクトルのＸ成分及びＹ成分を求め、（Ｘ２，Ｙ２）にこのベクトルを加えることにより（Ｘ２’，Ｙ２’）を求める。
尚、この例において、（Ｘｂ，Ｙｂ）、β、（Ｘ２，Ｙ２）から（Ｘ２’，Ｙ２’）へのベクトル等、印刷文書Ｃと印刷文書Ｄのこれらを含む平面上での位置関係は、印刷文書Ｃと印刷文書Ｄの離れ度合いの一例である。

Ｃ．筆跡情報の表示
本実施の形態では、上記の関連付け情報に基づいて、ある印刷媒体と別の印刷媒体にまたがる筆跡情報を表示する。
その場合、ユーザは、まず、印刷媒体をデジタルペン６０で指示する。すると、デジタルペン６０は、識別情報を読み取り、通信装置７０を介して端末装置５０に出力する。
すると、端末装置５０は、デジタルペン６０から伝えられた識別情報を識別情報サーバ３０に送信する。

図１２は、その後の識別情報サーバ３０及び文書サーバ２０の動作を示したシーケンス図である。
識別情報サーバ３０では、まず、受信部３１が、端末装置５０から識別情報を受信する（ステップ３３１）。次に、識別情報は媒体管理部３２に渡され、媒体管理部３２が、関連付け情報を参照し、識別情報に対応する関連識別情報を取得する（ステップ３３２）。また、媒体管理部３２は、ステップ３３１で取得した識別情報とステップ３３２で取得した関連識別情報をキーとして媒体管理情報及び関連付け情報を検索し、これらの識別情報にそれぞれ対応する複数の文書ＩＤ及び印刷設定を媒体管理情報から取得すると共に、これらの識別情報にそれぞれ対応する複数の位置関係情報を関連付け情報から取得する（ステップ３３３）。そして、複数の印刷設定及び位置関係情報は、表示情報生成部３４に渡され、複数の文書ＩＤ及びページ番号（印刷設定に含まれる）は送信部３９に渡され、送信部３９がこれらの文書ＩＤ及びページ番号を文書サーバ２０に送信する（ステップ３３４）。

これにより、文書サーバ２０では、受信部２１が、複数の文書ＩＤ及びページ番号を受信する（ステップ２３１）。そして、これらの情報は筆跡管理部２３に受け渡され、筆跡管理部２３が、筆跡管理情報記憶部２４に記憶された筆跡管理情報を参照し、渡された複数の文書ＩＤ及びページ番号にそれぞれ対応する複数の筆跡情報を取り出す（ステップ２３２）。その後、取り出された情報は送信部２９に受け渡され、送信部２９がこれらの情報を、複数の文書ＩＤによってそれぞれ特定される複数の電子文書と共に識別情報サーバ３０に送信する（ステップ２３３）。

これにより、識別情報サーバ３０では、受信部３１が、複数の電子文書及び筆跡情報を受信する（ステップ３３５）。そして、これらの情報は表示情報生成部３４に渡される。
その後、表示情報生成部３４が、ステップ３３３で媒体管理部３２によって取り出され渡された印刷設定及び位置関係情報を考慮して、個々の電子文書の印刷イメージを表すオブジェクトからなる表示情報を生成し、その上に、ステップ３３５で受信した筆跡情報を追加する（ステップ３３６）。この場合、印刷設定には、各媒体のサイズや色等の属性が含まれるので、各媒体に対する電子文書の印刷イメージを表すオブジェクトにも、これらの属性が反映される。また、左上点の座標、傾き角、レイヤといった位置関係もオブジェクトに反映される。
そして、表示情報生成部３４は、このようにして生成した表示情報を送信部３９に渡し、送信部３９が、表示情報を端末装置５０に送信する（ステップ３３７）。
これにより、端末装置５０では、個々の電子文書のイメージを独立したオブジェクトとして操作可能となる。
以上により、本実施の形態の動作の説明を終了する。

尚、上記実施の形態では、２つの媒体にまたがる筆記を、媒体の識別情報の切り替わりを検出することで認識したが、これには限らない。例えば、同じ媒体に筆記を行う際に読み取られる位置情報は規則的な連続性を持つことに着目し、この規則的な連続性の途切れを検出することで認識してもよい。

また、上記実施の形態では、２つの媒体にまたがって筆記が行われた場合について説明したが、複数の媒体にまたがって筆記が行われた場合であっても本発明は適用可能である。複数の媒体にまたがる筆記は、２つの媒体にまたがる筆記を集めたものであるので、２つの媒体にまたがる筆記に本発明を適用することにより、結果的に、複数の媒体にまたがる筆記に本発明を適用したことになる。尚、媒体の重ね方や筆記の仕方によっては、媒体の重なり順序が特定できない場合はある。そのような場合は、媒体のサイズ情報等を用いて、重なり順序をある程度推測し、重なり順序を推測できない場合は、システム側で重なり順序を適宜決定して、表示画面上でのユーザの操作によって変更できるようにすればよい。

ところで、本実施の形態では、デジタルペン６０が筆跡情報及び関連付け情報を生成し、識別情報サーバ３０が関連付け情報を記憶して筆跡情報の表示を制御し、文書サーバ２０が筆跡情報を記憶するようにした。しかしながら、これらの処理を如何なる装置で行うかについては種々のバリエーションが考えられる。例えば、筆跡情報及び関連付け情報の生成は、端末装置５０又は識別情報サーバ３０が行ってもよいし、関連付け情報の記憶や筆跡情報の表示の制御は、端末装置５０又は文書サーバ２０が行ってもよい。また、筆跡情報の記憶は、識別情報サーバ３０が行ってもよい。
そこで、これらの処理をコンピュータ９０で行うものとして、コンピュータ９０のハードウェア構成について説明する。

図１３は、コンピュータ９０のハードウェア構成を示した図である。
図示するように、コンピュータ９０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ９０は、外部との通信を行うための通信Ｉ／Ｆ９４と、ビデオメモリやディスプレイ等からなる表示機構９５と、キーボードやマウス等の入力デバイス９６とを備える。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０，５０…端末装置、２０…文書サーバ、３０…識別情報サーバ、４０…画像形成装置、６０…デジタルペン、８０…ネットワーク

Claims (9)

1. 媒体の識別情報と当該媒体上の位置情報とが印刷された当該媒体から読み取られた当該識別情報を取得する識別情報取得手段と、
   前記媒体から読み取られた前記位置情報に基づいて生成された当該媒体に対する筆記情報を取得する筆記情報取得手段と、
   第１の識別情報と、当該第１の識別情報とは異なる第２の識別情報とが、前記識別情報取得手段により取得されたことを条件として、前記筆記情報取得手段により取得された前記筆記情報のうち、当該第１の識別情報が印刷された第１の媒体に対する第１の筆記情報と、当該第２の識別情報が印刷された第２の媒体に対する第２の筆記情報とが関連していることを示す関連付け情報を生成する生成手段と
   を備えたことを特徴とする筆記情報処理装置。
2. 前記生成手段は、前記第１の識別情報が読み取られてから前記第２の識別情報が読み取られるまでの時間が予め定められた時間内であることを更なる条件として、前記関連付け情報を生成することを特徴とする請求項１に記載の筆記情報処理装置。
3. 前記生成手段は、前記第１の識別情報が読み取られてから前記第２の識別情報が読み取られるまでの間に識別情報の読取りが試みられなかった場合に、当該第１の媒体と当該第２の媒体とが重ねて配置されていることを更に示す前記関連付け情報を生成することを特徴とする請求項１に記載の筆記情報処理装置。
4. 前記生成手段は、前記第１の識別情報が前記第１の媒体の端部として定められた領域から読み取られたかどうか、又は、前記第２の識別情報が前記第２の媒体の端部として定められた領域から読み取られたかどうかに基づいて、当該第１の媒体と当該第２の媒体の重なりの順序を更に示す前記関連付け情報を生成する請求項３に記載の筆記情報処理装置。
5. 前記生成手段は、前記第１の識別情報が読み取られてから前記第２の識別情報が読み取られるまでの間に識別情報の読取りが試みられ、かつ、当該読取りが成功しなかった場合に、当該第１の媒体と当該第２の媒体とが離れて配置されていることを更に示す前記関連付け情報を生成することを特徴とする請求項１に記載の筆記情報処理装置。
6. 前記生成手段は、前記第１の識別情報が読み取られた前記第１の媒体の位置と、前記第２の識別情報が読み取られた前記第２の媒体の位置と、筆記に用いた電子筆記具の移動速度とに基づいて、当該第１の媒体と当該第２の媒体の離れ度合いを更に示す前記関連付け情報を生成することを特徴とする請求項５に記載の筆記情報処理装置。
7. 前記関連付け情報に基づいて、前記第１の媒体、前記第２の媒体、前記第１の筆記情報、前記第２の筆記情報を表す画像が表示されるように制御する制御手段を更に備えたことを特徴とする請求項１乃至請求項６の何れかに記載の筆記情報処理装置。
8. 媒体上の位置情報が印刷された当該媒体から読み取られた当該位置情報を取得する位置情報取得手段と、
   前記媒体から読み取られた前記位置情報に基づいて生成された当該媒体に対する筆記情報を取得する筆記情報取得手段と、
   第１の位置情報と、当該第１の位置情報までの位置情報の規則性を途切れさせる第２の位置情報とが、前記位置情報取得手段により取得されたことを条件として、前記筆記情報取得手段により取得された前記筆記情報のうち、当該第１の位置情報が印刷された第１の媒体に対する第１の筆記情報と、当該第２の位置情報が印刷された第２の媒体に対する第２の筆記情報とが関連していることを示す関連付け情報を生成する生成手段と
   を備えたことを特徴とする筆記情報処理装置。
9. コンピュータに、
   媒体の識別情報と当該媒体上の位置情報とが印刷された当該媒体から読み取られた当該識別情報を取得する機能と、
   前記媒体から読み取られた前記位置情報に基づいて生成された当該媒体に対する筆記情報を取得する機能と、
   第１の識別情報と、当該第１の識別情報とは異なる第２の識別情報とが、取得されたことを条件として、当該第１の識別情報が印刷された第１の媒体に対する第１の筆記情報と、当該第２の識別情報が印刷された第２の媒体に対する第２の筆記情報とが関連していることを示す関連付け情報を生成する機能と
   を実現させるためのプログラム。

Images