JP2009181504A - 電子筆記具およびプログラム - Google Patents

Abstract

【課題】バーコードなどのコード画像を読み取る際の画像合成を可能とし、コード画像からの情報の取得を可能とする電子筆記具等を提供する。
【解決手段】符号画像読み取りモードにおいては、読み出しエリア（撮像エリア、切り出しエリア）を一般的には広めに設定するため（（ａ）参照）、換言すれば赤外ＣＭＯＳ６１４の多数の受光素子からの読み出しが行われるため、フレームレートが低いものとなる。この結果、バーコードの読み取りを行おうとしても、読み取り画像に欠けを生じ読み取りのできない箇所が生じてしまう。バーコード読み取りモードでは、（ｂ）に示すように、画素信号の読み出しを行う受光素子の数を減らし、フレームレートを向上させる。換言すれば画素信号の読み出しを行うエリアを小さいものとし、フレームレートを向上させる。
【選択図】図１３

Description

本発明は、電子筆記具およびプログラムに関する。

近年、用紙等の媒体上に筆記された文字や図形等が電子データに変換され、それがパソコンや携帯電話等に転送されて、筆記内容が保存等される技術が注目されている。
例えば特許文献１では、次のような技術が記載されている。すなわち、表面にそれぞれ異なるパターンで形成された微細なドットが印刷された媒体と、例えば撮像素子が内蔵されたペンデバイスとを用い、ペンデバイスによりこの媒体上に筆記が行われると、筆記された文字や図形等の位置のドットパターンが撮像素子に読み込まれ、文字や図形等の位置(描画トレース)の位置座標が特定される。それにより、筆記された文字や図形等からなる電子文書の生成や、所定の電子文書への文字や図形等の付加等を行う。

特開２００４−９４９０７号公報

ところで、撮像素子等を備えたペンデバイスなどの電子筆記具を用いてバーコードなどのコード画像の読み取りを行う場合には画像を合成する必要がある。しかしながら、そのままの撮像範囲とフレームレートの場合、バーコード上を移動する電子筆記具のスキャン速度によっては、画像の欠けが生じたり、また欠けが生じなくても共通領域が小さすぎて正確な合成ができないなどの不具合が生じたりする。これを防ぐためには撮像範囲を広げると同時に十分なフレームレートを確保する必要があるが、一般に撮像範囲とフレームレートは撮像素子の処理能力を取り合うトレードオフの関係にあるため、両方を上げることは困難である。
本発明の目的は、バーコードなどのコード画像を読み取る際の画像合成を可能とし、コード画像からの情報の取得を可能とする電子筆記具等を提供することにある。

請求項１に記載の発明は、複数の受光素子が２次元マトリックス状に配列され、媒体上の画像を撮像する撮像部と、前記撮像部の所定の領域に含まれる受光素子を用いて前記媒体上の画像を撮像する第１のモードと、前記撮像部の前記所定の領域よりも小さい領域に含まれる受光素子を用いて前記媒体上の画像を撮像する第２のモードと、前記第１のモードと前記第２のモードとを切り替える切り替え手段と、を有する電子筆記具である。
請求項２に記載の発明は、前記第２のモードにて、媒体に付されたコード画像が断片的に複数撮像された場合に、当該コード画像の全体を再現した合成画像を生成する画像生成手段を更に備えることを特徴とする請求項１記載の電子筆記具である。
請求項３に記載の発明は、前記画像生成手段により生成された前記合成画像から前記コード画像に関する情報を取得する情報取得手段を更に備えることを特徴とする請求項２記載の電子筆記具である。
請求項４に記載の発明は、前記小さい領域に含まれる受光素子の各々からの信号に基づき前記第２のモードにて撮像された画像における濃度分布を把握する把握手段と、前記把握手段にて把握された濃度分布が所定の分布ではない場合に警告情報を出力する出力手段と、を更に備えることを特徴とする請求項１乃至３のいずれかに記載の電子筆記具である。
請求項５に記載の発明は、前記小さい領域の位置を変更する変更手段を更に備えることを特徴とする請求項１乃至４のいずれかに記載の電子筆記具である。
請求項６に記載の発明は、前記変更手段は、前記第２のモードにて撮像された画像における濃度分布が所定の分布ではない場合に前記小さい領域の位置を変更することを特徴とする請求項５記載の電子筆記具である。
請求項７に記載の発明は、前記第１のモードにて、媒体から当該媒体内における位置を示す符号画像が撮像された場合に、当該符号画像から位置情報を取得する位置情報取得手段を更に備え、前記切り替え手段は、前記位置情報取得手段により取得された前記位置情報が所定の位置情報である場合に前記第１のモードから前記第２のモードへと切り替えることを特徴とする請求項１乃至６のいずれかに記載の電子筆記具である。
請求項８に記載の発明は、前記第１のモードにて、媒体から当該媒体内における位置を示す符号画像が撮像された場合に、当該符号画像に基づき当該媒体に対する前記電子筆記具の軌跡情報を取得する軌跡情報取得手段を更に備え、前記切り替え手段は、前記軌跡情報取得手段により取得された前記軌跡情報に基づき前記電子筆記具が前記媒体に付されたコード画像に接近していると判断される場合に、前記第１のモードから前記第２のモードへと切り替えることを特徴とする請求項１乃至６のいずれかに記載の電子筆記具である。

請求項９に記載の発明は、複数の受光素子を有する撮像部と、前記撮像部における前記複数の受光素子の中の何れか複数の受光素子からなる第１のエリアの受光素子から出力される信号を取得する第１の読み取りモードと、前記撮像部の前記第１のエリアよりも少ない複数の受光素子からなる第２のエリアの受光素子から出力される信号を取得する第２の読み取りモードと、を有する電子筆記具である。
請求項１０に記載の発明は、前記第２のエリアとは異なるエリアであって前記第１のエリアよりも少ない複数の受光素子からなる第３のエリアの受光素子から出力される信号を取得する第３のモードを更に有することを特徴とする請求項９記載の電子筆記具である。
請求項１１に記載の発明は、前記第３のエリアは、前記第２のエリアに対し交差する関係で形成されることを特徴とする請求項１０記載の電子筆記具である。
請求項１２に記載の発明は、前記第３のエリアは、前記第２のエリアに対し略直交する関係で形成されることを特徴とする請求項１０又は１１記載の電子筆記具である。
請求項１３に記載の発明は、複数の受光素子を有する撮像部の所定の領域に含まれる受光素子から信号を読み出す第１の機能と、前記撮像部の前記所定の領域よりも小さい領域に含まれる受光素子から信号を読み出す第２の機能と、をコンピュータに実現させるプログラムである。

本発明の請求項１によれば、第２のモードによってフレームレートを高めることが可能となり、撮像画像にてコード画像の欠けが生じる状態を軽減できる。
本発明の請求項２によれば、コード画像が断片的に複数撮像された場合でもコード画像の全体を把握可能となる。
本発明の請求項３によれば、例えばコード画像がバーコードである場合にはバーコード情報を取得することが可能となる。
本発明の請求項４によれば、例えば、電子筆記具の向きがバーコード情報などの取得に適していない場合にユーザに対して警告を発することが可能となる。
本発明の請求項５によれば、本発明を採用しない場合に比べ、バーコード情報などの取得の可能性を高めることが可能となる。
本発明の請求項６によれば、第２のモードにて撮像された画像における濃度分布が所定の分布ではなくバーコード情報等の取得に適していない場合でも、バーコード情報等の取得を行うことが可能となる。
本発明の請求項７によれば、本発明を採用しない場合に比べて、例えばユーザがバーコードを読み取る際の操作を簡易なものとすることができる。
本発明の請求項８によれば、本発明を採用しない場合に比べて、例えばユーザがバーコードを読み取る際の操作を簡易なものとすることができる。

本発明の請求項９によれば、第２の読み取りモードによってフレームレートを高めることが可能となり、撮像画像にてコード画像の欠けが生じる状態を軽減できる。
本発明の請求項１０によれば、本発明を採用しない場合に比べて、例えばバーコード情報等の取得の可能性をより高めることができる。
本発明の請求項１１によれば、例えば、第２のエリアがコードを構成するバーに沿う状態にありバーコード情報等の取得ができない場合でも、コード情報の取得が可能となる。
本発明の請求項１２によれば、バーコード情報等の取得の可能性をより高めることができる。
本発明の請求項１３によれば、撮像画像にてコード画像の欠けが生じる状態を軽減できるプログラムを提供することができる。

以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
まず、本実施の形態における筆跡情報管理システムの全体構成について説明する。
図１は、本実施の形態の筆跡情報管理システムの構成の一例を示した図である。図１に示したように、この筆跡情報管理システムは、端末装置１０と、文書サーバ２０と、識別情報サーバ３０と、画像形成装置４０と、端末装置５０とがネットワーク８０に接続されることにより構成されている。また、端末装置５０には、デジタルペン６０が通信装置７０を介して接続されている。

本実施の形態の筆跡情報管理システムでは、端末装置１０から電子文書の印刷要求が行われると、文書サーバ２０は端末装置１０からの印刷要求を受け取り、画像形成装置４０に対して印刷要求の対象となった電子文書の印刷指示を行う。それにより、画像形成装置４０は、この電子文書の文書画像を紙等の媒体に印刷するが、その際に、画像形成装置４０は文書画像に加えて符号画像を媒体上に印刷する。

ここでの符号画像とは、識別情報および位置情報を符号化して得られる識別符号および位置符号を画像化したものである。識別情報とは、媒体を一意に特定するための情報であり、本実施の形態では識別情報サーバ３０が発行する。また、位置情報は、媒体上の座標位置を特定するための情報であり、本実施の形態では文書サーバ２０が生成する。
そして、文書画像と符号画像とが印刷された媒体に対し、ユーザがデジタルペン６０を用いて筆記すると、デジタルペン６０は符号画像に含まれる位置情報に基づいて手書き情報(筆跡情報)を生成する。またそれと同時に、デジタルペン６０は符号画像に含まれる識別情報を認識する。そして、認識された識別情報と筆跡情報とは、端末装置５０を介して文書サーバ２０に送られる。識別情報と筆跡情報とを受け取った文書サーバ２０は、識別情報に基づいて媒体に印刷された電子文書を特定し、この特定された電子文書と筆跡情報とを関連付けて記憶する。

なお、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、ＯＨＰシート等といったプラスチックシートや金属板等であっても構わない。さらに、本明細書では、電子文書、媒体、さらにはデジタルペン６０やユーザについて、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」という場合には、媒体に関する識別情報を意味するものとする。すなわち、本実施の形態では、媒体に固有に付与される媒体識別情報の一例として、この識別情報を用いる。

続いて、本実施の形態の筆跡情報管理システムを構成する各構成要素について詳細に説明する。
端末装置１０は、文書サーバ２０に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置１０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
文書サーバ２０は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置１０から電子文書の印刷要求があると、電子文書の画像と、識別情報および位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置４０に対して出力する。ここで、文書サーバ２０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。

識別情報サーバ３０は、媒体に付与する識別情報を発行するコンピュータ装置である。そして、発行した識別情報を、その識別情報が付与される媒体に印刷される電子文書と関連付けて記憶する。ここで、識別情報サーバ３０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
画像形成装置４０は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置４０は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂「複合機」であってもよい。ここで、画像形成装置４０における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。

端末装置５０は、印刷文書に対する筆記を電子化した情報(以下、「筆跡情報」という)を、印刷文書に記録された画像の元となる電子文書に反映させるために識別情報サーバ３０に送信するコンピュータ装置である。また、筆跡情報を反映する対象の電子文書をディスプレイ(不図示)に表示し、その上に筆跡情報を重ねて表示するようにしてもよい。ここで、端末装置５０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。なお、本実施の形態では、筆記の内容を電子化した筆跡情報の一例として、筆跡情報を用いている。また、筆跡情報を主に手書き情報として説明するが、これに限らず、例えば、建築や機械等の図面データを出力する装置であるプロッタ等によって機械的に描画された情報等を含むものである。

電子筆記具の一例としてのデジタルペン６０は、印刷文書上に文字または図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像やバーコードを読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字または図形をイメージデータ化した筆跡情報をこの位置情報に基づいて生成し記憶等する。また、撮像素子から読み取った画像からバーコード情報を取得し記憶等する。
通信装置７０は、デジタルペン６０から筆跡情報やバーコード情報を取得して端末装置５０に送信する装置である。通信装置７０とデジタルペン６０との間の通信の方式および通信装置７０と端末装置５０との間の通信の方式としては、ＵＳＢ(Universal Serial Bus)、Ｂｌｕｅｔｏｏｔｈ(登録商標)、赤外線通信機能等、種々の方式が用いられる。なお、図１では、通信装置７０をデジタルペン６０と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。

引き続いて、筆跡情報管理システムを構成する各構成要素の詳細を説明する。
まず、文書サーバ２０の構成について説明する。
図２は、文書サーバ２０の機能構成の一例を示したブロック図である。図２に示したように、文書サーバ２０は、受信部２１と、識別情報取得部２２と、電子文書管理部２３と、筆跡情報管理部２４と、文書/筆跡情報記憶部２５とを備える。また、識別符号生成部２７ａと、位置符号生成部２７ｂと、符号配置部２７ｃと、パターン画像記憶部２７ｄと、符号画像生成部２７ｅとを備える。さらに、文書画像生成部２６と、画像合成部２８と、送信部２９とを備える。

受信部２１は、端末装置１０から印刷要求を受信する。ここで、印刷要求には、電子文書に加えて、印刷対象となる電子文書の識別情報(以下、「文書ＩＤ」という)と、印刷される媒体上での電子文書のレイアウトを定めるための各種設定(以下、「印刷設定」という)とが含まれる。文書ＩＤは、端末装置１０にて電子文書毎に付与されるが、文書サーバ２０にて付与してもよい。また、受信部２１は、印刷文書が印刷される媒体に固有に付与される識別情報を識別情報サーバ３０から受信する。さらに、印刷文書に対する筆記が行われた際には、識別情報サーバ３０から、印刷文書に埋め込まれた識別情報と、印刷文書に対する筆記の内容(筆記画像)を電子化した筆跡情報とを受信する。
識別情報取得部２２は、受信部２１から文書ＩＤおよび印刷設定を取得し、これを送信部２９に渡して識別情報の発行要求の送信を指示し、これを文書画像生成部２６に渡して文書画像の生成を指示する。また、受信部２１から媒体の識別情報を取得し、これを識別符号生成部２７ａに渡して識別符号の生成を指示する。

電子文書管理部２３は、受信部２１が受信した識別情報と電子文書とを取得し、文書ＩＤに基づき両者を対応付けて文書/筆跡情報記憶部２５に登録する。また、文書/筆跡情報記憶部２５に記憶された電子文書についての、印刷設定に従って媒体上に印刷された状態を反映した新たな電子文書(第２の電子文書)を生成し、生成された第２の電子文書を文書/筆跡情報記憶部２５に記憶する。さらに、電子文書の表示や印刷が指示された際には、対応する識別情報と電子文書とを、文書/筆跡情報記憶部２５から取り出す。

筆跡情報管理部２４は、受信部２１が受信した識別情報と筆跡情報とを取得し、識別情報に基づき筆跡情報を電子文書に対応付けて文書/筆跡情報記憶部２５に登録する。また、筆跡情報の表示が指示された際には、対応する識別情報と筆跡情報とを、文書/筆跡情報記憶部２５から取り出す。
文書/筆跡情報記憶部２５は、電子文書管理部２３によって管理される電子文書と、筆跡情報管理部２４によって管理される筆跡情報とを記憶する。ここで、本実施の形態では、識別情報と電子文書と筆跡情報とを関連付けて記憶する記憶手段の一例として、文書/筆跡情報記憶部２５を設けている。

識別符号生成部２７ａは、媒体を特定する識別情報を符号化して識別符号を生成する。
位置符号生成部２７ｂは、媒体上の座標位置を示す位置情報を符号化して位置符号を生成する。
符号配置部２７ｃは、識別符号生成部２７ａにて生成された識別符号や、位置符号生成部２７ｂにて生成された位置符号等を所定のレイアウト(後段の図３参照)に従って２次元平面に配置し２次元の符号配列を生成する。
パターン画像記憶部２７ｄは、符号配列に格納される各符号の符号値に対応するパターン画像を記憶する。
符号画像生成部２７ｅは、符号配置部２７ｃが生成した２次元の符号配列を参照し、各符号値に対応したパターン画像を選択して符号画像を生成する。

文書画像生成部２６は、識別情報取得部２２から文書ＩＤおよび印刷設定を取得し、この文書ＩＤで特定される電子文書を文書/筆跡情報記憶部２５から読み出す。そして、印刷設定に従ってその電子文書の文書画像を生成する。
画像合成部２８は、符号画像生成部２７ｅが生成した符号画像と、文書画像生成部２６が生成した文書画像とを合成し、合成画像を生成する。
送信部２９は、識別情報サーバ３０に対して識別情報の発行要求を送信する。また、画像形成装置４０に対して媒体に対する画像の印刷命令を送信する。さらに、筆跡情報の表示が指示された際には、識別情報サーバ３０に対して識別情報と筆跡情報とを送信する。

ここで、本実施の形態の文書サーバ２０で生成される符号画像について説明する。
図３は、符号画像を構成する画像等の一例を示した図である。まず、符号画像を構成する単位パターンについて説明する。図３(ａ)は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図３(ａ)では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。すなわち、図３(ａ)は、ドットを配置可能な９箇所の中から選択した２箇所(黒塗りの領域)にドットを配置することで単位パターンを構成した例を示したものである。ここで、９箇所の中から２箇所を選択する組み合わせは３６(＝_９Ｃ_２)通りなので、単位パターンは、３６種類存在する。このうち、４種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号および位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、４種類の同期パターンとしては、そのうちの１つの同期パターンを９０度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この４種類の単位パターンを除く３２種類の単位パターンは、識別符号および位置符号を表現する情報パターンとして使用され、５ビットの情報が表現される。

ところで、図３(ａ)に示したドットは、あくまで情報表現のためのドットであり、画像を構成する最小の点を意味するドットとは必ずしも一致しない。本実施の形態において、情報表現のためのドット(図３(ａ)の最小の四角)は、６００ｄｐｉにおける２ドット×２ドットの大きさを有している。６００ｄｐｉにおける１ドットの大きさは０．０４２３ｍｍなので、情報表現のためのドット(図３(ａ)の最小の四角)の一辺は、８４．６μｍ(＝０．０４２３ｍｍ×２)である。情報表現のためのドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、情報表現のためのドットの大きさとして、５０μｍより大きく１００μｍより小さい上記の値を採用している。ただし、上記の値８４．６μｍは、あくまで計算上の数値であり、実際に印刷されたトナー像では１００μｍ程度になる。なお、本明細書で「ドット」というときは、特に明示しない限り、画像を構成する最小の点を意味するドットではなく、情報表現のためのドットを指すものとする。

次に、このような単位パターンから構成される符号ブロックについて説明する。図３(ｂ)に、符号ブロックのレイアウトの一例を示す。なお、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。すなわち、図３(ｂ)の最小の四角(以下、「単位ブロック」という)に、図３(ａ)のような単位パターン(３６通りの単位パターンのいずれか)が配置され、その画像が媒体に形成されることになる。
図３(ｂ)のレイアウトでは、符号ブロックの左上の１つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の４つの単位ブロックにＸ位置符号が配置され、同期符号が配置された単位ブロックの下側の４つの単位ブロックにＹ位置符号が配置されている。さらに、これらの位置符号が配置された単位ブロックに囲まれた１６(＝４×４)個の単位ブロックに識別符号が配置されている。

ここで、識別情報の符号化について述べる。
識別情報を符号化する場合、識別情報を構成するビット列は、ＲＳ符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、ＲＳ符号化が適している。ＲＳ符号は多値の符号法であり、この場合、単位ブロックで表現される値がＲＳ符号の多値に対応するからである。例えば、１つの単位ブロックで５ビットの情報を表現する場合、６０ビットの識別情報は、ブロック長が５ビットの１２個のブロックに分割される。そして、２ブロックの誤りを訂正可能なＲＳ符号を採用したとすると、符号長は１６ブロックとなり、図３(ｂ)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。なお、符号化方式はＲＳ符号に限定するものでなく、その他の符号化方式、例えば、ＢＣＨ符号等を使用してもよい。

引き続いて、位置情報の符号化について述べる。
位置情報の符号化には、擬似乱数系列の一種であるＭ系列符号が使用される。ここで、Ｍ系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列とのうち、その周期が最長になる系列をいう。Ｋをシフトレジスタの段数とすると、Ｍ系列の系列長は２^Ｋ−１となる。このＭ系列から取り出した任意の連続したＫビットは、同じＭ系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なＭ系列の次数を求め、Ｍ系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、Ｍ系列を毎回生成する必要はない。すなわち、固定のＭ系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長８１９１のＭ系列(Ｋ＝１３)を使用したとする。この場合、位置符号も５ビット単位で埋め込むため、系列長８１９１のＭ系列から５ビットずつ取り出してブロック化する。

なお、本明細書では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いている。しかしながら、広範な位置情報を用意しておき、媒体ごとに異なる範囲から位置情報を切り出して埋め込み、位置情報の違いによって媒体を識別するという手法もある。そこで、このような手法においては、媒体を識別する機能が位置情報に備わっているものと見て、位置情報を識別情報としても考えるものとする。

次に、識別情報サーバ３０の構成について説明する。
図４は、識別情報サーバ３０の機能構成の一例を示したブロック図である。図４に示したように、識別情報サーバ３０は、受信部３１と、識別情報管理部３２と、識別情報記憶部３３と、表示情報生成部３４と、送信部３９とを備える。
受信部３１は、文書サーバ２０から識別情報の発行要求を受信する。また、受信部３１は、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを端末装置５０から受信する。ここで、本実施の形態では、端末装置５０から媒体の識別情報と筆跡情報とを受信し、さらに筆跡情報の表示が指示された際に、文書サーバ２０から媒体の識別情報と筆跡情報とを受信する受信手段の一例として、受信部３１を設けている。

識別情報管理部３２は、識別情報の発行要求があると、識別情報を重複することなく発行し、その際に指定された文書ＩＤおよび印刷設定を識別情報に関連付けて記憶する。また、識別情報の指定を受けて、その識別情報に対応する文書ＩＤおよび印刷設定を取り出す。
識別情報記憶部３３は、識別情報を、その使用/未使用の状態、それが付与された媒体に印刷された電子文書の文書ＩＤ、それが付与された媒体に電子文書が印刷された際の印刷設定を関連付けて記憶するデータベースである。
表示情報生成部３４は、筆跡情報の表示が指示された際に、文書サーバ２０から取得した情報に基づいて、筆跡情報を表示するための表示情報を生成する。この表示情報としては、例えば、端末装置５０で表示するイメージを生成する元となるデータを生成する。
送信部３９は、文書サーバ２０からの要求に応じて発行した識別情報を文書サーバ２０に送信する。また、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを文書サーバ２０に送信する。さらに、筆跡情報の表示が指示された際には、端末装置５０に対して表示情報を送信する。

次に、デジタルペン６０について説明する。
図５は、デジタルペン６０の機能構成を説明する図である。同図に示すように、デジタルペン６０は、ペン全体の動作を制御する制御回路６１１を備える。制御回路６１１は、読み取った符号画像を処理する第１の画像処理部６１１ａと、読み取った画像を処理しバーコード情報を取得する第２の画像処理部６１１ｂとを備える。
また、制御回路６１１には、デジタルペン６０による筆記動作をペンチップ６１９に加わる圧力(筆圧)によって検知し、デジタルペン６０を動作状態に設定する筆圧検知スイッチ６１２が接続されている。さらに、媒体上に赤外光を照射する赤外ＬＥＤ６１３と、反射光を検知することによって符号画像等を読み取る赤外ＣＭＯＳ(Complementary Metal Oxide Semiconductor)６１４も接続されている。

さらにまた、制御回路６１１には、識別情報、位置情報、バーコード情報等を記憶するための情報メモリ６１５と、外部装置と通信するための通信回路６１６と、ペンを駆動するためのバッテリ６１７と、ペンの識別情報(ペンＩＤ)を記憶するペンＩＤメモリ６１８とが接続されている。また、デジタルペン６０の外部に露出した操作ボタン６２０に連動可能に設けられた検知スイッチ６２１と、外部に対して所定の情報を表示するための表示用ＬＥＤ６２２とが接続されている。なお、表示用ＬＥＤ６２２を操作ボタン６２０内に配置し、操作ボタン６２０と情報表示機能とを兼用させる構成とすることも可能である。また、上記赤外ＣＭＯＳ６１４は、信号の読み出しを行う受光素子（画素）を選択するように赤外ＣＭＯＳ６１４を駆動する水平走査回路および垂直走査回路（いずれも不図示）を介して制御回路６１１に接続される。また、赤外ＣＭＯＳ６１４は、フォトダイオードなどの複数の受光素子が２次元マトリックス状に配列されており、媒体上の画像を撮像する撮像部として機能している。

制御回路６１１において実現される機能構成について詳細に説明する。図６は、制御回路６１１の機能構成の一例を示したブロック図である。
上述のように制御回路６１１は、第１の画像処理部６１１ａと第２の画像処理部６１１ｂとを備えている。また、制御回路６１１は、画像取得部６３０と、モード変更部６３１と、ＣＭＯＳ制御部６３２と、表示制御部６３３と、送信部６３４とを備えている。

第１の画像処理部６１１ａは、上記のとおり読み取った符号画像を処理する機能を有している。ここで、第１の画像処理部６１１ａは、ドット配列生成部６４１と、符号配列生成部６４２と、識別情報取得部６４３と、位置情報取得部６４４と、筆跡情報生成部６４５とを備える。
ドット配列生成部６４１は、符号画像におけるドットの位置を参照して、ドット配列を生成する。すなわち、２次元の配列上で、例えば、ドットがある位置に「１」を、ドットがない位置に「０」を記憶することにより、画像として検出したドットをデジタルデータに置き換える。そして、この２次元の配列をドット配列として出力する。

符号配列生成部６４２は、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状および大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図３(ａ)の単位パターンを用いる場合であれば、３ドット×３ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が２となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。

識別情報取得部６４３は、符号配列から同期符号の位置を基準にして識別符号を検出する。そして、画像生成時にＲＳ符号化処理で用いたパラメータを用いて識別符号を復号し、識別情報を取得する。
位置情報取得部６４４は、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からＭ系列の部分系列を取り出し、画像生成時に使用したＭ系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。なお、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。

筆跡情報生成部６４５は、位置情報取得部６４４が取得した位置情報を連結して筆跡情報を生成する。ここで、筆跡情報には、少なくともデジタルペン６０のペン先の軌跡を電子化したデータが含まれるが、これ以外の情報を含んでもよい。ペン先の軌跡以外の情報としては、例えば、筆記した時にペンに設定されていた色の情報や、筆圧の情報等がある。

一方、第２の画像処理部６１１ｂは、上記のとおり読み取った画像を処理しバーコード情報を取得する。ここで、第２の画像処理部６１１ｂは、画像合成部６５１、交点検知部６５２と、コード情報取得部６５３とを備える。
画像合成部６５１は、順次入力されてくる複数の画像データを合成し合成画像を生成する。把握手段としても機能する交点検知部６５２は、入力されてくる画像データの濃度分布を把握するとともに、この濃度分布と所定の濃度閾値とが交わる交点を検知する。そして、この交点の数を取得し出力する。コード情報取得部６５３は、入力されてくる画像データからバーコードを検知（認識）するとともにバーコード情報を取得し、取得したバーコード情報を出力する。

また、画像取得部６３０は、赤外ＣＭＯＳ６１４が媒体（印刷文書）から読み取った画像を取得する。また、必要に応じて、画像に含まれるノイズを除去する。
モード変更部６３１は、印刷文書（媒体）から符号画像を読み取るモード（以下、「符号画像読み取りモード」と称する）から、印刷文書からバーコードを読み取るモード（以下、「バーコード読み取りモード」と称する）にモードの変更を行い、又はバーコード読み取りモードから符号画像読み取りモードへとモードの変更を行う。
ＣＭＯＳ制御部６３２は、上記水平走査回路および垂直走査回路を介して赤外ＣＭＯＳ６１４の動作を制御する。詳細には、ＣＭＯＳ制御部６３２は、上記水平走査回路および垂直走査回路を介して、画素信号の読み出しを行う赤外ＣＭＯＳ６１４上の受光素子を選択するとともに、選択された受光素子から画素信号が出力されるように赤外ＣＭＯＳ６１４を制御する。また、ＣＭＯＳ制御部６３２は、赤外ＣＭＯＳ６１４が撮像する際のフレームレートを設定する。
表示制御部６３３は、表示用ＬＥＤ６２２の動作制御を行う。例えば読み取りモードに応じて表示用ＬＥＤ６２２における表示色を変化させる。
送信部６３４は、識別情報取得部６４３が取得した識別情報と、筆跡情報生成部６４５が生成した筆跡情報とを通信回路６１６に渡すことで、通信装置７０への情報送信を実現する。また、送信部６３４は、コード情報取得部６５３が取得したバーコード情報を通信回路６１６に渡すことで、通信装置７０への情報通信を実現する。

ここで図７は、符号画像読み取りモードにおいて、筆跡情報（筆記データ）の取得までの動作を概念的に示したものである。デジタルペン６０では、まず、赤外ＬＥＤ６１３が媒体に対して赤外光を照射し、赤外ＣＭＯＳ６１４がその反射光を受光することにより、符号画像を読み取る。そして、画像取得部６３０がこの読み取った符号画像を取得する。その際に、符号画像にノイズが含まれていれば、これを除去する。次にデコードがなされる。詳細には、ドット配列生成部６４１が、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、符号配列生成部６４２が、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部６４３が、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報（図中ではドキュメントＩＤと表示）を取得する。また、位置情報取得部６４４が、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報を取得する。そして、筆跡情報生成部６４５が、位置情報を連結して筆跡情報（筆記データ）を生成する。そして、送信部６３４が、これらの情報を通信装置７０および端末装置５０を介して識別情報サーバ３０へ送信する。なお、バーコード情報を取得する際の動作については後述する。

図８は、デジタルペン６０の制御部６１１のハードウェア構成を示した図である。
同図に示すように、制御部６１１は、機能モジュールとして、デジタルペン６０の動作制御を行うに際して予め定められた動作制御プログラム（ファームウェア）に従ってデジタル演算処理を実行するＣＰＵ１０１、ＣＰＵ１０１により実行される処理プログラム等が格納されるＲＡＭ１０２、ＣＰＵ１０１により実行される処理プログラム等にて用いられる設定値等のデータ等が格納されるＲＯＭ１０３、書き換え可能で電源供給が途絶えた場合にもデータを保持できるＥＥＲＯＭやフラッシュメモリ等の不揮発性メモリ１０４、制御部６１１に接続される各部との信号の入出力を制御するインターフェース部１０５を備えている。
また、外部記憶装置１０６には、制御部６１１により実行される動作制御プログラムが格納されており、制御部６１１がこの処理プログラムを読み込むことによって、デジタルペン６０に関する動作制御が実行される。

すなわち、上記した第１の画像処理部６１１ａ、第２の画像処理部６１１ｂ、画像取得部６３０、モード変更部６３１、ＣＭＯＳ制御部６３２、表示制御部６３３、送信部６３４の各機能を実現する動作制御プログラムを外部記憶装置１０６から制御部６１１内のＲＡＭ１０２に読み込む。そして、ＲＡＭ１０２に読み込まれた動作制御プログラムに基づいて、ＣＰＵ１０１が各種処理を行う。この動作制御プログラムは、デジタルペン６０と通信する例えば端末装置５０に備えられたハードディスクやＤＶＤ−ＲＯＭ等がデジタルペン６０の外部記憶装置１０６として機能して、端末装置５０から通信回線を介してＲＡＭ１０２にロードされて提供される。また、その他の提供形態として、予めＲＯＭ１０３にインストールされた状態にて提供される形態がある。さらに、デジタルペン６０がアッセンブリされた後に、動作制御プログラムが不揮発性メモリ１０４にインストールされ、不揮発性メモリ１０４からＲＡＭ１０２にロードされる形態がある。また、インターネット等のネットワークを介してデジタルペン６０にプログラムが伝送され、ＲＡＭ１０２にインストールされる形態がある。

続いて、本実施の形態の筆跡情報管理システムにて電子文書に関して行われる各種処理について説明する。
[印刷文書の生成処理]
図９は、筆跡情報管理システムにて印刷文書が生成される際の動作の一例を示したシーケンス図である。
まず、ユーザは端末装置１０から電子文書の印刷指示を文書サーバ２０に送信する(ステップ１０１)。その際には、端末装置１０は、印刷対象となる電子文書と、電子文書の識別情報(文書ＩＤ)と、ユーザが指定した印刷設定とを送信する。ここで、印刷設定は、印刷の対象とするページ、印刷部数、媒体である用紙のサイズ、拡大縮小率、Ｎアップ(電子文書のＮページを媒体の１ページに割り付ける印刷)、余白領域の大きさ等の設定を含む。

文書サーバ２０は、端末装置１０から電子文書の印刷指示を受信する(ステップ２０１)。印刷指示に含まれる印刷対象となる電子文書は、電子文書管理部２３に送られ、電子文書管理部２３が、電子文書を文書ＩＤと関連付けて文書/筆跡情報記憶部２５に登録する(ステップ２０２)。
また、文書サーバ２０は、印刷を指示された電子文書の文書ＩＤと印刷設定とを識別情報サーバ３０に送信する(ステップ２０３)。ここで、文書ＩＤとしては、例えば、ＵＲＬ(Uniform Resource Locator)を用いるとよいが、電子文書を一意に特定することができるものであれば他の情報を用いてもよい。
それにより、識別情報サーバ３０は、文書ＩＤと印刷設定とを受信する(ステップ３０１)。そして、媒体識別情報を管理する識別情報管理部３２が識別情報記憶部３３から未使用の媒体識別情報を取得する(ステップ３０２)。ここで、取り出す媒体識別情報の数は、印刷設定に応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の媒体識別情報が取り出される。ただし、印刷設定情報の中に、Ｎアップ印刷の指定等がある場合は、それも考慮される。例えば、１０ページの電子文書を２アップ印刷で５部印刷する場合は、２５(＝１０÷２×５)個の媒体識別情報が取り出される。
次に、識別情報サーバ３０は、識別情報と文書ＩＤと印刷設定とを関連付けて識別情報記憶部３３に登録する(ステップ３０３)。そして、識別情報サーバ３０は、文書サーバ２０に対し、識別情報を送信する(ステップ３０４)。

それにより、文書サーバ２０は、識別情報を受信する(ステップ２０４)。そして、識別情報および位置情報を表す符号画像を生成する(ステップ２０５)。
すなわち、文書サーバ２０では、受信部２１が媒体識別情報を受信する。そして、受信部２１は、受信した媒体識別情報を識別情報取得部２２に受け渡す。すると、まず識別情報取得部２２が、取得した媒体識別情報を識別符号生成部２７ａに渡し、識別符号生成部２７ａが、上記した方法を用いて媒体の識別情報を符号化し、識別符号を生成する。
また、位置符号生成部２７ｂは、受信部２１から印刷設定を受け取り、印刷設定に応じた範囲の位置情報を上記した方法を用いて符号化し、位置符号を生成する。
そして、符号配置部２７ｃが、媒体識別符号と位置符号とを所定のレイアウトに従って配置し、これを符号画像生成部２７ｅが、パターン画像記憶部２７ｄに記憶されたパターン画像を用いて画像化することで符号画像を生成する。

その後、文書サーバ２０では、文書画像生成部２６が、電子文書の文書画像を生成する(ステップ２０６)。その際に、文書画像生成部２６は、ステップ２０１で識別情報取得部２２が取得した文書ＩＤを受け取り、文書ＩＤに基づいて印刷対象となる電子文書を文書/筆跡情報記憶部２５から読み出す。また、ステップ２０１で識別情報取得部２２が取得した印刷設定を受け取り、これに基づいて文書画像を生成する。
そして、画像合成部２８は、ステップ２０５で生成された符号画像と、ステップ２０６で生成された文書画像とを合成し、合成画像を生成する(ステップ２０７)。
その後、合成画像は送信部２９に渡され、送信部２９が、合成画像の印刷命令を画像形成装置４０に送信する(ステップ２０８)。ここで、合成画像の印刷命令は、例えば、文書画像の印刷命令の列からなるＰＤＬ(Page Description Language)ファイルに対し、符号画像として印刷する内容をＰＤＬコマンドとして設定したＰＤＬの形式で送信される。

画像形成装置４０は、文書サーバ２０から合成画像(電子文書の文書画像および符号画像)を受信する(ステップ４０１)。そして、画像形成装置４０は、文書画像をＹ(イエロー)、Ｍ(マゼンタ)、Ｃ(シアン)により画像に展開する(ステップ４０２)。次に、文書画像はＣ、Ｍ、Ｙのトナーを用いて、符号画像はＫ(カーボンを含む黒)のトナーを用いて、それぞれ画像形成を行う(ステップ４０３)。

ところで、上述した例では、識別情報サーバ３０は識別情報を発行するだけで、文書サーバ２０が、識別情報を含む符号画像を生成し、画像形成装置４０に画像形成を指示する構成とした。しかしながら、識別情報サーバ３０が、符号画像を生成し、画像形成装置４０に画像形成を指示する構成としてもよい。
また、符号画像を画像形成装置４０で生成する構成を採用してもよい。その場合には、文書サーバ２０または識別情報サーバ３０が、電子文書から生成したＰＤＬに識別情報を付加して画像形成装置４０へ送信し、画像形成装置４０が識別情報を含む符号画像を生成することになる。

また、上記の例では、識別情報と文書ＩＤと印刷設定とが関連付けられて構成されたデータベース(識別情報記憶部３３)を識別情報サーバ３０に置く構成について説明した。これは、かかるデータベースを共有可能な装置(識別情報サーバ３０)に置くことで、複数ユーザへの対応や、サーバのアクセス制御技術を利用した電子文書のセキュリティ確保が可能となるからである。しかしながら、必ずしもこのような構成を採用する必要はなく、端末装置１０や文書サーバ２０に上記のデータベースを置く構成を採用してもよい。

また、上記した画像形成装置４０では、符号画像をＫ(カーボンを含む黒)のトナーを用いて形成するようにした。これは、Ｋのトナーが、Ｃ(シアン)、Ｍ(マゼンタ)、Ｙ(イエロー)のトナーよりも赤外光の吸収量が多く、デジタルペン６０での符号画像の読み取りが容易となるからである。しかしながら、符号画像は、特殊トナーを用いて形成することも可能である。
ここで、特殊トナーとしては、可視光領域(４００ｎｍ〜７００ｎｍ)における最大吸収率が７％以下であり、近赤外領域(８００ｎｍ〜１０００ｎｍ)における吸収率が３０％以上の不可視トナーが例示される。ここで、「可視」および「不可視」は、目視により認識できるかどうかとは関係しない。印刷文書における画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが人間の目で認識し難いものも、「不可視」に含める。

なお、ここでは、電子文書の画像に符号画像を合成して印刷することとしたが、白紙(ノートや付箋等)に符号画像を印刷する構成としてもよい。その場合は、ステップ２０１で受信する印刷要求に文書ＩＤを含めないようにし、ステップ３０３で識別情報と文書ＩＤおよび印刷設定との関連付けを行わないようにし、ステップ２０６における文書画像の生成は実行しないようにすればよい。

[筆跡情報の登録処理]
次に、デジタルペン６０が筆跡情報を生成して文書サーバ２０に登録する際の動作について説明する。
上記したように、デジタルペン６０では、識別情報取得部６４３が識別情報を取得する。また、位置情報取得部６４４が位置情報を取得する。さらに、筆跡情報生成部６４５が位置情報を相互に連結して筆跡情報を生成する。そして、送信部６３４が、識別情報および筆跡情報を通信装置７０および端末装置５０を介して識別情報サーバ３０へ送信する。そして、識別情報サーバ３０が筆跡情報を文書サーバ２０に登録する。

図１０は、筆跡情報を登録する際の識別情報サーバ３０および文書サーバ２０の動作の一例を示したシーケンス図である。
識別情報サーバ３０では、まず、受信部３１が、デジタルペン６０からの識別情報および筆跡情報を受信する(ステップ３１１)。次に、識別情報および筆跡情報は識別情報管理部３２に渡され、識別情報管理部３２は、渡された識別情報に関連付けられた文書ＩＤを識別情報記憶部３３から取り出す。そして、ステップ３１１で受信した識別情報および筆跡情報の送信先となる文書サーバ２０(文書ＩＤで特定される電子文書が存在する文書サーバ２０)を決定する(ステップ３１２)。なお、識別情報記憶部３３において識別情報に文書ＩＤが関連付けられていなければ、その識別情報は白紙(ノートや付箋)に割り当てられたものであると考えられる。その場合は、白紙に対する筆跡情報を管理する文書サーバ２０を送信先として決定すればよい。
その後、識別情報および筆跡情報は送信部３９に渡され、送信部３９が、ステップ３１２で送信先として決定した文書サーバ２０に対し、識別情報および筆跡情報を送信する(ステップ３１３)。

これにより、文書サーバ２０では、受信部２１が、識別情報および筆跡情報を受信する(ステップ２１１)。そして、受信部２１は、受信した識別情報を筆跡情報管理部２４に渡す。すると、筆跡情報管理部２４は、識別情報と筆跡情報とを対応付けて文書/筆跡情報記憶部２５に記憶する(ステップ２１２)。

ところで、本実施の形態の筆跡情報管理システムでは、文書サーバ２０が電子文書や筆跡情報を管理し、識別情報サーバ３０が媒体を一意に識別するための識別情報を生成/管理するように構成した。しかしながら、これらの処理を如何なる装置で行うかについては種々のバリエーションが考えられる。例えば、識別情報を生成/管理する処理は、文書サーバ２０で行ってもよいし、端末装置５０や画像形成装置４０で行ってもよい。また、符号画像を画像形成装置４０で生成してもよい。
そのため、これらの処理を汎用的な装置としてのコンピュータ９０で行うものとして一般化できる。そこで、筆跡情報管理システムを構成する端末装置１０、文書サーバ２０、識別情報サーバ３０、画像形成装置４０、端末装置５０がコンピュータ９０で構成されるものとして、コンピュータ９０のハードウェア構成について説明しておく。

図１１は、コンピュータ９０のハードウェア構成を示した図である。
図１１に示したように、コンピュータ９０は、演算手段であるＣＰＵ(Central Processing Unit)９１と、記憶手段であるメインメモリ９２および磁気ディスク装置(ＨＤＤ：Hard Disk Drive)９３とを備える。ここで、ＣＰＵ９１は、ＯＳ(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、コンピュータ９０は、外部との通信を行うための通信Ｉ/Ｆ９４と、ビデオメモリやディスプレイ等からなる表示機構９５と、キーボードやマウス等の入力デバイス９６とを備える。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

ところで、本実施形態におけるデジタルペン６０は、媒体に付されたバーコードの情報も取得可能に構成されている。ここで、図１２、図１３は、本実施形態におけるデジタルペン６０の撮像エリアを概念的に示したものである。
ところで、符号画像読み取りモード（第１のモード）においては、読み出しエリア（撮像エリア、切り出しエリア）を一般的には広めに設定するため（図１３（ａ）参照）、換言すれば赤外ＣＭＯＳ６１４の多数の受光素子からの読み出しが行われるため、フレームレートが低いものとなる。この結果、図１２（ａ）、（ｂ）に示すように、バーコードの読み取りを行おうとしても、読み取り画像に欠けを生じ読み取りのできない箇所が生じてしまう。この結果、バーコード情報の適切な取得が困難となる。

そこで、本実施形態におけるバーコード読み取りモード（第２のモード）では、図１３（ｂ）に示すように、画素信号の読み出しを行う受光素子の数を減らし、フレームレートを向上させている。換言すれば画素信号の読み出しを行うエリアを小さいものとし、フレームレートを向上させている。さらに説明すれば、撮像範囲をスキャン方向には広げるがスキャンと垂直方向には狭めることによってトータルの撮像画素数を減らし、フレームレートを高くするようにしている。ここで、符号画像読み取りモードにおける読み出しエリアを第１のエリアと捉えた場合、バーコード読み取りモードにおける読み出しエリアは、第１のエリアよりも少ない複数の受光素子からなる第２のエリアと捉えることができる。

なお、本実施形態におけるバーコードは、Ｋ(カーボンを含む黒)のトナーにより形成、即ち所定の赤外吸収量を有するトナーにより形成されており、赤外ＣＭＯＳ６１４における画像取得が可能となっている。また、本実施形態にて示すバーコードは、所謂一次元バーコードであり、所定のバーが長手方向に複数並んで配置されているものである。ここで、一次元バーコードは、一般的に、０．３ｍｍ程度の幅を有する細いバーと、１ｍｍ程度の幅を有する太いバーとを含み、これらのバーが所定の小さい間隔で並んで配置されている。一方で、上記読み出しエリア（第２のエリア）にて撮像可能な領域長さは、本実施形態の場合、５〜１０ｍｍとなっている。また、媒体に対してデジタルペン６０が傾いて配置されたとしても、バーを５本程度撮像可能となっている。このため、後述する画像合成を行うことができる。

ここで図１４は、バーコード読み取りモードにおける基本的な処理を示したものである。
まず、操作ボタン６２０がユーザにより押圧され検知スイッチ６２１のオンを検知したモード変更部６３１（切り替え手段の一例）は、画像取得部６３０、ＣＭＯＳ制御部６３２、表示制御部６３３に対して、モードを切り替える旨の所定信号を出力する。これにより、表示制御部６３３が、表示切り替えを実行する（ステップ５０１）。例えば、表示制御部６３３は、青色に点灯している表示用ＬＥＤ６２２の点灯色を赤色に変更する。また、ＣＭＯＳ制御部６３２は、画素信号の読み出しをエリア、およびフレームレートを設定（変更）する（ステップ５０２）。

詳細には、ＣＭＯＳ制御部６３２は、画素信号の読み出しエリアを符号画像読み取りモード時における読み出しエリアよりも縮小する。付言すると、ＣＭＯＳ制御部６３２は、画素信号の読み出しエリアを、図１３（ｂ）にも示したように、垂直方向における読み出し範囲を撮像可能エリアの中央部の極めて小さいものとし、水平方向における読み出し範囲を撮像可能エリアの一端部から他端部にかけて形成する。即ち、水平方向に沿った直線状の読み出しエリアとする。また、ＣＭＯＳ制御部６３２は、符号画像読み取りモードにおけるフレームレートよりも大きいフレームレートを設定する。

次いで、バーコード上をなぞるように筆記動作がなされ筆圧検知スイッチ６１２がオン状態とされると赤外ＬＥＤ６１３から赤外光が照射されるとともに、赤外ＣＭＯＳ６１４にて反射光が受光され画像が読み取られる。これにより画像取得部６３０は、赤外ＣＭＯＳ６１４にて読み取られた画像を取得する（ステップ５０３）。そして、この取得された画像は、画像生成手段として機能する画像合成部６５１に出力され、画像合成部６５１は、画像取得部６３０にて順次取得された複数の画像（断片画像）を合成し（ステップ５０４）、バーコードの全体が再現された合成画像を生成する。

ここで、本実施形態では、上記のように画素信号の読み出しエリアを縮小し、読み出しエリアを符号画像読み取りモード時における読み出しエリアよりも狭めている。このため、上記のように符号画像読み取りモードにおけるフレームレートよりも大きいフレームレートを設定することができる。この結果、バーコードにおける同じ箇所を複数の画像中に捉えることができる。これにより、画像合成部６５１は、各画像中の同一箇所を基準に画像合成を行い、バーコードの全体が再現された合成画像を生成することができる。
次いで、情報取得手段として機能するコード情報取得部６５３は、画像合成部６５１にて合成された画像からバーコードを認識し（ステップ５０５）、この認識したバーコードからバーコード情報を取得する（ステップ５０６）。その後、送信部６３４が、このバーコード情報を、例えば通信装置７０を介して端末装置５０に送信し（ステップ５０７）、処理を終了する。

ここで図１５は、デジタルペン６０がその円周方向に回転した場合における読み取り画像等を示したものである。
デジタルペン６０は、バーコードの読み取りがなされる際、通常バーコードの配置方向に沿って移動されることとなるが、ユーザの把持状態によっては、その円周方向にやや回転した状態で移動する場合がある。この結果、同図（ｂ）に示すように、読み出しエリアがバーコードを構成するバー（ライン）に沿うようになってしまう場合がある。そして、このような場合、複数の画像中にバーコードの同一箇所を収めることが困難となり、画像合成が困難なものとなる。そこで、各受光素子（各画素）から出力された出力信号に基づき濃度分布（グラフ）を把握するとともに、この濃度分布と所定の濃度閾値との交点数を把握し、この交点数が所定数未満の場合には例えば警告表示を行うことができる。例えば、同図（ｂ）のように交点数が１つである場合に警告表示を行うことができる。一方で、同図（ａ）のように交点数が５つのような場合には、画像合成が可能となり警告表示は行われない。

さらに、交点数が所定数未満の場合には読み出しエリアの変更も行うことができる。
ここで図１６は、読み出しエリアの変更を説明するための図である。同図（ａ）および上述のとおり、読み出しエリアがバーコードを構成するバーに沿うように配置され、濃度閾値との交点が１つの場合、画像合成が困難となる。そこで、このような場合は、同図（ｂ）に示すように読み出しエリアを９０°回転した状態に変更することができる。読み出しエリアをこのように配置した場合、同図（ｂ）に示すように濃度閾値との交点数が増加し、即ち読み出しエリアの長手方向とバーコードの長手方向とをほぼ沿う状態とすることができ、画像合成が可能となる。なお、濃度閾値との上記交点数は、少なくとも２点以上必要であり、確実性を鑑みると５点以上が好ましい。ここで、本実施形態では、読み出しエリアを９０°回転させた後の状態を第３のモードと捉えることができる。また、この第３のモードにおける読み出しエリアを上記第１の読み出しエリア、第２の読み出しエリアに対し第３の読み出しエリアと捉えることができる。この第３の読み出しエリアは、第２のエリアに対し交差する関係（略直交する関係）で配置される。

ここで図１７は、制御部６１１にて実行される処理を示したフローチャートである。このフローチャートを用い、上記処理を詳細に説明する。
本処理では、まず上記と同様に、表示制御部６３３が、表示切り替えを実行する（ステップ６０１）。次いで、ＣＭＯＳ制御部６３２が、画素信号の読み出しをエリア、およびフレームレートを設定（変更）する（ステップ６０２）。

次いで、バーコード上をなぞるように筆記動作がなされ筆圧検知スイッチ６１２がオン状態とされると赤外ＬＥＤ６１３から赤外光が照射されるとともに、赤外ＣＭＯＳ６１４にて反射光が受光され画像が読み取られる。これにより画像取得部６３０は、赤外ＣＭＯＳ６１４にて読み取られた画像を取得する（ステップ６０３）。そして、把握手段としても機能する交点検知部６５２は、画像取得部６３０にて取得された所定の画像において濃度分布を把握するとともに、この濃度分布と所定の濃度閾値との交点を検知し、交点数を取得する。その後、この交点数が所定数以上であるか否かを判断する（ステップ６０４）。なお、他の観点から述べると、交点検知部６５２は、濃度分布を把握するとともに、この濃度分布における所定の濃度値を有する箇所の個数を把握する。そして、この個数が所定数以上であるか否かを判断する。そして、交点数が所定数以上であると判断された場合、上記ステップ５０４と同様に、画像合成部６５１が、ステップ６０３にて取得された複数の画像を合成した合成画像を生成する（ステップ６０５）。その後、上記ステップ５０５〜ステップ５０７と同様に、バーコードの認識処理、バーコード情報の取得処理、送信処理が実行され（ステップ６０６〜ステップ６０８）、処理が終了する。

一方で、出力手段としても機能する交点検知部６５２は、ステップ６０４にて濃度閾値との交点が所定数未満であると判断した場合（所定の濃度値を有する箇所の個数が所定数未満であると判断した場合）、表示制御部６３３に対して警告情報を出力する。これにより、表示制御部６３３は、例えば赤色に点灯している表示用ＬＥＤ６２２を点滅させ、ユーザに対して警告表示を行う（ステップ６０９）。なお、この場合オレンジ等の他の色に変更することもできる。その後、変更手段として機能するＣＭＯＳ制御部６３２が、読み出しエリアの位置を上記図１６（ｂ）のように変更する（ステップ６１０）。

そして、バーコードの読み取りがユーザにより再度行われ、画像取得部６３０が読み取り画像を取得すると（ステップ６１１）、上記ステップ６０４と同様に、交点検知部６５２は、交点数が所定数以上であるか否かを判断する（ステップ６１２）。そして、所定数以上である場合には、上記ステップ６０５〜ステップ６０８の処理が実行され、即ち画像合成、バーコードの認識、バーコード情報の取得、バーコード情報の送信が実行され、処理が終了する。一方で、ステップ６１２にて交点数が所定数未満であると判断された場合には、表示制御部６３３が再度警告を行い（ステップ６１３）、処理を終了する。なお、２回目の読み取りにおいてもバーコードの読みとりができない場合、バーコード自体が十分な濃度変化を有した状態で形成されていない場合が想定される。このため、表示制御部６３３は、２回目の警告表示を行う際、十分な濃度変化を有するバーコードが存在しない旨に相当する警告表示を行うことができる。また、例えば端末装置５０にその情報を送信し、端末装置５０にて、十分な濃度変化を有するバーコードが存在しない旨の警告表示を行うことができる。

ところで、上記においては、モードの切り替えを操作ボタン６２０に対する操作に基づき行ったが、媒体に付された符号画像の読み取りに基づきモードの切換を行うこともできる。
ここで、媒体に付された符号画像の読み取りに基づくモードの変更は、媒体上の所定位置における符号画像が読み取られる際に行うことができる。即ち、媒体に筆記するための領域（筆記用領域）と、モードの変更を指示するための領域（指示用領域）と、を設けておき、デジタルペン６０が接触した媒体上の箇所がこの何れかであるかに基づいて、モードの切り替え（変更）を行うことができる。具体的には、媒体上の領域の座標情報と、その領域が筆記用領域であるか指示用領域であるかを示す情報とを対応付けた管理情報を作成しておく。そして、デジタルペン６０が、媒体上に接触した際に座標情報を読み取り、管理情報を参照してその座標情報に対応する領域が筆記用領域であるか指示用領域であるかを判定する。これにより、座標情報に対応する領域が指示用領域である場合には、符号画像読み取りモードからバーコード読み取りモードに変更することができる。

ここで、図１８は、媒体およびデジタルペン６０を示したものである。
例えば、図中の領域Ａおよび領域Ｂに対して指示用領域であることを示す情報を対応付けて管理情報を生成することができる。これにより例えば、領域Ａにおける位置情報の取得が行われた場合には、符号画像読み取りモードからバーコード読み取りモードに変更することができる。ここで、位置情報の取得は、位置情報取得手段として機能する位置情報取得部６４４により行われる。そして、切り替え手段として機能するモード変更部６３１は、位置情報取得部６４４により取得された位置情報が所定の位置情報であると判断した場合に、モードの変更を行う。詳細には、位置情報取得部６４４により取得された位置情報が、指示用領域であることを示す情報に対応付けられている場合に、モードの変更を行う。なお、バーコードが読み取られる際、領域Ａおよび領域Ｂに示すように、一般的にはバーコードの長手方向における外側（バーコードの側方）の領域に、デジタルペン６０がまず接触される。このため、指示用領域は、バーコードの長手方向における外側に配置することが好ましい。

さらにまた、バーコードが形成された領域における位置座標についての管理情報を生成しておくこともできる。これにより例えば、デジタルペン６０が媒体上に接触した際に座標情報を読み取るとともに、この座標情報からデジタルペン６０の軌跡情報（筆跡情報）を取得する。そして管理情報を参照し、バーコードに接近しているかを判定することができる。そして、接近していると判定した場合に、符号画像読み取りモードからバーコード読み取りモードにモードの変更を行うことができる。なお、軌跡情報の取得は、軌跡情報取得手段として機能する筆跡情報生成部６４５により行われる。そして、切り替え手段として機能するモード変更部６３１が、管理情報を参照し、軌跡情報に基づきデジタルペン６０がバーコードに接近していると判断した場合に、モードの変更を行う。ここで、バーコードに接近しない方向に移動している場合や、接近しているもののバーコードの長手方向に対して傾いて接近している場合には、表示制御部６３３による警告表示を行うことができる。

なお、バーコード読み取りモードに変更されたとしても、図１６（ａ）に示すように、読み出しエリアがバーコードを構成するバーに沿う状態となる場合がある。即ち、デジタルペン６０がその円周方向に回転した状態でバーコードの読み取りが行われる場合がある。この場合、上記のようにバーコード情報の取得が困難となる。そこで、例えばデジタルペン６０の回転量が所定値を超える場合は、例えば表示制御部６３３による警告表示を行うことができる。なお、デジタルペン６０の円周方向における回転（回転量）の検知は、例えば上記同期パターンの認識に基づき行うことができる。
また、デジタルペン６０がその円周方向に回転している場合は、バーコードの読み取りが行われる前に、図１６（ｂ）に示すような状態に読み出しエリアを設定することもできる。即ち、同期パターンに基づき媒体に対する電子筆記具の円周方向における回転（回転量）を検知し、この検知結果に基づき読み出しエリアを設定することができる。

本実施の形態の筆跡情報管理システムの構成の一例を示した図である。 文書サーバの機能構成の一例を示したブロック図である。 符号画像を構成する画像等の一例を示した図である。 識別情報サーバの機能構成の一例を示したブロック図である。 デジタルペンの機能構成を説明する図である。 制御回路の機能構成の一例を示したブロック図である。 符号画像読み取りモードにおいて、筆跡情報（筆記データ）の取得までの動作を概念的に示したものである。 デジタルペンの制御部のハードウェア構成を示した図である。 筆跡情報管理システムにて印刷文書が生成される際の動作の一例を示したシーケンス図である。 筆跡情報を登録する際の識別情報サーバおよび文書サーバの動作の一例を示したシーケンス図である。 コンピュータのハードウェア構成を示した図である。 デジタルペンの撮像エリアを概念的に示したものである。 デジタルペンの撮像エリアを概念的に示したものである。 バーコード読み取りモードにおける基本的な処理を示したものである。 デジタルペンがその円周方向に回転した場合における読み取り画像等を示したものである。 読み出しエリアの変更を説明するための図である。 制御部にて実行される処理を示したフローチャートである。 媒体およびデジタルペンを示したものである。

符号の説明

６０…デジタルペン、６１４…赤外ＣＭＯＳ、６３１…モード変更部、６３２…ＣＭＯＳ制御部、６４４…位置情報取得部、６４５…筆跡情報生成部、６５１…画像合成部、６５２…交点検知部

Claims (13)

1. 複数の受光素子が２次元マトリックス状に配列され、媒体上の画像を撮像する撮像部と、
   前記撮像部の所定の領域に含まれる受光素子を用いて前記媒体上の画像を撮像する第１のモードと、
   前記撮像部の前記所定の領域よりも小さい領域に含まれる受光素子を用いて前記媒体上の画像を撮像する第２のモードと、
   前記第１のモードと前記第２のモードとを切り替える切り替え手段と、
   を有する電子筆記具。
2. 前記第２のモードにて、媒体に付されたコード画像が断片的に複数撮像された場合に、当該コード画像の全体を再現した合成画像を生成する画像生成手段を更に備えることを特徴とする請求項１記載の電子筆記具。
3. 前記画像生成手段により生成された前記合成画像から前記コード画像に関する情報を取得する情報取得手段を更に備えることを特徴とする請求項２記載の電子筆記具。
4. 前記小さい領域に含まれる受光素子の各々からの信号に基づき前記第２のモードにて撮像された画像における濃度分布を把握する把握手段と、
   前記把握手段にて把握された濃度分布が所定の分布ではない場合に警告情報を出力する出力手段と、
   を更に備えることを特徴とする請求項１乃至３のいずれかに記載の電子筆記具。
5. 前記小さい領域の位置を変更する変更手段を更に備えることを特徴とする請求項１乃至４のいずれかに記載の電子筆記具。
6. 前記変更手段は、前記第２のモードにて撮像された画像における濃度分布が所定の分布ではない場合に前記小さい領域の位置を変更することを特徴とする請求項５記載の電子筆記具。
7. 前記第１のモードにて、媒体から当該媒体内における位置を示す符号画像が撮像された場合に、当該符号画像から位置情報を取得する位置情報取得手段を更に備え、
   前記切り替え手段は、前記位置情報取得手段により取得された前記位置情報が所定の位置情報である場合に前記第１のモードから前記第２のモードへと切り替えることを特徴とする請求項１乃至６のいずれかに記載の電子筆記具。
8. 前記第１のモードにて、媒体から当該媒体内における位置を示す符号画像が撮像された場合に、当該符号画像に基づき当該媒体に対する前記電子筆記具の軌跡情報を取得する軌跡情報取得手段を更に備え、
   前記切り替え手段は、前記軌跡情報取得手段により取得された前記軌跡情報に基づき前記電子筆記具が前記媒体に付されたコード画像に接近していると判断される場合に、前記第１のモードから前記第２のモードへと切り替えることを特徴とする請求項１乃至６のいずれかに記載の電子筆記具。
9. 複数の受光素子を有する撮像部と、
   前記撮像部における前記複数の受光素子の中の何れか複数の受光素子からなる第１のエリアの受光素子から出力される信号を取得する第１の読み取りモードと、
   前記撮像部の前記第１のエリアよりも少ない複数の受光素子からなる第２のエリアの受光素子から出力される信号を取得する第２の読み取りモードと、
   を有する電子筆記具。
10. 前記第２のエリアとは異なるエリアであって前記第１のエリアよりも少ない複数の受光素子からなる第３のエリアの受光素子から出力される信号を取得する第３のモードを更に有することを特徴とする請求項９記載の電子筆記具。
11. 前記第３のエリアは、前記第２のエリアに対し交差する関係で形成されることを特徴とする請求項１０記載の電子筆記具。
12. 前記第３のエリアは、前記第２のエリアに対し略直交する関係で形成されることを特徴とする請求項１０又は１１記載の電子筆記具。
13. 複数の受光素子を有する撮像部の所定の領域に含まれる受光素子から信号を読み出す第１の機能と、
    前記撮像部の前記所定の領域よりも小さい領域に含まれる受光素子から信号を読み出す第２の機能と、
    をコンピュータに実現させるプログラム。

Images