JP2009543181A - 電子ペンにおける動作制御およびデータ処理 - Google Patents

Abstract

電子ペンが、座標データを外部端末へ送信するように構成される。ペンは、書込み面の領域のデジタル画像を生成するように構成された画像化部（２００）を含む。さらに、ペンは、デジタル画像を表す画像データを受け取って画像データを座標データへ変換するように構成された画像解析モジュール（２０２ｂ）と、座標データを外部端末へ送信するように構成された送信モジュール（２０２ｃ）とを備える通信部（２０２）を含む。通信部（２０２）は、予備処理能力をもつ標準通信回路であってよく、そこには、画像解析ソフトウェアが作業メモリに読み込まれて通信部（２０２）のプロセッサにより実行されることによって、画像解析モジュール（２０２ｂ）が実装される。

Description

関連出願の相互参照

本出願では、２００６年６月２８日に出願されたスウェーデン特許出願第０６０１４０５−４号、２００６年６月３０日に出願された米国仮特許出願第６０／８１７，４０４号、および２００７年３月１６日に出願されたスウェーデン特許出願第０７００６７５−２号の利益を主張し、当該出願はすべて引用することによりここに組み込まれているものとする。

本発明は、概して、座標データを外部端末へ送信する電子ペンと、電子ペンおよび外部端末を備えるシステムと、電子ペンから外部端末へ座標データを送信する方法とに関する。本発明はまた、電子ペンを外部端末へ接続する方法と、異なる電力モードで動作できる電子回路を備える電子ペンとに関する。

近年、手書き情報をデジタル情報へ変換する電子ペンが市場へ投入されている。例えば、スウェーデンの企業であるアノト社が、そのような電子ペンを開発している。

アノト社の技術は、小型の内蔵カメラと、内蔵プロセッサと、メモリとを備える電子ペンに、ドットパターンのある紙が組み合わされたものに基づいている。

このペンで書込みをすると、紙上のドットパターンの画像をカメラが連続的に取り込む。それと同時に、内蔵プロセッサが、画像のドットパターンに基づいてペン先のその時の位置を割り出す。

アノト社の技術に基づき、リープフロッグ社によって対話式のペンが開発されている。そのようなペンは、米国特許出願公開第２００６／００３３７２５号明細書に記載されており、「フライ」（ＦＬＹ）という商標名のペントップコンピュータとして販売されている。このペンは、プロセッサによって割り出された一連のペン位置に基づいて、例えば書き込まれた文字または単語が何であるかを決定し得るアプリケーションソフトウェアを備えている。単語が分かったら、アプリケーションソフトウェアはその単語を他の言語へ翻訳する場合もあるし、さらにその単語の翻訳を内蔵スピーカによってペンが発話する場合もある。
米国特許出願公開第２００６／００３３７２５号明細書

しかしながら、これらの用途を実現するためには、強力なプロセッサおよび／または大きなメモリがペンに必要となりかねず、場合によっては、スピーカのような付加的なハードウェアも必要となるかもしれない。こうした必要性のために、ペンはコスト効率や電力効率が低くなりかねず、また大型化してしまう可能性がある。

米国特許出願公開第２００２／００４６８８７号明細書は、別の種類のペンを開示している。このペンは、液晶ディスプレイ（ＬＣＤ）上に重ねられた透明板に埋め込まれた符号化パターンの画像を取り込むエリアセンサを有する。このペンはさらに、画像を２値化する信号処理回路と、２値化された画像から座標を算出する計算制御回路と、算出された座標を出力する送信回路とを含む。ペンからの座標に基づいて外部デバイス上のアプリケーションソフトウェアが動作させられる場合があり、ＬＣＤ上にフィードバックが与えられる場合もある。このペンは専ら座標出力用に作られたものではあるが、特に画像を取り込み、２値化し、復号するための特注回路が必要となるために、その製造コストは依然として望ましくないほど高くなるおそれがある。
米国特許出願公開第２００２／００４６８８７号明細書

本発明の目的は、上記背景に鑑みて、上で論じた問題を解決し、あるいは少なくとも軽減することである。

本発明の第１の態様は、座標データを外部端末へ送信する電子ペンであって、書込み面の領域のデジタル画像を生成するように構成された画像化部と、前記デジタル画像を表す画像データを受け取って前記画像データを座標データへ変換するように構成された画像解析モジュールと、前記座標データを前記外部端末へ送信するように構成された送信モジュールとを備える通信部と、を備えるペンである。

本発明の第１の態様により、ペンの電子部品の数を減らすことが可能であり、それによって大きさ、コスト、および電力消費を低減することが可能である。

ある実施の形態において、通信部は、予備処理能力をもつ標準通信回路上で、好適には、通信部の作業メモリに専用の画像解析ソフトウェアを読み込み、そのようにして読み込まれたソフトウェアを実行するよう通信部のプロセッサを動作させることによって実装される。これにより、ペンのコスト効率をさらに改善することが可能である。

別の実施の形態では、ペンの動作を制御するソフトウェアが画像化部または通信部のプロセッサにより実行される。それにより、独立したペン制御プロセッサの必要性が低減される。

書込み面は、座標データを導出することのできるパターンを備えた、紙または他の好適な種類の製品とすることができる。ある実施の形態において、パターンは、絶対位置を符号化する符号化パターンである。そのような符号化パターンは、円形、正方形、三角形、ドット等を含むが、これらに限定されないコードシンボルを備えてよい。また、そのようなコードシンボルは、中実であっても中実でなくてもよい。さらに、符号化パターンは、異なる大きさ、形、色等を有するコードシンボルを備えてよい。

ある実施の形態において、電子ペンは、デジタル画像から画像データを抽出するように構成された前処理モジュールをさらに含む。前処理モジュールは、画像化部または通信部に含まれてもよいし、あるいは独立した構成であってもよい。

画像データは、デジタル画像から抽出され、デジタル画像で表されたコードシンボルを示すようにしてよい。このように、画像データは、元のデジタル画像のコンパクトな表現であってよく、例えば元のデジタル画像の切り抜き、そのような元の画像の少なくとも一部分の２値化版、コードシンボルの、関連する符号化特徴の一覧（例えば位置、大きさ、形、色等）、または符号化記号の符号化値の一覧という形式であってよい。

本発明の第２の態様は、座標データの送信用のシステムであって、第１の態様の電子ペンと、電子ペンから送信された座標データの受信用に構成された外部端末とを含むシステムである。

本発明の第３の態様は、画像化部と通信部とを備える電子ペンから外部端末へ座標データを送信する方法であって、画像化部において、書込み面の領域を表すデジタル画像を生成することと、通信部において、デジタル画像を表す画像データを受け取ることと、通信部において、受け取った画像データを座標データへ変換することと、座標データを通信部から外部端末へ送信することとを含む方法である。

本発明の第４の態様は、電子ペンを外部端末へ接続する方法であって、電子ペンを予め選択された外部端末へ接続するための設定手順を開始することと、設定手順中に電子ペンのペン先が表面上へ当てられた場合に、予め選択されていない複数の外部端末の中から端末の選択を可能にして、予め選択されていない複数の外部端末の中から選択された端末へ接続するための手順を開始することと、を含む方法である。

本発明の第５の態様は、高電力モード、中電力モード、および低電力モードにおいて動作可能な電子回路と、電子ペンの先端が書込み面に当てられているか否かを検出するセンサと、センサに接続され、電子回路を、先端が書込み面と接触している場合は高電力モードで動作させ、先端が書込み面との接触から離された場合は中電力モードで動作させ、先端が予め定められた時間より長い間、書込み面と接触していない場合は低電力モードで動作させるように構成された電力管理システムと、を備える電子ペンである。

本発明の他の目的、特徴、および効果は、以下の詳細な説明、添付の従属請求項、および図面から明らかになるであろう。

全体を通して、請求項で用いられているすべての用語は、本明細書にて明示的に別段に定義されない限り、当技術分野におけるそれらの通常の意味に従って解釈されるものとする。また、「要素、デバイス、部、手段、ステップ等」に関するすべての言及は、明示的に別段に記述されない限り、その要素、デバイス、部、手段、ステップ等の少なくとも１つの例に言及していると非限定的に解釈されるものとする。本明細書に開示されたいかなる方法のステップも、明示的に記述されない限り、開示された通りの順序で実行される必要はない。

上記は、本発明の付加的な目的、特徴、および効果と同様に、本発明の例示的な実施形態に関する以下の例示的かつ非限定的な詳細な説明により、添付の図面を参照してよりよく理解されるであろう。

（電子ペンシステム概論）
図１は、電子ペン１００と、紙１０１およびその表面に設けられた符号化パターン１０２と、外部端末１０４とを備える電子ペンシステムの全体の原理を示す図である。

メッセージなどの情報、この場合は「Ｈ」という文字が、電子ペン１００で紙１０１に書き込まれる。このように、符号化パターン１０２をもつ紙１０１の表面は、ペン１００のユーザにとって書込み面として働く。ペン先の近くの、紙１０１の表面の領域の画像が、ペン１００のカメラによって取り込まれる。カメラは、画像形成光学系と、電子画像を生成し、場合によってはその電子画像の前処理も行う画像回路とを含んでよい。そのような画像回路または画像化部の実施の形態については、後に図８、図１０、および図１１を参照してさらに詳しく説明する。ペン１００の通信回路または通信部により、画像およびその画像が表す符号化パターンに基づいて、ペン先のその時の位置の座標データが決定されてよい。そのような通信部の実施の形態については、後に図８および図１０を参照してさらに詳しく説明する。

その後、座標データは、通信部によって出力され、外部端末１０４に受信されて、さらに処理されてよい。このさらなる処理は、例えば、書き込まれたものがどんな単語であるかを決定し、場合によってはその単語の翻訳も決定するものであってよく、また外部端末においてスピーカが使用可能であれば、その翻訳を発話するものであってよい。

換言すると、翻訳サービスを実装するこの例において、ペン１００は座標データを決定してよく、外部端末１０４は、少なくとも１つのアプリケーションプログラムにおいて、その座標データを使用してよい。

座標データがＨＩＤ（ヒューマン・インターフェース・デバイス）プロトコルのような標準的な通信プロトコルに従ってペンから出力される場合、電子ペンが関与しているという事実によって、外部端末用のアプリケーションプログラムを開発する際に特別な考慮が必要になることはまったくない。

さらに、ペン１００は、ボタン１０６のような入力デバイスと、指示ＬＥＤ１０８のような、ユーザとの対話用の出力デバイスとを備えることができる。ボタン１０６は、例えば、ＯＮ／ＯＦＦボタンであってもよいし、または一般的な電気機械式もしくは触れると感知する種類の多機能ボタンであってもよい。

外部端末１０４は、好ましくは、携帯電話であってよい。これは、携帯電話は本質的に移動できるもの（モバイル）であり、強力なプロセッサ、大きな記憶容量、ディスプレイ、スピーカ等を有しており、たいていの場合はユーザが所持しているからである。しかしながら、他の種類のモバイルまたは据え置き型のデバイス、例えばＰＤＡ（Personal Digital Assistant、携帯情報端末）、ラップトップコンピュータ、ＰＣ、ゲーム機、家庭用娯楽システム、セットトップボックス、テレビなどが、外部端末として用いられてもよい。

ペンで座標データを決定し外部端末でアプリケーションプログラム（または複数のアプリケーションプログラム）を実行することの効果は、より低性能なプロセッサとより小さなメモリとをペンが内蔵できるということであり、これは、ペンのコスト効率を良くし、ペンを小型化できるということを意味する。

もう一つの効果は、アプリケーションプログラムの種類やその実装がペン１００のハードウェアに制約されないということである。ペン１００は、機能の限られたＭＭＩ（マン・マシン・インターフェース）や、性能の限られた計算用ハードウェアを有するかもしれないのである。

（電子ペンの処理回路）
上に示したように、ペンは画像化部と通信部とを備えてよい。通信部は、専用のハードウェアおよび／またはソフトウェアによって、座標データを１つ以上の予め定められた形式／プロトコルで出力するように構成されてよい。本発明のある態様によれば、この通信部は、座標データを決定するための専用のハードウェアおよび／またはソフトウェアも備える。それにより、ペンにおける独立した電子部品の個数を減らしてよい。これによってペンのコストを下げることが可能であり、場合によってはペンの電力消費を低減することも可能である。

ある実施の形態では、通信部は標準的な通信回路であり、専用のソフトウェアを通信回路の作業メモリに読み込み、そのように読み込まれたソフトウェアを通信回路のプロセッサに実行させることによって、座標データの決定が行われる。このように、標準通信回路の予備処理能力が、座標の決定を実装するのに用いられ得る。標準回路を使用することにより、ペンのコスト効率をさらに改善することが可能である。

さらに別の実施の形態では、画像化部または通信部のプロセッサが、ペンの電子回路の起動、動作、停止を含むペンの全動作を制御する。これは、通信部が、専用のシステム制御ソフトウェアを内部または外部の記憶装置から内部の作業メモリ（ＲＡＭ）へ読み込むことによって実現されてよい。ペンを制御するための専用プロセッサが存在しないので、低コストおよび低電力消費が可能になる。

図２Ａないし図２Ｃは、図１のペンの機能を実装するための独立ハードウェアコンポーネントの３つの異なる組み合わせを説明する図である。

図２Ａでは、ペンは、画像化部２００と、通信部２０２とを備える。画像化部２００は、書込み面の画像を生成する。通信部２０２は、画像を処理してデータを抽出する前処理部２０２ａと、抽出されたデータを処理して座標データを決定する復号部２０２ｂと、座標データを出力するデータ出力部２０２ｃとを備える。

図２Ｂでは、ペンは、画像化部２００と、画像前処理部２０１と、通信部２０２とを備える。画像化部２００は、書込み面の画像を生成する。画像前処理部２０１は、画像を処理してデータを抽出する。通信部２０２は、抽出されたデータを処理して座標データを決定する復号部２０２ｂと、座標データを出力するデータ出力部２０２ｃとを備える。

図２Ｃでは、ペンは、画像化部２００と、通信部２０２とを備える。画像化部２００は、書込み面の画像を生成する画像生成部２００ａと、画像を処理してデータを抽出する前処理部２００ｂとを備える。通信部２０２は、抽出されたデータを処理して座標データを決定する復号部２０２ｂと、座標データを出力するデータ出力部２０２ｃとを備える。

次に、電子ペンの実施の形態の動作、制御、機能、構造について、図２Ｃに例示した基本的なハードウェアの組み合わせに基づいてさらに詳しく説明する。しかしながら、以下の実施の形態の詳細が、代替となる図２Ａおよび図２Ｂのハードウェアの組み合わせにも容易に適用され得ることは理解されるであろう。

（電子ペンから外部端末への座標データの送信）
通信部２０２は、例えばBluetooth（登録商標）またはＩｒＤＡ規格または何らかのＷＬＡＮ技術を用いて、座標データを無線出力するように構成されてもよいし、例えばＵＳＢ規格などの、シリアルデータ通信もしくはパラレルデータ通信用の好適な規格を用いて、有線で出力するように構成されてもよい。

図３は、電子ペンにおける、座標データを出力する方法を説明する図である。

ステップ３００において、電子ペンの画像化部２００の画像生成部２００ａを動作させることによって、画像が生成される。

ステップ３０２において、画像化部２００の前処理部２００ｂを動作させることによって、画像が処理される。このステップは、書込み面の画像のコードシンボルを識別することと、これらのコードシンボルに基づいて、抽出画像データを形成することとを含むことができる。このように、抽出画像データを画像から抽出してそのコードシンボルを示すようにしてよい。

なお、任意に、ステップ３０４において、既知の無損失または有損失のデータ圧縮アルゴリズムを用いて、抽出画像データを圧縮することができる。

ステップ３０６において、抽出画像データは、通信部２０２へ送られる。

ステップ３０８において、抽出画像データは、通信部２０２に受け取られる。

ステップ３１０において、抽出画像データは、通信部２０２の復号部２０２ｂを動作させることによって、座標データへ変換される。このステップは、抽出画像データを予め定められた遠近法（パースペクティブ）へ変換して抽出画像データで表されたコードシンボルに対応する座標データを決定することを含むことができる。

ステップ３１２において、座標データは、通信部２０２のデータ出力部２０２ｃを動作させることによって、外部端末に受信されるように出力される。

好適には、画像化部２００および通信部２０２は、座標データが出力されて表面上のペンの動き（ペンストローク）が表されるように、ペンが書込み面に当てられている時はいつでも動作するよう制御される。

ある変形例では、ステップ３１２は、個々の位置の代わりに座標のまとまり（例えばペンストローク）がペンから出力されるように、ペンが書込み面から持ち上げられるまで先に延期される。以下でさらに説明するように、ペンは、例えば通信部２０２が外部端末との交信を確立できない場合に、座標データを内部メモリに一時記憶するように構成されてもよい。

（紙）
紙１０１上の符号化パターン１０２は、ペン１００がパターン部分の画像に基づいて絶対位置を決定できるように配列された、いくつかのドットを備えてよい。ペン１００がペン先を有する場合は、ペンは、ペン先の近くのこのドットパターンの画像を取り込んで、そこから、紙１０１上のペン先のその時々の場所で符号化された位置を導出してよい。

例示的な実施形態において、ドットは行と列に配置される。さらに、各ドットは、紙１０１上の不可視の規則的な格子構造の関連格子点から右、左、上、または下のいずれかに、わずかにずらされている。このように、各ドットは４つの異なる値のうちの１つ、すなわち２ビットのデータを表す。商業的な実装においては、６×６の近接ドットからなる各群が一意の位置を符号化し、名目上２⁷²個の異なる位置の符号化が可能になる。同じ行または列内の２つの格子点間の間隔は０．３ｍｍなので、一意に符号化されたペン位置をもつ非常に広い領域を実現できる。

例示的な実施形態において、ペン１００のカメラによって取り込まれた画像はグレースケールまたはカラーのデジタル画像であり、デジタル画像において、ドットは、明るい背景に対する暗い領域として現れる。

また、例示的な実施形態において、紙１０１上のドットパターン１０２は、大きな抽象的位置符号化パターンの部分集合であり、位置符号化パターンはページ単位に細分されている。そのような抽象パターンの例は、米国特許第６，５７０，１０４号、米国特許第６，６６３，００８号、および米国特許第６，６６７，６９５号に挙げられており、これらは引用することによりここに組み込まれているものとする。ページ単位は、セグメントと、シェルフと、ブックと、ページ単位（後者は「パターンページ」ともいう）とを含むページ単位群の階層において個別にアドレス指定され得るものであってよい。好適には、すべてのパターンページは、上記のパターン階層の１つのレベル内では同じ形式を有する。例えば、いくつかのシェルフはＡ４判のパターンページで構成されてよく、その一方で、他のシェルフはＡ５判のパターンページで構成されてよい。抽象パターンにおけるあるパターンページの位置は、例えば９９．５０００．１．１５００などのセグメント．シェルフ．ブック．ページという形式のページアドレスとして、幾分ＩＰアドレスのように表され得る。処理効率上の理由で、ページアドレスの内部表現は異なっていてよく、例えば、６４ビット等の予め定められた長さの整数として与えられてよい。

ある例において、各セグメントは、おのおのが約５０×５０ｃｍ²の大きさの、２６，０００，０００を超えるパターンページで構成されてよい。少なくとも１つのそのようなセグメントが、それぞれ２，５１７ページをもつブック２つからそれぞれが構成されるシェルフ５，１７５個へと分割されてよい。

各パターンページは、このように抽象パターンの一意の部分集合であり、一組の一意の絶対位置、典型的にはＸ、Ｙ座標を符号化する。そのような絶対位置はそれぞれ、パターン全体の座標系におけるグローバル位置として表されてもよいし、論理位置、すなわちページアドレスおよびそのパターンページ内の所与の座標系におけるローカル位置として表されてもよい。

実装に応じて、電子ペンは、書込み面（紙１０１）上での自身の動きを、一連のグローバル位置または一連の論理位置のいずれかとして記録してよい。

上記のドットパターンは多くの効果を有するが、本発明は、例えば米国特許第５，８５２，４３４号、米国特許第５，６６１，５０６号、米国特許第６，３３０，９７６号、および国際公開第２００６／００６９２２号に記載されたような、他の種類のコードシンボルに基づく他のさまざまな絶対位置符号化パターンと共に用いられてよい。実際、電子ペンの相対的な動きが決定されさえすれば、どんな種類のパターンが用いられてもよい。

（ペンダウン検出）
ペンは、ペンが書込み面に接近している、または接触していること（「ペンダウン」という）を示す近接センサを有してよい。電力消費を低減するため、ペンの電子回路は、近接センサから発せられたスリープ解除信号が、ペンが書込み面に十分接近していることを示す時だけ、選択的に作動させられてよい。

図４は、ペンの先端またはペン先４０４と接続または連携した先端センサ４０２をもつ電子ペンの実施の形態４００を示す図である。

別の種類の近接センサは、ペンの放射線センサによって検出された放射線に基づいてスリープ解除信号を生成するように構成される。

ある実施の形態では、ペンは、間欠的または連続的に作動させられて放射線を発する放射線源を含む。放射線センサは、ペンが書込み面の十分近くまで運ばれるたびに、書込み面から反射される十分な量の放射線を検出してペンの電子回路の該当部へスリープ解除信号を出す。放射線センサは、前述の画像化部であってもよいし、専用のセンサであってもよい。

さらに進歩した実施の形態では、近接センサは画像解析を利用する。手短に述べると、そのような近接センサは、例えば前述の画像化部または独立した専用のセンサといったペンの画像センサから画像を受け取り、予め定められた符号化パターンを識別するためにその画像を解析してよい。画像の符号化パターンを識別したら、近接センサはスリープ解除信号を出してよい。あるいは、またはさらに、近接センサは、ペン先と書込み面との間の距離および／または動きの向きを画像から計算し、スリープ解除信号を送信すべき時を決定する際にその距離／向きを用いてよい。距離／向きの情報を用いることにより、ペンが書込み面と接触してしまう前であってもスリープ解除信号を送信することが可能となり、その結果、ペンダウン応答時間が改善される。このような近接センサは、画像化部（図２Ａ〜図２Ｃの２００）の一部として実装されてもよいし、されなくてもよい。電力消費を低減するため、画像が近接検出のみに用いられるペンアップの間は低減された周波数で、また画像が座標決定に用いられる場合のあるペンダウンの間は標準のフレームレートで、画像センサを動作させることが考えられる。さらなる省電力措置として、ペンアップの間は画像化部の放射線検出領域の一部のみを作動させることも可能であろう。

代替となる方法は、先端センサを放射線検出および／または画像解析の使用と組み合わせることである。

図５は、電子ペン５００の近接センサ５０２のさらに別の実施の形態を示す図である。センサ５０２は、ペンと書込み面との間の距離および／または動きの向きを、反響定位（エコロケーション）によって、すなわちペンから発し書込み面によって反射される信号の伝播時間を解析することによって推測する。信号は、例えば超音波などの音波であってもよいし、例えば電波、赤外線、紫外線などの電磁放射であってもよい。

さらなる代替方法は、反響定位センサを先端センサと、そして任意に画像解析と組み合わせることである。

（画像の座標データへの変換）
図６は、上で論じたドットパターンのデジタル画像を座標データへ変換するステップ全体を説明する図である。これらのステップは、好適には、画像化部２００および通信部２０２（図２Ｃ）において実行される。デジタル画像は、画像化部２００の画像生成部２００ａによって取り込まれる。

画像を受け取った後、第１のステップ６００において、前処理部２００ｂが画像を処理してその中のドットを識別または位置特定する。

ドットの位置を特定した後、前処理部２００ｂは、いわゆるドットリストを作成して画像中のドットの位置を示す。ドットの位置は、ピクセル番号または画像生成部２００ａの基準座標系におけるｘ、ｙ位置として与えられてよい。このように、ドットリストは元となる画像をコンパクトに表現したものである。

その後、ドットリストは、画像化部２００から通信部２０２へ転送される。そして、ＡＰＲと表示された第２のステップ６０２が、復号部２０２ｂによって実行される。ステップ６０２は、２つのサブステップ、すなわち遠近補正ステップ６０４と座標データ復号ステップ６０６とに分割されてよい。

遠近補正ステップ６０４は、ドットリスト内のドット位置を予め定められた遠近法でのドット位置へ変換することを含んでよい。こうして、画像が取り込まれた時の書込み面（紙１０１）に対する電子ペンの角度にかかわらず、対応するドットリストが予め定められた遠近法でのドットリストへ変換されることになる。予め定められた遠近法は、例えば、すべての遠近法的な歪みが取り除かれた遠近無しの透視画法であってもよいし、ドットリスト（すなわちドットの位置）があたかも書込み面の法線方向に沿って見ることによって取り出されたかのように見える直交透視画法であってもよい。

そして、第２のサブステップ６０６では、遠近補正ステップ６０４から出力されたドットリストに基づいて、座標データが決定される。

識別と遠近補正と座標データの決定とについての異なる実施の形態が、米国特許第６，５４８，７６８号、米国特許第６，６６７，６９５号、米国特許第６，６７４，４２７号、米国特許第６，７３２，９２７号、米国特許第６，９２９，１８３号、米国特許第７，０５０，６５３号、国際公開第０３／０３８７４１号、国際公開第２００４／０９７７２３号、および国際公開第２００５／０５９８１９号に見出され、これらは引用することによりここに組み込まれているものとする。

開示された実施の形態において、ステップ６０４およびステップ６０６のＡＰＲ機能は、通信部のＣＰＵコア１０２０のプロセッサにより実行されるソフトウェア／ファームウェアとして実装される（図１０を参照のこと）。ソフトウェア／ファームウェアは、ＣＰＵコア１０２０の内部ＲＯＭに格納されてもよいし、外部ＲＯＭに格納されてもよく、起動時にこれらのいずれかからソフトウェア／ファームウェアが内部ＲＡＭへコピーされる。このソフトウェア／ファームウェア実装は有利である。なぜならば、例えばBluetooth（登録商標）回路のような市販のデータ送信回路が通信部の基盤として用いられる場合に、仮にあったとしてもわずかなハードウェア再設計しか必要でないからである。しかしながら、代替手法として、特注または市販のデータ送信回路と一体化され得る特注ハードウェアによってＡＰＲ機能が実装されてもよい。

上記の変形例において、遠近補正ステップ６０４は、画像化部２００の前処理部２００ｂがドットリストを生成する際に、前処理部２００ｂによって実行される。

図７において、前処理部２００ｂで実行されるドットの位置特定（図６のステップ６００）の実施の形態をさらに詳しく説明する。

ステップ７００において、画像中の背景の明るさの違いを本質的にすべて除去するために、入力画像がフィルタリングされてよい。この目的のため、各ピクセル値を、当該ピクセルの近傍で動作する線形ゼロサムフィルタの２次元畳み込みによってフィルタリングし、それにより、何もなければ平滑な背景レベルにおける、小さな暗部のピークを０に近づけてよい。

その後、ステップ７０２において、画像を対応する閾値面に対してマッピングし、ピクセル値を、同じ位置の閾値との関係に応じて１または０のいずれかに設定することによって、画像が２値化されてよい。任意の閾値面が用いられてもよいし、画像全体に対して単一の値が用いられてもよい。しかしながら、閾値決定ステップ７１０において適応的に算出された閾値面を用いることも可能である。

ステップ７０４において、例えば４つの連結近傍領域または８つの連結近傍領域を用いて、２値化画像中の連結された暗領域（連結された要素）を識別することにより、画像中のドットが検知される。次に、検知されたドットの位置が、各連結要素の重心として算出される。任意に、予め定められた領域下限および／または領域上限を考慮して、いくつかの連結要素が無視される。そして、結果として得られたドット位置は、任意に各ドットの面積測定値と共に、ドットリストに整理される。ドットリストは、例えばテキスト形式や、何らかのベースで符号化された形式など、好適な形式をとってよい。

その後、ステップ７０６において、情報量をさらに減らすためにドットリストが圧縮されてよい。

平行したステップ７０８では、画像が解析されてよく、それにより上記の閾値決定ステップ７１０および／または露出時間決定ステップ７１２において用いられる画像統計が生成される。

ステップ７１０では、解析ステップ７０８からの統計が用いられて、閾値面が見積りによって算出されてよい。例えば、画像中のいくつかのサンプル点における対比（コントラスト）に基づき、その面について予め定められた曲がりの制約の下で、これらのサンプル点に閾値面が適合させられてよい。代替となる実施の形態が、国際公開第０３／００１４５０号および国際公開第０３／０４４７４０号に開示されており、これらは引用することによりここに組み込まれているものとする。

さらに、解析ステップ７０８からの統計に基づき、ステップ７１２において露出時間が決定される。この露出時間は、カメラのシャッターの作動を制御するために用いられてもよいし、および／またはＬＥＤ、レーザーダイオード、もしくはランプのようなペンの照明素子の作動を制御するために用いられてもよい。このような決定についての実施の形態が、国際公開第０３／０３００８２号に開示されており、これは引用することによりここに組み込まれているものとする。

こうして、ステップ７００ないしステップ７０６の出力が、受け取った画像の前処理版を構成する。

（電子ペンシステムの概略説明）
図８に、電子ペンシステムの概略説明を示す。

開示された実施の形態に係る電子ペンは、上記のペン１００、４００、または５００のいずれかのような電子ペン８００と、外部端末８０２とを備える。

ペン８００は、２つの主要な処理部、すなわち画像化部８０４（図２Ｃの画像化部２００に相当する）と、通信部８０６（図２Ｃの通信部２０２に相当する）とを備える。

画像化部８０４は、画像を生成し画像を処理してデータを抽出するための、画像センサとプロセッサとメモリとを備えてよい。上に例示したように、この処理は、取り込まれた画像中のドットの位置を特定することと、位置を特定されたドットのドットリストを作成することと、ドットリストを通信部８０６へ送信することとを含んでよい。

画像化部８０４は、画像を生成し画像から関連する符号化パターン情報（ドットリスト）を抽出する、専用の電子デバイスであってよい。そのような専用電子デバイスの例を図１１に例示する。

概して、通信部８０６は、画像解析サブモジュール８０８（図２Ｃの復号部２０２ｂに相当する）と、送信サブモジュール８１０（図２Ｃの出力部２０２Ｃに相当する）とを備える。

通信部８０６は、Bluetooth（登録商標）チップのような、予備処理能力をもつ電子送信デバイスであってよく、デバイスでは、予備処理能力を利用して、例えば図６のＡＰＲモデルに従って、ドットリストが座標データへ変換される。

ドットリストは、通信部に受け取られる。その後、ドットリストは、上記のステップ６０４〜ステップ６０６に従って、座標データへ変換される。ドットリストが座標データへ変換されたら、座標データは、外部端末８０２へ送信される。

座標データは、グローバル位置で与えられてもよいし、ペンが抽象パターンの細分についてのデータを格納している場合は、論理位置として与えられてもよい。

座標データは、端末８０２のアプリケーションプログラムに受信される。そのようなアプリケーションプログラムは、紙上にペン８００によって書き込まれたペンストロークを表示する描画サービスなどの、座標データを利用するどんなサービスであってもよい。非限定例としては、手書き入力からの文字または記号を解釈する文字認識機能をもつ文書処理アプリケーションや、あるいは翻訳サービスなどが挙げられる。

座標データは、ペン８００から端末８０２へストリーミング、すなわち準実時間で送信され得る。あるいは、座標データは、個々のｘ、ｙ座標のストリームとしての、もしくは１つ以上のデータパケットとしての端末８０２への以後の送信のために、ペン８００のメモリに一時記憶されてもよい。そのようなデータパケットはそれぞれ、１つ以上のペンストロークのような一組の座標データを含んでよい。一時記憶されたデータは、例えば、ペンのボタンが押されることによって生成されるユーザ要求、またはドットパターンの専用の部分の画像（好適には紙上の目に見える送信アイコンとしてユーザに示される）をペンのカメラが取り込んだ状態でペンが置かれることによって生成されるユーザ要求に応じて、外部端末８０２へ送信され得る。あるいは、一時記憶されたデータは、タイムアウトの後に、もしくはペンのペンアップによって、自動的に送信されてもよい。

さらに別の実施の形態では、座標データをストリーミングするが、ペンが通信部８０６を介して外部端末と交信できない場合にはデータを一時記憶するように、ペンが構成される。座標データは、好適には不揮発性メモリユニットに一時記憶され、その後、端末との交信が確立された時に送信される。交信が確立されたら、通信部８０６は、一時記憶されたデータを端末へ送信してよく、その際、任意に、データが一時記憶されていたことを示す指示子と共に送信する。ある実施の形態では、一時記憶されたデータは、一時記憶されたデータが新しく生成されたデータよりも必ず先に送信されるように、優先権を有する。代替となる実施の形態では、新しく生成されたデータが、一時記憶されたデータに対して優先権を有する。いずれの変形例においても、一時記憶されたデータを送信する際に、一時記憶されたデータが利用可能であることを示すメッセージを外部端末へ送ってよい。また、メッセージは、例えば一時記憶されたデータのページアドレスといった、一時記憶されたデータの出所を示してもよい。そして、端末のアプリケーションプログラムは、任意にユーザの制御の下で、そのような一時記憶されたデータを送信するようペンに命令するか否かを選んでよい。

座標データは、標準的な、または独自の、どんな形式で出力されてもよい。ある具体的な実施の形態では、通信部８０６は、イベントの形で出力データを生成する。典型的には、画像化部８０４によって取り込まれた各画像につき１つのイベントが生成される。これらのイベントとしては、Ｃｏｏｒｄ（決定された位置と、任意に、関連する圧力値とを含む）、ＰｅｎＤｏｗｎ（ペンストロークの始まりを示す）、ＰｅｎＵｐ（ペンストロークの終わりを示す）などがあり得る。さらに考えられるイベントとしては、ＣｏｏｒｄＦａｉｌｅｄ（位置決定の失敗を示す）、ＮｏＣｏｄｅ（パターンを検出できないことを示す）、Ｌｏｃｋｅｄ（許されていないパターン上でペンが操作されたことをしめす。以下を参照のこと）などがある。そのようなイベントはそれぞれ、ペンまたは受信側端末のプロセッサがイベントの順序を再現することを可能にする連続番号を含んでよい。従って、連続番号は、ペンのクロックの絶対時間枠で与えられたタイムスタンプであってよい。あるいは、各ＰｅｎＤｏｗｎに続くイベントには、固有の増加する連続番号が与えられる。例えば、各ＰｅｎＤｏｗｎは、連続番号０と関連付けられてよく、それに続くイベントは、連続番号１、２、３等と関連付けられてよい。それにより、プロセッサは、ＣｏｏｒｄＦａｉｌｅｄイベントを用いなくても、イベントのストリームにおける「喪失位置」を識別することができる。あるいは、またはさらに、各連続番号は、最新のＰｅｎＤｏｗｎからの経過時間を示してもよい。

通信部８０６は、好適には、標準的な通信プロトコルに従ってデータを出力するように構成される。座標データを送信するのに頻繁に用いられるそのようなプロトコルの１つは、ＨＩＤ（ヒューマン・インターフェース・デバイス）プロトコルである。そのような標準的なプロトコルを用いることにより、通常のコンピュータ周辺機器ではなく電子ペンによって座標データが生成されていても、特別な考慮が不要となる。

図９に示すある実施の形態において、ペンは、ハードウェアおよび／またはソフトウェアで実現されたアクセス許可モジュール９００をさらに含む。アクセス許可モジュール９００は、座標データがペンによって出力されるのを選択的に阻止するよう、直接的または間接的に動作するものである。アクセス許可サブモジュール９００は、画像、抽出画像データ、または座標データを、入力として用いる。サブモジュール９００は、この入力または入力から導出されたデータを、許されたパターンを特定するデータ構造９０２に対してマッピングし、アクセス許可またはアクセス拒否のいずれかを示すアクセス信号を出力してよい。ペンは、アクセス信号に基づいて、選択的に処理および／またはデータ出力を許可してよい。例えば、画像化部が、デジタル画像を生成したりデジタル画像から画像データを抽出したりするのを阻止されてもよく、あるいは通信部が、画像データを座標データへ変換したり座標データを送信したりするのを阻止されてもよい。

ある例において、データ構造９０２は、許されたパターンページ、すなわちペンが座標データを出力することを許可されたパターンページを特定する。これらの許されたパターンページは、グローバル位置でのある領域、一組の個別パターンページ、セグメント、シェルフ、ブック等として定義され得る。これらの許されたパターンページに入らない座標データは、ペンによって出力されない。これにより、異なる電子ペンまたはそのようなペンの種類の間で、たとえすべてのペンが同じ抽象パターンを読み取って復号することができる場合であっても、機能を差異化することができる。代替となる実施の形態では、データ構造９０２は、許されないパターンを代わりに特定してよい。

モジュール９００は、画像化部の一部であってもよいし、および／または、通信部の一部であってもよく、あるいは、独立した構成として実装されてもよい。

なお、アクセス許可サブモジュール９００は電子ペンに普遍的に適用可能であること、すなわち本明細書に明示的に記載された種類の電子ペン以外にも適用可能であることが理解されるであろう。

（電子ペンのハードウェア実現）
図１０にて、電子ペンのハードウェア実現について図で説明する。

本発明の特徴を不明瞭にしてしまわないよう、本発明の核心に寄与しない部分については省略され、あるいは手短に説明されていることに留意されたい。

このハードウェア実現には、３つの主要コンポーネント、すなわち画像化部１０００（画像化部２００および画像化部８０４に相当する）と、通信部１００２（通信部２０２および通信部８０６に相当する）と、電源１００４とがある。

これらの各部以外には、ペン先に近い領域を照明する赤外線ＬＥＤ１００６が存在する。

画像化部１０００は、赤外線ＬＥＤドライバ１００８と、画素アレイをもつ画像センササブシステム１０１０と、ペンダウン検出（ＰＤＤ）モジュール１０１２と、制御論理モジュール１０１４と、電力管理（ＰＭ）モジュール１０１６と、通信／ＧＰＩＯ（General Purpose Input/Output、汎用入出力）モジュール１０１８とを備える。

通信部１００２は、ＣＰＵコアモジュール１０２０と、電力管理（ＰＭ）モジュール１０２２と、通信／ＧＰＩＯモジュール１０２４と、Bluetooth ＢＢおよびＲＦ（ベースバンドおよびＲＦ周波数）モジュール１０２６と、クロック制御モジュール１０２８と、アンテナ１０３０と、水晶発振器１０３２とを備える。水晶発振器１０３２は、基本クロック信号を提供し、基本クロック信号は、クロック制御モジュール１０２８に用いられて他のモジュールのためのクロック信号、例えば、モジュール１０２０のためのＣＰＵクロック信号、モジュール１０２６のためのBluetoothクロック信号、そして画像化部１０００のための外部クロック信号を生成する。

開示された実施の形態において、ペンのすべての動作は、ＣＰＵコア１０２０のプロセッサにより実行されるシステム制御ソフトウェア／ファームウェアによって制御される。ソフトウェア／ファームウェアは、ＣＰＵコア１０２０の内部ＲＯＭに格納されてもよいし、独立したメモリユニット（ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ等）に格納されてもよく、独立したメモリからはソフトウェア／ファームウェアが起動時に内部ＲＡＭへコピーされる。そのようなシステム制御は、画像化部および通信部の起動、連続動作、停止を制御することと、ペンのＭＭＩを選択的に作動させることとを含む。また、システム制御は、電力管理機能、座標データを一時記憶する手順、ペンと外部端末との間の通信リンクを設定する手順のような、さらなるペン機能も実装してよい。

（画像化部の詳細）
図１１に、画像化部１０００のハードウェア実現１１００をさらに詳しく示す。

ここでもまた、本発明の特徴を不明瞭にしてしまわないよう、本発明の核心に寄与しない部分については省略され、あるいは手短に説明されていることに留意されたい。

画像化部の大まかな目的は、この例示的な実施形態においては、それぞれが書込み面の領域、好適にはペンのペン先の近くの領域を表す画像を生成して、画像処理の後に、結果として得られたデータを通信部（図１１には図示せず）へ送信することである。

この目的を達成するため、いくつかのサブモジュールおよびサブシステムが開発されている。

（画像センササブシステム）
第１に、画像センササブシステム１１０２が、デジタル画像を生成するために利用される。

画像センササブシステム１１０２は、光が当たるとアナログ電子信号へ変換する画素アレイ１１０４を備える。画素アレイ１１０４を制御するため、行制御モジュール１１０６および列制御モジュール１１０８が用いられる。

その後、アナログ電子信号は、黒オフセット補正モジュール１１１０へ送信される。このモジュールでは、基準黒オフセットに従って、アナログ電子信号の黒オフセットが調整されてよい。

その後、アナログ電子信号は、信号または信号の部分が増幅され得る利得モジュール１１１２へ送信される。

次に、アナログ電子信号は、画像オフセット補正モジュール１１１４へ送信される。このモジュールでは、アナログ電子信号により与えられる画像が基準配列に合わせて整列させられるように、信号が変換されてよい。

最後に、アナログ電子信号は、ＡＤＣ（アナログ−デジタル変換器）１１１６によって、デジタル信号すなわちデジタル画像へ変換される。

（制御論理）
第２に、デジタル画像は、制御論理モジュール１１１８へ送信される。

さらに具体的には、画像は、画像処理モジュール１１２０へ送信され、画像処理モジュール１１２０では、図６および図７を参照して上述したように、画像に基づいてドットリストが作成される。

また、制御論理モジュール１１１８は、画像化部１１００の動作を制御するデジタルコンポーネントも備える。サブモジュールであるアナログ制御モジュール１１２２が、画像センササブシステム１１０２のような画像化部１１００のアナログ部分を制御する。別のサブモジュールであるグルー論理モジュール１１２４が、メモリ処理等のような他の動作を制御する。

さらに、制御論理モジュール１１１８は、例えばＳＲＡＭのようなメモリ１１２６と、ＰＬＬ（位相ロックループ）１１２８と、ＵＡＲＴ（汎用非同期送受信機）１１３０とを備える。

例示された実施の形態において、画像化部１１００は、内部クロックは持たないが、代わりに通信インターフェース１１３２のＭＣＬＫピン１１３８に供給される外部クロック信号に基づいて動作させられる。このクロック信号は、通信部１００２のクロック制御モジュール１０２８（図１０）によって生成されてよい。変形例（図示せず）では、画像化部１１００は内部クロックを有してよい。

（通信インターフェース）
第３に、制御論理モジュール１１１８においてドットリストが作成されたら、ドットリストは、通信部１００２へ送信される。通信部１００２は、ペン内部に備わる独立したハードウェアコンポーネントである。送信は、通信インターフェース１１３２のＴＸＤピン１１３４を介して行われる。通信インターフェース１１３２は、信号の受信のためのＲＸＤピン１１３６と、ＭＣＬＫピン１１３８と、画像化部１１００をリセットするｎＲＥＳＥＴピン１１４０とをさらに備える。

（照明状態の制御）
取り込まれる画像の質を改善するため、本例においては、書込み面が赤外線ＬＥＤ（赤外線発光ダイオード）１１４２（図１０の１００６を参照のこと）によって照明される。赤外線ＬＥＤ１１４２は、電子ペンの先端に位置し、画像化部１１００へ接続される。

ペンに赤外線ＬＥＤ１１４２を設けることによって、照明状態（波長、強度、パルス長など）を制御できる。従って、画像化部１１００の他の部分を照明状態に応じて調整することができ、その結果、取り込まれる画像の質を改善することが可能になる。

赤外線ＬＥＤ１１４２を有する場合の別の側面は、周囲光への依存が少なくなることである。さらなる側面は、周囲光からの外乱が減ることである。例えば、赤外線ＬＥＤ１１４２が予め定められた周波数および予め定められた波長で駆動させられれば、画像化部は、当該周波数および当該波長で得られた画像を考慮に入れるだけで、周囲光の影響を低減することができる。

赤外光は人間の目には見えないので、ユーザは赤外線ＬＥＤ１１４２に気付かない。

赤外線ＬＥＤ１１４２は、赤外線ＬＥＤドライバ１１４４によって駆動される。赤外線ＬＥＤドライバ１１４４は、２つのサブモジュール、すなわち、ＤＣ／ＤＣ変換器１１４６と、赤外線安全モジュール１１４８とに分割される。

ＤＣ／ＤＣ変換器１１４６は、例えば２．７Ｖの安定した好適な電圧が赤外線ＬＥＤ１１４２へ確実に印加されるようにするものであり、その結果、赤外線ＬＥＤ１１４２の光特性が、作動時に安定する。

安定した電圧を確保する１つの方法は、赤外線ＬＥＤ１１４２と並列に接続されて、電圧過剰、すなわち電圧が所望のレベルを超えた時に対処する第１のコンデンサ（しばしば「バレル」と呼ばれる）と、独立した回路にあって、電圧不足、すなわち電圧が所望のレベルよりも落ち込んだ時にそれを補償するために用いられる予備電圧を保持する第２のコンデンサ（しばしば「バケット」と呼ばれる）と、を備えることである。

赤外線安全モジュール１１４８は、赤外線ＬＥＤ１１４２の電力消費が異常でないことを確認する論理モジュールであり、特に過度の出力を避けることがその目的である。そのような異常な電力消費が検出されると、赤外線ＬＥＤ１１４２の電源が切られる。このようにして、赤外線ＬＥＤ１１４２の出力明度が人間の目に危険なレベルに決して届かないようにされる。

（画像化部の電力管理）
電子ペンの電力効率を改善するため、電力管理（ＰＭ）モジュール１１５０（図１０において１０１６としても示される）が画像化部に導入されてよい。

そのようなＰＭモジュール１１５０のタスクとしては、画像化部の現在の好適な電力状態を特定すること、および／または、特定された電力状態に必要な画像化部の部分を作動させることによって画像化部をこの状態に設定することがあり得る。

ＰＭモジュール１１５０は、デジタルコンポーネント用電力管理モジュール（ＰＭ−ＤＩＧ）１１５２と、アナログコンポーネント用電力管理モジュール（ＰＭ−ＡＮＡ）１１５４とへさらに分割されてよい。

画像化部ならびに電子ペン全体の現在の電力状態を設定するため、ペンダウン検出（ＰＤＤ）モジュール１１５６（図１０において１０１２としても示される）が利用されてよい。ＰＤＤモジュール１１５６は、図４および図５を参照して記載された種類であり得る近接センサ１１５８から信号を受け取るように構成されてよい。センサ１１５８の出力信号は、書込み面に対するペン先の当接圧に従って変化しても変化しなくてもよい。ＰＤＤモジュール１１５６は、近接センサ出力信号に基づいて、ペンが書込み面上に置かれているか（ペンダウン）否か（ペンアップ）を示すＰＤＤ信号を生成してよい。好適には、ＰＤＤモジュール１１５６は、ＰＤＤ信号を生成するために電力供給される必要のない受動部である。そのような実施の形態が、国際公開第０３／０６９５４７号に開示されており、これは引用することによりここに組み込まれているものとする。変形例では、ＰＤＤモジュールは、通信部の一部として組み込まれるか、または独立した構成である。

ＰＤＤ信号は、画像化部１１００のＰＭモジュール１１５０に受け取られてよく、また、通信部の電力状態を正しく設定するために、通信インターフェース１１３２のＴＸＤピン１１３４を介して通信部１００２のＰＭモジュール１０２２へ送信されてもよく、これについては、図１２を参照して以下に詳しく説明する通りである。

ペンが書込み面と接触させられたこと（ペンダウン）をＰＤＤ信号が示すと、例えばＰＭ−ＡＮＡ１１５４が、制御論理モジュール１１１８に赤外線ＬＥＤドライバ１１４４を同期的に作動させてペン先の近くの書込み面を照明することと、画像センササブシステム１１０２にデジタル画像を生成させることとによって、画像化部（およびペン）が高電力モードに設定される。典型的には、そのような作動は、ペンダウンの間、５０Ｈｚないし１００Ｈｚの範囲の固定または可変の周波数（フレームレート）で繰り返される。

ペンが書込み面から持ち上げられたこと（ペンアップ）をＰＤＤ信号が示すと、ＰＭ−ＡＮＡ１１５４が制御論理モジュール１１１８に画像センササブシステム１１０２と赤外線ＬＥＤドライバ１１４４とを停止させることによって、画像化部（およびペン）が高電力モードを脱する。

変形例（図示せず）では、画像化部の電力状態が、代わりに通信部によって制御される。例えば、通信部は、画像化部の専用レジスタに専用コマンドを書き込むことによって、および／または画像化部の入力ピン（例えばＲＸＤピンおよび／またはＭＣＬＫピン）に専用制御信号を生成することによって、画像化部の電力状態を設定してよい。ここでもまた、電力状態は、ＰＤＤモジュールの出力信号に応じて設定されてよく、ＰＤＤモジュールは、（図１０および図１１のように）画像化部の一部であってもよいし、通信部の一部であってもよいし、独立した構成であってもよい。

以下の議論は、画像化部の電力状態が２つの全体的な状態、すなわち画像化部が完全に起動されている、つまりアナログ素子およびデジタル素子の両方が起動されている能動状態と、少なくとも画像生成部分が停止されている、つまりアナログ素子が起動されていない受動状態とに分割され得ると仮定している。

（電子ペンの電力管理）
図１２は、電子ペンの全電力管理機能の実施の形態を説明する図である。

画像化部および通信部はそれぞれ異なる電力状態になっている可能性があるが、そのような状態または状態の組み合わせはすべて、電子ペンの３つの全体電力モード、すなわち高電力モード１２００と、中電力モード１２０２と、低電力モード１２０４とのうちの１つに関連している。

通常、典型的にはユーザがペンで書き込むときに、多くのプロセッサ動作を必要とする状況で、高電力モード１２００に入る。先の説明によれば、そのような状況は、ＰＤＤモジュール１１５６によって示されてよい。

ある実施の形態において、高電力モードは、ＨＰＳ１およびＨＰＳ２と呼ばれる、通信部の異なる電力状態を反映した２つのサブモードに分割され得る。ここで、ＨＰＳ１は、最も高い電力状態であり、ＨＰＳ２は、２番目に高い電力状態である。これらの高電力サブモードの両方において、画像化部は能動状態にある。

高電力モード１２００において、ペンダウンの間、通信部において予備処理時間が利用できることが検出されるたびに、ＨＰＳ２に入る。ＨＰＳ２は、クロック制御モジュール１０２８を介して、少なくともＣＰＵコア１０２０（図１０）のクロック信号を切ることを含んでよい。

ある具体的な実施の形態において、通信部は、Bluetooth（登録商標）通信に適合させられており、通信部と外部端末とが短い一定間隔でいわゆるピコネット（ペンと端末との間に設定されている）へ同期してアクセスする、いわゆるスニフモードを有する。座標データは画像化部のフレームレートを反映した周波数で生成されるので、通信部は、この周波数でピコネットへアクセスするだけでよい。従って、ＨＰＳ１およびＨＰＳ２の状態において、通信部は、フレームレートにほぼ比例したスリープ解除周期をもつスニフモードに設定されてよい。

通常、ペンが紙からしばらく離された時に、中電力モード１２０２に入る。ある実施の形態において、中電力モードでは、画像化部が受動状態になり、通信部がＭＰＳ状態に入る。ここで、ＭＰＳ状態とは、ペンの３番目に高い電力状態であり、水晶発振器（図１０の１０３２）を除くすべてのクロックが切られ得る電力状態である。

通信部は、依然として上記のスニフモード、場合によっては電力消費をさらに低減するためにより低いスリープ解除周期をもつスニフモードであってよい。選択されたスリープ解除周期は、ユーザの遭遇する応答時間に影響を及ぼすことになる。従って、端末上で座標データを受信するアプリケーションプログラムに応じて、例えばアプリケーション／端末から受信した所望の応答時間設定に応じて、ペンがスリープ解除周期を設定するということが考えられる。ある実施の形態では、通信部は、中電力モード１２０２において、時間の経過とともにスリープ解除周期を徐々に減らしていく。電力管理のためにスリープ解除周期を操作することがBluetooth以外の通信プロトコルにも適用可能であることは理解されるであろう。

通常、ペンが長い時間上がっている時に、低電力モード１０２４に入る。ある実施の形態において、低電力モード１０２４は、中電力モード１２０２と類似しているが、通信部のスリープ解除周期がさらに長くなっている。代替として、通信部は、水晶発振器が切られ得るＵＬＰＳ（超低電力）状態に入ることもできる。

また、予め定められたタイムアウトの後にペンが完全に停止させられるということも考えられる。

電力モードを変更するため、２つのステップ、すなわちステップ１２０６およびステップ１２０８が存在する。

ステップ１２０６では、電力モードにかかわらず、ペンがアクティブな使用状態か否か、すなわちペンダウンが検出されたか否かを確認する。そのような確認は、ＰＤＤモジュールのＰＤＤ信号に繰り返しアクセスすることによって行われてもよいし、ＰＤＤ信号の変化を示すイベントを待つことによって行われてもよい。

ペンがアクティブな使用状態にあることがステップ１２０６で検出されると、電子ペンは、高電力モード１２００にとどまるか、あるいは高電力モード１２００に入る。

しかし、例えばユーザが書込みをやめてしまう（ペンアップ）などして、ペンがアクティブな使用状態にないことが検出されると、ペンは高電力モードを脱し、ステップ１２０８へ入って、ペンがアクティブな使用状態になかった時間ｔ_PMが時限ｔ_LIMITよりも長いかどうかが調べられる。長くない場合は、ペンは、中電力モード１２０２に入るか、あるいは中電力モード１２０２にとどまることになる。従って、ペンストローク間でユーザがペンを持ち上げた時にペンが中電力モード１２０２に入ることが理解されるであろう。ペンが時限を超える時間にわたって持ち上げられていた（ペンアップ）場合、すなわちｔ_PM＞ｔ_LIMITである場合は、ペンは低電力モード１０２４に入ることになる。

（設定手順）
本発明の別の態様は、電子ペンと外部端末１０４および８０２のような外部デバイスとの間の通信リンクを設定するための改善された方法である。本方法は、どのような種類の電子ペンに実装されてもよい。以下では、例えば上記の通信部による、無線通信を備えるペンにおける外部デバイスへの設定手順の実施の形態について、図１３を参照して説明する。

設定手順は、例えばペンのボタンが押されることにより引き起こされる専用のトリガーイベントによって開始される（ステップ１３００）。ボタンは、ＯＮ／ＯＦＦボタン１０６か、または専用の設定ボタンである。あるいは、トリガーイベントは、取り込まれた画像から直接、または抽出された画像データ（ドットリスト）から、または復号された座標データに基づいて、予め定められたパターンをペンが検出することによって引き起こされてもよい。

ステップ１３０２では、ペンが１つ以上の予め選択された外部端末を有するかどうかが調べられる。ペンは、そのような予め選択された端末のリストを自身のメモリに保持してもよいし、および／または、予め選択された端末は、ペンが最後に接続された端末であってもよい。Bluetooth通信の例では、リストは、ペンがペアリングされるすべての端末を示してもよい。

ペンが予め選択された端末を有しない場合、ペンは、端末の選択を有効にする（ステップ１３０４）。ある実施の形態において、このステップでは、ペンが、利用可能な端末、すなわちペンの通信部にとって検出可能な端末を求めて走査を実行する。

その後、ステップ１３０６では、そのようなさらなる端末が利用できるかどうかを調べ、可能であれば、これらの端末から１つを選ぶ。また、ステップ１３０６は、発見された端末から、（ステップ１３１２において）その端末へ接続する前に、確認信号を受け取ることを含むこともできる。例えば、発見された端末へペンから信号が送られてよく、それにより端末上に対話型メッセージが表示されて、接続を受け入れるようにユーザを促すようにしてよい。ペンへ接続することをユーザが受け入れたら、端末からペンへ確認信号が送られてよい。

代替となる実施の形態においては、ステップ１３０４で、例えば通信部の属性を変更することによって、ペンが端末にとって発見可能となるようにし、ステップ１３０６で、端末から確認信号を受け取る。例えば、確認信号は、発見されたデバイスのリストからユーザがペンを選ぶことにより、端末において生成されてよい。

端末が選択されたら、ペンは選択された端末への接続を試みる（ステップ１３１２）。ある実施の形態では、端末が選択された時、またはペンが選択された端末への接続に成功した時のいずれかの時に、選択された端末がペンの予め記憶された端末のリストに追加される。

端末が選択されない場合は、ペンから出される視覚的、触覚的、または聴覚的な表示によってユーザが警告されてよい（ステップ１３０８）。任意に、ステップ１３０８は、２つのステップ、すなわちユーザに外部端末が選択されていないと警告するためのステップと、ユーザに接続失敗を警告するステップ（以下を参照のこと）とに分割されてよい。好適には、ユーザがどちらのエラーかを区別できるように、これらの警告は異なる。

しかし、ステップ１３０２において、ペンが実際に１つ以上の予め選択された外部端末を有することが分かったら、ステップ１３０４の代わりにステップ１３１０に入る。

ステップ１３１０では、ペンが書込み面上に当てられているか否かが、ＰＤＤモジュール１０１２／１１５６によって調べられる。

電子ペンが書込み面上に当てられている場合は、ステップ１３０４に入る。このように、たとえペンが予め選択された外部端末を有する場合であっても、ユーザは、そのような端末へペンが接続しないようにして、代わりにペンに他の端末からの選択を有効にさせる、という選択肢を有する。代替となる実施の形態では、この選択肢は、ステップ１３１２の間、すなわちペンがまだ予め選択された端末へ接続しようと試みている間も、ユーザが利用可能である。意図しない接続を避けるため、ステップ１３１０では、ステップ１３０４に入るまで、上記のＯＮ／ＯＦＦボタンまたは設定ボタンも押しながらペンを書込み面上に下ろしておくよう、ユーザに要求してよい。あるいは、またはさらに、ステップ１３１０では、ステップ１３０４に入るまで、予め定められた時間だけペンが書込み面上に当てられることを必要条件としてよい。

ペンが書込み面上に当てられていない場合は、ペンは予め選択された外部端末のうちの１つに接続するよう試みる（ステップ１３１２）。

その後、ステップ１３１４において、接続の試みが成功したか否かが調べられる。接続の試みが失敗していたら、ステップ１３０８に入る。そうではなく、接続の試みが成功していたら、ステップ１３１６に入り、上述のように座標データがペンから端末へ送信される。

以上、いくつかの実施の形態を参照して本発明を中心に説明した。しかしながら、当業者には容易に認められるように、上に開示された以外の実施の形態も、添付の特許請求の範囲に規定されるように本発明の範囲内において等しく可能である。

図１は、電子ペンと外部端末とを含む電子ペンシステムの全体的な原理の概略説明図である。 図２Ａは、電子ペンの処理回路を形成する、ハードウェアの３つの異なる組み合わせを説明する図であり、それぞれの組み合わせは、座標データの決定および送信の両方を行うことのできる通信部を含む。 図２Ｂは、電子ペンの処理回路を形成する、ハードウェアの３つの異なる組み合わせを説明する図であり、それぞれの組み合わせは、座標データの決定および送信の両方を行うことのできる通信部を含む。 図２Ｃは、電子ペンの処理回路を形成する、ハードウェアの３つの異なる組み合わせを説明する図であり、それぞれの組み合わせは、座標データの決定および送信の両方を行うことのできる通信部を含む。 図３は、座標データを電子ペンから外部端末へ送信する方法の概略フローチャートである。 図４は、ペン先に接続された近接センサをもつ電子ペンの概略説明図である。 図５は、反響定位（エコロケーション）を利用した近接センサをもつ電子ペンの概略説明図である。 図６は、ドットパターン画像から座標データを決定する例示的な方法を説明する概略フローチャートである。 図７は、図６の第１のステップをさらに詳細に説明する概略フローチャートである。 図８は、電子ペンシステムをさらに詳細に説明するブロック図である。 図９は、電子ペンのアクセス許可モジュールの動作を説明する概略ブロック図である。 図１０は、電子ペンのハードウェア実現の概略説明図である。 図１１は、電子ペンにおける画像化部の概略説明図である。 図１２は、電子ペンにおける電力管理システムの全体の機能の概略説明図である。 図１３は、電子ペンシステムの設定手順を説明する概略フローチャートである。

Claims (37)

1. 座標データを外部端末へ送信する電子ペンであって、
   書込み面の領域のデジタル画像を生成するように構成された画像化部と、
   前記デジタル画像を表す画像データを受け取って前記画像データを座標データへ変換するように構成された画像解析モジュールと、前記座標データを前記外部端末へ送信するように構成された送信モジュールとを備える通信部と、
   を備えることを特徴とする電子ペン。
2. 前記通信部は、プロセッサと、作業メモリとを備え、
   前記画像解析モジュールは、前記作業メモリに読み込まれた画像解析ソフトウェアを前記プロセッサが実行することによって実装されることを特徴とする請求項１に記載の電子ペン。
3. 前記通信部は、予備処理能力をもつ標準通信回路であることを特徴とする請求項２に記載の電子ペン。
4. 前記通信部は、ブルートゥース（登録商標）通信回路であることを特徴とする請求項１〜３のいずれかに記載の電子ペン。
5. 前記ペンの動作を制御するソフトウェアが、前記画像化部または前記通信部のプロセッサにより実行されることを特徴とする請求項１〜４のいずれかに記載の電子ペン。
6. 前記デジタル画像から前記画像データを抽出するように構成された前処理モジュールをさらに備える請求項１〜５のいずれかに記載の電子ペン。
7. 前記前処理モジュールは、前記画像データを抽出する際に、前記領域においてパターンを識別するように構成されることを特徴とする請求項６に記載の電子ペン。
8. 前記画像データは、前記領域の前記パターンに含まれるコードシンボルを示すものであることを特徴とする請求項７に記載の電子ペン。
9. 前記前処理モジュールは、前記パターンを識別するときに、前記領域においてドットを見つけるように構成されることを特徴とする請求項７または８に記載の電子ペン。
10. 前記前処理モジュールは、前記デジタル画像の基準系において前記ドットの中心点を算出するようにさらに構成されることを特徴とする請求項９に記載の電子ペン。
11. 前記画像データは、前記中心点の前記基準系における位置を含むことを特徴とする請求項１０に記載の電子ペン。
12. 前記前処理モジュールは、前記画像化部の一部であることを特徴とする請求項６ないし１１のいずれかに記載の電子ペン。
13. 前記通信部は、前記画像データを変換するときに、前記画像データを予め定められた遠近法での画像データへ変換するように構成されることを特徴とする請求項１〜１２のいずれかに記載の電子ペン。
14. ペンアップ状態とペンダウン状態とを識別するように構成されたペンダウン検出モジュールをさらに備える請求項１〜１３のいずれかに記載の電子ペン。
15. 前記画像化部における第１の電力管理モジュールと、前記通信部における第２の電力管理モジュールと、をさらに備え、
    前記第１の電力管理モジュールおよび前記第２の電力管理モジュールのそれぞれは、前記ペンダウン検出モジュールに接続され、前記ペンダウン検出モジュールからの状態指示に基づいてそれぞれ前記画像化部および前記通信部の動作モードを制御するように構成されることを特徴とする請求項１４に記載の電子ペン。
16. 各電力管理モジュールによる前記動作モードの制御は、それぞれ前記画像化部および前記通信部に関して異なる電力モードから選択することを含むことを特徴とする請求項１５に記載の電子ペン。
17. 前記画像解析モジュールは、案内入力デバイス用の確立されたプロトコルに従って表される座標データへ前記画像データを変換するように構成されることを特徴とする請求項１〜１６のいずれかに記載の電子ペン。
18. 案内入力デバイス用の前記プロトコルは、ＨＩＤ（ヒューマン・インターフェース・デバイス）であることを特徴とする請求項１７に記載の電子ペン。
19. 前記デジタル画像は、前記書込み面上の符号化パターンを表し、
    前記ペンは、前記デジタル画像の前記符号化パターンから抽出された特性を受け取って、前記抽出された特性に基づいてアクセス信号を出力するように構成されたアクセス許可モジュールをさらに備え、
    前記画像化部および／または前記通信部の動作は、前記アクセス信号を条件として、座標データが前記ペンから送信されるのを選択的に阻止することを特徴とする請求項１〜１８のいずれかに記載の電子ペン。
20. 前記通信部は、前記座標データを、前記座標データが生成されるのにつれて準実時間で送信するように構成されることを特徴とする請求項１〜１９のいずれかに記載の電子ペン。
21. バッファメモリをさらに備え、
    前記通信部は、前記座標データを前記外部端末へ送信できない場合に、前記座標データを前記バッファメモリに一時記憶するように構成されることを特徴とする請求項２０に記載の電子ペン。
22. 座標データの送信用のシステムであって、
    請求項１ないし２１のいずれかに記載の電子ペンと、
    前記電子ペンから送信された座標データの受信用に構成された外部端末と、
    を備えることを特徴とするシステム。
23. 画像化部と通信部とを備える電子ペンから外部端末へ座標データを送信する方法であって、
    前記画像化部において、書込み面の領域を表すデジタル画像を生成することと、
    前記通信部において、前記デジタル画像を表す画像データを受け取ることと、
    前記通信部において、前記受け取った画像データを座標データへ変換することと、
    前記座標データを前記通信部から前記外部端末へ送信することと、
    を含むことを特徴とする方法。
24. 前記変換は、前記通信部の作業メモリに読み込まれた画像解析ソフトウェアを実行する、前記通信部のプロセッサによって制御されることを特徴とする請求項２３に記載の方法。
25. 前記デジタル画像から前記画像データを抽出することをさらに含む請求項２３または２４に記載の方法。
26. 前記抽出は、前記領域において符号化パターンに含まれるコードシンボルの特徴を抽出することを含むことを特徴とする請求項２５に記載の方法。
27. 前記コードシンボルは、規則的な格子の格子点からずれたドットを備え、
    前記抽出は、前記デジタル画像の基準系において前記ドットの中心点を算出することを含むことを特徴とする請求項２６に記載の方法。
28. 前記抽出は、前記画像化部において行われることを特徴とする請求項２５ないし２７のいずれかに記載の方法。
29. 電子ペンを外部端末へ接続する方法であって、
    前記電子ペンを予め選択された外部端末へ接続するための設定手順を開始することと、
    前記設定手順中に前記電子ペンの先端が表面上へ当てられた場合に、予め選択されていない複数の外部端末の中からの端末の選択を可能にして、前記予め選択されていない外部端末の中から選択された端末へ接続するための手順を開始することと、
    を含むことを特徴とする方法。
30. 前記選択を可能にすることは、前記ペンの通信デバイスに外部端末を探させることを含むことを特徴とする請求項２９に記載の方法。
31. 前記選択を可能にすることは、前記ペンの通信デバイスを外部端末が発見できるようにすることを含むことを特徴とする請求項２９に記載の方法。
32. 高電力モード、中電力モード、および低電力モードにおいて動作可能な電子回路と、
    前記電子ペンの先端が書込み面と接触しているか否かを検出するセンサと、
    前記センサに接続され、前記電子回路を、前記先端が前記書込み面と接触している場合は前記高電力モードで動作させ、前記先端が前記書込み面との接触から離された場合は前記中電力モードで動作させ、前記先端が予め定められた時間より長い間、前記書込み面と接触していない場合は低電力モードで動作させるように構成された電力管理システムと、
    を備えることを特徴とする電子ペン。
33. 前記電子回路は、
    書込み面上の領域のデジタル画像を生成するように構成された画像化部の少なくとも一部と、
    前記デジタル画像を表す画像データを受け取り、前記画像データを座標データへ変換し、前記座標データを外部端末へ送信するように構成された通信部の少なくとも一部と、
    を備えることを特徴とする請求項３２に記載の電子ペン。
34. 前記通信部の前記少なくとも一部は、前記高電力モードにおいて、前記画像化部の前記少なくとも一部の画像生成レートに対応するスニフレートで、前記外部端末への接続部へ間欠的にアクセスするようにされていることを特徴とする請求項３３に記載の電子ペン。
35. 前記通信部の前記少なくとも一部は、前記中電力モードにおいて、低減されたスニフレートで動作させられることを特徴とする請求項３４に記載の電子ペン。
36. 前記低減されたスニフレートは、少なくとも部分的に、前記外部端末から受け取った設定に基づいて設定されることを特徴とする請求項３５に記載の電子ペン。
37. 前記画像化部の前記少なくとも一部は、前記中電力モードにおいて電力が弱められることを特徴とする請求項３３ないし３６のいずれかに記載の電子ペン。