JP4188920B2

JP4188920B2 - コンピューティング入力デバイスのための光学システム及び入力デバイス

Info

Publication number: JP4188920B2
Application number: JP2005002849A
Authority: JP
Inventors: チャンチョンフイ; ワンチャン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2004-01-07
Filing date: 2005-01-07
Publication date: 2008-12-03
Anticipated expiration: 2025-01-07
Also published as: AU2005200011B2; KR101109235B1; EP1621977A3; EP1621977A2; BRPI0500017A; RU2004139200A; MXPA05000421A; CA2491393A1; CN100465866C; US20040136083A1; US7133031B2; CN1637698A; AU2005200011A1; RU2386161C2; EP1621977B1; KR20050072710A; JP2005198320A

Description

本発明は、コンピューティング入力デバイスのための光学システム及び入力デバイスに関し、より詳細には、滑らかな電子インクを生成するためのコンピュータ入力デバイスのための光学システム及び入力デバイスに関する。特に、一般的なユーザインターフェースを提供しながら、分岐プラットフォーム（ｄｉｖｅｒｇｅｎｔｐｌａｔｆｏｒｍ）で使用可能な入力デバイス、ユニバーサルコンピューティングデバイスを対象とする。

コンピューティングシステムは、我々の生活スタイルを劇的に変化させてきた。最初に登場したコンピュータは極めて高価なものであり、ビジネスの現場で使用する場合に限って費用対効果に優れたものであった。コンピュータが手頃な価格になるにつれて、パーソナルコンピュータが仕事場にも家庭にも広く普及するようになったため、オフィスのデスクや家庭のキッチンテーブルなど、どこにでも見られるようになった。マイクロプロセッサは、テレビやその他の娯楽システムから自動車の運転を調節するための装置での使用に至るまで、我々の日常生活のあらゆる面に組み込まれてきている。

大規模オフィスの全フロアを占拠したデータ高速処理デバイスから、ラップトップコンピュータ又は他のポータブルコンピューティングデバイスまでの、コンピューティングデバイスの進化は、文書の生成及び情報の格納の方法に著しく影響を与えてきた。ポータブルコンピューティング機能により、こうしたコンピューティングデバイスを会社で使用するのではなく、個人個人が文書を作成し、覚書を下書きし、メモを取り、画像を作成し、数多くの仕事を適所で実行できるようになった。専門家も専門家でない人も一様に、いかなる場所でもそのコンピューティングニーズを満たすデバイスを使用して、移動しながら仕事のできる機能が与えられている。

典型的なコンピューティングシステム、特に、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）などのグラフィカルユーザインターフェース（ＧＵＩ）システムを使用するコンピューティングシステムは、キーボード（テキスト入力用）などの１つ又は複数の離散的入力デバイス、及びユーザの選択を起動させるための１つ又は複数のボタンを備えた（マウスなどの）ポインティングデバイスからの、ユーザ入力を受け入れるように最適化されている。

コンピュータ世界の本来の目的の１つは、あらゆるデスクの上にコンピュータを配置することであった。この目的は、パーソナルコンピュータがオフィスのいたるところで見られるようになることで、かなりの程度まで実現された。ラップトップコンピュータ及び高機能の携帯情報端末の出現で、オフィスの作業環境は、作業が行われる従来とは異なる様々な場所を含むように拡張されてきた。コンピュータユーザは、自分の各コンピューティングデバイス用の分岐ユーザインターフェースにますます精通しなければならなくなっている。標準的なパーソナルコンピュータ用のマウス及びキーボードインターフェースから、携帯情報端末の簡略化された抵抗式（ｒｅｓｉｓｔｉｖｅ）のスタイラスインターフェース（ｓｔｙｌｕｓｉｎｔｅｒｆａｃｅ）、及びセルラー式電話の最小型キーに至るまで、ユーザは、様々な異なるユーザインターフェースに直面し、それらをマスターするまでは基礎となる技術を使用することができない。

技術の進歩にもかかわらず、ほとんどのユーザは、主な編集ツールとして紙に印刷された文書を使用する傾向にある。印刷された紙の利点の中には、読みやすさと携帯性が含まれる。その他に、注釈付けされた紙の文書が共有できること、及び印刷された紙が保管しやすいことも含まれる。拡張コンピューティングシステムと印刷された紙の機能との間のギャップを埋めているユーザインターフェースの１つが、スタイラスベースのユーザインターフェースである。スタイラスベースのユーザインターフェースに関する手法の１つは、（現在のＰＤＡで一般的な）抵抗式の技術を使用することである。他の手法は、ラップトップコンピュータでアクティブセンサを使用することである。コンピュータ世界の次の目的の１つは、コンピュータを操作するためのユーザインターフェースをユーザの元に返すことである。

スタイラスの使用に関連する欠点は、こうしたデバイスがセンサボードを含むコンピューティングデバイスと連動していることである。言い換えればスタイラスは、必要なセンサボードと共に使用しなければ入力を生成することができないことである。さらにスタイラスの検出は、感知ボードにスタイラスを近づけることによって影響を受けることである。

従来のポータブルコンピューティングデバイスには、複数のユーザ構成に対する特有の識別形式がない場合がある。したがって、こうしたポータブルコンピューティングデバイスが２台同時に作動した場合、ホストコンピュータは混乱し、同じコンピューティングデバイスからの注釈として感知する。１人のユーザがコンピューティングデバイスを使用して文書に注釈を付け、その後、２人目のユーザが同じ文書に２台目のコンピューティングデバイスを使用して注釈を付けた場合、コンピューティングデバイスからデータフレームを受け取ったホストＰＣは、そのデータを同じコンピューティングデバイスから発信されたものと解釈する。ホストＰＣがどのコンピューティングデバイスから発生した注釈であるかを識別する機能を有していなければ、特定のコンピューティングデバイスへの変更を明確に追跡することはできない。

従来のポータブルコンピューティングデバイスには、既存のインクの上にユーザが実行する可能性のある書込みを追跡する機能がない場合がある。従来のコンピューティングデバイスは、インクのない白紙の表面へのユーザの書込みを追跡することができるが、これらのデバイスのイメージ取込み機能は、既存のインク上への書込みは追跡することができない。さらに従来のポータブルコンピューティングデバイスには、ペンなどの筆記用具を持ったときに生来存在する遠近感（ｐｅｒｓｐｅｃｔｉｖｅ）を処理する機能がない場合がある。関連するコンピューティングデバイスのイメージセンサは、ユーザがコンピューティングデバイスを書込み面に対して直角に保持した場合に効率的に動作する。しかし、ほとんどの人は表面に対してペンを９０度には保たない。したがって、イメージセンサにとっては、コンピューティングデバイスの角度を適切に補償する際に遠近感が問題となる。

米国特許出願第１０／２８４，４１２号明細書米国特許出願第１０／２８４，４５１号明細書

当技術分野では、様々なコンピューティングデバイスのいずれか１つに対して入力デバイスとして機能可能であり、かつ様々な状況で動作可能な、ポータブルコンピューティングデバイスが求められている。また、複数のユーザが文書上及び／又はアプリケーションプログラム内で同時に操作できるようにするために、特定の識別によって識別可能なポータブルコンピューティングデバイスも求められている。さらに、表面のイメージを取り込む際に遠近感の影響を低減させることが可能であり、かつ既存のインク上へのユーザの書込みを追跡するように構成可能な、ポータブルコンピューティングデバイスも求められている。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、コンピューティング入力デバイスのための光学システム及び入力デバイスを提供することにある。

本発明は、分岐コンピューティングプラットフォームを横切ってユーザに共通ユーザインターフェースを提供することによって、上述した識別された１つ又は複数の問題に対処するものである。また、本発明は、データが対象とするデバイスとは無関係に電子インクを生成し、かつ／又は他の入力を生成するための、入力デバイスに関するものである。入力デバイスは、ペンの形に形成することが可能であり、よく使われる方法で入力デバイスが動きやすくするために、インクカートリッジを含む場合と含まない場合とがある。本発明の一実施態様は、複数のユーザが文書上及び／又はアプリケーションプログラム内で同時に操作できるようにするために、特定の識別によって識別可能なポータブルコンピューティングデバイスである。

本発明の一実施態様は、赤外線と、表面に印刷されるか、埋め込まれるか、又はインプリントされた迷路パターン（ｍａｚｅｐａｔｔｅｒｎ）とを使用する。表面は、迷路パターンがカーボンインクで印刷された１枚の紙とすることができる。本発明のカメラは、任意のノンカーボンコンテンツの下に位置する可能性のある迷路パターンセルを取り込むことができる。ｍ−アレイ復号及び文書イメージ分析に関連付けられたアルゴリズムは、文書コンテンツ及び迷路パターンの両方を含む取り込まれたイメージの場所を復号する。

本発明の他の実施態様は、比較的解像度の低いカメラとして機能するレンズ及び光センサのセットを含む、赤外線（ＩＲ）照明を備えたオフセット光学システムを提供するものである。カメラは、注記付けに使用される入力デバイスとは異なる平面内及びオフセット角度にある。オフセットは性能及び遠近感の処理を向上させるため、通常の書込み角度でより自然に入力デバイスを使用することができる。ＩＲ照明は、可視光線照明の下で、既存の文書コンテンツ又はインクによって覆われている可能性の多い位置符号化の検出を助けるものである。

本発明の実施態様の概要ならびに以下の様々な実施形態の詳細な説明は、請求された発明に関して、限定的なものではなく例示的なものとして含まれた添付の図面とともに読むことでより良く理解されるものである。

本発明は、デスクトップ又はラップトップコンピュータの制御、ホワイトボードへの書込み、紙などの表面への書込み、ＰＤＡ又はセルラー式電話の制御、あるいは様々なプラットフォーム間で移植可能な電子インクの作成から、様々な異なるプラットフォームで使用可能な入力デバイスに関するものである。

＜用語＞
ペン・・インクを格納する機能を含むことができるか又は含むことができない任意の筆記用具。いくつかの例では、本発明の実施形態に従って、インク機能を備えていないスタイラスをペンとして使用することができる。

カメラ・・イメージ取込みシステム。

能動（ａｃｔｉｖｅ）符号化・・適切な処理アルゴリズムを使用して入力デバイスの位置決め及び／又は動きを決定する目的で、入力デバイスが位置決めされる対象物又は表面内へのコードの組み込み。

受動（ｐａｓｓｉｖｅ）符号化・・適切な処理アルゴリズムを使用してその上を入力デバイスが移動する対象物又は表面から取得され、その目的で組み込まれたコード以外の、イメージデータを使用した入力デバイスの動き／位置決めの検出。

入力デバイス・・情報を生成及び処理するために構成可能な情報を入力するためのデバイス。

能動入力デバイス・・入力デバイス内に組み込まれたセンサを使用して入力デバイスの位置決め及び／又は動きを示す信号をアクティブに測定し、データを生成する、入力デバイス。

受動入力デバイス・・入力デバイス内以外に組み込まれたセンサを使用して、動きが検出される入力デバイス。

コンピューティングデバイス・・デスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、携帯情報端末、電話、又は、入力デバイスを含む情報を処理するように構成された任意のデバイス。

図１は、実施可能な好適な汎用デジタルコンピューティングシステム環境の一実施形態を示す概略図である。コンピューティングシステム環境１００は、好適なコンピューティング環境の一例に過ぎず、本発明の使用又は機能の範囲に関してどのような制限をも示唆することを意図するものではない。また、コンピューティングシステム環境１００は、例示的なコンピューティングシステム環境１００に示された構成要素のうちの任意の１つ又はそれらの組合せに関して、いかなる依存関係又は要件をも有するものと解釈されるべきではない。

本発明は、多数の他の汎用又は特定用途向けのコンピューティングシステム環境又は構成で動作可能である。本発明で使用するのに好適な可能性のある、よく知られたコンピューティングシステム、環境、及び／又は構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド又はラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能な大衆消費電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システム又はデバイスのうちのいずれかを含む分散コンピューティング環境、及びその他が含まれるが、これらに限定されるものではない。

本発明は、コンピュータによって実行可能なプログラムモジュールなどの、コンピュータ実行可能命令の一般的なコンテキストで説明することができる。一般にプログラムモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実施する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含んでいる。本発明は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される、分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールを、メモリ記憶デバイスを含むローカルとリモートの両方のコンピュータ記憶媒体内に配置することができる。

図１を参照すると、本発明を実施するための例示的なコンピューティングシステムには、コンピュータ１１０の形の汎用コンピューティングデバイスが備えられている。コンピュータ１１０の構成要素は、処理ユニット１２０と、システムメモリ１３０と、システムメモリを備えた様々なシステム構成要素を処理ユニット１２０に結合するためのシステムバス１２１とを備えることができるが、これらに限定されるものではない。システムバス１２１は、メモリバス又はメモリ制御装置、周辺バス、及び様々なバスアーキテクチャのうちのいずれかを使用するローカルバスを備え、いくつかのタイプのバス構造のうちのいずれかであることが可能である。例を挙げると、こうしたアーキテクチャには、ＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、ＭｉｃｒｏＣｈａｎｎｅｌＡｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ＶｉｄｅｏＥｌｅｃｔｒｏｎｉｃｓＳｔａｎｄａｒｄｓＡｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、及びメザニンバスとも呼ばれるＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスが含まれるが、これらに限定されるものではない。

コンピュータ１１０は、通常、様々なコンピュータ読取可能な媒体を含んでいる。コンピュータ読取可能な媒体は、コンピュータ１１０がアクセス可能であり、揮発性及び不揮発性、取外し可能及び取外し不能の両方の媒体を含む、任意の使用可能な媒体とすることができる。例を挙げると、コンピュータ読取可能な媒体は、コンピュータ記憶媒体及び通信媒体を備えることができるが、これらに限定されるものではない。コンピュータ記憶媒体は、コンピュータ読取可能な命令、データ構造、プログラムモジュール、又は他のデータなどの情報を格納するための任意の方法又は技術で実施された、揮発性及び不揮発性、取外し可能及び取外し不能の媒体を含んでいる。コンピュータ記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電子的消去可能プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、又は他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、又は他の磁気ストレージデバイス、あるいは所望の情報を格納するために使用可能かつコンピュータ１１０がアクセス可能な任意の他の媒体を含むが、これらに限定されるものではない。通信媒体は、通常、コンピュータ読取可能な命令、データ構造、プログラムモジュール、あるいは搬送波又は他の移送メカニズムなどの変調データ信号内の他のデータを具体化し、任意の情報送達媒体を含んでいる。「変調データ信号」という用語は、信号内の情報を符号化するような方法で、その１つ又は複数の特徴を設定又は変更した信号を意味する。例を挙げると、通信媒体は、有線ネットワーク又はダイレクトワイヤード接続などの有線媒体と、音波、ＲＦ、赤外線、及び他の無線媒体などの無線媒体とを含むが、これらに限定されるものではない。上述したいずれの組合せも、コンピュータ読取可能な媒体の範囲内に含まれるものとする。

システムメモリ１３０は、ＲＯＭ１３１及びＲＡＭ１３２などの揮発性及び／又は不揮発性メモリの形のコンピュータ記憶媒体を備えている。起動時などにコンピュータ１１０内の要素間で情報を転送する助けとなる基本ルーチンを含む、基本入力／出力システム１３３（ＢＩＯＳ）は、通常、ＲＯＭ１３１に格納されている。ＲＡＭ１３２は、通常、処理ユニット１２０に即時アクセス可能であり、かつ／又は処理ユニット１２０上で現在動作中である、データ及び／又はプログラムモジュールを備えている。例を挙げると、図１にはオペレーティングシステム１３４と、アプリケーションプログラム１３５と、他のプログラムモジュール１３６と、プログラムデータ１３７とが示されているが、これらに限定されるものではない。

コンピュータ１１０は、他の取外し可能／取外し不能、揮発性／不揮発性のコンピュータ記憶媒体も備えている。図１には、単なる例として、取外し不能、不揮発性の磁気媒体からの読取り又はこれへの書込みを行うハードディスクドライブ１４１と、取外し可能、不揮発性の磁気ディスク１５２からの読取り又はこれへの書込みを行う磁気ディスクドライブ１５１と、ＣＤＲＯＭ又は他の光媒体などの取外し可能、不揮発性光ディスク１５６からの読取り又はこれへの書込みを行う光ディスクドライブ１５５とが示されている。例示的なオペレーティング環境で使用することが可能な他の取外し可能／取外し不能、揮発性／不揮発性のコンピュータ記憶媒体は、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ及びその他を含むが、これらに限定されるものではない。ハードディスクドライブ１４１は、通常、インターフェース１４０などの取外し不能メモリインターフェースを介してシステム１２１に接続され、光ディスクドライブ１５５は、通常、インターフェース１５０などの取外し可能メモリインターフェースによってシステムバス１２１に接続されている。

上述したように、図１に示されたドライブ及びそれらに関連付けられたコンピュータ記憶媒体は、コンピュータ読取可能な命令、データ構造、プログラムモジュール、及びコンピュータ１１０向けの他のデータのストレージを提供するものである。図１では、例えば、ハードディスクドライブ１４１がオペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、及びプログラムデータ１４７を格納しているように示されている。これらの構成要素は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、及びプログラムデータ１３７と同じであるか、又はこれらと異なるかのいずれであってもよいことに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、及びプログラムデータ１４７が、ここでは少なくとも異なるコピーであることを示すために、これらに所与の異なる番号が与えられている。ユーザは、デジタルカメラ（図示せず）、キーボード１６２、及び一般にマウス、トラックボール、又はタッチパッドと呼ばれるポインティングデバイス１６１などの、入力デバイスを介して、コンピュータ１１０にコマンド及び情報を入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、スキャナ、又はその他が含まれる場合がある。これら及び他の入力デバイスは、システムバス１２１に結合されたユーザ入力インターフェース１６０を介して処理ユニット１２０に接続されることが多いが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）などの、他のインターフェース及びバス構造によって接続することができる。モニタ１９１又は他のタイプのディスプレイデバイスも、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。コンピュータは、モニタに加えて、出力周辺インターフェース１９５を介して接続可能なスピーカ１９７及びプリンタ１９６などの他の周辺出力デバイスを備えることもできる。

一実施形態では、手書き入力をデジタル方式で取り込むための、ペンデジタイザ（ｐｅｎｄｉｇｉｔｉｚｅｒ）１６３及び付属のペン又はスタイラス１６４が提供される。ペンデジタイザ１６３とユーザ入力インターフェース１６０との間の直接接続が示されているが、実際には、当技術分野で知られているようなパラレルポート又は他のインターフェース及びシステムバス１２１を介して、ペンデジタイザ１６３を処理ユニット１２０に直接結合することができる。さらに、デジタイザ１６３は、モニタ１９１とは離れているように示されているが、デジタイザ１６３の使用可能入力領域は、モニタ１９１の表示領域と同一の広がりを持つことができる。また、デジタイザ１６３は、モニタ１９１に組み込むか、あるいはモニタ１９１に重ねあわされるか又は他の方法で付属された別のデバイスとして存在することもできる。

コンピュータ１１０は、リモートコンピュータ１８０などの１つ又は複数のリモートコンピュータへの論理接続を使用して、ネットワーク環境で動作することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、又は他の共通ネットワークノードとすることが可能であり、図１にはメモリストレージデバイス１８１のみが示されているが、通常はコンピュータ１１０に関して上述した要素の多く又はすべてを含んでいる。図１に記載された論理接続には、ローカルエリアネットワーク（ＬＡＮ）１７１及びワイドエリアネットワーク（ＷＡＮ）１７３が含まれるが、他のネットワークを含むこともできる。こうしたネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、及びインターネットで広く普及している。

ＬＡＮネットワーキング環境で使用される場合、コンピュータ１１０は、ネットワークインターフェース又はアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用される場合、コンピュータ１１０は通常、モデム１７２、又はインターネットなどのＷＡＮ１７３を介して通信を確立するための他の手段を含んでいる。モデム１７２は内蔵型又は外付けとすることが可能であり、ユーザ入力インターフェース１６０又は他の適切なメカニズムを介して、システムバス１２１に接続することができる。ネットワーク環境では、コンピュータ１１０に関して示されたプログラムモジュール又はその一部を、リモートメモリストレージデバイスに格納することができる。例を挙げると、図１では、リモートアプリケーションプログラム１８５がメモリデバイス１８１上に常駐しているように示されているが、これに限定されるものではない。図示されたネットワーク接続は例示的なものであり、コンピュータ間に通信リンクを確立する他の手段が使用可能である。

図示されたネットワーク接続は例示的なものであり、コンピュータ間に通信リンクを確立する他の手段が使用可能である。ＴＣＰ／ＩＰ、イーサネット（登録商標）、ＦＴＰ、ＨＴＴＰ、及びその他などの様々なよく知られたプロトコルのうちのいずれかが存在すると想定され、システムはユーザがウェブベースサーバからＷｅｂページを検索できるようにクライアントサーバ構成内で動作することができる。様々な従来のウェブブラウザのいずれかを使用して、ウェブページ上でデータを表示及び操作することができる。

図２は、本発明の少なくとも１つの実施態様に従った入力デバイスを示す図である。以下、いくつかの異なる要素及び／又はセンサについて説明する。様々なセンサの組合せを使用して本発明を実施することができる。さらに、磁気センサ、加速度計、ジャイロスコープ、マイクロフォン、あるいは表面又は対象物を基準とした入力デバイスの位置を検出することが可能な任意のセンサを含む追加のセンサも、同様に含める事ができる。図２では、ペン（入力デバイス）２０１が、インクカートリッジ２０２と、圧力センサ２０３と、カメラ２０４と、誘導要素２０５と、プロセッサ２０６と、メモリ２０７と、トランシーバ２０８と、電源２０９と、ドッキングステーションリンク２１０と、キャップ２１１と、ディスプレイ２１２を備えている。様々な構成要素は、例えば、図示されていないバスを使用して、必要に応じて電気的に結合することができる。ペン２０１は、デスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、携帯情報端末、電話、あるいは、情報を処理及び／又は表示することが可能な任意のデバイスを含む、一連のデバイスに対する入力デバイスとして働く。

入力デバイス２０１は、標準的なペンと紙の書込み又は描画を実行するためのインクカートリッジ２０２を備えている。さらにユーザは、典型的なペンの用法で入力デバイスを操作しながら、この入力デバイスを使用して電子インクを生成することができる。したがって、インクカートリッジ２０２は、ペンの動きが記録され、電子インクの生成に使用される間に、紙上に手書きのストロークを生成するための使い心地の良いよく知られた媒体を提供することができる。また、インクカートリッジ２０２は、いくつかの知られた方法のいずれかを使用して、回収位置（ｗｉｔｈｄｒａｗｎｐｏｓｉｔｉｏｎ）から書込み位置（ｗｒｉｔｉｎｇｐｏｓｉｔｉｏｎ）へと移動させることができる。他の方法として、インクカートリッジ２０２は、インクを含まないが、ユーザがペン又は表面を損傷することなく表面付近でペンを動かすことのできるような、先端の丸いプラスティックカートリッジに置き変えることができる。さらに、誘導要素を含むことによって、例えば、スタイラスによって生成されるのと同様の方法で入力デバイスを示す信号を提供することにより、入力デバイスの相対的な動きを検出するのを支援することもできる。ペンが対象物の上に位置する間にペンを押し下げると表示できるように入力を指定するための、圧力センサ２０３を備えることが可能であり、それによって、例えば、マウスボタンの入力を選択することによって達成可能な対象物又はインジケーションの選択が容易になる。また、他の方法として、圧力センサ２０３は、ユーザがペンで書くときの押し下げる力を検出し、これを使用して生成される電子インクの幅を変化させることもできる。さらに、圧力センサ２０３は、カメラ２０４の動作を起動させることができる。代替モードでは、カメラ２０４は圧力センサ２０３の設定とは無関係に動作することができる。

さらに、スイッチとして働くことのできる圧力センサに加えて追加のスイッチを備えることで、入力デバイス２０１の動作を制御するための様々な設定に影響を与えることもできる。例えば、１つ又は複数のスイッチを入力デバイス２０１の外側に提供し、これを使用して入力デバイス２０１の電源をオンにすること、カメラ２０４又は光源を活動化すること、圧力センサ２０３の感度又は光源の明るさをコントロールすること、テキストへの変換が実行されないスケッチモードに入力デバイス２０１を設定すること、入力データを内部に格納するように入力デバイス２０１を設定すること、入力データを処理及び格納すること、また、入力デバイス２０１が通信する際に使用できるコンピューティングデバイスなどの処理ユニットにデータを伝送すること、又は、望ましい可能性のある任意の設定を制御することができる。

その上でペンを動かす表面のイメージを取り込むためのカメラ２０４を含めることができる。誘導システム内でスタイラスとして使用された場合に、ペンの性能を強化するための、誘導要素２０５も備えることができる。プロセッサ２０６は、本発明の様々な態様に従った機能を実行するための任意の知られたプロセッサで構成することが可能であり、これについては以下でより詳細に説明する。同様にメモリ２０７は、デバイスの制御又はデータの処理を行うためのデータ及び／又はソフトウェアを格納するための、ＲＡＭ、ＲＯＭ、又は任意のメモリデバイスを含むことができる。さらに入力デバイス２０１は、トランシーバ２０８を備えることができる。トランシーバ２０８は、他のデバイスと情報を交換することができる。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他の無線技術を使用して、通信を容易にすることができる。他のデバイスは、入力デバイスをさらに含むことが可能なコンピューティングデバイスを含むことができる。

また、電源２０９を備えることが可能であり、ペン２０１がホストデバイスから独立してリモートに使用されることになる場合は、データが処理、格納、及び／又は表示されるデバイスに電源を供給することが可能である。この電源２０９は、いくつかの場所にある入力デバイス２０１に組み込むこと、電源が交換可能である場合に即時交換用に配置すること、又は、電源が再充電可能である場合に再充電を容易にすることが可能である。他の方法として、ペン２０１を電気的にカーバッテリに結合するためのアダプタ、壁のコンセントに接続された再充電器、コンピュータの電源、又は任意の他の電源などの、代替電源にペンを結合することが可能である。

ドッキングステーションリンク２１０を使用して、入力デバイス２０１と外部ホストコンピュータなどの第２のデバイスとの間で情報を転送することができる。ドッキングステーションリンク２１０は、図示されていないドッキングステーションに取り付けられるか、又は電源に接続されたときに、電源２０９を再充電するための構造も備えることができる。ＵＳＢ又は他の接続は、ドッキングステーションリンクを介するか、又は代替ポートを介して、入力デバイスを取外し可能なようにホストコンピュータに接続することができる。他の方法として、ハードワイヤ接続を使用して、データを送信及び受信するためにペンをデバイスに接続することもできる。ハードワイヤード構成では、入力デバイスをホストに直接接続する配線を選択して、ドッキングステーションリンクが省略されることになる。ドッキングステーションリンクは省略するか、又は他のデバイス（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）８０２．１１ｂ）と通信するための他のシステムに置き換えることができる。

さらに入力デバイス２０１は、抵抗式感知を容易にするための金属チップを備えることができる取外し可能なキャップ２１１を備えることも可能であり、その結果、例えば、感知ボードを含むデバイスと共に入力デバイス２０１を使用することができる。入力デバイス２０１のシェルは、プラスティック、金属、樹脂、それらの組合せ、あるいは入力デバイスの構成要素又は全体の構造を保護することのできる任意の材料からなるものとすることができる。シャーシは、デバイスのいくつか又はすべての感応電子構成要素を電気的に遮蔽するための金属仕切り（ｃｏｍｐａｒｔｍｅｎｔ）を備えることができる。また、入力デバイス２０１は、ペンの形状に対応可能な縦長の形状とすることができる。また、入力デバイス２０１は、入力デバイス及び／又はインク生成デバイスとしての用途に合わせて、任意数の形状に形成することができる。

図３Ａ乃至図３Ｃは、本発明の入力デバイスに使用するカメラシステムの３つの例示的な実施形態を示す図である。上述したように、例えば、カメラを使用してペンの動きを検出することによって電子インクを生成するために、入力デバイス２０１を使用することができる。その上でペンを動かす表面のイメージを取り込むため、及びスキャンされる表面上でペンが動く量を、イメージ分析を通じて検出するために、カメラ３０４を備えることができる。この動きを文書と相関させ、この文書への電子インクの電子的な置き換え、追加、又は関連付け（例えば、入力された注記を元の文書とは別に格納する）を行うことができる。

図３Ａに示されるように、カメラ３０４は、例えば、イメージ感知要素のアレイからなるイメージセンサ３２０を備えている。例えば、カメラ３０４は、解像度３２ピクセル×３２ピクセルで１．７９ｍｍ×１．７９ｍｍ四方の領域をスキャンする機能を備えた、ＣＭＯＳイメージセンサからなる。こうしたイメージセンサ３２０の最低露出フレームレートは、およそ３３０Ｈｚとすることが可能であり、例示されたイメージセンサは１１０Ｈｚの処理レートで動作可能である。選択されるイメージセンサは、カラーイメージセンサ、グレースケールイメージセンサを備えるか、又は単一のしきい値を超える輝度を検出するように動作することができる。しかし、カメラ又はその構成要素部分の選択は、カメラに関連付けられた所望の動作パラメータに基づいて、性能、コスト、又は他の考慮事項などの考慮事項に基づいて、入力デバイスの位置を正確に計算するのに必要な解像度などの係数の求めるところに従って、変えることができる。

光源３２１は、入力デバイス２０１がその上を移動する表面を照らすことができる。光源３２１は、例えば、単一の発光ダイオード（ＬＥＤ）、ＬＥＤアレイ、又は他の発光デバイスからなるものとすることができる。光源３２１は、白を含む単色の光を生成することができるか、又は複数の色を生成することができる。ハーフミラー（ｈａｌｆ−ｍｉｒｒｏｒ）３２２をカメラ内に設けて、光を所望の方向に向けて送ることができる。カメラ３０４は、光源３２１からの光をスキャンされた表面３２４上に集束するため、及び／又はその表面から反射された光をイメージセンサ３２０に集束するための、１つ又は複数の光学デバイス３２３をさらに備えている。

図３Ａに示されるように、光源３２１から発せられた光は、当たる方向に応じて光を反射又は透過する鏡であるハーフミラー３２２によって反射される。反射された光は、その後、レンズシステム３２３を通過して送られ、次の反射表面へと伝送される。光はその後その表面で反射され、レンズシステム３２３を通過し、ミラーを通過する伝送角度でハーフミラー３２２に達し、感知アレイ３２０に当たる。もちろん、広範にわたる構成要素を含むカメラを使用してイメージデータを取り込むことが可能であり、それよりも数が少ないか又は多い構成要素を組み込んだカメラも含まれる。構成要素の配置構成には多数のバリエーションが可能である。配置構成を単純にして１つだけ例を示すために、光源及び感知アレイを一緒に配置して、どちらもイメージの取込み先である表面に向き合うようにすることができる。その場合はカメラ内での反射が不要であるため、ハーフミラーをシステムから除去することができる。図３Ｂに示されるような単純な構成では、光源３２１がレンズ３２３及びセンサ３２０からある距離を置いて配置される。他の簡略化された配置構成では、図３Ｃに示されるように、光源を除去し、対象物の表面を反射した周辺光をレンズ３２３によってセンサ３２０上に集束することができる。

したがって、カメラに組み込まれる構成要素又はそれらの配置のバリエーションは、本発明に合致した方法で採用することができる。例えば、図２に示されたカメラ及び／又はインクカートリッジの配置及び／又は向きを変更して、広範なカメラ及び／又はインクの構成及び向きを使用することが可能である。例えば、カメラ３０４又はその任意の構成部品を、図示されたように同じ開口部内に配置するのではなく、インクカートリッジ用に提供された隣接する開口部内に配置することができる。追加の例として、カメラ３０４を入力デバイスの中央に配置し、インクカートリッジをカメラの側面に配置することもできる。同様に、光源３２１をカメラの残りの構成要素を収容する構造内部に組み込むか、あるいは１つ又は複数の構成要素を互いに離して配置することもできる。さらに、追加の構造及び／又はソフトウェアを備えた光源及び／又は光学系を使用する光投影機構、あるいは図示された構成要素への必要に応じた修正も実施可能である。

通常の光学設計では、光軸がイメージングセンサセンタ及びレンズのＦＯＶ（視野）の中心を通過し、光軸は入力デバイスシェルとほぼ平行である。入力デバイスが紙面に対して直角な場合に、イメージングセンサ平面が表面と平行になるので、光学的な性能が最も良い。しかしユーザは、ペンを９０°ではなく、傾斜角又はピッチ角で使用する場合が多い。したがって、遠近感の影響により、入力デバイスの使用はほぼ９０度の角度で持った場合にのみ動作するように制限されることになる。インクがすでに書き込まれている領域にユーザが何かを書き込みたい場合、既存のインク上への書込みの問題が生じる。この問題に対処するには、ユーザが最初に書き込んだものが迷路パターンを覆うことになるため、特定の処理が必要である。入力デバイス用の視野オフセット光学系が遠近感の影響に対処し、ＩＲ（赤外線）照明が既存のインク上への書込みの問題に対処する。ＩＲ照明を使用して、任意のノンカーボンコンテンツによって覆われた迷路パターンを取り込むことができる。

図４は、本発明の少なくとも１つの実施態様に従った入力デバイスのイメージングシステムを示す図である。入力デバイス４００は、３２×３２ピクセルのＣＭＯＳイメージングセンサ４１０を備えている。システムターゲットは、５ｍｍ×５ｍｍ視野の迷路パターン平面とすることができる。ユーザが書き込むか又は走り書きする場合、ペン先を支点（ｓｕｐｐｏｒｔｐｏｉｎｔ）として入力デバイス４００と表面との間に傾斜角及びピッチ角が存在する。多くのユーザは、通常、ペンを９０度の角度では持たない。したがって、本発明のイメージングシステムは、５０°から９０°などのある一定の傾斜／ピッチ角の領域内で、十分なイメージ品質の要件に合致するように設計される。表１は、本発明の一実施形態のレンズ要件を識別するものである。

図４に示されるように、入力デバイス４００は、表面との様々な傾斜度で使用することができる。したがって、システム設計では、設計角度として６５°の傾斜角が示されている。入力デバイス４００がこの姿勢の場合、光学系はさらに効率良く機能する。図４に示されるように、イメージセンサ４１０の実際の視野４４０は、レンズ構成４２０の視野全体４５０の一部であり、イメージングシステムの実際の軸とレンズ４３０の主光軸とはある角度を成している。イメージングシステムの軸は、ペンの軸とほぼ平行であり、すなわち、イメージングシステムの軸は表面に対して約６５°〜７０°の角度であるものとする。

図５は、本発明の少なくとも１つの実施態様に従った入力デバイスの光学設計を示す図である。設計角度では、レンズ構成４２０の光軸４３０は結像面に対して垂直であり、図５に示すように、イメージセンサ４１０の視野は光軸４３０に対してオフセットしている。視野の中心から光軸までの距離はおよそ７．４４ｍｍであり、結像面に対しておよそ６９．５°の傾斜角を生み出す。通常の設計角度条件では結像面が紙面とほぼ平行であるため、この視野オフセット設計は遠近感の影響を減らすことが可能であり、すなわち、入力デバイス４００がほぼ６５°の角度で扱われる場合、遠近感が非常に小さい（３．５％未満）。当業者であれば、前述のほぼ６５°という例示的な設計角度は単なる一例であって、本発明に従った他の角度も使用可能である。

レンズ構成要素４２０は、複レンズ及び単レンズからなる３要素システムとすることができる。好適なアパチャの数を選択し、焦点深さとイメージの輝度の両方を考慮する。良好な解像度ならびに許容される歪みを生み出すために、カリフォルニア州サンディエゴのＺＥＭＡＸ設計ソフトウェアを使用して光学系全体を最適化することができる。

光学系設計において、イメージ品質に関する照明の影響は過小評価されることが多い。適切な照明シナリオによってイメージのコントラスト及び解像度を上げ、システム全体の性能を向上させることができる。光源は、単一の発光ダイオード（ＬＥＤ）、ＬＥＤアレイ、又は他の発光デバイスからなるものとすることができる。光源は、白、単色、又は複数色の光を生成することができる。照明構成要素は、光源からの光をスキャンされた表面上に集束させ、その輝度を可能な限り均一にするための、１つ又は２つの光学デバイスをさらに備えている。

図６は、本発明の少なくとも１つの実施態様に従った入力デバイスのＩＲＬＥＤ照明光学系を示す図である。２つのＬＥＤ６１０によって発せられた光は、膜を通って平らな表面６２０に直接投影される。２つのＬＥＤの照明域は重なり合い６３０、カメラのＦＯＶ６４０よりも大きい。この一実施形態では、８５０ｎｍＩＲＬＥＤ６１０を光源として選択することができる。表面６２０上の照明の特徴は、ノンカーボンインクがパターンを覆っている可能性があるということであり、すなわち、ＩＲＬＥＤ６１０のＩＲ光はインク層を通過することができるので、表面６２０上に書き込まれたインクがＣＭＯＳセンサによって取り込まれるイメージに影響を与えることはない。さらに、単一の光スペクトルがイメージの品質を向上させることができる。ＩＲＬＥＤ６１０の前に拡散反射膜を置いて、照明の均一性を上げることができる。表面６２０全体にわたって十分な輝度及びできる限り均一な輝度を得るために、ＦＯＶは２つのＬＥＤ６１０によって２つの方向から照らされる。

図４に示されるように、レンズ、イメージングセンサ、及び光源を含むイメージングシステムを、インクカートリッジに隣接して配置することができる。力感知構成要素及びイメージングシステム構成要素を備えたインクカートリッジを、機械式構成要素に組み込むことができる。平面上に接触したペン先からの圧力を使用して、イメージサンプリングのスイッチをオン／オフし、デジタルインク回復用の太さ基準（ｔｈｉｃｋｎｅｓｓｒｅｆｅｒｅｎｃｅ）を提供することができる。したがって、圧力感知構成要素にとっての１つの問題は、敏感にペン先圧力を検知し、ペン先が上下に動くと自動的に元に戻ることが可能な、効果的かつ堅固な力受渡しシステムを設計することである。

図７Ａ及び図７Ｂは、本発明の少なくとも１つの実施態様に従った入力デバイスの力感知構成要素を示す図である。図７Ａに示されるように、力センサシステム７１０は、精密な信頼性の高い力感知性能を提供するものである。この力センサシステム７１０は、ステンレススチールボール７２０を介して力をシリコン感知要素７３０に直接集中させる。図７Ｂに示されるように、ばねを備えたスライディングブロックに基づいた効果的な圧力受渡しシステムが示される。ばね７４０を使用して圧力を和らげ、インクカートリッジ７６０の位置を元に戻す。寸動調節ネジ７５０を使用して、力のしきい値を設定する。スライディングブロック７７０の外に出る寸動調節ネジ７５０の長さを使用して、ばね７４０の圧縮範囲を決定することができる。設計された力の範囲は０ｋｇから４．５ｋｇである。線形動作増幅器及び１２ビット直列Ａ／Ｄ変換器を使用して、力をサンプリングすることができる。敏感な圧力検知及び１２ビットの精密さによって、入力デバイスがインク太さと共にストロークを記録することができる。表２乃至表８は、本発明のレンズの一実施形態に関する追加情報を提供するものである。図８は、本発明の少なくとも１つの実施態様に従った入力デバイスのレンズ設計を示す図で、以下に示された表６及び表７に付随する追加情報を提供するものである。

入力デバイスの検出及び／又は位置決めを助けるために、入力デバイスがその上に位置付けられる対象物の表面は、表面の領域の相対位置を示すイメージデータを含むことができる。一実施形態では、スキャンされている表面が、ホストコンピュータ又は他の外部コンピューティングデバイスのディスプレイを備えることが可能であり、これは、デスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、携帯情報端末、電話、デジタルカメラ、又は情報を表示することができる任意のデバイスの、モニタに対応するものとすることができる。したがって、ＴａｂｌｅｔＰＣ（商標）の画面上に生成される空白の文書又は他のイメージは、文書全体の中での又はイメージの任意の他の部分に対しての、文書のその部分の相対位置を表すコードに対応するデータを含むことができる。この情報は、英数文字を含むことのできるイメージ、符号化パターン、又は相対位置を示すために使用可能なイメージデータの任意の認識可能パターンからなるものとすることができる。対象物の表面内の領域の場所を指定する際に使用するために選択されるイメージは、センサのピクセル解像度及び／又はスキャンされている表面に含まれるイメージデータのピクセル解像度などの、カメラに組み込まれたスキャンデバイスの感度に依存する場合がある。次に、対象物から抽出された場所情報を使用して、対象物上での入力デバイスの動きを追跡することができる。この情報を使用すると、電子インク又は入力デバイスの動きに対応する他の情報を正確に生成することができる。場所情報を使用して、入力が影響を受けることになるイメージ内の位置を検出すること、ならびに対象物表面上での入力デバイスの動きのインジケーションを提供することの、両方が可能である。結果として生じる情報をワードプロセッシングソフトウェアと対話式に使用して、例えば、文書内での変更を生成することができる。

他の実施形態では、入力デバイスと組み合わせて使用される対象物が、例えば、背景に位置情報が含まれた用紙から構成されるものとすることができる。位置情報は、任意の形式のコード、光学的表現、又は、入力デバイスに関連付けられたセンサによって感知可能であり、かつ用紙上の特定の位置の相対的場所を表すために使用可能な、他の形式に組み込むことができる。

図９は、文書の場所を符号化するための例示的な方法（迷路パターン）を示す図である。この例では、イメージの背景に、大きなグループで見ると迷路のようなパターンを形成する細い線を備えている。例えば、固有の向き及び相対的な位置を備えた数本の細い線からなる、迷路設計内の線の各グループ化が、文書の他の部分に対する迷路パターンのその部分の位置を示すことができる。取り込まれたイメージ内に見られる迷路パターンの復号は、多数の復号方式に従って実行することができる。この一実施形態では、線の特定の配置構成及びグループ化を復号して位置情報を生成することができる。他の実施形態では、サンプリングパターンに対応するイメージからコードを抽出すること、及び、そのコードを使用してその領域の場所を識別するデータを含むルックアップテーブルに対処することによって、取り込まれたデータの位置インジケーションを導出することができる。迷路パターンを使用する符号化技術への参照が例示的な目的で提供されており、視覚的符号化技術を含むがこれらに限定されることのない代替の能動符号化技術（例えば、参照によりその内容が本明細書に組み込まれた、２００２年１０月３１日出願の「Active Embedded Interaction Code」という名称の特許文献１参照）を、本発明に適合して使用することもできる。

たとえ場所コードがない場合であっても、イメージセンサによって取り込まれたイメージを分析して、イメージ取込み時の入力デバイスの場所を特定することができる。連続するイメージを使用して、異なる時点での入力デバイスの相対位置を計算することができる。この情報を相関させることによって、基板上での入力デバイスの正確なトレースを引き出すことができる。このトレース情報を使用して、例えば、手書きのストロークを正確に表す電子インクを生成することができる。

図１０は、電子インクを生成することのできるトレースパターンの例を示す図である。この例では、最初の取込みイメージが、第１の時間ｔ_１での入力デバイスの第１の部分ｐ_１を示す迷路パターンの一部を含むことができる。次の取込みイメージは、この例では第２の時間ｔ_２での第２の位置ｐ_２の場所情報を提供する迷路パターンの別の部分である、符号化イメージデータの一部を含むことができる。第３の取込みイメージは、時間ｔ_３での第３の位置ｐ_３の場所での入力デバイスの位置を示す、迷路パターンの第３の部分を含むことができる。このデータを使用して、３つのポイントが時間ｔ_１からｔ_３までの入力デバイスのトレースを示すことができる。入力デバイスによってトレースされるインクパターンを推定するためのアルゴリズムを適用し、電子インクを生成することができる。適用されるアルゴリズムの複雑さによって、生成される電子インクの正確さを決めることができる。例えば、基本的なインクアルゴリズムでは、単にドットを同じ太さの直線で結ぶだけである。以前のサンプリングポイントを計算に入れるアルゴリズムでは、サンプリング間の時間又は入力が移動した速度又は加速度を示す他のデータ、使用された押し下げる力を示すデータ、あるいは任意の他の関連データを処理して、（例えば、他のセンサからの）入力デバイスの実際の動きをより正確に表わすように電子インクを提供することができる。

カメラ３０４によって実行される光学スキャンは、様々な時点での入力デバイスの位置を決定するのに必要なデータを生成することが可能であり、その情報を使用して電子インクを生成することができる。一実施形態では、時間ｔ_１で取り込まれたイメージと時間ｔ_２で取り込まれたイメージとの比較によって、期間ｔ_１からｔ_２の間にペンがあるポイントから他のポイントへ移動した距離を示すデータを提供することができる。次に、これらの２つのポイントのデータ及び／又は相対的な移動距離を使用して、手書きのストロークを表す電子インクを生成するための入力デバイスの動きのトレースを生成することができる。２つ又は複数のイメージあるいは取り込まれたイメージの部分を相対的な動きを計算するために比較することは、異なる分析によって実施可能である。その場合、複数のイメージに表れる特徴を比較することが可能であり、それらイメージ内の１つの場所から他の場所へのその特徴の相対的動きによって、例えば、ペンの動きの正確なインジケーションを提供することができる。不規則なサンプリング期間が使用される場合、処理アルゴリズムを修正して、入力デバイスの動きと各動きに必要な実際の時間との相関関係をより正確に示すようにサンプリング期間のばらつきを補償することができる。移動速度を示す情報は、適切な太さの電子インクを生成するのを支援することができる。

こうした実施形態によれば、入力デバイスが移動する表面は、コンピューティングデバイスのディスプレイ、マウスパッド、デスクトップ、あるいは、その表面上での入力デバイスの動きを示す対象物又はイメージのデータを抽出することのできる任意の不均一な反射表面を含むものとすることができる。取り込まれたイメージデータを処理する際に使用可能な追跡アルゴリズムは、固定とするか、又は取り込まれたイメージの特徴に応じて変えることができる。単純な追跡アルゴリズムを使用する場合、プロセッサは、例えば、机の上面の木材の木目を検出して、カメラによって取り込まれた一連のイメージの比較に基づき、連続するイメージ内の木目の特定パターンの相対位置を使用して、様々な時点での入力の場所及び／又はその表面上での入力デバイスの相対的な動きを決定することができる。イメージ内の特徴が容易に認識できず、イメージがより均一である場合は、さらに複雑な追跡アルゴリズムを必要とする可能性がある。符号化技術を含むがこれらに限定されることのない代替の受動符号化技術（例えば、参照によりその内容が本明細書に組み込まれた、２００２年１０月３１日出願の「Passive Embedded Interaction Code」という名称の特許文献２参照）を、本発明に適合して使用することもできる。

図１１Ａは、本発明の少なくとも１つの実施形態に従ってシステムの例示的なハードウェアアーキテクチャを示す図である。前の実施形態で例示されたものと同じか又は関連する構成要素の多くは、同じ参照番号を使用して表される。プロセッサ１１０６は、本発明の様々な実施態様に関連付けられた機能を実行するための任意の知られたプロセッサで構成することができる。例えば、プロセッサ１１０６は、ＦＰＳＬＩＣＡＴ９４Ｓ４０を含むことが可能であり、ＡＶＲコアを備えたＦＰＧＡ（書換え可能ゲートアレイ）で構成することができる。この特定のデバイスは２０ＭＨｚクロックを含み、２０ＭＩＰＳの速度で動作することができる。もちろん、入力デバイス１１０１で使用するためのプロセッサの選択は、コスト及び／又はシステムの処理速度要件によって決めることができる。プロセッサ１１０６は、イメージ分析を実行することが可能であり、こうした分析は入力デバイス内で実行されるものとする。他の方法として、デバイス１１０１に組み込まれたデジタル信号プロセッサ（ＤＳＰ）などの第２のプロセッサで、処理を実行することが可能である。さらにプロセッサ１１０６は、電源１１０９に格納された電力を節約するために、入力デバイス１１０１が非活動状態の場合には様々な構成要素の電源を切るなど、電力消費の削減に欠かせない重要なステップを実行するように動作することも可能であり、これはデバイスの動き及び／又は位置決めを示すデータに基づくものとすることができる。さらにプロセッサ１１０６は、例えば、光源の輝度又はカメラの感知アレイの感度の調節を含む、様々な構成要素の性能を較正及び調整するように動作することも可能である。さらに、プロセッサ又は結合されたデジタル信号プロセッサは、複数の格納されたイメージ処理アルゴリズムの中から選択することも可能であり、例えば、入力デバイスがその上を移動する表面に関連付けられた特徴に従って、動きを検出するのに最も好適なイメージ分析アルゴリズムを選択するように制御することができる。したがって、イメージ処理アルゴリズムは、入力デバイスにプログラミングされた性能上の考慮事項に基づいて、自動的に選択することができる。他の方法として、例えば、力センサの始動又は入力デバイスでの入力を介してユーザによって選択された入力に基づいて、あるいはコマンドに対応する手書きストロークに基づいて、入力デバイスを制御し、設定値を確立することができる。

一実施形態では、メモリ１１０７は、１つ又は複数のＲＡＭ、ＲＯＭ、フラッシュメモリ、あるいは、データを格納するため、入力デバイスを制御するためのソフトウェアを格納するため、あるいはデータを処理するためのソフトウェアを格納するための、任意のメモリデバイスを含むことができる。また、場所情報を表すデータを入力デバイス１１０１内で処理し、ホストコンピュータ１１２０に転送するためにメモリ１１０７に格納することができる。他の方法として、取り込まれたイメージデータを、処理又はその他の目的でホストデバイス１１２０に転送するために、入力デバイス１１０１内のメモリ１１０７にバッファリングすることもできる。

トランシーバ又は通信ユニットは、送信ユニット及び受信ユニットを備えている。電子インクを生成及び／又は表示するのに好適な形又はその他の方法で処理された入力デバイスの動きを表す情報は、前述のデスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、携帯情報端末、電話、又はユーザの入力及び電子インクが有用な可能性のあるようなデバイスなどの、ホストコンピュータ１１２０に伝送することができる。トランシーバは、短距離無線通信、赤外線通信、あるいはたとえセルラー式又は他の長距離無線技術を実行するためであっても、Ｂｌｕｅｔｏｏｔｈ（登録商標）技術を含む任意の無線通信方法を使用して、外部デバイスと通信することができる。他の方法として、トランシーバは、ＵＳＢ接続を介するなどのホストコンピュータへの直接リンクを介して、又はドッキング受け台１１３０との接続を介して間接的に、データの伝送を制御することができる。入力デバイスは、専用接続を使用して特定のホストコンピュータに直接接続することもできる。トランシーバを使用して、一実施形態では入力デバイスの性能を向上させるために使用可能な、情報及び／又はソフトウェアを受信することもできる。例えば、プロセッサの制御機能を更新するためのプログラム情報を、任意の前述の方法を介してアップロードすることができる。さらに、イメージデータを分析するため及び／又は入力デバイスを較正するためのソフトウェアを含むソフトウェアを、入力デバイスに伝送するか、又は外部デバイスからダウンロードすることもできる。

プロセッサ１１０６は、対話型モデルに従って動作することができる。対話型モデルは、ユニットが入力デバイスの機能を実行する外部デバイスとは無関係に電子インクが生成される、一貫した体験を維持するためのソフトウェアの形で実施することができる。対話型モデルは、デスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、携帯情報端末、電話、ホワイトボード、又は、入力デバイスを介して入力されたデータを格納、表示、又は記録することのできる任意のデバイスを含むような任意数のホストデバイス上で使用するのに例外なく好適な形に変換するために、取り込まれたデータを処理することができる。プロセッサ１１０６は、接続されたデバイス、又は手書き入力を表すデータ向けのデバイスを認識することが可能であり、こうした認識に基づいて、認識された特定のデバイスに好適な形に入力データを変換するプロセスを選択することができる。その場合、各潜在的な受け側コンピューティングデバイスに有用な形への変換は、入力デバイス内に格納され、必要に応じて利用できるような形になる。所期の受け側デバイスの認識は、デバイス間の通信の結果として達成することが可能であり、デバイスは無線で又は直接に接続されるものとする。他の方法として、ユーザは、データの送り先であるデバイスの識別を入力デバイスに直接入力することもできる。もちろん、入力デバイスがディスプレイを含んでいる場合は、ディスプレイ及び／又は多くの他のデバイスでの使用に好適なデフォルトの処理アルゴリズムを使用してデータを処理することができる。

図１１Ｂは、本発明の少なくとも１つの実施態様に従ったシステムの例示的なハードウェアアーキテクチャを示す図である。ハードウェアアーキテクチャは、印刷回路基板（ＰＣＢ）とＰＣＢ上で実行されるファームウェアの一式とすることができる。この一式のＰＣＢの構成要素は、２重コアアーキテクチャ構成要素１１５０と、他の入力センサユニット１１６０と、イメージ取込みユニット１１７０と、通信構成要素１１８０と、オーディオユニット１１５５と、ユーザインターフェースユニット１１９０と、メモリ１１９６と、論理制御１１９７と、ハードウェア加速構成要素１１９８とを備えている。当業者であれば、以下の基板及びその記述すべてが本発明に必要なものというわけではなく、本発明を動作させるために１つ又は複数の構成要素を含めることができる。

２重コアアーキテクチャ構成要素１１５０は、Ｗｉｎｄｏｗｓ（登録商標）ＣＥ（登録商標）などの組み込まれたＯＳ（オペレーティングシステム）を動作させるために使用される、ＲＩＳＣ（縮小命令セットコンピュータ）又はＧＰＰ（汎用プロセッサ）１１５１を備えている。ＤＳＰ（デジタル信号プロセッサ）１１５２は、イメージ処理、迷路パターン分析、及びｍ−アレイ復号などの、アルゴリズムを実行する役目を果たす。２つのコアは２つの異なるチップとするか、又は１つのチップに組み込むことができる。ＭＣＵ／ＲＩＳＣ／ＧＰＰ構成要素１１５１は、いくつかのセンサ及び同時に動作するＡ／Ｄ（アナログ／デジタル変換）チップを有することができる。センサ及びＡ／Ｄチップは、同時に較正及び制御する必要がある。ＭＣＵ／ＲＩＳＣ／ＧＰＰ構成要素１１５１は、リアルタイムの並列コンピューティングに好適であるため、システム制御、コンピュータ操作、及び通信を処理することができる。ＭＣＵ／ＲＩＳＣ／ＧＰＰ構成要素１１５１には、５０Ｋ論理ゲート及び９６ユーザＩＯを備えたカリフォルニア州サンノゼのＸｉｌｉｎｘからのＦＰＧＡチップであるＸＣＶ５０ＣＳ１４４と、カリフォルニア州サンノゼのＸｉｌｉｎｘからの構成ＰＲＯＭであるＸＣ１８Ｖ０１と、コンピュータ処理のバッファとしてのカリフォルニア州サンノゼのＣＹＰＲＥＳＳからの３２ＫＸ８ＳＲＡＭ（静的ＲＡＭ）であるＣＹ６２２５６Ｖという、３つのチップが含まれている。

ＤＳＰ（デジタル信号プロセッサ）構成要素１１５２は、２つのチップからなるものとすることができる。ＴＭＳ３２０ＶＣ５５１０は、テキサス州ダラスのＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ（ＴＩ）からの高性能、低電力消費、固定点ＤＳＰチップである。こうしたチップは移動コンピューティングデバイスに非常に好適である。このチップは、ユーザが書いたとおりのストロークを回復するためのコンピュータ操作に使用される。ＤＳＰ構成要素１１５２の第２のチップは、カリフォルニア州サニーベールのＳＳＴからの１６Ｍビット多用途フラッシュメモリ、ＳＳＴ３９ＬＦ１６０とすることができる。この不揮発性、高信頼性のコンパクトストレージチップは、ＤＳＰファームウェア及びコンピュータ操作結果を格納するために使用される。

２つの入力ユニットには、他の入力センサユニット１１６０及びイメージ取込みユニット１１７０が含まれている。これらのユニットは力信号及びイメージ信号を生成し、これらの信号は、それぞれ２重アーキテクチャ構成要素１１５０に出力される。他の入力センサユニット１１６０は、ニュージャージー州モーリスタウンのＨｏｎｅｙｗｅｌｌからの力センサチップ１１６１であるＦＳＬ０５Ｎ２Ｃと、カリフォルニア州サニーベールのＭＡＸＩＭからの計測増幅器１１６３であるＭＡＸ４１９４と、カリフォルニア州サニーベールのＭＡＸＩＭからの１２ビット直列Ａ／Ｄ変換器１１６２であるＭＡＸ１２４０とを備えている。他の入力センサユニット１１６０は、１２ビット精度、最高毎秒約１００Ｋサンプルで、微妙な力の変化を感知するように構成されている。精密な力データは、入力デバイスが書込みに使用されているかどうか、又はユーザが書込み時に入力デバイスをどの程度強く押し付けているか、を示すために必要である。イメージ取込みユニット１１７０は、日本国東京の三菱からの３２×３２ピクセルイメージセンサチップ１１７１であるＭＦ６４２８５ＦＰと、テキサス州ダラスのＴＩからの８ビットＡ／Ｄ変換器１１７２であるＴＬＶ５７１と、論理制御構成要素１１７３とを備えている。また、イメージ取込みユニット１１７０は、最高３３６ｆｐｓ（１秒当たりのフレーム数）までのイメージを取り込むことができる。低解像度では処理に十分な特徴を取り込むことができないため、最低３２×３２ピクセル解像度のイメージセンサが選択される。イメージセンサ１１７１は、高速、小型、低電力消費のイメージセンサである。イメージ取込みユニット１１７０は、複数の領域からイメージデータを取り込むために追加のセンサを含むことができる。例えば、２つのイメージセンサ１１７１を使用する入力デバイスを、ホワイトボードでのオペレーションに使用することができる。１つのイメージセンサ１１７１を、ユーザの書込みを表すデータを取り込むように構成することができる。第２のイメージセンサ１１７１を、バーコードなどのホワイトボードペンのインジケータをスキャンするように構成することができる。こうした例では、ホワイトボードペンのバーコードは、ホワイトボードペンの色及び／又は太さに関連した情報を含むことができる。第２のイメージセンサ１１７１はこのデータを取り込んで、ユーザが１．５ｃｍ太さの青いホワイトボードペンを使用していることを識別することができる。

通信構成要素１１８０は、ＷＭＬ−Ｃ０９チップ１１８１及びアンテナを備えることができる。ＷＭＬ−Ｃ０９チップ１１８１は、日本国東京の三菱からのクラス２Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールである。Ｂｌｕｅｔｏｏｔｈ（登録商標）チップは、入力デバイスが１０メートル領域内で７２０Ｋｂｐｓ（１秒当たりのビット数）又は１秒当たり１００フレームの速度でホストＰＣと通信できるようにするものである。Ｂｌｕｅｔｏｏｔｈ（登録商標）は、本発明での使用に好適な、企業規模でサポートされる低コスト、低電力のケーブル置換えソリューションである。各Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールには特定及び／又は固有のＢｌｕｅｔｏｏｔｈ（登録商標）アドレスが割り当てられ、これを使用して入力デバイス自体を識別することができる。通信構成要素１１８０はＵＳＢポート１１８２及びＵＡＲＴ構成要素１１８３を備えている。

バッテリ電力管理構成要素１１８５は、供給リチウムイオンバッテリから、例えば、５Ｖ、３．３Ｖ、２．５Ｖ、１．６Ｖなどのすべての必要な電圧を生成するように設計される。イメージセンサ１１７１及び力センサ１１６１は、５Ｖ供給を使用することができる。ＭＣＵ／ＲＩＳＣ／ＧＰＰ構成要素１１５１は、内部電源用に２．５Ｖ供給を使用することができる。ＤＳＰ構成要素１１５２は、内部電源用に１．６Ｖ供給を使用することができる。他の構成要素は、通信構成要素１１８０用などに３．３Ｖ供給を使用することができる。省電力構成要素１１８６は、バッテリ電力の動作可能寿命を節約し、再充電構成要素１１８７は入力デバイスのバッテリ電力を再充電する。バッテリの損傷を防ぐために過放電防止も設計される。バッテリ電力管理構成要素１１８５は、共に過放電防止を実現するテキサス州ダラスのＴＩからのＵＣＣ３９５２ＰＷ−１及びカリフォルニア州サニーベールのＭＡＸＩＭからのＭＡＸ９４０２ＳＯ８と、５Ｖ供給出力を生成するためのテキサス州ダラスのＴＩからのＴＰＳ６０１３０ＰＷＰと、２．５Ｖ供給出力を生成するためのテキサス州ダラスのＴＩからのＴＰＳ６２００６ＤＧＳＲと、１．６Ｖ供給出力を生成するためのテキサス州ダラスのＴＩからのＴＰＳ６２０００ＤＧＳＲと、３．３Ｖ供給出力を生成するための、テキサス州ダラスのＴＩからのＴＰＳ６２００７ＤＧＳＲ及び／又はテキサス州ダラスのＴＩからのＴＰＳ７９３３３との、チップを備えている。

オーディオユニット１１５５は、入力デバイスのオーディオインターフェース構成要素用に提供される。オーディオユニット１１５５は、ＭＰ３プレーヤなどの組込み型オーディオプレーヤシステムを含むことができる。マイクロフォン１１５６は、入力デバイスを使用する際に音声録音機能を実行することができる。スピーカ１１５７は、組込み型及び／又は外付け型のＭＰ３プレーヤ、マルチメディアファイル、オーディオファイル、及び／又は何らかの他のオーディオソースを含む、様々なソースからオーディオを出力することができる。ブザー１１５８は、違法操作インジケータ及び／又はバッテリ残量低下インジケータなどの、ユーザ用の可聴インジケータとすることができる。

ユーザインターフェースユニット１１９０は、ユーザとの間の送受信通信用に様々なユーザインターフェース要素を提供する。電源ボタン１１９１は、ユーザが入力デバイスをオン又はオフにすることができるものであり、バッテリ電力を節約するために、スリープ、スタンバイ、又は省電力モードに入るように構成することもできる。機能ボタン／スイッチ１１９２を、入力デバイスへのコマンド入力として使用することができる。この機能ボタン／スイッチ１１９２は、入力デバイスの操作に使用されるアプリケーションプログラム内の要素を選択するための始動ボタンとすることができる。インジケータ１１９３は、ＬＥＤ（発光ダイオード）及び／又はユーザとの視覚通信用の他の光出力とすることができる。このインジケータ１１９３は、色、輝度、及び／又はパルスレートを変更することができる。例えば、インジケータ１１９３は、入力デバイスが省電力モードに変わったときに色を変更することができる。ＬＣＤ（液晶ディスプレイ）１１９４は、ユーザに視覚情報を出力するミニディスプレイとすることができる。例えば、ＬＣＤ１１９４は、ディスプレイ上に「ＬＯＢＡＴ」と表示することで、ユーザインターフェースに関するバッテリの低下を示すことができる。ペンプロジェクション１１９５は、表面上にイメージを投影することができる。ペンプロジェクション１１９５は、入力デバイスのユーザに追加の視覚情報を提供する。

メモリ１１９６は、力センサ１１６１及びイメージセンサ１１７１のデータ、ならびにユーザインターフェースを動作するときに使用できる特定のアプリケーションプログラム用のオペレーション命令を含む、任意のタイプの情報を格納することができる。論理制御１１９７を使用して、周辺デバイスを制御することができる。論理制御１１９７は、ＦＰＧＡ又はＣＰＬＤ（複合プログラム可能論理デバイス）とすることができる。ハードウェア加速ユニット１１９８は、入力デバイスのコンピュータ操作の効率を上げるために、アルゴリズムを加速するように構成することができる。

図１２は、本発明の他の実施形態に従って電子インクを生成するための入力デバイスに組み込まれた構成要素の他の組合せを示す図である。

図１２に示されるように、入力デバイス１２０１は、同じ参照番号で表された前述の構成要素に加えて、ペンの動き、位置、又は向きを感知するための１つ又は複数の慣性センサ１２１５を備えることもできる。例えば、入力デバイス１２０１は、複数方向でのペンの角速度を表すデータを提供するためのジャイロスコープを備えることができる。入力デバイス１２０１は、ペンの加速度又は引力を測定する１つ又は複数の加速度計、あるいは加速度計のセットを備えることができる。ペンの動きを表すデータは、地球の磁場の測定値における変化を検出することによってペンの動きを測定する磁気センサを使用して取得することも可能であり、これはイメージデータ以外のデータに基づいて入力デバイス１２０１の動きを検出するものであるため、本明細書では慣性センサと呼ばれる。ジャイロスコープ、加速度計、磁気センサ、誘導要素、又は入力デバイス１２０１の動きを測定するための任意のデバイスを含むことが可能な、入力デバイス１２０１と組み合わされるか又はこれに組み込まれた慣性センサのどちらか又はいずれかからのデータを、カメラからのデータと組み合わせて使用して、入力デバイス１２０１の動き又は位置決めを表すデータを取得し、それによって電子インクを生成するためのデータを生成することができる。

入力デバイス１２０１がその上で位置及び／又は移動する対象物の表面は、その表面内の各領域の場所又は相対位置を示す符号化イメージデータを含むことができる。対象物は、ラップトップコンピュータなどのコンピューティングデバイスのディスプレイを備えることができる。一実施形態では、文書はメモリから再現し、スクリーン上に表示することができる。文書の各領域の位置を示す符号化情報を、その文書の背景などに埋め込むことができる。例えば、文書の背景は迷路パターンを含むことが可能であり、そのパターンのかなりの部分が文書全体の中の各領域を一意に識別するものである。たとえラップトップのディスプレイにスクリーン上での入力デバイスの動きを検出するセンサが含まれていない場合であっても、入力デバイスを符号化場所情報と組み合わせて使用し、指定された場所で文書への注記又は編集を追加することができる。したがって、入力デバイス１２０１は、入力デバイスに関連付けられたセンサがそのデバイスの位置又は場所を示すデータを生成するような、「能動的な入力デバイス」として機能することができる。

一例では、入力デバイス１２０１がその上で位置及び／又は移動するディスプレイ画面の表面を表すイメージデータを、入力デバイス１２０１に組み込まれたイメージセンサが取り込む。イメージセンサは、入力デバイス１２０１の相対位置を示す場所コードを含むイメージを取り込む。ユーザが表示されたイメージ付近を移動し、表示された電子文書に注記を入力及び／又は編集を実行すると、入力デバイス１２０１はそれらの入力を表す信号及びそれらの入力が組み込まれることになる文書内の場所を表すデータを生成する。マウスの代わりに、又はカーソルの移動及び選択の始動を含む他の標準的な入力機能を実行するために、入力デバイスを使用して、ラップトップの制御に影響を与えることができる。

入力デバイス１２０１をワードプロセッシングソフトウェアと共に使用し、例えば、テキストの削除及び新しいテキストの挿入などによって文書を編集することができる。コンピューティングデバイスの画面上に表示された文書を編集する場合、ユーザは画面の所望の場所に入力デバイスを配置する。テキストを削除する場合、ユーザは、入力デバイスを画面近くに配置し、表示されたテキストのイメージを取り消す動作でデバイスを移動させることができる。場所コードを感知することによって、ペンが取消の動作で動いたことを判別するため、及びユーザが入力デバイスを動かした場所に対応するテキストを識別するための両方で、イメージを処理することができる。したがって、入力を使用してそのデータを削除することができる。

次にユーザは、新しいテキストを入力したい場合がある。よく知られた方法では、ユーザは「ｃａｒｒｏｔ（ニンジン）」又は上下反転した「Ｖ」などのテキストを挿入するための記号を、新しいテキストが挿入されることになる場所に描画することができる。入力をイメージデータ及び／又はコマンドに変換するための、入力デバイス又はホストコンピュータに格納された処理ソフトウェアは、テキストを挿入するための制御信号としてこの記号を認識する。その後、ユーザは入力デバイスの助けを借りて、挿入されるテキストを手動で書き込むことができる。

他の実施形態では、ユーザは注記が関連するオリジナルテキストを示すハイライト表示を使用して、注記を追加することができる。例えば、ユーザは、画面上に表示されたプルダウンメニュー又はハイライト表示ボタンを使用して、ハイライト表示するテキストを選択することができる。次に、ハイライト表示するように選択されたテキスト上で入力デバイスをドラッグする。その後、ハイライト表示／選択されたテキストに関連付けられるコメントを、ディスプレイ画面上のハイライト表示されたテキストに隣接する場所に書き込むことができる。操作が完了すると、ユーザは、注記の入力を完了させるのに必要なプロンプトを選択することができる。ディスプレイが入力デバイスの動きを検出するためのセンサを含むかどうかにかかわらず、これらの文書への修正はすべて入力デバイスを使用して作成することができる。

文書への修正は、イメージデータ、電子インク、又はテキストに変換されたデータの形で、文書内に表示及び／又は組み込むことができる。テキストへの入力の変換は、ユーザが見ることのできない方法で発生可能であり、その結果、テキストは入力されたときに画面上の文書表示内に現われる。他の方法として、ユーザの手書きを文書の本体に表示させることができる。編集の即時表示を達成するために、ペンの動き及びこうした編集の場所を表す情報を継続的にラップトップデバイスに伝送することができる。

動作時に、入力デバイスは、入力デバイスをその上で動かしている表面の３２×３２ピクセル解像度イメージと、入力デバイスが書込みに使用されているかどうか、又はユーザが書込み時に入力デバイスをどの程度強く押し付けているかを示す、１２ビットの精密な力データとを取り込む。イメージ及び力データを合わせて、フレームにパッケージングされる。その後、連続するフレームストリームが、Ｂｌｕｅｔｏｏｔｈ（登録商標）を使用して最高毎秒１００フレームで無線伝送される。入力デバイスは、起動時に自動初期化手順を開始し、動作モード又はスタンバイモードに入る。入力デバイスは、圧力値の拡大に従ってランタイム時にモードを切り替え、すなわち、圧力値が所与のしきい値より大きい場合は動作モードに、その他の場合はスタンバイモードに切り替える。

動作モードで動作している場合、入力デバイスは約１２０ｍＡの電流を消費する。フレームデータは、他の入力センサユニット１１６０及びイメージ取込みユニット１１７０で生成され、２重コアアーキテクチャ１１５０に出力される。２重コアアーキテクチャ１１５０はイメージ及び力データを受け取り、それらをフレーム化（イメージ圧縮、ＣＲＣ符号化、タイムスタンプ、フレーミング）し、ホストＰＣと通信するために通信ユニット１１８０にデータを伝送する。通信ユニット１１８０は、高速ＵＡＲＴ１１８３に、デバッグの目的でホストＰＣのＲＳ−２３２への直接接続を提供する。２重コアアーキテクチャ１１５０での動作には、データフレーミング、イメージ圧縮、タイムスタンプ、ＣＲＣ符号化、及び（ＵＡＲＴ又はＢｌｕｅｔｏｏｔｈを介した）伝送リンク制御が含まれる。

図１３は、本発明の少なくとも１つの実施態様に従った入力デバイスの２重コアアーキテクチャを介したデータに関する例示的な流れ図である。ステップ１３０１では、データを取得する一方で、イメージ及び力センサデータのフレーミングが実行される。データフレーミングは、連続するデータ流れから２つのみの「ＦＦ」ごとにフレームを分割することによって、制限されたＢｌｕｅｔｏｏｔｈ（登録商標）帯域幅を活用するように構成することができる。取り込まれたイメージ及び力データを合わせて２重コアアーキテクチャ内でデータフレームにパッケージングされる。データフレーム１４００は、図１４に示されるように、イメージデータ（ローデータ又は圧縮データ）、力データ、タイムスタンプ、圧縮フラグ１４１０、ＣＲＣ符号化、及びフレームフラグからなる。

ステップ１３０２では、一定圧縮率アルゴリズムがイメージデータを１ピクセル当たり８ビットから５又は６ビットに圧縮する。この圧縮により、安定した伝送レートが維持される。アルゴリズム原理は、予測に不均一な量子化を加えたものである。予測公式はｄ＝ａ＋ｂ−ｃであり、この式でｄは予測されるピクセル値、ａ、ｂ、及びｃはそれぞれ左、上、左上のピクセルである。予測値と実際値との間の残余は、所定の方式に従って量子化され、２重コアアーキテクチャ内にルックアップテーブルとして格納される。ステップ１３０２のイメージ圧縮は、制限されたＢｌｕｅｔｏｏｔｈ（登録商標）帯域幅を活用するために実行することができる。ステップ１３０３では、あらゆるデータフレームを具体的及び／又は一意に識別するために、２８ビットのタイムスタンプが起動時からフレームごとに増分される。ステップ１３０４では、フレームフラグを除くデータフレーム内のすべてのデータが２８ビットのＣＲＣ符号器に渡される。ホストＰＣ内の受信機はＣＲＣ符号をチェックして、エラーフレームを廃棄することができる。ＣＲＣ符号は、受信したすべてのフレームデータが正しいものであることを確実にする。

データ流れを制御する間、ステップ１３０５ではＦＩＦＯ（先入れ先出し）が２０４８バイトのバッファを提供し、データの生成レート及び伝送レートのバランスを取る。このＦＩＦＯバッファは同時に動作することができる。フレームデータはＦＩＦＯに入れられ、同時に取り出される。Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク品質が低い場合、Ｂｌｕｅｔｏｏｔｈ（登録商標）構成要素は、データ生成レートと同じ速度でフレームデータを伝送することはできない。したがって、フレーム統合を維持するためにデータの一部を廃棄しなければならない。ステップ１３０６では、流れ制御装置が適応伝送フレームレート制御を達成して、追加のフレームデータを廃棄する。データの伝送時には、通信ユニットがフレームデータをホストＰＣに伝送する。Ｂｌｕｅｔｏｏｔｈ（登録商標）制御装置が無線データ伝送に使用される場合、ステップ１３０７で、入力デバイスからホストＰＣのＢｌｕｅｔｏｏｔｈトランシーバモジュールへの無線データ伝送が発生する。他の方法として、ステップ１３０８では、ＵＡＲＴ制御装置を使用してホストＰＣのＲＳ−２３２とインターフェースすることができる。高速ＵＡＲＴコアが２重コアアーキテクチャで実施され、２重コアアーキテクチャからホストＰＣのＲＳ−２３２へデータを伝送する。このインターフェースはデバッグ用のテストポートとすることができる。

スタンバイモードで動作している場合、入力デバイスは約４０ｍＡの電流を消費する。バッテリ電力管理構成要素、他の入力センサユニット、及びイメージ取込みユニットは、依然として動作状態とすることができる。２重コアアーキテクチャはほとんどの動作をシャットダウンし、圧力値のみを監視する。通信構成要素は待機モードで動作する。

また、入力を実行している人物の識別も記録することができる。例えば、入力デバイスは、ユーザ及び／又は特定の入力デバイスを識別する情報を生成することができる。この識別情報を、生成された入力データに付属させることができる。他の方法として、こうした識別情報をホストデバイスに伝送される別の信号として提供することもできる。

図１４は、本発明の少なくとも１つの実施態様に従った入力デバイスから伝送される例示的なデータフレーム構造を示す図である。各入力デバイスは、ＰＥＮＩＤ及びＢｌｕｅｔｏｏｔｈ（登録商標）構成要素のＢｌｕｅｔｏｏｔｈ（登録商標）アドレスによって識別される。圧縮フラグ１４１０は、データフレーム内のイメージデータの発信元である入力デバイスを識別するデータ（ＰＥＮＩＤ）を保持する。ＰＥＮＩＤは入力デバイス特有のものである。以前の入力デバイス技術では、ユーザログイン入力システム及びユーザ特有のログイン名がなければ、入力デバイス特有であることを識別するシステムを持たなかった。１つの入力デバイスは、同様のタイプの任意の他の入力デバイスとまったく同様に識別された。本発明の少なくとも１つの実施態様によれば、圧縮フラグ１４１０のＰＥＮＩＤフィールドのデータは、複数の入力デバイスを同時に動作させることができる。こうしたアプリケーションは、マルチオーサーの共同制作などで有用となる。当業者であれば、イメージデータフィールド用のバイト数、１０２４、７６８、及び６４０は、それぞれ圧縮なし、１ピクセル当たり６ビットへの圧縮、及び１ピクセル当たり５ビットへの圧縮を表すものである。

図１５は、本発明の少なくとも１つの実施態様に従った多数の入力デバイスからのデータ伝送の処理を示す図である。

マルチユーザアプリケーションでは何人かのユーザが同時に、又は同時でなく、同じ文書に注釈付けすることができる。各入力デバイスがフレームデータを出力すると、ホストＰＣは一連のフレームデータを受け取ることになる。ＰＥＮＩＤ及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）アドレスを使用して各入力デバイスのフレームデータを抽出することによって、図１５に示されるように、いくつかの入力デバイスが同時に、又は同時でなく、共に動作することができる。Ｂｌｕｅｔｏｏｔｈ（登録商標）技術は、無線データ伝送によって、７つまでの異なる入力デバイスを同時に識別することができる。図１５に示されるように、入力デバイス１５１０、１５２０、及び１５３０はそれぞれ、取り込まれたイメージデータをＢｌｕｅｔｏｏｔｈ（登録商標）通信構成要素を介してホストＰＣに無線伝送する。ホストＰＣは、１５４０−１から１５４０−ｎまでのデータフレームのフレームシーケンスを受け取る。ホストＰＣは、各入力デバイス１５１０、１５２０、及び１５３０について、対応する入力デバイス１５１０、１５２０、及び１５３０のＰＥＮＩＤフィールド及び／又はＢｌｕｅｔｏｏｔｈアドレスを使用することによって、データフレームシーケンスから個々のデータフレームを分割することができる。したがって、マルチユーザアプリケーションでは同じ文書上に異なる注記を発生させることが可能であり、ホストＰＣはどの入力デバイス１５１０、１５２０、又は１５３０がどの注記を作成したかを追跡することができる。

上述した実施形態は、入力デバイスがその上を移動する表面をラップトップデバイスのディスプレイとして識別するが、入力デバイスは、デバイスがその上を移動できる任意の対象物の表面内に組み込まれた符号を使用して位置決めを検出するように機能することもできる。したがって、デスクトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、携帯情報端末、電話、又は情報を表示できる任意のデバイスの、モニタと組み合わせて入力デバイスを使用し、場所符号を組み込んだイメージを作成及び／又は編集することができる。こうしたデバイスのディスプレイ画面上に置かれた透明シートに、又は保護フィルムを含むディスプレイと組み合わせて使用可能な表面内に、符号化情報を組み込むこともできる。

符号化情報は、書込み表面上又は用紙などの書込み材料上に組み込んで、その表面上の場所を一意に識別することもできる。例えば、位置情報を用紙の背景に組み込むことができる。位置情報は、用紙上の特定の場所の相対位置を表す任意の形式のしるし又は符号を含むことができる。したがって、入力デバイスを符号化用紙と関連して使用し、ユーザの手書きに対応する情報を適切な場所に記録することができる。例えば、入力デバイス及び符号化位置情報を組み込んだ書込み表面のみを持っていれば、タクシーに乗っている間にその入力デバイスを使用してクライアントへのレターの文案を練ることができる。入力デバイスで用紙に書き込むと、ある一定の時点での入力デバイスの位置の変化を検出することによって、テキスト又は他の入力情報に対応した身振り（ｇｅｓｔｕｒｅ）が認識される。その後、この入力を電子インク又はそれらの身振りに対応する情報を生成する際に使用する他の電子データに変換することができる。入力の変換は、入力デバイス内で、又は入力デバイスに結合されたホストコンピューティングデバイスによって受信された場合のいずれかで、それらの入力が生成されるのと同様に実行することができる。他の方法として、こうした変換を後で実行することもできる。例えば、入力デバイスを使用して生成された情報をメモリに格納し、後で好適に処理するために受け手及び／又はホストコンピュータに伝送することができる。

入力デバイスを使用して生成されたデータは、それらの入力が手書きのレター、記号、単語、又は他の手書きのイメージのいずれであっても、文書内の場所符号によって識別された場所に組み込むことができる。したがって、たとえフォーマット化されたテンプレートがない場合であっても、情報が入力されることになる文書内の場所を識別する場所情報を使用して、以前に記載されたレターなどの文書のレイアウトを得ることができる。例えば、草案者のアドレス、受け手のアドレス、レターの本文及び結句、ならびに残りの構成要素などを、用紙の適切な場所に入力することができる。カメラによって取り込まれた符号化場所情報を使用して、対応する電子文書のコンテンツを形成する単語又は他のイメージを適切な場所に組み込むことができる。

入力デバイスは、検出された場所情報を使用して、コマンドの入力、選択の実行、及びその他のためにホストコンピューティングデバイスと対話することもできる。コンピューティングデバイスがＷｅｂブラウジング特性を備えた携帯カメラ又は電話の場合、入力デバイスをスタイラス又はマウスと同様に使用して、表示されたボタン又はメニューから選択することができる。したがって、入力デバイスを使用してホストコンピュータのブラウザを起動し、たとえリモートに格納したものであっても以前に作成した文書などのファイルを取り出すためのオプションを選択することができる。ユーザは入力デバイスを使用して、ユーザが必要とする情報を含むファイルのダウンロードを選択することができる。次にユーザは、ダウンロードしたファイルに入力デバイスを介して注記を入力することができる。リモートコンピューティングデバイスとの通信を実行するように入力デバイスが装備されている場合、こうした編集をファイルのダウンロード元であるリモート位置に伝送することができる。他の方法として、入力デバイスがホストコンピューティングデバイスと通信していると想定した場合、この編集を使用して入力デバイス及び／又はホストコンピューティングデバイス内に格納されたファイルを編集することもできる。

他の実施形態では、ホストコンピューティングデバイスのモニタに表示されるファイルは、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ（登録商標）社からのＥＸＣＥＬ（商標）などのスプレッドシートソフトウェアを使用して生成された、スプレッドシートとすることができる。場所符号を使用して、スプレッドシート内の所与のセルに場所を関連付けることができる。ユーザは、画面上に表示されたセルに数値エントリを入力することができる。その時点で、入力デバイスは入力デバイスの場所に関連付けられたイメージを取り込み、その情報をホストコンピューティングデバイスに伝送する。例えば、ホストコンピューティングデバイスに配置され、スプレッドシートソフトウェアと協同して働いている処理ソフトウェアは、検出された場所符号に基づいて入力用に選択されたセルの識別を特定し、必要に応じてスプレッドシート文書の内容を修正する。

入力デバイスを使用して、イメージ又は特定の身振り又は身振りの組合せに関連付けられた他の事前に格納された情報を再現することもできる。例えば、入力デバイスを使用して、処理アルゴリズムのデバイスが認識するようにプログラムされた記号を描画することができる。迷路パターンを使用して、パターン上での入力デバイスの動きを正確に検出することが可能であり、その結果、こうした動きに関連付けられた特定の記号を検出することができる。例えば、ユーザは入力デバイスを制御して、会社のロゴに関連付けるためにユーザによって以前に識別された記号を用紙上に描画することができる。迷路パターンは、文字「Ｍ」の直後に文字「Ｓ」が来る動きの組合せを、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のロゴの入力を指定する命令として識別することができる。その結果、特定の入力シーケンスを入力することによって、こうした事前に格納された情報を文書内に入力することができる。

入力デバイスを受動的な入力デバイスとして使用することもできる。その場合、入力デバイスを、例えば、抵抗式感知を使用して入力デバイスの動きを感知するコンピューティングデバイスと組み合わせて使用することができる。ＴａｂｌｅｔＰＣ（商標）又は携帯情報端末などの入力デバイスの動きを検出するためのセンサボードを含むデバイスと組み合わせて使用する場合、入力デバイスはスタイラスと同じように機能することができる。入力デバイスを使用すると、入力デバイスをスクリーンにかなり近づけたときに、電子インク又は他のイメージデータを生成することができる。制御機能も同様の方法で入力することができる。さらに、特定のコンピューティングデバイスのモニタ上に表示されるイメージも、文書のその部分の相対位置を表す符号に対応するデータを含むことができる。その後、カメラを使用して対象物から抽出された場所情報を使用して、コンピューティングデバイスのセンサを使用して検出された動きの代わりとして、あるいはこれと組み合わせて、入力デバイスの動きを追跡することができる。

例えば、ユーザが、ＴａｂｌｅｔＰＣ（商標）又は携帯情報端末などの入力デバイスの位置決めを検出する機能をすでに含む、ポータブルコンピューティングデバイス上でイメージを作成又は修正することを希望する場合がある。入力デバイスは単独で受動入力デバイスとして機能することができるため、入力デバイスの動きを表す情報はコンピューティングデバイスによって生成される。しかし、コンピューティングデバイスのセンサは、所与の状況でユーザが必要とする範囲でのペンの動きを検出する機能を持たない場合がある。例えば、ユーザが不安定な車で移動中の場合、ユーザ入力の正確な検出が妨げられる場合がある。ユーザがコンピューティングデバイスのディスプレイの表面上で入力デバイスを動かすことによってファイルを編集していると、入力デバイスが乱暴に押されてセンサボードからかなりの遠くへ移動してしまう場合がある。たとえコンピューティングデバイスのセンサによって生成される信号がそれほど正確でなくなったとしても、入力デバイスによって取り込まれたイメージデータを使用して、コンピューティングデバイスの表面と平行な面内での入力デバイスの動きを検出することが可能である。コンピュータデバイスのセンサが入力デバイスの動きをもはや検出できない場合であっても、イメージセンサは入力デバイスの動きの正確な表現を維持するのに十分な情報を生成して、ユーザの所期の入力を反映することができる。したがって、入力デバイスの動きを感知する機能を含むコンピューティングデバイスと組み合わせて使用される場合であっても、入力デバイスは受動的な入力デバイス又は能動的な入力デバイスとして機能することができる。

入力デバイスを任意の用紙、書込み表面、又は他の基材と関連して使用し、ユーザの手書きに対応する情報を記録することもできる。ここでも、入力デバイス及び書込み表面のみがあれば、入力デバイスを使用してクライアントへのレターの文案を練ることができる。この場合、身振りは受動的符号化に基づいて検出され、入力デバイスの動きは、基材表面のイメージ内に埋め込まれ、かつ／又はこのイメージ上に印刷された以外の符号を使用して検出される。例えば、ユーザは平らな１枚の紙でレターの文案を練ることができる。ユーザが入力デバイスを使用して書き込むと、イメージセンサがその紙のイメージを取り込む。イメージ内の対象物が識別され、取り込まれた一連のイメージ内でのそれらの動きが動きを示すものである。感知される対象物は紙の表面上にある人工物又は他の対象物を含む可能性があり、これは紙の透かし模様又はその他の不良部分に対応する場合もある。他の方法として、表面上でのペンの動きを計算するためにも使用できる罫線を紙に含めることができる。たとえ紙がない場合でも、入力デバイスの相対的な動きを特定することができる。入力デバイスは机の表面上で移動させることも可能であり、木の木目が入力デバイスの相対的動きを検出するのに必要な対象物を提供する。前述の方法と同様に、ユーザは紙又はその上での動きが光学的に検出可能な任意の表面上で、レターの文案を練ることができる。入力デバイスの動きは、メモリ内に格納する、かつ／又はそれらの身振りを表す情報に変換することができる。

他の実施形態では、ポータブルデバイスをポータブルコンピューティングデバイスの代わりとして使用することができる。例えば、会社のペースメーカに関連付けられた回路障害に対する解決策を考え出したばかりのときに、使用できるラップトップ又は他のコンピューティングデバイスがない場合、エンジニアは、設計チームの他のメンバーに会うために列車で移動中に自分の考えを記録するための好適な代役として自分の入力デバイスに頼ることができる。時間を最大限に使えるようにして（及びインクカートリッジを取り外すか、又はキャップを付けた状態で）、ユーザは自分の前の椅子の背もたれに懸案の疑わしい電気回路への修正を表すスケッチを書く。ユーザは入力デバイスを起動し、スケッチを生成する助けとなるモードに設定して（例えば、変換の非活動化を含む場合もある）、問題の解決策を表す簡単な設計のスケッチを開始する。その後、入力デバイスは手書きのストロークを表すファイルを格納することができる。スケッチモードから切り替えて、スケッチの関連部分の隣に注記及び参照を書き留め、それらのエントリをイメージファイル内に組み込むことができる。例えば、ユーザが注記モードに切り替ると、レターに対応する身振りが認識される。したがって、自分の提案した解決策の説明をスケッチと共に組み込むことができる。医学研究所に着くまで待たずに、オペレータは予定された会合の前に十分考慮するために設計チームの他のメンバーに概略図を送るように選択することができる。こうした伝送は、改訂された文書を入力デバイスからセルラー式電話などのポータブル無線デバイスにアップロードすることを含む、いくつかの方法で達成することができる。その後、その情報を使用して、ＶＩＳＩＯ（商標）文書などのイメージファイルを生成することができる。

いったんチームの他のメンバーに伝送すれば、概略図のスケッチに対応する以前に記述されたファイルを、チームメンバーのホストコンピューティングデバイスのモニタに表示することができる。例えば、イメージと付属のテキストをデスクトップコンピュータのディスプレイ上に提示することができる。モニタ上に表示されたファイルのイメージに入力デバイスを近づけることによって、それらの表示に追加の注記を加えることができる。その場合、入力デバイスの光学センサによって取り込まれたイメージ内の対象物の関連する動きを測定することによって、入力デバイスの動きを検出することができる。入力デバイスによって生成される信号を、入力デバイス内に格納されたソフトウェアによって処理するか、又は処理のためにホストコンピューティングデバイスに伝送することができる。検出された動きの処理によって、電子インク、テキスト、又は入力デバイスを介して入力された注記を表す他のデータを生成することができる。

たとえ場所符号がない場合でも、入力デバイスの動きを検出するためのセンサを備えたコンピューティングデバイスと共に入力デバイスを使用することができる。例えば、携帯情報端末又はスタイラスと共に使用するように設計された他のコンピューティングデバイス上に手書きの注記を生成するためのソースとして、入力デバイスを使用することができる。したがって、ユーザは、所用を実行しながら、既存の「しなければならないことのリスト」を想起し、これに項目を追加することを望むことができる。ユーザは、携帯情報端末などのホストコンピューティングデバイスに格納されたリストを取り出す。携帯情報端末のディスプレイ上に入力デバイスの先を置くことで、ユーザはメニューをトラバースして所望のリストの取り出しを選択することができる。このリストを提示させて、ユーザは、ホストデバイスの画面上で、すでに完了したタスクの記述の横にある空のボックスにチェックを入力することができる。入力デバイスは、このボックスに対応するデータを含む画面のイメージを取り込んで、そのデータをホストコンピューティングデバイスに伝送する。次に、ホストコンピューティングデバイスは、イメージデータを分析するための処理アルゴリズムを使用して、ボックスの形状を入力が実行できる対象物として検出する。チェックマークを首尾良く入力するために、イメージデータを処理して、認識された「チェック」の形状を形成する身振りであるペンの動きを、ボックスの領域上及び領域内で検出することができる。次に、ホストデバイスは、ボックス内にチェック表現を含めるために、リストに関連付けられたファイルを修正する。ユーザは、リスト内の最後の項目の次のスペース上に入力デバイスを置き、追加の項目を記述するテキストを入力する。ホストデバイスのセンサは入力デバイスの動きを検出し、それらの入力を表すデータを生成する。入力はテキストに変換され、空のボックスと共にユーザに表示される。

同様に、例えば、指定された小説を読む学生などのＭｉｃｒｏｓｏｆｔ（登録商標）Ｒｅａｄｅｒのユーザは、関連するテキストの隣に注記を走り書きしたい場合がある。ポータブルホストデバイスのモニタに表示されるイメージに、入力デバイスを使用して注記が付けられる。例えば、ユーザは、例えば、ＴａｂｌｅｔＰＣ（商標）などのホストコンピュータのモニタ上に入力デバイスを置き、関連するテキストの隣に手書きの注記を入力する。この身振りがホストデバイスのセンサによって検出され、電子データとして格納され、これがイメージデータに変換されて画面上に表示される。注記は手書きの形のままとするか、英数字に変換することができる。注記は、付属のコメントの表示を活動化するか、又は注記が存在するハイライト又は何らかの他のインジケーション上に入力デバイスを配置することなどの、追加の機能を起動しないと見られない場合がある。その後、この注記は別のファイルに格納するか、又はホストコンピュータ内に格納された小説の電子版のコピーと共に格納することができる。

他の実施形態では、入力デバイスの一部を形成する追加のセンサからの情報を使用して、他の形の動きの検出を補足するか、又はこれと完全に置き変えることができる。こうした追加のセンサは、入力デバイスの線形加速度、角加速度、速度、回転、押し下げ力、傾斜、電磁場内の変化、又は感知された入力デバイスの動き又は位置決めの何らかのインジケーションを検出することができる。こうした情報は、より正確な動きの検出を生成するための作業の助けとなる場合がある。他の方法として、追加のセンサは、所与の時点で使用できる情報のみを提供することができる。例えば、入力デバイスを、白紙などの一般に均一な表面と共に使用することができる。こうした場合、光学センサによって取り込まれたイメージは、入力デバイスの動きを一貫して、かつ正確に検出するのに十分な情報を提供することができる。入力デバイスの動きを追跡するための対象物の検出がより困難になった場合など、光学的な運動検出がより困難になった場合、光学的に動きを検出するための一実施形態に従い、追加センサからの追加情報を使用して、より微細な運動検出を提供することができる。具体的に言えば、位置及び／又は動きを特定するために使用されるアルゴリズムは、追加情報に盛り込むため、及びそれによって光学的な運動検出における動き及び／又は場所の検出を補足するための計算を組み込むことができる。

光学検出が有用な結果を提供できない場合、追加のセンサは動きを検出する際に使用される情報のみを提供することができる。例えば、ユーザが、上面がラミネート加工された均一の白いカウンタ上で描画をスケッチしようとする場合、光学感知システムは動きを表す十分なデータを提供することができる。この場合、追加のセンサは、許容できる程度に正確な入力情報の表現を生成するのに十分な情報を提供することができる。

例えば、入力デバイスがスキャンされる表面からかなり離れて移動する場合、光学センサユニットは提供されるイメージの正確な表現を取り込めないことがある。その場合、追加センサからの追加情報を使用して、入力デバイスがその上を移動する対象物のイメージによって得られるデータを補足することができる。したがって、たとえ入力デバイスが、その上を移動しているディスプレイから１インチ（２．５４ｃｍ）又はそれ以上移動する場合でも（“ｚ軸”）、入力デバイス内のセンサはディスプレイの平面内でのペンの動きのインジケーションを、すなわち水平及び垂直方向に提供することができる。

例えば、ラップトップコンピュータと共に使用される入力デバイスは、ユーザの前のトレイテーブル上に配置される。文書のイメージは、背景に組み込まれた迷路パターンと共にラップトップの画面上に表示される。ユーザが入力した注記は、青一色のインクで示される。飛行機が乱気流に遭遇すると、シートベルトサインが表示される。ユーザがラップトップコンピュータのキーボード上に手を置いて注記に言葉を追加する場合、ユーザの手は画面の表面からすぐに離れてしまう。イメージセンサは、表示された迷路パターンを形成する線を正確に検出できないが、ｘ及びｙ軸の動きは入力デバイス内に組み込まれた追加のセンサによって測定される。

図１６は、様々な環境で入力デバイスを使用して文書が作成、伝送、及び編集される場合の、本発明のいくつかの例示的な実施形態に従った入力デバイスの使用を示す図である。以下の説明は、入力デバイスの使用法の単なる例を示したものであって、本発明の構造又は機能を限定することを意図するものではない。

入力デバイス１６０１を使用して、広範な環境で、かつ多数のデバイスと関連して使用するために、文書の作成及び／又は編集を可能にすることにより、文書の寿命を延ばすことができる。入力デバイス１６０１を使用して、図示されたＴａｂｌｅｔＰＣ１６０３などの１つのコンピューティングデバイスの画面上で文書１６０２を電子的に作成することができる。例えば、入力デバイス１６０１を使用して、文書の手書きの草案を生成することができる。入力デバイス１６０１がＴａｂｌｅｔＰＣ１６０３用のスタイラスと同様に機能して、ＴａｂｌｅｔＰＣ１６０３の画面上に入力された情報に対応する電子インクが生成される。電子インクはテキスト形式に変換され、ＴａｂｌｅｔＰＣ１６０３に格納される。

文書を表す電子ファイルは、デスクトップＰＣ１６０４などの第２のコンピューティングデバイスに伝送することができる。この環境では、独立した入力ユニットとして動作する入力デバイス１６０１を使用して、デスクトップデバイスの画面上で文書を編集することができる。入力デバイス１６０１は、文書の表示されたイメージ内でそれ自体の相対位置を感知するので、たとえディスプレイが入力デバイスの位置決めを感知する要素を含んでいない場合であっても、デスクトップデバイスの画面上に入力された編集を電子文書１６０２に反映させることが可能である。入力デバイス１６０１を使用して生成された編集は、生成されたときにデスクトップＰＣ１６０４に伝送するか、又は入力デバイス１６０１内に格納して後で任意のＰＣに伝送することができる。この編集は、文書１６０２のデスクトップＰＣ１６０４に格納されたバージョンに入力することができる。

作成された文書は、デスクトップＰＣ１６０４にリンクされたプリンタ１６０５などのプリンタによって、ハードコピーの形で出力することもできる。文書のハードコピー１６０６バージョンは、例えば、迷路パターンを使用して、文書内の任意の場所に入力デバイスの相対位置を指定する情報又は符号を含むことができる。ハードコピーは、それぞれが入力デバイスを有する１人又は複数のユーザによって、また別々の入力デバイスによって生成された各ユーザの編集によって、マーク付けすることが可能である。編集を表す情報と共に、それらの編集の生成に使用されたペンを識別する情報も同様に提供することができる。例えば、文書に対して実行された変更を追跡するためのアプリケーションで知られるような下線の引かれた色付きテキストを使用して、入力を反映させることができる。編集／入力をデスクトップＰＣ１６０４からＴａｂｌｅｔＰＣ１６０３へ転送して、その文書に組み込むことができる。他の方法として、編集を入力デバイス１６０１に格納し、後でアップロードすることもできる。

文書は罫のない紙の上、又は入力デバイスの相対位置のインジケーションを含まない任意の基材上に出力することもできる。ここでもハードコピー１６０６は、入力デバイスを有する１人又は複数のユーザによって、また入力デバイス１６０１によって生成された各ユーザの編集によって、マーク付けすることが可能である。この例では、ペン１６０１の位置又は動きを、紙の上での入力デバイス１６０１の動きを光学的に感知するための符号化技法を使用して特定することができる。場所／動きは、イメージデータの各フレーム内での対象物の相対位置が検出され、これを使用して入力デバイス１６０１の動きが特定される、比較アルゴリズムを使用して特定することができる。結果として生じた編集は、例えば、オリジナルのデータファイルを更新するために文書が発信されたコンピューティングデバイスに伝送することができる。この編集は、無線又は有線の通信を介するか、又はコンピューティングデバイスでの編集を含むデバイスをドッキングするかのいずれかで、宛先デバイスに伝送するために、ＰｏｃｋｅｔＰＣ１６０７などのコンピューティングデバイスを介して伝送することができる。

電子文書は、図示されたＴａｂｌｅｔＰＣ１６０３などの第２のコンピューティングデバイスに伝送することもできる。その環境では、単純なスタイラスとして入力デバイス１６０１を使用し、タブレットデバイス１６０３の画面上で文書を編集することができる。それらの入力は、文書への注記として、又は例えば、その文書内に組み込むための編集として、ＴａｂｌｅｔＰＣ１６０３から文書のオリジナルコピーを格納しているコンピューティングデバイスに転送することができる。

対話符号化技術を埋め込むことで、液晶ディスプレイをデジタイザに変換することができる。各液晶セルの格子部分を使用して、パターンを埋め込むことができる。一実施形態では、液晶ディスプレイパネルのブラックマトリクスに迷路パターンを埋め込むことができる。他の実施形態では、導光板に迷路パターンを埋め込むことができる。迷路パターンの縦及び横のバーが光を発し、これを入力デバイス内のカメラセンサが取り込むことができる。ｍ−アレイ復号によって、固有及び絶対座標が提供される。したがって、入力デバイスは、ＴａｂｌｅｔＰＣ、ＰｏｃｋｅｔＰＣ、スマートフォン、及び／又は埋込み型対話符号化可能な液晶ディスプレイを備えた任意の他のデバイス用のＴａｂｌｅｔＰｅｎとして使用することができる。ユーザは、同じ入力デバイスをいくつかの異なるデバイスで使用することができる。例えば、入力デバイスをＴａｂｌｅｔＰＣ上にドッキングすれば、再充電することができる。こうした構成によって、必要な入力デバイスを１つだけ保持すれば複数のオプションがユーザに提供される。

本発明の入力デバイスは、データをリモートに格納し、後で転送するためにも使用することができる。本発明の入力デバイスは、近くにホストＰＣがなくても使用することができる。入力デバイスの処理能力及び格納機能によって、イメージセンサによって取り込まれたイメージを処理し、それらを後で伝送するために格納することができる。例えば、ユーザが入力デバイスを使用してメモを取り、かつ／又は文書に注記を付ける場合、そのメモ及び注記を入力デバイス内で処理し、無期限に格納することができる。他の方法として、データを携帯情報端末（ＰＤＡ）に即時及び／又は後で転送し、ＰＤＡ上で処理及び格納することができる。ＰＤＡが無線通信機能を備えている場合、データをリモート位置にあるホストＰＣ又はサーバに転送することができる。例えば、ユーザが旅行中の場合、入力デバイスを使用して書き留めたメモ及び注記を、自分のスマートフォンを介して自分のホストＰＣに返送することができる。ユーザは飛行機内で文書に注記を付け、着陸後など、後でその注記をホストＰＣ及び／又はサーバに伝送するために保存しておくことができる。

プロジェクションディスプレイならびに埋込み及び／又は印刷されたメタデータを使用して、例えば、ユニバーサルコンピューティングデバイスなどの入力デバイスは、より対話的な読取りを体験することができる。例えば、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ（登録商標）社によるＯｆｆｉｃｅ２０００のスマートタグを、絶対位置決めと共に文書に埋め込む、かつ／又は文書に印刷することができる。ユーザがこの入力デバイスを使用して読取り及び注記付けを行う場合、入力デバイスはスマートタグを検出及び復号し、プロジェクションディスプレイを使用して関連情報を表示することができる。辞書エントリが文書に埋込み及び／又は印刷されている場合、入力デバイスは辞書ルックアップを表示することもできる。同様に、コマンド及び制御情報ならびにオーディオ情報などの様々な種類の情報を、文書に埋込み及び／又は印刷することができる。入力デバイスは、埋込み及び／又は印刷された情報を検出及び復号し、必要に応じて動作することができる。

本発明の入力デバイスには、スマートパーソナルオブジェクト技術（ＳＰＯＴ）を含めることができる。入力デバイスは、ＳＰＯＴ、埋込み及び／又は印刷されたコマンド及び制御情報、ならびにプロジェクションディスプレイを使用して、ユーザにペン先で最新情報を提供することができる。例えば、天気予報の要求を、印刷される用紙に埋込み又は印刷することができる。入力デバイスがこの要求を復号し、ＳＰＯＴはユーザの現在位置に基づいて天気予報を取得することができる。入力デバイスは、プロジェクションディスプレイを使用して用紙上に情報を表示することができる。同様に、株価、スポーツ、ニュース、及び例えば映画の時間、テレビの放送時間などの娯楽情報などの他の種類の情報を、ペン先でユーザに提供することができる。

上述した説明及び添付の図面は特定の構成要素を使用する実施形態を示すものであるが、構成要素の追加及び／又は記載された任意の構成要素の除去は本発明の範囲内である。同様に、入力デバイス構造内の様々な構成要素の再配置は、カメラ又は慣性センサがペンの動きを検出し、電子インクを生成する際の正確さに大きな影響を与えることなく実施することができる。例えば、イメージセンサを、入力デバイスをその上で動かすことのできる表面又は対象物の特性を検出するための感知デバイスに置き換えるか、又はこれによって補うことができる。したがって、対象物の表面上に迷路パターンが形成された場合、可視光のスペクトル外のエネルギー放射、対象物に送られたこうしたエネルギーの反射率、又は他のこうした感知方法に基づいてパターンを検出することができる。表面の任意の特性の感知が検出され、これを使用して、対象物の表面上での入力デバイスの位置及び／又は動きを特定することができる。他の例としてマイクロフォン感知システムを使用することが可能であり、マイクロフォンは入力デバイスがその上に配置される対象物からの音波の反射又は発散を検出する。

上述した説明及び図示された実施形態例では、ペンの形状で実施される入力デバイスについて記載してきた。しかしながら、本発明は、任意数の形状及びサイズの入力デバイスに適用可能である。

こうした入力デバイスの使用によって、いずれの場所でもパーソナルコンピューティングが可能となる。したがって、記載された入力デバイスを備えたユーザは、どこにいようともデータファイルを生成又は編集することができる。オフィス環境、教室、ホテル、移動中、又はたとえ海岸であっても、文書及び他の情報を生成、編集、又は記録することができる。

入力デバイスは、好適なディスプレイを含むことができる。代わりに、ホストコンピューティングデバイスのディスプレイを使用して、作成した文書及びイメージを再検討することもできる。ユーザは、テキストなどの情報を入力する前又は後に文書のフォーマットを選択するか、又は文書を再検討して文書のフォーマットを変更することができる。上述した例との関連において、ユーザはこうしたディスプレイ上で作成された文書を表示しながら、自分のアドレスを含むヘッダを適切な場所に挿入することができる。

本発明は添付の特許請求の範囲を使用して定義されているが、これらの特許請求の範囲は、本発明が本明細書に記載された要素及びステップを任意の組合せ又は下位組合せで含めることを意図できるものであるという点で、例示的である。したがって、本発明を定義するためには任意数の代替の組合せがあり、これは、説明、特許請求の範囲、及び図面を含む本明細書からの１つ又は複数の要素を、様々な組合せ又は下位組合せに組み込むものである。関連技術の当業者であれば、本明細書に鑑みて、本発明の実施態様の代替の組合せが、単独あるいは本明細書に定義された１つ又は複数の要素又はステップと組み合わせて、本発明の修正又は変更として、あるいは本発明の一部として使用可能であることを理解されよう。本明細書に含まれる本発明の書面による記述は、こうした修正及び変更をすべてカバーするものであることを意図することができる。例えば、様々な実施形態では、データに対するある一定の順序が示されてきた。しかし、本発明には、データの任意の再順序付けが包含される。また、サイズなどのある一定の特性の単位（例えば、バイト又はビット）が使用されているが、任意の他の単位も構想される。

実施可能な好適な汎用デジタルコンピューティングシステム環境の一実施形態を示す概略図である。本発明の少なくとも１つの実施態様に従った入力デバイスを示す図である。本発明の入力デバイスに使用するカメラシステムの例示的な実施形態を示す図（その１）である。本発明の入力デバイスに使用するカメラシステムの例示的な実施形態を示す図（その２）である。本発明の入力デバイスに使用するカメラシステムの例示的な実施形態を示す図（その３）である。本発明の少なくとも１つの実施態様に従った入力デバイスのイメージングシステムを示す図である。本発明の少なくとも１つの実施態様に従った入力デバイスの光学設計を示す図である。本発明の少なくとも１つの実施態様に従った入力デバイスのＩＲＬＥＤ照明光学系を示す図である。本発明の少なくとも１つの実施態様に従った入力デバイスの力感知構成要素を示す図（その１）である。本発明の少なくとも１つの実施態様に従った入力デバイスの力感知構成要素を示す図（その２）である。本発明の少なくとも１つの実施態様に従った入力デバイスのレンズ設計を示す図である。文書の場所を符号化するための例示的な方法（迷路パターン）を示す図である。電子インクを生成することのできるトレースパターンの例を示す図である。本発明の少なくとも１つの実施形態に従ってシステムの例示的なハードウェアアーキテクチャを示す図である。本発明の少なくとも１つの実施態様に従ったシステムの例示的なハードウェアアーキテクチャを示す図である。他の例示的実施形態に従って電子インクを生成するための入力デバイスに組み込まれた構成要素の他の組合せを示す図である。本発明の少なくとも１つの実施態様に従った入力デバイスの２重コアアーキテクチャを介したデータに関する例示的な流れ図である。本発明の少なくとも１つの実施態様に従った入力デバイスから伝送される例示的データフレーム構造を示す図である。本発明の少なくとも１つの実施態様に従った多数の入力デバイスからのデータ伝送の処理を示す図である。様々な環境で入力デバイスを使用して文書が作成、伝送、及び編集される場合の、本発明のいくつかの例示的な実施形態に従った入力デバイスの使用を示す図である。

符号の説明

１１０コンピュータ
１２０処理ユニット
１２１システムバス
１３０システムメモリ
１３１ＲＯＭ
１３２ＲＡＭ
１３４オペレーティングシステム
１３５アプリケーションプログラム
１３６他のプログラムモジュール
１３７プログラムデータ
１４０取外し不能不揮発性メモリインターフェース
１４１ハードディスクドライブ
１４４オペレーティングシステム
１４５アプリケーションプログラム
１４６他のプログラムモジュール
１４７プログラムデータ
１５０取外し可能不揮発性メモリインターフェース
１５１磁気ディスクドライブ
１５５光ディスクドライブ
１６０ユーザ入力インターフェース
１６１マウス
１６２キーボード
１６３デジタイザ
１６４付属のペン又はスタイラス
１７０ネットワークインターフェース
１７１ローカルエリアネットワーク
１７２モデム
１７３ワイドエリアネットワーク
１８０リモートコンピュータ
１８１メモリ
１８５アプリケーションプログラム
１９０ビデオインターフェース
１９１モニタ
１９５出力周辺インターフェース
１９６プリンタ
１９７スピーカ
２０１ペン（入力デバイス）
２０２インクカートリッジ
２０３圧力センサ
２０４カメラ
２０５誘導要素
２０６プロセッサ
２０７メモリ
２０８トランシーバ
２０９電源
２１０ドッキングステーションリンク
２１１キャップ
２１２ディスプレイ
３０４カメラ
３２０イメージセンサ
３２１光源
３２２ハーフミラー
３２３光学デバイス
３２４表面
４００入力デバイス
４１０イメージセンサ
４２０レンズ構成
４３０レンズの主光軸
４４０カメラの視野
４５０レンズの実際の視野
６１０ＬＥＤ
６２０表面
６３０照明域
６４０カメラのＦＯＶ
７１０力センサシステム
７２０ステンレススチールボール
７３０シリコン感知要素
７４０ばね
７５０寸動調節ネジ
７６０インクカートリッジ
７７０スライディングブロック
１１０１デバイス
１１０６プロセッサ
１１０７メモリ
１１０９電源
１１２０ホスト
１１３０受け台
１１５０２重コアアーキテクチャ
１１５１ＭＣＵ／ＲＩＳＣ／ＧＰＰ構成要素
１１５２ＤＳＰ（デジタル信号プロセッサ）
１１５５オーディオユニット
１１５６マイクロフォン
１１５７スピーカ
１１５８ブザー
１１６０他の入力センサユニット
１１６１センサ
１１６２１２ビット直列Ａ／Ｄ変換器
１１６３論理制御
１１７０イメージ取込みユニット
１１７１イメージセンサ
１１７２８ビットＡ／Ｄ変換器
１１７３論理制御
１１８０通信
１１８１ＷＭＬ−Ｃ０９チップ
１１８２ＵＳＢポート
１１８３ＵＡＲＴ構成要素
１１８５バッテリ電源管理
１１８６省電力
１１８７再充電
１１９０ユーザインターフェースユニット
１１９１電源ボタン
１１９２スイッチ
１１９３インジケータ
１１９４
１１９５ペンプロジェクション
１１９６メモリ
１１９７論理制御
１１９８ハードウェア加速
１２０１入力デバイス
１２１５慣性センサ
１５１０デバイス１
１５２０デバイス２
１５３０デバイス３
１６０１入力デバイス
１６０２文書
１６０３ＴａｂｌｅｔＰＣ
１６０４デスクトップＰＣ
１６０５プリンタ
１６０６ハードコピー
１６０７ＰｏｃｋｅｔＰＣ

Claims

イメージデータを処理する移動可能なペン形状の入力デバイスであって、
前記入力デバイスが対象物上に配置され、前記対象物の領域上に発光する赤外光源と、
ソフトウェアによって調節可能なレンズ構成要素と、
前記レンズ構成要素を介して前記対象物の領域のイメージを取り込むとともに、取り込んだイメージのイメージデータであって、インクによって少なくとも部分的に覆われた前記対象物の領域上での前記入力デバイスの動きを表すデータを含むイメージデータを生成するイメージ取込みユニットと、
前記イメージデータを分析処理して、前記イメージデータに基づいて前記対象物に対する前記入力デバイスの位置を表す位置データを生成するプロセッサと、
前記イメージデータ及び位置データを格納するメモリと、
前記イメージデータおよび位置データを前記入力デバイスから外部の処理装置に伝送するトランシーバと、
を備え、
前記イメージ取込みユニットの視野は、対象物に対する前記入力デバイスの軸と実質的に平行な角度だけ前記レンズ構成要素の光軸からオフセットしていることを特徴とする入力デバイス。
前記取り込まれたイメージは、少なくとも迷路パターンの一部を含むインク下のコンテンツをさらに含むことを特徴とする請求項１に記載の入力デバイス。
移動可能なペン形状の入力デバイスによってイメージデータを処理する方法であって、
前記方法は、
前記対象物の領域上に置かれた前記入力デバイスから赤外光を発するステップと、
前記領域上のイメージをイメージセンサに取り込むステップと、
プロセッサにおいて前記取り込まれたイメージを分析処理して、インクによって少なくとも部分的に覆われた前記対象物の領域上での前記入力デバイスの動きを表すデータを含むイメージデータを生成するステップと、
前記イメージデータに基づいて前記対象物に対する前記入力デバイスの位置を表す位置データを生成するステップと、
前記処理されたイメージデータ及び前記生成された位置データを前記入力デバイスのメモリに格納するステップと、
前記格納されたイメージデータ及び位置データを前記入力デバイスから外部の処理装置に伝送するステップと
を含み、
前記対象物は、ディスプレイの領域の位置情報を提供するイメージパターンを含むコンピューティングデバイスのディスプレイを含み、
前記イメージセンサの視野は、前記対象物に対する前記入力デバイスの軸と実質的に平行な角度だけ前記入力デバイスの前記レンズ構成要素の光軸からオフセットしていることを特徴とする方法。
前記取り込まれたイメージは、少なくとも迷路パターンの一部を含むインク下のコンテンツをさらに含むことを特徴とする請求項３に記載の方法。