JP2016500887A - スマートペンとコンピュータ装置との間の認証接続の確立および保持 - Google Patents

Abstract

システムおよび方法は、スマートペンとコンピュータ装置との間の接続を確立し、スマートペンからの特定のデータを求めるデータ要求を統制する特権レベルを確立する。スマートペンは、コンピュータ装置から受け取った装置情報に基づき、スマートペンとコンピュータ装置との間に接続を確立すべきか否かを判定する。接続が確立される場合、装置情報に基づき、コンピュータ装置上で実行されるアプリケーションについて特権レベルが確立され、これにより、スマートペンからの特定のデータを求める、アプリケーションからの要求を認めるか拒否するかが判定される。

Description

（関連出願の相互参照）
本出願は、２０１２年１０月２６日に出願された米国仮特許出願第６１／７１９，２８６号の利益を主張するものであり、その開示は全体が参照により本明細書に組み込まれる。

本発明は、ペンベースのコンピュータシステムに関し、特に、記録された書き込み、音声、およびデジタルコンテンツをスマートペン環境において同期させることに関する。

スマートペンは、ユーザの書き込みジェスチャをデジタル処理でキャプチャして、キャプチャしたジェスチャを、様々なアプリケーションで利用可能なデジタル情報に変換する電子機器である。例えば、光学ベースのスマートペンでは、当該スマートペンが、デジタル処理でエンコードされる表面（例えば、ドットパターン）に対する書き込みの間に、ペンの座標を検出し、かつ記録する光学センサを含む。加えて、従来のスマートペンには、埋め込みマイクを含み、当該スマートペンが、書き込みジェスチャのキャプチャと同期して音声をキャプチャすることを可能にするものがある。そして、同期された音声とジェスチャのデータを、再現（replay）することができる。従って、スマートペンは、紙の領域での操作の利便性と、デジタル環境に関連する機能性および柔軟性との両方を提供することにより、豊かなノート取り経験（note taking experience）をユーザに提供することができる。

本発明の実施形態は、スマートペンとコンピュータ装置との間の接続を確立し、かつ、スマートペンからの特定のデータを求めるデータ要求を統制する特権レベルを確立するための、システムおよび方法を提供する。コンピュータ装置の装置情報を求める要求が、スマートペンから送信され、スマートペンは、コンピュータ装置から、要求に関する応答を受け取る。スマートペンは、コンピュータ装置との接続の確立を、スマートペンが、かかる接続を確立すべきか否かを装置情報から判定したかどうかに応じて行うことができる。接続がなされると、要求された装置情報に基づき、コンピュータ装置上で実行されるアプリケーションに対して特権レベルも確立される。特権レベルに基づき、スマートペンは、スマートペンからの特定のデータを求める、アプリケーションからの要求を認めるか拒否するかを判定する。

特定のデータには、例えば、過去のデータ、ジェスチャデータ、位置データ、基本の装置データ、音声データ、またはアカウントデータが含まれてよい。いくつかの実施形態において、特権レベルは、スマートペンからのデータにデータが生成されたままの状態でリアルタイムでアクセスする、スマートペンにより記憶されたジェスチャデータおよび音声データにアクセスする、スマートペンのユーザに関連するアカウント情報にアクセスする、または、スマートペンにより記憶されるデータを修正する、というアプリケーションからの要求を認めるか拒否するかを判定する。一実施形態において、装置情報に基づき、アプリケーションに関連する修飾子（modifier）も特権レベルに対して確立される。修飾子は、特権レベルのアクセスポリシーの１つを変更する。

スマートペンベースのコンピュータ環境の一実施形態の概略図である。 ペンベースのコンピュータシステムにおいて使用するためのスマートペン装置の一実施形態を示す図である。 スマートペン装置の一実施形態によりキャプチャされた、同期された書き込み、音声、およびデジタルコンテンツのデータフィードの一例を示すタイムライン図である。 スマートペン装置とコンピュータ装置との間の認証接続を確立し、かつ保持するための方法の一実施形態を示す相互作用図である。 スマートペン装置と通信を行う際にアプリケーションに割り当てることができる、可能性のあるアクセスレベルの一実施形態を示す表である。 図面は種々の実施形態を説明のみの目的で示す。当業者は、本明細書において説明される構造および方法の代替実施形態が、本明細書に記載される原理から逸脱することなく採用されてよいことを、以下の説明から容易に認識するであろう。

（ペンベースのコンピュータ環境の概要）
図１は、ペンベースのコンピュータ環境１００の一実施形態を示す。ペンベースのコンピュータ環境は、音声源１０２、書き込み面１０５、スマートペン１１０、コンピュータ装置１１５、ネットワーク１２０、およびクラウドサーバ１２５を備える。代替実施形態では、異なるまたは追加的な装置、例えば、追加的なスマートペン１１０、書き込み面１０５、およびコンピュータ装置１１５などがあってよい（または、１つまたは複数の装置が無くてもよい）。

スマートペン１１０は、書き込み面１０５との対話（例えば、書き込みジェスチャおよび／またはコントロール入力）をデジタル処理でキャプチャし、同時に音声源１０２から音声をキャプチャする電子機器である。スマートペン１１０は、直接またはネットワーク１２０を介して、コンピュータ装置１１５と通信可能に連結される。キャプチャされた書き込みジェスチャ、コントロール入力、および／または音声は、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションでの使用のために、スマートペン１１０からコンピュータ装置１１５に（例えば、リアルタイムで、またはその後に）転送されてよい。さらに、デジタルデータおよび／またはコントロール入力は、スマートペン１１０上で実行されるアプリケーションでの使用のために、コンピュータ装置１１５からスマートペン１１０に（リアルタイム、またはオフライン処理で）通信されてよい。クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５による利用が可能な、リモート記憶装置および／またはアプリケーションサービスを提供する。従って、コンピュータ環境１００は、紙およびデジタルの両領域におけるユーザ対話を結びつける多様なアプリケーションを可能にする。

一実施形態において、スマートペン１１０は、ペン（例えば、インクベースのボールペン、インク不使用のスタイラス装置、ディスプレイ上に「デジタルインク」を残留させるスタイラス装置、フェルトペン、鉛筆、または他の書き込み装置）を、埋め込まれたコンピュータ構成要素および種々の入力／出力機能と共に、備える。ユーザは、ユーザが従来のペンで行う様に、スマートペン１１０を用いて書き込み面１０５上に書き込むことができる。操作の間、スマートペン１１０は、書き込み面１０５上になされる書き込みジェスチャをデジタル処理でキャプチャし、書き込みジェスチャの電子的表現を記憶する。キャプチャされた書き込みジェスチャは、空間成分と時間成分の両方を有する。例えば、一実施形態において、スマートペン１１０は、種々のサンプル時間でのスマートペン１１０の書き込み面１０５に対する位置のサンプル（例えば、座標情報）をキャプチャし、キャプチャした位置情報を、各サンプルのタイミング情報と共に記憶する。キャプチャした書き込みジェスチャには、異なる書き込み面１０５でキャプチャしたデータ間を区別するために、特定の書き込み面１０５に関連する識別情報、例えば、特定のノートの特定のページの識別情報などが、さらに含まれてよい。一実施形態において、スマートペン１１０はまた、ユーザにより選択される、書き込みジェスチャの他の属性をキャプチャする。例えば、インクの色は、スマートペン１１０上の物理的なキーを押下すること、書き込み面上のプリントされたアイコンをタップすること、コンピュータディスプレイ上のアイコンを選択すること、などにより選択することができる。このインク情報（色、線の幅、線のスタイルなど）はまた、キャプチャしたデータ内にエンコードされてよい。

スマートペン１１０は、加えて、書き込みジェスチャをキャプチャしながら同時に、音声源１０２（例えば、環境音）から音声をキャプチャすることができる。スマートペン１１０は、キャプチャした音声データを、キャプチャした書き込みジェスチャと同期させて記憶する（すなわち、キャプチャしたジェスチャとキャプチャした音声間の相対的タイミングが保存される）。さらに、スマートペン１１０は、加えて、書き込みジェスチャおよび／または音声をキャプチャしながら同時に、デジタルコンテンツをコンピュータ装置１１５からキャプチャすることができる。デジタルコンテンツには、例えば、コンピュータ装置１１５とのユーザ対話、または、コンピュータ装置１１５上で閲覧されている時間ベースのコンテンツ（例えば、映像）に関連する同期情報（例えば、キューポイント）、が含まれてよい。スマートペン１１０は、キャプチャした書き込みジェスチャおよび／またはキャプチャした音声データと時間的に同期させた、デジタルコンテンツを記憶する（すなわち、キャプチャしたジェスチャ、音声、およびデジタルコンテンツ間の相対的タイミング情報が保存される）。

同期は、様々な異なる方法で確保されてよい。例えば、一実施形態において、ユニバーサルクロックが異なる装置間の同期に使用される。別の実施形態において、ローカルの装置間の同期が、２つまたはそれ以上の装置間で行われてよい。別の実施形態において、外部のコンテンツを、最初にキャプチャしたデータと結びつけること、また、特定のセッション中にキャプチャされたコンテンツに同期させること、ができる。

一代替実施形態において、音声および／またはデジタルコンテンツは、スマートペン１１０によってキャプチャされることに代えて、または加えて、代わりにコンピュータ装置１１５によってキャプチャされてよい。キャプチャした書き込みジェスチャ、音声データ、および／またはデジタルデータの同期は、スマートペン１１０、コンピュータ装置１１５、リモートサーバ（例えば、クラウドサーバ１２５）、または、装置の組み合わせにより行うことができる。さらに、一代替実施形態において、書き込みジェスチャのキャプチャは、スマートペン１１０の代わりに書き込み面１０５によって行うことができる。

一実施形態において、スマートペン１１０は、視覚および／または音声の情報を出力することが可能である。スマートペン１１０はさらに、異なる入力に応答して種々の出力およびスマートペン１１０の操作をコントロールする、１つまたは複数のソフトウェアアプリケーションを実行することができる。

一実施形態において、スマートペン１１０は、さらに、書き込み面１０５上のテキストまたは他の事前にプリントされたコンテンツを検出することができる。例えば、スマートペン１１０は、書き込み面１０５上の特定の単語または画像をタップすることができ、また、次に、スマートペン１１０は、コンテンツの認識に応じて他の動作を行うことができ、例えば、サウンドを再生する、または、何らかの他の機能を実行することができる。例えば、スマートペン１１０は、ページ上の単語の翻訳を、翻訳を画面上に表示すること、または、その音声記録を再生することにより、行うことができる（例えば、中国語文字を英語の単語に翻訳する）。

一実施形態において、書き込み面１０５は、用紙（または、書き込み可能な任意の他の適切な材料）を備え、スマートペン１１０によって読み込み可能なパターン（例えば、ドットパターン）を用いてエンコードされる。パターンは、書き込み面１０５に対するスマートペン１１０の相対的な位置決め（例えば、相対的または絶対的）を、スマートペン１１０が判定可能であるべく十分に一意的である。別の実施形態において、書き込み面１０５は、電子ペーパすなわちｅ−ペーパを備え、または、電子機器（例えば、タブレット）の表示画面を備えてよい。これらの実施形態において、検知は、書き込み面１０５によって、または、スマートペン１１０と連動して、全体的に行われてよい。スマートペン１１０の動きは、例えば、スマートペン装置の光学的検知を介して、スマートペン装置の動き検知を介して、書き込み面１０５の接触検知を介して、音響検知を介して、基準マーキングを介して、または他の適切な手段により、検知することができる。

ネットワーク１２０により、スマートペン１１０、コンピュータ装置１１５、およびクラウドサーバ１２５間の通信が可能とされる。ネットワーク１２０により、スマートペン１１０は、例えば、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、キャプチャしたデジタルコンテンツを転送すること、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、制御信号を通信すること、および／または、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、種々の他のデータ信号を通信することが可能となり、種々のアプリケーションを有効にされる。ネットワーク１２０には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ、セルラーネットワーク、赤外線通信、音波通信、またはカスタムプロトコルなどの無線通信プロトコルが含まれてよく、および／または、ＵＳＢまたはＥｔｈｅｒｎｅｔ（登録商標）などの有線通信プロトコルが含まれてよい。あるいはまたは加えて、スマートペン１１０およびコンピュータ装置１１５は、ネットワーク１２０を必要としない有線または無線の接続を介して直接通信することができる。

コンピュータ装置１１５には、例えば、タブレットコンピュータ装置、携帯電話、ラップトップもしくはデスクトップ型のコンピュータ、または他の電子機器（例えば、別のスマートペン１１０）が含まれてよい。コンピュータ装置１１５は、スマートペン１１０と連動して使用可能な１つまたは複数のアプリケーションを実行することができる。例えば、スマートペン１１０によってキャプチャされたコンテンツは、記憶、再生、編集、および／またはさらなる処理のために、コンピュータシステム１１５に転送されてよい。加えて、コンピュータ装置１１５上で利用可能なデータおよび制御信号は、スマートペン１１０に転送されてよい。さらに、スマートペン１１０およびコンピュータ装置１１５上で同時に実行されるアプリケーションは、スマートペン１１０とコンピュータ装置１１５との間の、様々な異なるリアルタイムの対話を有効にすることができる。例えば、スマートペン１１０と書き込み面１０５との間の対話を使用して、コンピュータ装置１１５上で実行されるアプリケーションに、入力を与えることができる（または、逆も同様である）。

スマートペン１１０とコンピュータ装置１１５との間の通信を有効にするために、スマートペン１１０およびコンピュータ装置は、お互いに「ペアリング」を確立することができる。ペアリングにより、装置は、お互いを認識し、２つの装置間のデータ転送を承認することができる。一度ペアリングされると、データおよび／または制御信号を、有線または無線手段を通じて、スマートペン１１０とコンピュータ装置１１５との間を送信させることができる。

一実施形態において、スマートペン１１０とコンピュータ装置１１５の両方は、そのそれぞれのネットワークアダプタにリンクされるＴＣＰ／ＩＰネットワークスタックを持つ。装置１１０、１１５は従って、直接（ＴＣＰ）およびブロードキャスト（ＵＤＰ）のソケットを使用する通信であって、これらのソケットを使用した通信が可能なスマートペン１１０およびコンピュータ装置１１５のそれぞれで実行されるアプリケーションとの通信、をサポートする。

クラウドサーバ１２５には、スマートペン１１０および／またはコンピュータ装置１１５にネットワーク１２０を介して連結されるリモートコンピュータシステムが含まれる。例えば、一実施形態において、クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５によってキャプチャされたデータのためのリモート記憶装置を提供する。さらに、クラウドサーバ１２５上に記憶されるデータは、種々のアプリケーションとの関係で、スマートペン１１０および／またはコンピュータ装置１１５によりアクセスまたは使用が可能である。

（スマートペンシステムの概要）
図２は、スマートペン１１０の一実施形態を示す。例示の実施形態において、スマートペン１１０は、マーカ２０５、撮像システム（imaging system）２１０、ペンダウンセンサ２１５、１つまたは複数のマイクロフォン２２０、スピーカ２２５、音声ジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、および電池２５５を備える。スマートペン１１０にはまた、電源ボタンまたは音声記録ボタン、および／または、ステータス表示ライト、などのボタンが含まれてよい。代替実施形態において、スマートペン１１０は、図２に示すものより少ないもしくは追加的な、または異なる構成要素を有することができる。

マーカ２０５は、任意のインクベースもしくはグラファイトベースのマーキング装置、または、書き込みに使用可能な任意の他の装置を含む、任意の適切なマーキング機構を備える。マーカ２０５は、感圧素子などのペンダウンセンサ２１５に連結される。ペンダウンセンサ２１５は、マーカ２０５が面に対して押される際に出力を生み出し、それにより、スマートペン１１０が使用されて面に書き込みがされている時、または、書き込み面１０５上でのコントロールまたはボタン（例えば、タッピング）と対話している時を検出する。一代替実施形態において、異なるタイプの「マーキング」センサを使用して、ペンがマークをマーキングしている時、または、書き込み面１１０と対話している時を判定することができる。例えば、ペンアップセンサを使用して、スマートペン１１０が書き込み面１０５と対話していない時を検出してもよい。あるいは、スマートペン１１０は、書き込み面１０５上のパターンが焦点にある時を（例えば、キャプチャされた画像の高速フーリエ変換に基づき）判定することができ、そして、それに従って、スマートペンが書き込み面１０５の範囲内にある時を判定することができる。別の代替実施形態において、スマートペン１１０は、ペンが書き込みしている時、または、書き込み面１０５上のコントロールと対話している時を示す振動を検出することが可能である。

撮像システム２１０は、マーカ２０５近辺の面の領域を撮像するための十分な光学装置およびセンサを備える。撮像システム２１０を使用して、スマートペン１１０でなされる手書きおよびジェスチャをキャプチャすることができる。例えば、撮像システム２１０には、マーカ２０５の近く全体の書き込み面１０５を照らす赤外光源が含まれてよく、それにおいて、書き込み面１０５にはエンコードされたパターンが含まれる。エンコードされたパターンの画像を処理することにより、スマートペン１１０は、マーカ２０５が、書き込み面１０５に関連してどこにあるのかを判定することができる。そして、撮像システム２１０の撮像アレイにより、マーカ２０５近辺の面が撮像され、その視野内にある符号化されたパターンの部分がキャプチャされる。

スマートペン１１０の他の実施形態において、書き込みジェスチャをキャプチャするための適切な代替機構が使用されてよい。例えば、一実施形態において、単語または写真もしくは他の画像の一部などの事前にプリントされたマークを使用して、ページ上の位置が判定される。検出されたマークをデジタル版の文書に相関させることにより、スマートペン１１０の位置を判定することができる。例えば、一実施形態において、プリントされた新聞に対するスマートペンの位置は、スマートペン１１０の撮像システム２１０によってキャプチャされた画像を、クラウドベースのデジタル版の新聞と比較することにより判定することができる。本実施形態において、書き込み面１０５上のエンコードされたパターンは、必ずしも必要ではなく、なぜなら、ページ上の他のコンテンツを基準点として使用することができるからである。

一実施形態において、撮像システム２１０によってキャプチャされたデータは、続いて処理され、文字認識などの１つまたは複数のコンテンツ認識アルゴリズムを、受信データに適用することができる。別の実施形態において、撮像システム２１０を使用して、既に書き込み面１０５上に存在する書き込まれたコンテンツをスキャンかつキャプチャすることができる。これは、例えば、書き込み面１０５上の手書きもしくはプリントされたテキスト、画像、またはコントロールを認識するために使用することができる。さらに、撮像システム２１０をペンダウンセンサ２１５と組み合わせて使用して、マーカ２０５が書き込み面１０５に接触している時を判定してもよい。例えば、スマートペン１１０は、ユーザが、書き込み面１０５の特定の場所にあるマーカ２０５をタップする時を検知することができる。

スマートペン１１０はさらに、音声をキャプチャするための１つまたは複数のマイクロフォン２２０を備える。一実施形態において、１つまたは複数のマイクロフォン２２０は、プロセッサ２４５、または、信号プロセッサ（不図示）により実行される信号処理ソフトウェアに連結され、これは、マーカ２０５が書き込み面上を移動する際に発生するノイズ、および／または、スマートペン１１０が書き込み面に接触するまたは書き込み面から離れる際に発生するノイズを除去するものである。上記で説明したように、キャプチャした音声データは、音声データとキャプチャしたジェスチャとの間の相対的なタイミングを保存する様式で記憶されてよい。

入力／出力（Ｉ／Ｏ）装置２４０により、スマートペン１１０とネットワーク１２０および／またはコンピュータ装置１１５との間の通信が可能となる。Ｉ／Ｏ装置２４０には、有線および／または無線の通信インターフェース、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、赤外線、または超音波のインターフェースなど、が含まれてよい。

スピーカ２２５、音声ジャック２３０、およびディスプレイ２３５は、データ提示のためにスマートペン１１０のユーザに対して出力を提供する出力装置である。音声ジャック２３０は、イヤホンに連結され、スピーカ２２５とは異なり、ユーザの周囲の人の邪魔をせずにユーザが音声出力を聴くことができるようにする。一実施形態において、音声ジャック２３０はまた、各イヤピースにスピーカとマイクロフォンの両方が含まれる両耳用のヘッドセットの場合は、マイクロフォンジャックとしても機能する。両耳用のヘッドセットを使用することにより、より現実的な音声をキャプチャすることが可能とされ、なぜなら、マイクロフォンがユーザの耳の近辺に配置されるからであり、従って、ユーザが室内で聴いているような音声がキャプチャされる。

ディスプレイ２３５は、視覚フィードバックを提供するための、有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの、任意の適切なディスプレイシステムを備えてよく、スマートペン１１０は視覚的な出力を提供することができる。使用時、スマートペン１１０は、これらの出力構成要素のいずれか使用して、音声または視覚フィードバックを通信することができ、データは複数の出力様式を使用して提供される。例えば、スピーカ２２５および音声ジャック２３０は、スマートペン１１０上で実行中のアプリケーションに従って、音声フィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を通信することができ、また、ディスプレイ２３５は、そのようなアプリケーションによる指示の通りに、語句、静的もしくは動的な画像、またはプロンプトを表示することができる。加えて、スピーカ２２５および音声ジャック２３０を使用して、マイクロフォン２２０を使用して記録してある音声データを再生することもできる。スマートペン１１０はまた、ユーザに触覚フィードバックを与えてもよい。触覚フィードバックには、例えば、単純な振動通知、または、仮想ボタンもしくは他のプリント／表示されたコントロールと対話する感覚を提供する、スマートペン１１０のさらに洗練された動き、が含まれてよい。例えば、プリントされたボタン上をタップすることにより、「クリック」音およびボタンが押下されたという感覚を生み出してもよい。

プロセッサ２４５、オンボードメモリ２５０（例えば、非一時的なコンピュータ可読記憶媒体）、および電池２５５（または、任意の他の適切な電源）は、コンピューティング機能がスマートペン１１０上の少なくとも一部において実行されることを可能にする。プロセッサ２４５は、入力装置および出力装置、ならびに、上述の他の構成要素に連結され、それにより、スマートペン１１０上で実行中のアプリケーションがそれらの構成要素を使用できるようにする。その結果、実行可能なアプリケーションは、オンボードメモリ２５０の非一時的なコンピュータ可読記憶媒体に記憶され、かつ、プロセッサ２４５により実行されて、本明細書において記載されるスマートペン１１０に起因する種々の機能を行うことが可能となる。メモリ２５０はさらに、記録された音声、手書き、およびデジタルコンテンツを、無期限に、またはスマートペン１１０からコンピュータシステム１１５またはクラウドサーバ１２５にオフロードされるまで、記憶することができる。

一実施形態において、プロセッサ２４５およびオンボードメモリ２５０には、ファイルシステムまたはアプリケーションメニューを通じてメニュー構造およびナビゲーションをサポートかつ有効にする、１つまたは複数の実行可能アプリケーションが含まれ、アプリケーションまたはアプリケーションの機能を起動することができる。例えば、メニュー項目間のナビゲーションには、ユーザによる発話されたおよび／または書き込まれたコマンドおよび／またはジェスチャ、ならびに、スマートペンコンピュータシステムからの音声および／または視覚フィードバックに関与する、ユーザとスマートペン１１０との間の対話が含まれる。一実施形態において、ペンコマンドは、「起動ライン」を使用してアクティブにすることができる。例えば、ドットペーパ上で、ユーザは水平な線を右から左に描き、次に、最初の線分上を戻り、この時、ペンはユーザにプロンプトしてコマンドを求める。そして、ユーザは、ラインの上にアクセス対象の所望のコマンドまたはメニュー（例えば、Ｗｉ−Ｆｉ設定、再生記録、など）を（例えば、ブロック文字を使用して）プリントする。統合文字認識（ＩＣＲ）を使用して、ペンは、書き込まれたジェスチャを、コマンドまたはデータの入力用のテキストに変換することができる。代替実施形態において、異なるタイプのジェスチャを認識して、起動ラインを有効にすることができる。従って、スマートペン１１０は、入力を受け取り、様々な様式からメニュー構造をナビゲートすることができる。

（書き込み、音声、およびデジタルのデータストリームの同期）
図３は、スマートペン環境１００におけるスマートペン１１０の操作中に存在する（および、選択的にキャプチャされる）、種々のデータフィードの一例を示す。例えば、一実施形態において、書き込みデータフィード３００、音声データフィード３０５、およびデジタルコンテンツデータフィード３１５が全て、共通の時間インデックス３１５に同期している。書き込みデータフィード３０２は、例えば、特定の書き込み面１０５に対するスマートペンの位置の座標情報（例えば、「Ｘ」および「Ｙ」座標）をエンコードしたデジタルサンプルのシーケンスを表す。加えて、一実施形態において、座標情報には、ペンの角度、ペンの回転、ペンの速度、ペンの加速度、またはスマートペン１１０の位置、角度、もしくは動きについての他の特徴が含まれてよい。書き込み面１０５は、時間と共に変化してよく（例えば、ユーザがノートのページを変える、またはノートを切り替える時に）、従って、書き込み面の識別情報も、（例えば、ページ要素「Ｐ」として）キャプチャされる。書き込みデータフィード３０２にはまた、ユーザが書き込みしているか否かを識別する（例えば、ペンアップ／ペンダウンセンサ情報）、または、スマートペン１１０との他のタイプの対話を識別する、スマートペン１１０によってキャプチャされる他の情報が含まれてよい。

音声データフィード３０５は、例えば、特定のサンプル時間においてキャプチャされたデジタル音声サンプルのシーケンスを表す。いくつかの実施形態において、音声データフィード３０５には、多重音声信号（例えば、ステレオ音声データ）が含まれてよい。デジタルコンテンツデータフィード３１０は、例えば、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションに関連する状態のシーケンスを示す。例えば、デジタルコンテンツデータフィード３１０には、特定のサンプル時間におけるコンピュータ装置１１５の状態をそれぞれが表すデジタルサンプルのシーケンスが含まれてよい。状態情報は、例えば、所与の時間においてコンピュータ装置１１５により表示されているデジタル文書の特定の部分、コンピュータ装置１１５により再生されている映像の現在の再生フレーム、所与の時間においてコンピュータ装置１１５により記憶されている入力のセット、などを表すことができる。コンピュータ装置１１５の状態は、コンピュータ装置１１５とのユーザ対話に基づき、および／または、書き込みデータフィード３０２からのコマンドもしくは入力（例えば、ジェスチャコマンド）または音声データフィード３０５からのコマンドもしくは入力（例えば、音声コマンド）に応答して、時間と共に変化してよい。例えば、書き込みデータフィード３０２により、コンピュータ装置１１５の状態に対してリアルタイムの更新を行ってよく、例えば、キャプチャしたままの書き込みデータフィード３０２をリアルタイムで表示すること、または、書き込みデータフィード３０２のキャプチャしたジェスチャにより表される入力に基づきコンピュータ装置１１５の表示を変更することなどができる。図３は１つの代表的な例を提供するが、他の実施形態には、例示するものよりも少ないもしくは追加的なデータフィード（異なるタイプのデータフィードが含まれる）が含まれてよい。

既に述べようたように、データフィード３０２、３０５、３１０のうちの１つまたは複数が、時間インデックス３１５と相関して、スマートペン１１０、コンピュータ装置１１５、クラウドサーバ１２０、または装置の組み合わせによってキャプチャされてよい。そして、データフィード３０２、３０５、３１０のうちの１つまたは複数は、同期して再現することが可能である。例えば、書き込みデータフィード３０２は、例えば、キャプチャした書き込みジェスチャの「動画」としてコンピュータ装置１１５のディスプレイ上に、音声データフィード３０５と共に再現させることができる。さらに、デジタルコンテンツデータフィード３１０は、以前記録した状態のシーケンス間をキャプチャしたタイミングに従って、コンピュータ装置１１５を遷移させる「動画」として、再現させることができる。

別の実施形態においては、ユーザは、様々な異なる方法で、記録データと対話することが可能である。例えば、一実施形態において、ユーザは、以前キャプチャした書き込みに対応する書き込み面１０５上の特定の場所と対話する（例えば、タップする）ことができる。そして、その特定の場所での書き込みが発生した時に対応する時刻位置を、判定することができる。あるいは、コンピュータ装置１１５上のスライダナビゲーションツールを使用することにより、または、デジタルコンテンツデータフィード２１０内の特定の時刻位置に対して一意的な状態に、コンピュータ装置１１５を置くことにより時刻位置を識別することができる。音声データフィード３０５、デジタルコンテンツデータフィード３１０、およびまたは書き込みデータフィードは、識別された時刻位置から開始して再現させることができる。加えて、ユーザは、データフィード３０２、３０５、３１０の内の１つまたは複数を、識別された時刻位置において、修正するべく追加することができる。

（認証接続の確立および保持）
上述のように、データ転送が、スマートペン１１０コンピュータ装置１１０との間に（直接またはネットワーク１２０を介して）生じ、様々な異なる機能を可能とすることができる。一実施形態において、スマートペン１１０およびコンピュータ装置１１５は、認証接続を確立かつ保持して、該装置間のデータ転送を可能する。例えば、一実施形態において、装置１１０、１１５は、お互いを発見し、暫定的な接続を確立し、お互いのアイデンティティを確認し、信頼関係を確立する。一度確立されると、２つの装置１１０、１１５は、その後も自動的にお互いに再発見および再接続することができる。さらに、コンピュータ装置１１５上で実行される異なるアプリケーションには、認証方法により執行される異なる特権レベルを与えることができ、従って、認証済みのセッション中に、スマートペン１１０からのアクセスのレベルを変更することが許可される。

図４は、コンピュータ装置１１５とスマートペン１１０との間の認証接続を確立するための処理の一例の実施形態を示す。発見段階において、起点装置（コンピュータ装置１１５、スマートペン１１０、または両方）が、他の装置からの装置情報を求める要求４００を送信することにより通信を初期化する。例えば、一実施形態において、起点装置（スマートペン１１０またはコンピュータ装置１１５）が、ブロードキャスト要求パケット（例えば、ＵＤＰブロードキャストパケット）を、ネットワーク１２０を介してローカルサブネットにディスパッチする。何の応答も受信しない場合、起点装置は、パケットの再送信を継続することができる（また、停止基準を満たす場合は、パケットの再送信を停止してもよい）。受信装置（コンピュータ装置１１５、スマートペン１１０、または両方であってよい）がネットワーク１２０に接続され、要求４００（例えば、ＵＤＰパケット）を受け取ると、受信装置は、応答４０５を送信することにより応答することができる。例えば、一実施形態において、受信装置は、それ自身の対応するパケット（例えば、ＵＤＰパケット）を用いて応答する。このパケットは、明確に起点装置に向けられてよく、また、起点装置に対して受信装置を識別する情報を搬送してよい。図４において、要求４００および応答４０５が、双方向に点線で示され、要求４００および応答４０５が、どちらかの方向または双方向に送信可能であることを表す。

最初の要求４００および応答４０５の後、起点装置と受信装置の両方が、他方の装置との接続を確立するか否かを判定し４１０、接続を拒否し、または、接続の試みを停止する（例えば、何の応答も受信しない場合）。一実施形態において、判定段階４１０は、接続の試みを通知するユーザプロンプトを（例えば、スマートペン１１０またはコンピュータ装置１１５上に）表示すること、および、ユーザの応答に基づき、接続の試みを受諾するか拒否するかを判定すること、に関与する。

例えば、一実施形態において、コンピュータ装置１１５（例えば、タブレット）は、ローカルネットワーク１２０に接続されるスマートペン１１０についての情報を求めて最初の要求４００を行う。同じネットワーク上のスマートペン１１０の全てが、自らのシリアル番号およびその他の識別情報を持つパケットを、要求側のコンピュータ装置１１５に送ることにより、要求４００に対して応答４０５を送信する。応答側のスマートペン１１０のそれぞれについて、コンピュータ装置１１５は次に、受信した情報を破棄すべきか、受信した情報を維持すべきか、または、スマートペン１１０との接続確立を試みるか、を判定する４１０−Ａ。代わりの一実施形態において、スマートペン１１０は、最初の要求４００を行い、応答４０５を１つまたは複数のコンピュータ装置１１５から受信し、受信した情報をどのように扱うのかについて判定する４１０−Ｂことができる。

認証接続の確立および保持を行う次の段階は、装置のペアリングである。「ペアリング」を確立することにより、スマートペン１１０およびコンピュータ装置１１５は、長い認証処理を繰り返すことなく、自動的にお互いに再接続することができる。一実施形態において、ペアリング処理は、ユーザがスマートペン１１０およびコンピュータ装置１１５の少なくとも一方を「ペアリングモード」にする時に実行される。スマートペン１１０またはコンピュータ装置１１５は、一度ペアリングモードにされると、ブロードキャスト発見要求（例えば、最初の通信を求める要求４００）に応答するだけでなく、ペアリング要求にも応答することになる。

一度ペアリングモードになり、かつ、各装置１１０、１１５がステップ４１０にて他方の装置との接続を認めるとみなされると、両方の装置が、ネットワーク１２０を介してお互いに接続を確立する４１５。例えば、一実施形態において、コンピュータ装置１１５は、スマートペン１１０の特定の開いたソケットに接続を試みる（または、逆も同様である）。追加的な識別情報が、スマートペン１１０とコンピュータ装置１１５との間で交換される４２０。装置１１０、１１５は次に、追加的な識別情報に基づき関係を検証する４２５。例えば、一実施形態において、検証ステップ４２５には、接続を最終的に確定するために、スマートペン１１０がペアリングコードをそのディスプレイ上に示すこと、および、ユーザがペアリングコードをコンピュータ装置１１５に入力することが含まれてよい。あるいは、ペアリングコードが、コンピュータ装置１１５上に表示され、かつ、スマートペン１１０上に入力されてもよい。ステップ４２５にて関係が検証されると、装置はペアリングされる。

装置１１０、１１５に記録された私的かつ機密の情報を、未承認の装置またはアプリケーションによる不正な接続から保護するために、ペアリングされた両装置１１０、１１５が、接続を（例えば、ＳＳＬ／ＴＬＳを使用して）確保し４３０、その後に、さらなる情報が交換可能となる。一実施形態において、スマートペン１１０には既知であって、かつ、コンピュータ装置１１５上で実行される承認されたアプリケーションに埋め込まれた、証明書を使用して、装置１１０、１１５間の接続の通信を検証して接続を確保する４３０。その後、装置１１０、１１５間のバリデーション／ネゴシエーションのやりとりが開始される。

一代替実施形態において、最初のペアリングを、有線接続（例えば、ＵＳＢ、マイクロＵＳＢ、またはドッキング用補助具）に限定することができる。これにより、スマートペン１１０およびコンピュータ装置１１５は、特に機密の作業環境における、未承認の接続から保護される。有線接続により、確実に、ユーザにより承認されたペンのみが、サーバおよびコンピュータなどのコンピュータ装置１１５に接続可能とされる。有線のペアリングの最後に、スマートペン１１０およびコンピュータ装置１１５の両方が承認されて、お互いに無線接続を確立することができる。

一実施形態において、セキュリティを、高度／生体ユーザ認証方法を使用して向上させることができる。スマートペン１１０およびコンピュータ装置１１５が接続を確立すると、スマートペン１１０は、ユーザにプロンプトしてアイデンティティの検証を求めることができる。例えば、スマートペン１１０は、ユーザに、パスワードを書き込む、またはプリントされたキーボード上にタイプするように要求してもよい。あるいは、ユーザに、サイン、または、単語を書き出すよう求めてもよい。書き込まれたジェスチャを、記録されたサインまたは以前手書きされたジェスチャと比較して、ユーザのアイデンティティを検証することができる。スマートペン１１０はまた、アイデンティティを検証する手段として声認証利用してもよい。

一実施形態において、コンピュータ装置１１５上で実行される異なるアプリケーションが持つアクセス権を、スマートペン１１０が記憶するデータに制約すること、または、スマートペン１１０が持つアクセス権を、コンピュータ装置１１５が記憶するデータに制約することにより、接続された装置間でセキュリティを向上させることができる。一実施形態において、スマートペン１１０と共に使用するためのアプリケーションを開発したいアプリケーション開発者には、スマートペン１１０と通信するための接続ツールキット／標準開発キット（ＳＤＫ）が提供される。開発者にはまた、アプリケーションと共に含まれるべきアプリケーションプログラミングインターフェース（ＡＰＩ）トークンが与えられる。バリデーション／ネゴシエーションのやりとりの間、このＡＰＩトークンは、装置１１０、１１５間で交換される４３５（例えば、片方向または双方向の交換）。各トークンは、アプリケーションに対して承認された特定のアクセスレベル特権と共にエンコードされる。アプリケーションがコンピュータ装置１１５で実行される際、スマートペン１１０はトークンを検証し４４０、アプリケーションにアクセスを与える４４５前に内部的なブラックリストと照合する。ユーザはまた、アプリケーションに、スマートペン１１０上のデータへのアクセスが与えられる４４５前に、アプリケーションに対して承認されるアクセスのレベルを検証するようプロンプトされてもよい。アクセス権には、例えば、アプリケーションに、スマートペン１１０に記憶されるデータへの書き込み／削除アクセス、や、スマートペン１１０に記憶されるデータへの単純な読み込み／観測アクセスを認めることが含まれる。アクセス権のレベルを検証する追加的な例について、図５を参照して以下で説明する。

認証トークンを、ローカルに記憶して、装置１１０、１１５がその後もお互いに自動的に再接続できるようにすること、および、以前検証済みのアプリケーションが、与えられた特権レベルに従ってスマートペン１１０と通信可能であるようにすることができる。トークンを交換して記憶した後、２つの装置は、お互いに通信して、アプリケーション固有の許可により認められる範囲まで、情報を転送すること４５０ができる。２つの装置間の接続が閉じると、その後、装置は自由にお互いに再接続する。

装置間の以前のペアリングにより、特定のコンピュータ装置１１５およびスマートペン１１０は、その後、自動的な再接続を求めてお互いを探し出すことが可能である。例えば、接続は、特定の事象に応答して自動的に再確立されてよく、例えば、特定の時間間隔が経過したとき、ユーザによってプロンプトされたとき、または、起動事象もしくはネットワーク変更事象に応答して、などである。一実施形態において、ユーザは、コンピュータ装置１１５上のアプリケーション内のコントロールを起動またはタップすることにより、探索操作を開始することができる。別の実施形態において、ユーザは、スマートペン１１０を使用して、ペンに適合する書き込み面１０５上のアイコンをタップすること、または、起動ラインもしくはＩＣＲを使用することにより、探索操作を開始することができる。不具合がある場合、（接続がユーザにより明示的に要求されたならば）ユーザは、プロンプトされてよく、または、（接続が既に黙示的にトリガーされているならば）無視される。再接続が成功すると、装置は、以前のペアリングの間に与えられたアクセスに従って、または、ローカルに記憶された認証トークンにおいて指定される特権に従って、ペアリングされる。

一実施形態において、長期間の認証接続が必ずしも望ましいとは限らないシナリオについては、コンピュータ装置１１５とスマートペン１１０との間の一時的な接続が代替として確立されてもよい。例えば、スマートペン１１０は、一回限りまた限定されたアクセスデータ交換の目的で、コンピュータ装置１１５に接続することができる。このシナリオでは、装置が上述のように発見され、接続が確立される（これは、異なる実施形態においては、ユーザによって明示的に認められても）。しかし、装置は上述のような様式ではペアリングされず、装置１１０、１１５間で交換４３５された認証トークンは、装置１１０、１１５上に記憶されない。２つの装置１１０、１１５は、従って、その後は自動的に再接続することはできない。

一実施形態において、スマートペン１１０およびコンピュータ装置１１５は、インフラストラクチャのネットワーク（例えば、家庭もしくは企業のＷｉ−Ｆｉアクセスポイント、公共のＷｉ−Ｆｉホットスポット、または、モバイルホットスポット）が利用可能でないときでも、接続を確立かつ保持することが可能である。本実施形態において、スマートペン１１０は、自らの一時的なネットワーク（例えば、アドホックネットワーク）を確立してブロードキャストする。スマートペン１１０は、アドホックネットワークのアベイラビリティをブロードキャストし、確立されたネットワーク上のトラフィックの聞き取りを開始する。そして、他の装置（例えば、コンピュータ装置１１５）は、上記で説明した認証済みの接続を確立かつ保持するための方法を使用して、アドホックネットワーク上のスマートペン１１０に接続することができる。一実施形態において、スマートペン１１０は、アクセス可能なインフラストラクチャの無線ネットワークが無いことを検出すると、アドホックネットワークを自動的に確立する。

（アクセスレベル特権）
上述のように、異なるアプリケーションには、それぞれの認証トークン内にエンコードされた特権レベルに応じて、スマートペン１１０の情報への異なるレベルのアクセスが認められる。異なる特権レベルは、スマートペン１１０に記憶されるデータの読み込み、書き込み、および修正、ならびに、スマートペン１１０からのリアルタイムのデータの観測、についての異なる特権を提供する。一実施形態において、各特権レベル内の修飾子が、所与のアプリケーションの特定の特権をさらに微調整する。

図５は、認証トークンにエンコードすることができる、可能性のある特権レベルの表５００の一例の実施形態を示す。図５の表では、それぞれ上位の特権レベルが、下位レベルで許可される同じ特権に加えて、１つまたは複数の追加的な特権を、アプリケーションに認める。

例えば、レベル０（５０５）は、最下位特権レベルである。レベル０（５０５）に割り当てられるアプリケーションは、スマートペン１１０が接続されているときに、リアルタイムの書き込みジェスチャを観測することのみが認められるが、過去のデータにはアクセスできない。例えば、レベル０（５０５）に割り当てられるアプリケーションは、ペンアップ／ペンダウンセンサからのデータ、ジェスチャデータ、位置情報、およびスマートペン１１０に関する他の基本データ、を受け取ることができる。

レベル１（５１０）に割り当てられるアプリケーションは、レベル０（５０５）から同じ特権が与えられており、また、スマートペン１１０との現在接続されているセッション中に（偶発的に切断されてその後再接続した場合の、スマートペン１１０が「接続されて」いたはずの期間中を含む）、ペン１１０により記憶された書き込みジェスチャデータにクエリを行うことが追加的に許可された、アプリケーションである。しかし、レベル１に割り当てられるアプリケーションは、現在の接続が確立される間の以前のセッションからのデータにはアクセスできない。

レベル２（５１５）に割り当てられるアプリケーションには、該アプリケーションにとって既知の書き込み面１０５（例えば、ノートの特定のページ）に関連する、スマートペン１１０により記憶された任意の書き込みジェスチャデータに、クエリを行うことが認められる。例えば、レベル２（５１５）に割り当てられるアプリケーションは、アプリケーションとスマートペン１１０が接続していた間に書き込みがされた、任意の書き込み面１０５からの書き込みジェスチャデータにアクセスすることができ、何らかの書き込みジェスチャデータが現在のセッション中にキャプチャされたものではない場合もアクセスできる。

レベル３（５２０）に割り当てられるアプリケーションには、書き込みジェスチャデータと共に音声データにクエリを行うことおよび転送すること、ならびに、記録セッションを開始すること、が認められる。従って、アプリケーションは、任意の音声記録および音声記録に関連するペンストロークへのアクセスおよびダウンロードを行う許可を得る。

レベル１５（５２５）に割り当てられるアプリケーションは、最高の特権レベルを与える管理者特権レベルである。レベル１５に割り当てられるアプリケーションは、ジェスチャデータおよび音声データの読み込み、スマートペン１１０のユーザに関連するアカウント情報へのアクセス、および、スマートペン１１０の他の構成情報の読み込みまたは修正、を行うことができる。

修飾子をアクセスレベルに適用して、特権構造に追加的な柔軟性を与えることができる。修飾子は、所与のアプリケーションについて有効にされると、認証トークン上にエンコードされた特定の特権レベルにより既に許可されたものの上位に、１つまたは複数の追加的な特権を付与する。例えば、修飾子Ａ（５３０）は、スマートペン１１０内の書き込みジェスチャデータおよび音声データにメタデータを追加する能力を含む書き込み能力５６０を、アプリケーションに与える。他の修飾子を、種々の実施形態における認証トークンへのエンコードに利用可能とすることもできる。例えば、一実施形態において、追加的な修飾子により、記憶されたデジタルデータ（例えば、デジタルコンテンツデータフィード３１０からの）へのアクセスを有効またな無効にする。

（追加の実施形態）
実施形態についての上記の説明は、例示の目的で提示されたものであり、包括的であることも、開示される正確な形式に本発明を限定することも、意図されない。当該技術を有する者は、上記の開示に照らして、多くの修正および変更が可能であることを理解することができる。

本説明のある部分では、情報に対する操作のアルゴリズムおよび象徴的な表現の観点から、実施形態を説明する。これらのアルゴリズム的な説明および表現は、データ処理技術を有する者により共通に使用されて、彼らの作業の内容が他の技術を有する者に効果的に伝達される。これらの操作は、機能的、コンピュータ的、または論理的に説明されるが、コンピュータプログラムもしくは等価の電気回路、またはマイクロコード、などにより実装されることが理解される。さらに、操作についてのこれらの構成を、普遍性を失うことなくモジュールとして、言及することは、時には好都合であることも証明された。説明した操作および関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせにおいて具現化されてよい。

本明細書に記載されるステップ、操作、または処理のいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他の装置との組み合わせで、実行または実装することができる。一実施形態において、ソフトウェアモジュールは、記載されるステップ、操作、または処理のいずれかまたは全てを実行するための、コンピュータプロセッサにより実行可能であるコンピュータプログラム命令を含有する、非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。

実施形態はまた、本明細書に記載される操作を実行するための装置にも関係してよい。この装置は、必要とされる目的のために特別に構築されてよく、および／または、コンピュータ内に記憶されるコンピュータプログラムにより選択的に起動または再構成される汎用コンピュータ装置を備えてよい。かかるコンピュータプログラムは、電子的な命令を記憶するのに適した、かつ、コンピュータシステムバスに連結される任意のタイプの有形の媒体を含む、有形のコンピュータ可読記憶媒体に記憶されてよい。さらに、明細書において言及される任意のコンピュータシステムは、単一のプロセッサを含んでよく、または、増大する計算能力のためのマルチプロセッサ設計を採用するアーキテクチャであってよい。

最後に、明細書内で使用される言語は、主に読みやすさおよび教示の目的で選択されたものであり、発明の主題の輪郭を描くことまたは境界線を描くことのために選択されてはいないものとする。従って、本発明の範囲は、本詳細な説明によって制限されるのではなく、むしろ、本明細書に基づく応用に由来する任意の請求項により制限されることが意図される。従って、本発明の実施形態の開示では、以下の請求項において記載される本発明の範囲を、非制限的に、例証することが意図される。

Claims (20)

1. コンピュータ装置についての装置情報を求めてスマートペンから要求を送信するステップと、
   前記スマートペンが、前記送信した要求に関して前記コンピュータ装置から応答を受け取るステップと、
   前記応答に基づき、前記スマートペンと前記コンピュータ装置との間に無線接続を確立すべきか否かを判定するステップと、
   無線接続を確立すべきであるという判定に応答して、無線接続を確立するステップと、
   前記装置情報に基づき前記コンピュータ装置上で実行されるアプリケーションの特権レベルを確立するステップであって、前記特権レベルは所定の特権レベルのセットから選択され、前記所定の特権レベルのセットのそれぞれが、異なるアクセスポリシーを確立する、ステップと
   前記特権レベルに基づき、前記スマートペンからの特定のデータを求める、前記アプリケーションからの要求を認めるか拒否するかを判定するステップと
   を含むことを特徴とするコンピュータに実装される方法。
2. 前記無線接続の喪失を検出するステップと、
   前記無線接続を自動的に再確立するステップと
   さらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
3. 前記特定のデータが、過去のデータ、ジェスチャデータ、位置データ、基本の装置データ、音声データ、およびアカウントデータのうちの少なくとも１つを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
4. 前記特権レベルを確立するステップが、
   前記コンピュータ装置との間で認証トークンを交換するステップであって、前記認証トークンは、前記特権レベルに関する情報を含む、ステップ、を含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
5. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
   前記特権レベルに基づき、スマートペンからのデータに、データが生成されたままの状態で、リアルタイムでアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
6. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
   前記特権レベルに基づき、前記スマートペンにより記憶されたジェスチャデータおよび音声データにアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
7. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
   前記特権レベルに基づき、前記スマートペンのユーザに関連するアカウント情報にアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
8. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
   前記特権レベルに基づき、前記スマートペンにより記憶されるデータを修正するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
9. 前記特権レベルを確立するステップが、
   前記装置情報に基づき、前記アプリケーションに関連する修飾子を確立するステップであって、前記修飾子は、前記所定の特権レベルのセットから選択された特権レベルのアクセスポリシーの１つを変更する、ステップ、を含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
10. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記修飾子に基づき、前記スマートペンにより記憶されたデータにメタデータを追加するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項９に記載のコンピュータに実装される方法。
11. スマートペン装置内に統合されるプロセッサと、
    前記スマートペン装置内に統合されるジェスチャキャプチャシステムであって、前記プロセッサに連結され、かつ、書き込みデータをキャプチャするためのものであるジェスチャキャプチャシステム、と、
    コンピュータプログラムコードを記憶し、かつ、前記スマートペン装置内に統合される、非一時的コンピュータ可読記憶媒体と
    を備えることを特徴とするスマートペン装置であって、
    前記コンピュータプログラムコードは、前記プロセッサにより実行されるべく構成され、前記コンピュータプログラムコードは、
    コンピュータ装置についての装置情報求めてスマートペンから要求を送信するステップと、
    前記スマートペンが、前記送信した要求に関して前記コンピュータ装置から応答を受け取るステップと、
    前記応答に基づき、前記スマートペンと前記コンピュータ装置との間に無線接続を確立すべきか否かを判定するステップと、
    無線接続を確立すべきであるという判定に応答して、無線接続を確立するステップと、
    前記装置情報に基づき前記コンピュータ装置上で実行されるアプリケーションの特権レベルを確立するステップであって、前記特権レベルは所定の特権レベルのセットから選択され、前記所定の特権レベルのセットのそれぞれが、異なるアクセスポリシーを確立する、ステップと
    前記特権レベルに基づき、前記スマートペンからの特定のデータを求める、前記アプリケーションからの要求を認めるか拒否するかを判定するステップと
    のための命令を含む、コンピュータプログラムコードである
    をことを特徴とするスマートペン装置。
12. 前記無線接続の喪失を検出するステップと、
    前記無線接続を自動的に再確立するステップと
    をさらに含むことを特徴とする請求項１０に記載のスマートペン装置。
13. 前記特定のデータが、過去のデータ、ジェスチャデータ、位置データ、基本の装置データ、音声データ、およびアカウントデータのうちの少なくとも１つを含むことを特徴とする請求項１１に記載のスマートペン装置。
14. 前記特権レベルを確立するステップが、
    前記コンピュータ装置との間で認証トークンを交換するステップであって、前記認証トークンは、前記特権レベルに関する情報を含む、ステップ、を含むことを特徴とする請求項１１に記載のスマートペン装置。
15. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、スマートペンからのデータに、データが生成されたままの状態で、リアルタイムでアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１１に記載のスマートペン装置。
16. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンにより記憶されたジェスチャデータおよび音声データにアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含む
    ことを特徴とする請求項１１に記載のスマートペン装置。
17. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンのユーザに関連するアカウント情報にアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１１に記載のスマートペン装置。
18. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンにより記憶されるデータを修正するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１１に記載のスマートペン装置。
19. 前記特権レベルを確立するステップが、
    前記装置情報に基づき、前記アプリケーションに関連する修飾子を確立するステップであって、 前記修飾子は、前記所定の特権レベルのセットから選択された特権レベルのアクセスポリシーの１つを変更する、ステップ、を含むことを特徴とする請求項１１に記載のスマートペン装置。
20. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記修飾子に基づき、前記スマートペンにより記憶されたデータにメタデータを追加するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項１９に記載のスマートペン装置。