JP2008305437A - ジェスチャ判定方法 - Google Patents

ジェスチャ判定方法 Download PDF

Info

Publication number
JP2008305437A
JP2008305437A JP2008231463A JP2008231463A JP2008305437A JP 2008305437 A JP2008305437 A JP 2008305437A JP 2008231463 A JP2008231463 A JP 2008231463A JP 2008231463 A JP2008231463 A JP 2008231463A JP 2008305437 A JP2008305437 A JP 2008305437A
Authority
JP
Japan
Prior art keywords
gesture
stroke
gestures
user
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008231463A
Other languages
English (en)
Other versions
JP4694606B2 (ja
Inventor
Gregory Hullender
ヒューレンダー グレゴリー
Alexander Gounares
ゴーナーズ アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2008305437A publication Critical patent/JP2008305437A/ja
Application granted granted Critical
Publication of JP4694606B2 publication Critical patent/JP4694606B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】手書きジェスチャを取り込み実施するシステムおよびプロセスを実現
する。
【解決手段】ユーザは、ジェスチャを使用してペンベースの入力装置に迅速に
指示して動作を実行することができる。ユーザは、ペンベースのコンピューティ
ングプラットフォームでペンを使用してテキストまたは手書きインクを編集し、
その編集によりテキストまたはインクに影響を及ぼすことができる。ジェスチャ
を実施するプロセスにおいて、一般的な動作環境からジェスチャにアクセスでき
る(３０１)。ユーザは、３０１でインクを追加するか、またはディスプレイの何
らかの側面を制御する(例えば見る、スクロールする等)ことができる。３０２で
ジェスチャが作成されると、３０３でそれを実行することができる。実行を終え
ると、システムは経路３０４で３０１に戻ることにより、さらに入力を受け付け
る状態になる。
【選択図】図３

Description

本発明は、一般に、グラフィカルユーザインタフェース(ＧＵＩ)を制御する装置および方法を対象としたジェスチャ判定方法及び記録媒体に関する。より詳細には、本発明は、スタイラスベースの入力システムを使用しジェスチャに関連する機能を実行することにより、ユーザが行うジェスチャの認識に係るジェスチャ判定方法、データ構造、記録媒体及びシステムに関する。
典型的なコンピュータシステム、特にMicrosoft WINDOWS(登録商標)などグラフィカルユーザインタフェース(ＧＵＩ)システムを使用するコンピュータシステムは、テキストを入力するキーボードなど１つまたは複数の分離した入力装置と、ユーザインタフェースを駆動する１つまたは複数のボタンを備えたマウスなどのポインティングデバイスからのユーザ入力を受け付けるために最適化されている。Microsoft WINDOWS(登録商標)で実行するように設計されたソフトウェアアプリケーションは、実質的にすべて同じ方式でユーザ入力を受け付けるように最適化されている。例えば、多くのアプリケーションでは、状況に応じたコマンドメニューを表示するために右のマウスボタン(「右クリック」)を広く利用している。ユーザは、マウスの左ボタンをクリックする(「左クリック」)、あるいはマウスの左または右のボタンをクリックし、ボタンを押したままマウスを移動する(「左クリックドラッグ」あるいは「右クリックドラッグ」)など、マウスを使用して他のジェスチャを生成することもできる。例えば、Opera Software社のOpera（商標）６.０における右クリックドラッグのマウスコマンドを参照されたい。
環境によっては、マウスが使用できない、あるいは望ましくない場合がある。例えばデジタイザタブレット環境では、主要な入力装置はスタイラスであることが考えられる。スタイラスは、コンピューティング環境にパッドと紙のような感覚を与えようとするものであるが、現在のシステムには制限がある。例えば、グラフィカルユーザインタフェースでのスタイラスの使用は、選択のために各種の項目に軽く触れることに限られている。例えば、Palm OS（商標）３.xおよび４.xオペレーティングシステムを使用するPalmシリーズの製品を考えられたい。こうしたシステムでも、スタイラスによる対話方法は、挿入点や選択した１つまたは複数の単語から離れたデジタイザの専用部分でテキスト入力およびコマンドを入力するという点で煩雑である。さらに、スタイラスベースの入力環境では、ユーザは、一般には画面の上部または下部にあるリモートツールバーからツールや動作を選択することを絶えず強いられる。ユーザは文字をタイプすることができ、あるいはデジタイザは手書きを認識することができるが、こうした動作にはそれぞれ、キーボードの入力モードを選択し、デジタイザの所定部分に書き込むことが必要とされる。要は、新規に入力を行うたびにユーザが行いたいことをコンピュータに知らせる必要があるために、スタイラスベースのコンピューティングは平均的なユーザにとっては難しいものになっている。
ある動作では新規のテキストを作成する(例えば、テキストを書く、タイプする、ペーストするなど)。他の動作ではテキストを修正する(既存テキストのハイライト表示、インキング（inking）、消去、切り取り、および移動)。後者の修正動作を行うのに伴う問題は、一般にはこれらの動作が大半のユーザにとって主要な動作モードではないことである。すなわち、ユーザはテキストを修正することができるが、この動作は、新しいテキストを作成するというより主要な動作に従属するものである。したがって、ユーザは、最終的にテキスト(あるいはその他の内容)の修正動作からテキスト作成環境に移行する必要がある。従来の移行には、ツールバーのボタンの切り替えがある。ボタンには、消去ボタン、ハイライトボタンなどがある。トグルボタンは、ユーザに対して動作モードとモードの状態をどのように選択するかを明らかにする(トグルボタンが押されているか否かにより)が、ユーザが絶えず一般には表示画面の中心部分から、画面の端に近接して配置された(トグルボタンが収められた)リモートのツールバーに移動し、再度中心部分に戻るという点で、様々なモードを変更する際には使用するのが厄介なことがある。１つまたは複数の補助的モードから再度主要な動作モードに切り替えるためにこうした反復的な動きと注意力を用いる必要があることにより、ユーザの注意力が活発に読み書きを行うことからモードの切り替えという実際的な作業にそらされてしまう。
以前のペンベースのコンピューティングシステムは、ペンの動きをコマンドとして解釈できるようにすることにより上述の問題に対処しようと試みた。例えば、Go社のPenpoint（商標）を考えられたい。しかし、Penpointは、主としてテキストへのペンベースのコマンドを可能にするものであった。手書き入力については、Penpointでは規定されたペンの動き(この場合にはペン先の同一線上での右、左、右への動き。平らな「z」とも呼ばれる)により以前の入力を直ちに削除することだけが可能であった。Penpointは、ページ上の任意の場所で無作為に手書きインクを編集する機能は提供しなかった。ペンベースの入力システムを主流のコンピューティング環境の一部とするためには、ページ上の任意の場所で手書きテキストを編集する自由度をサポートすることが必要である。
最後に、手書きインクは一般には非インクアプリケーションとの互換性がない。例えば、テキスト入力を必要とするアプリケーションを使用すると、ユーザはインクをテキストに変換しなければならない。Palm OSでは、挿入点を配置し、画面下部の専用のテキスト入力部分に移動し、専用のテキスト入力部分にテキストを入力し、そして挿入点に戻る必要がある。これらの動作はすぐに厄介になり、ユーザはスタイラスベースの入力システムを用いるレガシーアプリケーションを使用しなくなってしまう。
いくつかの文献に上述のような従来の技術に関連した技術内容が開示されている（例えば、特許文献１〜３参照）。
米国特許第５、５１７、５７８号明細書 米国特許第５、９８６、６６５号明細書 米国特許第５、９２０、６９４号明細書
従来のシステムには上述したような種々の問題があり、さらなる改善が望まれている。
本発明は、このような状況に鑑みてなされたもので、その目的とするところは、手書きジェスチャを取り込み実施するシステムおよびプロセスを実現するジェスチャ判定方法及び記録媒体を提供することにある。
このような目的を達成するために、本発明のジェスチャ判定方法は、ページを閲覧するユーザからジェスチャを受け取ったかどうかを判定するジェスチャ判定方法であって、前記ページ上に置かれたストロークを受け取るステップと、前記ストロークがジェスチャを含むかどうかを判定するステップと、前記ジェスチャが受け取られたことをシステムまたはアプリケーションに通知するステップとを備えたことを特徴とする。
また、上記目的を達成するために、本発明のジェスチャ判定方法は、ページを閲覧するユーザからジェスチャを受け取ったかどうかを判定するジェスチャ判定方法であって、前記ページ上に置かれたストロークを受け取るステップと、前記ページ上に前記ストロークをレンダリングするステップと、前記ストロークをアプリケーションに送るステップと、前記ストロークがジェスチャを含むかどうかを前記アプリケーション中で判定するステップと、前記ジェスチャを処理するステップとを備えたことを特徴とする。
また、上記目的を達成するために、本発明のデータ構造は、ジェスチャを記憶するデータ構造であって、前記ジェスチャの識別と関連付けられた第１の部分と、前記ジェスチャの正規化された形状を記述する第２の部分と、前記ジェスチャのアクション範囲を記述する第３の部分と、デフォルトアクション又はコントロールメソッド若しくはプロパティを記述する第４の部分とを備えたことを特徴とする。
また、上記目的を達成するために、本発明のジェスチャ判定方法は、受け取ったストロークがジェスチャであるかどうかを判定するジェスチャ判定方法であって、少なくとも１つのストロークを正規化して少なくとも１つの正規化されたストロークを生成するステップと、前記少なくとも１つのストロークの座標のチェビチェフ多項式を計算するステップと、前記少なくとも１つの正規化したストロークと前記チェビチェフ多項式とを組み合わせてベイズネットを生成するステップと、前記ベイズネットと、既知のジェスチャについて以前に計算したベイズネットとを比較するステップと、前記ベイズネットが前記計算したベイズネットの１つと相関するかどうかを判定するステップと、前記ベイズネットが前記計算したベイズネットの１つと相関する場合、前記少なくとも１つのストロークを、前記計算したベイズネットの前記１つに対応するジェスチャとして処理するステップとを備えたことを特徴とする。
また、上記目的を達成するために、本発明の記録媒体は、ページを閲覧するユーザからジェスチャを受け取ったかどうかを判定するプログラムを含むコンピュータ読み取り可能な記録媒体であって、前記プログラムは、前記ページ上に置かれたストロークを受け取るステップと、前記ストロークがジェスチャを含むかどうかを判定するステップと、前記ジェスチャを受け取ったことをシステムまたはアプリケーションに通知するステップとを実行する命令を備えたことを特徴とする。
また、上記目的を達成するために、本発明のシステムは、ジェスチャを実施するシステムであって、ページを表示するディスプレイと関連付けられたデジタイザと、スタイラスと、プロセッサとを備え、前記ページ上の任意の位置で受け取ったストロークに応答して、前記スタイラスと前記デジタイザとの対話により、前記プロセッサは、前記ストロークがジェスチャを含むかどうかを判定し、前記ジェスチャのアクション範囲と前記ジェスチャのメソッドまたはプロパティとを使用して前記ジェスチャを処理することを特徴とする。
本発明の態様は、表示面にユーザが直接書き込むことを可能にし、上述の問題の１つまたは複数を解決するペンベースのコンピューティングシステムを対象とする。本発明の態様は、ユーザがジェスチャを使用して、これらに限定しないが手書きインクおよびテキストを含む表示された情報を編集することを可能にする。さらに、いくつかの態様ではジェスチャベースのナビゲーションを使用することができる。
本発明の上記およびその他の特徴は、以下の好適実施形態の詳細な説明を考察することにより明らかになろう。
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、各図面において同様の機能を有する箇所には同一の符号を付し、説明の重複は省略する。
上記の本発明の要約ならびに以下の好適実施形態の詳細な説明は、添付図面と併せて読むことによりさらに深く理解される。添付図面は例として含めるものであり、特許請求する本発明に関する制限として含めるのではない。
以下の説明は、読者を助けるために、用語、一般的なコンピューティングプラットフォーム、ジェスチャ、ジェスチャの認識、ジェスチャの実行、およびデータ構造の項目に分けている。
用語
本開示の各種態様の理解のために次の用語を定義する。代替となる定義が当技術分野で知られる場合があり、以下の定義を補足する可能性がある。
インク（ink）-１つまたは複数のストロークの連続またはセット。ストロークの連続には、順序付けられた形のストロークを含めることができる。この連続は、取り込まれた時間、またはストロークがページのどこに現れるかによって順序をつけることができる。この他の順序も可能である。ストロークのセットは、ストロークの連続や順序づけされていないストローク、あるいはその任意の組合せを含むことができる。さらに、ストロークは、そのストロークを構成するすべての点を含むか、あるいはストロークの方向の変化を示す点だけに限定することもでき、またこれらの組合せも可能である。
ストローク-取り込まれた点の連続またはセット。レンダリングする際、点の連続は線でつなぐことができる。ストロークは複数の方式で表すことができる。例えば、ストロークは、点と、次の点の方向の１つまたは複数のベクトルとして表すことができる。さらに、ストロークは、点および/またはベクトルの単純なリスト(あるいは配列やテーブル)を指すこともできる。要は、ストロークは、基礎となる点の表現および/またはそれらの点を何でつなぐかに関係なく、インクに関連する点および/または線分のいずれの表現も包含するものとする。
点-空間内の位置を定義する情報。点は、例えば捕捉空間(例えばデジタイザ上の点)および/または表示空間(表示装置の点またはピクセル)に相対的に定義することができる。点は各種の既知の技術を使用して表すことができ、これには、デカルト座標(X,Y)、極座標(r,Θ)、３次元座標((X,Y,Z)、(r,Θ,p)、(X,Y,t(tは時間))、(r,Θ,t))、４次元座標((X,Y,Z,t)および(r,Θ,p,t))）、および当技術分野で知られるその他の技術が含まれる。
レンダリング-画面への表示、印刷、別のファイル形式への出力を問わず、グラフィック(および/またはインク)の表示法を決定するプロセス。
ワード-インクワードとも呼ぶ。ワードは１つまたは複数のストロークである。ワード中の各ストロークは、そのストロークと関連付けられた位置を有する。あるいは、ワードは、テキストワード、または辞書で定義可能な語を形成する文字のグループと定義することもできる。ワードは、句読点、文字および数字およびその他の記号の組合せも含むことができ、複合語を含むこともできる。
フロー-順番に互いと関連付けられた１つまたは複数のワード。例えば、ページに書き込まれた手書きのメモはそれぞれフローを表すことができる。各メモに追加すると、ワードを含むフローに１つまたは複数のワードが追加される。フロー中の各ワードは、フロー中に関連付けられた位置を有する。
スペース-表示内容がない範囲。ある例では、フロー中のワード間の分離を指す場合、スペースはストロークを持たない別個のワードと考えることができる。ページ上の空白範囲を指す場合には、スペースはフローによって所有されないページ上の範囲を意味することができる。
ジェスチャ-コマンドとして解釈できる描画またはその他のインク。
一般的なコンピューティングプラットフォーム
図１は、本発明の各種態様を実施するのに使用することのできる従来の汎用デジタルコンピューティング環境の略図である。図１で、コンピュータ１００は、プロセッサ１１０、システムメモリ１２０、およびシステムメモリを含む各種のシステムコンポーネントをプロセッサ１１０に結合するシステムバス１３０を含む。システムバス１３０は、各種のバスアーキテクチャのうち任意のものを使用した、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む数種のバス構造のいずれでもよい。システムメモリ１２０は、読み取り専用メモリ(ＲＯＭ)１４０およびランダムアクセスメモリ(ＲＡＭ)１５０を含む。
起動時などにコンピュータ１００内の要素間の情報転送を助ける基本ルーチンを含む基本入出力システム(ＢＩＯＳ)１６０は、ＲＯＭ１４０に記憶される。コンピュータ１００はまた、ハードディスク(図示せず)との読み取りおよび書き込みを行うハードディスクドライブ１７０、リブ−バル磁気ディスク１９０との読み取りおよび書き込みを行う磁気ディスクドライブ１８０、およびＣＤ ＲＯＭやその他の光学媒体などのリブ−バル光ディスク１９９との読み取りおよび書き込みを行う光ディスクドライブ１９１も含む。ハードディスクドライブ１７０、磁気ディスクドライブ１８０、および光ディスクドライブ１９１はそれぞれ、ハードディスクドライブインタフェース１９２、磁気ディスクドライブインタフェース１９３、および光ディスクドライブインタフェース１９４によってシステムバス１３０に接続される。これらのドライブとそれに関連付けられたコンピュータ可読媒体は、パーソナルコンピュータ１００のコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性の記憶を提供する。当業者には、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ(ＲＡＭ)、読み取り専用メモリ(ＲＯＭ)など、コンピュータからアクセスできる、データの記憶が可能な他種のコンピュータ可読媒体もこの例示的動作環境で使用できることが理解されよう。
ハードディスクドライブ１７０、磁気ディスク１９０、光ディスク１９９、ＲＯＭ１４０、またはＲＡＭ１５０には、オペレーティングシステム１９５ａ、１９５ｂ、１つまたは複数のアプリケーションプログラム１９６ａ、１９６ｂ、他のプログラムモジュール１９７ａ、１９７ｂ、およびプログラムデータ１９８ａ、１９８ｂを含む複数のプログラムモジュールを記憶することができる。ユーザは、キーボード１０１およびポインティングデバイス１０２などの入力装置を通じてコマンドや情報をコンピュータ１００に入力することができる。他の入力装置(図示せず)には、マイクロフォン、ジョイスティック、ゲームパッド、衛星受信アンテナ、スキャナなどがある。上記およびその他の入力装置は、システムバスに結合されたシリアルポートインタフェース１０６を通じてプロセッサ１１０に接続することが多いが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス(ＵＳＢ)など他のインタフェースによって接続してもよい。さらに、これらのデバイスは、適切なインタフェース(図示せず)を介してシステムバス１３０に直接結合することが可能である。モニタ１０７またはその他のタイプの表示装置も、ビデオアダプタ１０８などのインタフェースを介してシステムバス１３０に接続される。モニタに加えて、パーソナルコンピュータは通例スピーカやプリンタなど他の周辺出力装置(図示せず)を含む。好適実施形態では、手書きの入力をデジタル式に取り込むためにペンデジタイザ１６５およびそれに付属するペンまたはスタイラス１６６が提供される。図ではペンデジタイザ１６５とプロセッサ１１０を直接接続しているが、実際には、当技術分野で知られるように、ペンデジタイザ１６５は、シリアルポート、パラレルポート、またはその他のインタフェース、およびシステムバス１３０を介してプロセッサ１１０に結合することが可能である。さらに、図ではデジタイザ１６５がモニタ１０７と分離しているが、デジタイザ１６５の使用可能な入力範囲は、モニタ１０７の表示範囲と同一の範囲であることが好ましい。さらに、デジタイザ１６５はモニタ１０７に組み込むか、あるいはモニタ１０７を覆う、あるいはその他の形でモニタ１０７に付属する別個のデバイスとして存在してもよい。
コンピュータ１００は、リモートコンピュータ１０９など１つまたは複数のリモートコンピュータとの論理接続を使用するネットワーク環境で動作することができる。リモートコンピュータ１０９は、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、またはその他の一般的なネットワークノードでよく、また図１にはメモリ記憶装置１１１しか示していないが、通例は上記でコンピュータ１００に関して挙げた要素の多くまたはすべてを含む。図１に示す論理接続には、構内ネットワーク(ＬＡＮ)１１２と広域ネットワーク(ＷＡＮ)１１３が含まれる。このようなネットワーキング環境は、オフィス、企業内のコンピュータネットワーク、イントラネットおよびインターネットに一般的に見られる。
ＬＡＮネットワーキング環境で使用する場合、コンピュータ１００はネットワークインタフェースまたはアダプタ１１４を通じてローカルネットワーク１１２に接続される。ＷＡＮネットワーキング環境で使用する場合、パーソナルコンピュータ１００は通例、インターネットなどの広域ネットワーク１１３を介して通信を確立するためのモデム１１５またはその他の手段を含む。モデム１１５は内蔵式でも外付け式でもよく、シリアルポートインタフェース１０６を介してシステムバス１３０に接続される。ネットワーク環境では、パーソナルコンピュータ１００に関して図に示すプログラムモジュールまたはその部分をリモートのメモリ記憶装置に記憶することができる。
図のネットワーク接続は例示的なもので、コンピュータ間に通信リンクを確立するには他の技術を使用できることが認識されよう。ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）、イーサネット(登録商標)、ＦＴＰ（file transfer protocol）、ＨＴＴＰ（HyperText Transport Protocol）など各種のよく知られるプロトコルのいずれかの存在が想定され、システムはクライアント-サーバ構成で動作してユーザがウェブベースサーバからウェブページを取り出すことを可能にする。各種の従来のウェブブラウザのいずれを使用しても、ウェブページ上のデータを表示し、操作することができる。
図２は、本発明の各種態様に従って使用できるスタイラスベースのコンピュータ処理システム(タブレットＰＣとも称する)２０１を示す。図２のコンピュータには、図１のシステムの特徴、サブシステム、および機能のいずれかあるいはすべてを含めることができる。タブレットＰＣ２０１は、例えばデジタル化フラットパネルディスプレイ、好ましくは液晶ディスプレイ(ＬＣＤ)画面である大型の表示面２０２を含み、ここに複数のウィンドウ２０３が表示される。ユーザは、スタイラス２０４を使用して、デジタル化表示範囲上で選択、ハイライト表示、および書き込みを行うことができる。適切なデジタル化表示パネルの例には、MutohやWacomのペンデジタイザなど電磁気式のペンデジタイザがある。例えば光学式デジタイザなど他タイプのペンデジタイザも使用することができる。タブレットＰＣ２０１は、データ操作、テキスト入力、および表計算やワードプロセッシングプログラムなど従来のコンピュータアプリケーションタスクを実行するために、スタイラス２０４を使用してつけられたマークを解釈する。
スタイラスは、その選択機能を増強するためにボタンまたはその他の機能を備えることもできる。一実施形態では、スタイラスを「鉛筆」あるいは「ペン」として実施することができ、この場合は一端が書き込み用の部分を構成し、もう一端が「消しゴム」としての端部を構成し、この部分をディスプレイの上で動かすと表示の一部を消去するように指示する。マウス、トラックボールなど他種の入力装置も使用することができる。さらに、タッチセンシティブ型または近接反応型ディスプレイの表示画像の一部を選択または指示するためにユーザ自身の指を使用することができる。したがって、本発明で使用する用語「ユーザ入力装置」は幅広い定義を有し、よく知られる入力装置の数多くの変形を包含するものとする。
領域２０５は、ユーザがスタイラスをデジタイザのどこに接触させるかを決定することを可能にするフィードバック領域または接触領域を示す。別の実施形態では、領域２０５は、本発明のホールド状態に達すると視覚的なフィードバックを提供する。
ジェスチャ
ジェスチャは、一般に、手書きインク以上の何かを意図したスタイラスの動きと定義することができる。特定のインクエレメントを描画する２つの方式が存在し、２番目の方式が１番目の方式よりも複雑である場合は、２番目の方式をジェスチャであると考える、あるいは仮定することが好ましい場合がある。例えば、スタイラスが一点を中心に物理的に約３６０度移動する単一の円は、描かれた円、「ｏ」の文字、あるいは数字のゼロと考えることができるのに対し、それ自体の上をなぞる二重の円はジェスチャと考えることができる。他のジェスチャも使用することができる。
図３は、ジェスチャを実施するプロセスを示し、ここでは一般的な動作環境からジェスチャにアクセスすることができる(３０１)。ユーザは、３０１でインクを追加するか、またはディスプレイの何らかの側面を制御する(例えば見る、スクロールするなど)ことができる。３０２でジェスチャが作成される(かつ/または認識される)と、３０３でそれを実行することができる。実行を終えると、システムは経路３０４で３０１に戻ることにより、さらに入力を受け付ける状態になる。
あるいは、ジェスチャの実行は後の時間まで保留しておくこともできる。この代替実施形態では、ジェスチャはインクとしてレンダリングされ、ジェスチャは後に実行する。実行はそのアプリケーションで行っても、実行のために別のアプリケーションに渡してもよい。
ジェスチャは様々な位置で使用することができる。ジェスチャは表示面で行うことができる。また、ジェスチャは空中で行うこともできる(一部のペンベースのコンピューティングシステムでは誘導技術を使用してペンを検知し、ペンの高さを知ることができる)。ジェスチャは、ボタンまたは同様のコントロールの上で行うことができる(例えばヘルプを求めるチェックマーク)。ジェスチャを使用して、テキストおよび/またはインクを編集することができる。ジェスチャは、ディスプレイの専用の(固定のまたは一時的な)入力部分で行うことができる。
ジェスチャは次の特徴の１つまたは複数を有することができる:デフォルトアクションあるいはコントロールメソッドまたはプロパティ、アクション範囲、位置、サイズ/広がり、および形状。この他の特徴もこのリストに組み込むことができる。
デフォルトアクションあるいはコントロールメソッドまたはプロパティ
各ジェスチャには、１つまたは複数のデフォルトアクションを関連付けることができる。例えば、タップ（軽い接触；tap）には一般的な選択アクションを関連付けることができる。タップの前に他のタップがない場合、そのタップはワードの選択にすることができる。タップの前に１回タップがあった場合は、後のタップは文章の選択にすることができる。タップの前に２回タップがあった場合は、最後のタップで段落全体を選択することができる。同様に、４回タップがあった場合は、最後のタップですべてを選択することができる。
一部の実施形態では、デフォルトアクションをジェスチャのコントロールメソッドまたはコントロールプロパティと呼ぶことがある。ジェスチャのコントロールメソッドまたはプロパティとは、そのジェスチャを実行すると行われること、あるいは影響されることである。例えば、ワードまたは選択部分を太字にするジェスチャのメソッドまたはプロパティは、より太字のフォントあるいは表現になるようにワードまたは選択部分のレンダリングを変更する。また、選択ジェスチャのメソッドまたはプロパティは、表示されたページ上の何かを選択することである。ページは、インク、描画、テキスト、写真、および/またはその他の同様の項目を有する可能性がある。
アクション範囲
ジェスチャのアクション範囲は、そのジェスチャが影響を及ぼす範囲である。例えば、チェックマークが、項目またはボタン、あるいはユーザインタフェースの一部についてのヘルプを求めるジェスチャである場合には、チェックマークのアクション範囲は、チェックマークの曲がった部分の周辺の狭い領域であることが考えられる。したがって、ユーザは、ユーザがヘルプを求める事柄の上にチェックマークのアクション範囲を置くことになる。
実施形態によっては、アクション範囲を範囲から点または点のセットに圧縮することができる。上述のチェックマークの例では、チェックマークを構成する２本の線が交差する点をアクション範囲とすることができる。このような実施形態では、ユーザが各ジェスチャを非常に正確に配置することが可能になる。したがって、例えばジェスチャは単一の点に関連する。これに対してアクション範囲がより広い範囲である場合には、ジェスチャによって効果を生じさせようとする点をスタイラスがわずかに外した場合でも、なお意図するジェスチャが意図する範囲に影響するという点で有用である。例えば、ユーザがボタンの上にチェックマークを配置しようと試みたがわずかにボタンを逸れ、しかしチェックマークの大部分がボタンの上にあった場合には、より広い範囲のアプローチによりなおそのボタンについてのヘルプを要求することができる。
さらなる実施形態では、アクション範囲は、境界ボックスまたは境界ボックスの開始部分とすることができる。例えば、左角括弧選択ジェスチャでは、上部と下部の隅を、選択部分を含む境界ボックスの開始部分とすることが可能である。
ジェスチャのアクション範囲は可変であってよく、またジェスチャの１つまたは複数の属性に基づくことができる。例えば、単一のワードの上に置かれたXは、そのワードの削除をそのジェスチャと関連付けられたアクションとすることができる(この場合、そのジェスチャのアクション範囲は、狭い範囲か、またはXの中心にある単一の点となる)。あるいは、段落の上に描かれた大きなXは、アクション範囲の適用範囲を拡大してその段落全体を包含することができる。このアクション範囲のスケーリングは、これらに限定しないが、ジェスチャを書く速度、デジタイザ表面に対するスタイラスの圧力、スタイラスの角度(ハードウェアによって角度の感知が可能である場合)、表示画面上のジェスチャの位置、および各種の他のインクやジェスチャの角度など画面に表示された他の要素に相対的なジェスチャの位置などを含む他の属性によって調整することができる。
位置
位置は、ジェスチャの別の側面である。位置は、表示画面に相対的に、かつ/またはインクなど画面に表示された別のオブジェクトに相対的に測定することができる。ある場合には、ジェスチャの位置は他の側面に比べて重要性が低い場合がある。別の場合には、ジェスチャの位置が、ジェスチャの特徴の最も重要な特性の１つまたはジェスチャを定義する特性である場合もある。例えば、文章を選択し、次いでその文章から１ワードを削除したい場合、文章と削除しようとするワードとの間に雑にXの削除ジェスチャを配置すると、そのXの位置にどれだけ関連性があったかの解釈に応じて異なる結果になる。１つのアプローチでは、アクション範囲がその選択部分を包含することができ、選択部分を削除するように指示するので、文章が削除される。あるいは、Xは実際には選択部分の上にはなかったという事実、そしてしたがって、Xの位置は、ジェスチャの意図が選択ではなくワードの削除であることを示す。
サイズ/広がり
ジェスチャは、ジェスチャのサイズに基づいて別の特性を有することができる。この情報により、ジェスチャがそれが変更するものに対して様々に異なる効果または広がりを有することが可能になる。例えば、左角括弧は１行分の高さか、あるいは複数行分の高さとすることが可能である。３行分の高さの左角括弧の場合には、２行分の高さの左角括弧よりも広い範囲の選択が意図される。
代替実施形態では、対になったジェスチャ(例えば左と右の選択角括弧)は、左と右の選択角括弧が境界ボックスあるいは選択しようとするテキストフローの開始部と終了部を指定することができるので、サイズに依存するのではなく位置に依存することが可能である。
形状
ジェスチャの形状は、それがカバーする範囲に依存することができる。例えば、高さが３テキスト行分の左角括弧は、高さが１テキスト行分しかない左角括弧とは異なる高さ/幅の比を有することが考えられる。さらに、一部のジェスチャの実際の形状内容はサイズ以外で異なる場合がある。太字または大文字にするためにテキストの下に描かれた波線のジェスチャは、それが長くなるほど線の中により多くの***を有する可能性がある。したがって、ジェスチャの認識には、ジェスチャのサイズを単位範囲に正規化することを含めることができる。認識には、形状を照合して、単一のジェスチャ(波線)を繰り返してより広い範囲をカバーしているかどうかを判定することを含めることができる。
ジェスチャの認識
実際のジェスチャがより正確にジェスチャとして認識されるほど好ましい。また、インクを誤ってジェスチャと認識しないことも好ましい。図４は、特定のストロークをジェスチャとして認識し、それらをジェスチャでないストロークと区別する例示的プロセスを示す。
ステップ４０１でストロークを受け取る。ステップ４０３で、システムはジェスチャを受け取ったかどうかを判定する。この判定には、スケーリング、方向の変更、および/または受け取ったストロークがジェスチャであるかどうかを判定する他の動作を含むことができる。一部のストロークは、単独で見た場合にも他のストロークと組み合わせて見た場合にもジェスチャであることが可能なので、システムはステップ４０４で最近のストロークも見ることができる。例えば、段落への軽い接触は、その接触の下にあるワードの選択として作用することができる。２回の軽い接触(システムが、ステップ４０１の現在の接触に加えてステップ４０４で最初の接触を呼び出す必要があることを意味する)では、最初の接触の下にあるワードを含む文章または段落を選択することができる。
ジェスチャを受け取らなかった場合は、４０１で受け取ったストロークをステップ４０２でレンダリングする。あるいは、ステップ４０３でジェスチャではないグループであると判定されるまで複数のストロークのレンダリングを保留しておき、その後ステップ４０２でまとめてレンダリングしてもよい。
ステップ４０３でジェスチャを受け取った場合は、システムにジェスチャの存在が通知される。この通知には、ジェスチャフラグの設定を含むことができる。あるいは、この通知は、ジェスチャと追加情報(次の１つまたは複数を含む:ジェスチャのサイズ、ジェスチャの形状、ジェスチャのアクション範囲、およびコントロールメソッドまたはプロパティ)の送信を含むこともできる。さらに、ステップ４０１でストロークが受け取られたアプリケーションにジェスチャの存在を通知することができる(追加のジェスチャ情報を含む、あるいは含まない)。
代替実施形態では、受け取ると直ちにすべてのストロークをレンダリングして、即時のフィードバックをユーザに提供することができる。この実施形態では、そのジェスチャを形成した１つまたは複数のストロークをステップ４０５で消去することができる。
さらなる実施形態では、ステップ４０６に示すように、ジェスチャと関連付けられたオブジェクトを判定し、システムまたはアプリケーションに提供することができ(ステップ４０７)、システムまたはアプリケーションがそのジェスチャを実行する、あるいはいつ実行するかを決定できるようにする。このオブジェクトは、その上またはその近くにジェスチャを描画することが可能な例えば画面に表示されたオブジェクト(ボタン、テキスト、グラフィック、あるいは任意の他の同様の表示オブジェクト)でよい。例えばジェスチャがチェックマークである場合、オブジェクトはボタンであることが可能であり、チェックマークのジェスチャによりそのボタンとの関連で特定のアクションを行わせることができる。別の例として、オブジェクトがテキストワードであり、ジェスチャがそのワードの上に描かれた大文字のBである場合には、その大文字のBのジェスチャと関連付けられたオブジェクトが太字になる。
図４では、判定すると直ちにジェスチャを実行することができる。図５は、ストロークがジェスチャであることをシステムではなくアプリケーションによって判定する代替実施形態を示す。図５では、最初にストロークを取り込み、その後別の時にジェスチャであるそれらのストロークを実行するというオプションが提供される。図５のプロセスは、例えば、実際に変更を実行する前に文書へのすべての変更を見たいユーザにとって有用である。
ステップ５０１でストロークを受け取る。ステップ５０２でストロークをレンダリングし、ストロークの組合せをアプリケーション５０３に渡す。ステップ５０４で、アプリケーションはその１つまたは複数のストロークを読み取る。ステップ５０５で、アプリケーションは、受け取った１つまたは複数のストロークがジェスチャであるかどうかを判定する。このアプローチでは、システム全体で有効なジェスチャだけではなく、アプリケーション固有のジェスチャを認識できるようにすることができる。
ステップ５０５でジェスチャを受け取らなかった場合、アプリケーションはストロークを処理する(５０６)。ステップ５０５でジェスチャを受け取った場合、アプリケーションはステップ５０７でそのジェスチャを処理する。
図８は、ジェスチャ認識の別の実施形態を示す。ステップ８０１でストロークを受け取る。ステップ８０２でそのストロークを正規化する。これに加えて、ステップ８０２では次に示すステップの任意の１つまたは複数を含む他のステップを実行することができる。
１.表示面とのペンの接触が、接触しているか、接触していないかに応じて(例えば０が下方で１が上方など)受け取った１つまたは複数のストロークを単一のポイントストリームに分解(collapse)する。
２.デジタイザが備える物理的な寸法のデータを使用して、XおよびY座標を所定サイズ(例えば１インチの正方形など)にスケーリングする。一実施形態ではスケーリング情報を破棄することができる。あるいは、将来の使用のためにスケーリング情報を保持してもよい。
３.点の入力時間をスケーリングし、インクを再サンプリングして所定数(例えば２００個)の点を生成する。一実施形態では時間スケール情報を破棄することができる。あるいは将来の使用のために時間スケール情報を保持してもよい。
４.ストロークの屈曲、ストロークの継続時間、ストロークのアスペクト比、終点を結ぶ線分から任意の点までの最大距離、変曲点などを含む追加項目を計算することができる。
５.x、y、およびz座標それぞれについてチェビチェフ多項式を計算する。
６.チェビチェフ多項式、屈曲、スケーリング、継続時間、およびスケールと入力の一部またはすべてを１つまたは複数のベイズネット（Bayes net）に組み合わせる。ジェスチャごとに個別のベイズネットを使用してもよい。
７.処理済みの１つまたは複数のストロークを各ベイズネットに渡し、スコアを得る。閾値を超えるネットを認識する。正確に１つのネットでジェスチャが認識された場合は、そのジェスチャをアプリケーションまたはシステムに渡す。ジェスチャが認識されない場合は、ジェスチャが認識されなかったことを知らせる。
ステップ８０３で、１つまたは複数のストロークがジェスチャであるかどうかを判定する。この判定には、上述のステップ７の照合を含めることができる。ジェスチャである場合には、システムはアクション範囲内のワードまたはストロークを判定し(８０５)、ステップ８０６でアクション範囲内のジェスチャIDとオブジェクトをシステムまたはアプリケーションに送信する。
ジェスチャでない場合は、システムは、ステップ８０４で最大数のストローク(例えば４ストローク)に達しているかどうかを判定する。達していない場合、システムはステップ８０８で次のストロークを受け付ける状態になる。最大数に達している場合、システムは、ステップ８０７で最も早く受け取ったストロークをドロップし、次いでステップ８０８で次のストロークを受け付ける状態になる。
次に、各種の例示的ジェスチャとそれに関連するメソッドまたはプロパティを挙げる。
フォントプロパティの変更-ワード(またはテキストの他の部分)を太字にするには、そのワードまたはテキストの他部分の上に大文字のBを描く。ワードをイタリック体にするには大文字のIをワードの上に描き、下線を引くにはUを、二重の下線にはDUを、上線にはOVを、通常の書体にはNを描く。この他のプロパティ変更も同様に実現することができる。ジェスチャ認識のいくつかの実施形態は、ストローク相互の並置の判定を含むことができる。この場合は、ストロークをワードの上に書くことにより、ジェスチャが生じたシステムまたはアプリケーションを補助することができる。
改行-右下の鍵括弧は、改行、キャリッジリターン、新しい段落などのジェスチャと解釈することができる。右上の鍵括弧は、その反対を実行することができる。
切り取り/コピー/ペースト-Xは切り取りに使用することができ、Cまたは円で囲んだXはコピーに使用することができ、カレット（脱字符号；caret）はペーストに使用することができる。二重のカレットは、ペーストスペシャルに使用することができる。
選択-左および右の角括弧は選択部分の定義に使用することができる。あるいは、左角括弧によりデフォルトでワードを選択する。さらなる代替では、左/右の角括弧を繰り返すことにより、必要に応じて選択部分を調整する。矢印のジェスチャで精密な(一度に一文字ずつ)調整を行うことができる。中括弧（curly braces）により、非連続的な選択をすることができる。
テキスト/リスト/描画のグループ化-選択部分の上で段落のジェスチャを行うと、そのインクがテキストにまとめられ、インクのフローが再編成される(リフロー(reflow)とも称する)。あるいは、セクションのジェスチャで、それを描画またはリストに変える。これは、リストの場合にも使用することができる(例えばLのジェスチャ)。
ジェスチャは、インターネットのウェブページや表計算を含む他のアプリケーションにも適用することができる。ブラウザで閲覧する文書は、フリック（flick）を様々な方向で使用することにより上および下にスクロールすることができる。複数回のフリックでは、ページまたはファイルを上および下にスクロールする距離を変更することができる。表計算では、縦方向の角括弧により列のセットを定義することができる。(上向きの、または回転させた)カレットは、行および/または列を挿入するジェスチャとすることができる。
図６は各種の異なるジェスチャを示す。下に示す表は、ジェスチャと、各ジェスチャに関連付けることのできる様々な変数を示す。この他の記号、バリエーション、および意味も使用することができる。
Figure 2008305437
次の表は、可能なジェスチャコントロールを示す。
Figure 2008305437
ジェスチャの実行
ジェスチャの実行は、アプリケーションがジェスチャで何を行うことになっているか(そのジェスチャのサイズ、形状、および位置により)、および、オペレーティングシステムがそのジェスチャに関する情報をどのようにそのアプリケーションに伝達するかに依存する可能性がある。あるジェスチャはオペレーティングシステムによって解釈され、１つまたは複数のマウスおよび/またはキーボードの動きとしてアプリケーションに渡すことができる。他のジェスチャは、オペレーティングシステムでは解釈することができず、アプリケーションだけによって認識される。この場合そのアプリケーションは、ジェスチャの各種の側面または特性に基づいて、そのジェスチャで何を行うかを判定する必要がある。さらに、ジェスチャの解釈アプリケーションを使用して、所与の１つまたは複数のジェスチャを全く理解しないオペレーティングシステムを用いる、ジェスチャ非対応アプリケーションとのインタフェースをとることができる。
データ構造
図７は、ジェスチャを表すのに使用することのできるデータ構造７０１の一実施形態の一例を示す。配列、リンクされたリストなどを含むこの他のデータ構造も使用することができる。セクション７０２は、ジェスチャの一般的な仕様に関連する。セクション７０３は、削除のジェスチャに関連する。セクション７０４は、選択開始のジェスチャに関連する。
セクション７０５は、ジェスチャのＩＤ（識別）を含む。ジェスチャのＩＤは当技術分野で知られるユニコード文字とするか、あるいはＧＵＩＤ（Globally Unique IDentifier）にすることができる。セクション７０６は、正規化されたジェスチャの形状を示す。ジェスチャ７０３の場合、正規化された形状は「x」である。ジェスチャ７０４の場合、正規化された形状は「[」である。セクション７０７は、ジェスチャのアクション範囲を含む。例えばジェスチャ７０３のアクション範囲は、そのジェスチャを構成する２本の線の交差点の下に位置する点である。ジェスチャ７０４のアクション範囲は、括弧の右にあるストローク、１つまたは複数のワードである。
セクション７０８は、ジェスチャと関連付けられたコントロールメソッドまたはプロパティを示す。ジェスチャ７０３の場合、関連付けられたコントロールメソッドまたはプロパティは「削除」である。ジェスチャ７０４の場合、関連付けられたコントロールメソッドまたはプロパティは「選択の開始」である。
本発明を実施する例示的なシステムおよび方法を例として示しているが、言うまでもなく、本発明はこれらの実施形態に限定されないことが理解されよう。特に前述の教示に照らして、当業者により変更を加えることができる。例えば、前述の実施形態の各要素は単独で利用することも、他の実施形態の要素と組み合わせて利用することもできる。頭記の特許請求の範囲を使用して本発明を定義したが、本発明は、本明細書に記載した要素およびステップを任意の組合せあるいはサブコンビネーションで含むことを企図することから、この請求の範囲は例示的なものである。したがって、本発明を定義するためには任意数の代替の組合せがあり、それらは、説明、特許請求の範囲、および図面を含む本明細書の１つまたは複数の要素を各種の組合せまたはサブコンビネーションで組み込む。本明細書に照らすと、関連技術の技術者には、本発明の諸態様の代替の組合せは、単独で、または本明細書に定義する１つまたは複数の要素またはステップと組み合わせて、本発明の修正形態あるいは代替形態として、あるいは本発明の一部として利用できることが明らかになろう。本明細書に含まれる記載した本発明の説明は、そのような変形形態および代替形態をすべて包含するものとする。
以上説明したように本発明によれば、手書きジェスチャを取り込み実施するシステムおよびプロセスを実現できる。
本発明の実施形態の各種態様の実施に使用することが可能な例示的な汎用デジタルコンピューティング環境の略図である。 本発明の実施形態の各種態様により使用することが可能な例示的なタブレットコンピュータとスタイラスの平面図である。 本発明の実施形態による各種動作モードの例の図である。 本発明の実施形態によるジェスチャ認識プロセスの例の図である。 本発明の実施形態によるジェスチャ認識プロセスの例の図である。 本発明の実施形態で使用できるジェスチャの例の図である。 本発明の実施形態によるジェスチャとそれに関連付けられたメソッドまたはプロパティのデータ構造の例の図である。 本発明の実施形態によりジェスチャを識別するのに使用するプロセスの例の図である。
符号の説明
１００、１０９ コンピュータ
１０１ キーボード
１０２ ポインティングデバイス
１０６ シリアルポートインタフェース
１０７ モニタ
１０８ ビデオアダプタ
１１０ プロセッサ
１１１ メモリ記憶装置
１１２ ＬＡＮ
１１３ ＷＡＮ
１１４ アダプタ
１１５ モデム
１２０ システムメモリ
１３０ システムバス
１４０ ＲＯＭ
１５０ ＲＡＭ
１６０ ＢＩＯＳ
１６５ ペンデジタイザ
１６６、２０４ スタイラス
１７０ ハードディスクドライブ
１８０ 磁気ディスクドライブ
１９０ 磁気ディスク
１９１ 光ディスクドライブ
１９２ ハードディスクドライブインタフェース
１９３ 磁気ディスクドライブインタフェース
１９４ 光ディスクドライブインタフェース
１９５ａ、１９５ｂ オペレーティングシステム
１９６ａ、１９６ｂ、１９６ａ アプリケーションプログラム
１９７ａ、１９７ｂ プログラムモジュール
１９８ａ、１９８ｂ プログラムデータ
１９９ 光ディスク
２０１ コンピュータ処理システム(タブレットＰＣ)
２０２ 表示面
２０３ ウィンドウ
２０５ 領域
３０１ ジェスチャにアクセス
３０２ ジェスチャ作成
３０３ ジェスチャ実行
３０４ リターン
７０１ データ構造
７０２、７０３、７０４、７０５、７０６、７０７、７０８ セクション

Claims (4)

  1. 受け取ったストロークがジェスチャであるかどうかを判定するジェスチャ判定方法であって、
    少なくとも１つのストロークを正規化して少なくとも１つの正規化されたストロークを生成するステップと、
    前記少なくとも１つのストロークの座標のチェビチェフ多項式を計算するステップと、
    前記少なくとも１つの正規化したストロークと前記チェビチェフ多項式とを組み合わせてベイズネットを生成するステップと、
    前記ベイズネットと、既知のジェスチャについて以前に計算したベイズネットとを比較するステップと、
    前記ベイズネットが前記計算したベイズネットの１つと相関するかどうかを判定するステップと、
    前記ベイズネットが前記計算したベイズネットの１つと相関する場合、前記少なくとも１つのストロークを、前記計算したベイズネットの前記１つに対応するジェスチャとして処理するステップと
    を備えたことを特徴とするジェスチャ判定方法。
  2. 前記少なくとも１つのストロークを単一のポイントストリームに圧縮するステップと、
    前記単一のポイントストリームを使用して前記ベイズネットを生成するステップと
    をさらに備えたことを特徴とする請求項１に記載のジェスチャ判定方法。
  3. 前記少なくとも１つのストロークの点の入力時間をスケーリングしてスケーリングした時間を生成するステップと、
    前記スケーリングした時間を使用して前記ベイズネットを生成するステップと
    をさらに備えたことを特徴とする請求項１に記載のジェスチャ判定方法。
  4. 前記少なくとも１つのストロークのストローク屈曲と継続時間とを計算するステップと、
    前記スケーリングした時間を前記ベイズネットで使用するステップと
    をさらに備えたことを特徴とする請求項３に記載のジェスチャ判定方法。
JP2008231463A 2002-02-08 2008-09-09 ジェスチャ判定方法 Expired - Fee Related JP4694606B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/068,009 2002-02-08
US10/068,009 US6938222B2 (en) 2002-02-08 2002-02-08 Ink gestures

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003028762A Division JP2003308482A (ja) 2002-02-08 2003-02-05 ジェスチャ判定方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2008305437A true JP2008305437A (ja) 2008-12-18
JP4694606B2 JP4694606B2 (ja) 2011-06-08

Family

ID=27610523

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003028762A Pending JP2003308482A (ja) 2002-02-08 2003-02-05 ジェスチャ判定方法及び記録媒体
JP2008231463A Expired - Fee Related JP4694606B2 (ja) 2002-02-08 2008-09-09 ジェスチャ判定方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003028762A Pending JP2003308482A (ja) 2002-02-08 2003-02-05 ジェスチャ判定方法及び記録媒体

Country Status (5)

Country Link
US (3) US6938222B2 (ja)
EP (1) EP1335272A3 (ja)
JP (2) JP2003308482A (ja)
CN (1) CN100336053C (ja)
TW (1) TWI303377B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168619A (ja) * 2011-02-10 2012-09-06 Sharp Corp タッチ描画表示装置及びその操作方法

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
JP2003122492A (ja) * 2001-10-10 2003-04-25 Wacom Co Ltd 入力システム、プログラム、および、記録媒体
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US7262764B2 (en) * 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7142197B2 (en) * 2002-10-31 2006-11-28 Microsoft Corporation Universal computing device
KR20040083788A (ko) * 2003-03-25 2004-10-06 삼성전자주식회사 제스쳐 커맨드를 이용하여 프로그램을 구동시킬 수 있는휴대용 단말기 및 이를 이용한 프로그램 구동 방법
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US20060028429A1 (en) * 2004-08-09 2006-02-09 International Business Machines Corporation Controlling devices' behaviors via changes in their relative locations and positions
US7761814B2 (en) 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
US8169410B2 (en) 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
KR100597798B1 (ko) * 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US20060267967A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US8643605B2 (en) * 2005-11-21 2014-02-04 Core Wireless Licensing S.A.R.L Gesture based document editor
US7913165B2 (en) * 2005-12-15 2011-03-22 Kyocera Corporation Inserting objects using a text editor that supports scalable fonts
US7701457B2 (en) * 2006-02-21 2010-04-20 Chrysler Group Llc Pen-based 3D drawing system with geometric-constraint based 3D cross curve drawing
US7661068B2 (en) * 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US8050500B1 (en) * 2006-07-06 2011-11-01 Senapps, LLC Recognition method and system
JP4762070B2 (ja) 2006-07-19 2011-08-31 富士通株式会社 手書き入力装置、手書き入力方法、及びコンピュータプログラム
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US7752555B2 (en) * 2007-01-31 2010-07-06 Microsoft Corporation Controlling multiple map application operations with a single gesture
TWI339806B (en) * 2007-04-04 2011-04-01 Htc Corp Electronic device capable of executing commands therein and method for executing commands in the same
WO2009024971A2 (en) 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
EP2191397B1 (en) * 2007-08-20 2019-01-23 Qualcomm Incorporated Enhanced rejection of out-of-vocabulary words
CN101399897B (zh) * 2007-09-30 2010-12-29 宏达国际电子股份有限公司 图像处理方法
KR20090052673A (ko) * 2007-11-21 2009-05-26 엘지전자 주식회사 단말기, 그 제어 방법 및 이를 위한 기록 매체
US8566752B2 (en) * 2007-12-21 2013-10-22 Ricoh Co., Ltd. Persistent selection marks
CN102165410A (zh) * 2008-01-31 2011-08-24 惠普开发有限公司 打印结构化文档
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US9268483B2 (en) * 2008-05-16 2016-02-23 Microsoft Technology Licensing, Llc Multi-touch input platform
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
WO2010006087A1 (en) * 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
US8619048B2 (en) * 2008-08-08 2013-12-31 Moonsun Io Ltd. Method and device of stroke based user input
CN101667074B (zh) * 2008-09-03 2011-12-07 联想(北京)有限公司 一种通过图形输入完成操作的装置及其方法
US8223121B2 (en) 2008-10-20 2012-07-17 Sensor Platforms, Inc. Host system and method for determining an attitude of a device undergoing dynamic acceleration
US9335909B2 (en) * 2009-06-03 2016-05-10 Honda Motor Co., Ltd. Drawing assist device, drawing assist program, and drawing assist method
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20100153890A1 (en) * 2008-12-11 2010-06-17 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices
JP5108747B2 (ja) * 2008-12-26 2012-12-26 富士フイルム株式会社 情報表示装置、方法およびプログラム
US8587519B2 (en) * 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US9846533B2 (en) * 2009-03-16 2017-12-19 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
KR20100107615A (ko) * 2009-03-26 2010-10-06 주식회사 팬택 터치입력을 이용한 데이터 편집 방법 및 휴대용 단말기
US8819597B2 (en) * 2009-04-10 2014-08-26 Google Inc. Glyph entry on computing device
TWI444858B (zh) * 2009-05-27 2014-07-11 Htc Corp Method and system for updating the gesture track of hand - held touch device
US8386963B2 (en) * 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
JP5446624B2 (ja) * 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
US8519960B2 (en) * 2009-09-17 2013-08-27 Aten International Co., Ltd. Method and apparatus for switching of KVM switch ports using gestures on a touch panel
US8587532B2 (en) 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20110210850A1 (en) * 2010-02-26 2011-09-01 Phuong K Tran Touch-screen keyboard with combination keys and directional swipes
US11429272B2 (en) * 2010-03-26 2022-08-30 Microsoft Technology Licensing, Llc Multi-factor probabilistic model for evaluating user input
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
CN101986248A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 在计算机控制中使用手势对象取代菜单的方法
CN101986249A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 使用手势对象控制计算机的方法及相应的计算机***
JP2012022639A (ja) 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
US9021402B1 (en) 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US8911165B2 (en) 2011-01-24 2014-12-16 5 Examples, Inc. Overloaded typing apparatuses, and related devices, systems, and methods
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US9134899B2 (en) 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
US8719695B2 (en) 2011-05-31 2014-05-06 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US20130093719A1 (en) 2011-10-17 2013-04-18 Sony Mobile Communications Japan, Inc. Information processing apparatus
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
KR101873741B1 (ko) * 2011-10-26 2018-07-03 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR20130075849A (ko) * 2011-12-28 2013-07-08 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상 표시 방법
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US20130227460A1 (en) * 2012-02-27 2013-08-29 Bjorn David Jawerth Data entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods
US8504842B1 (en) 2012-03-23 2013-08-06 Google Inc. Alternative unlocking patterns
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
KR20140008987A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
CN104246680B (zh) * 2012-07-24 2018-04-10 慧与发展有限责任合伙企业 发起帮助特征
JP2014032632A (ja) * 2012-08-06 2014-02-20 Toshiba Corp 電子機器、方法、およびプログラム
US9792038B2 (en) * 2012-08-17 2017-10-17 Microsoft Technology Licensing, Llc Feedback via an input device and scribble recognition
US9020845B2 (en) * 2012-09-25 2015-04-28 Alexander Hieronymous Marlowe System and method for enhanced shopping, preference, profile and survey data input and gathering
KR102210278B1 (ko) * 2012-12-06 2021-02-02 삼성전자주식회사 디스플레이 장치 및 제어 방법
US11269431B2 (en) * 2013-06-19 2022-03-08 Nokia Technologies Oy Electronic-scribed input
US9811238B2 (en) 2013-08-29 2017-11-07 Sharp Laboratories Of America, Inc. Methods and systems for interacting with a digital marking surface
WO2015141260A1 (ja) * 2014-03-17 2015-09-24 株式会社河合楽器製作所 手書き音楽記号認識装置およびプログラム
JP5801920B2 (ja) * 2014-04-23 2015-10-28 シャープ株式会社 タッチ描画表示装置及びその操作方法
US20160048318A1 (en) * 2014-08-15 2016-02-18 Microsoft Technology Licensing, Llc Detecting selection of digital ink
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
US9338627B1 (en) 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
US9965445B2 (en) * 2015-08-06 2018-05-08 FiftyThree, Inc. Systems and methods for gesture-based formatting
US10402734B2 (en) 2015-08-26 2019-09-03 Google Llc Temporal based word segmentation
US10210383B2 (en) 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US20170068436A1 (en) * 2015-09-03 2017-03-09 Microsoft Technology Licensing, Llc Interpreting and Supplementing Captured Stroke Information
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US11500535B2 (en) * 2015-10-29 2022-11-15 Lenovo (Singapore) Pte. Ltd. Two stroke quick input selection
US11402991B2 (en) * 2015-12-01 2022-08-02 Myscript System and method for note taking with gestures
US10755029B1 (en) 2016-01-05 2020-08-25 Quirklogic, Inc. Evaluating and formatting handwritten input in a cell of a virtual canvas
US10324618B1 (en) * 2016-01-05 2019-06-18 Quirklogic, Inc. System and method for formatting and manipulating digital ink
US20170285931A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
CN111610858B (zh) * 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
JP6807248B2 (ja) * 2017-02-24 2021-01-06 株式会社東芝 表示制御装置及び表示制御プログラム
US10429954B2 (en) 2017-05-31 2019-10-01 Microsoft Technology Licensing, Llc Multi-stroke smart ink gesture language
TWI660292B (zh) * 2018-05-16 2019-05-21 群光電子股份有限公司 游標移動輔助系統及方法
US10872199B2 (en) * 2018-05-26 2020-12-22 Microsoft Technology Licensing, Llc Mapping a gesture and/or electronic pen attribute(s) to an advanced productivity action
JP7102996B2 (ja) * 2018-07-10 2022-07-20 富士通株式会社 プログラム、情報処理装置及び筆跡入力判定方法
CN112639700A (zh) * 2018-11-19 2021-04-09 深圳市柔宇科技股份有限公司 手写笔迹处理方法、手写输入设备及计算机可读存储介质
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
JP7259828B2 (ja) * 2019-11-20 2023-04-18 株式会社リコー 表示装置、表示方法、プログラム
US11531454B2 (en) * 2020-12-10 2022-12-20 Microsoft Technology Licensing, Llc Selecting content in ink documents using a hierarchical data structure
US11587346B2 (en) 2020-12-10 2023-02-21 Microsoft Technology Licensing, Llc Detecting ink gestures based on spatial and image data processing
US20230315271A1 (en) * 2022-03-18 2023-10-05 Sony Group Corporation Collaborative whiteboard for meetings

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114621A (ja) * 1993-10-15 1995-05-02 Hitachi Ltd ジェスチャ認識方法およびそれを用いたジェスチャ認識装置
JPH086706A (ja) * 1994-06-21 1996-01-12 Canon Inc 電子情報機器
US5764797A (en) * 1995-04-25 1998-06-09 Microsoft Corporation Method and system for modeling handwriting using polynomials as a function of time
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369737A (en) * 1988-03-21 1994-11-29 Digital Equipment Corporation Normalization of vectors associated with a display pixels of computer generated images
AU624838B2 (en) * 1988-05-27 1992-06-25 Global 360, Inc. Document annotation and manipulation in a data processing system
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5946406A (en) 1991-06-17 1999-08-31 Microsoft Corporation Method and system for data entry of handwritten symbols
US5583542A (en) * 1992-05-26 1996-12-10 Apple Computer, Incorporated Method for deleting objects on a computer display
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5481278A (en) 1992-10-21 1996-01-02 Sharp Kabushiki Kaisha Information processing apparatus
US5752059A (en) * 1992-12-29 1998-05-12 Apple Computer, Inc. Apparatus and method for representing electronic mail
US5502803A (en) * 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
US5920694A (en) 1993-03-19 1999-07-06 Ncr Corporation Annotation of computer video displays
US5517578A (en) 1993-05-20 1996-05-14 Aha! Software Corporation Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
US5367453A (en) 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
US5687254A (en) 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US5666438A (en) * 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5880743A (en) * 1995-01-24 1999-03-09 Xerox Corporation Apparatus and method for implementing visual animation illustrating results of interactive editing operations
US6049329A (en) 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus
GB2317090B (en) 1996-09-06 2001-04-04 Quantel Ltd An electronic graphic system
JPH1174929A (ja) * 1997-08-29 1999-03-16 Sharp Corp 電子メール処理方法及び電子メール処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH1186016A (ja) * 1997-09-09 1999-03-30 Canon Inc 情報処理方法及び装置及びその記憶媒体
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JPH11327789A (ja) 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
EP0980038A3 (en) * 1998-08-13 2002-11-20 Motorola, Inc. Device and method simultaneously presenting text and handwritten characters in a common area of a user interface
JP3475235B2 (ja) * 1999-03-08 2003-12-08 東京農工大学長 表示装置の表示内容制御方法
US6671405B1 (en) * 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
US6771254B2 (en) * 2000-11-10 2004-08-03 Microsoft Corporation Stylus nibs for providing a pen-and-paper feel for use with a tablet-and-stylus computer
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
JP4102105B2 (ja) * 2002-05-24 2008-06-18 株式会社日立製作所 電子ペンを利用した書類記入システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114621A (ja) * 1993-10-15 1995-05-02 Hitachi Ltd ジェスチャ認識方法およびそれを用いたジェスチャ認識装置
JPH086706A (ja) * 1994-06-21 1996-01-12 Canon Inc 電子情報機器
US5764797A (en) * 1995-04-25 1998-06-09 Microsoft Corporation Method and system for modeling handwriting using polynomials as a function of time
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168619A (ja) * 2011-02-10 2012-09-06 Sharp Corp タッチ描画表示装置及びその操作方法

Also Published As

Publication number Publication date
EP1335272A3 (en) 2004-08-04
US7536656B2 (en) 2009-05-19
EP1335272A2 (en) 2003-08-13
US20030156145A1 (en) 2003-08-21
US20050229117A1 (en) 2005-10-13
JP2003308482A (ja) 2003-10-31
US7305630B2 (en) 2007-12-04
US20050111736A1 (en) 2005-05-26
US6938222B2 (en) 2005-08-30
CN100336053C (zh) 2007-09-05
CN1437136A (zh) 2003-08-20
TWI303377B (en) 2008-11-21
JP4694606B2 (ja) 2011-06-08
TW200302977A (en) 2003-08-16

Similar Documents

Publication Publication Date Title
JP4694606B2 (ja) ジェスチャ判定方法
US7848573B2 (en) Scaled text replacement of ink
US7735007B2 (en) Adding and removing white space from a document
US7614019B2 (en) Asynchronous and synchronous gesture recognition
KR101015291B1 (ko) 동적으로 확장하는 입력 패널로 사용자 입력을 추가하는방법
JP4746555B2 (ja) 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法
US7825922B2 (en) Temporary lines for writing
US7336828B2 (en) Multiple handwriting recognition engine selection
EP1349056A2 (en) Organizing, editing, and rendering digital ink
JP2019507915A (ja) ジェスチャを用いたノートテイキングのための装置および方法
US7689927B2 (en) Viewable document section

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4694606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees