JP2003308482A - ジェスチャ判定方法及び記録媒体 - Google Patents

ジェスチャ判定方法及び記録媒体

Info

Publication number
JP2003308482A
JP2003308482A JP2003028762A JP2003028762A JP2003308482A JP 2003308482 A JP2003308482 A JP 2003308482A JP 2003028762 A JP2003028762 A JP 2003028762A JP 2003028762 A JP2003028762 A JP 2003028762A JP 2003308482 A JP2003308482 A JP 2003308482A
Authority
JP
Japan
Prior art keywords
gesture
stroke
page
determination method
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003028762A
Other languages
English (en)
Inventor
Gregory Hullender
ヒューレンダー グレゴリー
Alexander Gounares
ゴーナーズ アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2003308482A publication Critical patent/JP2003308482A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【課題】 手書きジェスチャを取り込み実施するシステ
ムおよびプロセスを実現する。 【解決手段】 ユーザは、ジェスチャを使用してペンベ
ースの入力装置に迅速に指示して動作を実行することが
できる。ユーザは、ペンベースのコンピューティングプ
ラットフォームでペンを使用してテキストまたは手書き
インクを編集し、その編集によりテキストまたはインク
に影響を及ぼすことができる。ジェスチャを実施するプ
ロセスにおいて、一般的な動作環境からジェスチャにア
クセスできる(３０１)。ユーザは、３０１でインクを追
加するか、またはディスプレイの何らかの側面を制御す
る(例えば見る、スクロールする等)ことができる。３０
２でジェスチャが作成されると、３０３でそれを実行す
ることができる。実行を終えると、システムは経路３０
４で３０１に戻ることにより、さらに入力を受け付ける
状態になる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般に、グラフィ
カルユーザインタフェース(ＧＵＩ)を制御する装置およ
び方法を対象としたジェスチャ判定方法及び記録媒体に
関する。より詳細には、本発明は、スタイラスベースの
入力システムを使用しジェスチャに関連する機能を実行
することにより、ユーザが行うジェスチャの認識に係る
ジェスチャ判定方法、データ構造、記録媒体及びシステ
ムに関する。
【０００２】
【従来の技術】典型的なコンピュータシステム、特にMi
crosoft WINDOWS(登録商標)などグラフィカルユーザイ
ンタフェース(ＧＵＩ)システムを使用するコンピュータ
システムは、テキストを入力するキーボードなど１つま
たは複数の分離した入力装置と、ユーザインタフェース
を駆動する１つまたは複数のボタンを備えたマウスなど
のポインティングデバイスからのユーザ入力を受け付け
るために最適化されている。Microsoft WINDOWS(登録商
標)で実行するように設計されたソフトウェアアプリケ
ーションは、実質的にすべて同じ方式でユーザ入力を受
け付けるように最適化されている。例えば、多くのアプ
リケーションでは、状況に応じたコマンドメニューを表
示するために右のマウスボタン(「右クリック」)を広く
利用している。ユーザは、マウスの左ボタンをクリック
する(「左クリック」)、あるいはマウスの左または右の
ボタンをクリックし、ボタンを押したままマウスを移動
する(「左クリックドラッグ」あるいは「右クリックド
ラッグ」)など、マウスを使用して他のジェスチャを生
成することもできる。例えば、Opera Software社のOper
a（商標）６.０における右クリックドラッグのマウスコ
マンドを参照されたい。
【０００３】環境によっては、マウスが使用できない、
あるいは望ましくない場合がある。例えばデジタイザタ
ブレット環境では、主要な入力装置はスタイラスである
ことが考えられる。スタイラスは、コンピューティング
環境にパッドと紙のような感覚を与えようとするもので
あるが、現在のシステムには制限がある。例えば、グラ
フィカルユーザインタフェースでのスタイラスの使用
は、選択のために各種の項目に軽く触れることに限られ
ている。例えば、Palm OS（商標）３.xおよび４.xオペ
レーティングシステムを使用するPalmシリーズの製品を
考えられたい。こうしたシステムでも、スタイラスによ
る対話方法は、挿入点や選択した１つまたは複数の単語
から離れたデジタイザの専用部分でテキスト入力および
コマンドを入力するという点で煩雑である。さらに、ス
タイラスベースの入力環境では、ユーザは、一般には画
面の上部または下部にあるリモートツールバーからツー
ルや動作を選択することを絶えず強いられる。ユーザは
文字をタイプすることができ、あるいはデジタイザは手
書きを認識することができるが、こうした動作にはそれ
ぞれ、キーボードの入力モードを選択し、デジタイザの
所定部分に書き込むことが必要とされる。要は、新規に
入力を行うたびにユーザが行いたいことをコンピュータ
に知らせる必要があるために、スタイラスベースのコン
ピューティングは平均的なユーザにとっては難しいもの
になっている。
【０００４】ある動作では新規のテキストを作成する
(例えば、テキストを書く、タイプする、ペーストする
など)。他の動作ではテキストを修正する(既存テキスト
のハイライト表示、インキング（inking）、消去、切り
取り、および移動)。後者の修正動作を行うのに伴う問
題は、一般にはこれらの動作が大半のユーザにとって主
要な動作モードではないことである。すなわち、ユーザ
はテキストを修正することができるが、この動作は、新
しいテキストを作成するというより主要な動作に従属す
るものである。したがって、ユーザは、最終的にテキス
ト(あるいはその他の内容)の修正動作からテキスト作成
環境に移行する必要がある。従来の移行には、ツールバ
ーのボタンの切り替えがある。ボタンには、消去ボタ
ン、ハイライトボタンなどがある。トグルボタンは、ユ
ーザに対して動作モードとモードの状態をどのように選
択するかを明らかにする(トグルボタンが押されている
か否かにより)が、ユーザが絶えず一般には表示画面の
中心部分から、画面の端に近接して配置された(トグル
ボタンが収められた)リモートのツールバーに移動し、
再度中心部分に戻るという点で、様々なモードを変更す
る際には使用するのが厄介なことがある。１つまたは複
数の補助的モードから再度主要な動作モードに切り替え
るためにこうした反復的な動きと注意力を用いる必要が
あることにより、ユーザの注意力が活発に読み書きを行
うことからモードの切り替えという実際的な作業にそら
されてしまう。
【０００５】以前のペンベースのコンピューティングシ
ステムは、ペンの動きをコマンドとして解釈できるよう
にすることにより上述の問題に対処しようと試みた。例
えば、Go社のPenpoint（商標）を考えられたい。しか
し、Penpointは、主としてテキストへのペンベースのコ
マンドを可能にするものであった。手書き入力について
は、Penpointでは規定されたペンの動き(この場合には
ペン先の同一線上での右、左、右への動き。平らな
「z」とも呼ばれる)により以前の入力を直ちに削除する
ことだけが可能であった。Penpointは、ページ上の任意
の場所で無作為に手書きインクを編集する機能は提供し
なかった。ペンベースの入力システムを主流のコンピュ
ーティング環境の一部とするためには、ページ上の任意
の場所で手書きテキストを編集する自由度をサポートす
ることが必要である。
【０００６】最後に、手書きインクは一般には非インク
アプリケーションとの互換性がない。例えば、テキスト
入力を必要とするアプリケーションを使用すると、ユー
ザはインクをテキストに変換しなければならない。Palm
OSでは、挿入点を配置し、画面下部の専用のテキスト
入力部分に移動し、専用のテキスト入力部分にテキスト
を入力し、そして挿入点に戻る必要がある。これらの動
作はすぐに厄介になり、ユーザはスタイラスベースの入
力システムを用いるレガシーアプリケーションを使用し
なくなってしまう。
【０００７】いくつかの文献に上述のような従来の技術
に関連した技術内容が開示されている（例えば、特許文
献１〜３参照）。
【０００８】
【特許文献１】米国特許第５、５１７、５７８号明細書
【０００９】
【特許文献２】米国特許第５、９８６、６６５号明細書
【００１０】
【特許文献３】米国特許第５、９２０、６９４号明細書
【００１１】
【発明が解決しようとする課題】従来のシステムには上
述したような種々の問題があり、さらなる改善が望まれ
ている。
【００１２】本発明は、このような状況に鑑みてなされ
たもので、その目的とするところは、手書きジェスチャ
を取り込み実施するシステムおよびプロセスを実現する
ジェスチャ判定方法及び記録媒体を提供することにあ
る。
【００１３】
【課題を解決するための手段】このような目的を達成す
るために、本発明のジェスチャ判定方法は、ページを閲
覧するユーザからジェスチャを受け取ったかどうかを判
定するジェスチャ判定方法であって、前記ページ上に置
かれたストロークを受け取るステップと、前記ストロー
クがジェスチャを含むかどうかを判定するステップと、
前記ジェスチャが受け取られたことをシステムまたはア
プリケーションに通知するステップとを備えたことを特
徴とする。
【００１４】また、上記目的を達成するために、本発明
のジェスチャ判定方法は、ページを閲覧するユーザから
ジェスチャを受け取ったかどうかを判定するジェスチャ
判定方法であって、前記ページ上に置かれたストローク
を受け取るステップと、前記ページ上に前記ストローク
をレンダリングするステップと、前記ストロークをアプ
リケーションに送るステップと、前記ストロークがジェ
スチャを含むかどうかを前記アプリケーション中で判定
するステップと、前記ジェスチャを処理するステップと
を備えたことを特徴とする。
【００１５】また、上記目的を達成するために、本発明
のデータ構造は、ジェスチャを記憶するデータ構造であ
って、前記ジェスチャの識別と関連付けられた第１の部
分と、前記ジェスチャの正規化された形状を記述する第
２の部分と、前記ジェスチャのアクション範囲を記述す
る第３の部分と、デフォルトアクション又はコントロー
ルメソッド若しくはプロパティを記述する第４の部分と
を備えたことを特徴とする。
【００１６】また、上記目的を達成するために、本発明
のジェスチャ判定方法は、受け取ったストロークがジェ
スチャであるかどうかを判定するジェスチャ判定方法で
あって、少なくとも１つのストロークを正規化して少な
くとも１つの正規化されたストロークを生成するステッ
プと、前記少なくとも１つのストロークの座標のチェビ
チェフ多項式を計算するステップと、前記少なくとも１
つの正規化したストロークと前記チェビチェフ多項式と
を組み合わせてベイズネットを生成するステップと、前
記ベイズネットと、既知のジェスチャについて以前に計
算したベイズネットとを比較するステップと、前記ベイ
ズネットが前記計算したベイズネットの１つと相関する
かどうかを判定するステップと、前記ベイズネットが前
記計算したベイズネットの１つと相関する場合、前記少
なくとも１つのストロークを、前記計算したベイズネッ
トの前記１つに対応するジェスチャとして処理するステ
ップとを備えたことを特徴とする。
【００１７】また、上記目的を達成するために、本発明
の記録媒体は、ページを閲覧するユーザからジェスチャ
を受け取ったかどうかを判定するプログラムを含むコン
ピュータ読み取り可能な記録媒体であって、前記プログ
ラムは、前記ページ上に置かれたストロークを受け取る
ステップと、前記ストロークがジェスチャを含むかどう
かを判定するステップと、前記ジェスチャを受け取った
ことをシステムまたはアプリケーションに通知するステ
ップとを実行する命令を備えたことを特徴とする。
【００１８】また、上記目的を達成するために、本発明
のシステムは、ジェスチャを実施するシステムであっ
て、ページを表示するディスプレイと関連付けられたデ
ジタイザと、スタイラスと、プロセッサとを備え、前記
ページ上の任意の位置で受け取ったストロークに応答し
て、前記スタイラスと前記デジタイザとの対話により、
前記プロセッサは、前記ストロークがジェスチャを含む
かどうかを判定し、前記ジェスチャのアクション範囲と
前記ジェスチャのメソッドまたはプロパティとを使用し
て前記ジェスチャを処理することを特徴とする。
【００１９】本発明の態様は、表示面にユーザが直接書
き込むことを可能にし、上述の問題の１つまたは複数を
解決するペンベースのコンピューティングシステムを対
象とする。本発明の態様は、ユーザがジェスチャを使用
して、これらに限定しないが手書きインクおよびテキス
トを含む表示された情報を編集することを可能にする。
さらに、いくつかの態様ではジェスチャベースのナビゲ
ーションを使用することができる。
【００２０】本発明の上記およびその他の特徴は、以下
の好適実施形態の詳細な説明を考察することにより明ら
かになろう。
【００２１】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。なお、各図面において同様の
機能を有する箇所には同一の符号を付し、説明の重複は
省略する。
【００２２】上記の本発明の要約ならびに以下の好適実
施形態の詳細な説明は、添付図面と併せて読むことによ
りさらに深く理解される。添付図面は例として含めるも
のであり、特許請求する本発明に関する制限として含め
るのではない。
【００２３】以下の説明は、読者を助けるために、用
語、一般的なコンピューティングプラットフォーム、ジ
ェスチャ、ジェスチャの認識、ジェスチャの実行、およ
びデータ構造の項目に分けている。
【００２４】用語 本開示の各種態様の理解のために次の用語を定義する。
代替となる定義が当技術分野で知られる場合があり、以
下の定義を補足する可能性がある。
【００２５】インク（ink）-１つまたは複数のストロー
クの連続またはセット。ストロークの連続には、順序付
けられた形のストロークを含めることができる。この連
続は、取り込まれた時間、またはストロークがページの
どこに現れるかによって順序をつけることができる。こ
の他の順序も可能である。ストロークのセットは、スト
ロークの連続や順序づけされていないストローク、ある
いはその任意の組合せを含むことができる。さらに、ス
トロークは、そのストロークを構成するすべての点を含
むか、あるいはストロークの方向の変化を示す点だけに
限定することもでき、またこれらの組合せも可能であ
る。
【００２６】ストローク-取り込まれた点の連続または
セット。レンダリングする際、点の連続は線でつなぐこ
とができる。ストロークは複数の方式で表すことができ
る。例えば、ストロークは、点と、次の点の方向の１つ
または複数のベクトルとして表すことができる。さら
に、ストロークは、点および/またはベクトルの単純な
リスト(あるいは配列やテーブル)を指すこともできる。
要は、ストロークは、基礎となる点の表現および/また
はそれらの点を何でつなぐかに関係なく、インクに関連
する点および/または線分のいずれの表現も包含するも
のとする。
【００２７】点-空間内の位置を定義する情報。点は、
例えば捕捉空間(例えばデジタイザ上の点)および/また
は表示空間(表示装置の点またはピクセル)に相対的に定
義することができる。点は各種の既知の技術を使用して
表すことができ、これには、デカルト座標(X,Y)、極座
標(r,Θ)、３次元座標((X,Y,Z)、(r,Θ,p)、(X,Y,t(tは
時間))、(r,Θ,t))、４次元座標((X,Y,Z,t)および(r,
Θ,p,t))）、および当技術分野で知られるその他の技術
が含まれる。
【００２８】レンダリング-画面への表示、印刷、別の
ファイル形式への出力を問わず、グラフィック(および/
またはインク)の表示法を決定するプロセス。
【００２９】ワード-インクワードとも呼ぶ。ワードは
１つまたは複数のストロークである。ワード中の各スト
ロークは、そのストロークと関連付けられた位置を有す
る。あるいは、ワードは、テキストワード、または辞書
で定義可能な語を形成する文字のグループと定義するこ
ともできる。ワードは、句読点、文字および数字および
その他の記号の組合せも含むことができ、複合語を含む
こともできる。
【００３０】フロー-順番に互いと関連付けられた１つ
または複数のワード。例えば、ページに書き込まれた手
書きのメモはそれぞれフローを表すことができる。各メ
モに追加すると、ワードを含むフローに１つまたは複数
のワードが追加される。フロー中の各ワードは、フロー
中に関連付けられた位置を有する。
【００３１】スペース-表示内容がない範囲。ある例で
は、フロー中のワード間の分離を指す場合、スペースは
ストロークを持たない別個のワードと考えることができ
る。ページ上の空白範囲を指す場合には、スペースはフ
ローによって所有されないページ上の範囲を意味するこ
とができる。
【００３２】ジェスチャ-コマンドとして解釈できる描
画またはその他のインク。
【００３３】一般的なコンピューティングプラットフォ
ーム 図１は、本発明の各種態様を実施するのに使用すること
のできる従来の汎用デジタルコンピューティング環境の
略図である。図１で、コンピュータ１００は、プロセッ
サ１１０、システムメモリ１２０、およびシステムメモ
リを含む各種のシステムコンポーネントをプロセッサ１
１０に結合するシステムバス１３０を含む。システムバ
ス１３０は、各種のバスアーキテクチャのうち任意のも
のを使用した、メモリバスまたはメモリコントローラ、
周辺バス、およびローカルバスを含む数種のバス構造の
いずれでもよい。システムメモリ１２０は、読み取り専
用メモリ(ＲＯＭ)１４０およびランダムアクセスメモリ
(ＲＡＭ)１５０を含む。
【００３４】起動時などにコンピュータ１００内の要素
間の情報転送を助ける基本ルーチンを含む基本入出力シ
ステム(ＢＩＯＳ)１６０は、ＲＯＭ１４０に記憶され
る。コンピュータ１００はまた、ハードディスク(図示
せず)との読み取りおよび書き込みを行うハードディス
クドライブ１７０、リブ−バル磁気ディスク１９０との
読み取りおよび書き込みを行う磁気ディスクドライブ１
８０、およびＣＤ ＲＯＭやその他の光学媒体などのリ
ブ−バル光ディスク１９９との読み取りおよび書き込み
を行う光ディスクドライブ１９１も含む。ハードディス
クドライブ１７０、磁気ディスクドライブ１８０、およ
び光ディスクドライブ１９１はそれぞれ、ハードディス
クドライブインタフェース１９２、磁気ディスクドライ
ブインタフェース１９３、および光ディスクドライブイ
ンタフェース１９４によってシステムバス１３０に接続
される。これらのドライブとそれに関連付けられたコン
ピュータ可読媒体は、パーソナルコンピュータ１００の
コンピュータ可読命令、データ構造、プログラムモジュ
ール、およびその他のデータの不揮発性の記憶を提供す
る。当業者には、磁気カセット、フラッシュメモリカー
ド、デジタルビデオディスク、ベルヌーイカートリッ
ジ、ランダムアクセスメモリ(ＲＡＭ)、読み取り専用メ
モリ(ＲＯＭ)など、コンピュータからアクセスできる、
データの記憶が可能な他種のコンピュータ可読媒体もこ
の例示的動作環境で使用できることが理解されよう。
【００３５】ハードディスクドライブ１７０、磁気ディ
スク１９０、光ディスク１９９、ＲＯＭ１４０、または
ＲＡＭ１５０には、オペレーティングシステム１９５
ａ、１９５ｂ、１つまたは複数のアプリケーションプロ
グラム１９６ａ、１９６ｂ、他のプログラムモジュール
１９７ａ、１９７ｂ、およびプログラムデータ１９８
ａ、１９８ｂを含む複数のプログラムモジュールを記憶
することができる。ユーザは、キーボード１０１および
ポインティングデバイス１０２などの入力装置を通じて
コマンドや情報をコンピュータ１００に入力することが
できる。他の入力装置(図示せず)には、マイクロフォ
ン、ジョイスティック、ゲームパッド、衛星受信アンテ
ナ、スキャナなどがある。上記およびその他の入力装置
は、システムバスに結合されたシリアルポートインタフ
ェース１０６を通じてプロセッサ１１０に接続すること
が多いが、パラレルポート、ゲームポート、またはユニ
バーサルシリアルバス(ＵＳＢ)など他のインタフェース
によって接続してもよい。さらに、これらのデバイス
は、適切なインタフェース(図示せず)を介してシステム
バス１３０に直接結合することが可能である。モニタ１
０７またはその他のタイプの表示装置も、ビデオアダプ
タ１０８などのインタフェースを介してシステムバス１
３０に接続される。モニタに加えて、パーソナルコンピ
ュータは通例スピーカやプリンタなど他の周辺出力装置
(図示せず)を含む。好適実施形態では、手書きの入力を
デジタル式に取り込むためにペンデジタイザ１６５およ
びそれに付属するペンまたはスタイラス１６６が提供さ
れる。図ではペンデジタイザ１６５とプロセッサ１１０
を直接接続しているが、実際には、当技術分野で知られ
るように、ペンデジタイザ１６５は、シリアルポート、
パラレルポート、またはその他のインタフェース、およ
びシステムバス１３０を介してプロセッサ１１０に結合
することが可能である。さらに、図ではデジタイザ１６
５がモニタ１０７と分離しているが、デジタイザ１６５
の使用可能な入力範囲は、モニタ１０７の表示範囲と同
一の範囲であることが好ましい。さらに、デジタイザ１
６５はモニタ１０７に組み込むか、あるいはモニタ１０
７を覆う、あるいはその他の形でモニタ１０７に付属す
る別個のデバイスとして存在してもよい。
【００３６】コンピュータ１００は、リモートコンピュ
ータ１０９など１つまたは複数のリモートコンピュータ
との論理接続を使用するネットワーク環境で動作するこ
とができる。リモートコンピュータ１０９は、サーバ、
ルータ、ネットワークＰＣ、ピアデバイス、またはその
他の一般的なネットワークノードでよく、また図１には
メモリ記憶装置１１１しか示していないが、通例は上記
でコンピュータ１００に関して挙げた要素の多くまたは
すべてを含む。図１に示す論理接続には、構内ネットワ
ーク(ＬＡＮ)１１２と広域ネットワーク(ＷＡＮ)１１３
が含まれる。このようなネットワーキング環境は、オフ
ィス、企業内のコンピュータネットワーク、イントラネ
ットおよびインターネットに一般的に見られる。
【００３７】ＬＡＮネットワーキング環境で使用する場
合、コンピュータ１００はネットワークインタフェース
またはアダプタ１１４を通じてローカルネットワーク１
１２に接続される。ＷＡＮネットワーキング環境で使用
する場合、パーソナルコンピュータ１００は通例、イン
ターネットなどの広域ネットワーク１１３を介して通信
を確立するためのモデム１１５またはその他の手段を含
む。モデム１１５は内蔵式でも外付け式でもよく、シリ
アルポートインタフェース１０６を介してシステムバス
１３０に接続される。ネットワーク環境では、パーソナ
ルコンピュータ１００に関して図に示すプログラムモジ
ュールまたはその部分をリモートのメモリ記憶装置に記
憶することができる。
【００３８】図のネットワーク接続は例示的なもので、
コンピュータ間に通信リンクを確立するには他の技術を
使用できることが認識されよう。ＴＣＰ／ＩＰ（Transm
ission Control Protocol/Internet Protocol）、イー
サネット(登録商標)、ＦＴＰ（file transfer protoco
l）、ＨＴＴＰ（HyperText Transport Protocol）など
各種のよく知られるプロトコルのいずれかの存在が想定
され、システムはクライアント-サーバ構成で動作して
ユーザがウェブベースサーバからウェブページを取り出
すことを可能にする。各種の従来のウェブブラウザのい
ずれを使用しても、ウェブページ上のデータを表示し、
操作することができる。
【００３９】図２は、本発明の各種態様に従って使用で
きるスタイラスベースのコンピュータ処理システム(タ
ブレットＰＣとも称する)２０１を示す。図２のコンピ
ュータには、図１のシステムの特徴、サブシステム、お
よび機能のいずれかあるいはすべてを含めることができ
る。タブレットＰＣ２０１は、例えばデジタル化フラッ
トパネルディスプレイ、好ましくは液晶ディスプレイ
(ＬＣＤ)画面である大型の表示面２０２を含み、ここに
複数のウィンドウ２０３が表示される。ユーザは、スタ
イラス２０４を使用して、デジタル化表示範囲上で選
択、ハイライト表示、および書き込みを行うことができ
る。適切なデジタル化表示パネルの例には、MutohやWac
omのペンデジタイザなど電磁気式のペンデジタイザがあ
る。例えば光学式デジタイザなど他タイプのペンデジタ
イザも使用することができる。タブレットＰＣ２０１
は、データ操作、テキスト入力、および表計算やワード
プロセッシングプログラムなど従来のコンピュータアプ
リケーションタスクを実行するために、スタイラス２０
４を使用してつけられたマークを解釈する。
【００４０】スタイラスは、その選択機能を増強するた
めにボタンまたはその他の機能を備えることもできる。
一実施形態では、スタイラスを「鉛筆」あるいは「ペ
ン」として実施することができ、この場合は一端が書き
込み用の部分を構成し、もう一端が「消しゴム」として
の端部を構成し、この部分をディスプレイの上で動かす
と表示の一部を消去するように指示する。マウス、トラ
ックボールなど他種の入力装置も使用することができ
る。さらに、タッチセンシティブ型または近接反応型デ
ィスプレイの表示画像の一部を選択または指示するため
にユーザ自身の指を使用することができる。したがっ
て、本発明で使用する用語「ユーザ入力装置」は幅広い
定義を有し、よく知られる入力装置の数多くの変形を包
含するものとする。
【００４１】領域２０５は、ユーザがスタイラスをデジ
タイザのどこに接触させるかを決定することを可能にす
るフィードバック領域または接触領域を示す。別の実施
形態では、領域２０５は、本発明のホールド状態に達す
ると視覚的なフィードバックを提供する。
【００４２】ジェスチャ ジェスチャは、一般に、手書きインク以上の何かを意図
したスタイラスの動きと定義することができる。特定の
インクエレメントを描画する２つの方式が存在し、２番
目の方式が１番目の方式よりも複雑である場合は、２番
目の方式をジェスチャであると考える、あるいは仮定す
ることが好ましい場合がある。例えば、スタイラスが一
点を中心に物理的に約３６０度移動する単一の円は、描
かれた円、「ｏ」の文字、あるいは数字のゼロと考える
ことができるのに対し、それ自体の上をなぞる二重の円
はジェスチャと考えることができる。他のジェスチャも
使用することができる。
【００４３】図３は、ジェスチャを実施するプロセスを
示し、ここでは一般的な動作環境からジェスチャにアク
セスすることができる(３０１)。ユーザは、３０１でイ
ンクを追加するか、またはディスプレイの何らかの側面
を制御する(例えば見る、スクロールするなど)ことがで
きる。３０２でジェスチャが作成される(かつ/または認
識される)と、３０３でそれを実行することができる。
実行を終えると、システムは経路３０４で３０１に戻る
ことにより、さらに入力を受け付ける状態になる。
【００４４】あるいは、ジェスチャの実行は後の時間ま
で保留しておくこともできる。この代替実施形態では、
ジェスチャはインクとしてレンダリングされ、ジェスチ
ャは後に実行する。実行はそのアプリケーションで行っ
ても、実行のために別のアプリケーションに渡してもよ
い。
【００４５】ジェスチャは様々な位置で使用することが
できる。ジェスチャは表示面で行うことができる。ま
た、ジェスチャは空中で行うこともできる(一部のペン
ベースのコンピューティングシステムでは誘導技術を使
用してペンを検知し、ペンの高さを知ることができ
る)。ジェスチャは、ボタンまたは同様のコントロール
の上で行うことができる(例えばヘルプを求めるチェッ
クマーク)。ジェスチャを使用して、テキストおよび/ま
たはインクを編集することができる。ジェスチャは、デ
ィスプレイの専用の(固定のまたは一時的な)入力部分で
行うことができる。
【００４６】ジェスチャは次の特徴の１つまたは複数を
有することができる:デフォルトアクションあるいはコ
ントロールメソッドまたはプロパティ、アクション範
囲、位置、サイズ/広がり、および形状。この他の特徴
もこのリストに組み込むことができる。
【００４７】デフォルトアクションあるいはコントロー
ルメソッドまたはプロパティ 各ジェスチャには、１つまたは複数のデフォルトアクシ
ョンを関連付けることができる。例えば、タップ（軽い
接触；tap）には一般的な選択アクションを関連付ける
ことができる。タップの前に他のタップがない場合、そ
のタップはワードの選択にすることができる。タップの
前に１回タップがあった場合は、後のタップは文章の選
択にすることができる。タップの前に２回タップがあっ
た場合は、最後のタップで段落全体を選択することがで
きる。同様に、４回タップがあった場合は、最後のタッ
プですべてを選択することができる。
【００４８】一部の実施形態では、デフォルトアクショ
ンをジェスチャのコントロールメソッドまたはコントロ
ールプロパティと呼ぶことがある。ジェスチャのコント
ロールメソッドまたはプロパティとは、そのジェスチャ
を実行すると行われること、あるいは影響されることで
ある。例えば、ワードまたは選択部分を太字にするジェ
スチャのメソッドまたはプロパティは、より太字のフォ
ントあるいは表現になるようにワードまたは選択部分の
レンダリングを変更する。また、選択ジェスチャのメソ
ッドまたはプロパティは、表示されたページ上の何かを
選択することである。ページは、インク、描画、テキス
ト、写真、および/またはその他の同様の項目を有する
可能性がある。
【００４９】アクション範囲 ジェスチャのアクション範囲は、そのジェスチャが影響
を及ぼす範囲である。例えば、チェックマークが、項目
またはボタン、あるいはユーザインタフェースの一部に
ついてのヘルプを求めるジェスチャである場合には、チ
ェックマークのアクション範囲は、チェックマークの曲
がった部分の周辺の狭い領域であることが考えられる。
したがって、ユーザは、ユーザがヘルプを求める事柄の
上にチェックマークのアクション範囲を置くことにな
る。
【００５０】実施形態によっては、アクション範囲を範
囲から点または点のセットに圧縮することができる。上
述のチェックマークの例では、チェックマークを構成す
る２本の線が交差する点をアクション範囲とすることが
できる。このような実施形態では、ユーザが各ジェスチ
ャを非常に正確に配置することが可能になる。したがっ
て、例えばジェスチャは単一の点に関連する。これに対
してアクション範囲がより広い範囲である場合には、ジ
ェスチャによって効果を生じさせようとする点をスタイ
ラスがわずかに外した場合でも、なお意図するジェスチ
ャが意図する範囲に影響するという点で有用である。例
えば、ユーザがボタンの上にチェックマークを配置しよ
うと試みたがわずかにボタンを逸れ、しかしチェックマ
ークの大部分がボタンの上にあった場合には、より広い
範囲のアプローチによりなおそのボタンについてのヘル
プを要求することができる。
【００５１】さらなる実施形態では、アクション範囲
は、境界ボックスまたは境界ボックスの開始部分とする
ことができる。例えば、左角括弧選択ジェスチャでは、
上部と下部の隅を、選択部分を含む境界ボックスの開始
部分とすることが可能である。
【００５２】ジェスチャのアクション範囲は可変であっ
てよく、またジェスチャの１つまたは複数の属性に基づ
くことができる。例えば、単一のワードの上に置かれた
Xは、そのワードの削除をそのジェスチャと関連付けら
れたアクションとすることができる(この場合、そのジ
ェスチャのアクション範囲は、狭い範囲か、またはXの
中心にある単一の点となる)。あるいは、段落の上に描
かれた大きなXは、アクション範囲の適用範囲を拡大し
てその段落全体を包含することができる。このアクショ
ン範囲のスケーリングは、これらに限定しないが、ジェ
スチャを書く速度、デジタイザ表面に対するスタイラス
の圧力、スタイラスの角度(ハードウェアによって角度
の感知が可能である場合)、表示画面上のジェスチャの
位置、および各種の他のインクやジェスチャの角度など
画面に表示された他の要素に相対的なジェスチャの位置
などを含む他の属性によって調整することができる。
【００５３】位置 位置は、ジェスチャの別の側面である。位置は、表示画
面に相対的に、かつ/またはインクなど画面に表示され
た別のオブジェクトに相対的に測定することができる。
ある場合には、ジェスチャの位置は他の側面に比べて重
要性が低い場合がある。別の場合には、ジェスチャの位
置が、ジェスチャの特徴の最も重要な特性の１つまたは
ジェスチャを定義する特性である場合もある。例えば、
文章を選択し、次いでその文章から１ワードを削除した
い場合、文章と削除しようとするワードとの間に雑にX
の削除ジェスチャを配置すると、そのXの位置にどれだ
け関連性があったかの解釈に応じて異なる結果になる。
１つのアプローチでは、アクション範囲がその選択部分
を包含することができ、選択部分を削除するように指示
するので、文章が削除される。あるいは、Xは実際には
選択部分の上にはなかったという事実、そしてしたがっ
て、Xの位置は、ジェスチャの意図が選択ではなくワー
ドの削除であることを示す。
【００５４】サイズ/広がり ジェスチャは、ジェスチャのサイズに基づいて別の特性
を有することができる。この情報により、ジェスチャが
それが変更するものに対して様々に異なる効果または広
がりを有することが可能になる。例えば、左角括弧は１
行分の高さか、あるいは複数行分の高さとすることが可
能である。３行分の高さの左角括弧の場合には、２行分
の高さの左角括弧よりも広い範囲の選択が意図される。
【００５５】代替実施形態では、対になったジェスチャ
(例えば左と右の選択角括弧)は、左と右の選択角括弧が
境界ボックスあるいは選択しようとするテキストフロー
の開始部と終了部を指定することができるので、サイズ
に依存するのではなく位置に依存することが可能であ
る。
【００５６】形状 ジェスチャの形状は、それがカバーする範囲に依存する
ことができる。例えば、高さが３テキスト行分の左角括
弧は、高さが１テキスト行分しかない左角括弧とは異な
る高さ/幅の比を有することが考えられる。さらに、一
部のジェスチャの実際の形状内容はサイズ以外で異なる
場合がある。太字または大文字にするためにテキストの
下に描かれた波線のジェスチャは、それが長くなるほど
線の中により多くの***を有する可能性がある。したが
って、ジェスチャの認識には、ジェスチャのサイズを単
位範囲に正規化することを含めることができる。認識に
は、形状を照合して、単一のジェスチャ(波線)を繰り返
してより広い範囲をカバーしているかどうかを判定する
ことを含めることができる。
【００５７】ジェスチャの認識 実際のジェスチャがより正確にジェスチャとして認識さ
れるほど好ましい。また、インクを誤ってジェスチャと
認識しないことも好ましい。図４は、特定のストローク
をジェスチャとして認識し、それらをジェスチャでない
ストロークと区別する例示的プロセスを示す。
【００５８】ステップ４０１でストロークを受け取る。
ステップ４０３で、システムはジェスチャを受け取った
かどうかを判定する。この判定には、スケーリング、方
向の変更、および/または受け取ったストロークがジェ
スチャであるかどうかを判定する他の動作を含むことが
できる。一部のストロークは、単独で見た場合にも他の
ストロークと組み合わせて見た場合にもジェスチャであ
ることが可能なので、システムはステップ４０４で最近
のストロークも見ることができる。例えば、段落への軽
い接触は、その接触の下にあるワードの選択として作用
することができる。２回の軽い接触(システムが、ステ
ップ４０１の現在の接触に加えてステップ４０４で最初
の接触を呼び出す必要があることを意味する)では、最
初の接触の下にあるワードを含む文章または段落を選択
することができる。
【００５９】ジェスチャを受け取らなかった場合は、４
０１で受け取ったストロークをステップ４０２でレンダ
リングする。あるいは、ステップ４０３でジェスチャで
はないグループであると判定されるまで複数のストロー
クのレンダリングを保留しておき、その後ステップ４０
２でまとめてレンダリングしてもよい。
【００６０】ステップ４０３でジェスチャを受け取った
場合は、システムにジェスチャの存在が通知される。こ
の通知には、ジェスチャフラグの設定を含むことができ
る。あるいは、この通知は、ジェスチャと追加情報(次
の１つまたは複数を含む:ジェスチャのサイズ、ジェス
チャの形状、ジェスチャのアクション範囲、およびコン
トロールメソッドまたはプロパティ)の送信を含むこと
もできる。さらに、ステップ４０１でストロークが受け
取られたアプリケーションにジェスチャの存在を通知す
ることができる(追加のジェスチャ情報を含む、あるい
は含まない)。
【００６１】代替実施形態では、受け取ると直ちにすべ
てのストロークをレンダリングして、即時のフィードバ
ックをユーザに提供することができる。この実施形態で
は、そのジェスチャを形成した１つまたは複数のストロ
ークをステップ４０５で消去することができる。
【００６２】さらなる実施形態では、ステップ４０６に
示すように、ジェスチャと関連付けられたオブジェクト
を判定し、システムまたはアプリケーションに提供する
ことができ(ステップ４０７)、システムまたはアプリケ
ーションがそのジェスチャを実行する、あるいはいつ実
行するかを決定できるようにする。このオブジェクト
は、その上またはその近くにジェスチャを描画すること
が可能な例えば画面に表示されたオブジェクト(ボタ
ン、テキスト、グラフィック、あるいは任意の他の同様
の表示オブジェクト)でよい。例えばジェスチャがチェ
ックマークである場合、オブジェクトはボタンであるこ
とが可能であり、チェックマークのジェスチャによりそ
のボタンとの関連で特定のアクションを行わせることが
できる。別の例として、オブジェクトがテキストワード
であり、ジェスチャがそのワードの上に描かれた大文字
のBである場合には、その大文字のBのジェスチャと関連
付けられたオブジェクトが太字になる。
【００６３】図４では、判定すると直ちにジェスチャを
実行することができる。図５は、ストロークがジェスチ
ャであることをシステムではなくアプリケーションによ
って判定する代替実施形態を示す。図５では、最初にス
トロークを取り込み、その後別の時にジェスチャである
それらのストロークを実行するというオプションが提供
される。図５のプロセスは、例えば、実際に変更を実行
する前に文書へのすべての変更を見たいユーザにとって
有用である。
【００６４】ステップ５０１でストロークを受け取る。
ステップ５０２でストロークをレンダリングし、ストロ
ークの組合せをアプリケーション５０３に渡す。ステッ
プ５０４で、アプリケーションはその１つまたは複数の
ストロークを読み取る。ステップ５０５で、アプリケー
ションは、受け取った１つまたは複数のストロークがジ
ェスチャであるかどうかを判定する。このアプローチで
は、システム全体で有効なジェスチャだけではなく、ア
プリケーション固有のジェスチャを認識できるようにす
ることができる。
【００６５】ステップ５０５でジェスチャを受け取らな
かった場合、アプリケーションはストロークを処理する
(５０６)。ステップ５０５でジェスチャを受け取った場
合、アプリケーションはステップ５０７でそのジェスチ
ャを処理する。
【００６６】図８は、ジェスチャ認識の別の実施形態を
示す。ステップ８０１でストロークを受け取る。ステッ
プ８０２でそのストロークを正規化する。これに加え
て、ステップ８０２では次に示すステップの任意の１つ
または複数を含む他のステップを実行することができ
る。
【００６７】１.表示面とのペンの接触が、接触してい
るか、接触していないかに応じて(例えば０が下方で１
が上方など)受け取った１つまたは複数のストロークを
単一のポイントストリームに分解(collapse)する。
【００６８】２.デジタイザが備える物理的な寸法のデ
ータを使用して、XおよびY座標を所定サイズ(例えば１
インチの正方形など)にスケーリングする。一実施形態
ではスケーリング情報を破棄することができる。あるい
は、将来の使用のためにスケーリング情報を保持しても
よい。
【００６９】３.点の入力時間をスケーリングし、イン
クを再サンプリングして所定数(例えば２００個)の点を
生成する。一実施形態では時間スケール情報を破棄する
ことができる。あるいは将来の使用のために時間スケー
ル情報を保持してもよい。
【００７０】４.ストロークの屈曲、ストロークの継続
時間、ストロークのアスペクト比、終点を結ぶ線分から
任意の点までの最大距離、変曲点などを含む追加項目を
計算することができる。
【００７１】５.x、y、およびz座標それぞれについてチ
ェビチェフ多項式を計算する。
【００７２】６.チェビチェフ多項式、屈曲、スケーリ
ング、継続時間、およびスケールと入力の一部またはす
べてを１つまたは複数のベイズネット（Bayes net）に
組み合わせる。ジェスチャごとに個別のベイズネットを
使用してもよい。
【００７３】７.処理済みの１つまたは複数のストロー
クを各ベイズネットに渡し、スコアを得る。閾値を超え
るネットを認識する。正確に１つのネットでジェスチャ
が認識された場合は、そのジェスチャをアプリケーショ
ンまたはシステムに渡す。ジェスチャが認識されない場
合は、ジェスチャが認識されなかったことを知らせる。
【００７４】ステップ８０３で、１つまたは複数のスト
ロークがジェスチャであるかどうかを判定する。この判
定には、上述のステップ７の照合を含めることができ
る。ジェスチャである場合には、システムはアクション
範囲内のワードまたはストロークを判定し(８０５)、ス
テップ８０６でアクション範囲内のジェスチャIDとオブ
ジェクトをシステムまたはアプリケーションに送信す
る。
【００７５】ジェスチャでない場合は、システムは、ス
テップ８０４で最大数のストローク(例えば４ストロー
ク)に達しているかどうかを判定する。達していない場
合、システムはステップ８０８で次のストロークを受け
付ける状態になる。最大数に達している場合、システム
は、ステップ８０７で最も早く受け取ったストロークを
ドロップし、次いでステップ８０８で次のストロークを
受け付ける状態になる。
【００７６】次に、各種の例示的ジェスチャとそれに関
連するメソッドまたはプロパティを挙げる。
【００７７】フォントプロパティの変更-ワード(または
テキストの他の部分)を太字にするには、そのワードま
たはテキストの他部分の上に大文字のBを描く。ワード
をイタリック体にするには大文字のIをワードの上に描
き、下線を引くにはUを、二重の下線にはDUを、上線に
はOVを、通常の書体にはNを描く。この他のプロパティ
変更も同様に実現することができる。ジェスチャ認識の
いくつかの実施形態は、ストローク相互の並置の判定を
含むことができる。この場合は、ストロークをワードの
上に書くことにより、ジェスチャが生じたシステムまた
はアプリケーションを補助することができる。
【００７８】改行-右下の鍵括弧は、改行、キャリッジ
リターン、新しい段落などのジェスチャと解釈すること
ができる。右上の鍵括弧は、その反対を実行することが
できる。
【００７９】切り取り/コピー/ペースト-Xは切り取りに
使用することができ、Cまたは円で囲んだXはコピーに使
用することができ、カレット（脱字符号；caret）はペ
ーストに使用することができる。二重のカレットは、ペ
ーストスペシャルに使用することができる。
【００８０】選択-左および右の角括弧は選択部分の定
義に使用することができる。あるいは、左角括弧により
デフォルトでワードを選択する。さらなる代替では、左
/右の角括弧を繰り返すことにより、必要に応じて選択
部分を調整する。矢印のジェスチャで精密な(一度に一
文字ずつ)調整を行うことができる。中括弧（curly bra
ces）により、非連続的な選択をすることができる。
【００８１】テキスト/リスト/描画のグループ化-選択
部分の上で段落のジェスチャを行うと、そのインクがテ
キストにまとめられ、インクのフローが再編成される
(リフロー(reflow)とも称する)。あるいは、セクション
のジェスチャで、それを描画またはリストに変える。こ
れは、リストの場合にも使用することができる(例えばL
のジェスチャ)。
【００８２】ジェスチャは、インターネットのウェブペ
ージや表計算を含む他のアプリケーションにも適用する
ことができる。ブラウザで閲覧する文書は、フリック
（flick）を様々な方向で使用することにより上および
下にスクロールすることができる。複数回のフリックで
は、ページまたはファイルを上および下にスクロールす
る距離を変更することができる。表計算では、縦方向の
角括弧により列のセットを定義することができる。(上
向きの、または回転させた)カレットは、行および/また
は列を挿入するジェスチャとすることができる。
【００８３】図６は各種の異なるジェスチャを示す。下
に示す表は、ジェスチャと、各ジェスチャに関連付ける
ことのできる様々な変数を示す。この他の記号、バリエ
ーション、および意味も使用することができる。
【００８４】
【表１】
【００８５】次の表は、可能なジェスチャコントロール
を示す。
【００８６】
【表２】
【００８７】ジェスチャの実行 ジェスチャの実行は、アプリケーションがジェスチャで
何を行うことになっているか(そのジェスチャのサイ
ズ、形状、および位置により)、および、オペレーティ
ングシステムがそのジェスチャに関する情報をどのよう
にそのアプリケーションに伝達するかに依存する可能性
がある。あるジェスチャはオペレーティングシステムに
よって解釈され、１つまたは複数のマウスおよび/また
はキーボードの動きとしてアプリケーションに渡すこと
ができる。他のジェスチャは、オペレーティングシステ
ムでは解釈することができず、アプリケーションだけに
よって認識される。この場合そのアプリケーションは、
ジェスチャの各種の側面または特性に基づいて、そのジ
ェスチャで何を行うかを判定する必要がある。さらに、
ジェスチャの解釈アプリケーションを使用して、所与の
１つまたは複数のジェスチャを全く理解しないオペレー
ティングシステムを用いる、ジェスチャ非対応アプリケ
ーションとのインタフェースをとることができる。
【００８８】データ構造 図７は、ジェスチャを表すのに使用することのできるデ
ータ構造７０１の一実施形態の一例を示す。配列、リン
クされたリストなどを含むこの他のデータ構造も使用す
ることができる。セクション７０２は、ジェスチャの一
般的な仕様に関連する。セクション７０３は、削除のジ
ェスチャに関連する。セクション７０４は、選択開始の
ジェスチャに関連する。
【００８９】セクション７０５は、ジェスチャのＩＤ
（識別）を含む。ジェスチャのＩＤは当技術分野で知ら
れるユニコード文字とするか、あるいはＧＵＩＤ（Glob
ally Unique IDentifier）にすることができる。セクシ
ョン７０６は、正規化されたジェスチャの形状を示す。
ジェスチャ７０３の場合、正規化された形状は「x」で
ある。ジェスチャ７０４の場合、正規化された形状は
「[」である。セクション７０７は、ジェスチャのアク
ション範囲を含む。例えばジェスチャ７０３のアクショ
ン範囲は、そのジェスチャを構成する２本の線の交差点
の下に位置する点である。ジェスチャ７０４のアクショ
ン範囲は、括弧の右にあるストローク、１つまたは複数
のワードである。
【００９０】セクション７０８は、ジェスチャと関連付
けられたコントロールメソッドまたはプロパティを示
す。ジェスチャ７０３の場合、関連付けられたコントロ
ールメソッドまたはプロパティは「削除」である。ジェ
スチャ７０４の場合、関連付けられたコントロールメソ
ッドまたはプロパティは「選択の開始」である。
【００９１】本発明を実施する例示的なシステムおよび
方法を例として示しているが、言うまでもなく、本発明
はこれらの実施形態に限定されないことが理解されよ
う。特に前述の教示に照らして、当業者により変更を加
えることができる。例えば、前述の実施形態の各要素は
単独で利用することも、他の実施形態の要素と組み合わ
せて利用することもできる。頭記の特許請求の範囲を使
用して本発明を定義したが、本発明は、本明細書に記載
した要素およびステップを任意の組合せあるいはサブコ
ンビネーションで含むことを企図することから、この請
求の範囲は例示的なものである。したがって、本発明を
定義するためには任意数の代替の組合せがあり、それら
は、説明、特許請求の範囲、および図面を含む本明細書
の１つまたは複数の要素を各種の組合せまたはサブコン
ビネーションで組み込む。本明細書に照らすと、関連技
術の技術者には、本発明の諸態様の代替の組合せは、単
独で、または本明細書に定義する１つまたは複数の要素
またはステップと組み合わせて、本発明の修正形態ある
いは代替形態として、あるいは本発明の一部として利用
できることが明らかになろう。本明細書に含まれる記載
した本発明の説明は、そのような変形形態および代替形
態をすべて包含するものとする。
【００９２】
【発明の効果】以上説明したように本発明によれば、手
書きジェスチャを取り込み実施するシステムおよびプロ
セスを実現できる。
【図面の簡単な説明】
【図１】本発明の実施形態の各種態様の実施に使用する
ことが可能な例示的な汎用デジタルコンピューティング
環境の略図である。
【図２】本発明の実施形態の各種態様により使用するこ
とが可能な例示的なタブレットコンピュータとスタイラ
スの平面図である。
【図３】本発明の実施形態による各種動作モードの例の
図である。
【図４】本発明の実施形態によるジェスチャ認識プロセ
スの例の図である。
【図５】本発明の実施形態によるジェスチャ認識プロセ
スの例の図である。
【図６】本発明の実施形態で使用できるジェスチャの例
の図である。
【図７】本発明の実施形態によるジェスチャとそれに関
連付けられたメソッドまたはプロパティのデータ構造の
例の図である。
【図８】本発明の実施形態によりジェスチャを識別する
のに使用するプロセスの例の図である。
【符号の説明】
１００、１０９ コンピュータ １０１ キーボード １０２ ポインティングデバイス １０６ シリアルポートインタフェース １０７ モニタ １０８ ビデオアダプタ １１０ プロセッサ １１１ メモリ記憶装置 １１２ ＬＡＮ １１３ ＷＡＮ １１４ アダプタ １１５ モデム １２０ システムメモリ １３０ システムバス １４０ ＲＯＭ １５０ ＲＡＭ １６０ ＢＩＯＳ １６５ ペンデジタイザ １６６、２０４ スタイラス １７０ ハードディスクドライブ １８０ 磁気ディスクドライブ １９０ 磁気ディスク １９１ 光ディスクドライブ １９２ ハードディスクドライブインタフェース １９３ 磁気ディスクドライブインタフェース １９４ 光ディスクドライブインタフェース １９５ａ、１９５ｂ オペレーティングシステム １９６ａ、１９６ｂ、１９６ａ アプリケーションプロ
グラム １９７ａ、１９７ｂ プログラムモジュール １９８ａ、１９８ｂ プログラムデータ １９９ 光ディスク ２０１ コンピュータ処理システム(タブレットＰＣ) ２０２ 表示面 ２０３ ウィンドウ ２０５ 領域 ３０１ ジェスチャにアクセス ３０２ ジェスチャ作成 ３０３ ジェスチャ実行 ３０４ リターン ７０１ データ構造 ７０２、７０３、７０４、７０５、７０６、７０７、７
０８ セクション
───────────────────────────────────────────────────── フロントページの続き (72)発明者 グレゴリー ヒューレンダー アメリカ合衆国 98005 ワシントン州 ベルビュー 132 アベニュー サウスイ ースト 2387 (72)発明者 アレクサンダー ゴーナーズ アメリカ合衆国 98034 ワシントン州 カークランド 77 プレイス ノースイー スト 11607 Ｆターム(参考） 5B064 AB04 AB19 BA06 CA11 DD03 DD06 DD09 DD18 5B068 AA05 BB01 BB14 BB18 BD07 BD09 CC19 CD01 CD02 CD04 CD06

Claims (17)

    【特許請求の範囲】
  1. 【請求項１】 ページを閲覧するユーザからジェスチャ
    を受け取ったかどうかを判定するジェスチャ判定方法で
    あって、 前記ページ上に置かれたストロークを受け取るステップ
    と、 前記ストロークがジェスチャを含むかどうかを判定する
    ステップと、 前記ジェスチャが受け取られたことをシステムまたはア
    プリケーションに通知するステップとを備えたことを特
    徴とするジェスチャ判定方法。
  2. 【請求項２】 前記ジェスチャを形成した前記ストロー
    クを消去するステップをさらに備えたことを特徴とする
    請求項１に記載のジェスチャ判定方法。
  3. 【請求項３】 前記ジェスチャと関連付けられたオブジ
    ェクトを判定するステップと、 前記オブジェクトを前記ジェスチャとともに前記システ
    ムまたは前記アプリケーションに渡すステップとをさら
    に備えたことを特徴とする請求項１に記載のジェスチャ
    判定方法。
  4. 【請求項４】 受け取った前記ストロークをレンダリン
    グするステップをさらに備えたことを特徴とする請求項
    １に記載のジェスチャ判定方法。
  5. 【請求項５】 前記ストロークは前記ページ上の任意の
    位置に置かれることを特徴とする請求項１に記載のジェ
    スチャ判定方法。
  6. 【請求項６】 ページを閲覧するユーザからジェスチャ
    を受け取ったかどうかを判定するジェスチャ判定方法で
    あって、 前記ページ上に置かれたストロークを受け取るステップ
    と、 前記ページ上に前記ストロークをレンダリングするステ
    ップと、 前記ストロークをアプリケーションに送るステップと、 前記ストロークがジェスチャを含むかどうかを前記アプ
    リケーション中で判定するステップと、 前記ジェスチャを処理するステップとを備えたことを特
    徴とするジェスチャ判定方法。
  7. 【請求項７】 ジェスチャを記憶するデータ構造であっ
    て、 前記ジェスチャの識別と関連付けられた第１の部分と、 前記ジェスチャの正規化された形状を記述する第２の部
    分と、 前記ジェスチャのアクション範囲を記述する第３の部分
    と、 デフォルトアクション又はコントロールメソッド若しく
    はプロパティを記述する第４の部分とを備えたことを特
    徴とするデータ構造。
  8. 【請求項８】 受け取ったストロークがジェスチャであ
    るかどうかを判定するジェスチャ判定方法であって、 少なくとも１つのストロークを正規化して少なくとも１
    つの正規化されたストロークを生成するステップと、 前記少なくとも１つのストロークの座標のチェビチェフ
    多項式を計算するステップと、 前記少なくとも１つの正規化したストロークと前記チェ
    ビチェフ多項式とを組み合わせてベイズネットを生成す
    るステップと、 前記ベイズネットと、既知のジェスチャについて以前に
    計算したベイズネットとを比較するステップと、 前記ベイズネットが前記計算したベイズネットの１つと
    相関するかどうかを判定するステップと、 前記ベイズネットが前記計算したベイズネットの１つと
    相関する場合、前記少なくとも１つのストロークを、前
    記計算したベイズネットの前記１つに対応するジェスチ
    ャとして処理するステップとを備えたことを特徴とする
    ジェスチャ判定方法。
  9. 【請求項９】 前記少なくとも１つのストロークを単一
    のポイントストリームに圧縮するステップと、 前記単一のポイントストリームを使用して前記ベイズネ
    ットを生成するステップとをさらに備えたことを特徴と
    する請求項８に記載のジェスチャ判定方法。
  10. 【請求項１０】 前記少なくとも１つのストロークの点
    の入力時間をスケーリングしてスケーリングした時間を
    生成するステップと、 前記スケーリングした時間を使用して前記ベイズネット
    を生成するステップとをさらに備えたことを特徴とする
    請求項８に記載のジェスチャ判定方法。
  11. 【請求項１１】 前記少なくとも１つのストロークのス
    トローク屈曲と継続時間とを計算するステップと、 前記スケーリングした時間を前記ベイズネットで使用す
    るステップとをさらに備えたことを特徴とする請求項１
    ０に記載のジェスチャ判定方法。
  12. 【請求項１２】 ページを閲覧するユーザからジェスチ
    ャを受け取ったかどうかを判定するプログラムを含むコ
    ンピュータ読み取り可能な記録媒体であって、前記プロ
    グラムは、 前記ページ上に置かれたストロークを受け取るステップ
    と、 前記ストロークがジェスチャを含むかどうかを判定する
    ステップと、 前記ジェスチャを受け取ったことをシステムまたはアプ
    リケーションに通知するステップとを実行する命令を備
    えたことを特徴とするコンピュータ読み取り可能な記録
    媒体。
  13. 【請求項１３】 前記プログラムは、 前記ジェスチャを形成した前記ストロークを消去するス
    テップを実行する命令をさらに備えたことを特徴とする
    請求項１２に記載のコンピュータ読み取り可能な記録媒
    体。
  14. 【請求項１４】 前記プログラムは、 前記ジェスチャと関連付けられたオブジェクトを判定す
    るステップと、 前記オブジェクトを前記ジェスチャとともに前記システ
    ムまたは前記アプリケーションに渡すステップとを実行
    する命令をさらに備えたことを特徴とする請求項１２に
    記載のコンピュータ読み取り可能な記録媒体。
  15. 【請求項１５】 前記プログラムは、前記受け取ったス
    トロークをレンダリングするステップを実行する命令を
    さらに備えたことを特徴とする請求項１２に記載のコン
    ピュータ読み取り可能な記録媒体。
  16. 【請求項１６】 前記ストロークは前記ページ上の任意
    の位置に置かれることを特徴とする請求項１２に記載の
    コンピュータ読み取り可能な記録媒体。
  17. 【請求項１７】 ジェスチャを実施するシステムであっ
    て、 ページを表示するディスプレイと関連付けられたデジタ
    イザと、 スタイラスと、 プロセッサとを備え、 前記ページ上の任意の位置で受け取ったストロークに応
    答して、前記スタイラスと前記デジタイザとの対話によ
    り、前記プロセッサは、前記ストロークがジェスチャを
    含むかどうかを判定し、前記ジェスチャのアクション範
    囲と前記ジェスチャのメソッドまたはプロパティとを使
    用して前記ジェスチャを処理することを特徴とするシス
    テム。
JP2003028762A 2002-02-08 2003-02-05 ジェスチャ判定方法及び記録媒体 Pending JP2003308482A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/068,009 2002-02-08
US10/068,009 US6938222B2 (en) 2002-02-08 2002-02-08 Ink gestures

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008231463A Division JP4694606B2 (ja) 2002-02-08 2008-09-09 ジェスチャ判定方法

Publications (1)

Publication Number Publication Date
JP2003308482A true JP2003308482A (ja) 2003-10-31

Family

ID=27610523

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003028762A Pending JP2003308482A (ja) 2002-02-08 2003-02-05 ジェスチャ判定方法及び記録媒体
JP2008231463A Expired - Fee Related JP4694606B2 (ja) 2002-02-08 2008-09-09 ジェスチャ判定方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008231463A Expired - Fee Related JP4694606B2 (ja) 2002-02-08 2008-09-09 ジェスチャ判定方法

Country Status (5)

Country Link
US (3) US6938222B2 (ja)
EP (1) EP1335272A3 (ja)
JP (2) JP2003308482A (ja)
CN (1) CN100336053C (ja)
TW (1) TWI303377B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157070A (ja) * 2008-12-26 2010-07-15 Fujifilm Corp 情報表示装置、方法およびプログラム
JP2011248888A (ja) * 2010-05-25 2011-12-08 Intel Corp デュアルスクリーン上のユーザジェスチャのための方法及びデュアルスクリーンデバイス
JP2012014746A (ja) * 2004-09-13 2012-01-19 Microsoft Corp フリックジェスチャ
JP2014135093A (ja) * 2014-04-23 2014-07-24 Sharp Corp タッチ描画表示装置及びその操作方法
JP2020009256A (ja) * 2018-07-10 2020-01-16 富士通株式会社 プログラム、情報処理装置及び筆跡入力判定方法
JP2021082274A (ja) * 2019-11-20 2021-05-27 株式会社リコー 表示装置、表示方法、プログラム

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
JP2003122492A (ja) * 2001-10-10 2003-04-25 Wacom Co Ltd 入力システム、プログラム、および、記録媒体
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US7262764B2 (en) * 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7142197B2 (en) * 2002-10-31 2006-11-28 Microsoft Corporation Universal computing device
KR20040083788A (ko) * 2003-03-25 2004-10-06 삼성전자주식회사 제스쳐 커맨드를 이용하여 프로그램을 구동시킬 수 있는휴대용 단말기 및 이를 이용한 프로그램 구동 방법
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US20060028429A1 (en) * 2004-08-09 2006-02-09 International Business Machines Corporation Controlling devices' behaviors via changes in their relative locations and positions
US8169410B2 (en) 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
KR100597798B1 (ko) * 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US20060267967A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US8643605B2 (en) * 2005-11-21 2014-02-04 Core Wireless Licensing S.A.R.L Gesture based document editor
US7913165B2 (en) * 2005-12-15 2011-03-22 Kyocera Corporation Inserting objects using a text editor that supports scalable fonts
US7701457B2 (en) * 2006-02-21 2010-04-20 Chrysler Group Llc Pen-based 3D drawing system with geometric-constraint based 3D cross curve drawing
US7661068B2 (en) * 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US8050500B1 (en) * 2006-07-06 2011-11-01 Senapps, LLC Recognition method and system
JP4762070B2 (ja) 2006-07-19 2011-08-31 富士通株式会社 手書き入力装置、手書き入力方法、及びコンピュータプログラム
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US7752555B2 (en) * 2007-01-31 2010-07-06 Microsoft Corporation Controlling multiple map application operations with a single gesture
TWI339806B (en) * 2007-04-04 2011-04-01 Htc Corp Electronic device capable of executing commands therein and method for executing commands in the same
WO2009024971A2 (en) 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
EP2191397B1 (en) * 2007-08-20 2019-01-23 Qualcomm Incorporated Enhanced rejection of out-of-vocabulary words
CN101399897B (zh) * 2007-09-30 2010-12-29 宏达国际电子股份有限公司 图像处理方法
KR20090052673A (ko) * 2007-11-21 2009-05-26 엘지전자 주식회사 단말기, 그 제어 방법 및 이를 위한 기록 매체
US8566752B2 (en) * 2007-12-21 2013-10-22 Ricoh Co., Ltd. Persistent selection marks
CN102165410A (zh) * 2008-01-31 2011-08-24 惠普开发有限公司 打印结构化文档
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US9268483B2 (en) * 2008-05-16 2016-02-23 Microsoft Technology Licensing, Llc Multi-touch input platform
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
WO2010006087A1 (en) * 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
US8619048B2 (en) * 2008-08-08 2013-12-31 Moonsun Io Ltd. Method and device of stroke based user input
CN101667074B (zh) * 2008-09-03 2011-12-07 联想(北京)有限公司 一种通过图形输入完成操作的装置及其方法
US8223121B2 (en) 2008-10-20 2012-07-17 Sensor Platforms, Inc. Host system and method for determining an attitude of a device undergoing dynamic acceleration
US9335909B2 (en) * 2009-06-03 2016-05-10 Honda Motor Co., Ltd. Drawing assist device, drawing assist program, and drawing assist method
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20100153890A1 (en) * 2008-12-11 2010-06-17 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices
US8587519B2 (en) * 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US9846533B2 (en) * 2009-03-16 2017-12-19 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
KR20100107615A (ko) * 2009-03-26 2010-10-06 주식회사 팬택 터치입력을 이용한 데이터 편집 방법 및 휴대용 단말기
US8819597B2 (en) * 2009-04-10 2014-08-26 Google Inc. Glyph entry on computing device
TWI444858B (zh) * 2009-05-27 2014-07-11 Htc Corp Method and system for updating the gesture track of hand - held touch device
US8386963B2 (en) * 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
JP5446624B2 (ja) * 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
US8519960B2 (en) * 2009-09-17 2013-08-27 Aten International Co., Ltd. Method and apparatus for switching of KVM switch ports using gestures on a touch panel
US8587532B2 (en) 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20110210850A1 (en) * 2010-02-26 2011-09-01 Phuong K Tran Touch-screen keyboard with combination keys and directional swipes
US11429272B2 (en) * 2010-03-26 2022-08-30 Microsoft Technology Licensing, Llc Multi-factor probabilistic model for evaluating user input
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
CN101986248A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 在计算机控制中使用手势对象取代菜单的方法
CN101986249A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 使用手势对象控制计算机的方法及相应的计算机***
JP2012022639A (ja) 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
US9021402B1 (en) 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US8911165B2 (en) 2011-01-24 2014-12-16 5 Examples, Inc. Overloaded typing apparatuses, and related devices, systems, and methods
JP5536690B2 (ja) * 2011-02-10 2014-07-02 シャープ株式会社 タッチ描画表示装置及びその操作方法
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US9134899B2 (en) 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
US8719695B2 (en) 2011-05-31 2014-05-06 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US20130093719A1 (en) 2011-10-17 2013-04-18 Sony Mobile Communications Japan, Inc. Information processing apparatus
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
KR101873741B1 (ko) * 2011-10-26 2018-07-03 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR20130075849A (ko) * 2011-12-28 2013-07-08 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상 표시 방법
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US20130227460A1 (en) * 2012-02-27 2013-08-29 Bjorn David Jawerth Data entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods
US8504842B1 (en) 2012-03-23 2013-08-06 Google Inc. Alternative unlocking patterns
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
KR20140008987A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
CN104246680B (zh) * 2012-07-24 2018-04-10 慧与发展有限责任合伙企业 发起帮助特征
JP2014032632A (ja) * 2012-08-06 2014-02-20 Toshiba Corp 電子機器、方法、およびプログラム
US9792038B2 (en) * 2012-08-17 2017-10-17 Microsoft Technology Licensing, Llc Feedback via an input device and scribble recognition
US9020845B2 (en) * 2012-09-25 2015-04-28 Alexander Hieronymous Marlowe System and method for enhanced shopping, preference, profile and survey data input and gathering
KR102210278B1 (ko) * 2012-12-06 2021-02-02 삼성전자주식회사 디스플레이 장치 및 제어 방법
US11269431B2 (en) * 2013-06-19 2022-03-08 Nokia Technologies Oy Electronic-scribed input
US9811238B2 (en) 2013-08-29 2017-11-07 Sharp Laboratories Of America, Inc. Methods and systems for interacting with a digital marking surface
WO2015141260A1 (ja) * 2014-03-17 2015-09-24 株式会社河合楽器製作所 手書き音楽記号認識装置およびプログラム
US20160048318A1 (en) * 2014-08-15 2016-02-18 Microsoft Technology Licensing, Llc Detecting selection of digital ink
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
US9338627B1 (en) 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
US9965445B2 (en) * 2015-08-06 2018-05-08 FiftyThree, Inc. Systems and methods for gesture-based formatting
US10402734B2 (en) 2015-08-26 2019-09-03 Google Llc Temporal based word segmentation
US10210383B2 (en) 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US20170068436A1 (en) * 2015-09-03 2017-03-09 Microsoft Technology Licensing, Llc Interpreting and Supplementing Captured Stroke Information
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US11500535B2 (en) * 2015-10-29 2022-11-15 Lenovo (Singapore) Pte. Ltd. Two stroke quick input selection
US11402991B2 (en) * 2015-12-01 2022-08-02 Myscript System and method for note taking with gestures
US10755029B1 (en) 2016-01-05 2020-08-25 Quirklogic, Inc. Evaluating and formatting handwritten input in a cell of a virtual canvas
US10324618B1 (en) * 2016-01-05 2019-06-18 Quirklogic, Inc. System and method for formatting and manipulating digital ink
US20170285931A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
CN111610858B (zh) * 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
JP6807248B2 (ja) * 2017-02-24 2021-01-06 株式会社東芝 表示制御装置及び表示制御プログラム
US10429954B2 (en) 2017-05-31 2019-10-01 Microsoft Technology Licensing, Llc Multi-stroke smart ink gesture language
TWI660292B (zh) * 2018-05-16 2019-05-21 群光電子股份有限公司 游標移動輔助系統及方法
US10872199B2 (en) * 2018-05-26 2020-12-22 Microsoft Technology Licensing, Llc Mapping a gesture and/or electronic pen attribute(s) to an advanced productivity action
CN112639700A (zh) * 2018-11-19 2021-04-09 深圳市柔宇科技股份有限公司 手写笔迹处理方法、手写输入设备及计算机可读存储介质
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
US11531454B2 (en) * 2020-12-10 2022-12-20 Microsoft Technology Licensing, Llc Selecting content in ink documents using a hierarchical data structure
US11587346B2 (en) 2020-12-10 2023-02-21 Microsoft Technology Licensing, Llc Detecting ink gestures based on spatial and image data processing
US20230315271A1 (en) * 2022-03-18 2023-10-05 Sony Group Corporation Collaborative whiteboard for meetings

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369737A (en) * 1988-03-21 1994-11-29 Digital Equipment Corporation Normalization of vectors associated with a display pixels of computer generated images
AU624838B2 (en) * 1988-05-27 1992-06-25 Global 360, Inc. Document annotation and manipulation in a data processing system
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5946406A (en) 1991-06-17 1999-08-31 Microsoft Corporation Method and system for data entry of handwritten symbols
US5583542A (en) * 1992-05-26 1996-12-10 Apple Computer, Incorporated Method for deleting objects on a computer display
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5481278A (en) 1992-10-21 1996-01-02 Sharp Kabushiki Kaisha Information processing apparatus
US5752059A (en) * 1992-12-29 1998-05-12 Apple Computer, Inc. Apparatus and method for representing electronic mail
US5502803A (en) * 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
US5920694A (en) 1993-03-19 1999-07-06 Ncr Corporation Annotation of computer video displays
US5517578A (en) 1993-05-20 1996-05-14 Aha! Software Corporation Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
US5367453A (en) 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
JPH07114621A (ja) * 1993-10-15 1995-05-02 Hitachi Ltd ジェスチャ認識方法およびそれを用いたジェスチャ認識装置
US5687254A (en) 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
JP3486459B2 (ja) * 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
US5666438A (en) * 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5880743A (en) * 1995-01-24 1999-03-09 Xerox Corporation Apparatus and method for implementing visual animation illustrating results of interactive editing operations
US5764797A (en) * 1995-04-25 1998-06-09 Microsoft Corporation Method and system for modeling handwriting using polynomials as a function of time
US6049329A (en) 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus
GB2317090B (en) 1996-09-06 2001-04-04 Quantel Ltd An electronic graphic system
JPH1174929A (ja) * 1997-08-29 1999-03-16 Sharp Corp 電子メール処理方法及び電子メール処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH1186016A (ja) * 1997-09-09 1999-03-30 Canon Inc 情報処理方法及び装置及びその記憶媒体
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JPH11327789A (ja) 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
EP0980038A3 (en) * 1998-08-13 2002-11-20 Motorola, Inc. Device and method simultaneously presenting text and handwritten characters in a common area of a user interface
JP3475235B2 (ja) * 1999-03-08 2003-12-08 東京農工大学長 表示装置の表示内容制御方法
US6671405B1 (en) * 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体
US6771254B2 (en) * 2000-11-10 2004-08-03 Microsoft Corporation Stylus nibs for providing a pen-and-paper feel for use with a tablet-and-stylus computer
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
JP4102105B2 (ja) * 2002-05-24 2008-06-18 株式会社日立製作所 電子ペンを利用した書類記入システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014746A (ja) * 2004-09-13 2012-01-19 Microsoft Corp フリックジェスチャ
US9417701B2 (en) 2004-09-13 2016-08-16 Microsoft Technology Licensing, Llc Flick gesture
JP2010157070A (ja) * 2008-12-26 2010-07-15 Fujifilm Corp 情報表示装置、方法およびプログラム
JP2011248888A (ja) * 2010-05-25 2011-12-08 Intel Corp デュアルスクリーン上のユーザジェスチャのための方法及びデュアルスクリーンデバイス
JP2014135093A (ja) * 2014-04-23 2014-07-24 Sharp Corp タッチ描画表示装置及びその操作方法
JP2020009256A (ja) * 2018-07-10 2020-01-16 富士通株式会社 プログラム、情報処理装置及び筆跡入力判定方法
JP7102996B2 (ja) 2018-07-10 2022-07-20 富士通株式会社 プログラム、情報処理装置及び筆跡入力判定方法
JP2021082274A (ja) * 2019-11-20 2021-05-27 株式会社リコー 表示装置、表示方法、プログラム
JP7259828B2 (ja) 2019-11-20 2023-04-18 株式会社リコー 表示装置、表示方法、プログラム

Also Published As

Publication number Publication date
EP1335272A3 (en) 2004-08-04
JP2008305437A (ja) 2008-12-18
US7536656B2 (en) 2009-05-19
EP1335272A2 (en) 2003-08-13
US20030156145A1 (en) 2003-08-21
US20050229117A1 (en) 2005-10-13
US7305630B2 (en) 2007-12-04
US20050111736A1 (en) 2005-05-26
US6938222B2 (en) 2005-08-30
CN100336053C (zh) 2007-09-05
CN1437136A (zh) 2003-08-20
TWI303377B (en) 2008-11-21
JP4694606B2 (ja) 2011-06-08
TW200302977A (en) 2003-08-16

Similar Documents

Publication Publication Date Title
JP4694606B2 (ja) ジェスチャ判定方法
US7848573B2 (en) Scaled text replacement of ink
US7106312B2 (en) Text input window with auto-growth
US7735007B2 (en) Adding and removing white space from a document
US7614019B2 (en) Asynchronous and synchronous gesture recognition
EP1683075B1 (en) Boxed and lined input panel
US7336828B2 (en) Multiple handwriting recognition engine selection
US7770129B2 (en) Viewable document section
JP2019507915A (ja) ジェスチャを用いたノートテイキングのための装置および方法
JP2000250866A (ja) 電子書き込みペンツールと電子マーカツールを自動的に選択する方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080909

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090126

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20090128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090128

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090306

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090410

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100615