JP4694606B2 - ジェスチャ判定方法 - Google Patents
ジェスチャ判定方法 Download PDFInfo
- Publication number
- JP4694606B2 JP4694606B2 JP2008231463A JP2008231463A JP4694606B2 JP 4694606 B2 JP4694606 B2 JP 4694606B2 JP 2008231463 A JP2008231463 A JP 2008231463A JP 2008231463 A JP2008231463 A JP 2008231463A JP 4694606 B2 JP4694606 B2 JP 4694606B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- stroke
- gestures
- bayes
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000012545 processing Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 description 38
- 239000000976 ink Substances 0.000 description 21
- 230000008569 process Effects 0.000 description 12
- 241001422033 Thestylus Species 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 239000006063 cullet Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
Description
本開示の各種態様の理解のために次の用語を定義する。代替となる定義が当技術分野で知られる場合があり、以下の定義を補足する可能性がある。
図1は、本発明の各種態様を実施するのに使用することのできる従来の汎用デジタルコンピューティング環境の略図である。図1で、コンピュータ100は、プロセッサ110、システムメモリ120、およびシステムメモリを含む各種のシステムコンポーネントをプロセッサ110に結合するシステムバス130を含む。システムバス130は、各種のバスアーキテクチャのうち任意のものを使用した、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む数種のバス構造のいずれでもよい。システムメモリ120は、読み取り専用メモリ(ROM)140およびランダムアクセスメモリ(RAM)150を含む。
ジェスチャは、一般に、手書きインク以上の何かを意図したスタイラスの動きと定義することができる。特定のインクエレメントを描画する2つの方式が存在し、2番目の方式が1番目の方式よりも複雑である場合は、2番目の方式をジェスチャであると考える、あるいは仮定することが好ましい場合がある。例えば、スタイラスが一点を中心に物理的に約360度移動する単一の円は、描かれた円、「o」の文字、あるいは数字のゼロと考えることができるのに対し、それ自体の上をなぞる二重の円はジェスチャと考えることができる。他のジェスチャも使用することができる。
各ジェスチャには、1つまたは複数のデフォルトアクションを関連付けることができる。例えば、タップ(軽い接触;tap)には一般的な選択アクションを関連付けることができる。タップの前に他のタップがない場合、そのタップはワードの選択にすることができる。タップの前に1回タップがあった場合は、後のタップは文章の選択にすることができる。タップの前に2回タップがあった場合は、最後のタップで段落全体を選択することができる。同様に、4回タップがあった場合は、最後のタップですべてを選択することができる。
ジェスチャのアクション範囲は、そのジェスチャが影響を及ぼす範囲である。例えば、チェックマークが、項目またはボタン、あるいはユーザインタフェースの一部についてのヘルプを求めるジェスチャである場合には、チェックマークのアクション範囲は、チェックマークの曲がった部分の周辺の狭い領域であることが考えられる。したがって、ユーザは、ユーザがヘルプを求める事柄の上にチェックマークのアクション範囲を置くことになる。
位置は、ジェスチャの別の側面である。位置は、表示画面に相対的に、かつ/またはインクなど画面に表示された別のオブジェクトに相対的に測定することができる。ある場合には、ジェスチャの位置は他の側面に比べて重要性が低い場合がある。別の場合には、ジェスチャの位置が、ジェスチャの特徴の最も重要な特性の1つまたはジェスチャを定義する特性である場合もある。例えば、文章を選択し、次いでその文章から1ワードを削除したい場合、文章と削除しようとするワードとの間に雑にXの削除ジェスチャを配置すると、そのXの位置にどれだけ関連性があったかの解釈に応じて異なる結果になる。1つのアプローチでは、アクション範囲がその選択部分を包含することができ、選択部分を削除するように指示するので、文章が削除される。あるいは、Xは実際には選択部分の上にはなかったという事実、そしてしたがって、Xの位置は、ジェスチャの意図が選択ではなくワードの削除であることを示す。
ジェスチャは、ジェスチャのサイズに基づいて別の特性を有することができる。この情報により、ジェスチャがそれが変更するものに対して様々に異なる効果または広がりを有することが可能になる。例えば、左角括弧は1行分の高さか、あるいは複数行分の高さとすることが可能である。3行分の高さの左角括弧の場合には、2行分の高さの左角括弧よりも広い範囲の選択が意図される。
ジェスチャの形状は、それがカバーする範囲に依存することができる。例えば、高さが3テキスト行分の左角括弧は、高さが1テキスト行分しかない左角括弧とは異なる高さ/幅の比を有することが考えられる。さらに、一部のジェスチャの実際の形状内容はサイズ以外で異なる場合がある。太字または大文字にするためにテキストの下に描かれた波線のジェスチャは、それが長くなるほど線の中により多くの***を有する可能性がある。したがって、ジェスチャの認識には、ジェスチャのサイズを単位範囲に正規化することを含めることができる。認識には、形状を照合して、単一のジェスチャ(波線)を繰り返してより広い範囲をカバーしているかどうかを判定することを含めることができる。
実際のジェスチャがより正確にジェスチャとして認識されるほど好ましい。また、インクを誤ってジェスチャと認識しないことも好ましい。図4は、特定のストロークをジェスチャとして認識し、それらをジェスチャでないストロークと区別する例示的プロセスを示す。
ジェスチャの実行は、アプリケーションがジェスチャで何を行うことになっているか(そのジェスチャのサイズ、形状、および位置により)、および、オペレーティングシステムがそのジェスチャに関する情報をどのようにそのアプリケーションに伝達するかに依存する可能性がある。あるジェスチャはオペレーティングシステムによって解釈され、1つまたは複数のマウスおよび/またはキーボードの動きとしてアプリケーションに渡すことができる。他のジェスチャは、オペレーティングシステムでは解釈することができず、アプリケーションだけによって認識される。この場合そのアプリケーションは、ジェスチャの各種の側面または特性に基づいて、そのジェスチャで何を行うかを判定する必要がある。さらに、ジェスチャの解釈アプリケーションを使用して、所与の1つまたは複数のジェスチャを全く理解しないオペレーティングシステムを用いる、ジェスチャ非対応アプリケーションとのインタフェースをとることができる。
図7は、ジェスチャを表すのに使用することのできるデータ構造701の一実施形態の一例を示す。配列、リンクされたリストなどを含むこの他のデータ構造も使用することができる。セクション702は、ジェスチャの一般的な仕様に関連する。セクション703は、削除のジェスチャに関連する。セクション704は、選択開始のジェスチャに関連する。
101 キーボード
102 ポインティングデバイス
106 シリアルポートインタフェース
107 モニタ
108 ビデオアダプタ
110 プロセッサ
111 メモリ記憶装置
112 LAN
113 WAN
114 アダプタ
115 モデム
120 システムメモリ
130 システムバス
140 ROM
150 RAM
160 BIOS
165 ペンデジタイザ
166、204 スタイラス
170 ハードディスクドライブ
180 磁気ディスクドライブ
190 磁気ディスク
191 光ディスクドライブ
192 ハードディスクドライブインタフェース
193 磁気ディスクドライブインタフェース
194 光ディスクドライブインタフェース
195a、195b オペレーティングシステム
196a、196b、196a アプリケーションプログラム
197a、197b プログラムモジュール
198a、198b プログラムデータ
199 光ディスク
201 コンピュータ処理システム(タブレットPC)
202 表示面
203 ウィンドウ
205 領域
301 ジェスチャにアクセス
302 ジェスチャ作成
303 ジェスチャ実行
304 リターン
701 データ構造
702、703、704、705、706、707、708 セクション
Claims (1)
- 受け取ったストロークがジェスチャであるかどうかを判定するジェスチャ判定方法であって、
少なくとも1つのストロークを正規化して少なくとも1つの正規化されたストロークを生成するステップと、
前記少なくとも1つのストロークの座標のチェビチェフ多項式を計算するステップと、
前記少なくとも1つの正規化したストロークと前記チェビチェフ多項式とを組み合わせてベイズネットを生成するステップと、
前記ベイズネットと、既知のジェスチャについて以前に計算したベイズネットとを比較するステップと、
前記ベイズネットが前記計算したベイズネットの1つと相関するかどうかを判定するステップと、
前記ベイズネットが前記計算したベイズネットの1つと相関する場合、前記少なくとも1つのストロークを、前記計算したベイズネットの前記1つに対応するジェスチャとして処理するステップと、
前記少なくとも1つのストロークを単一のポイントストリームに圧縮するステップと、
前記少なくとも1つのストロークの点の入力時間をスケーリングしてスケーリングした時間を生成するステップと、
前記単一のポイントストリーム又は前記スケーリングした時間を使用して前記ベイズネットを生成するステップと、
前記少なくとも1つのストロークのストローク屈曲と継続時間とを計算し、前記ストローク屈曲と前記継続時間の一部又はすべてを前記ベイズネットに組み合わせるステップと、
前記スケーリングした時間を前記ベイズネットで使用するステップと
を備えたことを特徴とするジェスチャ判定方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/068,009 | 2002-02-08 | ||
US10/068,009 US6938222B2 (en) | 2002-02-08 | 2002-02-08 | Ink gestures |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003028762A Division JP2003308482A (ja) | 2002-02-08 | 2003-02-05 | ジェスチャ判定方法及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008305437A JP2008305437A (ja) | 2008-12-18 |
JP4694606B2 true JP4694606B2 (ja) | 2011-06-08 |
Family
ID=27610523
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003028762A Pending JP2003308482A (ja) | 2002-02-08 | 2003-02-05 | ジェスチャ判定方法及び記録媒体 |
JP2008231463A Expired - Fee Related JP4694606B2 (ja) | 2002-02-08 | 2008-09-09 | ジェスチャ判定方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003028762A Pending JP2003308482A (ja) | 2002-02-08 | 2003-02-05 | ジェスチャ判定方法及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (3) | US6938222B2 (ja) |
EP (1) | EP1335272A3 (ja) |
JP (2) | JP2003308482A (ja) |
CN (1) | CN100336053C (ja) |
TW (1) | TWI303377B (ja) |
Families Citing this family (137)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
US20070177804A1 (en) * | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
US7760187B2 (en) | 2004-07-30 | 2010-07-20 | Apple Inc. | Visual expander |
US7916124B1 (en) | 2001-06-20 | 2011-03-29 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
JP2003122492A (ja) * | 2001-10-10 | 2003-04-25 | Wacom Co Ltd | 入力システム、プログラム、および、記録媒体 |
US7133031B2 (en) * | 2002-10-31 | 2006-11-07 | Microsoft Corporation | Optical system design for a universal computing device |
US7262764B2 (en) * | 2002-10-31 | 2007-08-28 | Microsoft Corporation | Universal computing device for surface applications |
US7133563B2 (en) | 2002-10-31 | 2006-11-07 | Microsoft Corporation | Passive embedded interaction code |
US7142197B2 (en) * | 2002-10-31 | 2006-11-28 | Microsoft Corporation | Universal computing device |
KR20040083788A (ko) * | 2003-03-25 | 2004-10-06 | 삼성전자주식회사 | 제스쳐 커맨드를 이용하여 프로그램을 구동시킬 수 있는휴대용 단말기 및 이를 이용한 프로그램 구동 방법 |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US8542219B2 (en) * | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US7831933B2 (en) | 2004-03-17 | 2010-11-09 | Leapfrog Enterprises, Inc. | Method and system for implementing a user interface for a device employing written graphical elements |
US20060127872A1 (en) * | 2004-03-17 | 2006-06-15 | James Marggraff | Method and device for associating a user writing with a user-writable element |
US7853193B2 (en) * | 2004-03-17 | 2010-12-14 | Leapfrog Enterprises, Inc. | Method and device for audibly instructing a user to interact with a function |
US8448083B1 (en) * | 2004-04-16 | 2013-05-21 | Apple Inc. | Gesture control of multimedia editing applications |
US7728821B2 (en) * | 2004-08-06 | 2010-06-01 | Touchtable, Inc. | Touch detecting interactive display |
US7719523B2 (en) | 2004-08-06 | 2010-05-18 | Touchtable, Inc. | Bounding box gesture recognition on a touch detecting interactive display |
US20060028429A1 (en) * | 2004-08-09 | 2006-02-09 | International Business Machines Corporation | Controlling devices' behaviors via changes in their relative locations and positions |
US7761814B2 (en) | 2004-09-13 | 2010-07-20 | Microsoft Corporation | Flick gesture |
US8169410B2 (en) | 2004-10-20 | 2012-05-01 | Nintendo Co., Ltd. | Gesture inputs for a portable display device |
US7826074B1 (en) | 2005-02-25 | 2010-11-02 | Microsoft Corporation | Fast embedded interaction code printing with custom postscript commands |
US7421439B2 (en) | 2005-04-22 | 2008-09-02 | Microsoft Corporation | Global metadata embedding and decoding |
KR100597798B1 (ko) * | 2005-05-12 | 2006-07-10 | 삼성전자주식회사 | 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법 |
US20060267966A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Hover widgets: using the tracking state to extend capabilities of pen-operated devices |
US20060267967A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Phrasing extensions and multiple modes in one spring-loaded control |
US7400777B2 (en) | 2005-05-25 | 2008-07-15 | Microsoft Corporation | Preprocessing for information pattern analysis |
US7729539B2 (en) | 2005-05-31 | 2010-06-01 | Microsoft Corporation | Fast error-correcting of embedded interaction codes |
US7922099B1 (en) | 2005-07-29 | 2011-04-12 | Leapfrog Enterprises, Inc. | System and method for associating content with an image bearing surface |
US7817816B2 (en) | 2005-08-17 | 2010-10-19 | Microsoft Corporation | Embedded interaction code enabled surface type identification |
US8643605B2 (en) * | 2005-11-21 | 2014-02-04 | Core Wireless Licensing S.A.R.L | Gesture based document editor |
US7913165B2 (en) * | 2005-12-15 | 2011-03-22 | Kyocera Corporation | Inserting objects using a text editor that supports scalable fonts |
US7701457B2 (en) * | 2006-02-21 | 2010-04-20 | Chrysler Group Llc | Pen-based 3D drawing system with geometric-constraint based 3D cross curve drawing |
US7661068B2 (en) * | 2006-06-12 | 2010-02-09 | Microsoft Corporation | Extended eraser functions |
US8050500B1 (en) * | 2006-07-06 | 2011-11-01 | Senapps, LLC | Recognition method and system |
JP4762070B2 (ja) | 2006-07-19 | 2011-08-31 | 富士通株式会社 | 手書き入力装置、手書き入力方法、及びコンピュータプログラム |
US8261967B1 (en) | 2006-07-19 | 2012-09-11 | Leapfrog Enterprises, Inc. | Techniques for interactively coupling electronic content with printed media |
US7856605B2 (en) | 2006-10-26 | 2010-12-21 | Apple Inc. | Method, system, and graphical user interface for positioning an insertion marker in a touch screen display |
US8570278B2 (en) | 2006-10-26 | 2013-10-29 | Apple Inc. | Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker |
US7844915B2 (en) | 2007-01-07 | 2010-11-30 | Apple Inc. | Application programming interfaces for scrolling operations |
US7752555B2 (en) * | 2007-01-31 | 2010-07-06 | Microsoft Corporation | Controlling multiple map application operations with a single gesture |
TWI339806B (en) * | 2007-04-04 | 2011-04-01 | Htc Corp | Electronic device capable of executing commands therein and method for executing commands in the same |
WO2009024971A2 (en) | 2007-08-19 | 2009-02-26 | Saar Shai | Finger-worn devices and related methods of use |
US9261979B2 (en) * | 2007-08-20 | 2016-02-16 | Qualcomm Incorporated | Gesture-based mobile interaction |
EP2191397B1 (en) * | 2007-08-20 | 2019-01-23 | Qualcomm Incorporated | Enhanced rejection of out-of-vocabulary words |
CN101399897B (zh) * | 2007-09-30 | 2010-12-29 | 宏达国际电子股份有限公司 | 图像处理方法 |
KR20090052673A (ko) * | 2007-11-21 | 2009-05-26 | 엘지전자 주식회사 | 단말기, 그 제어 방법 및 이를 위한 기록 매체 |
US8566752B2 (en) * | 2007-12-21 | 2013-10-22 | Ricoh Co., Ltd. | Persistent selection marks |
CN102165410A (zh) * | 2008-01-31 | 2011-08-24 | 惠普开发有限公司 | 打印结构化文档 |
US8201109B2 (en) | 2008-03-04 | 2012-06-12 | Apple Inc. | Methods and graphical user interfaces for editing on a portable multifunction device |
US8650507B2 (en) * | 2008-03-04 | 2014-02-11 | Apple Inc. | Selecting of text using gestures |
US9268483B2 (en) * | 2008-05-16 | 2016-02-23 | Microsoft Technology Licensing, Llc | Multi-touch input platform |
US8566717B2 (en) * | 2008-06-24 | 2013-10-22 | Microsoft Corporation | Rendering teaching animations on a user-interface display |
WO2010006087A1 (en) * | 2008-07-08 | 2010-01-14 | David Seaberg | Process for providing and editing instructions, data, data structures, and algorithms in a computer system |
KR101509245B1 (ko) * | 2008-07-31 | 2015-04-08 | 삼성전자주식회사 | 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법 |
US8619048B2 (en) * | 2008-08-08 | 2013-12-31 | Moonsun Io Ltd. | Method and device of stroke based user input |
CN101667074B (zh) * | 2008-09-03 | 2011-12-07 | 联想(北京)有限公司 | 一种通过图形输入完成操作的装置及其方法 |
US8223121B2 (en) | 2008-10-20 | 2012-07-17 | Sensor Platforms, Inc. | Host system and method for determining an attitude of a device undergoing dynamic acceleration |
US9335909B2 (en) * | 2009-06-03 | 2016-05-10 | Honda Motor Co., Ltd. | Drawing assist device, drawing assist program, and drawing assist method |
US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
US20100153890A1 (en) * | 2008-12-11 | 2010-06-17 | Nokia Corporation | Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices |
JP5108747B2 (ja) * | 2008-12-26 | 2012-12-26 | 富士フイルム株式会社 | 情報表示装置、方法およびプログラム |
US8587519B2 (en) * | 2009-01-07 | 2013-11-19 | Sensor Platforms, Inc. | Rolling gesture detection using a multi-dimensional pointing device |
US9846533B2 (en) * | 2009-03-16 | 2017-12-19 | Apple Inc. | Methods and graphical user interfaces for editing on a multifunction device with a touch screen display |
KR20100107615A (ko) * | 2009-03-26 | 2010-10-06 | 주식회사 팬택 | 터치입력을 이용한 데이터 편집 방법 및 휴대용 단말기 |
US8819597B2 (en) * | 2009-04-10 | 2014-08-26 | Google Inc. | Glyph entry on computing device |
TWI444858B (zh) * | 2009-05-27 | 2014-07-11 | Htc Corp | Method and system for updating the gesture track of hand - held touch device |
US8386963B2 (en) * | 2009-05-28 | 2013-02-26 | Microsoft Corporation | Virtual inking using gesture recognition |
JP5446624B2 (ja) * | 2009-09-07 | 2014-03-19 | ソニー株式会社 | 情報表示装置、情報表示方法及びプログラム |
US8519960B2 (en) * | 2009-09-17 | 2013-08-27 | Aten International Co., Ltd. | Method and apparatus for switching of KVM switch ports using gestures on a touch panel |
US8587532B2 (en) | 2009-12-18 | 2013-11-19 | Intel Corporation | Multi-feature interactive touch user interface |
US8786559B2 (en) * | 2010-01-06 | 2014-07-22 | Apple Inc. | Device, method, and graphical user interface for manipulating tables using multi-contact gestures |
US9268404B2 (en) * | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US20110210850A1 (en) * | 2010-02-26 | 2011-09-01 | Phuong K Tran | Touch-screen keyboard with combination keys and directional swipes |
US11429272B2 (en) * | 2010-03-26 | 2022-08-30 | Microsoft Technology Licensing, Llc | Multi-factor probabilistic model for evaluating user input |
US20110296333A1 (en) * | 2010-05-25 | 2011-12-01 | Bateman Steven S | User interaction gestures with virtual keyboard |
US20110307840A1 (en) * | 2010-06-10 | 2011-12-15 | Microsoft Corporation | Erase, circle, prioritize and application tray gestures |
US8773370B2 (en) | 2010-07-13 | 2014-07-08 | Apple Inc. | Table editing systems with gesture-based insertion and deletion of columns and rows |
CN101986248A (zh) * | 2010-07-14 | 2011-03-16 | 上海无戒空间信息技术有限公司 | 在计算机控制中使用手势对象取代菜单的方法 |
CN101986249A (zh) * | 2010-07-14 | 2011-03-16 | 上海无戒空间信息技术有限公司 | 使用手势对象控制计算机的方法及相应的计算机*** |
JP2012022639A (ja) | 2010-07-16 | 2012-02-02 | Ntt Docomo Inc | 表示装置、映像表示システムおよび映像表示方法 |
US9021402B1 (en) | 2010-09-24 | 2015-04-28 | Google Inc. | Operation of mobile device interface using gestures |
US8957909B2 (en) | 2010-10-07 | 2015-02-17 | Sensor Platforms, Inc. | System and method for compensating for drift in a display of a user interface state |
US9223471B2 (en) | 2010-12-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Touch screen control |
US8911165B2 (en) | 2011-01-24 | 2014-12-16 | 5 Examples, Inc. | Overloaded typing apparatuses, and related devices, systems, and methods |
JP5536690B2 (ja) * | 2011-02-10 | 2014-07-02 | シャープ株式会社 | タッチ描画表示装置及びその操作方法 |
US20120216113A1 (en) * | 2011-02-18 | 2012-08-23 | Google Inc. | Touch gestures for text-entry operations |
US20120216152A1 (en) * | 2011-02-23 | 2012-08-23 | Google Inc. | Touch gestures for remote control operations |
US9134899B2 (en) | 2011-03-14 | 2015-09-15 | Microsoft Technology Licensing, Llc | Touch gesture indicating a scroll on a touch-sensitive display in a single direction |
US8719695B2 (en) | 2011-05-31 | 2014-05-06 | Apple Inc. | Devices, methods, and graphical user interfaces for document manipulation |
US20130093719A1 (en) | 2011-10-17 | 2013-04-18 | Sony Mobile Communications Japan, Inc. | Information processing apparatus |
US8478777B2 (en) * | 2011-10-25 | 2013-07-02 | Google Inc. | Gesture-based search |
KR101873741B1 (ko) * | 2011-10-26 | 2018-07-03 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어 방법 |
KR20130075849A (ko) * | 2011-12-28 | 2013-07-08 | 삼성전자주식회사 | 디스플레이 장치 및 이를 이용한 영상 표시 방법 |
US9459276B2 (en) | 2012-01-06 | 2016-10-04 | Sensor Platforms, Inc. | System and method for device self-calibration |
US9316513B2 (en) | 2012-01-08 | 2016-04-19 | Sensor Platforms, Inc. | System and method for calibrating sensors for different operating environments |
US20130227460A1 (en) * | 2012-02-27 | 2013-08-29 | Bjorn David Jawerth | Data entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods |
US8504842B1 (en) | 2012-03-23 | 2013-08-06 | Google Inc. | Alternative unlocking patterns |
US9228842B2 (en) | 2012-03-25 | 2016-01-05 | Sensor Platforms, Inc. | System and method for determining a uniform external magnetic field |
KR20140008987A (ko) * | 2012-07-13 | 2014-01-22 | 삼성전자주식회사 | 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치 |
CN104246680B (zh) * | 2012-07-24 | 2018-04-10 | 慧与发展有限责任合伙企业 | 发起帮助特征 |
JP2014032632A (ja) * | 2012-08-06 | 2014-02-20 | Toshiba Corp | 電子機器、方法、およびプログラム |
US9792038B2 (en) * | 2012-08-17 | 2017-10-17 | Microsoft Technology Licensing, Llc | Feedback via an input device and scribble recognition |
US9020845B2 (en) * | 2012-09-25 | 2015-04-28 | Alexander Hieronymous Marlowe | System and method for enhanced shopping, preference, profile and survey data input and gathering |
KR102210278B1 (ko) * | 2012-12-06 | 2021-02-02 | 삼성전자주식회사 | 디스플레이 장치 및 제어 방법 |
US11269431B2 (en) * | 2013-06-19 | 2022-03-08 | Nokia Technologies Oy | Electronic-scribed input |
US9811238B2 (en) | 2013-08-29 | 2017-11-07 | Sharp Laboratories Of America, Inc. | Methods and systems for interacting with a digital marking surface |
WO2015141260A1 (ja) * | 2014-03-17 | 2015-09-24 | 株式会社河合楽器製作所 | 手書き音楽記号認識装置およびプログラム |
JP5801920B2 (ja) * | 2014-04-23 | 2015-10-28 | シャープ株式会社 | タッチ描画表示装置及びその操作方法 |
US20160048318A1 (en) * | 2014-08-15 | 2016-02-18 | Microsoft Technology Licensing, Llc | Detecting selection of digital ink |
US20160154555A1 (en) * | 2014-12-02 | 2016-06-02 | Lenovo (Singapore) Pte. Ltd. | Initiating application and performing function based on input |
US9338627B1 (en) | 2015-01-28 | 2016-05-10 | Arati P Singh | Portable device for indicating emergency events |
US9965445B2 (en) * | 2015-08-06 | 2018-05-08 | FiftyThree, Inc. | Systems and methods for gesture-based formatting |
US10402734B2 (en) | 2015-08-26 | 2019-09-03 | Google Llc | Temporal based word segmentation |
US10210383B2 (en) | 2015-09-03 | 2019-02-19 | Microsoft Technology Licensing, Llc | Interacting with an assistant component based on captured stroke information |
US20170068436A1 (en) * | 2015-09-03 | 2017-03-09 | Microsoft Technology Licensing, Llc | Interpreting and Supplementing Captured Stroke Information |
US10387034B2 (en) | 2015-09-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Modifying captured stroke information into an actionable form |
US11500535B2 (en) * | 2015-10-29 | 2022-11-15 | Lenovo (Singapore) Pte. Ltd. | Two stroke quick input selection |
US11402991B2 (en) * | 2015-12-01 | 2022-08-02 | Myscript | System and method for note taking with gestures |
US10755029B1 (en) | 2016-01-05 | 2020-08-25 | Quirklogic, Inc. | Evaluating and formatting handwritten input in a cell of a virtual canvas |
US10324618B1 (en) * | 2016-01-05 | 2019-06-18 | Quirklogic, Inc. | System and method for formatting and manipulating digital ink |
US20170285931A1 (en) | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | Operating visual user interface controls with ink commands |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
CN111610858B (zh) * | 2016-10-26 | 2023-09-19 | 创新先进技术有限公司 | 基于虚拟现实的交互方法及装置 |
JP6807248B2 (ja) * | 2017-02-24 | 2021-01-06 | 株式会社東芝 | 表示制御装置及び表示制御プログラム |
US10429954B2 (en) | 2017-05-31 | 2019-10-01 | Microsoft Technology Licensing, Llc | Multi-stroke smart ink gesture language |
TWI660292B (zh) * | 2018-05-16 | 2019-05-21 | 群光電子股份有限公司 | 游標移動輔助系統及方法 |
US10872199B2 (en) * | 2018-05-26 | 2020-12-22 | Microsoft Technology Licensing, Llc | Mapping a gesture and/or electronic pen attribute(s) to an advanced productivity action |
JP7102996B2 (ja) * | 2018-07-10 | 2022-07-20 | 富士通株式会社 | プログラム、情報処理装置及び筆跡入力判定方法 |
CN112639700A (zh) * | 2018-11-19 | 2021-04-09 | 深圳市柔宇科技股份有限公司 | 手写笔迹处理方法、手写输入设备及计算机可读存储介质 |
US11379113B2 (en) | 2019-06-01 | 2022-07-05 | Apple Inc. | Techniques for selecting text |
JP7259828B2 (ja) * | 2019-11-20 | 2023-04-18 | 株式会社リコー | 表示装置、表示方法、プログラム |
US11531454B2 (en) * | 2020-12-10 | 2022-12-20 | Microsoft Technology Licensing, Llc | Selecting content in ink documents using a hierarchical data structure |
US11587346B2 (en) | 2020-12-10 | 2023-02-21 | Microsoft Technology Licensing, Llc | Detecting ink gestures based on spatial and image data processing |
US20230315271A1 (en) * | 2022-03-18 | 2023-10-05 | Sony Group Corporation | Collaborative whiteboard for meetings |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114621A (ja) * | 1993-10-15 | 1995-05-02 | Hitachi Ltd | ジェスチャ認識方法およびそれを用いたジェスチャ認識装置 |
JPH086706A (ja) * | 1994-06-21 | 1996-01-12 | Canon Inc | 電子情報機器 |
US5764797A (en) * | 1995-04-25 | 1998-06-09 | Microsoft Corporation | Method and system for modeling handwriting using polynomials as a function of time |
JP2001202174A (ja) * | 2000-01-21 | 2001-07-27 | Canon Inc | 画像表示装置、方法および記憶媒体 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5369737A (en) * | 1988-03-21 | 1994-11-29 | Digital Equipment Corporation | Normalization of vectors associated with a display pixels of computer generated images |
AU624838B2 (en) * | 1988-05-27 | 1992-06-25 | Global 360, Inc. | Document annotation and manipulation in a data processing system |
US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
US5946406A (en) | 1991-06-17 | 1999-08-31 | Microsoft Corporation | Method and system for data entry of handwritten symbols |
US5583542A (en) * | 1992-05-26 | 1996-12-10 | Apple Computer, Incorporated | Method for deleting objects on a computer display |
US5880411A (en) * | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
US5481278A (en) | 1992-10-21 | 1996-01-02 | Sharp Kabushiki Kaisha | Information processing apparatus |
US5752059A (en) * | 1992-12-29 | 1998-05-12 | Apple Computer, Inc. | Apparatus and method for representing electronic mail |
US5502803A (en) * | 1993-01-18 | 1996-03-26 | Sharp Kabushiki Kaisha | Information processing apparatus having a gesture editing function |
US5920694A (en) | 1993-03-19 | 1999-07-06 | Ncr Corporation | Annotation of computer video displays |
US5517578A (en) | 1993-05-20 | 1996-05-14 | Aha! Software Corporation | Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings |
US5367453A (en) | 1993-08-02 | 1994-11-22 | Apple Computer, Inc. | Method and apparatus for correcting words |
US5687254A (en) | 1994-06-06 | 1997-11-11 | Xerox Corporation | Searching and Matching unrecognized handwriting |
US5666438A (en) * | 1994-07-29 | 1997-09-09 | Apple Computer, Inc. | Method and apparatus for recognizing handwriting of different users of a pen-based computer system |
US5880743A (en) * | 1995-01-24 | 1999-03-09 | Xerox Corporation | Apparatus and method for implementing visual animation illustrating results of interactive editing operations |
US6049329A (en) | 1996-06-04 | 2000-04-11 | International Business Machines Corporartion | Method of and system for facilitating user input into a small GUI window using a stylus |
GB2317090B (en) | 1996-09-06 | 2001-04-04 | Quantel Ltd | An electronic graphic system |
JPH1174929A (ja) * | 1997-08-29 | 1999-03-16 | Sharp Corp | 電子メール処理方法及び電子メール処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JPH1186016A (ja) * | 1997-09-09 | 1999-03-30 | Canon Inc | 情報処理方法及び装置及びその記憶媒体 |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
JPH11327789A (ja) | 1998-03-12 | 1999-11-30 | Ricoh Co Ltd | カラー表示装置および電子黒板システム |
EP0980038A3 (en) * | 1998-08-13 | 2002-11-20 | Motorola, Inc. | Device and method simultaneously presenting text and handwritten characters in a common area of a user interface |
JP3475235B2 (ja) * | 1999-03-08 | 2003-12-08 | 東京農工大学長 | 表示装置の表示内容制御方法 |
US6671405B1 (en) * | 1999-12-14 | 2003-12-30 | Eastman Kodak Company | Method for automatic assessment of emphasis and appeal in consumer images |
US6771254B2 (en) * | 2000-11-10 | 2004-08-03 | Microsoft Corporation | Stylus nibs for providing a pen-and-paper feel for use with a tablet-and-stylus computer |
US6826316B2 (en) * | 2001-01-24 | 2004-11-30 | Eastman Kodak Company | System and method for determining image similarity |
JP4102105B2 (ja) * | 2002-05-24 | 2008-06-18 | 株式会社日立製作所 | 電子ペンを利用した書類記入システム |
-
2002
- 2002-02-08 US US10/068,009 patent/US6938222B2/en not_active Expired - Fee Related
-
2003
- 2003-01-03 EP EP03000150A patent/EP1335272A3/en not_active Withdrawn
- 2003-01-06 TW TW092100204A patent/TWI303377B/zh not_active IP Right Cessation
- 2003-01-31 CN CNB031043429A patent/CN100336053C/zh not_active Expired - Fee Related
- 2003-02-05 JP JP2003028762A patent/JP2003308482A/ja active Pending
-
2004
- 2004-12-28 US US11/022,846 patent/US7536656B2/en not_active Expired - Fee Related
-
2005
- 2005-06-17 US US11/154,651 patent/US7305630B2/en not_active Expired - Fee Related
-
2008
- 2008-09-09 JP JP2008231463A patent/JP4694606B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114621A (ja) * | 1993-10-15 | 1995-05-02 | Hitachi Ltd | ジェスチャ認識方法およびそれを用いたジェスチャ認識装置 |
JPH086706A (ja) * | 1994-06-21 | 1996-01-12 | Canon Inc | 電子情報機器 |
US5764797A (en) * | 1995-04-25 | 1998-06-09 | Microsoft Corporation | Method and system for modeling handwriting using polynomials as a function of time |
JP2001202174A (ja) * | 2000-01-21 | 2001-07-27 | Canon Inc | 画像表示装置、方法および記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
EP1335272A3 (en) | 2004-08-04 |
JP2008305437A (ja) | 2008-12-18 |
US7536656B2 (en) | 2009-05-19 |
EP1335272A2 (en) | 2003-08-13 |
US20030156145A1 (en) | 2003-08-21 |
US20050229117A1 (en) | 2005-10-13 |
JP2003308482A (ja) | 2003-10-31 |
US7305630B2 (en) | 2007-12-04 |
US20050111736A1 (en) | 2005-05-26 |
US6938222B2 (en) | 2005-08-30 |
CN100336053C (zh) | 2007-09-05 |
CN1437136A (zh) | 2003-08-20 |
TWI303377B (en) | 2008-11-21 |
TW200302977A (en) | 2003-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4694606B2 (ja) | ジェスチャ判定方法 | |
US7848573B2 (en) | Scaled text replacement of ink | |
US7735007B2 (en) | Adding and removing white space from a document | |
US7106312B2 (en) | Text input window with auto-growth | |
US7614019B2 (en) | Asynchronous and synchronous gesture recognition | |
JP4746555B2 (ja) | 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法 | |
US7336828B2 (en) | Multiple handwriting recognition engine selection | |
US7825922B2 (en) | Temporary lines for writing | |
EP1349056A2 (en) | Organizing, editing, and rendering digital ink | |
JP2019507915A (ja) | ジェスチャを用いたノートテイキングのための装置および方法 | |
US7689927B2 (en) | Viewable document section |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110218 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110223 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4694606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |