JP2005100391A - ハンドジェスチャを認識する方法 - Google Patents

ハンドジェスチャを認識する方法 Download PDF

Info

Publication number
JP2005100391A
JP2005100391A JP2004260980A JP2004260980A JP2005100391A JP 2005100391 A JP2005100391 A JP 2005100391A JP 2004260980 A JP2004260980 A JP 2004260980A JP 2004260980 A JP2004260980 A JP 2004260980A JP 2005100391 A JP2005100391 A JP 2005100391A
Authority
JP
Japan
Prior art keywords
touch
document
regions
touched
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004260980A
Other languages
English (en)
Inventor
Michael Chi Hung Wu
マイケル・チィ・フング・ウ
Chia Shen
チィア・シェン
Kathleen Ryall
カスリーン・リャル
Clifton Lloyd Forlines
クリフトン・ロイド・フォーラインズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2005100391A publication Critical patent/JP2005100391A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数ユーザによる複数の同時タッチを認識することができるタッチセンシティブ表面用のジェスチャ入力システムを提供する。
【解決手段】このジェスチャを用いてコンピュータ動作を制御する。システムは、タッチセンシティブ表面の、m×n個の配列になったタッチセンシティブパッドの各々における信号強度を測定する。これらの信号強度から、ユーザによって同時にタッチされた連続パッドの領域の数、各領域の面積を求め、領域の数および各領域の面積に従って特定のジェスチャを選択する。
【選択図】図1

Description

本発明は、包括的にはタッチセンシティブ表面に関し、特にタッチ面を用いて、表面にタッチすることによって行われたハンドジェスチャを認識し、それに応じた動作を行うことに関する。
近年の検知技術の進歩により、フリーハンドによるタッチ入力の表現力が増した。Ringel等著「素手:道具の要らない壁掛けディスプレイとの対話(Barehands: Implement-free interaction with a wall-mounted display)」(Proc CHI 2001, pp. 367-368, 2001)、およびRekimoto著「SmartSkin:対話型表面のフリーハンド操作のための基盤(SmartSkin: an infrastructure for freehand manipulation on interactive surfaces)」(Proc CHI 2002, pp. 113-120, 2002)を参照されたい。
大型のタッチセンシティブ表面では、従来のタッチセンシティブデバイスにない新たな問題がいくつか生じる。いかなるタッチシステムにも検知分解能の制限がある。大型表面の場合、分解能は、従来のタッチデバイスよりも大きく下がる可能性がある。複数のユーザがそれぞれ同時に複数のタッチを生じることができる場合、タッチの状況を判定することは困難になる。この問題は、単一入力の場合、例えばマウスまたはペンによるストロークジェスチャの場合に部分的に対処されている。Andre等著「電子文書のペーパーレスな編集および校正(Paper-less editing and proofreading of electronic documents)」(Proc. EuroTeX, 1999)、Guimbretiere等著「高分解能の壁面サイズディスプレイとの流動的対話(Fluid Interaction with high-resolution wall-size displays)」(Proc. UIST 2001, pp.21-30, 2001)、Hong等著「SATIN:非公式なインクベースのアプリケーションのためのツールキット(SATIN: A toolkit for informal ink-based applications)」 (Proc. UIST 2000, pp. 63-72, 2001)、Long等著「ジェスチャデザインツールへの示唆(Implications for a gesture design tool)」(Proc. CHI 1999, pp. 40-47, 1999)、およびMoran 等著「電子ホワイトボード上の素材を整理するためのペンによる対話技法(Pen-based interaction techniques for organizing material on an electronic whiteboard)」(Proc. UIST 1997, pp. 45-54, 1992)を参照されたい。
本来不正確で一貫性のないハンドジェスチャの場合、この問題は、より複雑になる。特定のユーザの特定のハンドジェスチャは、時間が経つと違ってくる可能性がある。これは、特に、手の自由度が高いことによる。個々のハンドポーズの数も非常に多い。また、同じハンドポーズを長時間維持することは、肉体的に難しい。
ハンドポーズを明確にするために、視覚に基づくシステムでの機械による学習および追跡が用いられてきた。しかしながら、それらのシステムのほとんどは、個々の動きのないハンドポーズまたはジェスチャを要求するもので、非常に動的なハンドジェスチャを扱うことはできない。Cutler等著「両手による応答性ワークベンチの直接操作(Two-handed direct manipulation on the responsive workbench)」(Proc I3D 1997, pp. 107-114, 1997)、Koike等著「EnhancedDesk上での紙情報とデジタル情報の統合(Integrating paper and digital information on EnhancedDesk)」(ACM Transactions on Computer-Human Interaction, 8 (4), pp. 307-322, 2001)、Krueger等著「VIDEOPLACE−人工現実感(VIDEOPLACE - An artificial reality)」(Proc CHI 1985, pp. 35-40, 1985)、Oka等著「強化されたデスクインタフェースシステムのための複数の指先のリアルタイム追跡およびジェスチャ認識(Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems)」(Proc FG 2002, pp. 429-434, 2002)、Pavlovic等著「人間−コンピュータ間対話のためのハンドジェスチャの視覚的解釈:概説(Visual interpretation of hand gestures for human-computer interaction: A review)」(IEEE Transactions on Pattern Analysis and Machine Intelligence, 19 (7). pp. 677-695, 1997)、およびRingel等著「素手:道具の要らない壁掛けディスプレイとの対話(Barehands: Implement-free interaction with a wall-mounted display)」(Proc CHI 2001, pp. 367-368, 2001)を参照されたい。一般に、カメラに基づくシステムは、実施が困難で費用がかかり、広範なキャリブレーションを要し、通常は、管理された環境に限られる。
画像の表示も行う対話型タッチ面に伴う別の問題は、遮蔽である。この問題は、一点でのタッチスクリーンとの対話の場合に対処されている。Sears等著「高精度のタッチスクリーン:デザイン戦略およびマウスとの比較(High precision touchscreens: design strategies and comparisons with a mouse)」(International Journal of Man-Machine Studies, 34 (4). pp. 593-613, 1991)およびAlbinsson等著「高精度なタッチスクリーン対話(High precision touch screen interaction)」(Proc CHI 2003, pp. 105-112, 2003)を参照されたい。壁面のディスプレイ表面との対話には、ポインタが用いられている。Myers等著「距離を置いた対話:レーザポインタおよび他のデバイスの性能の測定(Interacting at a distance: Measuring the performance of laser pointers and other devices)」(Proc. CHI 2002, pp. 33-40, 2002)を参照されたい。
複数のユーザによる複数の同時タッチを認識することができるタッチセンシティブ表面用のジェスチャ入力システムを提供することが望ましい。
本発明の目的は、タッチセンシティブ表面にタッチすることによって行われた異なるハンドジェスチャを認識することである。
複数の同時タッチによって行われたジェスチャを認識することが望ましい。
複数のユーザが同時に表面にタッチすることによって行われたジェスチャを認識することが望ましい。
本発明による方法は、ハンドジェスチャを認識する。タッチセンシティブ表面のタッチセンシティブパッドにおける信号強度を測定する。同時にタッチされた連続パッドの領域の数を信号強度から求める。各領域の面積を求める。次に、タッチされた領域の数および各領域の面積により特定のジェスチャを選択する。
本発明は、タッチ面を用いてハンドジェスチャを検出し、そのジェスチャに応じてコンピュータ動作を行う。複数のユーザからの複数のタッチ点を同時に認識することができるタッチ面を用いることにする。Dietz等著「DiamondTouch:マルチユーザタッチ技法(DiamondTouch: A multi-user touch technology)」(Proc. User Interface Software and Technology (UIST) 2001, pp. 219-226, 2001)、および2002年12月24日付でDiez他に発行された米国特許第6,498,590号「マルチユーザタッチ面(Multi-user touch surface)」(本明細書中に参照により援用する)を参照されたい。このタッチ面は、任意の大きさ、例えばテーブルの上面板のサイズにすることができる。さらに、動作中、コンピュータにより生成された画像を表面に投影することが可能である。
ジェスチャとは、タッチ面上でまたはタッチ面を横切って動く手または指を意味する。ジェスチャは、1本または複数の指、握り拳、開いた手のひら、またはそれらの組み合わせにより行うことができる。ジェスチャは、1人のユーザによって、または複数のユーザによって同時に行うことができる。本明細書中で説明するジェスチャ例以外のジェスチャも認識できることが理解されるべきである。
タッチ面の一般的な動作の枠組みは、2002年1月18日付でVernier他により出願された米国特許出願第10/053,652号「円形のグラフィカルユーザインタフェース(Circular Graphical User Interfaces)」(本明細書中に参照により援用される)に記載されている。Vernierの出願に記載されているように、1本の指によるタッチは、従来のマウスと同様の動作(例えばポイント&クリック、選択、ドラッグ、およびドロップ)用に確保しておくことができる。
図1を用いて本発明の動作の詳細を説明する。タッチ面100は、明確にするために拡大して示すm行101×n列102のタッチセンシティブパッド105を含む。パッドは、相互接続を容易にするためにダイヤモンド形になっている。各パッドは、タッチ時にユーザと静電結合するアンテナの形態である。詳細については上記Dietzを参照されたい。単一のパッドの信号強度を測定することができる。
結合の信号強度103は、x軸に沿って列毎に、またy軸に沿って行毎に別々に読み取ることができる。タッチする特定の行または列のパッド数が多くなるほど、その行または列の信号強度が大きくなる。すなわち、測定される信号は、タッチされるパッド数と比例する。信号強度は、通常、結合が良好な指タッチの中央部では大きいことが認められる。興味深いことに、結合は、加える圧力を高くすることによっても高くなる。すなわち、信号強度は、大まかにはタッチ圧力と関係する。
アンテナの行および列は、x軸およびy軸に沿って一定のレート(例えば30フレーム/秒)で読み取られ、各読み取り値は、ソフトウェアに供給されて、各時間刻み毎に単一の強度値ベクトル(x,x,・・・,x,y,y,・・・,y)として解析される。この強度値を閾値処理して、強度の低い信号と雑音を切り捨てる。
図1において、太線の部分は、タッチに対応する強度104を有する列および行にそれぞれ対応するx座標およびy座標を示す。図示の例では、2本の指111および112が表面にタッチしている。連続してタッチされたアンテナ行の信号強度ならびに連続してタッチされたアンテナ列の信号を合計する。これにより、タッチの数と、各タッチの概算面積とを求めることができる。従来技術では、主なフィードバックデータは、x座標およびy座標、すなわちゼロ次元の点の位置であることに留意すべきである。これに対し、主なフィードバックは、タッチされた領域の面積サイズである。さらに、各領域の位置(例えば領域の中心、すなわち領域内の強度の中央値)を求めることができる。
指によるタッチは、拳、および開いた手と容易に区別することができる。例えば、指によるタッチでは、比較的高い強度値が小さな面積に集中しているが、手によるタッチでは、通常、比較的低い強度値が大きな面積に分散している。
システムは、フレーム毎に領域の数を求める。領域毎に面積と位置を求める。面積は、対応する強度値104の範囲(xlow,xhigh,ylow,yhigh)から求められる。この情報は、表面のどこがタッチされたのかも示す。領域毎に全信号強度も求める。全強度は、その領域の閾値処理された強度値の合計である。各フレームには、時間も関連付けられる。したがって、タッチされた各領域は、面積、位置、強度、および時間によって表される。フレームサマリは、タイムスタンプをハッシュキーとして用いてハッシュテーブルに格納される。フレームサマリは、後に取り出すことができる。
フレームサマリは、各領域の軌跡を求めるために用いられる。軌跡は、領域の移動経路である。タイムスタンプから、各軌跡に沿った移動速度および速度の変化率(加速度)も求めることができる。軌跡は、別のハッシュテーブルに格納される。
図2Aに示すように、フレームサマリ201と軌跡202を用いて、ジェスチャを分類して動作モードを判定する(205)。多数の異なる独特なジェスチャが可能であることが理解されるべきである。単純な実施態様において、基本的なジェスチャは、ノータッチ210、1本指211、2本指212、複数の指213、片手214、および両手215である。これらの基本的なジェスチャは、動作モードiの開始の定義として用いられ、ここでiは0〜5の値(210〜215)を持つことができる。
分類のために、初期状態は、ノータッチであると仮定し、領域の数およびフレームサマリが所定の時間にわたって比較的一定のままである場合にジェスチャを分類する。すなわち、軌跡はない。これは、特定のジェスチャを示すために全ての指または手が全く同時に表面に到達するわけではない状況を処理する。ジェスチャが分類されるのは、同時にタッチされている領域の数が所定の時間にわたって同じままである場合に限られる。
図2Aに示すように、システムがジェスチャの分類後に特定のモードiに入った後、同じジェスチャを再び用いて他の動作を行うことができる。図2Bに示すように、モードi中に、フレームサマリ201および軌跡202を用いて、指や手が表面を横切って移動およびタッチする間、ジェスチャを継続的に解釈する(220)。この解釈は、モードの状況に左右される。すなわち、現在の動作モードに応じて、同じジェスチャがモード変更225または異なるモード動作235のいずれかを生じることができる。例えば、モード2中の2本指ジェスチャは、文書に注釈を付ける要求として解釈することができ(図5を参照)、モード3中の同じ2本指ジェスチャは、図8に示すように、選択ボックスのサイズ制御として解釈することができる。
ここで説明するタッチ面は、典型的な従来技術のタッチデバイスやポインティングデバイスとは異なるタイプのフィードバックを可能にすることに留意すべきである。従来技術では、フィードバックは、通常、ゼロ次元の点のx座標およびy座標に基づく。フィードバックは、多くの場合、カーソル、ポインタ、または×印として表示される。これに対し、本発明によるフィードバックは、面積に基づくことができ、さらに圧力または信号強度に基づくことができる。フィードバックは、実際のタッチ面積、または境界線(例えば、円や長方形)として表示することができる。フィードバックは、特定のジェスチャまたは動作モードが認識されたことも示す。
例えば、図3に示すように、2本指111および112でジェスチャを行った場合、フレームサマリを用いて境界線301を求める。境界線が長方形であるこの場合には、この境界の長方形は、強度値全体のxlow、xhigh、ylow、およびyhighからなる領域である。境界ボックスの中心(C)、高さ(H)、および幅(W)も求める。図4は、4本指によるタッチの円401を示す。
例示的なデスクトップ・パブリッシング・アプリケーションに関して、図5ないし図9に示すように、ジェスチャは、雑誌やウェブページに組み込む文書をアレンジおよびレイアウトするために用いられる。実行されるアクションには、表示された文書に注釈を付ける、注釈を削除する、文書を選択する、コピーする、アレンジする、および積み重ねることが含まれる可能性がある。文書は、コンピュータシステムのメモリに格納され、デジタルプロジェクタによってタッチ面上に表示される。この説明を明確にするために、文書は、図示していない。繰り返すが、ここでのジェスチャは、多くの考え得るジェスチャの数例に過ぎないことに留意すべきである。
図5において、表示された文書に注釈を付ける要求を示すために用いられるジェスチャは、いずれか2本の指501で文書にタッチすることである。次に、もう片方の手503で指またはペンを用いて「書くこと」または「描くこと」(502)によってジェスチャを続行する。書いている間、もう片方の2本の指を文書上に置いておく必要はない。注釈付けは、指またはペン502を表面から離すと終了する。書いている間、ディスプレイは更新されて、指またはペンの先端からインクが流れ出ているかのように見せる。
図6に示すように、表面を手のひら601で左右に拭うこと602によって注釈の各部分は「削除」することができる。このジェスチャの初期分類の後、手の任意の部分を用いて削除を行うことができる。例えば、手のひらは、離すことができる。小さな部分の削除は、指先を用いて行うことができる。削除の範囲をユーザに示すために、視覚的なフィードバックとして円603が表示される。削除をしている間に、下に書かれているものは時間が経つにつれて徐々に透明になる。この変化は、表面の接触量、手の移動速度、または圧力に応じて行うことができる。表面接触が少ないほど透明度の変化は遅くなり、払拭動作に伴う速度が遅いほど素材が消失するまでの時間は長くなる。削除は、表面との接触を全て取り去ると終了する。
図7および図8は、ユーザが文書の全体または一部を別の文書にコピーすることを可能にするカット&ペーストのジェスチャを示す。このジェスチャは、3本以上の指701で文書800にタッチすることによって識別される。システムは、指の配置に基づくサイズの長方形の選択ボックス801を表示することによって応答する。選択ボックスの各辺は、文書の各辺と合わせられる。手は、ディスプレイの一部を遮蔽する可能性があることを認識すべきである。
したがって、図8に示すように、ユーザは、テーブルにタッチしたまま、手を任意の方向705に動かして文書800から離すことができる(802)。同時に、指の広げ方を大きくしたり小さくしたりすることによって境界ボックスのサイズを変更することができる。選択ボックス801は、常に文書の境界内にあって、それを越えて広がることはない。したがって、選択は、文書そのものに制限される。これによりユーザは、選択ボックスに対して指を動かすことができる(802)。
指は、選択ボックス801と空間的に関係する仮想ウインドウ804に関連した制御空間にあると考えることができる。選択ボックスは、文書800の縁で止まるが、制御空間に関連した仮想ウインドウ804は指とともに動き続け、結果として位置変更される。したがって、ユーザは、表示文書から離れた位置から選択ボックスを制御することができる。これにより遮蔽の問題は解決する。さらに、選択ボックスの寸法は、指の位置に対応し続ける。この動作モードは、ユーザが選択ボックスの操作に2本の指しか用いていなくても維持される。両手の指を用いて選択ボックスの移動やサイズ変更を行うこともできる。別の指またはペン704で表面にタッチするとコピーが行われる。全ての指を離すとカット&ペーストは終了する。
図9に示すように、積み重ねるジェスチャを示すために、両手901を離してタッチ面に乗せる。初めに両手を表面に乗せると、積み重ねるアクションの範囲を示す円902が表示される。文書の中心がこの円の中にある場合、その文書は、積み重ねた束に含められる。選択された文書は、ハイライト表示される。両手を大きく離すと、円は大きくなる。両手を近づける(903)と円の手の中の表示文書はいずれも集められて「束」になる。積み重ねられた文書には「束」と表記された視覚的な印を表示することができる。文書を束にした後、両手を動かすことによって束の文書をまとめて「ドラッグ」および「ドロップ」したり、1本の指で単一文書を選択したりすることができる。両手を離すこと(904)によって、文書の束はばらばらになる。ここでもまた、ばらばらになった範囲を示す円が表示される。この動作は、両手をタッチ面から離すと終了する。
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適応および変更を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形および変更を網羅することである。
本発明による、ハンドジェスチャを認識するタッチ面のブロック図である。 本発明によるジェスチャ分類プロセスのブロック図である。 ジェスチャモードの実行プロセスのフロー図である。 タッチ面および表示された境界ボックスのブロック図である。 タッチ面および表示された境界円のブロック図である。 本発明によるシステムによって認識されるハンドジェスチャの例である。 本発明によるシステムによって認識されるハンドジェスチャの例である。 本発明によるシステムによって認識されるハンドジェスチャの例である。 本発明によるシステムによって認識されるハンドジェスチャの例である。 本発明によるシステムによって認識されるハンドジェスチャの例である。

Claims (29)

  1. タッチセンシティブ表面の複数のタッチセンシティブパッドにおける信号強度を測定することと、
    同時にタッチされた連続パッドの領域の数を前記信号強度から求めることと、
    前記領域の各々の面積を前記信号強度から求めることと、
    前記タッチされた領域の数および前記領域の各々の面積に従って特定のジェスチャを選択することと
    を含むハンドジェスチャを認識する方法。
  2. 前記パッドの各々は、アンテナであり、前記信号強度は、前記アンテナとタッチを行っているユーザとの間の静電結合を測定する請求項1に記載の方法。
  3. 前記領域は、1人のユーザによって同時にタッチされる請求項1に記載の方法。
  4. 前記領域は、複数のジェスチャを示すために複数のユーザによって同時にタッチされる請求項1に記載の方法。
  5. 前記領域の各々の全信号強度を求めることをさらに含む請求項1に記載の方法。
  6. 前記全信号強度は、タッチに関連する圧力の大きさに関係する請求項1に記載の方法。
  7. 前記測定することは、所定のフレームレートで行われる請求項1に記載の方法。
  8. 前記タッチされた領域の各々に対応する境界線を表示することをさらに含む請求項1に記載の方法。
  9. 前記境界線は、長方形である請求項1に記載の方法。
  10. 前記境界線は、円である請求項1に記載の方法。
  11. 前記タッチされた領域の各々の軌跡を時間経過とともに求めることをさらに含む請求項1に記載の方法。
  12. 前記軌跡に従って前記ジェスチャを分類することをさらに含む請求項11に記載の方法。
  13. 前記軌跡は、時間経過による面積サイズの変化を示す請求項11に記載の方法。
  14. 前記軌跡は、時間経過による各面積の全信号強度の変化を示す請求項11に記載の方法。
  15. 面積サイズの変化率を求めることをさらに含む請求項13に記載の方法。
  16. 前記領域の各々の移動速度を前記軌跡から求めることをさらに含む請求項11に記載の方法。
  17. 前記領域の各々の移動速度の変化率を求めることをさらに含む請求項16に記載の方法。
  18. 前記境界線は、タッチされた領域の面積に対応する請求項8に記載の方法。
  19. 前記境界線は、前記タッチされた領域の全信号強度に対応する請求項8に記載の方法。
  20. 前記特定のジェスチャは、1本指、2本指、3本以上の指、片手および両手からなるグループから選択される請求項1に記載の方法。
  21. 前記特定のジェスチャは、前記タッチセンシティブ表面上に表示された文書を操作するために用いられる請求項1に記載の方法。
  22. 前記タッチセンシティブ表面上に文書を表示することと、
    前記文書を2本の指でポイントしながら1本の指を用いて前記文書に注釈を付けることと
    をさらに含む請求項1に記載の方法。
  23. 前記注釈を開いた手で左右に拭うことによって前記注釈を削除することをさらに含む請求項22に記載の方法。
  24. 前記削除の範囲を示す円を表示することをさらに含む請求項23に記載の方法。
  25. 前記タッチセンシティブ表面上に文書を表示することと、
    前記文書を3本以上の指でポイントすることによって前記文書上に選択ボックスを画定することと
    をさらに含む請求項1に記載の方法。
  26. 前記タッチセンシティブ表面上に複数の文書を表示することと、
    前記複数の文書の周囲に両手を置き、そして前記両手を互いに近づけることによって表示される円の中に該文書を集めることと
    をさらに含む請求項1に記載の方法。
  27. 前記領域の各々の位置を求めることをさらに含む請求項1に記載の方法。
  28. 前記位置は、前記領域の中心である請求項27に記載の方法。
  29. 前記位置は、前記領域の強度の中央値である請求項27に記載の方法。
JP2004260980A 2003-09-10 2004-09-08 ハンドジェスチャを認識する方法 Pending JP2005100391A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/659,180 US20050052427A1 (en) 2003-09-10 2003-09-10 Hand gesture interaction with touch surface

Publications (1)

Publication Number Publication Date
JP2005100391A true JP2005100391A (ja) 2005-04-14

Family

ID=34226927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004260980A Pending JP2005100391A (ja) 2003-09-10 2004-09-08 ハンドジェスチャを認識する方法

Country Status (2)

Country Link
US (1) US20050052427A1 (ja)
JP (1) JP2005100391A (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156857A (ja) * 2005-12-06 2007-06-21 Shimane Univ 対話型インターフェース方式および対話型インターフェース用プログラム
JP2008052729A (ja) * 2006-08-22 2008-03-06 Samsung Electronics Co Ltd 多接点位置変化感知装置、方法、およびこれを用いたモバイル機器
JP2008097609A (ja) * 2006-10-11 2008-04-24 Samsung Electronics Co Ltd マルチタッチ判断装置、方法及び記録媒体
JP2008217781A (ja) * 2007-03-07 2008-09-18 Samsung Electronics Co Ltd 表示装置及びその駆動方法
KR100862349B1 (ko) 2007-01-08 2008-10-13 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
JP2010500683A (ja) * 2006-08-15 2010-01-07 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
JP2010039558A (ja) * 2008-07-31 2010-02-18 Canon Inc 情報処理装置及びその制御方法
JP2010134859A (ja) * 2008-12-08 2010-06-17 Canon Inc 情報処理装置及び方法
JP2010140300A (ja) * 2008-12-12 2010-06-24 Sharp Corp 表示装置、制御方法、制御プログラムおよび記録媒体
JP2010274049A (ja) * 2009-06-01 2010-12-09 Toshiba Corp 超音波画像診断装置及び超音波画像診断装置の制御方法
JP2012079279A (ja) * 2010-09-06 2012-04-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US8174503B2 (en) 2008-05-17 2012-05-08 David H. Cain Touch-based authentication of a mobile device through user generated pattern creation
WO2012086957A2 (en) * 2010-12-24 2012-06-28 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface
JP2013069350A (ja) * 2005-09-15 2013-04-18 Apple Inc トラックパッドデバイスの未加工データを処理するシステム及び方法
JP2013097798A (ja) * 2011-10-27 2013-05-20 Samsung Electronics Co Ltd タッチパネルを備える携帯端末機の入力判定装置及び方法
JP2013186540A (ja) * 2012-03-06 2013-09-19 Sony Corp 情報処理装置及び情報処理方法
KR20130137830A (ko) * 2012-06-08 2013-12-18 엘지전자 주식회사 이동 단말기
JP5401675B1 (ja) * 2012-09-28 2014-01-29 島根県 情報入力装置および情報入力方法
US8743089B2 (en) 2010-07-26 2014-06-03 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
US9013509B2 (en) 2007-09-11 2015-04-21 Smart Internet Technology Crc Pty Ltd System and method for manipulating digital images on a computer display
US9047004B2 (en) 2007-09-11 2015-06-02 Smart Internet Technology Crc Pty Ltd Interface element for manipulating displayed objects on a computer interface
US9053529B2 (en) 2007-09-11 2015-06-09 Smart Internet Crc Pty Ltd System and method for capturing digital images
JP2017510879A (ja) * 2014-01-28 2017-04-13 ▲華▼▲為▼終端有限公司Huawei Device Co., Ltd. 端末デバイスを処理するための方法及び端末デバイス
KR101813028B1 (ko) * 2010-12-17 2017-12-28 엘지전자 주식회사 이동 단말기 및 그 디스플레이 제어 방법
JP2018032420A (ja) * 2008-03-04 2018-03-01 アップル インコーポレイテッド タッチイベントモデル
US10175876B2 (en) 2007-01-07 2019-01-08 Apple Inc. Application programming interfaces for gesture operations
KR101938215B1 (ko) * 2015-08-26 2019-01-14 주식회사 퓨처플레이 스마트 인터렉션 장치
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
JP2019159442A (ja) * 2018-03-08 2019-09-19 株式会社ワコム フォースセンサ無タッチセンサにおける疑似プッシュ判定方法
US10719225B2 (en) 2009-03-16 2020-07-21 Apple Inc. Event recognition
US10732997B2 (en) 2010-01-26 2020-08-04 Apple Inc. Gesture recognizers with delegates for controlling and modifying gesture recognition
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US11429190B2 (en) 2013-06-09 2022-08-30 Apple Inc. Proxy gesture recognizer

Families Citing this family (233)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
ATE453147T1 (de) * 2000-07-05 2010-01-15 Smart Technologies Ulc Verfahren für ein kamerabasiertes berührungssystem
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7333092B2 (en) 2002-02-25 2008-02-19 Apple Computer, Inc. Touch pad for handheld device
US20040001144A1 (en) 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7256772B2 (en) 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7460110B2 (en) * 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
JP4405335B2 (ja) * 2004-07-27 2010-01-27 株式会社ワコム 位置検出装置、及び、入力システム
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US7724242B2 (en) 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US11617451B1 (en) 2004-12-07 2023-04-04 Steven Jerome Caruso Custom controlled seating surface technologies
US8596716B1 (en) 2008-12-31 2013-12-03 Steven Jerome Caruso Custom controlled seating surface technologies
US7931334B1 (en) 2004-12-07 2011-04-26 Steven Jerome Caruso Custom controlled seating surface technologies
US20070024646A1 (en) * 2005-05-23 2007-02-01 Kalle Saarinen Portable electronic apparatus and associated method
US9785329B2 (en) * 2005-05-23 2017-10-10 Nokia Technologies Oy Pocket computer and associated methods
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
CA2751707C (en) * 2005-11-18 2014-07-08 Accenture Global Services Gmbh Multiple target detection and application state navigation system
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US20070152983A1 (en) * 2005-12-30 2007-07-05 Apple Computer, Inc. Touch pad with symbols based on mode
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
AU2016238971B2 (en) * 2006-01-30 2018-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
KR100672605B1 (ko) 2006-03-30 2007-01-24 엘지전자 주식회사 아이템 선택 방법 및 이를 위한 단말기
US8587526B2 (en) * 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US9063647B2 (en) * 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
CN104965621B (zh) 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
DE112007002544A1 (de) 2006-06-09 2010-07-22 Apple Inc., Cupertino Flüssigkristallanzeige mit Berührungsbildschirm
US8243027B2 (en) 2006-06-09 2012-08-14 Apple Inc. Touch screen liquid crystal display
US8022935B2 (en) 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US8274479B2 (en) 2006-10-11 2012-09-25 Apple Inc. Gimballed scroll wheel
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US7812827B2 (en) 2007-01-03 2010-10-12 Apple Inc. Simultaneous sensing arrangement
US8493330B2 (en) 2007-01-03 2013-07-23 Apple Inc. Individual channel phase delay scheme
US7855718B2 (en) * 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US8130203B2 (en) * 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US7643010B2 (en) * 2007-01-03 2010-01-05 Apple Inc. Peripheral pixel noise reduction
US8232970B2 (en) * 2007-01-03 2012-07-31 Apple Inc. Scan sequence generator
US9710095B2 (en) 2007-01-05 2017-07-18 Apple Inc. Touch screen stack-ups
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US7975242B2 (en) 2007-01-07 2011-07-05 Apple Inc. Portable multifunction device, method, and graphical user interface for conference calling
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US8451232B2 (en) 2007-01-07 2013-05-28 Apple Inc. Portable multifunction device, method, and graphical user interface for interacting with user input elements in displayed content
US7533059B2 (en) * 2007-03-14 2009-05-12 Microsoft Corporation Purchasing using a physical object
WO2008128096A2 (en) 2007-04-11 2008-10-23 Next Holdings, Inc. Touch screen system with hover and click input methods
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
US8493331B2 (en) 2007-06-13 2013-07-23 Apple Inc. Touch detection using multiple simultaneous frequencies
US8238662B2 (en) * 2007-07-17 2012-08-07 Smart Technologies Ulc Method for manipulating regions of a digital image
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20090044988A1 (en) * 2007-08-17 2009-02-19 Egalax_Empia Technology Inc. Device and method for determining function represented by continuous relative motion between/among multitouch inputs on signal shielding-based position acquisition type touch panel
KR20100075460A (ko) 2007-08-30 2010-07-02 넥스트 홀딩스 인코포레이티드 저 프로파일 터치 패널 시스템
KR20100055516A (ko) 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린
JP2010539567A (ja) * 2007-09-11 2010-12-16 スマート・インターネット・テクノロジー・シーアールシー・プロプライエタリー・リミテッド 遠隔ファイル転送のためのシステム及び方法
KR102559017B1 (ko) 2007-09-24 2023-07-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
TWI360770B (en) * 2007-11-01 2012-03-21 Elan Microelectronics Corp Object detection for a capacitive ito touchpad
EP2232355B1 (en) * 2007-11-07 2012-08-29 N-Trig Ltd. Multi-point detection on a single-point detection digitizer
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8762892B2 (en) * 2008-01-30 2014-06-24 Microsoft Corporation Controlling an integrated messaging system using gestures
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US20090243998A1 (en) * 2008-03-28 2009-10-01 Nokia Corporation Apparatus, method and computer program product for providing an input gesture indicator
WO2009126710A2 (en) 2008-04-10 2009-10-15 Perceptive Pixel, Inc. Methods of interfacing with multi-input devices and multi-input display systems employing interfacing techniques
US20090278794A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System With Controlled Lighting
US8902193B2 (en) * 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090277697A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Pen Tool Therefor
JP2009276819A (ja) * 2008-05-12 2009-11-26 Fujitsu Ltd ポインティング装置の制御方法およびポインティング装置、並びにコンピュータプログラム
US9035886B2 (en) * 2008-05-16 2015-05-19 International Business Machines Corporation System and apparatus for a multi-point touch-sensitive sensor user interface using distinct digit identification
US9268483B2 (en) * 2008-05-16 2016-02-23 Microsoft Technology Licensing, Llc Multi-touch input platform
US9035891B2 (en) 2008-05-16 2015-05-19 International Business Machines Corporation Multi-point touch-sensitive sensor user interface using distinct digit identification
TWI379225B (en) * 2008-05-16 2012-12-11 Htc Corp Method for filtering out signals from touch device
AU2009250329A1 (en) * 2008-05-19 2009-11-26 Smart Internet Technology Crc Pty Ltd Systems and methods for collaborative interaction
JP5448370B2 (ja) * 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
WO2009150285A1 (en) * 2008-06-10 2009-12-17 Nokia Corporation Touch button false activation suppression
CN101349956A (zh) * 2008-08-11 2009-01-21 深圳华为通信技术有限公司 一种图形触摸命令的执行方法和装置
US8592697B2 (en) 2008-09-10 2013-11-26 Apple Inc. Single-chip multi-stimulus sensor controller
CN101673154B (zh) * 2008-09-10 2012-11-21 鸿富锦精密工业(深圳)有限公司 基于触摸屏的区域选择方法
US9348451B2 (en) 2008-09-10 2016-05-24 Apple Inc. Channel scan architecture for multiple stimulus multi-touch sensor panels
US9606663B2 (en) 2008-09-10 2017-03-28 Apple Inc. Multiple stimulation phase determination
AU2009291462A1 (en) * 2008-09-15 2010-03-18 Smart Technologies Ulc Touch input with image sensor and signal processor
FR2936326B1 (fr) * 2008-09-22 2011-04-29 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
US20100071965A1 (en) * 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8683390B2 (en) * 2008-10-01 2014-03-25 Microsoft Corporation Manipulation of objects on multi-touch user interface
KR101569427B1 (ko) * 2008-10-02 2015-11-16 삼성전자주식회사 휴대 단말기의 터치 입력 장치 및 그의 운영 방법
US20100088325A1 (en) 2008-10-07 2010-04-08 Microsoft Corporation Streaming Queries
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8704822B2 (en) 2008-12-17 2014-04-22 Microsoft Corporation Volumetric display system enabling user interaction
US8957865B2 (en) * 2009-01-05 2015-02-17 Apple Inc. Device, method, and graphical user interface for manipulating a user interface object
US10175848B2 (en) * 2009-02-09 2019-01-08 Nokia Technologies Oy Displaying a display portion including an icon enabling an item to be added to a list
US8756534B2 (en) 2009-03-16 2014-06-17 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
EP2430794A4 (en) * 2009-04-16 2014-01-15 Hewlett Packard Development Co MANAGING COMMONLY USED CONTENT IN VIRTUAL COLLABORATION SYSTEMS
CN102460354B (zh) * 2009-06-12 2015-02-04 瑟克公司 源自正斜率检测数据的触摸板多触点输入方法
US9182854B2 (en) * 2009-07-08 2015-11-10 Microsoft Technology Licensing, Llc System and method for multi-touch interactions with a touch sensitive screen
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US20110019105A1 (en) * 2009-07-27 2011-01-27 Echostar Technologies L.L.C. Verification of symbols received through a touchpad of a remote control device in an electronic system to allow access to system functions
CN102549532B (zh) * 2009-09-17 2015-02-04 联想创新有限公司(香港) 使用触摸面板的电子装置和其设置值修改方法
EP3260969B1 (en) * 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8799826B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8780069B2 (en) 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
WO2011041547A1 (en) * 2009-09-30 2011-04-07 Georgia Tech Research Corporation Systems and methods to facilitate active reading
CN102782616A (zh) * 2009-10-16 2012-11-14 Rpo有限公司 用于检测和跟踪触摸对象的方法
US9158816B2 (en) 2009-10-21 2015-10-13 Microsoft Technology Licensing, Llc Event processing with XML query based on reusable XML query template
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US8982070B2 (en) * 2009-10-28 2015-03-17 Nec Corporation Portable information terminal
DE102009057081A1 (de) * 2009-12-04 2011-06-09 Volkswagen Ag Verfahren zum Bereitstellen einer Benutzerschnittstelle
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US8698015B2 (en) 2009-12-18 2014-04-15 Intel Corporation Compensating for multi-touch signal bias drift in touch panels
US20110148786A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated Method and apparatus for changing operating modes
DE102009059868A1 (de) * 2009-12-21 2011-06-22 Volkswagen AG, 38440 Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle
US8698762B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8692780B2 (en) * 2010-01-06 2014-04-08 Apple Inc. Device, method, and graphical user interface for manipulating information items in folders
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US8677268B2 (en) 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US8539386B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
CN101847069B (zh) * 2010-03-03 2012-07-04 敦泰科技(深圳)有限公司 触摸屏的多点触碰检测方法
US20110239114A1 (en) * 2010-03-24 2011-09-29 David Robbins Falkenburg Apparatus and Method for Unified Experience Across Different Devices
JP5805974B2 (ja) 2010-03-31 2015-11-10 ティーケー ホールディングス,インコーポレーテッド ステアリングホイールセンサ
DE102011006344B4 (de) 2010-03-31 2020-03-12 Joyson Safety Systems Acquisition Llc Insassenmesssystem
JP5759230B2 (ja) 2010-04-02 2015-08-05 ティーケー ホールディングス,インコーポレーテッド 手センサを有するステアリング・ホイール
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
DE102010026303A1 (de) * 2010-07-06 2012-01-12 Innospiring Gmbh Verfahren und Vorrichtung zum Tätigen einer Eingabe an einem Touchdisplay
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
US20120026100A1 (en) * 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Aligning and Distributing Objects
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US9098182B2 (en) * 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
KR101705872B1 (ko) * 2010-09-08 2017-02-10 삼성전자주식회사 모바일 디바이스의 화면상의 영역 선택 방법 및 장치
US10268661B2 (en) 2010-09-30 2019-04-23 Georgia Tech Research Corporation Systems and methods to facilitate active reading
US8502816B2 (en) 2010-12-02 2013-08-06 Microsoft Corporation Tabletop display providing multiple views to users
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
WO2012087458A2 (en) * 2010-12-20 2012-06-28 Welch Allyn, Inc. Controlling intensity of light emitted by a device
US8804056B2 (en) 2010-12-22 2014-08-12 Apple Inc. Integrated touch screens
WO2012087308A1 (en) * 2010-12-22 2012-06-28 Intel Corporation Touch sensor gesture recognition for operation of mobile devices
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
EP2691836A4 (en) 2011-03-31 2014-10-22 Smart Technologies Ulc MANIPULATION OF GRAPHIC OBJECTS IN A MULTICACTILE INTERACTIVE SYSTEM
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
US9092130B2 (en) 2011-05-31 2015-07-28 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US20120306767A1 (en) * 2011-06-02 2012-12-06 Alan Stirling Campbell Method for editing an electronic image on a touch screen display
KR101863926B1 (ko) 2011-07-19 2018-06-01 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9274615B2 (en) * 2011-11-11 2016-03-01 Pixart Imaging Inc. Interactive input system and method
JP5848589B2 (ja) * 2011-12-02 2016-01-27 株式会社ワコム 位置検出装置および位置検出方法
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
KR102304700B1 (ko) * 2012-02-24 2021-09-28 삼성전자주식회사 디스플레이 창에 대한 캡쳐 이미지 생성 방법 및 장치
US20130227457A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co. Ltd. Method and device for generating captured image for display windows
US9785201B2 (en) * 2012-03-01 2017-10-10 Microsoft Technology Licensing, Llc Controlling images at mobile devices using sensors
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
US11209961B2 (en) * 2012-05-18 2021-12-28 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US8671361B2 (en) * 2012-05-24 2014-03-11 Blackberry Limited Presentation of image on display screen with combination crop and rotation and with auto-resizing of crop field
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US8826128B2 (en) * 2012-07-26 2014-09-02 Cerner Innovation, Inc. Multi-action rows with incremental gestures
KR102042211B1 (ko) * 2012-08-20 2019-11-07 삼성전자주식회사 벤딩 상태에 따라 오브젝트를 변경하여 디스플레이하는 전자 장치 및 방법
US20140062917A1 (en) * 2012-08-29 2014-03-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling zoom function in an electronic device
US9024894B1 (en) * 2012-08-29 2015-05-05 Time Warner Cable Enterprises Llc Remote control including touch-sensing surface
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
US9448684B2 (en) 2012-09-21 2016-09-20 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for setting a digital-marking-device characteristic
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
US20140108979A1 (en) * 2012-10-17 2014-04-17 Perceptive Pixel, Inc. Controlling Virtual Objects
US8949735B2 (en) 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
US9575562B2 (en) 2012-11-05 2017-02-21 Synaptics Incorporated User interface systems and methods for managing multiple regions
KR20140068595A (ko) * 2012-11-28 2014-06-09 삼성디스플레이 주식회사 단말기 및 그의 조작 방법
WO2014113462A1 (en) 2013-01-15 2014-07-24 Cirque Corporation Multi-dimensional multi-finger search using oversampling hill climbing and descent with range
US20140282279A1 (en) * 2013-03-14 2014-09-18 Cirque Corporation Input interaction on a touch sensor combining touch and hover actions
US9170676B2 (en) 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures
US9438917B2 (en) * 2013-04-18 2016-09-06 Futurewei Technologies, Inc. System and method for adaptive bandwidth management
US9772764B2 (en) 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
CN104238724B (zh) 2013-06-09 2019-03-12 Sap欧洲公司 用于电子设备的基于动作的输入方法和***
US9841881B2 (en) 2013-11-08 2017-12-12 Microsoft Technology Licensing, Llc Two step content selection with auto content categorization
US10990267B2 (en) 2013-11-08 2021-04-27 Microsoft Technology Licensing, Llc Two step content selection
JP6349838B2 (ja) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
JP2015138360A (ja) * 2014-01-22 2015-07-30 コニカミノルタ株式会社 オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
KR20150127989A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US9870083B2 (en) 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
KR20160101605A (ko) * 2015-02-17 2016-08-25 삼성전자주식회사 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
CN106325468B (zh) * 2015-06-17 2019-09-10 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN106293040B (zh) * 2015-06-17 2019-04-16 北京智谷睿拓技术服务有限公司 设备间的交互方法以及近眼设备
CN106293039B (zh) * 2015-06-17 2019-04-12 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
CN105739871B (zh) * 2016-02-02 2019-03-01 广州视睿电子科技有限公司 触摸图形宽度的检测、触摸图形识别方法和***
US20170357672A1 (en) 2016-06-12 2017-12-14 Apple Inc. Relating digital assets using notable moments
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US11073980B2 (en) 2016-09-29 2021-07-27 Microsoft Technology Licensing, Llc User interfaces for bi-manual control
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266057B1 (en) * 1995-07-05 2001-07-24 Hitachi, Ltd. Information processing system
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0450196B1 (en) * 1990-04-02 1998-09-09 Koninklijke Philips Electronics N.V. Data processing system using gesture-based input data
US6067079A (en) * 1996-06-13 2000-05-23 International Business Machines Corporation Virtual pointing device for touchscreens
US6380930B1 (en) * 1999-03-09 2002-04-30 K-Tech Devices Corporation Laptop touchpad with integrated antenna
US6498590B1 (en) * 2001-05-24 2002-12-24 Mitsubishi Electric Research Laboratories, Inc. Multi-user touch surface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266057B1 (en) * 1995-07-05 2001-07-24 Hitachi, Ltd. Information processing system
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069350A (ja) * 2005-09-15 2013-04-18 Apple Inc トラックパッドデバイスの未加工データを処理するシステム及び方法
JP4665172B2 (ja) * 2005-12-06 2011-04-06 国立大学法人島根大学 対話型インターフェース方式および対話型インターフェース用プログラム
JP2007156857A (ja) * 2005-12-06 2007-06-21 Shimane Univ 対話型インターフェース方式および対話型インターフェース用プログラム
JP2010500683A (ja) * 2006-08-15 2010-01-07 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
JP2008052729A (ja) * 2006-08-22 2008-03-06 Samsung Electronics Co Ltd 多接点位置変化感知装置、方法、およびこれを用いたモバイル機器
US8212782B2 (en) 2006-08-22 2012-07-03 Samsung Electronics Co., Ltd. Apparatus, method, and medium of sensing movement of multi-touch point and mobile apparatus using the same
JP2008097609A (ja) * 2006-10-11 2008-04-24 Samsung Electronics Co Ltd マルチタッチ判断装置、方法及び記録媒体
US8717304B2 (en) 2006-10-11 2014-05-06 Samsung Electronics Co., Ltd. Apparatus, method, and medium for multi-touch decision
US11954322B2 (en) 2007-01-07 2024-04-09 Apple Inc. Application programming interface for gesture operations
US11449217B2 (en) 2007-01-07 2022-09-20 Apple Inc. Application programming interfaces for gesture operations
US10613741B2 (en) 2007-01-07 2020-04-07 Apple Inc. Application programming interface for gesture operations
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US10175876B2 (en) 2007-01-07 2019-01-08 Apple Inc. Application programming interfaces for gesture operations
KR100862349B1 (ko) 2007-01-08 2008-10-13 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
JP2008217781A (ja) * 2007-03-07 2008-09-18 Samsung Electronics Co Ltd 表示装置及びその駆動方法
KR101383709B1 (ko) * 2007-03-07 2014-04-09 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
US8736556B2 (en) 2007-03-07 2014-05-27 Samsung Display Co., Ltd. Display device and method of driving the same
US9047004B2 (en) 2007-09-11 2015-06-02 Smart Internet Technology Crc Pty Ltd Interface element for manipulating displayed objects on a computer interface
US9013509B2 (en) 2007-09-11 2015-04-21 Smart Internet Technology Crc Pty Ltd System and method for manipulating digital images on a computer display
US9053529B2 (en) 2007-09-11 2015-06-09 Smart Internet Crc Pty Ltd System and method for capturing digital images
US10521109B2 (en) 2008-03-04 2019-12-31 Apple Inc. Touch event model
JP2018032420A (ja) * 2008-03-04 2018-03-01 アップル インコーポレイテッド タッチイベントモデル
US11740725B2 (en) 2008-03-04 2023-08-29 Apple Inc. Devices, methods, and user interfaces for processing touch events
US10936190B2 (en) 2008-03-04 2021-03-02 Apple Inc. Devices, methods, and user interfaces for processing touch events
US8174503B2 (en) 2008-05-17 2012-05-08 David H. Cain Touch-based authentication of a mobile device through user generated pattern creation
JP2010039558A (ja) * 2008-07-31 2010-02-18 Canon Inc 情報処理装置及びその制御方法
JP2010134859A (ja) * 2008-12-08 2010-06-17 Canon Inc 情報処理装置及び方法
JP2010140300A (ja) * 2008-12-12 2010-06-24 Sharp Corp 表示装置、制御方法、制御プログラムおよび記録媒体
US11755196B2 (en) 2009-03-16 2023-09-12 Apple Inc. Event recognition
US11163440B2 (en) 2009-03-16 2021-11-02 Apple Inc. Event recognition
US10719225B2 (en) 2009-03-16 2020-07-21 Apple Inc. Event recognition
JP2010274049A (ja) * 2009-06-01 2010-12-09 Toshiba Corp 超音波画像診断装置及び超音波画像診断装置の制御方法
US10732997B2 (en) 2010-01-26 2020-08-04 Apple Inc. Gesture recognizers with delegates for controlling and modifying gesture recognition
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US8743089B2 (en) 2010-07-26 2014-06-03 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
JP2012079279A (ja) * 2010-09-06 2012-04-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
KR101813028B1 (ko) * 2010-12-17 2017-12-28 엘지전자 주식회사 이동 단말기 및 그 디스플레이 제어 방법
KR20120072932A (ko) * 2010-12-24 2012-07-04 삼성전자주식회사 터치 인터페이스 제공 방법 및 장치
US11157107B2 (en) 2010-12-24 2021-10-26 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface
KR101718893B1 (ko) * 2010-12-24 2017-04-05 삼성전자주식회사 터치 인터페이스 제공 방법 및 장치
US10564759B2 (en) 2010-12-24 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface
WO2012086957A2 (en) * 2010-12-24 2012-06-28 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface
WO2012086957A3 (en) * 2010-12-24 2012-10-04 Samsung Electronics Co., Ltd. Method and apparatus for providing touch interface
JP2013097798A (ja) * 2011-10-27 2013-05-20 Samsung Electronics Co Ltd タッチパネルを備える携帯端末機の入力判定装置及び方法
US9495095B2 (en) 2011-10-27 2016-11-15 Samsung Electronics Co., Ltd. System and method for identifying inputs input to mobile device with touch panel
JP2013186540A (ja) * 2012-03-06 2013-09-19 Sony Corp 情報処理装置及び情報処理方法
KR101928914B1 (ko) 2012-06-08 2018-12-13 엘지전자 주식회사 이동 단말기
KR20130137830A (ko) * 2012-06-08 2013-12-18 엘지전자 주식회사 이동 단말기
JP5401675B1 (ja) * 2012-09-28 2014-01-29 島根県 情報入力装置および情報入力方法
US11429190B2 (en) 2013-06-09 2022-08-30 Apple Inc. Proxy gesture recognizer
JP2017510879A (ja) * 2014-01-28 2017-04-13 ▲華▼▲為▼終端有限公司Huawei Device Co., Ltd. 端末デバイスを処理するための方法及び端末デバイス
KR101938215B1 (ko) * 2015-08-26 2019-01-14 주식회사 퓨처플레이 스마트 인터렉션 장치
JP2019159442A (ja) * 2018-03-08 2019-09-19 株式会社ワコム フォースセンサ無タッチセンサにおける疑似プッシュ判定方法
JP7242188B2 (ja) 2018-03-08 2023-03-20 株式会社ワコム フォースセンサ無タッチセンサにおける疑似プッシュ判定方法

Also Published As

Publication number Publication date
US20050052427A1 (en) 2005-03-10

Similar Documents

Publication Publication Date Title
JP2005100391A (ja) ハンドジェスチャを認識する方法
US9996176B2 (en) Multi-touch uses, gestures, and implementation
US8941600B2 (en) Apparatus for providing touch feedback for user input to a touch sensitive surface
US7441202B2 (en) Spatial multiplexing to mediate direct-touch input on large displays
KR101183381B1 (ko) 플릭 제스쳐
US7966573B2 (en) Method and system for improving interaction with a user interface
JP4890853B2 (ja) カーソルを用いて入力を制御する入力制御方法
US5272470A (en) Apparatus and method for reducing system overhead while inking strokes in a finger or stylus-based input device of a data processing system
US20100229090A1 (en) Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US20110216015A1 (en) Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
Buxton 31.1: Invited paper: A touching story: A personal perspective on the history of touch interfaces past and future
US20140189482A1 (en) Method for manipulating tables on an interactive input system and interactive input system executing the method
US20120068963A1 (en) Method and System for Emulating a Mouse on a Multi-Touch Sensitive Surface
KR20110038120A (ko) 펜 추적을 포함하는 멀티-터치 터치스크린
WO1998000775A9 (en) Touchpad with scroll and pan regions
US10146424B2 (en) Display of objects on a touch screen and their selection
US20140298275A1 (en) Method for recognizing input gestures
US9582033B2 (en) Apparatus for providing a tablet case for touch-sensitive devices
US11137903B2 (en) Gesture-based transitions between modes for mixed mode digital boards
US20120050171A1 (en) Single touch process to achieve dual touch user interface
US20200225787A1 (en) Stroke-based object selection for digital board applications
van Dam et al. Hands-On-Math Final Report–September 2010

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100817