JP7233109B2 - タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム - Google Patents

タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム Download PDF

Info

Publication number
JP7233109B2
JP7233109B2 JP2020157569A JP2020157569A JP7233109B2 JP 7233109 B2 JP7233109 B2 JP 7233109B2 JP 2020157569 A JP2020157569 A JP 2020157569A JP 2020157569 A JP2020157569 A JP 2020157569A JP 7233109 B2 JP7233109 B2 JP 7233109B2
Authority
JP
Japan
Prior art keywords
touch
information
sensitive surface
display
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020157569A
Other languages
English (en)
Other versions
JP2021002381A (ja
Inventor
華超 ▲グン▼
旭東 何
Original Assignee
北京拉酷网絡科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京拉酷网絡科技有限公司 filed Critical 北京拉酷网絡科技有限公司
Publication of JP2021002381A publication Critical patent/JP2021002381A/ja
Application granted granted Critical
Publication of JP7233109B2 publication Critical patent/JP7233109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本願に対して２０１６年７月２５日に中国特許出願第２０１６１０５９２６９５．６号の優先権を提出することが要求された。ここで、本文では上記中国特許出願の公開内容を引用して本願の一部とする。
本発明は、情報入力制御技術分野に関し、具体的にはタッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステムに関する。
タッチパッドは、キーボード、マウス以外の重要な入力手段であり、ノートパソコンに組み込んで使用するか又は単独の入力手段としてデータ転送ケーブルを通してコンピュータに接続して使用することができる。
タッチパッドの普及はユーザに非常に大きな便利を与え、マウスの代わりにカーソルの移動を制御できる。ところが、多くの場合、タッチパッドのみを使用するとまた多くの不便をもたらす。例えば、現在ユーザが文書を編集しているか又はサイトを参照している際に、デスクトップのあるアプリケーションを開きたければ、まずデスクトップに戻り、次にタッチパッドにおいてカーソルを目標位置にスライドさせるように制御してから、アプリケーションをダブルクリックして開く必要がある。操作過程全体が非常に不便であり、かつ操作のかかる時間が長い。ユーザのデスクトップにおけるショートカットが多い場合、操作過程全体がかかる時間は一層長くなる。
本発明は、「タッチ感知面－ディスプレイ」によるジェスチャー制御及びインタラクティブ技術を提供し、タッチ感知面の技術と表示技術を組み合わせて、新しいインタラクティブ方法を提出し、情報の迅速な入力制御を実現することを目的とする。
具体的には、本発明の第１形態は、タッチ感知面－ディスプレイによる入力方法を提供し、以下のステップを含む。
タッチ感知面における接触物の連続スライド位置情報をリアルタイムに取得するステップＳ１１０と、
前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、次のステップ、すなわち、前記ディスプレイにおいてアイコンを含むウィンドウが表示されるように制御し、かつ接触物の連続スライド位置情報をリアルタイムに取得し続け、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面から離れたと判断する時まで表示するようにディスプレイを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成するというＳ１３０を実行するステップＳ１２０とを含む。
本発明の第２形態は、電子装置を提供する。表示ユニット、タッチ感知面ユニット、そして前記表示ユニット及びタッチ感知面ユニットにカップリングされる処理ユニットを含み、前記表示ユニットはユーザインタフェースオブジェクトを表示するように配置され、前記タッチ感知面ユニットは、ユーザ接触を検出するように配置され、前記処理ユニットは、前記タッチ感知面ユニットの連続スライド位置情報をリアルタイムに取得するように配置され、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断する場合、アイコンを含むウィンドウを表示するように前記表示ユニットを制御し、かつ前記タッチ感知面ユニットにおける連続スライド位置情報をリアルタイムに取得し続け、前記連続スライド位置情報に基づき、前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、接触物が前記タッチ感知面ユニットから離れたことを前記タッチ感知面ユニットが取得したと判断する時まで表示するように表示ユニットを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成することを含む。
本発明の第３形態は、触覚－視覚技術による入力制御方法を提供し、以下のステップを含む。タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するステップ、前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにＵＩ層を制御し、同時に入力制御領域の収集した情報に基づいて該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行するステップを含む。
本発明の第４形態は、触覚－視覚技術による入力制御システムを提供する。タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するのに用いられるタッチパッド区分及び初期化電気回路と、
前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにＵＩ層を制御するのに用いられる仮想インターフェース表示制御電気回路と、
入力制御領域の収集した情報に基づき、該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行するリアルタイム表示及び入力制御電気回路とを含む。
従来技術に比べて、本発明は、タッチ感知面とディスプレイを組み合わせ、選択された対応する機能を迅速に入力することにより、新しいインタラクティブ方法を提供し、ライトニングスタート機能を実現すると同時に、タッチ感知面の一般機能に影響せず、ユーザの認知負担を減らして一層効果的なヒューマンコンピュータインターフェースを生成し、広い運用の見込みがある。他方、タッチ感知面に対して区分及び初期化し、前記タッチ感知面をインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにＵＩ層を制御し、同時に入力制御領域の収集した情報に基づき、該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行する。これにより、情報（あるアプリケーションを開くための制御情報又は例えば数字などの内容情報）の迅速な入力制御を実現すると同時に、触覚及び視覚において入力の精確性を保証できる。かつ本発明の技術によって入力制御を行う場合、特にあるアプリケーションを開くように制御する際に、デスクトップに戻って現在の作業状況を変更し、対応するアプリケーションを探してダブルクリックして開く必要が無いので、操作の制御時間を大幅に削減し、さらにシステム全体の応答時間を縮減できた。大量なデータ統計によると、本発明の技術によって入力制御を行うと、当業者の対応する操作時間は少なくとも５０％を縮減できる。また、本発明では、座標情報（ユーザー定義した駆動層にある）を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記入力制御領域をさらに区分するが、前記インターフェース制御領域と入力制御領域が隣接する。（ユーザー定義した）駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにＵＩ層を制御する。これにより、仮想インターフェースの表示を一層迅速、精確に制御できると同時に、低いコストを実現できる。さらに、本発明では、入力制御領域が指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示し、前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得し、前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行する。これにより、内容情報の入力又は制御情報の実行を一層迅速、精確に行うことを実現でき、操作時間が短いと同時に、システムの応答時間が削減できる。最後に、本発明では、前記入力制御領域が指のスライド軌跡終点情報を収集したら、制御情報を駆動層に送信し、駆動層が該制御情報を受信したら、仮想インターフェースを隠すようにＵＩ層を制御する。これにより、仮想インターフェースの迅速な非表示を実現し、インターフェースのスペイスを占めず、関連するアプリケーションに対するユーザの正常な操作及びブラウズに妨害しなくて済む。
図面を参照すると本発明の特徴及び長所をより明確に理解できる。図面は概念的なものであり、本発明に対する如何なる制限を与えるものと理解してはならない。
図１は本発明実施例のタッチ感知面－ディスプレイによる入力方法のタッチ感知面における接触物の予め設置されているスライド方向の概念図である。 図２は本発明実施例のタッチ感知面－ディスプレイによる入力方法のウィンドウ概念図である。 図３は本発明実施例のタッチ感知面－ディスプレイによる入力方法のフローチャート概念図である。 図４は本発明実施例のタッチ感知面－ディスプレイによる入力方法の判断プロセス概念図である。 図５は本発明実施例のタッチ感知面－ディスプレイによる入力方法のタッチ感知面とウィンドウとの対応を示す概念図である。 図６は本発明実施例のタッチ感知面－ディスプレイによる入力方法のアイコンとアプリケーションエンティティとのマッピング関係を示す概念図である。 図７は本発明実施例のタッチ感知面－ディスプレイによる入力方法の応用例の概念図である。 図８は本発明実施例のタッチ感知面－ディスプレイによる入力方法の応用例におけるタッチ感知面のパーティションの概念図である。 図９は本発明実施例のタッチ感知面－ディスプレイによる入力方法の応用例におけるスライドに対応する表示を示す概念図である。 図１０は本発明実施例のタッチ感知面－ディスプレイによる入力方法の応用例におけるタッチ感知面のキャンセル領域位置の概念図である。 図１１は本発明実施例のタッチ感知面－ディスプレイによる入力方法の応用例におけるタッチ感知面のトリガー領域と無効領域位置の概念図である。 図１２は本発明実施例のタッチ感知面－ディスプレイによる入力方法のフローチャート概念図である。 図１３は本発明実施例のタッチ感知面－ディスプレイによる入力制御システムの構造概念図である。 図１４は本発明実施例の入力システムの構造概念図である。 図１５は本発明実施例の電子装置の構造概念図である。 図１６は本発明実施例の電子装置における使用過程を示す概念図である。 図１７は本発明実施例の触覚－視覚技術による入力制御方法の方法フローチャート図である。 図１８は本発明実施例の触覚－視覚技術による入力制御方法がタッチ感知面を区分する概念図である。
以下、図面及び実施の形態を参照して本発明をさらに説明する。
本発明の上述目的、特徴及び長所をより明確に理解するために、以下、図面及び実施の形態を参照して本発明をさらに詳しく説明する。なお、矛盾しない限り、本発明の実施例と実施例における特徴は互いに組み合わせることが可能である。
下記記載には、本発明を十分に理解するための具体的な説明がたくさんあるが、本発明はここに記載されていないほかの形態によって実施されることもできる。したがって、本発明の保護範囲は下記公開される具体的な実施例の制限を受けていない。
本発明は、「タッチ感知面－ディスプレイ」によるジェスチャー制御及びインタラクティブ技術を提供することを目的とし、タッチ感知面技術と表示技術を組み合わせ、新しいインタラクティブ方法を提供する。すなわち、まずタッチ感知面においてあるジェスチャーを行い、ディスプレイのあるウィンドウをアクティブにし、タッチ感知面における指のスライド操作によって、ディスプレイのウィンドウのＧＵＩにおいてタッチ感知面におけ
る指のスライドとの同調が行われ、指が上がることはある種の操作に相当する。ディスプレイのウィンドウの大きさは変化可能であり、ウィンドウ内のポインターのスライド又は選択ボックスの移動はタッチ感知面における指のスライドに同調し、タッチ感知面におけるスライドの実際距離とウィンドウ内のポインター又は選択ボックスの移動距離は、縮尺される（縮尺は、タッチ感知面の大きさとウィンドウの大きさに基づいて算出する）。本方法は、システムＧＵＩレベルの上にもう一つのＧＵＩレベルを構成した。この方法のＧＵＩレベルでは、ＧＵＩの内容に対するユーザー定義が許され、より効果的かつ直観的な視覚及び触覚フィードバックをユーザに提供し、ディスプレイ及びタッチ感知面を有する電子装置に対してより迅速、効果的な操作を与える目的を達成することにより、このような装置の効果性、効率及びユーザの満足度を上げる。
タッチ感知面８００におけるジェスチャーは以下の種類がある。図１に示すように、一本の指がタッチパッドの左エッジ８０３の外部からエッジ内部へとスライドすること、一本の指がタッチパッドの右エッジ８０１の外部からエッジ内部へとスライドすること、一本の指がタッチパッドの上エッジ８０４の外部からエッジ内部へとスライドすること、一本の指がタッチパッドの下エッジ８０２の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの左エッジ８０３の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの右エッジ８０１の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの上エッジ８０４の外部からエッジ内部へとスライドすること、複数の指がタッチパッドの下エッジ８０２の外部からエッジ内部へとスライドすることが挙げられる。
インタラクティブ過程：タッチパッドのエッジ内に入った後、スクリーンには図２に示すようなウィンドウ７００がポップアップされ、ウィンドウには、アイコン７１０が設置され、この場合、スクリーンにおける選択ボックス（ポインター、矢印、指）は、タッチ感知面における指の移動に応じて同調して移動する。指がタッチ感知面から離れた際に、応答した選択ボックスに対応するアイコン７１０に対応するエンティティ内容、例えば、プログラムをアクティブにすること、ファイルを開くこと、ウェブサイトを開くこと、フォルダを開くこと、マクロ定義を実行することなどの機能は、アクティブされる。前記ウィンドウ７００は、アプリケーションウィンドウ、インターフェース表示ウィンドウ、機能ウィンドウが挙げられる。具体的な技術内容について、以下の実施例を参照する。
実施例１
図３に示すように、本発明は、以下のステップを含むタッチ感知面－ディスプレイによる入力方法を提供する。
Ｓ１１０：タッチ感知面における接触物の連続スライド位置情報をリアルタイムに取得する。特別なデータ構造、例えばキュー、コンテナを設置することにより連続位置情報（二次元座標）を記憶することができる。連続スライドと判断した際に、一時的に保存された位置情報を取り出してから新しい位置情報を加え、連続スライド位置情報として生成する。具体的には、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にする。
Ｓ１２０：前記連続スライド位置情報が起動条件を満たし、つまり予め設置されているタッチシーケンスに合致すると判断した場合、スライドのジェスチャーが予め記憶されているジェスチャーにマッチングすれば（スライド方向、スライド形状）、検出されたスライドの距離が閾値を満たすことを条件にするか、又は検出されたスライドの時間が閾値を満たすことを条件にすることもでき、起動条件を満たしたら以下のステップを実行する。すなわち、
Ｓ１３０：前記ディスプレイにおいてアイコンを含むウィンドウが表示されるように制御し、かつ接触物の連続スライド位置情報をリアルタイムに取得し続け、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面から離れたと判断する時まで表示するようにディスプレイを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成する。選択位置と前記接触物がタッチ感知面における位置とはリアルタイムなマッピング関係であるため、現在の前記選択位置に基づいてトリガーイベント情報を生成する前記ステップは、タッチ感知面における接触物の位置を採用してトリガーイベント情報を直接生成できる。前記ウィンドウは、図２に示すように、ウィンドウには複数種のアイコンが設置され、アイコンは異なるアプリケーションに対応している。例えば、具体的なアプリケーション、文書ファイル、フォルダ、ウェブサイト、マクロ定義などが挙げられる。予め記憶されているマッピング関係によって対応するトリガーイベント情報を生成し、このトリガーイベント情報をＷｉｎｄｏｗｓシステム及び／又はＯＳシステムのイベント処理プロセスに入れれば、イベントに関連するアプリケーションを実行でき、つまり迅速な起動、ライトニングスタート機能を実現できる。本発明の実施例では、ウィンドウでのポインターの移動は、タッチ感知面における接触物触（例えば、人の指、人造の金属製指）によって制御され、接触物のスライドに応じて、ポインターもスライドする。しかし、ウィンドウとタッチ感知面とのサイズがよく一致していないので、比例関係によるマッピング位置を採用することができる。例えば、ウィンドウの長さとタッチ感知面の長さの比例に基づいて長さ方向における位置情報を特定し、ウィンドウの幅方向とタッチ感知面の幅の比例に基づいて幅方向における位置情報を特定することができる。他の比例関係を採用してもよい。前記比例関係では、絶対位置マッピングが採用されたが、相対位置マッピング、すなわち、位置増量によってポインター位置のリアルタイムポインティングを制御することを採用してもよい。アイコンを含むウィンドウの表示インターフェースは、予め設置されている方法によってそのアイコンとアイコンに対応するアプリケーションエンティティを制御できる。アイコンとアプリケーションエンティティが記憶された位置関係によってマッピング表を作成でき、必要な場合（つまり接触物が上がった際に）、マッピング表から対応するエンティティの情報（ファイル記憶位置）を探してイベント情報を生成し、実行する。なお、前記ポインターは、表示ポインターでも非表示ポインターでもよい。すなわち、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおいて、選択位置をリアルタイムポインティングし、かつ前記選択位置においてポインターを表示するか又は現在位置で選択された内容を表示するようにディスプレイを制御する。前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲（アイコンの中心を基準とする一つの円形又は長方形、又はアイコン図形が占める図形範囲）の内にある場合、前記アイコン又はアイコンの選択範囲をハイライト表示する。このように、ユーザは前記ウィンドウでポインティングされた選択位置を直観的に分かる。なお、前記選択位置は、連続的に配置されることも、間隔を置いて配置されることもできる。連続的に配置される場合、ウィンドウでは、ハイライト表示された内容が一貫して存在している。間隔を置いて配置される場合、接触物（指）を移動させれば、ハイライト領域を表示するので現在の選択位置が分かる。本発明は、ハイライト表示とポインターの表示を組み合わせ、選択位置が前記アイコンの選択範囲内である場合、前記アイコンをハイライト表示し、現在記選択位置が前記アイコンの選択範囲外である場合、選択位置においてポインターを表示し、現在の選択位置をユーザがリアルタイムに直観的に発見することにとって便利である。
本発明のステップＳ１３０は、前記接触物が前記タッチ感知面から離れた際に、前記連続スライド位置情報における現在位置が前記タッチ感知面のキャンセル領域にあると判断した場合、前記ウィンドウを閉じる情報を生成する。ユーザが現在の操作を取り消すことにとって便利である。
入力の信頼性、ユーザがアイコンを選択する際の精確性を保証するために、前記ステップＳ１３０では、前記選択位置に基づいてトリガーイベント情報を生成する前記ステップは、具体的には、前記ポインター位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、記アイコンに関連するエンティティをトリガーするイベント情報を生成する。図２に示すように、アイコンＡ ７１０の選択範囲７１１は、アイコンＡを中心とする長方形であるが、円形でもよい。メモリ使用量を減少するために、前記アイコンに関連するエンティティをトリガーするイベント情報を生成するステップの後は、さらに前記ウィンドウを閉じる情報を生成し、記憶された位置情報及びウィンドウ表示情報を消すことが含まれる。
ウィンドウ又はインタラクティブシステム、入力システムからタイムリーに抜けることに資するために、前記ステップＳ１３０では、前記ポインターの位置情報に基づいてトリガーイベント情報を生成する前記ステップは具体的にはさらに、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成し、つまり今回のスライド操作を終了させ、放棄することを含む。
ステップＳ１３０では、前記接触物が前記タッチ感知面から離れたと判断する前記ステップは、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が占有中から未占有に変わる場合、前記触控物が前記タッチ感知面から離れたと判断することを含む。前記タッチ感知面の各種の状態から判断することもできる。前記タッチ感知面の状態は、ｃｌｉｃｋ（クリック）、ｔａｐ（タップ）、ｈｏｌｄ（ホールド）、ｏｆｆ（ｆｉｎｇｅｒ ｕｐ指を上げる）を含み、つまり前記タッチ感知面の状態がｈｏｌｄからｏｆｆに変わったら、接触物が上がったと判断できる。
図４に示すように、前記ステップＳ１２０で、前記連続スライド位置情報が起動条件を満たすと判断する前記ステップは具体的には以下のことを含む。すなわち、
Ｓ１２１：前記連続スライド位置情報に基づいて開始位置、及びスライド方向を取得し、前記スライド方向情報は直接読み取ることもできれば、複数の位置情報に基づいて取得することもできる。具体的には、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にする。図５に示すように、ウィンドウ７００がディスプレイ６００に表示され、連続スライド位置情報から複数の位置ポイント（Ｐ１、Ｐ２、Ｐ３）（二次元位置情報を含む）を取り出し、複数の方向ベクトルＳ１（ｓｔａｒｔ点からＰ１）、Ｓ２（ｓｔａｒｔ点からＰ２）、Ｓ３（ｓｔａｒｔ点からＰ３）を形成し、平均方向ベクトルＳ（Ｓ＝（Ｓ１＋Ｓ２＋Ｓ３）／３）を算出してスライド方向に対応する方向ベクトルにする。
Ｓ１２２では、前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば前記連続スライド位置情報が起動条件を満たすと判断する。具体的に比較する際に、予め記憶されているスライド方向ベクトルと直接比較することができる。平面幾何知識を利用し、夾角を算出し、例えば夾角が閾値よりも小さく、例として５度であれば、一致であると判断する。具体的には、前記開始位置が前記タッチ感知面のエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合（最大値が９０度）、例えばエッジとの夾角が６０度よりも大きければ角度判定に合致すると判断し、前記連続スライド位置情報が起動条件を満たすと判断する。前記エッジ領域がタッチ感知面のエッジであり、前記エッジ領域がエッジから内へ５ｍｍであると設定できる。このように、許容度を保証し、入力方法の実用性を高めた。ミスタッチによる本入力方法の起動を防止するために、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きければ、前記連続スライド位置情報が起動条件を満たす
と判断する。図５に示すように、開始位置Ｓｔａｒｔから現在点ｎｏｗとの距離が閾値よりも大きく、例えば１５ｍｍより大きい場合、起動すると判断する。
本発明のエッジから滑り込むというジェスチャーの検出は、以下のことを考慮した上でのものである。すなわち、既存のｗｉｎｄｏｗｓ及びＯＳシステムに対応するタッチ感知面を有するコンピュータ又はタッチ操作装置において、すでに一部のジェスチャー識別機能がビルトインされており、本発明の接触物のジェスチャーによってｗｉｎｄｏｗｓ又はＯＳシステムにビルトインされたジェスチャーの対応機能を間違って起動させることを防止するため、エッジからスライドしてくるジェスチャーを検出するわけである。
上述のように、前記ステップＳ１３０では、前記ウィンドウ７００においてポインターをリアルタイムポインティングするステップは具体的には、前記接触物の現在位置情報を取得し、前記タッチ感知面８００のサイズと前記ウィンドウ７００のサイズとの対応関係に基づいて前記ポインターの位置を取得する。図５に示すように、ウィンドウ７００の長さ、幅のパラメータはＬ＊Ｗであり、タッチ感知面の長さ、幅のパラメータはｌ＊ｗである場合、タッチ感知面において現在点ｎｏｗ（ｘｎｏｗ、ｙｎｏｗ）がウィンドウにマッピングされた位置はｎｏｗ－ａｐｐｌｙ（ｘｎｏｗ＊Ｌ／ｌ、ｙｎｏｗ＊Ｗ／ｗ）である。
本発明のアプリケーションエンティティとして複数種が挙げられる。前記アイコンに関連するエンティティをトリガーするイベント情報を生成する前記ステップは、実行ファイルを開くイベント情報を生成するステップ、ファイルを開くイベント情報を生成するステップ、フォルダを開くイベント情報を生成するステップ、ウェブページを開くイベント情報を生成するステップ及びマクロ定義を実行するイベント情報を生成するステップのうちの一つ又は複数を含む。
ステップＳ１１０の前にはさらに、
前記アイコン及びアイコンとエンティティとのマッピング関係を取得かつ保存するＳ１０１を含む。図６に示すように、アイコンとアプリケーションとの関係を形成する。
以下は具体的な実施過程を取り上げる。図７に示すように、接触物（指）はタッチ感知面８００における右エッジから内へと一段の距離をスライドし、次にディスプレイ６００においてウィンドウ７００が表示され（表示位置はディスプレイ６００の中央と初期設定できるが、他の位置でもよい）、ウィンドウ７００においてアイコン７１０が表示され、そして指はスライドし続け、対応するウィンドウ７００におけるポインターはそれに応じて移動し、右下の五角星のアイコンまで移動したら、接触物が上がる。図６に示すようなマッピング関係に基づき、ブラウザー（Ｃ＼＼．．．ｉｅｘｐｌｏｒｅ．ｅｘｅ）を開く操作を実行する。簡単なスライド操作によってアプリケーションを迅速に起動できる。
実施例２
本発明の本実施例は続いてタッチ感知面－ディスプレイによる入力方法を提供する。前記タッチ感知面８００は、図８に示すように、１６個の領域に区分され、対応する前記ディスプレイ６００におけるウィンドウ７００も１６個の領域に区分される。前記タッチ感知面の各領域と前記ディスプレイ６００の各領域は対応し、前記ウィンドウ７００の領域には、アイコン７１０又はブランク表示内容が設置される。処理過程は図１２に示すように、プロセッサ又は電子装置は、タッチ感知面における連続スライド位置情報をリアルタイムに取得し、予め設置されているタッチシーケンスに合致すると判断した場合、前記ウィンドウを表示し、かつ前記連続スライド位置情報における現在位置に基づいてウィンドウのハイライト位置をポインティングする。例えば現在接触物が前記タッチ感知面の右下の隅の領域にあれば、前記ウィンドウの右下の隅のアイコン又は領域はハイライト表示に
対応する。接触物が前記タッチ感知面における連続スライド位置情報を受信することにより、ハイライト表示の領域を移動させ、この際の接触物が前記タッチ感知面の中央領域に移動すれば、ウィンドウの対応する中央領域がハイライト表示され、図９に示されている。現在の接触物が前記タッチ感知面から離れたと判断してはじめて、離れた際の位置に基づいてトリガーイベント情報を生成する。例えば、接触物が離れた際に、ハイライト表示されるアイコンがブラウザーのアイコンであれば、この際にブラウザーを開くように実行する情報を生成しかつウィンドウを閉じる情報を生成する。さらに例えば、ハイライト表示されるアイコンがノートパッドのアイコンであれば、この際にノートパッド機能を開くように実行する情報を生成しかつウィンドウを閉じる情報を生成する。さらに例えば、接触物が離れた際に、接触物の所在位置がタッチ感知面におけるキャンセル領域に該当する場合、この際に前記ウィンドウを閉じる情報を生成する。具体的には、図１０に示すように、前記キャンセル領域８１０は、前記タッチ感知面８００のエッジ位置に位置し、例えば前記タッチ感知面の長さ又は幅サイズの２％、又は１％、又は５％を占める。図１１に示すように、タッチ感知面はトリガー領域８２０と無効領域８３０に区分できる。予め設置されているタッチシーケンスに合致すると判断するステップは、前記連続スライド位置情報の開始点が前記トリガー領域にあると判断することと、連続スライド位置情報の現在点から開始点までの距離が閾値に達成した際に、予め設置されているタッチシーケンスに合致すると判断することを含む。前記トリガー領域の幅は前記タッチ感知面の長さ又は幅サイズの５％、又は３％、又は１０％を占める。接触物の連続スライド、ウィンドウのハイライト位置の連続変化、接触物の挙上、ハイライト位置のアイコンに対応するアプリケーションの実行によって、アプリケーションを迅速に起動する機能を提供する。
実施例３
本発明の本実施例は続いてタッチ感知面－ディスプレイによる入力方法を提供する。原理は前記実施例と類似するが、相違点は、ウィンドウには、連続配置される格子領域を設置せず、代わりにアイコンを設置する点にある。接触物に対応する位置が前記アイコンの選択範囲内である場合、前記アイコンはハイライト表示され、接触物が上がるか又は前記タッチ感知面から離れた際に、接触物の位置情報又はウィンドウの現在選択された位置情報に基づいて、トリガーイベント情報を生成する。さらに、キャンセル機能も含むが、原理は前記実施例と類似する。
実施例４
本発明の本実施例は続いてタッチ感知面－ディスプレイによる入力方法を提供する。原理は前記実施例と類似するが、相違点は、ハイライト表示によってウィンドウにおける選択位置をポインティングするのではなく、ポインターを採用し、ウィンドウを開いた後、前記接触物がタッチ感知面における位置に基づいてウィンドウにおける選択位置をリアルタイムポインティングし、選択位置においてポインターを表示するという点にある。前記ポインターの表示位置がアイコンの選択範囲内である場合、アイコンはハイライト表示されても、ハイライト表示されなくてもよい。連続スライド位置情報において接触物が上がったか又は前記タッチ感知面から離れたと検出した際に、現在ポインターの位置又は現在接触物の位置に基づいてトリガーイベント情報を生成する。
実施例５
本発明は、実施例１～実施例４での入力制御方法に基づき、図１３に示すように、さらにタッチ感知面－ディスプレイによる入力制御システム１００を提供する。位置情報取得電気回路１１０と、前記位置情報取得電気回路１１０に接続される判断電気回路１２０と、前記判断電気回路１２０及び位置情報取得電気回路１１０に接続される表示制御電気回路１３０と、前記表示制御電気回路１３０に接続されるイベントトリガー生成電気回路１４０とを含む。
前記位置情報取得電気回路１１０は、タッチ感知面８００における接触物の連続スライド位置情報をリアルタイムに取得し、かつ前記連続スライド位置情報を前記判断電気回路１２０及び前記表示制御電気回路１３０に送信するのに用いられ、前記連続スライド位置情報は接触物の位置情報及びタッチ感知面の状態情報を含む。
前記判断電気回路１２０は、前記連続スライド位置情報が起動条件を満たすと判断した際に、前記表示制御電気回路１３０に信号を送信するのに用いられる。
前記表示制御電気回路１３０は、ディスプレイ６００においてアイコンを有するウィンドウを表示する情報を生成し、かつ接触物の連続スライド位置情報をリアルタイムに取得し、前記接触物の連続スライド位置情報に基づき、前記ウィンドウにおけるポインターのリアルタイム位置情報及び前記ウィンドウにおけるポインターのリアルタイム表示情報を生成するのに用いられ、前記表示制御電気回路１３０はさらに、前記接触物の連続スライド位置情報に基づいて前記接触物が前記タッチ感知面から離れたと判断した際に、前記ウィンドウにおけるポインターのリアルタイム位置情報を前記イベントトリガー生成電気回路１４０に送信するのに用いられる。
前記イベントトリガー生成電気回路１４０は、前記ウィンドウにおけるポインターのリアルタイム位置情報に基づいてトリガーイベント情報を生成するのに用いられる。
前記イベントトリガー生成電気回路１４０は具体的には、前記ポインター位置が前記ウィンドウ７００における前記アイコン７１０の選択範囲７１１内である場合、前記アイコン７１０に関連するエンティティをトリガーするイベント情報を生成するのに用いられる。
前記イベントトリガー生成電気回路１４０はさらに、前記アイコン７１０に関連するエンティティをトリガーするイベント情報を生成した後、前記ウィンドウを閉じる情報を生成するのに用いられる。
前記イベントトリガー生成電気回路１４０はさらに、前記ポインター位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、図５に示すように、前記ウィンドウ７００を閉じる情報を生成するのに用いられる。
前記位置情報取得電気回路１１０は具体的には、前記タッチ感知面８００のタッチ状態をリアルタイムに取得し、前記タッチ感知面８００のタッチ状態が閾値時間（例えば５００ｍｓ）内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にするのに用いられる。
前記表示制御電気回路１３０によって前記タッチ感知面から前記接触物が離れたと判断するステップは、前記タッチ感知面８００のタッチ状態をリアルタイムに取得し、前記タッチ感知面８００のタッチ状態が占有から未占有に変わった際に、接触物が前記タッチ感知面８００から離れたと判断することを含む。
前記判断電気回路１２０は具体的には、前記連続スライド位置情報に基づいて開始位置、及びスライド方向を取得し、前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば、前記連続スライド位置情報が起動条件を満たすと判断するのに用いられる。
前記判断電気回路１２０がスライド方向を取得するステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含む。
前記判断電気回路１２０は具体的には、前記開始位置が前記タッチ感知面のエッジ領域（例えば、エッジから５ｍｍ内である）にあり、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値（例えば、６０度より大きい）よりも大きい場合、前記連続スライド位置情報が起動条件を満たすと判断するのに用いられる。
前記判断電気回路１２０は具体的には、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きければ、前記連続スライド位置情報が起動条件を満たすと判断するのに用いられる。
前記表示制御電気回路１３０が前記ウィンドウ７１０におけるポインターのリアルタイム位置情報を生成するステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面８００のサイズと前記ウィンドウのサイズとの対応関係に基づいて前記ポインターの位置を取得することを含む。
前記イベントトリガー生成電気回路１４０はさらに、実行ファイルを開くイベント情報の生成、ファイルを開くイベント情報の生成、フォルダを開くイベント情報の生成、ウェブページを開くイベント情報の生成及びマクロ定義を実行するイベント情報の生成のうちの一つ又は複数に用いられる。
本発明の入力システム１００はさらに、マッピング関係設立電気回路１５０を含み、前記マッピング関係設立電気回路は、前記アイコン及びアイコンとエンティティとのマッピング関係を取得して記憶手段１６０に保存し、前記イベントトリガー生成電気回路１４０が前記記憶手段１６０からマッピング関係を取得するのに用いられる。
前記実施例１～実施例５に言及したタッチ感知面は、タッチパッド、携帯タッチパネル、タブレットコンピュータタッチパネルなどタッチ感知機能を有する機能的膜層又は設備を含む。
前記実施例１～実施例５に言及したディスプレイは、ノートパソコンモニター、デスクトップコンピュータモニター、テレビディスプレイ又は携帯スクリーン、タブレットコンピュータスクリーンなど表示機能を有する膜層又は設備を含む。
実施例６
本発明は、上述のタッチ感知面－ディスプレイによる入力制御方法及び上述のタッチ感知面－ディスプレイによる入力制御システムを提供する。図１４に示すように、さらに入力システム１０００を提供し、タッチパッド８００、スクリーン６００及び前記入力制御システム１００を含む。具体的には、前記タッチパッド８００は前記位置情報取得電気回路１１０に接続され、前記スクリーン６００は前記表示制御電気回路１３０に接続される。本発明の入力システムは、予め設置されているアプリケーションを迅速に起動でき、個性化を実現した。
実施例７
以下の文章には表示ユニットとタッチ感知面ユニットを含む電子装置が記載されているが、電子装置は一つ又は複数の他の物理的ユーザインターフェースデバイス、例えば物理的キーボード、マウス及び／又は操作バーを任意選択的に含むと理解すべきである。装置は通常複数種のアプリケーションを支持し、例えばグラフィックアプリケーション、レンダーアプリケーション、文字処理アプリケーション、ウェブサイト作成アプリケーション
、ディスクエディタアプリケーション、表計算アプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージアプリケーション、運動サポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタルミュージックプレイヤーアプリケーション及び／又はデジタルビデオプレイヤーアプリケーションのうちの１種又は複数種が挙げられる。
図１５に示すように、本発明は、電子装置２００を提供する。前記電子装置は、表示ユニット２１０、タッチ感知面ユニット２２０と、前記表示ユニット２１０及びタッチ感知面ユニット２２０にカップリングされる処理ユニット２３０を含み、前記表示ユニット２１０はユーザインタフェースオブジェクトを表示するように配置され、前記タッチ感知面ユニット２２０はユーザ接触を検出するように配置され、前記処理ユニット２２０は、前記タッチ感知面ユニット２２０の連続スライド位置情報をリアルタイムに取得するように配置され、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、アイコンを含むウィンドウを表示するように前記表示ユニット２１０を制御し、かつ前記タッチ感知面ユニット２２０の連続スライド位置情報をリアルタイムに取得し続け、前記連続スライド位置情報に基づき、前記ウィンドウで選択位置をリアルタイムポインティングし、かつ表示ユニットが前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面ユニットから離れたことを前記タッチ感知面ユニット２２０が取得したと判断する時まで表示するように表示ユニットを制御し、現在の前記選択位置に基づいてトリガーイベント情報を生成する。前記処理ユニット２３０は、さらに前記トリガーイベント情報に基づいて対応する機能を実行するように配置される。タッチ感知面ユニット２２０には、ジェスチャー、つまりタッチシーケンスを下し、指定されたタッチシーケンスを処理ユニット２３０が検出したら、表示ユニット２１０の予め記憶されているＧＵＩウィンドウをアクティブにし、指のタッチ感知面ユニット２２０におけるスライドによって、対応するＧＵＩウィンドウにおいてポインターの移動又はオブジェクトの選択を操作し、指が離れた際にポインター又はオブジェクトの操作をアクティブにする。
前記処理ユニット２３０は具体的には、前記タッチ感知面ユニット２２０にカップリングされる検出ユニット２３１、前記検出ユニット２３１に接続されるリアルタイム表示ユニット２３２、前記検出ユニット２３１に接続されるフィードバックユニット２３３を含み、前記リアルタイム表示ユニット２３２はさらに前記表示ユニット２３２にカップリングされる。前記検出ユニット２３１は、前記タッチ感知面ユニット２２０の連続スライド位置情報をリアルタイムに取得し、連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、アクティブ化情報を生成し、かつ前記アクティブ化情報を前記リアルタイム表示ユニット２３２に送信し、前記連続スライド位置情報を取得し続け、かつ前記連続スライド位置情報を前記リアルタイム表示ユニット２３２に送信し、前記タッチ感知面ユニット２２０から接触物が離れたと判断する時にしてはじめて、前記触接触物の現在位置を前記フィードバックユニット２３３に送信するように配置され、前記リアルタイム表示ユニット２３２は、前記アクティブ化情報によって、前記表示ユニット２１０のウィンドウ表示を制御し、かつ前記連続スライド位置情報に基づいて選択位置を生成し、かつ前記選択位置によって、前記表示ユニット２１０の前記ウィンドウにおけるポインター又は現在位置で選択された内容の表示を制御するように配置され、前記フィードバックユニット２３３は、前記接触物の現在位置に基づいてトリガーイベント情報を生成するのに用いられる。前記処理ユニット２３０は、さらに実行ユニット２３４を含み、前記フィードバックユニット２３３は前記トリガーイベント情報を前記実行ユニット２３４に送信する。アプリケーションを迅速に起動するユーザインタラクティブ方法を実現し、ユーザがタッチ感知面ユニット２２０においてジェスチャーをスライドさせ、ジェスチャーが予め設置されているタッチシーケンスに合致する場合、表示ウィンドウを起動し、スライドし続けてウィンドウにおけるポインター又はハイライト位置を移動させ、ユーザに現在ウィンドウにおける選択位置をフィードバックし、ユーザが指を上げたら、対応するウィンドウにおけるアプリケーションを選択的に実行することを実現する。
前記リアルタイム表示ユニット２３２は、前記選択位置に基づいて前記表示ユニット２１０が前記ウィンドウにおいてポインター又は現在位置で選択された内容を表示するように制御する際に使用され、前記リアルタイム表示ユニット２３２は具体的に、現在記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記表示ユニット２１０が前記アイコン及び／又は前記アイコンの選択範囲をハイライト表示するように制御する情報を生成するのに用いられる。及び／又は、前記リアルタイム表示ユニット２３２はさらに具体的に、現在記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記表示ユニット２１０が現在選択位置においてポインターを表示するように制御する情報を生成するのに用いられる。
前記検出ユニット２３１は、連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した後、さらには、接触物が前記タッチ感知面ユニット２２０のキャンセル領域にあると判断する場合、前記ウィンドウを閉じる情報を生成し、かつ前記ウィンドウを閉じる情報を前記リアルタイム表示ユニット２３１に送信し、前記リアルタイム表示ユニット２３１が前記表示ユニット２１０を制御して前記ウィンドウを閉じるように配置される。
前記検出ユニット２３１はさらに、前記タッチ感知面ユニット２２０から接触物が離れたと判断する場合、ウィンドウを閉じる情報を生成して前記リアルタイム表示ユニット２３２に送信し、前記リアルタイム表示ユニット２３２が前記ウィンドウを閉じることを制御するように配置される。
前記タッチ感知面ユニット２２０のキャンセル領域は、前記タッチ感知面ユニット２２０のエッジにあり、前記キャンセル領域の幅は、前記タッチ感知面ユニット２２０の幅又は長さの２％、又は１％、又は５％である。
前記フィードバックユニット２３３具体的に、前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコンに関連するエンティティをトリガーするイベント情報を生成するのに用いられる。
前記フィードバックユニット２３３はさらに、前記アイコンに関連するエンティティをトリガするイベント情報を生成した後、前記ウィンドウを閉じる情報を生成するのに用いられる。
前記フィードバックユニット２３３はさらに、前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成するのに用いられる。
前記検出ユニット２３３は具体的に、前記タッチ感知面ユニット２２０のタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニット２２０タッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にするのに用いられる。
前記検出ユニット２３３によって前記接触物が前記タッチ感知面ユニット２２０から離れたと判断するステップは、前記タッチ感知面ユニット２２０のタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニット２２０タッチ状態が占有中から未占有に変わる際に、接触物が前記タッチ感知面ユニット２２０から離れたと判断することを含む。
前記検出ユニット２３３は具体的に、前記連続スライド位置情報に基づいて開始位置及びスライド方向を取得すること、前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられる。
前記検出ユニット２３３がスライド方法を取得するステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含む。
前記検出ユニット２３３は具体的にさらに、前記開始位置が前記タッチ感知面ユニット２２０のエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられる。
前記検出ユニット２３３は具体的にさらに、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致する判断するのに用いられる。
前記リアルタイム表示ユニット２３２が前記ウィンドウにおける前記選択位置を生成するステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面ユニットのサイズと前記ウィンドウのサイズの対応関係に基づいて前記ポインターの位置を取得することを含む。
前記フィードバックユニット２３３はさらに、前記接触物の現在位置に基づいて実行ファイルを開くイベント情報の生成、ファイルを開くイベント情報の生成、フォルダを開くイベント情報の生成、ウェブページを開くイベント情報の生成及びマクロ定義を実行するイベント情報の生成のうちの一つ又は複数に用いられる。
本発明の電子装置は、前記アイコン及びアイコンとエンティティとのマッピング関係の取得かつ保存に用いられるマッピング関係形成ユニットをさらに含む。
本発明の電子装置は、前記アイコン及びアイコンとエンティティとのマッピング関係を取得かつ記憶するのに用いられる記憶ユニットをさらに含む。
前記フィードバックユニット２３３がトリガーイベント情報を生成する際に、前記記憶ユニットからアイコンとエンティティとのマッピング関係を読み取り、実際のエンティティの情報を取得し（位置情報を記憶）、トリガーイベント情報を生成する。
前記表示ユニット２１０は、コンピュータモニター、携帯スクリーン、タブレットコンピュータスクリーンのうちの１種又は複数を含む。
前記タッチ感知面ユニット２２０は、ノートパソコンタッチパッド、携帯タッチパネル、タブレットコンピュータタッチパネルのうちの１種又は複数を含む。
なお、上述の処理ユニット、表示ユニット、タッチ感知面ユニット、検出ユニット、リアルタイム表示ユニット、フィードバックユニット及び実行ユニットはいずれもハードウ
ェア電気回路であってもよく、つまり処理電気回路、表示電気回路、タッチ感知面電気回路、検出電気回路、リアルタイム表示電気回路、フィードバック電気回路及び実行電気回路に変えることもできれば、ある機能を実行する単独のプロセッサでもよい。
一部の実施例では、上述の処理ユニット２３０は次のように配置される。ａ：タッチ感知面ユニットにおける接触を検出し、タッチ感知面ユニットにおける接触による移動シーケンスを検出し、前記移動シーケンスはアクティブ化方法における前記ユーザＧＵＩ及びユーザを読み取るＧＵＩ配置に対応する。ｂ：処理ユニットはさらにタッチパッドにおけるユーザの移動、ユーザリアルタイム表示ユニットのＧＵＩインターフェースにおける移動の出力と表示との同調を検出する。ｃ：指が離れたと検出してはじめて、現在位置情報をフィードバックユニットにフィードバックし、かつＧＵＩに対応する配置情報を生成ユニット又は停止ユニットに送信し、コンピュータに対して対応する操作を行う。
一部の実施例では、ステップａでの特定シーケンスは、個別のジェスチャーの連続操作でも、複数のジェスチャーの連続操作などでも、一つの指の関連操作、複数の指の連続操作の集合でもよい。
一部の実施例では、ステップｂでの移動追跡、ＧＵＩインターフェースの追跡出力は、ポインターの追跡でも、ある種のオブジェクトの選択でもよい。
一部の実施例では、ステップｃの現在位置は、マウスポインターがＧＵＩにおけるある位置に対応するオブジェクトでも、ポインターが対応するブランク領域でもよければ、ＧＵＩにおけるある選択されたオブジェクトの位置でも、ＧＵＩにおけるある特定指令領域でもよい。
一部の実施例では、ステップｃの現在位置が、応答するオブジェクトに対応したら、そのオブジェクトを開くことも、ユーザー定義されたある種のシステム操作でもよければ、ユーザー定義された該オブジェクトに対するある種の操作でもよい。
一部の実施例では、ステップｃの現在位置がブランク領域に対応するなら、停止ユニットを呼び出すか、ＧＵＩが消えるか、又は如何なる操作も行わないことでもよい。
一部の実施例では、ステップｃの現在位置が、ＧＵＩのある特定指令領域に対応するなら、停止ユニットを呼び出すか、ＧＵＩが消えるか、又は如何なる操作も行わないことでもよければ、あるシステム指令でもよい。
一部の実施例では、ステップｂにおけるＧＵＩインターフェースは透明であってもよい。
上述の電子装置２００は実際の使用過程では、図１６に示すように、タッチ感知面がジェスチャーを取得して前記プロセッサに送信し、プロセッサがジェスチャー情報と記憶器における情報とを比較して処理した後、ディスプレイにおいてウィンドウを表示し、連続位置情報をさらに取得し、指が上がったと判断したら指の最後の位置に基づいてトリガーイベント情報を生成し、対応するアプリケーションの機能を実行する。
実施例８
本発明の実施例の触覚－視覚技術による入力制御方法は、図１７に示すように、以下のステップを含む。すなわち、タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域及び入力制御領域が収集した情報に基づき、仮想インターフェースを表示するようにＵＩ層を制御
し、同時に入力制御領域が収集した情報に基づいて該仮想インターフェースにおいてタッチパッドにおけるユーザのスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行する。前記インターフェース制御領域は前記実施例におけるトリガー領域に相当し、前記入力制御領域は前記実施例における無効領域に相当する。
前記タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分することは具体的には、
タッチパッドのサイズを確定しかつ該タッチパッドに対して座標定義するＳ１１と、
座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、かつ前記入力制御領域をさらに区分し、前記インターフェース制御領域と入力制御領域が隣接し、前記インターフェース制御領域は、入力制御領域の左側、右側、上側、下側、左上の隅、左下の隅、右上の隅又は右下の隅に設置されるＳ１２と、
前記入力制御領域を初期化し、対応する入力制御内容を設置するＳ１３を含む。
前記インターフェース制御領域及び入力制御領域が収集した情報に基づき、仮想インターフェースを表示するようにＵＩ層を制御することは具体的に、駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにＵＩ層を制御する。
前記入力制御領域が収集した情報に基づいて該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行することは具体的に、
入力制御領域が指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報の対応する内容をリアルタイムに表示するＳ２１と、
前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得するＳ２２と、
前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行するＳ２３というステップを含む。
上述の方法では、前記タッチパッドはノートパソコンに組み込まれたタッチパッド又はタッチパッド単品である。
触覚－視覚技術による入力制御システムは、
タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するのに用いられるタッチパッド区分及び初期化電気回路と、
前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにＵＩ層を制御するのに用いられる仮想インターフェース表示制御電気回路と、
入力制御領域の収集した情報に基づき、該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行するリアルタイム表示及び入力制御電気回路とを含む。
前記タッチパッド区分及び初期化電気回路は具体的に、
タッチパッドのサイズを確定し、かつ該タッチパッドに対して座標定義するのに用いられるサイズ確定及び座標定義電気回路と、
座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域と入力制御領域が隣接する領域区分電気回路と、
前記入力制御領域を初期化し、対応する入力制御内容を設置する設置及び初期化電気回路とを含む。
前記仮想インターフェース表示制御電気回路は具体的に、
指のスライド軌跡情報の収集に用いられる指スライド軌跡情報収集電気回路と、
駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにＵＩ層を制御するのに用いられる仮想インターフェース表示電気回路とを含む。
前記リアルタイム表示及び入力制御電気回路は具体的に、
入力制御領域によって指のスライド軌跡情報を収集し、かつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示するのに用いられる指スライド軌跡収集及表示電気回路と、
前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得するのに用いられる入力制御内容取得電気回路と、
前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行するのに用いられる情報入力電気回路とを含む。
本発明の実施例で詳しく説明していない部分について、いずれも従来技術によって実現できる。
本発明の一つの実施例の作業原理は以下のとおりである。まず、タッチパッド（前記タッチパッドがノートパソコンに組み込まれたタッチパッド又はタッチパッド単品）のサイズを確定しかつ該タッチパッドに対して座標定義し、座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、かつ前記入力制御領域をさらに区分し（例えば、４＊４に区分する）、前記インターフェース制御領域と入力制御領域は隣接し、前記インターフェース制御領域は入力制御領域の左側、右側、上側、下側、左上の隅、左下の隅、右上の隅又は右下の隅に設置できる。ここで仮に前記インターフェース制御領域が入力制御領域の左側（図１８に示すように）に設置されるとする。次に、前記入力制御領域に対して初期化し、対応する入力制御内容（例えば図２に示すようなアプリケーション制御情報又は数字内容情報）を設置する。
ユーザＡがｗｏｒｄテキストを編集する際に、ビング辞書（ｂｉｎｇ ｄｉｃｔｉｏｎａｒｙ）を開いて単語を探したい場合、タッチパッドにおいて左から右へと指をスライドすれば、ｗｏｒｄテキストのページにおいて仮想インターフェースが表示され、次に「ビング」までスライドし続けて指を離せば、ビング辞書ソフトウェアを開くことができ、同時に仮想インターフェースは消える。具体的には、システム内部では以下のように処理が行われる。（ユーザー定義した）駆動層は、ソフトウェアレベルにおいてタッチパッドをインターフェース制御領域と入力制御領域に区分し、駆動層は指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにＵＩ層を制御する。入力制御領域は指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示し、次に前記スライド軌跡の終点（つまり入力制御領域４＊３の位置）に対応する座標情報を確定し、対応する入力制御内容（つまりビング辞書を開くように制御する）を取得し、前記入力制御内容に基づいて制御情報（つまりビング辞書を開く）を実行し、同時に入力制御領域は制御情報を駆動層に送信し、駆動層が該制御情報を受信したら、仮想インターフェースを隠すようにＵＩ層を制御する。
本発明では、用語「第１」、「第２」、「第３」は目的の説明のみに用いられ、それが比較的な重要性を指示又は暗示するものと理解してはならない。用語「複数」は二つ又は二つ以上であることを指すが、別途に明確な限定がある場合はこの限りではない。
上述したものは本発明の好ましい実施例に過ぎず、本発明を制限するためのものではない。当業者からすれば、本発明は各種の変更及び変化を行うことができる。本発明の精神及び原則内において行われた如何なる修正、均等な置き換え、改良などは、いずれも本発明の保護範囲内である。

Claims (65)

  1. タッチ感知面とディスプレイとを組み合わせた入力方法であって、
    タッチ感知面における接触物の連続スライド位置情報をリアルタイムに取得するステップＳ１１０と、
    連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致するかを判断するステップＳ１２０と、
    連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した場合、前記ディスプレイに、アイコンを含む前記タッチ感知面に対応するユーザ定義されたウィンドウがポップアップされて、新たに表示されるように制御し、かつ接触物の連続スライド位置情報をリアルタイムに取得し続け、前記接触物の連続スライド位置情報に基づき、ポップアップされた前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、前記接触物が前記タッチ感知面から離れたと判断する時まで前記ウィンドウを表示するようにディスプレイを制御し、前記接触物が前記タッチ感知面から離れた時の前記選択位置に基づいてトリガーイベント情報を生成して前記ウィンドウを閉じるステップＳ１３０を含むことを特徴とするタッチ感知面－ディスプレイによる入力方法。
  2. 前記ウィンドウの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項１に記載のタッチ感知面－ディスプレイによる入力方法。
  3. 前記ウィンドウの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項２に記載のタッチ感知面－ディスプレイによる入力方法。
  4. 前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項３に記載のタッチ感知面－ディスプレイによる入力方法。
  5. 前記ステップＳ１３０では、前記ディスプレイの一部にポップアップされた前記ウィンドウの長さ及び幅のパラメータがＬ＊Ｗであり、前記タッチ感知面の長さ及び幅のパラメータがｌ＊ｗとすると、前記タッチ感知面における現在位置ｎｏｗ（ｘｎｏｗ、ｙｎｏｗ）は、前記ウィンドウにおける現在位置ｎｏｗ－ａｐｐｌｙ（ｘｎｏｗ＊Ｌ／ｌ、ｙｎｏｗ＊Ｗ／ｗ）に対応することを特徴とする請求項１に記載のタッチ感知面－ディスプレイによる入力方法。
  6. 前記ステップＳ１３０で、前記選択位置においてポインター又は現在位置で選択された内容を表示するようにディスプレイを制御するステップは、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコン及び／又は前記アイコンの選択範囲をハイライト表示するように前記ディスプレイを制御することを含むことを特徴とする請求項１に記載のタッチ感知面－ディスプレイによる入力方法。
  7. 前記ステップＳ１３０で、前記選択位置においてポインター又は現在位置で選択された内容を表示するようにディスプレイを制御するステップは、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、現在選択位置でポインターを表示するように前記ディスプレイを制御することを含むことを特徴とする請求項６に記載のタッチ感知面－ディスプレイによる入力方法。
  8. 前記ステップＳ１３０で、前記選択位置に基づいてトリガーイベント情報を生成することは、前記接触物が前記タッチ感知面から離れた際に、前記連続スライド位置情報における現在位置が前記タッチ感知面のキャンセル領域にあると判断する場合、前記ウィンドウを閉じる情報を生成することを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  9. 前記タッチ感知面のキャンセル領域は、前記タッチ感知面のエッジにあり、前記キャンセル領域の幅は前記タッチ感知面の幅又は長さの１％～５％であることを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  10. 前記ステップＳ１３０で、現在選択位置に基づいてトリガーイベント情報を生成する前記ステップは、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコンに関連するエンティティをトリガーするイベント情報を生成することを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  11. 前記ステップＳ１３０で、前記選択位置に基づいてトリガーイベント情報を生成する前記ステップは、さらに、前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成することを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  12. 前記ステップＳ１１０で、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にすることを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  13. 前記接触物が前記タッチ感知面から離れたと判断する際のステップは、前記タッチ感知面のタッチ状態をリアルタイムに取得し、前記タッチ感知面のタッチ状態が占有中から未占有に変わる場合、前記接触物が前記タッチ感知面から離れたと判断することを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  14. 前記ステップＳ１２０で、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致するかを判断するステップは、
    前記連続スライド位置情報に基づいて開始位置、及びスライド方向を取得するステップＳ１２１と、
    前記開始位置及びスライド方向と予め記憶されている情報とを照合し、一致すれば前記連続スライド位置情報が起動条件を満たすと判断するステップＳ１２２とを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  15. スライド方向を取得する前記ステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置によって平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含むことを特徴とする請求項１４に記載のタッチ感知面－ディスプレイによる入力方法。
  16. 前記ステップＳ１２２は、前記開始位置が前記タッチ感知面のエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合、前記連続スライド位置情報が起動条件を満たすと判断することを含むことを特徴とする請求項１４に記載のタッチ感知面－ディスプレイによる入力方法。
  17. 前記エッジ領域の幅は、前記タッチ感知面の幅又は長さの３％～１０％であることを特徴とする請求項１６に記載のタッチ感知面－ディスプレイによる入力方法。
  18. 前記ステップＳ１２２はさらに、前記夾角が閾値よりも大きいと判断した場合、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きければ、前記連続スライド位置情報が起動条件を満たすと判断することを含むことを特徴とする請求項１６に記載のタッチ感知面－ディスプレイによる入力方法。
  19. 前記ステップＳ１３０で、前記ウィンドウにおいて選択位置をリアルタイムポインティングするステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面のサイズと前記ウィンドウのサイズとの対応関係に基づいて前記選択位置を取得することを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  20. 前記ステップＳ１３０で、前記ウィンドウにおいて選択位置をリアルタイムポインティングするステップは、前記接触物がタッチ感知面における座標情報を取得し、前記タッチ感知面の長さと前記ウィンドウの長さとの比例関係及び前記座標情報におけるＸ方向値に基づいて前記選択位置の前記ウィンドウにおけるＸ軸方向の数値を取得すること、前記タッチ感知面の幅と前記ウィンドウの幅との対応関係及び前記座標情報におけるＹ方向値に基づいて前記選択位置の前記ウィンドウにおけるＹ軸方向の数値を取得することを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  21. 前記アイコンに関連するエンティティをトリガーするイベント情報を生成する前記ステップは、実行ファイルを開くイベント情報を生成するステップ、ファイルを開くイベント情報を生成するステップ、フォルダを開くイベント情報を生成するステップ、ウェブページを開くイベント情報を生成するステップ及びマクロ定義を実行するイベント情報を生成するステップのうちの一つ又は複数を含むことを特徴とする請求項１０に記載のタッチ感知面－ディスプレイによる入力方法。
  22. ステップＳ１１０の前にさらに、前記アイコン及びアイコンとエンティティとのマッピング関係を取得かつ保存するステップＳ１０１を含むことを特徴とする請求項１から請求項７のいずれか１項に記載のタッチ感知面－ディスプレイによる入力方法。
  23. 表示ユニット、タッチ感知面ユニット、そして前記表示ユニット及びタッチ感知面ユニットにカップリングされる処理ユニットを含み、前記表示ユニットはユーザインタフェースオブジェクトを表示するように配置され、前記タッチ感知面ユニットは、ユーザ接触を検出するように配置され、前記処理ユニットは、前記タッチ感知面ユニットの連続スライド位置情報をリアルタイムに取得するように配置され、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致するかを判断し、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断する場合、アイコンを含む前記タッチ感知面ユニットに対応するユーザ定義されたウィンドウをポップアップして、新たに表示するように前記表示ユニットを制御し、かつ前記タッチ感知面ユニットにおける連続スライド位置情報をリアルタイムに取得し続け、前記連続スライド位置情報に基づき、ポップアップした前記ウィンドウにおいて選択位置をリアルタイムポインティングし、かつ前記選択位置において、ポインター又は現在位置で選択された内容を、接触物が前記タッチ感知面ユニットから離れたことを前記タッチ感知面ユニットが取得したと判断する時まで前記ウィンドウを表示するように表示ユニットを制御し、前記接触物が前記タッチ感知面から離れた時の前記選択位置に基づいてトリガーイベント情報を生成して前記ウィンドウを閉じることを含むことを特徴とする電子装置。
  24. 前記ウィンドウの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項２３に記載の電子装置。
  25. 前記ウィンドウの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項２４に記載の電子装置。
  26. 前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項２５に記載の電子装置。
  27. 前記表示ユニット内の一部にポップアップされた前記ウィンドウの長さ及び幅のパラメータがＬ＊Ｗであり、前記タッチ感知面の長さ及び幅のパラメータがｌ＊ｗとすると、前記タッチ感知面ユニットにおける現在位置ｎｏｗ（ｘｎｏｗ、ｙｎｏｗ）は、前記ウィンドウにおける現在位置ｎｏｗ－ａｐｐｌｙ（ｘｎｏｗ＊Ｌ／ｌ、ｙｎｏｗ＊Ｗ／ｗ）に対応することを特徴とする請求項２３に記載の電子装置。
  28. 前記処理ユニットはさらに、前記トリガーイベント情報に基づいて対応する機能を実行するように配置されることを特徴とする請求項２３に記載の電子装置。
  29. 前記処理ユニットは、前記タッチ感知面ユニットにカップリングされる検出ユニット、前記検出ユニットに接続されるリアルタイム表示ユニット、前記検出ユニットに接続されるフィードバックユニットを含み、前記リアルタイム表示ユニットはさらに前記表示ユニットにカップリングされ、前記検出ユニットは、前記タッチ感知面ユニットの連続スライド位置情報をリアルタイムに取得し、連続スライド位置情報におけるスライド方向に基づいて前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断する場合、アクティブ化情報を生成し、かつ前記アクティブ化情報を前記リアルタイム表示ユニットに送信し、前記連続スライド位置情報を取得し続け、かつ前記連続スライド位置情報を前記リアルタイム表示ユニットに送信し、前記タッチ感知面ユニットから接触物が離れたと判断する時にしてはじめて、前記接触物の現在位置を前記フィードバックユニットに送信するように配置され、前記リアルタイム表示ユニットは、前記アクティブ化情報によって、前記表示ユニットのウィンドウ表示を制御し、かつ前記連続スライド位置情報に基づいて選択位置を生成し、かつ前記選択位置によって、前記表示ユニットの前記ウィンドウにおけるポインター又は現在位置で選択された内容の表示を制御するように配置され、前記フィードバックユニットは、前記接触物の現在位置に基づいてトリガーイベント情報を生成するのに用いられることを特徴とする請求項２３に記載の電子装置。
  30. 前記処理ユニットはさらに、実行ユニットを含み、前記フィードバックユニットは、前記トリガーイベント情報を前記実行ユニットに送信することを特徴とする請求項２９に記載の電子装置。
  31. 前記リアルタイム表示ユニットが、前記選択位置に基づいて前記ウィンドウにおいてポインター又は現在位置で選択された内容を表示するように前記表示ユニットを制御するのに使用される場合、前記リアルタイム表示ユニットは、現在前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲内である際に、前記アイコン及び／又は前記アイコンの選択範囲をハイライト表示するように前記表示ユニットを制御する情報を生成するのに用いられることを特徴とする請求項２９に記載の電子装置。
  32. 前記リアルタイム表示ユニットが、前記選択位置に基づいて前記ウィンドウにおいてポインター又は現在位置で選択された内容を表示するように前記表示ユニットを制御するのに使用される場合、前記リアルタイム表示ユニットはさらに、現在前記選択位置が前記ウィンドウにおける前記アイコンの選択範囲外である際に、現在前記選択位置においてポインターを表示するように前記表示ユニットを制御する情報を生成するのに用いられることを特徴とする請求項３１に記載の電子装置。
  33. 前記検出ユニットは、連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断した後、さらに接触物が前記タッチ感知面ユニットのキャンセル領域にあると判断する場合、前記ウィンドウを閉じる情報を生成し、かつ前記ウィンドウを閉じる情報を前記リアルタイム表示ユニットに送信し、前記リアルタイム表示ユニットが前記表示ユニットを制御して前記ウィンドウを閉じるように配置されることを特徴とする請求項２９に記載の電子装置。
  34. 前記タッチ感知面ユニットのキャンセル領域は、前記タッチ感知面ユニットのエッジにあり、前記キャンセル領域の幅は、前記タッチ感知面ユニットの幅又は長さの１％～５％であることを特徴とする請求項３３に記載の電子装置。
  35. 前記フィードバックユニットは、現在前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲内である場合、前記アイコンに関連するエンティティをトリガーするイベント情報を生成するのに用いられることを特徴とする請求項２９に記載の電子装置。
  36. 前記フィードバックユニットはさらに、前記アイコンに関連するエンティティをトリガーするイベント情報を生成した後、前記ウィンドウを閉じる情報を生成することを特徴とする請求項３５に記載の電子装置。
  37. 前記フィードバックユニットはさらに、前記接触物の現在位置が前記ウィンドウにおける前記アイコンの選択範囲外である場合、前記ウィンドウを閉じる情報を生成することを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  38. 前記検出ユニットは、前記タッチ感知面ユニットのタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニットのタッチ状態が閾値時間内に一貫して占有中であれば、前記接触物の連続位置を記録し、前記接触物の連続位置を前記接触物の連続スライド位置情報にするのに用いられることを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  39. 前記検出ユニットによって前記接触物が前記タッチ感知面ユニットから離れたと判断するステップは、前記タッチ感知面ユニットのタッチ状態をリアルタイムに取得し、前記タッチ感知面ユニットのタッチ状態が占有中から未占有に変わる際に、接触物が前記タッチ感知面ユニットから離れたと判断することを含むことを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  40. 前記検出ユニットは、前記連続スライド位置情報に基づいて開始位置及びスライド方向を取得すること、前記開始位置及びスライド方向を予め記憶されている情報と照合し、一致すれば、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられることを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  41. 前記検出ユニットがスライド方向を取得するステップは、前記連続スライド位置情報における複数点の位置を取得し、前記複数点の位置及び前記開始位置に基づいて平均方向ベクトルを算出し、前記平均方向ベクトルを前記スライド方向にすることを含むことを特徴とする請求項４０に記載の電子装置。
  42. 前記検出ユニットはさらに、前記開始位置が前記タッチ感知面ユニットのエッジ領域に入り、かつ前記スライド方向と前記エッジ領域の対応するエッジとの夾角が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられることを特徴とする請求項４０に記載の電子装置。
  43. 前記検出ユニットはさらに、前記夾角が閾値よりも大きいと判断した後、前記接触物の現在位置を取得し、現在位置及び開始位置に基づいてスライド距離を取得し、前記スライド距離が閾値よりも大きい場合、前記連続スライド位置情報が予め設置されているタッチシーケンスに合致すると判断するのに用いられることを特徴とする請求項４２に記載の電子装置。
  44. 前記リアルタイム表示ユニットが前記ウィンドウにおける前記選択位置を生成するステップは、前記接触物の現在位置情報を取得し、前記タッチ感知面ユニットのサイズと前記ウィンドウのサイズとの対応関係に基づいて前記ポインターの位置を取得することを含むことを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  45. 前記フィードバックユニットはさらに、前記接触物の現在位置に基づいて実行ファイルを開くイベント情報の生成、ファイルを開くイベント情報の生成、フォルダを開くイベント情報の生成、ウェブページを開くイベント情報の生成及びマクロ定義を実行するイベント情報の生成のうちの一つ又は複数に用いられることを特徴とする請求項３５に記載の電子装置。
  46. 前記アイコン及びアイコンとエンティティとのマッピング関係の取得かつ保存に用いられるマッピング関係形成ユニットをさらに含むことを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  47. 前記アイコン及びアイコンとエンティティとのマッピング関係の記憶に用いられる記憶ユニットをさらに含むことを特徴とする請求項４６に記載の電子装置。
  48. 前記表示ユニットは、コンピュータモニター、携帯スクリーン、タブレットコンピュータスクリーンのうちの１種又は複数を含むことを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  49. 前記タッチ感知面ユニットは、ノートパソコンタッチパッド、携帯タッチパネル、タブレットコンピュータタッチパネルのうちの１種又は複数を含むことを特徴とする請求項２９から請求項３５のいずれか１項に記載の電子装置。
  50. タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するステップと、
    前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、ユーザ定義された仮想インターフェースをポップアップして新たに表示するようにＵＩ層を制御し、同時に入力制御領域の収集した情報に基づいてポップアップした該仮想インターフェースにおいてユーザのタッチパッドにおけるスライド操作をリアルタイムに表示するステップと、
    前記タッチパッドにおけるスライド操作が離れた時の座標情報に基づいて入力内容情報を制御するか又は制御情報を実行して前記仮想インターフェースを閉じるステップを含むことを特徴とする触覚－視覚技術による入力制御方法。
  51. 前記仮想インターフェースの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項５０に記載の触覚－視覚技術による入力制御方法。
  52. 前記仮想インターフェースの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項５１に記載の触覚－視覚技術による入力制御方法。
  53. 前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項５２に記載の触覚－視覚技術による入力制御方法。
  54. 前記タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分することは、
    タッチパッドのサイズを確定しかつ該タッチパッドに対して座標定義するステップＳ１１と、
    座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、かつ前記入力制御領域をさらに区分するが、前記インターフェース制御領域と入力制御領域が隣接するステップＳ１２と、
    前記入力制御領域を初期化し、対応する入力制御内容を設置するステップＳ１３というステップを含むことを特徴とする請求項５０に記載の触覚－視覚技術による入力制御方法。
  55. ステップＳ１２で、前記インターフェース制御領域は、入力制御領域の左側、右側、上側、下側、左上の隅、左下の隅、右上の隅又は右下の隅に設置されることを特徴とする請求項５４に記載の触覚－視覚技術による入力制御方法。
  56. 前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、仮想インターフェースを表示するようにＵＩ層を制御することは、駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにＵＩ層を制御することを含むことを特徴とする請求項５０に記載の触覚－視覚技術による入力制御方法。
  57. 前記入力制御領域の収集した情報に基づいて該仮想インターフェースにおいてユーザがタッチパッドにおけるスライド操作をリアルタイムに表示し、入力内容情報を制御するか又は制御情報を実行することは、
    入力制御領域が指のスライド軌跡情報を収集しかつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示するステップＳ２１と、
    前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得するステップＳ２２と、
    前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行するステップＳ２３というステップを含むことを特徴とする請求項５０または請求項５６に記載の触覚－視覚技術による入力制御方法。
  58. 前記タッチパッドは、ノートパソコンに組み込まれるタッチパッド又はタッチパッド単品であることを特徴とする請求項５０、請求項５４または請求項５７に記載の触覚－視覚技術による入力制御方法。
  59. タッチパッドを区分及び初期化し、前記タッチパッドをインターフェース制御領域と入力制御領域に区分するのに用いられるタッチパッド区分及び初期化電気回路と、
    前記インターフェース制御領域及び入力制御領域の収集した情報に基づき、ユーザ定義された仮想インターフェースをポップアップして新たに表示するようにＵＩ層を制御するのに用いられる仮想インターフェース表示制御電気回路と、
    入力制御領域の収集した情報に基づき、ポップアップした該仮想インターフェースにおいてユーザのタッチパッドにおけるスライド操作をリアルタイムに表示し、前記タッチパッドにおけるスライド操作が離れた時の座標情報に基づいて入力内容情報を制御するか又は制御情報を実行して前記仮想インターフェースを閉じるリアルタイム表示及び入力制御電気回路とを含むことを特徴とする触覚－視覚技術による入力制御システム。
  60. 前記仮想インターフェースの少なくとも一部は、ユーザにより予め設定されることを特徴とする請求項５９に記載の触覚－視覚技術による入力制御システム。
  61. 前記仮想インターフェースの少なくとも一つのアイコンに対応するエンティティ内容は、ユーザにより予め設定されることを特徴とする請求項６０に記載の触覚－視覚技術による入力制御システム。
  62. 前記アイコンに対応するエンティティ内容は、プログラム、ファイル、ウェブサイト、フォルダ又はマクロ定義のいずれかを含むことを特徴とする請求項６１に記載の触覚－視覚技術による入力制御システム。
  63. 前記タッチパッド区分及び初期化電気回路は、
    タッチパッドのサイズを確定し、かつ該タッチパッドに対して座標定義するのに用いられるサイズ確定及び座標定義電気回路と、
    座標情報を利用して前記タッチパッドをインターフェース制御領域と入力制御領域に区分し、前記インターフェース制御領域と入力制御領域が隣接する領域区分電気回路と、
    前記入力制御領域を初期化し、対応する入力制御内容を設置する設置及び初期化電気回路とを含むことを特徴とする請求項５９に記載の触覚－視覚技術による入力制御システム。
  64. 前記仮想インターフェース表示制御電気回路は、
    指のスライド軌跡情報の収集に用いられる指スライド軌跡情報収集電気回路と、
    駆動層が指のスライド軌跡情報を収集し、ユーザのスライド操作がインターフェース制御領域から入力制御領域に入ったと対応する軌跡情報によって示されると、仮想インターフェースを表示するようにＵＩ層を制御するのに用いられる仮想インターフェース表示電気回路とを含むことを特徴とする請求項５９に記載の触覚－視覚技術による入力制御システム。
  65. 前記リアルタイム表示及び入力制御電気回路は、
    入力制御領域によって指のスライド軌跡情報を収集し、かつ前記仮想インターフェースにおいて現在スライド軌跡の座標情報に対応する内容をリアルタイムに表示するのに用いられる指スライド軌跡収集及表示電気回路と、
    前記スライド軌跡の終点に対応する座標情報を確定し、対応する入力制御内容を取得するのに用いられる入力制御内容取得電気回路と、
    前記入力制御内容に基づいて内容情報を入力するか又は制御情報を実行するのに用いられる情報入力電気回路とを含むことを特徴とする請求項５９または請求項６４に記載の触覚－視覚技術による入力制御システム。
JP2020157569A 2016-07-25 2020-09-18 タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム Active JP7233109B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610592695.6A CN106227449B (zh) 2016-07-25 2016-07-25 基于触觉-视觉技术的输入控制方法及***
CN201610592695.6 2016-07-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018502410A Division JP2019505024A (ja) 2016-07-25 2017-06-15 タッチ感知面−ディスプレイによるジェスチャー制御式インタラクティブ方法及び装置

Publications (2)

Publication Number Publication Date
JP2021002381A JP2021002381A (ja) 2021-01-07
JP7233109B2 true JP7233109B2 (ja) 2023-03-06

Family

ID=57532886

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018502410A Pending JP2019505024A (ja) 2016-07-25 2017-06-15 タッチ感知面−ディスプレイによるジェスチャー制御式インタラクティブ方法及び装置
JP2020157569A Active JP7233109B2 (ja) 2016-07-25 2020-09-18 タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018502410A Pending JP2019505024A (ja) 2016-07-25 2017-06-15 タッチ感知面−ディスプレイによるジェスチャー制御式インタラクティブ方法及び装置

Country Status (5)

Country Link
US (1) US11150797B2 (ja)
EP (1) EP3321791B1 (ja)
JP (2) JP2019505024A (ja)
CN (1) CN106227449B (ja)
WO (1) WO2018019050A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227449B (zh) 2016-07-25 2024-05-14 北京拉酷网络科技有限公司 基于触觉-视觉技术的输入控制方法及***
CN108319414A (zh) * 2018-01-31 2018-07-24 北京小米移动软件有限公司 界面显示方法及装置
EP3814881A1 (en) * 2018-07-26 2021-05-05 Patmos, Unipessoal Lda Enhanced touch sensitive selection
JP2022177328A (ja) * 2019-09-12 2022-12-01 Ｎｏｄｅｓｋ株式会社 データ入力システム、及び表示装置
TWI747470B (zh) * 2020-09-03 2021-11-21 華碩電腦股份有限公司 電子裝置及其觸控方法
CN114148840A (zh) * 2021-11-12 2022-03-08 安徽新华学院 基于3d传感器的电梯空中按键实现方法及***
CN117472220A (zh) * 2023-09-15 2024-01-30 荣耀终端有限公司 操作识别方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259079A (ja) 2007-12-26 2009-11-05 E-Lead Electronic Co Ltd タッチボードカーソル制御方法
US20100253620A1 (en) 2009-04-07 2010-10-07 Tara Chand Singhal Apparatus and method for touch screen user interface for handheld electric devices Part II
US20120102437A1 (en) 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
US20130093685A1 (en) 2011-10-14 2013-04-18 Research In Motion Limited System and Method for Controlling an Electronic Device Having a Touch-Sensitive Non-Display Area
JP2014035772A (ja) 2012-08-09 2014-02-24 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
US20160011678A1 (en) 2013-07-11 2016-01-14 Samsung Electronics Co., Ltd. User terminal device for displaying application and methods thereof
US20160044153A1 (en) 2014-08-05 2016-02-11 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20160070428A1 (en) 2014-09-04 2016-03-10 Inventec (Pudong) Technology Corp. Method for Scrolling a Displayed Image in a Touch System
US20160085438A1 (en) 2014-09-23 2016-03-24 Microsoft Corporation Multi-finger touchpad gestures

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583984A (en) * 1993-06-11 1996-12-10 Apple Computer, Inc. Computer system with graphical user interface including automated enclosures
US20090278806A1 (en) * 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
JP5243115B2 (ja) * 2008-06-27 2013-07-24 京セラ株式会社 携帯端末および携帯端末制御プログラム
TW201035824A (en) * 2009-03-25 2010-10-01 E Lead Electronic Co Ltd Method of operating trackpad with button function
KR20100118366A (ko) * 2009-04-28 2010-11-05 삼성전자주식회사 휴대 단말기의 터치스크린 운용 방법 및 이를 지원하는 휴대 단말기
CN101943983A (zh) * 2009-07-09 2011-01-12 纬创资通股份有限公司 计算机***的控制方法及相关计算机***
US20130063366A1 (en) * 2011-09-13 2013-03-14 Google Inc. User inputs of a touch-sensitive device
US10296205B2 (en) * 2011-12-12 2019-05-21 Sony Corporation User interface for controlling a display scale of an image
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
WO2014008656A1 (zh) * 2012-07-12 2014-01-16 宇龙计算机通信科技(深圳)有限公司 终端和终端控制方法
CN102830844A (zh) * 2012-08-17 2012-12-19 北京小米科技有限责任公司 一种触摸屏防误操作方法、触摸屏及移动终端
EP2939095B1 (en) * 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR20140125995A (ko) * 2013-04-22 2014-10-30 네이버 주식회사 단말기의 스크롤 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP6149604B2 (ja) * 2013-08-21 2017-06-21 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9274620B2 (en) * 2014-04-09 2016-03-01 Wei-Chih Cheng Operating system with shortcut touch panel having shortcut function
CN104166553B (zh) * 2014-08-18 2018-10-12 联想(北京)有限公司 一种显示方法及电子设备
CN104850264B (zh) * 2015-05-29 2017-09-29 北京拉酷网络科技有限公司 一种触控板上多样化手势操作的检测控制方法及***
CN104850352B (zh) * 2015-05-29 2017-11-10 北京拉酷网络科技有限公司 一种基于触控板的程序快速开启方法及***
CN104918085B (zh) * 2015-06-01 2018-02-09 天脉聚源(北京)传媒科技有限公司 一种切换频道的方法及装置
CN105138260A (zh) * 2015-07-27 2015-12-09 努比亚技术有限公司 一种切换应用程序的方法及终端
US20170097765A1 (en) * 2015-10-05 2017-04-06 Iq Technology Inc. Method to Provide a Service While Inputting Content in an Application Though A Virtual Keyboard
CN105389114A (zh) * 2015-11-10 2016-03-09 北京新美互通科技有限公司 内容输入方法及装置
CN105468286A (zh) * 2015-11-27 2016-04-06 广州华多网络科技有限公司 一种基于移动终端操作状态栏的方法及移动终端
CN106227449B (zh) * 2016-07-25 2024-05-14 北京拉酷网络科技有限公司 基于触觉-视觉技术的输入控制方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259079A (ja) 2007-12-26 2009-11-05 E-Lead Electronic Co Ltd タッチボードカーソル制御方法
US20100253620A1 (en) 2009-04-07 2010-10-07 Tara Chand Singhal Apparatus and method for touch screen user interface for handheld electric devices Part II
US20120102437A1 (en) 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
US20130093685A1 (en) 2011-10-14 2013-04-18 Research In Motion Limited System and Method for Controlling an Electronic Device Having a Touch-Sensitive Non-Display Area
JP2014035772A (ja) 2012-08-09 2014-02-24 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
US20160011678A1 (en) 2013-07-11 2016-01-14 Samsung Electronics Co., Ltd. User terminal device for displaying application and methods thereof
US20160044153A1 (en) 2014-08-05 2016-02-11 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20160070428A1 (en) 2014-09-04 2016-03-10 Inventec (Pudong) Technology Corp. Method for Scrolling a Displayed Image in a Touch System
US20160085438A1 (en) 2014-09-23 2016-03-24 Microsoft Corporation Multi-finger touchpad gestures

Also Published As

Publication number Publication date
WO2018019050A1 (zh) 2018-02-01
JP2019505024A (ja) 2019-02-21
EP3321791B1 (en) 2024-02-14
CN106227449B (zh) 2024-05-14
JP2021002381A (ja) 2021-01-07
US20180173414A1 (en) 2018-06-21
EP3321791A4 (en) 2018-10-31
US11150797B2 (en) 2021-10-19
EP3321791C0 (en) 2024-02-14
EP3321791A1 (en) 2018-05-16
CN106227449A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
JP7233109B2 (ja) タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム
JP5456529B2 (ja) グラフィカル・ユーザ・インターフェース・オブジェクトを操作する方法及びコンピュータシステム
US9348458B2 (en) Gestures for touch sensitive input devices
KR101072762B1 (ko) 다점 감지 장치를 이용한 제스처링
TWI552040B (zh) 多區域觸控板
EP2469399B1 (en) Layer-based user interface
US9292111B2 (en) Gesturing with a multipoint sensing device
US7924271B2 (en) Detecting gestures on multi-event sensitive devices
US8471814B2 (en) User interface control using a keyboard
JP5702296B2 (ja) ソフトウェアキーボード制御方法
KR20210029175A (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230214

R150 Certificate of patent or registration of utility model

Ref document number: 7233109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150