JP6559769B2 - ジェスチャーの識別方法及び装置 - Google Patents

ジェスチャーの識別方法及び装置 Download PDF

Info

Publication number
JP6559769B2
JP6559769B2 JP2017505547A JP2017505547A JP6559769B2 JP 6559769 B2 JP6559769 B2 JP 6559769B2 JP 2017505547 A JP2017505547 A JP 2017505547A JP 2017505547 A JP2017505547 A JP 2017505547A JP 6559769 B2 JP6559769 B2 JP 6559769B2
Authority
JP
Japan
Prior art keywords
value
proximity sensor
proximity
reflected signal
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017505547A
Other languages
English (en)
Other versions
JP2018506089A (ja
Inventor
国盛 李
国盛 李
偉 孫
偉 孫
忠勝 江
忠勝 江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2018506089A publication Critical patent/JP2018506089A/ja
Application granted granted Critical
Publication of JP6559769B2 publication Critical patent/JP6559769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明はディスプレイ技術分野に関し、特にジェスチャーの識別方法及び装置に関する。
本願は、出願番号２０１６１００３４５３４．５、出願日２０１６年１月１９日の中国特許出願に基づいて提出され、この中国特許出願の優先権を主張し、その全ての内容が参照として本明細書に組み込まれる。
タッチパネル技術の発展に伴い、タッチパネルが有している機能が増えている。例えば、ジェスチャーの識別機能である。
従来技術において、タッチパネルは、まずユーザーの指が当該タッチパネルをタッチする位置を決定し、次に当該タッチ位置に応じてユーザーからのジェスチャーを識別する。
従来技術の課題を解決するために、本発明の実施例は、ジェスチャーの識別方法及び装置を提供する。
本発明の第１の態様によれば、ジェスチャーの識別方法が提供される。当該方法がタッチパネルを含む端末に用いられ、当該タッチパネルに近接センサーが分布され、当該近接センサーが送信側と受信側を含み、当該送信側は信号を送信するように構成され、当該受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、当該方法は、
少なくとも１つの近接センサーの受信側が反射信号を受信し、且つ当該操作体が当該タッチパネルに作用するタッチ操作を検出しない場合、当該少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出し、当該予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることであることと、
少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、当該少なくとも１つの近接センサーの位置を決定することと、
少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することとを含む。
任意に（Ｏｐｔｉｏｎａｌｌｙ）、少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出することは、
各近接センサーに対して、近接センサーにより測定された近接値を取得し、近接値は、操作体と近接センサーとの間の距離を示すことに用いられ、且つ受信側が反射信号を受信しない場合、近接値は予め設定された数値であることと、
近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値に変更されるかどうかを検出することと、
近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値に変更される場合、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替え、予め設定された変化規則を満たすことを決定することとを含む。
任意に、少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することは、
少なくとも１つの近接センサーの受信側が反射信号を順次に受信した順番を取得することと、
順番に従って、少なくとも１つの近接センサーの位置を操作ジェスチャーとして識別することとを含む。
任意に、当該方法は、
少なくとも１つの近接センサーから、各近接センサーの近接値の変化の時間の長さを取得することと、
各変化の時間の長さの平均値を計算することと、
平均値に応じて、ジェスチャーの操作速度を決定することと、
操作速度に応じて、ジェスチャーに対する応答方式を決定することとをさらに含む。
任意に、当該方法は
少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得することと、
各近接値がいずれも同じ時間帯に予め設定された数値に等しくないかどうかを検出し、当該予め設定された数値は、受信側が反射信号を受信しない場合の近接値であることと、
各近接値がいずれも同じ時間帯に予め設定された数値に等しくない場合、ユーザーの遮断ジェスチャーを識別することとをさらに含む。
任意に、当該方法は、
少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得し、受信側が反射信号を受信しない場合、近接値が予め設定された数値であることと、
近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更されるかどうかを検出することと、
近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更される場合、ユーザーのクリックジェスチャーを識別することとをさらに含む。
本発明の実施例の第２の態様によれば、ジェスチャーの識別装置が提供される。当該装置がタッチパネルを含む端末に用いられ、当該タッチパネルに近接センサーが分布され、当該近接センサーが送信側と受信側を含み、当該送信側は信号を送信するように構成され、当該受信側は、信号が操作体により遮断されて反射された反射信号を受信するように構成され、前記装置は、
少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出するように構成され、予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることである第一検出モジュールと、
第一検出モジュールにより検出された結果として、少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、少なくとも１つの近接センサーの位置を決定するように構成される第一決定モジュールと、
第一決定モジュールにより決定された少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別するように構成される第一識別モジュールとを含む。
任意に、当該第一検出モジュールは、
各近接センサーに対して、近接センサーにより測定された近接値を取得するように構成され、当該近接値は操作体と近接センサーとの間の距離を示すことに用いられ、且つ受信側が反射信号を受信しない場合、当該近接値は予め設定された数値である第一取得サブモジュールと、
第一取得サブモジュールにより取得された近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値に変更されるかどうかを検出するように構成される検出サブモジュールと、
検出サブモジュールにより検出された結果として、近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値に変更される場合、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替え、予め設定された変化規則を満たすことを決定するように構成される決定サブモジュールとを含む。
任意に、当該第一識別モジュールは、
少なくとも１つの近接センサーの受信側が反射信号を順次に受信した順番を取得するように構成される第二取得サブモジュールと、
第二取得サブモジュールにより取得された順番に応じて、少なくとも１つの近接センサーの位置を操作ジェスチャーとして識別するように構成される識別サブモジュールとを含む。
任意に、当該装置は、
少なくとも１つの近接センサーから、各近接センサーの近接値の変化の時間の長さを取得するように構成される第一取得モジュールと、
第一取得モジュールにより取得された各変化の時間の長さの平均値を計算するように構成される計算モジュールと、
計算モジュールにより算出された平均値に応じて、ジェスチャーの操作速度を決定するように構成される第二決定モジュールと、
第二決定モジュールにより決定された操作速度に応じて、ジェスチャーに対する応答方式を決定するように構成される第三決定モジュールとをさらに含む。
任意に、当該装置は、
少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得するように構成される第二取得モジュールと、
第二取得モジュールにより取得された各近接値がいずれも同じ時間帯に予め設定された数値に等しくないかどうかを検出するように構成され、予め設定された数値は、受信側が反射信号を受信しない場合の近接値である第二検出モジュールと、
第二検出モジュールにより検出された結果として、各近接値がいずれも同じ時間帯に予め設定された数値に等しくない場合、ユーザーの遮断ジェスチャーを識別するように構成される第二識別モジュールとをさらに含む。
任意に、当該装置は、
少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得するように構成され、近接値は、受信側が反射信号を受信しない場合に予め設定された数値である第三取得モジュールと、
第三取得モジュールにより取得された近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更されるかどうかを検出するように構成される第三検出モジュールと、
第三検出モジュールに検出された結果として、近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更される場合、ユーザーのクリックジェスチャーを識別するように構成される第三識別モジュールとをさらに含む。
本発明の実施例の第３の態様によれば、ジェスチャーの識別装置が提供される。当該装置がタッチパネルを含む端末に用いられ、タッチパネルに近接センサーが分布され、近接センサーが送信側と受信側を含み、送信側は信号を送信するように構成され、受信側は、信号が操作体により遮断されて反射された反射信号を受信するように構成され、当該装置は、
プロセッサと、
プロセッサで実行可能な命令を記憶するように構成されるメモリーとを含み、
プロセッサは、
少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出し、予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることであり、
少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、少なくとも１つの近接センサーの位置を決定し、
少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別するように構成される。
本発明の実施例により提供される技術案は、以下の有益な効果を実現することができる。
少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることを検出すると、当該少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することで、端末は、ユーザーがタッチパネル上にタッチ操作を実行しなくてもユーザーからの操作ジェスチャーを識別することができ、ユーザーが都合によりタッチパネル上にタッチ操作を実行することができない場合には、端末はユーザーからの操作ジェスチャーを識別することができないという課題を解決し、ジェスチャーの識別方式を増加し、ジェスチャー識別の柔軟性を向上するという効果を奏することができる。
なお、操作ジェスチャーの速度、遮断ジェスチャー及びクリックジェスチャーを識別することで、操作ジェスチャーを拡張することができ、ユーザーがタッチパネルを接触しない場合には、動作する可能な操作ジェスチャーが少なく、タッチパネルが操作ジェスチャーに対する応答方式も少ないという問題を解決することができ、タッチパネルが操作ジェスチャーに対する応答方式を増加する効果を奏することができる。
上記の一般的な説明と下記の詳細な説明は、例示的または解釈的ななものだけであるが、本開示を制限できないと理解すべきである。
１つの例示的な実施例によるジェスチャーの識別方法のフローチャートである。 別の例示的な実施例によるジェスチャーの識別方法のフローチャートである。 １つの例示的な実施例による操作ジェスチャーの操作位置を決定する図である。 別の例示的な実施例による操作ジェスチャーの操作位置を決定する図である。 １つの例示的な実施例による操作ジェスチャーを識別する図である。 別の例示的な実施例による操作ジェスチャーを識別する図である。 別の例示的な実施例による操作ジェスチャーを識別する図である。 １つの例示的な実施例による操作ジェスチャーの速度の識別方法のフローチャートである。 １つの例示的な実施例による遮断ジェスチャーの識別方法のフローチャートである。 １つの例示的な実施例によるクリックジェスチャーの識別方法のフローチャートである。 １つの例示的な実施例によるジェスチャーの識別装置のブロック図である。 別の例示的な実施例によるジェスチャーの識別装置のブロック図である。 １つの例示的な実施例によるジェスチャーの識別装置に構成されるブロック図である。
ここの図面が明細書に組み込まれて本明細書の一部を構成し、本開示に合致する実施例を示し、明細書と共に本開示の実施例の原理を解釈することに用いられる。
ここで例示的実施例について詳細な説明を行い、その例示は図面に示す。以下の描写は図面に関したときに、特に示しない限り、異なる図面中の同じ数字は同じ又は類似した要素を示す。以下の例示的実施例に記載された実施形態は本発明と一致する全ての実施形態を代表しない。逆に、それらは特許請求の範囲に詳細に詳述された、本発明のある方面と一致する装置及び方法の例に過ぎない。
図１は１つの例示的な実施例によるジェスチャーの識別方法のフローチャートであり、当該方法がタッチパネルを含む端末に用いられ、当該タッチパネルに近接センサーが分布され、当該近接センサーが送信側と受信側を含み、当該送信側は信号を送信するように構成され、当該受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、図１のように、当該ジェスチャーの識別方法は以下のステップを含む。
ステップ１０１において、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、当該少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出し、当該予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることである。
ステップ１０２において、少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、当該少なくとも１つの近接センサーの位置を決定する。
ステップ１０３において、少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別する。
上述したように、本発明の実施例により提供されるジェスチャーの識別方法において、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることを検出すると、当該少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することで、端末は、ユーザーがタッチパネル上にタッチ操作を実行しなくてもユーザーからの操作ジェスチャーを識別することができ、ユーザーが都合によりタッチパネル上にタッチ操作を実行することができない場合には、端末がユーザーからの操作ジェスチャーを識別することができないという課題を解決し、ジェスチャーの識別方式を増加し、ジェスチャー識別の柔軟性を向上するという効果を奏することができる。
図２Ａは別の例示的な実施例によるジェスチャーの識別方法のフローチャートである。当該方法がタッチパネルを含む端末に用いられ、当該タッチパネルに近接センサーが分布され、当該近接センサーが送信側と受信側を含み、当該送信側は信号を送信するように構成され、当該受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、図２Ａのように、当該ジェスチャーの識別方法は以下のステップを含む。
ステップ２０１において、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、当該少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出し、当該予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることである。
従来技術において、端末は、ユーザーの指がタッチパネルと接触する場合、ユーザーの操作ジェスチャーを識別することができ、即ち、操作ジェスチャーがタッチパネル上に作用する必要がある。しかしながら、ユーザーの指が汚くてタッチパネルに接触することができない場合、ユーザーが指をきれいに拭いてから、タッチパネルにタッチ操作を実行する必要があり、そうすると、ユーザーが端末をタイムリーに操作することができない。または、ユーザーがタッチパネル上でタッチ操作を直接に実行して、タッチパネルが汚染されてしまう。以上の課題を解決するために、本実施例は、指がタッチパネルと直接に接触する必要がなく、ユーザーの操作ジェスチャーを識別する方法を提供し、具体的な方法は以下の通りである。
タッチパネルに分布された近接センサーは２つのタイプがある。第１タイプの近接センサーの送信側が赤外線信号を送信し、ある物体が当該近接センサーに接近する場合、受信側が当該赤外線信号の反射信号を受信し、且つ接近する物体と近接センサーとの距離が近ければ近いほど、受信側が受信した反射信号の光強度が強い。このため、第１タイプの近接センサーは、受信側が受信した反射信号の光強度に応じて、接近する物体と近接センサーとの間の近接値を決定することができる。
第２タイプの近接センサーの送信側が超音波信号を送信し、且つ送信側と受信側が交替に動作する。ある物体が当該近接センサーに接近する場合、受信側が当該超音波信号の反射信号受信し、且つ接近する物体と近接センサーとの距離が近ければ近いほど、受信側が反射信号を受信した時間が短い。このため、第２タイプの近接センサーは、受信側が反射信号を受信した時間の長短に応じて、接近する物体と近接センサーとの間の近接値を決定することができる。
上述したように、どのようなタイプの近接センサーであっても、ある物体が接近する場合、近接値を決定することができる。このため、近接センサーは、近接値に応じて、物体が接近するかどうかを決定し、且つ物体が接近する場合、当該近接イベントを端末へ報告することができる。
端末が少なくとも１つの近接センサーにより報告された近接イベントを受信した後、タッチパネルにおいてタッチ操作が存在するかどうかを検出し、タッチパネルにおいてタッチ操作が存在する場合、当該近接イベントがタッチパネルに作用する操作ジェスチャーであることを分かり、タッチパネルにおいてタッチ操作が存在しない場合、当該近接イベントがタッチパネルに作用しない操作ジェスチャーであることを分かる。
例えば、操作ジェスチャーがスライドジェスチャーである場合、スライドジェスチャーの操作過程において接近される各近接センサーに対して、近接センサーの受信側はいずれも反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替える。このため、当該少なくとも１つの近接センサーが以上の予め設定された変化規則を満たしているかどうかを検出することで、ユーザーからの操作ジェスチャーがスライドジェスチャーであるかどうかを識別する。
ここで、少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出する方法は、以下のステップを含む。
各近接センサーに対して、近接センサーにより測定された近接値を取得し、当該近接値が操作体と近接センサーとの距離を示し、且つ受信側が反射信号を受信しない場合、当該近接値が予め設定された数値である。近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値に変更されるかどうかを検出する。近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値変更される場合、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替え、予め設定された変化規則を満たすことを決定する。
近接センサーの受信側が反射信号を受信しない場合、近接センサーの近接値が予め設定された閾値であり、当該予め設定された閾値が空であってもよいし、非常に大きい値であってもよい。例えば、予め設定された閾値は無限遠い又は１０ｍである。又は、当該予め設定された閾値が近接レベルを示す値であり、例えば、近接センサーにおいて、０に設定されると、近接レベルが非常に近いであることを示し、１に設定されると、近接レベルが近いであることを示し、２に設定されると、近接レベルが遠いであることを示し、ここで、予め設定された数値を２に設定し、本実施例において、予め設定された閾値の設定方式が限定されない。
近接センサーの受信側が反射信号を受信する場合、近接センサーがある近接値を測定し、且つ接近する物体と近接センサーとの距離が近い場合、当該近接値が小さく、接近する物体と近接センサーとの距離が遠い場合、当該近接値が大きい。このため、近接値の変化に応じて、近接センサーの変化を決定することができる。即ち、近接値が予め設定された数値から第１の値に変更される場合、近接センサーの受信側が反射信号を受信しないことから反射信号を受信することへ切り替えことを決定し、近接値が第１の値から予め設定された数値に変更される場合、近接センサーの受信側が反射信号を受信することから反射信号を受信しないことへ切り替えることを決定する。ここで、第１の値が固定数値であってもよいし、変化数値であってもよく、本実施例では限定されない。
ステップ２０２において、少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、当該少なくとも１つの近接センサーの位置を決定する。
ユーザーが現時点で操作ジェスチャーを動作する場合、指が当該近接センサーに接近するため、この時、近接センサーの受信側が反射信号を受信し、受信側が反射信号を受信した各近接センサーを１つの領域として構成する。本実施例において、各領域の中心位置に位置する近接センサーの位置を現時点で予め設定された変化規則を満たす近接センサーの位置とすることができ、即ち現時点での操作ジェスチャーの操作位置である。
例えば、図２Ｂに示すように、ある時点でユーザーが操作ジェスチャー２を動作し、受信側が反射信号を受信した近接センサーは、端末１において領域３を構成し、端末１は、当該少なくとも１つの近接センサーの位置の中心点４を算出し、当該中心点４を当該時点での操作ジェスチャーの操作位置とする。
また、例えば、図２Ｃに示すように、ある時点でユーザーが操作ジェスチャー５を動作し、受信側が反射信号を受信した近接センサーは、端末１において領域６と領域７を構成し、端末１は、領域６に対応する少なくとも１つの近接センサーの位置の中心点８を算出し、領域７に対応する少なくとも１つの近接センサーの位置の中心点９を算出し、中心点８と中心点９を当該時点での操作ジェスチャーの操作位置とする。
端末は少なくとも１つの近接センサーの位置に応じて、各時点の操作ジェスチャーの操作位置を決定し、各時点の操作位置に応じて、ユーザーの操作ジェスチャーを識別することができる。
ステップ２０３において、少なくとも１つの近接センサーの受信側が反射信号を順次に受信した順番を取得する。
近接センサーが端末へ近接イベントを報告すると、端末が当該近接イベントを受信する時に、受信された当該近接イベントの時間を記録することができる。このため、ユーザーの操作ジェスチャーが連続動作から生成されたものである場合、例えば、スライド操作である場合、端末は少なくとも１つの近接センサーが順次に接近された時間を取得し、取得された時間に応じて、当該少なくとも１つの近接センサーが順次に近接された順番を取得する。
ステップ２０４において、順番に応じて、少なくとも１つの近接センサーの位置を操作ジェスチャーとして識別する。
ステップ２０２で決定された各時点での操作ジェスチャーの操作位置に応じて、操作ジェスチャーがタッチパネルと接触しない場合の操作軌跡を取得することができる。ステップ２０３で決定された、少なくとも１つの近接センサーが順次に遮断された順番に応じて、操作ジェスチャーの操作方向を取得することができる。端末は、当該操作軌跡と当該操作方向に応じて、ユーザーからの操作ジェスチャーを識別することができる。
例えば、図２Ｄにしめすように、端末１において、第１時点で操作位置１１を決定し、第２時点で操作位置１２を決定し、第３時点で操作位置１３を決定し、決定された位置及び位置を決定する順番に応じて、ユーザーの操作ジェスチャーを右へのスライドジェスチャーとして識別する。
任意に、端末は、第１の角度閾値と第２の角度閾値を設定することで、操作ジェスチャーの操作方向を決定することができ、ここで、第２の角度閾値が第１の角度閾値より大きい。端末は、任意の２つの時点を選択して操作位置を決定し、２つの操作位置を接続する線と水平方向との夾角が第１の角度閾値より小さい場合、当該操作ジェスチャーを左又は右へのスライド操作として識別する。２つの操作位置を接続する線と水平方向との夾角が第１の角度閾値より大きい且つ第２の角度閾値より小さい場合、当該操作ジェスチャーを斜め方向へのスライド操作として識別する。２つの操作位置を接続するる線と水平方向との夾角が第２の角度閾値より大きい場合、当該操作ジェスチャーを上または下へのスライド操作として識別する。
例えば、図２Ｅに示すように、端末１において、第１の角度閾値を３０度、第２の角度閾値を６０度に設定し、且つ任意的に選択された第１時点で操作位置１２を決定し、任意的に選択された第２時点で操作位置１４を決定し、２つの操作位置を接続する線と水平方向との夾角が４５度であり、第１の角度閾値より大きい且つ第２の角度閾値より小さい。このため、端末は、決定された位置、位置を決定した順番、および位置を接続する線と水平方向との夾角に応じて、ユーザーの操作ジェスチャーを右上方へのスライドジェスチャーとして識別する。
任意に、端末は、隣接する時点の２つの操作位置を接続する線と水平方向との夾角の平均値を算出し、当該平均値を第１の角度閾値と第２の角度閾値と比較し、当該平均値が第１の角度閾値より小さい場合、左又は右へのスライド操作として識別し、当該平均値が第１の角度閾値より大きい且つ第２の角度閾値より小さい場合、斜め方向へのスライド操作として識別し、当該平均値が第２の角度閾値より大きい場合、上又は下へのスライド操作として識別する。
任意に、端末は、同一時点で少なくとも２つの操作位置を決定する場合、各操作位置に対して、隣接する時点での自身から最も近い操作位置と自身を１つの操作組み合わせとして決定し、決定された各操作組み合わせに応じて、ユーザーの操作ジェスチャーを識別する。
例えば、図２Ｆに示すように、端末１において、第１時点で操作位置１１と１５を決定し、第２時点で操作位置１２と１６を決定し、第３時点で操作位置１３と１７を決定する場合、端末は、操作位置１１、１２、１３を１つの操作組み合わせとして決定し、操作位置１５、１６、１７を１つの操作組み合わせとして決定し、決定された操作組み合わせに応じて、ユーザーの操作ジェスチャーを識別する。
任意に、多くの操作ジェスチャーに応答する方式を提供するために、タッチパネルは、操作ジェスチャーの速度を識別することができる。図２Ｇは１つの例示的な実施例による操作ジェスチャーの速度の識別方法のフローチャートであり、当該操作ジェスチャー速度の識別方法がタッチパネルを含む端末に用いられ、当該タッチパネルに近接センサーが分布され、当該近接センサーが送信側と受信側を含み、当該送信側は信号を送信するように構成され、当該受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、図２Ｇに示すように、当該操作ジェスチャー速度の識別方法は、以下のステップを含む。
ステップ２０５において、少なくとも１つの近接センサーから、各近接センサーの近接値の変化の時間の長さを取得する。
各近接センサーに対して、１つの可能な実施形態において、端末は、近接センサーの近接値が予め設定された数値に連続的に等しくない時間を記録し、当該近接センサーが予め設定された変化規則を満たす場合、端末は、記録された時間に応じて当該近接センサーの近接値が予め設定された数値に連続的に等しくない変化の時間の長さを計算することができる。別の可能な実施形態において、端末は、近接センサーが予め設定された変化規則を満たすことを検出する前に、当該近接センサーの近接値が予め設定された数値に連続的に等しくない変化の時間の長さを取得し、当該近接センサーが予め設定された変化規則を満たすことを検出する場合、この前に取得された変化の時間の長さを直接に読み取る。本実施例において、端末が、近接値が予め設定された数値に連続的に等しくない変化の時間の長さを取得するタイミングに対して限定しない。
ステップ２０６において、各変化の時間の長さの平均値を計算する。
端末は、取得された各変化の時間の長さの平均値を計算し、又は、取得された各変化の時間の長さから少なくも１つの変化の時間の長さを選択して、当該少なくも１つの変化の時間の長さの平均値を計算する。
ステップ２０７において、平均値に応じて、ジェスチャーの操作速度を決定する。
端末において時間閾値が予め設定されており、平均値の大きさと時間閾値の大きさとを比較することでジェスチャーの操作速度を決定することができる。ここで、時間閾値が１つ以上である。
例えば、端末において、２つの時間閾値である第１の時間閾値と第２の時間閾値が設定されており、且つ第１の時間閾値が第２の時間閾値より大きい。端末は、平均値が第１の時間閾値より大きい場合、ジェスチャーを低速ジェスチャーとして決定する。端末は、平均値が第２の時間閾値より小さい場合、ジェスチャーを高速ジェスチャーとして決定する。端末は、平均値が第２の時間閾値より大きい且つ第１の時間閾値より小さい場合、ジェスチャーを中速ジェスチャーとして決定する。
ステップ２０８において、操作速度に応じて、ジェスチャーに対する応答方式を決定する。
操作ジェスチャーの操作速度を識別することで、端末が操作ジェスチャーに対する応答方式を増加する。
例えば、右への高速スライドジェスチャーに対応する応答方式は、ビデオの早送りであり、右への低速スライドジェスチャーに対応する応答方式は、次のビデオを再生することである。
任意に、本実施例はまた、ユーザーからの遮断ジェスチャーを識別する方法を提供する。図２Ｈに示すように、遮断ジェスチャーの識別方法のフローチャートであり、当該方法は、以下のステップを含む。
ステップ２０９において、少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得する。
ステップ２１０において、各近接値がいずれも同じ時間帯に予め設定された数値に等しくないことを検出し、当該予め設定された数値は、受信側が反射信号を受信しない場合の近接値である。
端末は、同じ時点に少なくとも１つの近接値が存在することを検出する場合、次に当該少なくとも１つの近接値が同じ時間帯に予め設定された数値に連続的に等しくないかどうかを検出する。
ステップ２１１において、各近接値がいずれも同じ時間帯に予め設定された数値に等しくない場合、ユーザーの遮断ジェスチャーを識別する。
端末は、各近接値が同じ時間帯に予め設定された数値に連続的に等しくない場合、ユーザーの操作ジェスチャーを遮断ジェスチャーとして識別する。端末は、ユーザーの遮断ジェスチャーを識別することで、操作ジェスチャーに対する応答方式を拡張することができる。例えば、端末はユーザーからの遮断ジェスチャーを識別した場合、それに対応する応答方式として、ビデオまたは音楽の再生を一時停止する。または、端末はユーザーからの遮断ジェスチャーを識別した場合、対応する応答方式として、あるアプリケーションをクリックする。
任意に、端末において、第１の所定時間を設定することができる。各近接値が予め設定された数値の時間に連続的に等しくない且つ当該第１の所定時間以上である場合、ユーザーの操作ジェスチャーを第１タイプの遮断ジェスチャーとして識別する。または、端末において、第２の所定時間を設定することができる。各近接値が予め設定された数値の時間に連続的に等しくない且当該第２の所定時間以下である場合、ユーザーの操作ジェスチャーを第２タイプの遮断ジェスチャーとして識別する。端末は、遮断ジェスチャーのタイプに対して、異なる応答方式を設定する。
任意に、本実施例はまた、ユーザーからのクリックジェスチャーを識別する方法を提供する。図２Ｉに示すように、クリックジェスチャーの識別方法のフローチャートであり、当該方法は、以下のステップを含む。
ステップ２１２において、少なくとも１つの近接センサーから各近接センサーにより測定された近接値を取得し、受信側が反射信号を受信しない場合、当該近接値が予め設定された数値である。
ステップ２１３において、近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更されるかどうかを検出する。
例えば、操作ジェスチャーがクリックジェスチャーである場合、クリックジェスチャーの操作過程において接近された各近接センサーに対して、測定された近接値が予め設定された数値から徐々に減少され、次に、予め設定された数値に徐々に増加される。このため、少なくとも１つの近接センサーの近接値が上記の変化傾向を満たしているかどうかを検出することで、ユーザーからのジェスチャーがクリックジェスチャーであるかどうかを識別する。
ステップ２１４において、近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更される場合、ユーザーのクリックジェスチャーを識別する。
各近接センサーに対して、端末は当該近接センサーにより測定された近接値が予め設定された数値から第２の値に変更されることを検出する場合、ある物体が接近することを分かり、近接値が継続して変化し、且つ第２の値から第３の値に減少される場合、当該物体と近接センサーとの距離が減少することを分かり、近接値が継続して変化し、且つ第３の値から第２の値に増加され予め設定された数値に増加される場合、物体が近接センサーから徐々に離れることを分かり、クリックジェスチャーに対応する近接値の変化規則に合う。ここで、第３の値は変化するものであり、クリックジェスチャーが、異なる第３の値に対応されることができる。
上述したように、本発明の実施例により提供されるジェスチャーの識別方法において、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることを検出すると、当該少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することで、端末は、ユーザーがタッチパネル上にタッチ操作を実行しなくてもユーザーからの操作ジェスチャーを識別することができ、ユーザーが都合によりタッチパネル上にタッチ操作を実行することができない場合には、端末がユーザーからの操作ジェスチャーを識別することができないという課題を解決し、ジェスチャーの識別方式を増加し、ジェスチャー識別の柔軟性を向上するという効果を奏することができる。
なお、操作ジェスチャーの速度、遮断ジェスチャー及びクリックジェスチャーを識別することで、操作ジェスチャーを拡張することができ、ユーザーがタッチパネルを接触しない場合には、動作する可能な操作ジェスチャーが少なく、タッチパネルが操作ジェスチャーに対する応答方式も少ないという問題を解決することができ、タッチパネルが操作ジェスチャーに対する応答方式を増加する効果を奏することができる。
図３は１つの例示的な実施例によるジェスチャーの識別装置のブロック図であり、当該装置がタッチパネルを含む端末に用いられ、当該タッチパネルに近接センサーが分布され、当該近接センサーが送信側と受信側を含み、当該送信側は信号を送信するように構成され、当該受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、図３に示すように、当該ジェスチャーの識別装置は、第一検出モジュール３１０、第一決定モジュール３２０、および第一識別モジュール３３０を含む。
当該第一検出モジュール３１０は、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出するように構成され、当該予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることである。
当該第一決定モジュール３２０は、第一検出モジュール３１０により検出された結果として、少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、当該少なくとも１つの近接センサーの位置を決定するように構成される。
当該第一識別モジュール３３０は、第一決定モジュール３２０により決定された少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別するように構成される。
上述したように、本発明の実施例により提供されるジェスチャーの識別装置において、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることを検出すると、当該少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することで、端末は、ユーザーがタッチパネル上にタッチ操作を実行しなくてもユーザーからの操作ジェスチャーを識別することができ、ユーザーが都合によりタッチパネル上にタッチ操作を実行することができない場合には、端末がユーザーからの操作ジェスチャーを識別することができないという課題を解決し、ジェスチャーの識別方式を増加し、ジェスチャー識別の柔軟性を向上するという効果を奏することができる。
図４は別の例示的な実施例によるジェスチャーの識別装置のブロック図であり、当該装置がタッチパネルを含む端末に用いられ、当該タッチパネルに近接センサーが分布され、当該近接センサーが送信側と受信側を含み、当該送信側は信号を送信するように構成され、当該受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、図４に示すように、当該ジェスチャーの識別装置は、第一検出モジュール４１０、当該第一決定モジュール４２０、および第一識別モジュール４３０を含む。
当該第一検出モジュール４１０は、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出するように構成され、当該予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることである。
当該第一決定モジュール４２０は、第一検出モジュール４１０により検出された結果として、少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、当該少なくとも１つの近接センサーの位置を決定するように構成される。
当該第一識別モジュール４３０は、第一決定モジュール４２０により決定された少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別するように構成される。
任意に、当該第一検出モジュール４１０は、第一取得サブモジュール４１１、検出サブモジュール４１２、および決定サブモジュール４１３を含む。
当該第一取得サブモジュール４１１は、各近接センサーに対して、近接センサーにより測定された近接値を取得するように構成され、当該近接値が操作体と近接センサーとの距離を示し、且つ受信側が反射信号を受信しない場合、当該近接値が予め設定された数値である。
当該検出サブモジュール４１２は、第一取得サブモジュール４１１により取得された近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値に変更されるかどうかを検出するように構成される。
当該決定サブモジュール４１３は、検出サブモジュール４１２により検出された結果として、近接値がまず予め設定された数値から第１の値に変更され、次に第１の値から予め設定された数値に変更される場合、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替え、予め設定された変化規則を満たすことを決定するように構成される。
任意に、当該第一識別モジュール４３０は、第二取得サブモジュール４３１、および識別サブモジュール４３２を含む。
当該第二取得サブモジュール４３１は、少なくとも１つの近接センサーの受信側が順次に反射信号を受信した順番を取得するように構成される。
当該識別サブモジュール４３２は、第二取得サブモジュール４３１により取得された順番に応じて、少なくとも１つの近接センサーの位置を操作ジェスチャーとして識別するように構成される。
任意に、当該装置は、第一取得モジュール４４０、計算モジュール４５０、第二決定モジュール４６０、および第三決定モジュール４７０をさらに含む。
当該第一取得モジュール４４０は、少なくとも１つの近接センサーから、各近接センサーの近接値の変化の時間の長さを取得するように構成される。
当該計算モジュール４５０は、第一取得モジュール４４０により取得された各変化の時間の長さの平均値を計算するように構成される。
当該第二決定モジュール４６０は、計算モジュール４５０により算出された平均値に応じて、ジェスチャーの操作速度を決定するように構成される。
当該第三決定モジュール４７０は、第二決定モジュール４６０により決定された操作速度に応じて、ジェスチャーに対する応答方式を決定するように構成される。
任意に、当該装置は、第二取得モジュール４８０、第二検出モジュール４９０、および第二識別モジュール４９１をさらに含む。
当該第二取得モジュール４８０は、少なくとも１つの近接センサーから各近接センサーにより測定された近接値を取得するように構成される。
当該第二検出モジュール４９０は、第二取得モジュール４８０により取得された各近接値がいずれも同じ時間帯に予め設定された数値に等しくないかどうかを検出するように構成され、当該予め設定された数値は、受信側が反射信号を受信しない場合の近接値である。
当該第二識別モジュール４９１は、第二検出モジュール４９０により検出された結果として、各近接値がいずれも同じ時間帯に予め設定された数値に等しくない場合、ユーザーの遮断ジェスチャーを識別するように構成される。
任意に、当該装置は、第三取得モジュール４９２、第三検出モジュール４９３、および第三識別モジュール４９４をさらに含む。
当該第三取得モジュール４９２は、少なくとも１つの近接センサーから各近接センサーにより測定された近接値を取得するように構成され、当該近接値は、受信側が反射信号を受信しない場合に予め設定された数値である。
当該第三検出モジュール４９３は、第三取得モジュール４９２により取得された近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更されるかどうかを検出するように構成される。
当該第三識別モジュール４９４は、第三検出モジュール４９３により検出された結果として、近接値がまず予め設定された数値から第２の値に変更され、次に第２の値から第３の値に減少され、次に第３の値から第２の値に増加され、次に第２の値から予め設定された数値に変更される場合、ユーザーのクリックジェスチャーを識別するように構成される。
上述したように、本発明の実施例により提供されるジェスチャーの識別装置において、少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることを検出すると、当該少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することで、端末は、ユーザーがタッチパネル上にタッチ操作を実行しなくてもユーザーからの操作ジェスチャーを識別することができ、ユーザーが都合によりタッチパネル上にタッチ操作を実行することができない場合には、端末がユーザーからの操作ジェスチャーを識別することができないという課題を解決し、ジェスチャーの識別方式を増加し、ジェスチャー識別の柔軟性を向上するという効果を奏することができる。
なお、操作ジェスチャーの速度、遮断ジェスチャー及びクリックジェスチャーを識別することで、操作ジェスチャーを拡張することができ、ユーザーがタッチパネルを接触しない場合には、動作する可能な操作ジェスチャーが少なく、タッチパネルが操作ジェスチャーに対する応答方式も少ないという問題を解決することができ、タッチパネルが操作ジェスチャーに対する応答方式を増加する効果を奏することができる。
前記実施例における装置については、この中の各モジュールが操作を実行する具体的な方式は、当該方法の実施例により説明されたので、ここでは詳細な説明を省略する。
本発明の実施例により提供されたジェスチャーの識別方法を実現するために、本発明の実施例はジェスチャーの識別装置を提供する。当該装置がタッチパネルに用いられ、タッチパネルに近接センサーが分布され、近接センサーが送信側と受信側を含み、送信側は信号を送信するように構成され、受信側は、信号が操作体により遮断されて反射された反射信号を受信するように構成され、当該ジェスチャーの識別装置は、プロセッサと、プロセッサで実行可能な命令を記憶するように構成されるメモリーとを含み、
ここで、プロセッサは、
少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出し、当該予め設定された変化規則は、近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることであり、
少なくとも１つの近接センサーが予め設定された変化規則を満たす場合、当該少なくとも１つの近接センサーの位置を確認し、
少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別するように構成される。
図５は１つの例示的な実施例によるジェスチャーの識別装置５００のブロック図である。例えば、装置５００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲーム機、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどであってよい。
図５を参照し、装置５００は、処理部品５０２、メモリ５０４、電源部品５０６、マルチメディア部品５０８、オーディオ部品５１０、入力／出力（Ｉ／Ｏ）インターフェイス５１２、センサー部品５１４、及び通信部品５１６のうちの一つ以上の部品を含むことができる。
処理部品５０２は、通常、装置５００の全体操作、例えばディスプレイ、電話コール、データ通信、カメラ操作と記録操作に関連する操作を制御する。処理部品５０２は、１つ以上のプロセッサ５１８を含んで命令を実行して、上記の方法のすべてまたは一部のステップを完了することができる。また、処理部品５０２は、１つ以上のモジュールを含んで、処理部品５０２と他の部品のインタラクションに便利を与えることができる。例えば、処理部品５０２は、マルチメディアモジュールを含んで、マルチメディア部品５０８と処理部品５０２とのインタラクションのために便利を与えることができる。
メモリ５０４は、様々なタイプのデータを記憶して装置５００での操作をサポートするように構成される。これらのデータの例は、装置５００に操作するためのいかなる記憶オブジェクトまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ５０４は、いかなるタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現されることができ、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、リードオンリーメモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクである。
電源部品５０６は、装置５００の様々な部品に電力を供給する。電源部品５０６は、電源管理システム、１つ以上の電源、および装置５００のために電力を生成し、管理して割り当てることに関連する他の部品を含むことができる。
マルチメディア部品５０８は、前記装置５００とユーザの間に１つの出力インタフェースを提供するディスプレイインターフェイスを含む。いくつかの実施例において、ディスプレイインターフェイは、液晶ディスプレイ（ＬＣＤ）とタッチパネル（ＴＰ）を含むことができる。ディスプレイインターフェイがタッチパネルを含むと、ディスプレイインターフェイは、タッチスクリーンとして実現され、ユーザからの入力信号を受信することができる。タッチパネルは、１つ以上のタッチセンサを含んでタッチ、摺動とタッチパネルでのジェスチャーをセンシングする。タッチセンサは、タッチまたは摺動操作の境界をセンシングするだけでなく、タッチまたは摺動操作に関連する持続時間と圧力を検出することができる。いくつかの実施例において、マルチメディア部品５０８は、１つのフロントカメラおよび／またはリアカメラを含む。装置５００が操作モード、例えば撮影モードまたはビデオモードにある場合、フロントカメラおよび／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラおよびリアカメラは、固定された光学レンズシステムであってよいまたはフォーカスと光学ズーム機能を備えることができる。
オーディオ部品５１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオ部品５１０は、１つのマイク（ＭＩＣ）を含み、装置５００が操作モード、例えばコールモード、記録モードと音声識別モードにある場合、マイクが外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ５０４に記憶されるまたは通信部品５１６を介して送信されることができる。いくつかの実施例において、オーディオ部品５１０は、オーディオ信号を出力するように構成されるスピーカーをさらに含む。
Ｉ／Ｏインタフェース５１２は、処理部品５０２と周辺インタフェースモジュールの間にインタフェースを提供し、前記周辺インタフェースモジュールがキーボード、クリックホイール、ボタンなどであってよい。これらのボタンは、ホームボタン、音量ボタン、起動ボタンとロックボタンを含むことができるがこれらに限られない。
センサー部品５１４は、１つ以上のセンサを含み、装置５００に各方面の状態評価を提供するように構成される。例えば、センサー部品５１４は、装置５００のオン／オフ状態、部品の相対的な位置決めを検出することができ、例えば前記部品が装置５００のディスプレイとキーパッドであり、センサー部品５１４は、さらに装置５００または装置５００の１つの部品の位置変化、ユーザと装置５００の接触が存在するまたは存在しないこと、装置５００の方位または加速／減速と装置５００の温度変化を検出することができる。センサー部品５１４は、いかなる物理的接触がない場合に付近の物体の存在を検出するように構成される近接センサを含むことができる。センサー部品５１４は、イメージングアプリケーションに使用される光センサ、例えばＣＭＯＳまたはＣＣＤ画像センサをさらに含むことができる。いくつかの実施例において、当該センサー部品５１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサをさらに含むことができる。
通信部品５１６は、装置５００と他の装置の間の有線または無線通信を容易にするように構成される。装置５００は、通信基準に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスすることができる。一つの例示的な実施例において、通信部品５１６は、放送チャネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一つの例示的な実施例において、前記通信部品５１６は、さらに近接場通信（ＮＦＣ）モジュールを含んで、近距離通信を促進する。例えば、ＮＦＣモジュールにおいてＲＦ識別（ＲＦＩＤ）技術、赤外線データ通信（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術と他の技術に基づいて実現することができる。
例示的な実施例において、装置５００は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子により実現されることができ、前記オーディオカバーディスプレイ方法を実行するように構成される。
例示的な実施例において、命令を含む非一時的コンピュータ可読記憶媒体、例えば命令を含むメモリ５０４が提供され、前記命令が装置５００のプロセッサ５１８によって実行されて前記方法を完了することができる。例えば、非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスクと光データ記憶装置などであってよい。
当業者は、明細書を考慮してここに開示される発明を実践した後に、本開示の他の実施例を容易に想到することができる。本願は、本開示の実施例のいかなる変形、用途または適応性変化をカバーすることを意図し、これらの変形、用途または適応性変化が本開示の実施例の一般的な原理に従い且つ本開示の実施例に開示されない本技術分野における公知の常識または慣用技術手段を含む。明細書と実施例は、ただ例示的なものだけと見なされ、本開示の実施例の真の範囲および精神が以下の特許請求の範囲によって示される。
本開示の実施例は、以上に説明され且つ図面に示す正確な構造に限られなく、且つその範囲から逸脱しなくて各種類の変更と変化を行うことができると理解すべきである。本開示の実施例の範囲は、添付の特許請求の範囲のみによって限定される。
本発明の実施例により提供される技術案は、以下有益な効果を実現することができる。少なくとも１つの近接センサーの受信側が反射信号を受信し、且つタッチパネルに作用する操作体のタッチ操作を検出しない場合、受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることを検出すると、当該少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することで、端末は、ユーザーがタッチパネル上にタッチ操作を実行しなくてもユーザーからの操作ジェスチャーを識別することができ、ユーザーが都合によりタッチパネル上にタッチ操作を実行することができない場合には、端末がユーザーからの操作ジェスチャーを識別することができないという課題を解決し、ジェスチャーの識別方式を増加し、ジェスチャー識別の柔軟性を向上するという効果を奏することができる。

Claims (13)

  1. ジェスチャーの識別方法であって、タッチパネルを含む端末に用いられ、前記タッチパネルに近接センサーが分布され、前記近接センサーが送信側と受信側を含み、前記送信側は信号を送信するように構成され、前記受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、前記方法は、
    少なくとも１つの近接センサーの受信側が反射信号を受信し、且つ前記タッチパネルに作用する前記操作体のタッチ操作を検出しない場合、前記少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出し、前記予め設定された変化規則は、前記近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることであることと、
    前記少なくとも１つの近接センサーが前記予め設定された変化規則を満たす場合、前記少なくとも１つの近接センサーの位置を決定することと、
    前記少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することとを含む、前記方法。
  2. 前記少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出することは、
    各近接センサーに対して、前記近接センサーにより測定された近接値を取得し、前記近接値は、前記操作体と前記近接センサーとの間の距離を示すことに用いられ、且つ前記受信側が反射信号を受信しない場合、前記近接値は予め設定された数値であることと、
    前記近接値がまず前記予め設定された数値から第１の値に変更され、次に前記第１の値から前記予め設定された数値に変更されるかどうかを検出することと、
    前記近接値がまず前記予め設定された数値から第１の値に変更され、次に前記第１の値から前記予め設定された数値に変更される場合、前記近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替え、前記予め設定された変化規則を満たすことを決定することとを含む
    請求項１に記載の方法。
  3. 前記少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別することは、
    前記少なくとも１つの近接センサーの前記受信側が反射信号を順次に受信した順番を取得することと、
    前記順番に従って、前記少なくとも１つの近接センサーの位置を前記操作ジェスチャーとして識別することとを含む
    請求項１に記載の方法。
  4. 前記少なくとも１つの近接センサーから、各近接センサーの近接値の変化の時間の長さを取得することと、
    各変化の時間の長さの平均値を計算することと、
    前記平均値に応じて、前記ジェスチャーの操作速度を決定することと、
    前記操作速度に応じて、前記ジェスチャーに対する応答方式を決定することとをさらに含む
    請求項１〜３のいずれか１項に記載の方法。
  5. 前記少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得することと、
    前記各近接値がいずれも同じ時間帯に予め設定された数値に等しくないかどうかを検出し、前記予め設定された数値は、前記受信側が反射信号を受信しない場合の近接値であることと、
    前記各近接値がいずれも前記同じ時間帯に前記予め設定された数値に等しくない場合、前記ユーザーの遮断ジェスチャーを識別することとをさらに含む
    請求項１に記載の方法。
  6. 前記少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得し、前記受信側が反射信号を受信しない場合、前記近接値は予め設定された数値であることと、
    前記近接値がまず前記予め設定された数値から第２の値に変更され、次に前記第２の値から第３の値に減少され、次に前記第３の値から前記第２の値に増加され、次に前記第２の値から前記予め設定された数値に変更されるかどうかを検出することと、
    前記近接値がまず前記予め設定された数値から第２の値に変更され、次に前記第２の値から第３の値に減少され、次に前記第３の値から前記第２の値に増加され、次に前記第２の値から前記予め設定された数値に変更される場合、前記ユーザーのクリックジェスチャーを識別することとをさらに含む
    請求項１に記載の方法。
  7. ジェスチャーの識別装置であって、タッチパネルを含む端末に用いられ、前記タッチパネルに近接センサーが分布され、前記近接センサーが送信側と受信側を含み、前記送信側は信号を送信するように構成され、前記受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、前記装置は、
    少なくとも１つの近接センサーの受信側が反射信号を受信し、且つ前記タッチパネルに作用する前記操作体のタッチ操作を検出しない場合、前記少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出するように構成され、前記予め設定された変化規則は、前記近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることである第一検出モジュールと、
    前記第一検出モジュールにより検出された結果として、前記少なくとも１つの近接センサーが前記予め設定された変化規則を満たす場合、前記少なくとも１つの近接センサーの位置を決定するように構成される第一決定モジュールと、
    前記第一決定モジュールにより決定された前記少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別するように構成される第一識別モジュールとを含む、前記装置。
  8. 前記第一検出モジュールは、
    各近接センサーに対して、前記近接センサーにより測定された近接値を取得するように構成され、前記近接値は、前記操作体と前記近接センサーとの間の距離を示すことに用いられ、且つ前記受信側が反射信号を受信しない場合、前記近接値は予め設定された数値である第一取得サブモジュールと、
    第一取得サブモジュールにより取得された前記近接値がまず前記予め設定された数値から第１の値に変更され、次に前記第１の値から前記予め設定された数値に変更されるかどうかを検出するように構成される検出サブモジュールと、
    前記検出サブモジュールにより検出された結果として、前記近接値がまず前記予め設定された数値から前記第１の値に変更され、次に前記第１の値から前記予め設定された数値に変更される場合、前記近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替え、前記予め設定された変化規則を満たすことを決定するように構成される決定サブモジュールとを含む
    請求項７に記載の装置。
  9. 前記第一識別モジュールは、
    前記少なくとも１つの近接センサーの前記受信側が反射信号を順次に受信した順番を取得するように構成される第二取得サブモジュールと、
    前記第二取得サブモジュールにより取得された前記順番に応じて、前記少なくとも１つの近接センサーの位置を前記操作ジェスチャーとして識別するように構成される識別サブモジュールとを含む
    請求項７に記載の装置。
  10. 前記少なくとも１つの近接センサーから、各近接センサーの近接値の変化の時間の長さを取得するように構成される第一取得モジュールと、
    前記第一取得モジュールにより取得された各変化の時間の長さの平均値を計算するように構成される計算モジュールと、
    前記計算モジュールにより算出された前記平均値に応じて、前記ジェスチャーの操作速度を決定するように構成される第二決定モジュールと、
    前記第二決定モジュールにより決定された前記操作速度に応じて、前記ジェスチャーに対する応答方式を決定するように構成される第三決定モジュールとをさらに含む
    請求項７〜９のいずれか１項に記載の装置。
  11. 前記少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得するように構成される第二取得モジュールと、
    前記第二取得モジュールにより取得された前記各近接値がいずれも同じ時間帯に予め設定された数値に等しくないかどうかを検出するように構成され、前記予め設定された数値は、前記受信側が反射信号を受信しない場合の近接値である第二検出モジュールと、
    前記第二検出モジュールにより検出された結果として、前記各近接値がいずれも同じ時間帯に予め設定された数値に等しくない場合、前記ユーザーの遮断ジェスチャーを識別するように構成される第二識別モジュールとをさらに含む
    請求項７に記載の装置。
  12. 前記少なくとも１つの近接センサーから、各近接センサーにより測定された近接値を取得するように構成され、前記近接値は、前記受信側が反射信号を受信しない場合に予め設定された数値である第三取得モジュールと、
    前記第三取得モジュールにより取得された前記近接値がまず前記予め設定された数値から第２の値に変更され、次に前記第２の値から第３の値に減少され、次に前記第３の値から前記第２の値に増加され、次に前記第２の値から前記予め設定された数値に変更されるかどうかを検出するように構成される第三検出モジュールと、
    前記第三検出モジュールに検出された結果として、前記近接値がまず前記予め設定された数値から第２の値に変更され、次に前記第２の値から第３の値に減少され、次に前記第３の値から前記第２の値に増加され、次に前記第２の値から前記予め設定された数値に変更される場合、前記ユーザーのクリックジェスチャーを識別するように構成される第三識別モジュールとをさらに含む
    請求項７に記載の装置。
  13. ジェスチャーの識別装置であって、タッチパネルを含む端末に用いられ、前記タッチパネルに近接センサーが分布され、前記近接センサーが送信側と受信側を含み、前記送信側は信号を送信するように構成され、前記受信側は、前記信号が操作体により遮断されて反射された反射信号を受信するように構成され、前記装置は、
    プロセッサと、
    プロセッサで実行可能な命令を記憶するように構成されるメモリーとを含み、
    前記プロセッサは、
    少なくとも１つの近接センサーの受信側が反射信号を受信し、且つ前記タッチパネルに作用する前記操作体のタッチ操作を検出しない場合、前記少なくとも１つの近接センサーが予め設定された変化規則を満たしているかどうかを検出し、前記予め設定された変化規則は、前記近接センサーの受信側がまず反射信号を受信しないことから反射信号を受信することへ切り替え、次に反射信号を受信することから反射信号を受信しないことへ切り替えることであり、
    前記少なくとも１つの近接センサーが前記予め設定された変化規則を満たす場合、前記少なくとも１つの近接センサーの位置を決定し、
    前記少なくとも１つの近接センサーの位置に応じて、ユーザーの操作ジェスチャーを識別するように構成される、前記装置。
JP2017505547A 2016-01-19 2016-09-28 ジェスチャーの識別方法及び装置 Active JP6559769B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610034534.5A CN105718056B (zh) 2016-01-19 2016-01-19 手势识别方法及装置
CN201610034534.5 2016-01-19
PCT/CN2016/100497 WO2017124768A1 (zh) 2016-01-19 2016-09-28 手势识别方法及装置

Publications (2)

Publication Number Publication Date
JP2018506089A JP2018506089A (ja) 2018-03-01
JP6559769B2 true JP6559769B2 (ja) 2019-08-14

Family

ID=56147920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017505547A Active JP6559769B2 (ja) 2016-01-19 2016-09-28 ジェスチャーの識別方法及び装置

Country Status (7)

Country Link
US (1) US20170206001A1 (ja)
EP (2) EP3196751A1 (ja)
JP (1) JP6559769B2 (ja)
KR (1) KR102091952B1 (ja)
CN (1) CN105718056B (ja)
RU (1) RU2677360C1 (ja)
WO (1) WO2017124768A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718056B (zh) * 2016-01-19 2019-09-10 北京小米移动软件有限公司 手势识别方法及装置
EP3319011B1 (en) * 2016-09-17 2019-10-02 Shenzhen Goodix Technology Co., Ltd. Fingerprint acquisition device and method, terminal apparatus and method for controlling screen to turn on and off
CN106371759A (zh) * 2016-09-29 2017-02-01 努比亚技术有限公司 一种基于接近传感器的速度识别***及移动终端
CN108833709A (zh) * 2018-06-25 2018-11-16 维沃移动通信有限公司 一种摄像头的启动方法和移动终端
CN110448896A (zh) * 2018-10-10 2019-11-15 网易（杭州）网络有限公司 游戏中虚拟操作的控制方法、装置和移动终端
CN109062456B (zh) * 2018-10-12 2022-01-07 Oppo广东移动通信有限公司 一种触控控制方法、触控控制装置及终端设备
EP3767325A1 (en) * 2019-07-19 2021-01-20 Aptiv Technologies Limited Methods and systems for processing radar reflections
US20210239819A1 (en) * 2020-02-05 2021-08-05 Samsung Electronics Co., Ltd. System and method for detecting proximity of users
CN113467623A (zh) * 2020-03-31 2021-10-01 北京小米移动软件有限公司 终端设备及控制方法、操作指令的检测模组
TWI820590B (zh) * 2021-04-30 2023-11-01 日商阿爾卑斯阿爾派股份有限公司 鄰近檢測裝置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000100287A (ja) * 1998-09-21 2000-04-07 Smk Corp 操作パネル入力装置
JP2005295399A (ja) * 2004-04-02 2005-10-20 Smk Corp タッチパネル入力装置
JP2007219676A (ja) * 2006-02-15 2007-08-30 Tokyo Institute Of Technology データ入力装置、情報機器、およびデータ入力方法
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
CN101730867B (zh) * 2007-06-27 2012-08-08 皇家飞利浦电子股份有限公司 用于提供独立于设备的控制和修改的***和方法
JP4924393B2 (ja) * 2007-12-05 2012-04-25 ソニー株式会社 ディスプレイ装置
JP5425886B2 (ja) * 2008-03-31 2014-02-26 ナダ コンセプツ インコーポレイテッド 人間工学に基づく、調節可能な椅子
KR101506488B1 (ko) * 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
DE102008040880A1 (de) * 2008-07-31 2010-02-04 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung des Dampfdrucks eines Kraftstoffs
CN101819490A (zh) * 2009-02-27 2010-09-01 索尼公司 反射检测设备、显示设备、电子设备和反射检测方法
US8839155B2 (en) * 2009-03-16 2014-09-16 Apple Inc. Accelerated scrolling for a multifunction device
US20100245289A1 (en) * 2009-03-31 2010-09-30 Miroslav Svajda Apparatus and method for optical proximity sensing and touch input control
CN102214028B (zh) * 2010-04-06 2014-07-16 晨星软件研发(深圳)有限公司 触控板的手势识别方法与手势识别装置
US8987777B2 (en) * 2011-07-11 2015-03-24 International Rectifier Corporation Stacked half-bridge power module
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US8854335B2 (en) * 2012-03-22 2014-10-07 Eminent Electronic Technology Corp. Ltd. Electronic apparatus having touch sensing ability and non-touch sensing ability and control method thereof
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
CN103713735B (zh) * 2012-09-29 2018-03-16 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
KR20140056860A (ko) * 2012-11-01 2014-05-12 주식회사 팬택 광 센서를 구비한 전자 기기 및 이의 제어 방법, 이 전자 기기를 위한 제스처 인식 장치와 방법
JP2014115733A (ja) * 2012-12-06 2014-06-26 Sharp Corp 情報処理装置、情報処理方法、プログラム、および記録媒体
FR3000245B1 (fr) * 2012-12-21 2016-04-29 Dav Module d'interface
WO2014140827A2 (en) * 2013-03-14 2014-09-18 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
EP2790093B1 (en) * 2013-04-09 2020-06-03 ams AG Method for gesture detection, optical sensor circuit, in particular an optical sensor circuit for gesture detection, and optical sensor arrangement for gesture detection
JP2014215649A (ja) * 2013-04-23 2014-11-17 アルプス電気株式会社 入力装置
US9652044B2 (en) * 2014-03-04 2017-05-16 Microsoft Technology Licensing, Llc Proximity sensor-based interactions
KR20150104302A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 전자 장치의 사용자 입력 검출 방법 및 그 전자 장치
CN104991647B (zh) * 2015-07-08 2018-06-26 杭州木梢科技有限公司 一种可实现手势识别的被控装置及其控制方法
CN105204650A (zh) * 2015-10-22 2015-12-30 上海科世达-华阳汽车电器有限公司 一种手势识别方法、控制器、装置及设备
CN105718056B (zh) * 2016-01-19 2019-09-10 北京小米移动软件有限公司 手势识别方法及装置

Also Published As

Publication number Publication date
EP3916535A3 (en) 2022-01-19
KR20180038546A (ko) 2018-04-16
EP3916535B1 (en) 2024-07-24
CN105718056A (zh) 2016-06-29
RU2677360C1 (ru) 2019-01-16
EP3196751A1 (en) 2017-07-26
EP3916535A2 (en) 2021-12-01
US20170206001A1 (en) 2017-07-20
JP2018506089A (ja) 2018-03-01
CN105718056B (zh) 2019-09-10
WO2017124768A1 (zh) 2017-07-27
KR102091952B1 (ko) 2020-03-20

Similar Documents

Publication Publication Date Title
JP6559769B2 (ja) ジェスチャーの識別方法及び装置
JP6533535B2 (ja) ジェスチャー識別方法、装置、プログラム及び記録媒体
JP6328859B2 (ja) アプリケーションプログラム切替え方法、装置及び機器
RU2633187C1 (ru) Способ управления, устройство и оборудование для регулировки функции съемки
RU2661289C1 (ru) Способ и устройство предотвращения случайного касания терминала с сенсорным экраном
EP3121701A1 (en) Method and apparatus for single-hand operation on full screen
US20170060320A1 (en) Method for controlling a mobile terminal using a side touch panel
US20160210034A1 (en) Method and apparatus for switching display mode
CN110262692B (zh) 一种触摸屏扫描方法、装置及介质
KR20170142839A (ko) 단말기의 작업모드 확정방법, 장치, 프로그램 및 기록매체
EP3232301B1 (en) Mobile terminal and virtual key processing method
KR101763270B1 (ko) 캐릭터 결정 방법, 장치, 프로그램 및 컴퓨터가 판독가능한 기록매체
US10061497B2 (en) Method, device and storage medium for interchanging icon positions
JP7252905B2 (ja) タッチ信号の処理方法、装置および媒体
US20160195992A1 (en) Mobile terminal and method for processing signals generated from touching virtual keys
CN105373333B (zh) 触控响应方法及装置
CN106293405B (zh) 页面移动的方法和装置
US20160173668A1 (en) Method and device for activating an operating state of a mobile terminal
CN108469926B (zh) 设备控制方法、装置及设备
CN112286392A (zh) 触控屏的触控检测方法及装置、存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190717

R150 Certificate of patent or registration of utility model

Ref document number: 6559769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250