JP2024520943A - キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム - Google Patents

キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム Download PDF

Info

Publication number
JP2024520943A
JP2024520943A JP2023571382A JP2023571382A JP2024520943A JP 2024520943 A JP2024520943 A JP 2024520943A JP 2023571382 A JP2023571382 A JP 2023571382A JP 2023571382 A JP2023571382 A JP 2023571382A JP 2024520943 A JP2024520943 A JP 2024520943A
Authority
JP
Japan
Prior art keywords
hand
gesture
cursor
virtual keyboard
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023571382A
Other languages
English (en)
Inventor
▲鏡▼州 ▲陳▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2024520943A publication Critical patent/JP2024520943A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本願は、キー機能実行方法、装置、機器、及び記憶媒体を開示しており、コンピュータの技術分野に属する。該方法は、仮想キーボードを表示するステップ（６０１）と、手がターゲットジェスチャーにあることの検出に応答して、ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示するステップ（６０２）と、手がターゲットジェスチャーを保持しながら移動することに応答して、カーソルが手の移動に追従して移動することを表示するステップ（６０３）と、手のジェスチャーの変化に応答して、仮想キーボードの第２位置に対応するキーの機能を実行するステップ（６０４）であって、第２位置は、手のジェスチャーの変化時にカーソルが位置する位置である、ステップ（６０４）を含む。本願の実施例では、操作が非常に簡単で便利であり、１つのキーの選択及びトリガーを精確に行うこともできるため、キーへのトリガーの粒度及び精度を向上させる、柔軟で簡単な操作方式が提供される。

Description

本願は、２０２１年６月２２日に提出された、出願番号が第２０２１１０６９３７９４．４号であり、発明の名称が「キー機能実行方法、装置、機器、及び記憶媒体」である中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
本願は、コンピュータの技術分野に関し、特にキー機能実行方法、装置、機器、及び記憶媒体に関する。
コンピュータ技術の発展に伴い、電子機器でキーを表示し、ユーザがキーを操作することで、対応する機能を電子機器が自動的に実行することをトリガーするようになり、人工コストが大幅に削減され、スマート化が実現される。
現在、キー機能実行方法では、通常、スクリーンに仮想キーボードを表示し、ユーザによるスクリーンへのタッチ操作の検出に応答して、そのタッチ操作の接点に対応するキーの機能を実行する。
本願の実施例は、キーへのトリガーの粒度及び精度を向上させて適用性が良いキー機能実行方法、装置、機器、及び記憶媒体を提供する。その構成は、以下の通りである。
一態様では、キー機能実行方法が提供されている。前記方法は、
キー機能実行システムが仮想キーボードを表示するステップであって、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応する、ステップと、
手がターゲットジェスチャーにあることの検出に応答して、前記システムが、前記ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示するステップであって、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置である、ステップと、
前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記システムが、前記カーソルが前記手の移動に追従して移動することを表示するステップと、
前記手のジェスチャーの変化に応答して、前記システムが前記仮想キーボードの第２位置に対応するキーの機能を実行するステップであって、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である、ステップと、を含む。
一態様では、電子機器と、ジェスチャー追跡センサと、表示機器と、を含むキー機能実行システムが提供されている。前記ジェスチャー追跡センサ及び前記表示機器は、それぞれ、前記電子機器に接続され、
前記表示機器は、仮想キーボードを表示し、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応し、
前記ジェスチャー追跡センサは、手がターゲットジェスチャーにあることを検出し、
前記表示機器は、さらに、前記手が前記ターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、前記第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置であり、
前記ジェスチャー追跡センサは、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することを検出し、
前記表示機器は、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
前記電子機器は、前記手のジェスチャーの変化に応答して、前記仮想キーボードの第２位置に対応するキーの機能を実行し、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である。
一態様では、キー機能実行装置が提供されている。前記装置は、表示モジュールと、実行モジュールと、を含み、
前記表示モジュールは、仮想キーボードを表示し、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応し、
前記表示モジュールは、さらに、手がターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、前記第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置であり、
前記表示モジュールは、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
前記実行モジュールは、前記手のジェスチャーの変化に応答して、前記仮想キーボードの第２位置に対応するキーの機能を実行し、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である。
いくつかの実施例において、前記表示モジュールは、
前記生体認証特徴によって前記手が左手であることが示されることに応答して、前記仮想キーボードの前記第１領域内のターゲット位置にカーソルを表示し、
前記生体認証特徴によって前記手が右手であることが示されることに応答して、前記仮想キーボードの前記第２領域内のターゲット位置にカーソルを表示する。
いくつかの実施例において、前記表示モジュールは、
前記生体認証特徴によって、前記手が左手であり、かつ、前記ターゲットジェスチャーが前記手の第１指及び親指で形成されることが示されることに応答して、前記仮想キーボードの前記第１領域の、前記第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定し、
前記生体認証特徴によって、前記手が右手であり、かつ、前記ターゲットジェスチャーが前記手の第１指及び親指で形成されることが示されることに応答して、前記仮想キーボードの前記第２領域の、前記第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
いくつかの実施例において、前記ターゲット位置は、領域の中心位置である。
いくつかの実施例において、前記表示モジュールは、
前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記手の変位を取得し、
前記第１位置と、前記手の変位とに基づいて、第３位置を決定し、
前記カーソルが前記第１位置から前記第３位置に移動することを表示する。
いくつかの実施例において、前記実行モジュールは、
前記第２位置に対応するキーが文字キーであることに応答して、前記仮想キーボードの入力ボックス又は文字表示領域に、前記第２位置に対応するキーが示す文字を入力するステップと、
前記第２位置に対応するキーが削除キーであることに応答して、前記仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除するステップと、
前記第２位置に対応するキーが改行キーであることに応答して、前記仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示するステップと、
前記第２位置に対応するキーが確認キーであることに応答して、前記仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、前記仮想キーボードの表示を取り消すステップと、のいずれか１つに用いられる。
いくつかの実施例において、前記表示モジュールは、さらに、前記仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、前記文字表示領域のターゲット範囲内に、前記入力済みの文字組み合わせに対応する候補漢字を表示する。
いくつかの実施例において、前記仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれ、
前記表示モジュールは、さらに、手が前記ターゲットジェスチャーになく、かつ、前記手が移動することの検出に応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
前記実行モジュールは、さらに、前記手がターゲットジェスチャーをして、かつ、前記カーソルが前記少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、前記ターゲット仮想コントロールに対応する機能を実行する。
いくつかの実施例において、前記実行モジュールは、
前記ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、前記仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替え、
前記ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、前記仮想キーボード内に表示される文字をアルファベットと記号との間で切り替え、
前記ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、前記仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
いくつかの実施例において、前記実行モジュールは、さらに、前記ターゲット仮想コントロールの表示内容を更新し、更新後の前記表示内容が前記仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
一態様では、電子機器と、ジェスチャー追跡センサと、表示機器と、を含むキー機能実行システムが提供されている。前記ジェスチャー追跡センサ及び前記表示機器は、それぞれ、前記電子機器に接続され、
前記表示機器は、仮想キーボードを表示し、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応し、
前記ジェスチャー追跡センサは、手がターゲットジェスチャーにあることを検出し、
前記表示機器は、さらに、前記手が前記ターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、前記第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置であり、
前記ジェスチャー追跡センサは、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することを検出し、
前記表示機器は、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
前記電子機器は、前記手のジェスチャーの変化に応答して、前記仮想キーボードの第２位置に対応するキーの機能を実行し、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である。
一態様では、１つ又は複数のプロセッサと、１つ又は複数のメモリと、を備える電子機器が提供されている。前記１つ又は複数のメモリには、少なくとも１つのコンピュータプログラムが記憶されており、前記少なくとも１つのコンピュータプログラムは、前記１つ又は複数のプロセッサによりロードされて実行されると、上記キー機能実行方法の各種の任意選択的な実現形態を実現させる。
一態様では、少なくとも１つのコンピュータプログラムを記憶したコンピュータ可読記憶媒体が提供されており、前記少なくとも１つのコンピュータプログラムは、プロセッサによりロードされて実行されると、上記キー機能実行方法の各種の任意選択的な実現形態を実現させる。
他の態様では、１つ又は複数のプログラムコードを含むコンピュータプログラム製品又はコンピュータプログラムが提供されており、前記１つ又は複数のプログラムコードは、コンピュータ可読記憶媒体に記憶されている。電子機器の１つ又は複数のプロセッサは、前記コンピュータ可読記憶媒体から前記１つ又は複数のプログラムコードを読み取り、前記１つ又は複数のプロセッサが前記１つ又は複数のプログラムコードを実行することで、前記電子機器に上記キー機能実行方法の各種の任意選択的な実現形態を実行させる。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。
本願の実施例で提供されるキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される他のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される他のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される他のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される別のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供されるキー機能実行方法のフローチャートである。 本願の実施例で提供されるキー機能実行方法のフローチャートである。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供されるキー機能実行システムの模式図である。 本願の実施例で提供されるキー機能実行装置の構成の模式図である。 本願の実施例で提供される電子機器の構成の模式図である。 本願の実施例で提供される端末の構成のブロック図である。 本願の実施例で提供されるサーバの構成の模式図である。
本願の目的、構成、及びメリットをより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。
本願における用語「第１」、「第２」などの表現は、役割及び機能がほぼ同じである同一項目又は類似項目を区別するために使用される。理解すべきものとして、「第１」、「第２」、「第ｎ」の間に論理的又は時系列的な依存関係はなく、数量及び実行順序も限定されない。また、理解すべきものとして、以下の説明では、第１、第２などの用語を使用して様々な要素を説明するが、これらの要素は用語によって制限されるべきではない。これらの用語は、ある要素を他の要素と区別するためのものに過ぎない。例えば、様々な例示の範囲を逸脱しない場合に、第１画像は第２画像と呼ばれ、同様に、第２画像は第１画像と呼ばれる。第１画像と第２画像は、両方とも画像であり、場合によって別個で異なる画像である。
本願における用語「少なくとも１つ」は１つ又は複数を意味し、本願における用語「複数」は２つ以上のものを意味し、例えば、複数のキーは２つ以上のキーを意味する。
以下、本願の実施環境を説明する。
図１、図２、図３、及び図４は、本願の実施例で提供されるキー機能実行方法の実施環境の模式図である。図１に示すように、該実施環境は、端末１０１を含む。図２に示すように、該実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、を含む。図３に示すように、該実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、表示機器１０３と、を含む。図４に示すように、該実施環境は、端末１０１と、表示機器１０３と、を含む。
ここで、端末１０１は、スマートフォン、ゲーム機、デスクトップコンピュータ、タブレットコンピュータ、電子書籍リーダー、ムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー３（ＭＰ３：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ）プレイヤー又はムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー４（ＭＰ４：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）プレイヤー、ラップトップポータブルコンピュータのうちの少なくとも１つである。端末１０１には、キー機能の実行をサポートするアプリケーションがインストールされて実行される。例えば、該アプリケーションは、システムアプリケーション、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）アプリケーション、インスタントメッセンジャーアプリケーション、ニュースプッシュアプリケーション、ショッピングアプリケーション、オンライン動画アプリケーション、ソーシャルアプリケーションである。
図１に示すように、実施環境は、端末１０１を含み、該端末１０１には、ジェスチャー追跡センサ及びスクリーンディスプレイが取り付けられている。このように、該端末は、ジェスチャー追跡センサでユーザの手を追跡することができ、手によるジェスチャーや動作を認識して、そのジェスチャーや動作に応じた命令をトリガーすることができる。該端末は、表示機能も有し、スクリーンディスプレイによって仮想キーボードを表示することができ、手のジェスチャーや動作を認識する際に、スクリーンディスプレイによって、そのジェスチャーや動作に応じた変化を表示することができる。例えば、該ジェスチャー追跡センサはカメラであり、該カメラは、手のジェスチャーや動作を収集するために、手を撮影することができる。
図２に示すように、実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、を含む。該端末１０１とジェスチャー追跡センサ１０２は、有線又は無線のネットワークを介して接続され、該端末１０１は、表示機能を有し、スクリーンディスプレイに仮想キーボードを表示することができる。ジェスチャー追跡センサ１０２は、ユーザの手を追跡することができ、手によるジェスチャーや動作を認識して、認識結果を端末１０１に送信することができる。該端末１０１は、認識結果に応じた内容を仮想キーボードに表示することができる。
ジェスチャー追跡センサは、任意のジェスチャーセンサであり、例えば、Ｌｅａｐ Ｍｏｔｉｏｎセンサであり、また例えば、指追跡手袋などであるが、本願の実施例はこれを限定しない。
図３に示すように、該実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、表示機器１０３と、を含む。該端末１０１は、有線又は無線のネットワークを介して、ジェスチャー追跡センサ１０２及び表示機器１０３のそれぞれと接続される。該端末１０１は、データ処理機能を有する。該端末１０１は、表示機器１０３を制御して仮想キーボードを表示させる。ジェスチャー追跡センサ１０２は、ユーザの手を追跡することができ、手によるジェスチャーや動作を認識して、認識結果を端末１０１に送信することができる。該端末１０１は、表示機器１０３を制御して、認識結果に応じた内容を仮想キーボードに表示させることができる。
表示機器は、任意の表示機器であり、例えば、スクリーンディスプレイであり、また例えば、ＶＲヘッドマウント表示機器（ＶＲヘッドマウントディスプレイと略称）などであるが、本願の実施例はこれを限定しない。
図４に示すように、該実施環境は、端末１０１と、表示機器１０３と、を含む。該端末１０１と表示機器１０３は、有線又は無線のネットワークを介して接続される。該端末１０１は、データ処理機能を有する。該端末１０１は、表示機器１０３を制御して仮想キーボードを表示させる。該端末１０１には、ジェスチャー追従センサが取り付けられている。端末１０１は、取り付けられたジェスチャー追従センサによって、ユーザの手を追跡することができ、手によるジェスチャーや動作を認識することができる。次に、端末１０１は、ジェスチャーや動作に基づいて、表示内容の変化を決定し、表示機器１０３によって表示を行う。
上記では４つの可能な実施環境が提供されているが、具体的にどれを採用するかについて、本願の実施例は限定しない。以下、該キー機能実行方法の実施環境について、図５を用いて総合的に説明する。図５に示すように、該実施環境は、ジェスチャー追跡センサ５０１と、機器システム５０２と、表示機器５０３と、を含む。ジェスチャー追跡センサ５０１と機器システム５０２は接続されている。
ジェスチャー追跡センサ５０１は、ユーザの指の操作を検出・追跡する。ここで、ジェスチャー追跡センサ５０１は、異なるタイプの機器、例えば、Ｌｅａｐ Ｍｏｔｉｏｎセンサ、カメラ、指追跡手袋である。ジェスチャー追跡センサ５０１は、各指関節の回転、座標情報を取得することができる。
機器システム５０２は、ゲームアプリケーション又は他のアプリケーションのプログラムを実行することができ、アプリケーションには、入力方法プログラムモジュールが含まれる。機器システムは、プログラム内で入力方法プログラムモジュールを実行することができる。
表示機器５０３は、画面を表示することができる。ここで、該表示機器５０３は、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ヘッドマウントディスプレイやスクリーンディスプレイなどである。
図６は、本願の実施例で提供されるキー機能実行方法のフローチャートである。該方法は、電子機器に適用される。該電子機器は、端末又はサーバである。図６を参照すると、該方法が端末に適用される場合を例にして、該方法は、以下のステップを含む。
６０１では、端末が仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び該第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域及び該第２領域がそれぞれ左手及び右手に対応し、即ち、該第１領域が左手に対応し、該第２領域が右手に対応する。
仮想キーボードは、スクリーンに表示される仮想的なキーボードである。仮想キーボードには、少なくとも２つのキーが含まれる。ここで、少なくとも２つは、２つ以上、即ち、複数を意味する。
仮想キーボードのキーには、様々なタイプのキーが含まれる。例えば、仮想キーボードには、複数のアルファベットキー、数字キー、又は記号キーが表示される。
本願の実施例では、仮想キーボードが第１領域及び第２領域の２つの領域に分割される。第１領域が左手に対応し、第２領域が右手に対応する。各々の領域には、少なくとも２つのキーが含まれ、いずれか１つのキーを操作すると、そのキーの機能をトリガーすることができる。このように、ユーザは、異なる手でターゲットジェスチャーをして、仮想キーボードの異なる領域のキーへのトリガーを制御することができる。
６０２では、端末が、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、第１位置は、該仮想キーボードの、該生体認証特徴に対応する領域内に位置し、該生体認証特徴に対応する位置である。
本願の実施例では、ユーザがスクリーンに触れることなく、手でジェスチャーをし、端末が手のジェスチャーを検出し、ジェスチャーに基づいて仮想キーボード内の対応する操作位置を決定し、さらにユーザが本当にトリガーしたいキーを決定して、そのキーの機能を実行する。
該ターゲットジェスチャーについて、任意選択的に、仮想キーボードが手の生体認証特徴に関連付けられ、生体認証特徴が異なる場合、仮想キーボード内の、該ターゲットジェスチャーに対応する位置が異なってもよい。ここで、該生体認証特徴は、ジェスチャーをする手がどの手であるかを示すことに使用され、又は、該ジェスチャーをする指がそれぞれどの指であるかを示すことにも使用される。
１つの可能な実施形態において、端末は、手のジェスチャーを検出し、手がターゲットジェスチャーにあると決定すると、該ターゲットジェスチャーの生体認証特徴に基づいて、該生体認証特徴に対応する領域内の第１位置を決定し、該第１位置は、即ち、カーソルの初期表示位置である。端末は、該第１位置にカーソルを表示して、現在手が位置する位置に対応する操作位置が第１位置であることを示す。このように、手がターゲットジェスチャーをするだけで、スクリーンにタッチすることなく、端末が第１位置にカーソルを表示することをトリガーすることができる。
理解できるように、仮想キーボードが２つの領域に分割され、ユーザが左手でターゲットジェスチャーをする場合に、該生体認証特徴に対応する領域は第１領域であり、ユーザが右手でターゲットジェスチャーをする場合に、該生体認証特徴に対応する領域は第２領域である。
６０３では、端末が、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせたものであり、ターゲットジェスチャーをした後、ユーザが実際に第１位置のキーをトリガーするわけではない場合に、ターゲットジェスチャーを保持しながら手を移動する。このように、端末は、手を追跡し、カーソルが手の移動に追従して移動するように制御することができる。これにより、ユーザは、手を移動するだけで、容易にカーソルを移動させて、トリガーしたいキーを精確に選択することができる。簡単な操作でキーへの精確なトリガーを実現することができ、キー機能の実行の精度及び柔軟性を向上させる。
６０４では、端末が、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
上記のステップ６０３によって、カーソルの位置は、既に変化しており、他の位置に移動した可能性があり、また第１位置に戻るように移動した可能性もある。ユーザは、トリガーしたいキーの位置にカーソルを移動させた後、ジェスチャーを変更し、即ち、ターゲットジェスチャーを保持しなくてもよい。このように、端末は、ユーザがカーソルの現在の位置のキーをトリガーしたいと決定することができるため、カーソルの現在の位置（即ち、第２位置）のキーの機能を実行することができる。
ここで、第２位置は、手がターゲットジェスチャーを保持しながら移動した後、ターゲットジェスチャーを保持しなくなったときにカーソルが位置する位置である。第２位置は第１位置と同じ位置であり、又は、第２位置は第１位置と異なる位置である。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
図７は、本願の実施例で提供されるキー機能実行方法のフローチャートである。図７を参照すると、該方法は、以下のステップを含む。
７０１では、端末が仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び該第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域が左手に対応し、該第２領域が右手に対応する。
任意選択的に、仮想キーボードには、複数のアルファベットキー、数字キー、又は記号キーが表示される。
例えば、仮想キーボードは、図８に示す通りである。仮想キーボードには、複数のアルファベットキー、例えば、Ｑ、Ａ、Ｚ、Ｗなどが含まれているが、ここでは一々列挙しない。該仮想キーボードには、記号キーも含まれており、例えば、「空」はスペースを表し、「，」、「．」などはいずれも記号キーである。該仮想キーボードには、機能キーも含まれており、例えば、「←」は削除キーである。
いくつかの実施例において、該仮想キーボードの表示は、入力ボックスへのトリガー操作によってトリガーされる。例えば、端末は、第１ページを表示し、この第１ページに入力ボックスが表示される。ユーザは、手を移動することにより、カーソルが手の移動に追従して入力ボックス内に移動するように制御し、次に、手で押し動作又は叩き動作を行う。端末は、該手の押し動作又は叩き動作が検出され、かつ、カーソルが入力ボックス内に位置する場合、第１ページに仮想キーボードを表示する。
他のいくつかの実施例において、該仮想キーボードの表示は、仮想キーボードコントロールへのトリガー操作によってトリガーされる。例えば、端末は、第１ページを表示し、この第１ページに仮想キーボードコントロールが表示される。ユーザは、手を移動することにより、カーソルが手の移動に追従して仮想キーボードコントロールの位置に移動するように制御し、次に、手で押し動作又は叩き動作を行う。端末は、該手の押し動作又は叩き動作が検出され、かつ、カーソルが仮想キーボードコントロールの位置に位置する場合、第１ページに仮想キーボードを表示する。
７０２では、端末が、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、該第１位置は、該仮想キーボードの、該生体認証特徴に対応する領域内に位置し、該生体認証特徴に対応する位置である。
本願の実施例において、ユーザは、ディスプレイに触れることなく、手でターゲットジェスチャーをしたり、ターゲットジェスチャーをして移動したりすることにより、仮想キーボード内でキーを選択してキーの機能を実行することをトリガーすることができる。
いくつかの実施例において、端末は、ジェスチャー追跡センサによって、ユーザの手のジェスチャー、動作、又は位置を収集する。
任意選択的に、該ジェスチャー追跡センサは、該端末に取り付けられたセンサであり、例えば、端末に取り付けられたカメラであってもよい。これに応じて、端末は、カメラでユーザを撮影し、次に、撮影された画像をコンピュータビジョン検出の方式で分析して、ユーザの手のジェスチャー、動作、又は位置を決定する。例えば、コンピュータビジョン検出を行う際に、画像内の手を検出することにより、手が位置する位置を決定し、次に、各指の形状を決定し、さらに、候補ジェスチャーの各指の形状とマッチングして、手の現在のジェスチャーを決定する。
任意選択的に、該ジェスチャー追跡センサは、端末外のジェスチャー追跡センサである。例えば、該ジェスチャー追跡センサは、Ｌｅａｐ Ｍｏｔｉｏｎセンサ、指追跡手袋、又はカメラ機器である。ここで、指追跡手袋は、手の各指節の回転、位置などを収集し、さらに各指節の回転、位置などによって各指の形状を分析し、さらに候補ジェスチャーの各指の形状とマッチングして、現在の手のジェスチャーを取得することができる。
いくつかの実施例において、該ターゲットジェスチャーは、つまみジェスチャー、即ち、ある手の親指と別の指の腹を合わせるジェスチャーである。端末は、手の画像を収集し、又は、ジェスチャセンシング手袋で手の形状パラメータを取得した後、ジェスチャー認識によって、適合度が適合度閾値よりも高くかつ適合度が最大となる候補ジェスチャーをターゲットジェスチャーとして決定し、決定したターゲットジェスチャーに基づいてカーソル表示のステップを実行する。もちろん、該ターゲットジェスチャーは、他のジェスチャーであってもよい。例えば、ターゲット手は、５本の指を合わせるジェスチャーであり、又は、拳を握るジェスチャーなどである。該ターゲットジェスチャーは、関連技術者により必要に応じて設定され、又は、ユーザにより自身の操作習慣に応じて設定されるが、本願の実施例はこれを限定しない。
ジェスチャー認識は、ジェスチャー分割、ジェスチャー分析、及び認識の３つの部分を含む。そのうち、ジェスチャー分割法は、単眼ビジョンによるジェスチャー分割、及び、立体ビジョンによるジェスチャー分割などを含む。
単眼ビジョンの場合、画像収集機器でジェスチャーの画像を収集して、ジェスチャーの平面モデルを作成し、この平面モデルをジェスチャー形状データベース内のジェスチャーとマッチングして、該ジェスチャーのタイプを決定する。ジェスチャー形状データベースを作成する方法は、考えられる全てのジェスチャーをデータベースとして作成することで、ジェスチャーのテンプレートマッチングを容易にするが、計算量が高く、システムの迅速な認識に役立たない。
立体ビジョンの場合、複数の画像収集機器でジェスチャーの異なる画像を取得して、同一のジェスチャーの異なる画像をそのジェスチャーの立体モデルに変換する。立体マッチングの方法は、単眼ビジョンのテンプレートマッチング方法に類似して、同様にジェスチャーライブラリを大量に作成し、ジェスチャーライブラリ内の各ジェスチャーの３次元の再構築をする必要がある。３次元の再構築には、ジェスチャーの３次元のモデルを作成する必要があり、計算量が増えるが、分割効果が良い。
ジェスチャー分析は、ジェスチャー認識を実現するための重要な技術の１つである。ジェスチャー分析によって、ジェスチャーの形状特徴又は運動軌跡を取得することができる。ジェスチャーの形状特徴及び運動軌跡は、動的ジェスチャー認識における重要な特徴であり、ジェスチャーが表す意味に直接関係する。ジェスチャー分析方法には、エッジ輪郭抽出法、質量中心指などの複数特徴組み合わせ法、及び指関節型追跡法などがある。例えば、エッジ輪郭抽出法は、手の形がその特有の形によって他の物体と区別されるジェスチャー分析方法である。あるいは、幾何モーメントとエッジ検出とを組み合わせたジェスチャー認識アルゴリズムを採用し、２つの特徴の重みを設定して画像間の距離を計算することで、アルファベットジェスチャーの認識を実現する。複数特徴組み合わせ法は、手の物理特性に基づいて、ジェスチャーの姿態又は軌跡を分析する。Ｍｅｅｎａｋｓｈｉ Ｐａｎｗａｒは、ジェスチャーの形状と指先の特徴とを組み合わせて、ジェスチャーの認識を実現する。指関節型追跡法は、主に、手の２次元又は３次元のモデルを構築し、手の関節点の位置の変化に基づいて追跡し、主に動的軌跡追跡に適用される。
ジェスチャー認識は、モデルパラメータ空間内の軌跡をその空間内のあるサブセットに分類する過程であり、静的ジェスチャー認識と、最終的に静的ジェスチャー認識に変換可能な動的ジェスチャー認識とを含む。ジェスチャー認識の技術的な実現から、ジェスチャー認識方法には、主に、テンプレートマッチング法ニューラルネットワーク法、及び隠れマルコフモデル法がある。
テンプレートマッチング法は、ジェスチャーの動作を静的なジェスチャー画像からなるシーケンスと見なして、認識対象のジェスチャーシーケンスを既知のジェスチャーテンプレートシーケンスと比較することにより、ジェスチャーを認識する。
隠れマルコフモデル法（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）は、統計的モデルであり、隠れマルコフでモデル化されたシステムは、状態遷移及び観測値出力のランダム過程を含む二重のランダム過程を有する。そのうち、状態遷移のランダム過程は、隠れており、観測シーケンスのランダム過程によって表現される。
該ターゲットジェスチャーについて、任意選択的に、仮想キーボードが手の生体認証特徴に関連付けられ、生体認証特徴が異なる場合、仮想キーボード内の、該ターゲットジェスチャーに対応する位置が異なる。ここで、該生体認証特徴は、ジェスチャーをする手がどの手であるかを示すことに使用され、又は、該ジェスチャーをする指がそれぞれどの指であるかを示すことにも使用される。
いくつかの実施例において、該ステップ７０２では、端末がまず第１位置を決定してから、該第１位置にカーソルを表示する。任意選択的に、端末は、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、該仮想キーボード内で、該生体認証特徴に対応する領域内の該第１位置を決定し、次に、該仮想キーボードの第１位置にカーソルを表示する。
ユーザが異なる手を使用すると、該生体認証特徴が異なり、それに対応する領域も異なってもよい。例えば、第１領域が左手に対応し、第２領域が右手に対応する。該ステップ７０２では、端末が、該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置にカーソルを表示し、該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置にカーソルを表示する。
つまり、端末は、該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置を第１位置として決定し、次に、該第１位置にカーソルを表示する。端末は、該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置を第１位置として決定し、次に、該第１位置にカーソルを表示する。
例えば、図９に示すように、仮想キーボードを均等に分けると、左側領域９０１及び右側領域９０２が得られ、この左側領域９０１が第１領域であり、右側領域９０２が第２領域である。このように、ユーザが左手でターゲットジェスチャーをすると、対応する第１位置は左側領域９０１内にある。ユーザが右手でターゲットジェスチャーをすると、対応する第１位置は右側領域９０２内にある。
分割によれば、ユーザは、左右の手を区別することにより、仮想キーボード内の小領域を区別することが可能になる。ユーザは、キーをトリガーしたい位置に応じて、左手を使うか右手を使うかを選択することができる。このように、小領域内でさらなる精確な選択を行い、さらなる選択の範囲を小さくすることができる。このような方式は、仮想キーボードを分割しない方式に比べて、ユーザによるカーソルの調整操作を可能な限り低減し、操作効率を向上させることができる。
いくつかの実施例では、上記の第１領域及び第２領域がさらに分割され、第１領域が左手に対応し、第２領域が右手に対応する。第１領域及び第２領域は、それぞれ、複数のサブ領域に分割され、手の異なる指が、異なるサブ領域に対応する。該ターゲットジェスチャーが手の１つの指及び親指で形成されるため、親指と異なるこの指が１つのサブ領域に対応する。ユーザは、異なるジェスチャー及び親指でターゲットジェスチャーを形成することにより、カーソルを異なるサブ領域に表示させるように制御することができる。
これに応じて、該ステップ３０２では、端末が、該生体認証特徴によって、該手が左手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第１領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
端末は、該生体認証特徴によって、該手が右手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第２領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
一例では、第１領域が２つのサブ領域に分割され、第２領域も２つのサブ領域に分割される。第１領域の第１サブ領域が左手の第２指に対応し、第１領域の第２サブ領域が左手の第３指に対応する。第２領域の第３サブ領域が右手の第４指に対応し、第２領域の第４サブ領域が右手の第５指に対応する。理解できるように、手には、親指に加えて、人差し指、中指、薬指、及び小指の４本の指が含まれる。第２指及び第３指がそれぞれ４本の指のうちのいずれであるかは、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。第４指及び第５指は同様である。本願の実施例はこれを限定しない。
例えば、図１０に示すように、左手は左半分のキーボード（第１領域１００１）への入力とされ、右手は右半分のキーボード（第２領域１００１）への入力とされる。ターゲットジェスチャーがつまみジェスチャーであり、第２指が左手の中指であり、第３指が左手の人差し指であり、第４指が右手の人差し指であり、第５指が右手の中指である場合を例にする。ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１００１の第２サブ領域１００３に現れ、Ｅ、Ｒ、Ｔ、Ｄ、Ｆ、Ｇ、Ｃ、Ｖ、Ｂキーへのトリガーを制御する。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１００１の第１サブ領域１００４に現れ、Ｑ、Ｗ、Ａ、Ｓ、Ｚ、Ｘキーへのトリガーを制御する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。このように、カーソルを中心位置に表示することで、後続にユーザがキー選択のためにカーソルを移動させたいときに、他のキーとの距離の合計が最小となるように保証することができる。これにより、ユーザがカーソルを移動する距離を大幅に低減させることが可能になり、操作がより便利になり、効率がより高くなる。
図１０に示された仮想キーボードを例にして、ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１００１の第２サブ領域１００３内の中心位置のＦキーに現れる。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１００１の第１サブ領域１００４内の中心位置のＡキーとＳキーの間に現れる。
他の例では、第１領域が３つのサブ領域に分割され、第２領域も３つのサブ領域に分割される。第１領域の第１サブ領域が左手の第２指に対応し、第１領域の第２サブ領域が左手の第３指に対応する。第１領域の第３サブ領域が右手の第４指に対応する。第２領域の第４サブ領域が右手の第５指に対応し、第２領域の第５サブ領域が右手の第６指に対応し、第２領域の第６サブ領域が右手の第７指に対応する。第２指、第３指、及び第４指がそれぞれ４本の指のうちのいずれであるかは、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。第５指、第６指、及び第７指は同様である。本願の実施例はこれを限定しない。
例えば、図１１に示すように、左手は左半分のキーボード（第１領域１１０１）への入力とされ、右手は右半分のキーボード（第２領域１１０２）への入力とされる。ターゲットジェスチャーがつまみジェスチャーであり、第２指、第３指、及び第４指がそれぞれ左手の薬指、中指、人差し指であり、第５指、第６指、及び第７指がそれぞれ右手の人差し指、中指、薬指である場合を例にする。ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１１０１の第３サブ領域１１０３に現れ、Ｒ、Ｔ、Ｆ、Ｇ、Ｖ、Ｂキーへのトリガーを制御する。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１１０１の第２サブ領域１１０４に現れ、Ｗ、Ｅ、Ｓ、Ｄ、Ｘ、Ｃキーへのトリガーを制御する。ユーザが左手の薬指及び親指でつまむと、カーソルは、第１領域１１０１の第１サブ領域１１０５に現れ、Ｑ、Ａ、Ｘへのトリガーを制御する。右手は同様であるが、ここでは説明を省略する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。図１１に示された仮想キーボードを例にして、ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１１０１の第３サブ領域１１０３内の中心位置のＦキーとＧキーの間に現れる。
他の例では、第１領域が４つのサブ領域に分割され、第２領域も４つのサブ領域に分割される。第１領域の第１サブ領域が左手の第２指に対応し、第１領域の第２サブ領域が左手の第３指に対応する。第１領域の第３サブ領域が右手の第４指に対応し、第１領域の第４サブ領域が左手の第５指に対応する。第２領域の第５サブ領域が右手の第６指に対応し、第２領域の第６サブ領域が右手の第７指に対応し、第２領域の第７サブ領域が右手の第８指に対応し、第２領域の第８サブ領域が右手の第９指に対応する。第２指、第３指、第４指、及び第５指がそれぞれ４本の指のうちのいずれであるかは、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。第６指、第７指、第８指、第９指は同様である。本願の実施例はこれを限定しない。
例えば、図１２に示すように、左手は左半分のキーボード（第１領域１２０１）への入力とされ、右手は右半分のキーボード（第２領域１２０２）への入力とされる。ターゲットジェスチャーがつまみジェスチャーであり、第２指、第３指、第４指、及び第５指がそれぞれ左手の小指、薬指、中指、人差し指であり、第６指、第７指、第８指、第９指がそれぞれ右手の人差し指、中指、薬指、小指である場合を例にする。ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１２０１の第４サブ領域１２０３に現れ、Ｒ、Ｔ、Ｆ、Ｇ、Ｖ、Ｂキーへのトリガーを制御する。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１２０１の第３サブ領域１２０４に現れ、Ｅ、Ｄ、Ｃへのトリガーを制御する。ユーザが左手の薬指及び親指でつまむと、カーソルは、第１領域１２０１の第２サブ領域１２０５に現れ、Ｗ、Ｓ、Ｘキーへのトリガーを制御する。ユーザが左手の子指及び親指でつまむと、カーソルは、第１領域１２０１の第１サブ領域１２０６に現れ、Ｑ、Ａ、Ｘキーへのトリガーを制御する。右手は同様であるが、ここでは説明を省略する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。図１２に示された仮想キーボードを例にして、ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１２０１の第４サブ領域１２０３内の中心位置のＦキーとＧキーの間に現れる。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１２０１の第３サブ領域１２０４内の中心位置のＤキーに現れる。
説明すべきものとして、端末は、手がターゲットジェスチャーにあることを検出すると、該ターゲットジェスチャーの生体認証特徴を決定してもよい。該生体認証特徴によって、該ターゲットジェスチャーが手の第１指及び親指で形成されることが示され、かつ、該第１指に対応する第１位置が存在しない場合、今回の操作を無視する。
７０３では、端末が、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該手の変位を取得する。
上記第１位置はカーソルの初期表示位置であり、該初期表示位置は、キー上にあってもよく、キーの間にあってもよい。ユーザは、手を移動することにより、カーソルの移動を制御することができる。
手がターゲットジェスチャーを保持しながら移動する場合、端末は、手の変位を取得する。該手の変位の取得過程は、上記のジェスチャー認識と同様なステップを採用してもよい。端末は、手の２つの画像を収集して、手の位置を認識することにより、２つの画像における手の位置の変化、即ち、変位を決定する。
あるいは、上記ジェスチャー追跡センサで決定された回転などの特徴は、指の形状を記述することに使用され、手の各指節の位置（該位置は、座標の方式で表すことができる）を決定することにも使用される。次に、端末は、手の移動時に手の各指節の位置を取得し続け、上記ステップ７０２で取得された位置と比較して、手の変位を決定してもよい。
７０４では、端末が、該第１位置と、該手の変位とに基づいて、第３位置を決定する。
カーソルの初期表示位置（第１位置）が既知であり、端末は、手が移動した位置からカーソルの変位を決定し、さらに、第１位置、及びカーソルの変位から、第３位置、即ち、カーソルが移動すべき位置を決定する。
端末は、手の変位からカーソルの変位を決定する際に、様々な実現形態で実現してもよい。いくつかの実施例において、端末は、手の変位をカーソルの変位とする。他のいくつかの実施例において、端末は、手の変位、及び感度に基づいて、カーソルの変位を決定する。
この感度は、関連技術者により必要に応じて設定され、又は、ユーザにより自分の操作習慣に応じて設定される。本願の実施例はこれを限定しない。
７０５では、端末が、該カーソルが該第１位置から該第３位置に移動することを表示する。
端末は、第３位置を決定すると、カーソルが第１位置から第３位置に移動するように制御することができる。これにより、カーソルが手の移動に追従して移動する効果が表現される。
上記のステップ７０３からステップ７０５は、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する１つの可能な実現形態である。上記は、手の変位からカーソルの位置を決定してカーソルの移動を制御する場合を例に説明しているが、該過程は、他の方式で実現してもよい。例えば、端末は、カーソルが移動する第３位置を決定することなく、カーソルの変位を直接に取得して、カーソルの変位にしたがってカーソルの移動を制御する。本願の実施例はこれを限定しない。
一例では、指の変位とカーソルの変位が同等に増加又は減少し、つまり、感度が１であると仮定する。第１位置をＩｎｉｔＣｕｒｓｏｒＰｏｓで表し、第３位置をＣｕｒｓｏｒＰｏｓで表し、手がターゲットジェスチャーを保持しながら移動することが検出された場合、手の変位を取得したと仮定すると（手の変位をＴｉｐＭｏｖｅｍｅｎｔで表す）、第１位置、手の変位、及び第３位置は、ＣｕｒｓｏｒＰｏｓ＝ＩｎｉｔＣｕｒｓｏｒＰｏｓ＋ＴｉｐＭｏｖｅｍｅｎｔという関係を満たす。
７０６では、端末が、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
ユーザがカーソルを所期の位置、例えば第２位置に移動させると、ターゲットジェスチャーを保持しなくてもよい。端末は、手のジェスチャーの変化を検出すると、第２位置におけるキーの機能を実行することができる。
仮想キーボードには、文字キー、機能キーなどの様々なタイプのキーが含まれる。該第２位置に対応するキーが異なるタイプに属する場合、端末が実行する機能は異なる。これに応じて、該ステップ７０６には、以下のケースが含まれる。
ケース１：該第２位置に対応するキーが文字キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域に、該第２位置に対応するキーが示す文字を入力する。
該ケース１では、現在は英語入力モードであり、又は、現在は中国語入力モードであるが文字キーがアルファベットキーではない場合、端末は、仮想キーボードの入力ボックスに、第２位置に対応するキーが表す文字を入力してもよい。現在は中国語入力モードでありかつ文字キーがアルファベットキーである場合、端末は、文字表示領域に、該第２位置に対応するキーが表す文字を入力してもよい。
ケース２：該第２位置に対応するキーが削除キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除する。
ケース２では、削除キーは、機能キーであり、文字を入力するのではなく、入力された文字を削除する。現在は英語入力モードであり、又は、中国語入力モードでありかつ文字表示領域に入力済み文字がない場合、端末は、仮想キーボードの入力ボックス内の最後の文字を削除してもよい。現在は中国語入力モードでありかつ文字表示領域に入力済み文字がある場合、端末は、文字表示領域内の最後の文字を削除してもよい。
ケース３では、該第２位置に対応するキーが改行キーであることに応答して、該仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示する。
ケース４では、該第２位置に対応するキーが確認キーであることに応答して、該仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、該仮想キーボードの表示を取り消す。
上記では、いくつかの可能なキータイプのみを提供しているが、仮想キーボードにこれらのタイプだけが含まれることに限定されない。当業者は、必要に応じて、仮想キーボード内のキーを任意に設定することができる。例えば、該仮想キーボードには、エスケープキー又はリターンキーも含まれる。端末は、該第２位置に対応するキーがエスケープキー又はリターンキーであることに応答して、仮想キーボードの表示を取り消す。また例えば、該仮想キーボードには、パラメータ調節キーも含まれる。端末は、第２位置に対応するキーがパラメータ調節キーであることに応答して、現在表示インタフェースのパラメータを調節する。該パラメータは、表示パラメータ、音量パラメータ、制御パラメータのうちの少なくとも１つを含む。本願の実施例はこれを限定しない。
もちろん、もう１つの可能なケースがある。該第２位置がキーの位置ではない場合、端末は今回の操作を無視してもよい。
いくつかの実施例において、該仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれる。端末は、手が該ターゲットジェスチャーになく、かつ、該手が移動することの検出に応答して、該カーソルが該手の移動に追従して移動することを表示し、次に、該手がターゲット動作をし、かつ、該カーソルが該少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、該ターゲット仮想コントロールに対応する機能を実行してもよい。ここで、カーソルが手の移動に追従して移動することを表示する過程は、上記のステップ３０３からステップ３０５と同様であるが、ここでは説明を省略する。
ここで、該ターゲット動作は、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。例えば、ターゲット動作は、押し動作である。また例えば、ターゲット動作は、叩き動作である。本願の実施例はこれを限定しない。
いくつかの実施例において、該仮想コントロールは、大文字入力と小文字入力の切り替えコントロール、記号入力とアルファベット入力の切り替えコントロール、中国語入力と英語入力の切り替えコントロールを含む。以下、これらの仮想コントロールを説明する。
端末は、該ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替える。
いくつかの実施例において、該大文字入力は、大文字入力及び大文字固定入力の２種類を含んでもよい。
他のいくつかの実施例において、端末は、該ターゲット仮想コントロールの表示内容を更新し、更新後の該表示内容が該仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
例えば、図１３に示すように、大文字小文字状態には、小文字、大文字、大文字固定の３種類がある。ターゲット動作が押し動作である場合を例にして、カーソルが大文字小文字切り替えキー１３０１にあるときにユーザが１回の押し操作を行うと、次の状態になり、３番目の状態で押すと１番目の状態になり、このように繰り返す。キーボードのアルファベットは、状態に応じて大文字か小文字に切り替えられ、キーには、現在の状態を示すテキストやアイコンが表示される。図１３では、大文字小文字切り替えキー１３０１には大文字の状態で「大文字」が表示される場合を例にする。大文字の状態では、ユーザが１つのアルファベットを入力すると、キーボードが自動的に小文字の状態に戻る。大文字固定の状態では、ユーザが大文字のアルファベットを持続的に入力することができる。
いくつかの実施例において、端末は、該ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字をアルファベットと記号との間で切り替える。
例えば、図１４に示すように、カーソルが記号入力とアルファベット入力の切り替えコントロール１４０１に位置する場合、１回の押し動作を行うと、記号入力とアルファベット入力の切り替えコントロール１４０１がアルファベットキーから記号キーに切り替わる。これに応じて、仮想キーボードに表示される文字は、図１４に示すように、アルファベットから記号に変化する。もう１回押すと、アルファベットキーに戻る。これに応じて、仮想キーボードに表示される文字は、記号からアルファベットに変化する。
端末は、該ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、該仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
例えば、図１５に示すように、カーソルが中国語入力と英語入力の切り替えコントロール１５０１に位置する場合、押し動作を行うと、英語と中国語ピンインの２つのモードの間で切り替える。ここで、英語入力モードで切り替えコントロール１５０１には「ＥＮ」が表示され、中国語入力モードで切り替えコントロール１５０１には「ピンイン」が表示される。中国語入力モードでは、ユーザが上記ターゲットジェスチャー及び移動によってピンインを入力すると、ピンインが切り替えコントロール１５０１に現れる。図１５では、入力されたピンイン「ｆａ」が表示される場合を例にする。つまり、文字表示領域は、該切り替えコントロール１５０１が位置する領域である。もちろん、該文字表示領域は、切り替えコントロール１５０１が位置する領域ではない他の領域であってもよい。
中国語入力の場合、端末は、該仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、該文字表示領域のターゲット範囲内に、該入力済みの文字組み合わせに対応する候補漢字を表示する。ここで、中国語入力モードでは、該文字表示領域がピンイン表示領域であり、該文字表示領域に入力された文字が漢字の音を表すためのピンイン文字である場合、入力された文字組み合わせは、該候補漢字のピンインを表す。
例えば、図１５に示すように、文字表示領域に複数の文字が含まれ、該複数の文字に対応する候補漢字がある場合、右に候補漢字を表示してもよい。図１５では、「ｆａ」に対応する候補漢字が複数あり、例えば、
などである。図中では、
のみが示されている。それ以外の候補漢字については、カーソルが候補漢字にある場合にユーザがスライド動作を行うと、表示された候補漢字がスクロールされて、他の候補漢字が表示される。
上記の方法の詳細は、図１６及び図１７を参照すればよい。検出周期ごとに、ユーザのジェスチャー操作を待つ。ジェスチャー操作がある場合、ユーザの手が検出されたか否かを判断する。手が検出された場合、既につまみジェスチャーをしたか否かを判断する。既につまみジェスチャーをした場合は、現在ユーザがつまみジェスチャーを保持していることを表す。さらに、現在つまみジェスチャーが解放されたか否かを判断する。つまみジェスチャーが解放された場合、カーソルが位置するキーの機能をトリガーして、カーソルを解放する。キーの機能には、様々な種類が含まれるが、ここでは説明を省略する。ジェスチャーが解放されていない場合、このときのつまみ指の空間座標ＮｅｗＴｉｐＰｏｓを記録し、つまみ指の空間座標ＮｅｗＴｉｐＰｏｓと、指の以前の空間座標ＩｎｉｔＴｉｐＰｏｓとに基づいて、指の変位ＴｉｐＭｏｖｅｍｅｎｔを決定する。次に、カーソルを移動させ、即ち、その位置に指の移動量（変位）を加えて、カーソルの新しい位置ＣｕｒｓｏｒＰｏｓと、ＩｎｉｔＣｕｒｓｏｒＰｏｓ及びＴｉｐＭｏｖｅｍｅｎｔとがＣｕｒｓｏｒＰｏｓ＝ＩｎｉｔＣｕｒｓｏｒＰｏｓ＋ＴｉｐＭｏｖｅｍｅｎｔの関係を満たすように、カーソルの新しい位置ＣｕｒｓｏｒＰｏｓを決定する。以前につまみジェスチャーをしたのではないと判断した場合、つまり、現在ちょうどつまみジェスチャーを検出した場合、左手であるか否かを判断する。左手である場合、操作がキーボードの左部分に適用されることになる。左手ではない場合、操作がキーボードの右部分に適用されることになる。さらに、どの指及び親指でつまみジェスチャーをしているかを決定する。次に、判断された指に基づいて、対応するキーボード操作領域があるか否かを決定する。対応するキーボード操作領域がある場合、対応するキーボード操作領域の中心にカーソルを表示する。このカーソルが位置する位置は、初期カーソル位置ＩｎｉｔＣｕｒｓｏｒＰｏｓである。次に、指の識別子Ｆｉｎｇｅｒｉｎｄｅｘ（人差し指から小指までは、それぞれ、数字１～４である）を記録して、該指の空間座標ＩｎｉｔＴｉｐＰｏｓを記録してもよい。
中国語入力モードでは、つまみジェスチャーで１つのアルファベットの入力を確定した場合、入力済みのピンインの末尾にアルファベットを追加してもよい。次に、現在入力されたピンインに対応する漢字が見付けられるか否かを判断し、見付けられる場合、漢字を羅列し、見付けられない場合、ユーザのジェスチャー操作を検出し続ける。漢字が羅列された場合、ユーザは、押し動作を実行して漢字キーをトリガーし、さらに入力ボックスに漢字を入力する。あるいは、ユーザが左右スライド操作により漢字の水平バーを左右にスライドさせることで、水平バーが左右にスクロールされて、他の漢字が表示され、ユーザは漢字を選択することができる。
本願では、ハンドルを必要とせずに、つまみ及び移動のジェスチャーでキーボード内の仮想キーをトリガーする。つまみジェスチャー後、操作制御領域の中心から出発することになり、操作制御領域内の各キーまでの距離を短縮させる。左手、右手で大領域を選別（キーボードの左部分又は右部分を選別）し、各指で小領域を選別（１列又は２列のキーボードキーを選別）でき、つまみで最後のキー領域を選別した後、ジェスチャーの変位で的確なキー選択（上中下の精確な選択）を行う。ジェスチャーによって選択効率を向上させるとともに、変位操作によって最後の具体的なキーの選択自由度を補充する。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
上記の全ての選択可能な構成は、任意の組み合わせで本願の選択可能な実施例を形成するが、ここでは一々の説明を省略する。
図１８は、本願の実施例で提供されるキー機能実行システムの模式図である。キー機能実行システムは、電子機器１８０１と、ジェスチャー追跡センサ１８０２と、表示機器１８０３と、を含む。そのうち、該ジェスチャー追跡センサ１８０２及び表示機器１８０２は、それぞれ、該電子機器１８０１に接続される。
該表示機器１８０２は、仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域が左手に対応し、該第２領域が右手に対応する。
該ジェスチャー追跡センサ１８０２は、手がターゲットジェスチャーにあることを検出する。
該表示機器１８０２は、さらに、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、該第１位置にカーソルを表示し、該第１位置は、該仮想キーボードの、該生体認証特徴に対応する領域内に位置し、該生体認証特徴に対応する位置である。
該ジェスチャー追跡センサ１８０２は、さらに、該手が該ターゲットジェスチャーを保持しながら移動することを検出する。
該表示機器１８０２は、さらに、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する。
該電子機器１８０１は、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
いくつかの実施例において、該表示機器１８０２は、仮想現実（ＶＲ）表示機器又はスクリーンディスプレイである。
いくつかの実施例において、該表示機器１８０２は、
該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置にカーソルを表示し、
該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置にカーソルを表示する。
いくつかの実施例において、該表示機器１８０２は、
該生体認証特徴によって、該手が左手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第１領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定し、
該生体認証特徴によって、該手が右手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第２領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。
いくつかの実施例において、該電子機器１８０１は、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該手の変位を取得し、該第１位置と、該手の変位とに基づいて、第３位置を決定し、
該表示機器１８０２は、該カーソルが該第１位置から該第３位置に移動することを表示する。
いくつかの実施例において、該表示機器１８０２は、
該第２位置に対応するキーが文字キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域に、該第２位置に対応するキーが示す文字を入力すること、
該第２位置に対応するキーが削除キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除すること、
該第２位置に対応するキーが改行キーであることに応答して、該仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示すること、
該第２位置に対応するキーが確認キーであることに応答して、該仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、該仮想キーボードの表示を取り消すこと、のいずれか１つを実行する。
いくつかの実施例において、該表示機器１８０２は、さらに、該仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、該文字表示領域のターゲット範囲内に、該入力済みの文字組み合わせに対応する候補漢字を表示する。
いくつかの実施例において、該仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれ、
該表示機器１８０２は、さらに、手が該ターゲットジェスチャーになくて移動することに応答して、該カーソルが該手の移動に追従して移動することを表示し、
該電子機器１８０１は、さらに、該手がターゲットジェスチャーをして、かつ、該カーソルが該少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、該ターゲット仮想コントロールに対応する機能を実行する。
いくつかの実施例において、該電子機器１８０１は、
該ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替え、
該ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字をアルファベットと記号との間で切り替え、
該ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、該仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
いくつかの実施例において、該表示機器１８０２は、さらに、該ターゲット仮想コントロールの表示内容を更新し、更新後の該表示内容が該仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
図１９は、本願の実施例で提供されるキー機能実行装置の構成の模式図である。図１９に示すように、該装置は、表示モジュール１９０１と、実行モジュール１９０２と、を含む。
表示モジュール１９０１は、仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び該第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域が左手に対応し、該第２領域が右手に対応する。
該表示モジュール１９０１は、さらに、手がターゲットジェスチャーにあることの検出に応答して、前記システムが前記ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置である。
該表示モジュール１９０１は、さらに、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する。
実行モジュール１９０２は、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
いくつかの実施例において、該表示モジュール１９０１は、
該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置にカーソルを表示し、
該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置にカーソルを表示する。
いくつかの実施例において、該表示モジュール１９０１は、
該生体認証特徴によって、該手が左手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第１領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定し、
該生体認証特徴によって、該手が右手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第２領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。
いくつかの実施例において、該表示モジュール１９０１は、
該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該手の変位を取得し、
該第１位置と、該手の変位とに基づいて、第３位置を決定し、
該カーソルが該第１位置から該第３位置に移動することを表示する。
いくつかの実施例において、該実行モジュール１９０２は、
該第２位置に対応するキーが文字キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域に、該第２位置に対応するキーが示す文字を入力すること、
該第２位置に対応するキーが削除キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除すること、
該第２位置に対応するキーが改行キーであることに応答して、該仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示すること、
該第２位置に対応するキーが確認キーであることに応答して、該仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、該仮想キーボードの表示を取り消すこと、のいずれか１つに用いられる。
いくつかの実施例において、該表示モジュール１９０１は、さらに、該仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、該文字表示領域のターゲット範囲内に、該入力済みの文字組み合わせに対応する候補漢字を表示する。
いくつかの実施例において、該仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれ、
該表示モジュール１９０１は、さらに、手が該ターゲットジェスチャーになくて移動することに応答して、該カーソルが該手の移動に追従して移動することを表示し、
該実行モジュール１９０２は、さらに、該手がターゲットジェスチャーをして、かつ、該カーソルが該少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、該ターゲット仮想コントロールに対応する機能を実行する。
いくつかの実施例において、該実行モジュール１９０２は、
該ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替え、
該ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字をアルファベットと記号との間で切り替え、
該ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、該仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
いくつかの実施例において、該実行モジュール１９０２は、さらに、該ターゲット仮想コントロールの表示内容を更新し、更新後の該表示内容が該仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
本願の実施例に示された装置は、電子機器に配置され、又は、他の機器に配置される。本願の実施例はこれを限定しない。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
説明すべきものとして、上記実施例で提供されるキー機能実行装置は、キー機能実行時に上記の各機能モジュールの分割のみを例として説明されているが、実際の適用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて実行し、即ち、キー機能実行装置の内部構成を異なる機能モジュールに分割して、以上に説明した全部又は一部の機能を実行する。また、上記実施例で提供されるキー機能実行装置は、キー機能実行方法の実施例と同一の構想に属し、その具体的な実現過程の詳細は、方法の実施例を参照すればよい。ここでは説明を省略する。
図２０は、本願の実施例で提供される電子機器の構成の模式図である。該電子機器２０００は、スペック又は性能が異なることによって、大きな差異があり得るが、１つ又は複数のプロセッサ（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）２００１と、１つ又は複数のメモリ２００２と、を含む。ここで、該メモリ２００２には、少なくとも１つのコンピュータプログラムが記憶されており、該少なくとも１つのコンピュータプログラムは、該プロセッサ２００１によってロードされて実行されると、上記の各方法の実施例で提供されるキー機能実行方法を実現させる。該電子機器は、機器の機能を実現するための他の部品をさらに含む。例えば、該電子機器は、入出力のために、有線又は無線のネットワークインタフェース、及び入出力インタフェースなどの部品をさらに有する。本願の実施例は、ここで説明を省略する。
上記の方法の実施例における電子機器は、端末として実現される。例えば、図２１は、本願の実施例で提供される端末の構成のブロック図である。端末２１００は、プロセッサ２１０１とメモリ２１０２とを備える。
プロセッサ２１０１は、１つ又は複数の処理コアを含んでもよく、例えば、４コアプロセッサ、８コアプロセッサなどである。プロセッサ２１０１は、デジタル信号処理（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）のうちの少なくとも１つのハードウェアの形で実現されてもよい。いくつかの実施例において、プロセッサ２１０１は、機械学習に関する演算操作を処理するための人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサを含んでもよい。
メモリ２１０２は、１つ又は複数のコンピュータ可読記憶媒体を含んでもよい。該コンピュータ可読記憶媒体は、非一時的なものとし得る。いくつかの実施例において、メモリ２１０２内の非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶する。該少なくとも１つの命令は、プロセッサ２１０１によって実行されると、本願の方法の実施例で提供されるキー機能実行方法を実現させる。
いくつかの実施例において、端末２１００は、任意選択的に、周辺機器インタフェース２１０３及び少なくとも１つの周辺機器をさらに備える。プロセッサ２１０１、メモリ２１０２、及び周辺機器インタフェース２１０３の間には、バス又は信号線を介して接続されてもよい。各周辺機器は、バス、信号線、又は回路基板を介して、周辺機器インタフェース２１０３に接続されてもよい。具体的には、周辺機器は、ディスプレイ２１０４又はカメラコンポーネント２１０５のうちの少なくとも１種を含む。
周辺機器インタフェース２１０３は、入出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）に関する少なくとも１つの周辺機器をプロセッサ２１０１及びメモリ２１０２に接続するために用いられてもよい。いくつかの実施例において、プロセッサ２１０１、メモリ２１０２、及び周辺機器インタフェース２１０３は、同一のチップ又は回路基板上に集積される。いくつかの他の実施例において、プロセッサ２１０１、メモリ２１０２、及び周辺機器インタフェース２１０３のうちのいずれか１つ又は２つが、個別のチップ又は回路基板上で実現されてもよい。本実施例はこれを限定しない。
ディスプレイ２１０４は、ユーザインタフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。該ＵＩは、図形、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせを含んでもよい。ディスプレイ２１０４がタッチディスプレイである場合、ディスプレイ２１０４は、ディスプレイ２１０４の表面又は表面の上方のタッチ信号を収集する能力も有する。該タッチ信号は、制御信号としてプロセッサ２１０１に入力されて処理されてもよい。この場合、ディスプレイ２１０４は、ソフトボタン及び／又はソフトキーボードとも呼ばれる仮想ボタン及び／又は仮想キーボードを提供するために用いられてもよい。
カメラコンポーネント２１０５は、画像又はビデオを収集する。任意選択的に、カメラコンポーネント２１０５は、フロントカメラとリアカメラとを含む。通常、フロントカメラは、端末のフロントパネルに設けられ、リアカメラは、端末の背面に設けられる。いくつかの実施例において、リアカメラは、少なくとも２つあり、それぞれメインカメラ、デプスカメラ、広角カメラ、望遠カメラのうちの任意の１種類である。これにより、メインカメラ及びデプスカメラを組み合わせて実現される背景ボケの機能、メインカメラ及び広角カメラを組み合わせて実現されるパノラマ撮影及び仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）撮影の機能、又はその他の組み合わせ撮影の機能を実現する。
いくつかの実施例において、端末２１００は、１つ又は複数のセンサをさらに含む。該１つ又は複数のセンサは、加速度センサ、ジャイロセンサ、圧力センサ、光学センサ、及び近接センサを含むが、これらに限定されない。
当業者であれば理解できるように、図２１に示す構成が、端末２１００を限定するものではなく、端末２１００は、図示より多く又は少ないコンポーネントを含んでもよく、あるいはいくらかのコンポーネントを組み合わせたものであってもよく、あるいはコンポーネントの異なる配置を採用してもよい。
上記の方法の実施例における電子機器は、サーバとして実現される。例えば、図２２は、本願の実施例で提供されるサーバの構成の模式図である。該サーバ２２００は、スペック又は性能が異なることによって、大きな差異があり得るが、１つ又は複数のプロセッサ（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）２２０１と、１つ又は複数のメモリ２２０２と、を含む。ここで、該メモリ２２０２には、少なくとも１つのコンピュータプログラムが記憶されており、該少なくとも１つのコンピュータプログラムは、該プロセッサ２２０１によってロードされて実行されると、上記の各方法の実施例で提供されるキー機能実行方法を実現させる。もちろん、該サーバは、入出力のために、有線又は無線のネットワークインタフェース、及び入出力インタフェースなどの部品を有する。該サーバは、機器の機能を実現するための他の部品を含むが、ここでは説明を省略する。
例示的な実施例では、コンピュータ可読記憶媒体、例えば、少なくとも１つのコンピュータプログラムを含むメモリがさらに提供されている。上記の少なくとも１つのコンピュータプログラムは、プロセッサによって実行されると、上記の実施例におけるキー機能実行方法を実行させることが可能である。例えば、コンピュータ可読記憶媒体は、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気テープ、フロッピーディスク、及び光データ記憶装置などである。
例示的な実施例では、１つ又は複数のプログラムコードを含むコンピュータプログラム製品又はコンピュータプログラムがさらに提供されており、該１つ又は複数のプログラムコードは、コンピュータ可読記憶媒体に記憶されている。電子機器の１つ又は複数のプロセッサは、コンピュータ可読記憶媒体から該１つ又は複数のプログラムコードを読み取り、該１つ又は複数のプロセッサが該１つ又は複数のプログラムコードを実行することで、電子機器に上記キー機能実行方法を実行させる。
いくつかの実施例において、本願の実施例に係るコンピュータプログラムは、１つのコンピュータ機器で実行されたり、１つの場所にある複数のコンピュータ機器で実行されたり、複数の場所に分散されて通信ネットワークを介して互いに接続される複数のコンピュータ機器で実行されたりするように配置されてもよい。複数の場所に分散されて通信ネットワークを介して互いに接続される複数のコンピュータ機器は、ブロックチェーンシステムを構成してもよい。
当業者であれば理解できるように、上記実施例を実現するためのステップの全部又は一部は、ハードウェアによって実行されてもよいし、プログラムを介して関連ハードウェアに指示することにより実行されてもよい。該プログラムは、コンピュータ可読記憶媒体に記憶されている。上記で言及された記憶媒体は、読み出し専用メモリ、磁気ディスク、又は光ディスクなどである。
上記は、本願の任意選択的な実施例に過ぎず、本願を限定するものではない。本願の精神および原則内で行われる任意の修正、均等置換え、改善などは全て本願の保護範囲内に含まれるべきである。
本願は、２０２１年６月２２日に提出された、出願番号が第２０２１１０６９３７９４．４号であり、発明の名称が「キー機能実行方法、装置、機器、及び記憶媒体」である中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
本願は、コンピュータの技術分野に関し、特にキー機能実行方法、装置、機器、及び記憶媒体に関する。
コンピュータ技術の発展に伴い、電子機器でキーを表示し、ユーザがキーを操作することで、対応する機能を電子機器が自動的に実行することをトリガーするようになり、人工コストが大幅に削減され、スマート化が実現される。
現在、キー機能実行方法では、通常、スクリーンに仮想キーボードを表示し、ユーザによるスクリーンへのタッチ操作の検出に応答して、そのタッチ操作の接点に対応するキーの機能を実行する。
本願の実施例は、キーへのトリガーの粒度及び精度を向上させて適用性が良いキー機能実行方法、装置、機器、及び記憶媒体を提供する。その構成は、以下の通りである。
一態様では、キー機能実行方法が提供されている。前記方法は、
キー機能実行システムが仮想キーボードを表示するステップであって、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び前記第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応する、ステップと、
手がターゲットジェスチャーにあることの検出に応答して、前記システムが、前記ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示するステップであって、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置である、ステップと、
前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記システムが、前記カーソルが前記手の移動に追従して移動することを表示するステップと、
前記手のジェスチャーの変化に応答して、前記システムが前記仮想キーボードの第２位置に対応するキーの機能を実行するステップであって、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である、ステップと、を含む。
一態様では、電子機器と、ジェスチャー追跡センサと、表示機器と、を含むキー機能実行システムが提供されている。前記ジェスチャー追跡センサ及び前記表示機器は、それぞれ、前記電子機器に接続され、
前記表示機器は、仮想キーボードを表示し、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び前記第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応し、
前記ジェスチャー追跡センサは、手がターゲットジェスチャーにあることを検出し、
前記表示機器は、さらに、前記手が前記ターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置であり、
前記ジェスチャー追跡センサは、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することを検出し、
前記表示機器は、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
前記電子機器は、前記手のジェスチャーの変化に応答して、前記仮想キーボードの第２位置に対応するキーの機能を実行し、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である。
一態様では、キー機能実行装置が提供されている。前記装置は、表示モジュールと、実行モジュールと、を含み、
前記表示モジュールは、仮想キーボードを表示し、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び前記第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応し、
前記表示モジュールは、さらに、手がターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置であり、
前記表示モジュールは、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
前記実行モジュールは、前記手のジェスチャーの変化に応答して、前記仮想キーボードの第２位置に対応するキーの機能を実行し、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である。
いくつかの実施例において、前記表示モジュールは、
前記生体認証特徴によって前記手が左手であることが示されることに応答して、前記仮想キーボードの前記第１領域内のターゲット位置にカーソルを表示し、
前記生体認証特徴によって前記手が右手であることが示されることに応答して、前記仮想キーボードの前記第２領域内のターゲット位置にカーソルを表示する。
いくつかの実施例において、前記表示モジュールは、
前記生体認証特徴によって、前記手が左手であり、かつ、前記ターゲットジェスチャーが前記手の第１指及び親指で形成されることが示されることに応答して、前記仮想キーボードの前記第１領域の、前記第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定し、
前記生体認証特徴によって、前記手が右手であり、かつ、前記ターゲットジェスチャーが前記手の第１指及び親指で形成されることが示されることに応答して、前記仮想キーボードの前記第２領域の、前記第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
いくつかの実施例において、前記ターゲット位置は、領域の中心位置である。
いくつかの実施例において、前記表示モジュールは、
前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記手の変位を取得し、
前記第１位置と、前記手の変位とに基づいて、第３位置を決定し、
前記カーソルが前記第１位置から前記第３位置に移動することを表示する。
いくつかの実施例において、前記実行モジュールは、
前記第２位置に対応するキーが文字キーであることに応答して、前記仮想キーボードの入力ボックス又は文字表示領域に、前記第２位置に対応するキーが示す文字を入力するステップと、
前記第２位置に対応するキーが削除キーであることに応答して、前記仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除するステップと、
前記第２位置に対応するキーが改行キーであることに応答して、前記仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示するステップと、
前記第２位置に対応するキーが確認キーであることに応答して、前記仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、前記仮想キーボードの表示を取り消すステップと、のいずれか１つに用いられる。
いくつかの実施例において、前記表示モジュールは、さらに、前記仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、前記文字表示領域のターゲット範囲内に、前記入力済みの文字組み合わせに対応する候補漢字を表示する。
いくつかの実施例において、前記仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれ、
前記表示モジュールは、さらに、手が前記ターゲットジェスチャーになく、かつ、前記手が移動することの検出に応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
前記実行モジュールは、さらに、前記手がターゲットジェスチャーをして、かつ、前記カーソルが前記少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、前記ターゲット仮想コントロールに対応する機能を実行する。
いくつかの実施例において、前記実行モジュールは、
前記ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、前記仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替え、
前記ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、前記仮想キーボード内に表示される文字をアルファベットと記号との間で切り替え、
前記ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、前記仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
いくつかの実施例において、前記実行モジュールは、さらに、前記ターゲット仮想コントロールの表示内容を更新し、更新後の前記表示内容が前記仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
一態様では、１つ又は複数のプロセッサと、１つ又は複数のメモリと、を備える電子機器が提供されている。前記１つ又は複数のメモリには、少なくとも１つのコンピュータプログラムが記憶されており、前記少なくとも１つのコンピュータプログラムは、前記１つ又は複数のプロセッサによりロードされて実行されると、上記キー機能実行方法の各種の任意選択的な実現形態を実現させる。
一態様では、少なくとも１つのコンピュータプログラムを記憶したコンピュータ可読記憶媒体が提供されており、前記少なくとも１つのコンピュータプログラムは、プロセッサによりロードされて実行されると、上記キー機能実行方法の各種の任意選択的な実現形態を実現させる。
他の態様では、１つ又は複数のプログラムコードを含むコンピュータプログラム製品又はコンピュータプログラムが提供されており、前記１つ又は複数のプログラムコードは、コンピュータ可読記憶媒体に記憶されている。電子機器の１つ又は複数のプロセッサは、前記コンピュータ可読記憶媒体から前記１つ又は複数のプログラムコードを読み取り、前記１つ又は複数のプロセッサが前記１つ又は複数のプログラムコードを実行することで、前記電子機器に上記キー機能実行方法の各種の任意選択的な実現形態を実行させる。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。
本願の実施例で提供されるキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される他のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される他のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される他のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供される別のキー機能実行方法の実施環境の模式図である。 本願の実施例で提供されるキー機能実行方法のフローチャートである。 本願の実施例で提供されるキー機能実行方法のフローチャートである。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供される端末インタフェースの模式図である。 本願の実施例で提供されるキー機能実行システムの模式図である。 本願の実施例で提供されるキー機能実行装置の構成の模式図である。 本願の実施例で提供される電子機器の構成の模式図である。 本願の実施例で提供される端末の構成のブロック図である。 本願の実施例で提供されるサーバの構成の模式図である。
本願の目的、構成、及びメリットをより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。
本願における用語「第１」、「第２」などの表現は、役割及び機能がほぼ同じである同一項目又は類似項目を区別するために使用される。理解すべきものとして、「第１」、「第２」、「第ｎ」の間に論理的又は時系列的な依存関係はなく、数量及び実行順序も限定されない。また、理解すべきものとして、以下の説明では、第１、第２などの用語を使用して様々な要素を説明するが、これらの要素は用語によって制限されるべきではない。これらの用語は、ある要素を他の要素と区別するためのものに過ぎない。例えば、様々な例示の範囲を逸脱しない場合に、第１画像は第２画像と呼ばれ、同様に、第２画像は第１画像と呼ばれる。第１画像と第２画像は、両方とも画像であり、場合によって別個で異なる画像である。
本願における用語「少なくとも１つ」は１つ又は複数を意味し、本願における用語「複数」は２つ以上のものを意味し、例えば、複数のキーは２つ以上のキーを意味する。
以下、本願の実施環境を説明する。
図１、図２、図３、及び図４は、本願の実施例で提供されるキー機能実行方法の実施環境の模式図である。図１に示すように、該実施環境は、端末１０１を含む。図２に示すように、該実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、を含む。図３に示すように、該実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、表示機器１０３と、を含む。図４に示すように、該実施環境は、端末１０１と、表示機器１０３と、を含む。
ここで、端末１０１は、スマートフォン、ゲーム機、デスクトップコンピュータ、タブレットコンピュータ、電子書籍リーダー、ムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー３（ＭＰ３：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ）プレイヤー又はムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー４（ＭＰ４：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）プレイヤー、ラップトップポータブルコンピュータのうちの少なくとも１つである。端末１０１には、キー機能の実行をサポートするアプリケーションがインストールされて実行される。例えば、該アプリケーションは、システムアプリケーション、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）アプリケーション、インスタントメッセンジャーアプリケーション、ニュースプッシュアプリケーション、ショッピングアプリケーション、オンライン動画アプリケーション、ソーシャルアプリケーションである。
図１に示すように、実施環境は、端末１０１を含み、該端末１０１には、ジェスチャー追跡センサ及びスクリーンディスプレイが取り付けられている。このように、該端末は、ジェスチャー追跡センサでユーザの手を追跡することができ、手によるジェスチャーや動作を認識して、そのジェスチャーや動作に応じた命令をトリガーすることができる。該端末は、表示機能も有し、スクリーンディスプレイによって仮想キーボードを表示することができ、手のジェスチャーや動作を認識する際に、スクリーンディスプレイによって、そのジェスチャーや動作に応じた変化を表示することができる。例えば、該ジェスチャー追跡センサはカメラであり、該カメラは、手のジェスチャーや動作を収集するために、手を撮影することができる。
図２に示すように、実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、を含む。該端末１０１とジェスチャー追跡センサ１０２は、有線又は無線のネットワークを介して接続され、該端末１０１は、表示機能を有し、スクリーンディスプレイに仮想キーボードを表示することができる。ジェスチャー追跡センサ１０２は、ユーザの手を追跡することができ、手によるジェスチャーや動作を認識して、認識結果を端末１０１に送信することができる。該端末１０１は、認識結果に応じた内容を仮想キーボードに表示することができる。
ジェスチャー追跡センサは、任意のジェスチャーセンサであり、例えば、Ｌｅａｐ Ｍｏｔｉｏｎセンサであり、また例えば、指追跡手袋などであるが、本願の実施例はこれを限定しない。
図３に示すように、該実施環境は、端末１０１と、ジェスチャー追跡センサ１０２と、表示機器１０３と、を含む。該端末１０１は、有線又は無線のネットワークを介して、ジェスチャー追跡センサ１０２及び表示機器１０３のそれぞれと接続される。該端末１０１は、データ処理機能を有する。該端末１０１は、表示機器１０３を制御して仮想キーボードを表示させる。ジェスチャー追跡センサ１０２は、ユーザの手を追跡することができ、手によるジェスチャーや動作を認識して、認識結果を端末１０１に送信することができる。該端末１０１は、表示機器１０３を制御して、認識結果に応じた内容を仮想キーボードに表示させることができる。
表示機器は、任意の表示機器であり、例えば、スクリーンディスプレイであり、また例えば、ＶＲヘッドマウント表示機器（ＶＲヘッドマウントディスプレイと略称）などであるが、本願の実施例はこれを限定しない。
図４に示すように、該実施環境は、端末１０１と、表示機器１０３と、を含む。該端末１０１と表示機器１０３は、有線又は無線のネットワークを介して接続される。該端末１０１は、データ処理機能を有する。該端末１０１は、表示機器１０３を制御して仮想キーボードを表示させる。該端末１０１には、ジェスチャー追従センサが取り付けられている。端末１０１は、取り付けられたジェスチャー追従センサによって、ユーザの手を追跡することができ、手によるジェスチャーや動作を認識することができる。次に、端末１０１は、ジェスチャーや動作に基づいて、表示内容の変化を決定し、表示機器１０３によって表示を行う。
上記では４つの可能な実施環境が提供されているが、具体的にどれを採用するかについて、本願の実施例は限定しない。以下、該キー機能実行方法の実施環境について、図５を用いて総合的に説明する。図５に示すように、該実施環境は、ジェスチャー追跡センサ５０１と、機器システム５０２と、表示機器５０３と、を含む。ジェスチャー追跡センサ５０１と機器システム５０２は接続されている。
ジェスチャー追跡センサ５０１は、ユーザの指の操作を検出・追跡する。ここで、ジェスチャー追跡センサ５０１は、異なるタイプの機器、例えば、Ｌｅａｐ Ｍｏｔｉｏｎセンサ、カメラ、指追跡手袋である。ジェスチャー追跡センサ５０１は、各指関節の回転、座標情報を取得することができる。
機器システム５０２は、ゲームアプリケーション又は他のアプリケーションのプログラムを実行することができ、アプリケーションには、入力方法プログラムモジュールが含まれる。機器システムは、プログラム内で入力方法プログラムモジュールを実行することができる。
表示機器５０３は、画面を表示することができる。ここで、該表示機器５０３は、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ヘッドマウントディスプレイやスクリーンディスプレイなどである。
図６は、本願の実施例で提供されるキー機能実行方法のフローチャートである。該方法は、電子機器に適用される。該電子機器は、端末又はサーバである。図６を参照すると、該方法が端末に適用される場合を例にして、該方法は、以下のステップを含む。
６０１では、端末が仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び該第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域及び該第２領域がそれぞれ左手及び右手に対応し、即ち、該第１領域が左手に対応し、該第２領域が右手に対応する。
仮想キーボードは、スクリーンに表示される仮想的なキーボードである。仮想キーボードには、少なくとも２つのキーが含まれる。ここで、少なくとも２つは、２つ以上、即ち、複数を意味する。
仮想キーボードのキーには、様々なタイプのキーが含まれる。例えば、仮想キーボードには、複数のアルファベットキー、数字キー、又は記号キーが表示される。
本願の実施例では、仮想キーボードが第１領域及び第２領域の２つの領域に分割される。第１領域が左手に対応し、第２領域が右手に対応する。各々の領域には、少なくとも２つのキーが含まれ、いずれか１つのキーを操作すると、そのキーの機能をトリガーすることができる。このように、ユーザは、異なる手でターゲットジェスチャーをして、仮想キーボードの異なる領域のキーへのトリガーを制御することができる。
６０２では、端末が、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、第１位置は、該仮想キーボードの、該生体認証特徴に対応する領域内に位置し、該生体認証特徴に対応する位置である。
本願の実施例では、ユーザがスクリーンに触れることなく、手でジェスチャーをし、端末が手のジェスチャーを検出し、ジェスチャーに基づいて仮想キーボード内の対応する操作位置を決定し、さらにユーザが本当にトリガーしたいキーを決定して、そのキーの機能を実行する。
該ターゲットジェスチャーについて、任意選択的に、仮想キーボードが手の生体認証特徴に関連付けられ、生体認証特徴が異なる場合、仮想キーボード内の、該ターゲットジェスチャーに対応する位置が異なってもよい。ここで、該生体認証特徴は、ジェスチャーをする手がどの手であるかを示すことに使用され、又は、該ジェスチャーをする指がそれぞれどの指であるかを示すことにも使用される。
１つの可能な実施形態において、端末は、手のジェスチャーを検出し、手がターゲットジェスチャーにあると決定すると、該ターゲットジェスチャーの生体認証特徴に基づいて、該生体認証特徴に対応する領域内の第１位置を決定し、該第１位置は、即ち、カーソルの初期表示位置である。端末は、該第１位置にカーソルを表示して、現在手が位置する位置に対応する操作位置が第１位置であることを示す。このように、手がターゲットジェスチャーをするだけで、スクリーンにタッチすることなく、端末が第１位置にカーソルを表示することをトリガーすることができる。
理解できるように、仮想キーボードが２つの領域に分割され、ユーザが左手でターゲットジェスチャーをする場合に、該生体認証特徴に対応する領域は第１領域であり、ユーザが右手でターゲットジェスチャーをする場合に、該生体認証特徴に対応する領域は第２領域である。
６０３では、端末が、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせたものであり、ターゲットジェスチャーをした後、ユーザが実際に第１位置のキーをトリガーするわけではない場合に、ターゲットジェスチャーを保持しながら手を移動する。このように、端末は、手を追跡し、カーソルが手の移動に追従して移動するように制御することができる。これにより、ユーザは、手を移動するだけで、容易にカーソルを移動させて、トリガーしたいキーを精確に選択することができる。簡単な操作でキーへの精確なトリガーを実現することができ、キー機能の実行の精度及び柔軟性を向上させる。
６０４では、端末が、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
上記のステップ６０３によって、カーソルの位置は、既に変化しており、他の位置に移動した可能性があり、また第１位置に戻るように移動した可能性もある。ユーザは、トリガーしたいキーの位置にカーソルを移動させた後、ジェスチャーを変更し、即ち、ターゲットジェスチャーを保持しなくてもよい。このように、端末は、ユーザがカーソルの現在の位置のキーをトリガーしたいと決定することができるため、カーソルの現在の位置（即ち、第２位置）のキーの機能を実行することができる。
ここで、第２位置は、手がターゲットジェスチャーを保持しながら移動した後、ターゲットジェスチャーを保持しなくなったときにカーソルが位置する位置である。第２位置は第１位置と同じ位置であり、又は、第２位置は第１位置と異なる位置である。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
図７は、本願の実施例で提供されるキー機能実行方法のフローチャートである。図７を参照すると、該方法は、以下のステップを含む。
７０１では、端末が仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び該第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域が左手に対応し、該第２領域が右手に対応する。
任意選択的に、仮想キーボードには、複数のアルファベットキー、数字キー、又は記号キーが表示される。
例えば、仮想キーボードは、図８に示す通りである。仮想キーボードには、複数のアルファベットキー、例えば、Ｑ、Ａ、Ｚ、Ｗなどが含まれているが、ここでは一々列挙しない。該仮想キーボードには、記号キーも含まれており、例えば、「空」はスペースを表し、「，」、「．」などはいずれも記号キーである。該仮想キーボードには、機能キーも含まれており、例えば、「←」は削除キーである。
いくつかの実施例において、該仮想キーボードの表示は、入力ボックスへのトリガー操作によってトリガーされる。例えば、端末は、第１ページを表示し、この第１ページに入力ボックスが表示される。ユーザは、手を移動することにより、カーソルが手の移動に追従して入力ボックス内に移動するように制御し、次に、手で押し動作又は叩き動作を行う。端末は、該手の押し動作又は叩き動作が検出され、かつ、カーソルが入力ボックス内に位置する場合、第１ページに仮想キーボードを表示する。
他のいくつかの実施例において、該仮想キーボードの表示は、仮想キーボードコントロールへのトリガー操作によってトリガーされる。例えば、端末は、第１ページを表示し、この第１ページに仮想キーボードコントロールが表示される。ユーザは、手を移動することにより、カーソルが手の移動に追従して仮想キーボードコントロールの位置に移動するように制御し、次に、手で押し動作又は叩き動作を行う。端末は、該手の押し動作又は叩き動作が検出され、かつ、カーソルが仮想キーボードコントロールの位置に位置する場合、第１ページに仮想キーボードを表示する。
７０２では、端末が、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、該第１位置は、該仮想キーボードの、該生体認証特徴に対応する領域内に位置し、該生体認証特徴に対応する位置である。
本願の実施例において、ユーザは、ディスプレイに触れることなく、手でターゲットジェスチャーをしたり、ターゲットジェスチャーをして移動したりすることにより、仮想キーボード内でキーを選択してキーの機能を実行することをトリガーすることができる。
いくつかの実施例において、端末は、ジェスチャー追跡センサによって、ユーザの手のジェスチャー、動作、又は位置を収集する。
任意選択的に、該ジェスチャー追跡センサは、該端末に取り付けられたセンサであり、例えば、端末に取り付けられたカメラであってもよい。これに応じて、端末は、カメラでユーザを撮影し、次に、撮影された画像をコンピュータビジョン検出の方式で分析して、ユーザの手のジェスチャー、動作、又は位置を決定する。例えば、コンピュータビジョン検出を行う際に、画像内の手を検出することにより、手が位置する位置を決定し、次に、各指の形状を決定し、さらに、候補ジェスチャーの各指の形状とマッチングして、手の現在のジェスチャーを決定する。
任意選択的に、該ジェスチャー追跡センサは、端末外のジェスチャー追跡センサである。例えば、該ジェスチャー追跡センサは、Ｌｅａｐ Ｍｏｔｉｏｎセンサ、指追跡手袋、又はカメラ機器である。ここで、指追跡手袋は、手の各指節の回転、位置などを収集し、さらに各指節の回転、位置などによって各指の形状を分析し、さらに候補ジェスチャーの各指の形状とマッチングして、現在の手のジェスチャーを取得することができる。
いくつかの実施例において、該ターゲットジェスチャーは、つまみジェスチャー、即ち、ある手の親指と別の指の腹を合わせるジェスチャーである。端末は、手の画像を収集し、又は、指追跡手袋で手の形状パラメータを取得した後、ジェスチャー認識によって、適合度が適合度閾値よりも高くかつ適合度が最大となる候補ジェスチャーをターゲットジェスチャーとして決定し、決定したターゲットジェスチャーに基づいてカーソル表示のステップを実行する。もちろん、該ターゲットジェスチャーは、他のジェスチャーであってもよい。例えば、ターゲットジェスチャーは、５本の指を合わせるジェスチャーであり、又は、拳を握るジェスチャーなどである。該ターゲットジェスチャーは、関連技術者により必要に応じて設定され、又は、ユーザにより自身の操作習慣に応じて設定されるが、本願の実施例はこれを限定しない。
ジェスチャー認識は、ジェスチャー分割、ジェスチャー分析、及び認識の３つの部分を含む。そのうち、ジェスチャー分割は、単眼ビジョンによるジェスチャー分割、及び、立体ビジョンによるジェスチャー分割などを含む。
単眼ビジョンの場合、画像収集機器でジェスチャーの画像を収集して、ジェスチャーの平面モデルを作成し、この平面モデルをジェスチャー形状データベース内のジェスチャーとマッチングして、該ジェスチャーのタイプを決定する。ジェスチャー形状データベースを作成する方法は、考えられる全てのジェスチャーをデータベースとして作成することで、ジェスチャーのテンプレートマッチングを容易にするが、計算量が高く、システムの迅速な認識に役立たない。
立体ビジョンの場合、複数の画像収集機器でジェスチャーの異なる画像を取得して、同一のジェスチャーの異なる画像をそのジェスチャーの立体モデルに変換する。立体マッチングの方法は、単眼ビジョンのテンプレートマッチング方法に類似して、同様にジェスチャーライブラリを大量に作成し、ジェスチャーライブラリ内の各ジェスチャーの３次元の再構築をする必要がある。３次元の再構築には、ジェスチャーの３次元のモデルを作成する必要があり、計算量が増えるが、分割効果が良い。
ジェスチャー分析は、ジェスチャー認識を実現するための重要な技術の１つである。ジェスチャー分析によって、ジェスチャーの形状特徴又は運動軌跡を取得することができる。ジェスチャーの形状特徴及び運動軌跡は、動的ジェスチャー認識における重要な特徴であり、ジェスチャーが表す意味に直接関係する。ジェスチャー分析方法には、エッジ輪郭抽出法、質量中心指などの複数特徴組み合わせ法、及び指関節型追跡法などがある。例えば、エッジ輪郭抽出法は、手の形がその特有の形によって他の物体と区別されるジェスチャー分析方法である。あるいは、幾何モーメントとエッジ検出とを組み合わせたジェスチャー認識アルゴリズムを採用し、２つの特徴の重みを設定して画像間の距離を計算することで、アルファベットジェスチャーの認識を実現する。複数特徴組み合わせ法は、手の物理特性に基づいて、ジェスチャーの姿態又は軌跡を分析する。Ｍｅｅｎａｋｓｈｉ Ｐａｎｗａｒは、ジェスチャーの形状と指先の特徴とを組み合わせて、ジェスチャーの認識を実現する。指関節型追跡法は、主に、手の２次元又は３次元のモデルを構築し、手の関節点の位置の変化に基づいて追跡し、主に動的軌跡追跡に適用される。
ジェスチャー認識は、モデルパラメータ空間内の軌跡をその空間内のあるサブセットに分類する過程であり、静的ジェスチャー認識と、最終的に静的ジェスチャー認識に変換可能な動的ジェスチャー認識とを含む。ジェスチャー認識の技術的な実現から、ジェスチャー認識方法には、主に、テンプレートマッチング法、ニューラルネットワーク法、及び隠れマルコフモデル法がある。
テンプレートマッチング法は、ジェスチャーの動作を静的なジェスチャー画像からなるシーケンスと見なして、認識対象のジェスチャーシーケンスを既知のジェスチャーテンプレートシーケンスと比較することにより、ジェスチャーを認識する。
隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）は、統計的モデルであり、隠れマルコフモデルでモデル化されたシステムは、状態遷移及び観測値出力のランダム過程を含む二重のランダム過程を有する。そのうち、状態遷移のランダム過程は、隠れており、観測シーケンスのランダム過程によって表現される。
該ターゲットジェスチャーについて、任意選択的に、仮想キーボードが手の生体認証特徴に関連付けられ、生体認証特徴が異なる場合、仮想キーボード内の、該ターゲットジェスチャーに対応する位置が異なる。ここで、該生体認証特徴は、ジェスチャーをする手がどの手であるかを示すことに使用され、又は、該ジェスチャーをする指がそれぞれどの指であるかを示すことにも使用される。
いくつかの実施例において、該ステップ７０２では、端末がまず第１位置を決定してから、該第１位置にカーソルを表示する。任意選択的に、端末は、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、該仮想キーボード内で、該生体認証特徴に対応する領域内の該第１位置を決定し、次に、該仮想キーボードの第１位置にカーソルを表示する。
ユーザが異なる手を使用すると、該生体認証特徴が異なり、それに対応する領域も異なってもよい。例えば、第１領域が左手に対応し、第２領域が右手に対応する。該ステップ７０２では、端末が、該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置にカーソルを表示し、該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置にカーソルを表示する。
つまり、端末は、該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置を第１位置として決定し、次に、該第１位置にカーソルを表示する。端末は、該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置を第１位置として決定し、次に、該第１位置にカーソルを表示する。
例えば、図９に示すように、仮想キーボードを均等に分けると、左側領域９０１及び右側領域９０２が得られ、この左側領域９０１が第１領域であり、右側領域９０２が第２領域である。このように、ユーザが左手でターゲットジェスチャーをすると、対応する第１位置は左側領域９０１内にある。ユーザが右手でターゲットジェスチャーをすると、対応する第１位置は右側領域９０２内にある。
分割によれば、ユーザは、左右の手を区別することにより、仮想キーボード内の小領域を区別することが可能になる。ユーザは、キーをトリガーしたい位置に応じて、左手を使うか右手を使うかを選択することができる。このように、小領域内でさらなる精確な選択を行い、さらなる選択の範囲を小さくすることができる。このような方式は、仮想キーボードを分割しない方式に比べて、ユーザによるカーソルの調整操作を可能な限り低減し、操作効率を向上させることができる。
いくつかの実施例では、上記の第１領域及び第２領域がさらに分割され、第１領域が左手に対応し、第２領域が右手に対応する。第１領域及び第２領域は、それぞれ、複数のサブ領域に分割され、手の異なる指が、異なるサブ領域に対応する。該ターゲットジェスチャーが手の１つの指及び親指で形成されるため、親指と異なるこの指が１つのサブ領域に対応する。ユーザは、異なる指及び親指でターゲットジェスチャーを形成することにより、カーソルを異なるサブ領域に表示させるように制御することができる。
これに応じて、該ステップ７０２では、端末が、該生体認証特徴によって、該手が左手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第１領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
端末は、該生体認証特徴によって、該手が右手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第２領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
一例では、第１領域が２つのサブ領域に分割され、第２領域も２つのサブ領域に分割される。第１領域の第１サブ領域が左手の第２指に対応し、第１領域の第２サブ領域が左手の第３指に対応する。第２領域の第３サブ領域が右手の第４指に対応し、第２領域の第４サブ領域が右手の第５指に対応する。理解できるように、手には、親指に加えて、人差し指、中指、薬指、及び小指の４本の指が含まれる。第２指及び第３指がそれぞれ４本の指のうちのいずれであるかは、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。第４指及び第５指は同様である。本願の実施例はこれを限定しない。
例えば、図１０に示すように、左手は左半分のキーボード（第１領域１００２）への入力とされ、右手は右半分のキーボード（第２領域１００１）への入力とされる。ターゲットジェスチャーがつまみジェスチャーであり、第２指が左手の中指であり、第３指が左手の人差し指であり、第４指が右手の人差し指であり、第５指が右手の中指である場合を例にする。ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１００１の第２サブ領域１００３に現れ、Ｅ、Ｒ、Ｔ、Ｄ、Ｆ、Ｇ、Ｃ、Ｖ、Ｂキーへのトリガーを制御する。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１００１の第１サブ領域１００４に現れ、Ｑ、Ｗ、Ａ、Ｓ、Ｚ、Ｘキーへのトリガーを制御する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。このように、カーソルを中心位置に表示することで、後続にユーザがキー選択のためにカーソルを移動させたいときに、他のキーとの距離の合計が最小となるように保証することができる。これにより、ユーザがカーソルを移動する距離を大幅に低減させることが可能になり、操作がより便利になり、効率がより高くなる。
図１０に示された仮想キーボードを例にして、ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１００１の第２サブ領域１００３内の中心位置のＦキーに現れる。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１００１の第１サブ領域１００４内の中心位置のＡキーとＳキーの間に現れる。
他の例では、第１領域が３つのサブ領域に分割され、第２領域も３つのサブ領域に分割される。第１領域の第１サブ領域が左手の第２指に対応し、第１領域の第２サブ領域が左手の第３指に対応する。第１領域の第３サブ領域が右手の第４指に対応する。第２領域の第４サブ領域が右手の第５指に対応し、第２領域の第５サブ領域が右手の第６指に対応し、第２領域の第６サブ領域が右手の第７指に対応する。第２指、第３指、及び第４指がそれぞれ４本の指のうちのいずれであるかは、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。第５指、第６指、及び第７指は同様である。本願の実施例はこれを限定しない。
例えば、図１１に示すように、左手は左半分のキーボード（第１領域１１０１）への入力とされ、右手は右半分のキーボード（第２領域１１０２）への入力とされる。ターゲットジェスチャーがつまみジェスチャーであり、第２指、第３指、及び第４指がそれぞれ左手の薬指、中指、人差し指であり、第５指、第６指、及び第７指がそれぞれ右手の人差し指、中指、薬指である場合を例にする。ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１１０１の第３サブ領域１１０３に現れ、Ｒ、Ｔ、Ｆ、Ｇ、Ｖ、Ｂキーへのトリガーを制御する。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１１０１の第２サブ領域１１０４に現れ、Ｗ、Ｅ、Ｓ、Ｄ、Ｘ、Ｃキーへのトリガーを制御する。ユーザが左手の薬指及び親指でつまむと、カーソルは、第１領域１１０１の第１サブ領域１１０５に現れ、Ｑ、Ａ、Ｚキーへのトリガーを制御する。右手は同様であるが、ここでは説明を省略する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。図１１に示された仮想キーボードを例にして、ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１１０１の第３サブ領域１１０３内の中心位置のＦキーとＧキーの間に現れる。
他の例では、第１領域が４つのサブ領域に分割され、第２領域も４つのサブ領域に分割される。第１領域の第１サブ領域が左手の第２指に対応し、第１領域の第２サブ領域が左手の第３指に対応する。第１領域の第３サブ領域が左手の第４指に対応し、第１領域の第４サブ領域が左手の第５指に対応する。第２領域の第５サブ領域が右手の第６指に対応し、第２領域の第６サブ領域が右手の第７指に対応し、第２領域の第７サブ領域が右手の第８指に対応し、第２領域の第８サブ領域が右手の第９指に対応する。第２指、第３指、第４指、及び第５指がそれぞれ４本の指のうちのいずれであるかは、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。第６指、第７指、第８指、第９指は同様である。本願の実施例はこれを限定しない。
例えば、図１２に示すように、左手は左半分のキーボード（第１領域１２０１）への入力とされ、右手は右半分のキーボード（第２領域１２０２）への入力とされる。ターゲットジェスチャーがつまみジェスチャーであり、第２指、第３指、第４指、及び第５指がそれぞれ左手の小指、薬指、中指、人差し指であり、第６指、第７指、第８指、第９指がそれぞれ右手の人差し指、中指、薬指、小指である場合を例にする。ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１２０１の第４サブ領域１２０３に現れ、Ｒ、Ｔ、Ｆ、Ｇ、Ｖ、Ｂキーへのトリガーを制御する。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１２０１の第３サブ領域１２０４に現れ、Ｅ、Ｄ、Ｃキーへのトリガーを制御する。ユーザが左手の薬指及び親指でつまむと、カーソルは、第１領域１２０１の第２サブ領域１２０５に現れ、Ｗ、Ｓ、Ｘキーへのトリガーを制御する。ユーザが左手の子指及び親指でつまむと、カーソルは、第１領域１２０１の第１サブ領域１２０６に現れ、Ｑ、Ａ、Ｚキーへのトリガーを制御する。右手は同様であるが、ここでは説明を省略する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。図１２に示された仮想キーボードを例にして、ユーザが左手の人差し指及び親指でつまむと、カーソルは、第１領域１２０１の第４サブ領域１２０３内の中心位置のＦキーとＧキーの間に現れる。ユーザが左手の中指及び親指でつまむと、カーソルは、第１領域１２０１の第３サブ領域１２０４内の中心位置のＤキーに現れる。
説明すべきものとして、端末は、手がターゲットジェスチャーにあることを検出すると、該ターゲットジェスチャーの生体認証特徴を決定してもよい。該生体認証特徴によって、該ターゲットジェスチャーが手の第１指及び親指で形成されることが示され、かつ、該第１指に対応する第１位置が存在しない場合、今回の操作を無視する。
７０３では、端末が、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該手の変位を取得する。
上記第１位置はカーソルの初期表示位置であり、該初期表示位置は、キー上にあってもよく、キーの間にあってもよい。ユーザは、手を移動することにより、カーソルの移動を制御することができる。
手がターゲットジェスチャーを保持しながら移動する場合、端末は、手の変位を取得する。該手の変位の取得過程は、上記のジェスチャー認識と同様なステップを採用してもよい。端末は、手の２つの画像を収集して、手の位置を認識することにより、２つの画像における手の位置の変化、即ち、変位を決定する。
あるいは、上記ジェスチャー追跡センサで決定された回転などの特徴は、指の形状を記述することに使用され、手の各指節の位置（該位置は、座標の方式で表すことができる）を決定することにも使用される。次に、端末は、手の移動時に手の各指節の位置を取得し続け、上記ステップ７０２で取得された位置と比較して、手の変位を決定してもよい。
７０４では、端末が、該第１位置と、該手の変位とに基づいて、第３位置を決定する。
カーソルの初期表示位置（第１位置）が既知であり、端末は、手が移動した位置からカーソルの変位を決定し、さらに、第１位置、及びカーソルの変位から、第３位置、即ち、カーソルが移動すべき位置を決定する。
端末は、手の変位からカーソルの変位を決定する際に、様々な実現形態で実現してもよい。いくつかの実施例において、端末は、手の変位をカーソルの変位とする。他のいくつかの実施例において、端末は、手の変位、及び感度に基づいて、カーソルの変位を決定する。
この感度は、関連技術者により必要に応じて設定され、又は、ユーザにより自分の操作習慣に応じて設定される。本願の実施例はこれを限定しない。
７０５では、端末が、該カーソルが該第１位置から該第３位置に移動することを表示する。
端末は、第３位置を決定すると、カーソルが第１位置から第３位置に移動するように制御することができる。これにより、カーソルが手の移動に追従して移動する効果が表現される。
上記のステップ７０３からステップ７０５は、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する１つの可能な実現形態である。上記は、手の変位からカーソルの位置を決定してカーソルの移動を制御する場合を例に説明しているが、該過程は、他の方式で実現してもよい。例えば、端末は、カーソルが移動する第３位置を決定することなく、カーソルの変位を直接に取得して、カーソルの変位にしたがってカーソルの移動を制御する。本願の実施例はこれを限定しない。
一例では、指の変位とカーソルの変位が同等に増加又は減少し、つまり、感度が１であると仮定する。第１位置をＩｎｉｔＣｕｒｓｏｒＰｏｓで表し、第３位置をＣｕｒｓｏｒＰｏｓで表し、手がターゲットジェスチャーを保持しながら移動することが検出された場合、手の変位を取得したと仮定すると（手の変位をＴｉｐＭｏｖｅｍｅｎｔで表す）、第１位置、手の変位、及び第３位置は、ＣｕｒｓｏｒＰｏｓ＝ＩｎｉｔＣｕｒｓｏｒＰｏｓ＋ＴｉｐＭｏｖｅｍｅｎｔという関係を満たす。
７０６では、端末が、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
ユーザがカーソルを所期の位置、例えば第２位置に移動させると、ターゲットジェスチャーを保持しなくてもよい。端末は、手のジェスチャーの変化を検出すると、第２位置におけるキーの機能を実行することができる。
仮想キーボードには、文字キー、機能キーなどの様々なタイプのキーが含まれる。該第２位置に対応するキーが異なるタイプに属する場合、端末が実行する機能は異なる。これに応じて、該ステップ７０６には、以下のケースが含まれる。
ケース１：該第２位置に対応するキーが文字キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域に、該第２位置に対応するキーが示す文字を入力する。
該ケース１では、現在は英語入力モードであり、又は、現在は中国語入力モードであるが文字キーがアルファベットキーではない場合、端末は、仮想キーボードの入力ボックスに、第２位置に対応するキーが表す文字を入力してもよい。現在は中国語入力モードでありかつ文字キーがアルファベットキーである場合、端末は、文字表示領域に、該第２位置に対応するキーが表す文字を入力してもよい。
ケース２：該第２位置に対応するキーが削除キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除する。
ケース２では、削除キーは、機能キーであり、文字を入力するのではなく、入力された文字を削除する。現在は英語入力モードであり、又は、中国語入力モードでありかつ文字表示領域に入力済み文字がない場合、端末は、仮想キーボードの入力ボックス内の最後の文字を削除してもよい。現在は中国語入力モードでありかつ文字表示領域に入力済み文字がある場合、端末は、文字表示領域内の最後の文字を削除してもよい。
ケース３では、該第２位置に対応するキーが改行キーであることに応答して、該仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示する。
ケース４では、該第２位置に対応するキーが確認キーであることに応答して、該仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、該仮想キーボードの表示を取り消す。
上記では、いくつかの可能なキータイプのみを提供しているが、仮想キーボードにこれらのタイプだけが含まれることに限定されない。当業者は、必要に応じて、仮想キーボード内のキーを任意に設定することができる。例えば、該仮想キーボードには、エスケープキー又はリターンキーも含まれる。端末は、該第２位置に対応するキーがエスケープキー又はリターンキーであることに応答して、仮想キーボードの表示を取り消す。また例えば、該仮想キーボードには、パラメータ調節キーも含まれる。端末は、第２位置に対応するキーがパラメータ調節キーであることに応答して、現在表示インタフェースのパラメータを調節する。該パラメータは、表示パラメータ、音量パラメータ、制御パラメータのうちの少なくとも１つを含む。本願の実施例はこれを限定しない。
もちろん、もう１つの可能なケースがある。該第２位置がキーの位置ではない場合、端末は今回の操作を無視してもよい。
いくつかの実施例において、該仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれる。端末は、手が該ターゲットジェスチャーになく、かつ、該手が移動することの検出に応答して、該カーソルが該手の移動に追従して移動することを表示し、次に、該手がターゲット動作をし、かつ、該カーソルが該少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、該ターゲット仮想コントロールに対応する機能を実行してもよい。ここで、カーソルが手の移動に追従して移動することを表示する過程は、上記のステップ３０３からステップ３０５と同様であるが、ここでは説明を省略する。
ここで、該ターゲット動作は、関連技術者により必要に応じて設定され、又は、ユーザにより操作習慣に応じて設定される。例えば、ターゲット動作は、押し動作である。また例えば、ターゲット動作は、叩き動作である。本願の実施例はこれを限定しない。
いくつかの実施例において、該仮想コントロールは、大文字入力と小文字入力の切り替えコントロール、記号入力とアルファベット入力の切り替えコントロール、中国語入力と英語入力の切り替えコントロールを含む。以下、これらの仮想コントロールを説明する。
端末は、該ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替える。
いくつかの実施例において、該大文字入力は、大文字入力及び大文字固定入力の２種類を含んでもよい。
他のいくつかの実施例において、端末は、該ターゲット仮想コントロールの表示内容を更新し、更新後の該表示内容が該仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
例えば、図１３に示すように、大文字小文字状態には、小文字、大文字、大文字固定の３種類がある。ターゲット動作が押し動作である場合を例にして、カーソルが大文字小文字切り替えキー１３０１にあるときにユーザが１回の押し操作を行うと、次の状態になり、３番目の状態で押すと１番目の状態になり、このように繰り返す。キーボードのアルファベットは、状態に応じて大文字か小文字に切り替えられ、キーには、現在の状態を示すテキストやアイコンが表示される。図１３では、大文字小文字切り替えキー１３０１には大文字の状態で「大文字」が表示される場合を例にする。大文字の状態では、ユーザが１つのアルファベットを入力すると、キーボードが自動的に小文字の状態に戻る。大文字固定の状態では、ユーザが大文字のアルファベットを持続的に入力することができる。
いくつかの実施例において、端末は、該ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字をアルファベットと記号との間で切り替える。
例えば、図１４に示すように、カーソルが記号入力とアルファベット入力の切り替えコントロール１４０１に位置する場合、１回の押し動作を行うと、記号入力とアルファベット入力の切り替えコントロール１４０１がアルファベットキーから記号キーに切り替わる。これに応じて、仮想キーボードに表示される文字は、図１４に示すように、アルファベットから記号に変化する。もう１回押すと、アルファベットキーに戻る。これに応じて、仮想キーボードに表示される文字は、記号からアルファベットに変化する。
端末は、該ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、該仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
例えば、図１５に示すように、カーソルが中国語入力と英語入力の切り替えコントロール１５０１に位置する場合、押し動作を行うと、英語と中国語ピンインの２つのモードの間で切り替える。ここで、英語入力モードで切り替えコントロール１５０１には「ＥＮ」が表示され、中国語入力モードで切り替えコントロール１５０１には「ピンイン」が表示される。中国語入力モードでは、ユーザが上記ターゲットジェスチャー及び移動によってピンインを入力すると、ピンインが切り替えコントロール１５０１に現れる。図１５では、入力されたピンイン「ｆａ」が表示される場合を例にする。つまり、文字表示領域は、該切り替えコントロール１５０１が位置する領域である。もちろん、該文字表示領域は、切り替えコントロール１５０１が位置する領域ではない他の領域であってもよい。
中国語入力の場合、端末は、該仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、該文字表示領域のターゲット範囲内に、該入力済みの文字組み合わせに対応する候補漢字を表示する。ここで、中国語入力モードでは、該文字表示領域がピンイン表示領域であり、該文字表示領域に入力された文字が漢字の音を表すためのピンイン文字である場合、入力された文字組み合わせは、該候補漢字のピンインを表す。
例えば、図１５に示すように、文字表示領域に複数の文字が含まれ、該複数の文字に対応する候補漢字がある場合、右に候補漢字を表示してもよい。図１５では、「ｆａ」に対応する候補漢字が複数あり、例えば、
などである。図中では、
のみが示されている。それ以外の候補漢字については、カーソルが候補漢字にある場合にユーザがスライド動作を行うと、表示された候補漢字がスクロールされて、他の候補漢字が表示される。
上記の方法の詳細は、図１６及び図１７を参照すればよい。検出周期ごとに、ユーザのジェスチャー操作を待つ。ジェスチャー操作がある場合、ユーザの手が検出されたか否かを判断する。手が検出された場合、既につまみジェスチャーをしたか否かを判断する。既につまみジェスチャーをした場合は、現在ユーザがつまみジェスチャーを保持していることを表す。さらに、現在つまみジェスチャーが解放されたか否かを判断する。つまみジェスチャーが解放された場合、カーソルが位置するキーの機能をトリガーして、カーソルを解放する。キーの機能には、様々な種類が含まれるが、ここでは説明を省略する。ジェスチャーが解放されていない場合、このときのつまみ指の空間座標ＮｅｗＴｉｐＰｏｓを記録し、つまみ指の空間座標ＮｅｗＴｉｐＰｏｓと、指の以前の空間座標ＩｎｉｔＴｉｐＰｏｓとに基づいて、指の変位ＴｉｐＭｏｖｅｍｅｎｔを決定する。次に、カーソルを移動させ、即ち、その位置に指の移動量（変位）を加えて、カーソルの新しい位置ＣｕｒｓｏｒＰｏｓと、ＩｎｉｔＣｕｒｓｏｒＰｏｓ及びＴｉｐＭｏｖｅｍｅｎｔとがＣｕｒｓｏｒＰｏｓ＝ＩｎｉｔＣｕｒｓｏｒＰｏｓ＋ＴｉｐＭｏｖｅｍｅｎｔの関係を満たすように、カーソルの新しい位置ＣｕｒｓｏｒＰｏｓを決定する。以前につまみジェスチャーをしたのではないと判断した場合、つまり、現在ちょうどつまみジェスチャーを検出した場合、左手であるか否かを判断する。左手である場合、操作がキーボードの左部分に適用されることになる。左手ではない場合、操作がキーボードの右部分に適用されることになる。さらに、どの指及び親指でつまみジェスチャーをしているかを決定する。次に、判断された指に基づいて、対応するキーボード操作領域があるか否かを決定する。対応するキーボード操作領域がある場合、対応するキーボード操作領域の中心にカーソルを表示する。このカーソルが位置する位置は、初期カーソル位置ＩｎｉｔＣｕｒｓｏｒＰｏｓである。次に、指の識別子Ｆｉｎｇｅｒｉｎｄｅｘ（人差し指から小指までは、それぞれ、数字１～４である）を記録して、該指の空間座標ＩｎｉｔＴｉｐＰｏｓを記録してもよい。
中国語入力モードでは、つまみジェスチャーで１つのアルファベットの入力を確定した場合、入力済みのピンインの末尾にアルファベットを追加してもよい。次に、現在入力されたピンインに対応する漢字が見付けられるか否かを判断し、見付けられる場合、漢字を羅列し、見付けられない場合、ユーザのジェスチャー操作を検出し続ける。漢字が羅列された場合、ユーザは、押し動作を実行して漢字キーをトリガーし、さらに入力ボックスに漢字を入力する。あるいは、ユーザが左右スライド操作により漢字の水平バーを左右にスライドさせることで、水平バーが左右にスクロールされて、他の漢字が表示され、ユーザは漢字を選択することができる。
本願では、ハンドルを必要とせずに、つまみ及び移動のジェスチャーでキーボード内の仮想キーをトリガーする。つまみジェスチャー後、操作制御領域の中心から出発することになり、操作制御領域内の各キーまでの距離を短縮させる。左手、右手で大領域を選別（キーボードの左部分又は右部分を選別）し、各指で小領域を選別（１列又は２列のキーボードキーを選別）でき、つまみで最後のキー領域を選別した後、ジェスチャーの変位で的確なキー選択（上中下の精確な選択）を行う。ジェスチャーによって選択効率を向上させるとともに、変位操作によって最後の具体的なキーの選択自由度を補充する。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
上記の全ての選択可能な構成は、任意の組み合わせで本願の選択可能な実施例を形成するが、ここでは一々の説明を省略する。
図１８は、本願の実施例で提供されるキー機能実行システムの模式図である。キー機能実行システムは、電子機器１８０１と、ジェスチャー追跡センサ１８０２と、表示機器１８０３と、を含む。そのうち、該ジェスチャー追跡センサ１８０２及び表示機器１８０３は、それぞれ、該電子機器１８０１に接続される。
該表示機器１８０３は、仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域が左手に対応し、該第２領域が右手に対応する。
該ジェスチャー追跡センサ１８０２は、手がターゲットジェスチャーにあることを検出する。
該表示機器１８０３は、さらに、手がターゲットジェスチャーにあることの検出に応答して、該ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、該第１位置は、該仮想キーボードの、該生体認証特徴に対応する領域内に位置し、該生体認証特徴に対応する位置である。
該ジェスチャー追跡センサ１８０２は、さらに、該手が該ターゲットジェスチャーを保持しながら移動することを検出する。
該表示機器１８０３は、さらに、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する。
該電子機器１８０１は、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
いくつかの実施例において、該表示機器１８０３は、仮想現実（ＶＲ）表示機器又はスクリーンディスプレイである。
いくつかの実施例において、該表示機器１８０３は、
該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置にカーソルを表示し、
該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置にカーソルを表示する。
いくつかの実施例において、該表示機器１８０３は、
該生体認証特徴によって、該手が左手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第１領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定し、
該生体認証特徴によって、該手が右手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第２領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。
いくつかの実施例において、該電子機器１８０１は、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該手の変位を取得し、該第１位置と、該手の変位とに基づいて、第３位置を決定し、
該表示機器１８０３は、該カーソルが該第１位置から該第３位置に移動することを表示する。
いくつかの実施例において、該表示機器１８０３は、
該第２位置に対応するキーが文字キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域に、該第２位置に対応するキーが示す文字を入力すること、
該第２位置に対応するキーが削除キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除すること、
該第２位置に対応するキーが改行キーであることに応答して、該仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示すること、
該第２位置に対応するキーが確認キーであることに応答して、該仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、該仮想キーボードの表示を取り消すこと、のいずれか１つを実行する。
いくつかの実施例において、該表示機器１８０３は、さらに、該仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、該文字表示領域のターゲット範囲内に、該入力済みの文字組み合わせに対応する候補漢字を表示する。
いくつかの実施例において、該仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれ、
該表示機器１８０３は、さらに、手が該ターゲットジェスチャーになくて移動することに応答して、該カーソルが該手の移動に追従して移動することを表示し、
該電子機器１８０１は、さらに、該手がターゲットジェスチャーをして、かつ、該カーソルが該少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、該ターゲット仮想コントロールに対応する機能を実行する。
いくつかの実施例において、該電子機器１８０１は、
該ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替え、
該ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字をアルファベットと記号との間で切り替え、
該ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、該仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
いくつかの実施例において、該表示機器１８０３は、さらに、該ターゲット仮想コントロールの表示内容を更新し、更新後の該表示内容が該仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
図１９は、本願の実施例で提供されるキー機能実行装置の構成の模式図である。図１９に示すように、該装置は、表示モジュール１９０１と、実行モジュール１９０２と、を含む。
表示モジュール１９０１は、仮想キーボードを表示し、該仮想キーボードには、第１領域及び第２領域が含まれ、該第１領域及び該第２領域のそれぞれに少なくとも２つのキーが含まれ、該第１領域が左手に対応し、該第２領域が右手に対応する。
該表示モジュール１９０１は、さらに、手がターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置である。
該表示モジュール１９０１は、さらに、該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該カーソルが該手の移動に追従して移動することを表示する。
実行モジュール１９０２は、該手のジェスチャーの変化に応答して、該仮想キーボードの第２位置に対応するキーの機能を実行し、該第２位置は、該手のジェスチャーの変化時に該カーソルが位置する位置である。
いくつかの実施例において、該表示モジュール１９０１は、
該生体認証特徴によって該手が左手であることが示されることに応答して、該仮想キーボードの該第１領域内のターゲット位置にカーソルを表示し、
該生体認証特徴によって該手が右手であることが示されることに応答して、該仮想キーボードの該第２領域内のターゲット位置にカーソルを表示する。
いくつかの実施例において、該表示モジュール１９０１は、
該生体認証特徴によって、該手が左手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第１領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定し、
該生体認証特徴によって、該手が右手であり、かつ、該ターゲットジェスチャーが該手の第１指及び親指で形成されることが示されることに応答して、該仮想キーボードの該第２領域の、該第１指に対応するサブ領域内のターゲット位置にカーソルを表示することを決定する。
いくつかの実施例において、該ターゲット位置は、領域の中心位置である。
いくつかの実施例において、該表示モジュール１９０１は、
該手が該ターゲットジェスチャーを保持しながら移動することに応答して、該手の変位を取得し、
該第１位置と、該手の変位とに基づいて、第３位置を決定し、
該カーソルが該第１位置から該第３位置に移動することを表示する。
いくつかの実施例において、該実行モジュール１９０２は、
該第２位置に対応するキーが文字キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域に、該第２位置に対応するキーが示す文字を入力すること、
該第２位置に対応するキーが削除キーであることに応答して、該仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除すること、
該第２位置に対応するキーが改行キーであることに応答して、該仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示すること、
該第２位置に対応するキーが確認キーであることに応答して、該仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、該仮想キーボードの表示を取り消すこと、のいずれか１つに用いられる。
いくつかの実施例において、該表示モジュール１９０１は、さらに、該仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、該文字表示領域のターゲット範囲内に、該入力済みの文字組み合わせに対応する候補漢字を表示する。
いくつかの実施例において、該仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれ、
該表示モジュール１９０１は、さらに、手が該ターゲットジェスチャーになくて移動することに応答して、該カーソルが該手の移動に追従して移動することを表示し、
該実行モジュール１９０２は、さらに、該手がターゲットジェスチャーをして、かつ、該カーソルが該少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、該ターゲット仮想コントロールに対応する機能を実行する。
いくつかの実施例において、該実行モジュール１９０２は、
該ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替え、
該ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、該仮想キーボード内に表示される文字をアルファベットと記号との間で切り替え、
該ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、該仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替える。
いくつかの実施例において、該実行モジュール１９０２は、さらに、該ターゲット仮想コントロールの表示内容を更新し、更新後の該表示内容が該仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する。
本願の実施例に示された装置は、電子機器に配置され、又は、他の機器に配置される。本願の実施例はこれを限定しない。
本願の実施例は、ジェスチャーと移動の２つの操作を組み合わせることにより、仮想キーボードのキーをトリガーするシナリオに対して、柔軟で簡単な操作方式を提供する。この方式では、ユーザが手でターゲットジェスチャーをするだけでカーソルの表示をトリガーすることができ、次に、ターゲットジェスチャーを保持しながら手を移動するだけでカーソルの移動を制御することができる。このような操作は、非常に簡単で便利なうえに、１つのキーの選択及びトリガーを精確に行うためにカーソルの移動を制御することもできる。これにより、キーへのトリガーの粒度及び精度が向上し、任意の形式の文字入力を実現することが可能になるため、適用性が良い。また、ターゲットジェスチャーを検出すると、ターゲットジェスチャーの生体認証特徴に基づいてカーソルの表示位置を決定することもできるため、ユーザが柔軟に異なる手を使ってジェスチャー操作を行うことができ、できるだけカーソルの移動距離を減少させ、操作の複雑さを低減させ、操作効率を向上させる。
説明すべきものとして、上記実施例で提供されるキー機能実行装置は、キー機能実行時に上記の各機能モジュールの分割のみを例として説明されているが、実際の適用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて実行し、即ち、キー機能実行装置の内部構成を異なる機能モジュールに分割して、以上に説明した全部又は一部の機能を実行する。また、上記実施例で提供されるキー機能実行装置は、キー機能実行方法の実施例と同一の構想に属し、その具体的な実現過程の詳細は、方法の実施例を参照すればよい。ここでは説明を省略する。
図２０は、本願の実施例で提供される電子機器の構成の模式図である。該電子機器２０００は、スペック又は性能が異なることによって、大きな差異があり得るが、１つ又は複数のプロセッサ（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）２００１と、１つ又は複数のメモリ２００２と、を含む。ここで、該メモリ２００２には、少なくとも１つのコンピュータプログラムが記憶されており、該少なくとも１つのコンピュータプログラムは、該プロセッサ２００１によってロードされて実行されると、上記の各方法の実施例で提供されるキー機能実行方法を実現させる。該電子機器は、機器の機能を実現するための他の部品をさらに含む。例えば、該電子機器は、入出力のために、有線又は無線のネットワークインタフェース、及び入出力インタフェースなどの部品をさらに有する。本願の実施例は、ここで説明を省略する。
上記の方法の実施例における電子機器は、端末として実現される。例えば、図２１は、本願の実施例で提供される端末の構成のブロック図である。端末２１００は、プロセッサ２１０１とメモリ２１０２とを備える。
プロセッサ２１０１は、１つ又は複数の処理コアを含んでもよく、例えば、４コアプロセッサ、８コアプロセッサなどである。プロセッサ２１０１は、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）のうちの少なくとも１つのハードウェアの形で実現されてもよい。いくつかの実施例において、プロセッサ２１０１は、機械学習に関する演算操作を処理するための人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサを含んでもよい。
メモリ２１０２は、１つ又は複数のコンピュータ可読記憶媒体を含んでもよい。該コンピュータ可読記憶媒体は、非一時的なものとし得る。いくつかの実施例において、メモリ２１０２内の非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶する。該少なくとも１つの命令は、プロセッサ２１０１によって実行されると、本願の方法の実施例で提供されるキー機能実行方法を実現させる。
いくつかの実施例において、端末２１００は、任意選択的に、周辺機器インタフェース２１０３及び少なくとも１つの周辺機器をさらに備える。プロセッサ２１０１、メモリ２１０２、及び周辺機器インタフェース２１０３の間には、バス又は信号線を介して接続されてもよい。各周辺機器は、バス、信号線、又は回路基板を介して、周辺機器インタフェース２１０３に接続されてもよい。具体的には、周辺機器は、ディスプレイ２１０４又はカメラコンポーネント２１０５のうちの少なくとも１種を含む。
周辺機器インタフェース２１０３は、入出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）に関する少なくとも１つの周辺機器をプロセッサ２１０１及びメモリ２１０２に接続するために用いられてもよい。いくつかの実施例において、プロセッサ２１０１、メモリ２１０２、及び周辺機器インタフェース２１０３は、同一のチップ又は回路基板上に集積される。いくつかの他の実施例において、プロセッサ２１０１、メモリ２１０２、及び周辺機器インタフェース２１０３のうちのいずれか１つ又は２つが、個別のチップ又は回路基板上で実現されてもよい。本実施例はこれを限定しない。
ディスプレイ２１０４は、ユーザインタフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。該ＵＩは、図形、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせを含んでもよい。ディスプレイ２１０４がタッチディスプレイである場合、ディスプレイ２１０４は、ディスプレイ２１０４の表面又は表面の上方のタッチ信号を収集する能力も有する。該タッチ信号は、制御信号としてプロセッサ２１０１に入力されて処理されてもよい。この場合、ディスプレイ２１０４は、ソフトボタン及び／又はソフトキーボードとも呼ばれる仮想ボタン及び／又は仮想キーボードを提供するために用いられてもよい。
カメラコンポーネント２１０５は、画像又はビデオを収集する。任意選択的に、カメラコンポーネント２１０５は、フロントカメラとリアカメラとを含む。通常、フロントカメラは、端末のフロントパネルに設けられ、リアカメラは、端末の背面に設けられる。いくつかの実施例において、リアカメラは、少なくとも２つあり、それぞれメインカメラ、デプスカメラ、広角カメラ、望遠カメラのうちの任意の１種類である。これにより、メインカメラ及びデプスカメラを組み合わせて実現される背景ボケの機能、メインカメラ及び広角カメラを組み合わせて実現されるパノラマ撮影及び仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）撮影の機能、又はその他の組み合わせ撮影の機能を実現する。
いくつかの実施例において、端末２１００は、１つ又は複数のセンサをさらに含む。該１つ又は複数のセンサは、加速度センサ、ジャイロセンサ、圧力センサ、光学センサ、及び近接センサを含むが、これらに限定されない。
当業者であれば理解できるように、図２１に示す構成が、端末２１００を限定するものではなく、端末２１００は、図示より多く又は少ないコンポーネントを含んでもよく、あるいはいくらかのコンポーネントを組み合わせたものであってもよく、あるいはコンポーネントの異なる配置を採用してもよい。
上記の方法の実施例における電子機器は、サーバとして実現される。例えば、図２２は、本願の実施例で提供されるサーバの構成の模式図である。該サーバ２２００は、スペック又は性能が異なることによって、大きな差異があり得るが、１つ又は複数のプロセッサ（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）２２０１と、１つ又は複数のメモリ２２０２と、を含む。ここで、該メモリ２２０２には、少なくとも１つのコンピュータプログラムが記憶されており、該少なくとも１つのコンピュータプログラムは、該プロセッサ２２０１によってロードされて実行されると、上記の各方法の実施例で提供されるキー機能実行方法を実現させる。もちろん、該サーバは、入出力のために、有線又は無線のネットワークインタフェース、及び入出力インタフェースなどの部品を有する。該サーバは、機器の機能を実現するための他の部品を含むが、ここでは説明を省略する。
例示的な実施例では、コンピュータ可読記憶媒体、例えば、少なくとも１つのコンピュータプログラムを含むメモリがさらに提供されている。上記の少なくとも１つのコンピュータプログラムは、プロセッサによって実行されると、上記の実施例におけるキー機能実行方法を実行させることが可能である。例えば、コンピュータ可読記憶媒体は、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気テープ、フロッピーディスク、及び光データ記憶装置などである。
例示的な実施例では、１つ又は複数のプログラムコードを含むコンピュータプログラム製品又はコンピュータプログラムがさらに提供されており、該１つ又は複数のプログラムコードは、コンピュータ可読記憶媒体に記憶されている。電子機器の１つ又は複数のプロセッサは、コンピュータ可読記憶媒体から該１つ又は複数のプログラムコードを読み取り、該１つ又は複数のプロセッサが該１つ又は複数のプログラムコードを実行することで、電子機器に上記キー機能実行方法を実行させる。
いくつかの実施例において、本願の実施例に係るコンピュータプログラムは、１つのコンピュータ機器で実行されたり、１つの場所にある複数のコンピュータ機器で実行されたり、複数の場所に分散されて通信ネットワークを介して互いに接続される複数のコンピュータ機器で実行されたりするように配置されてもよい。複数の場所に分散されて通信ネットワークを介して互いに接続される複数のコンピュータ機器は、ブロックチェーンシステムを構成してもよい。
当業者であれば理解できるように、上記実施例を実現するためのステップの全部又は一部は、ハードウェアによって実行されてもよいし、プログラムを介して関連ハードウェアに指示することにより実行されてもよい。該プログラムは、コンピュータ可読記憶媒体に記憶されている。上記で言及された記憶媒体は、読み出し専用メモリ、磁気ディスク、又は光ディスクなどである。
上記は、本願の任意選択的な実施例に過ぎず、本願を限定するものではない。本願の精神および原則内で行われる任意の修正、均等置換え、改善などは全て本願の保護範囲内に含まれるべきである。

Claims (16)

  1. キー機能実行方法であって、
    キー機能実行システムが仮想キーボードを表示するステップであって、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応する、ステップと、
    手がターゲットジェスチャーにあることの検出に応答して、前記システムが、前記ターゲットジェスチャーの生体認証特徴に基づいて、第１位置にカーソルを表示するステップであって、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置である、ステップと、
    前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記システムが、前記カーソルが前記手の移動に追従して移動することを表示するステップと、
    前記手のジェスチャーの変化に応答して、前記システムが前記仮想キーボードの第２位置に対応するキーの機能を実行するステップであって、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である、ステップと、
    を含む方法。
  2. 前記システムが、前記ターゲットジェスチャーの生体認証特徴に基づいて、前記第１位置にカーソルを表示するステップであって、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置する、ステップは、
    前記生体認証特徴によって前記手が左手であることが示されることに応答して、前記システムが前記仮想キーボードの前記第１領域内のターゲット位置にカーソルを表示するステップと、
    前記生体認証特徴によって前記手が右手であることが示されることに応答して、前記システムが前記仮想キーボードの前記第２領域内のターゲット位置にカーソルを表示するステップと、を含む、
    請求項１に記載の方法。
  3. 前記システムが、前記ターゲットジェスチャーの生体認証特徴に基づいて、前記第１位置にカーソルを表示するステップは、
    前記生体認証特徴によって、前記手が左手であり、かつ、前記ターゲットジェスチャーが前記手の第１指及び親指で形成されることが示されることに応答して、前記システムが前記第１領域の、前記第１指に対応するサブ領域内のターゲット位置にカーソルを表示するステップと、
    前記生体認証特徴によって、前記手が右手であり、かつ、前記ターゲットジェスチャーが前記手の第１指及び親指で形成されることが示されることに応答して、前記システムが前記第２領域の、前記第１指に対応するサブ領域内のターゲット位置にカーソルを表示するステップと、を含む、
    請求項１に記載の方法。
  4. 前記ターゲット位置は、領域の中心位置である、請求項２又は３に記載の方法。
  5. 前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記システムが、前記カーソルが前記手の移動に追従して移動することを表示するステップは、
    前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記システムが前記手の変位を取得するステップと、
    前記システムが、前記第１位置と、前記手の変位とに基づいて、第３位置を決定するステップと、
    前記システムが、前記カーソルが前記第１位置から前記第３位置に移動することを表示するステップと、を含む、
    請求項１に記載の方法。
  6. 前記システムが前記仮想キーボードの第２位置に対応するキーの機能を実行するステップは、
    前記第２位置に対応するキーが文字キーであることに応答して、前記システムが、前記仮想キーボードの入力ボックス又は文字表示領域に、前記第２位置に対応するキーが示す文字を入力するステップと、
    前記第２位置に対応するキーが削除キーであることに応答して、前記システムが、前記仮想キーボードの入力ボックス又は文字表示領域内の最後の文字を削除するステップと、
    前記第２位置に対応するキーが改行キーであることに応答して、前記システムが、前記仮想キーボードの入力ボックス内の入力カーソルが次の行に改行されることを表示するステップと、
    前記第２位置に対応するキーが確認キーであることに応答して、前記システムが、前記仮想キーボードの入力ボックス内の入力済みの内容をターゲット内容として、前記仮想キーボードの表示を取り消すステップと、のいずれか１つを含む、
    請求項１に記載の方法。
  7. 前記仮想キーボードの文字表示領域内の入力済みの文字組み合わせに対応する候補漢字が存在することに応答して、前記システムが前記文字表示領域のターゲット範囲内に前記候補漢字を表示するステップをさらに含む、
    請求項１に記載の方法。
  8. 前記仮想キーボードには、少なくとも１つの仮想コントロールがさらに含まれ、前記方法は、
    手が前記ターゲットジェスチャーになく、かつ、前記手が移動することの検出に応答して、前記システムが、前記カーソルが前記手の移動に追従して移動することを表示するステップと、
    前記手がターゲットジェスチャーをして、かつ、前記カーソルが前記少なくとも１つの仮想コントロールのうちのターゲット仮想コントロールに位置することの検出に応答して、前記システムが、前記ターゲット仮想コントロールに対応する機能を実行するステップと、をさらに含む、
    請求項１に記載の方法。
  9. 前記システムが、前記仮想コントロールに対応する機能を実行するステップは、
    前記ターゲット仮想コントロールが大文字入力と小文字入力の切り替えコントロールであることに応答して、前記システムが、前記仮想キーボード内に表示される文字を大文字入力文字と小文字入力文字との間で切り替えるステップと、
    前記ターゲット仮想コントロールが記号入力とアルファベット入力の切り替えコントロールであることに応答して、前記システムが、前記仮想キーボード内に表示される文字をアルファベットと記号との間で切り替えるステップと、
    前記ターゲット仮想コントロールが中国語入力と英語入力の切り替えコントロールであることに応答して、前記システムが、前記仮想キーボードの文字入力モードを中国語入力と英語入力との間で切り替えるステップと、を含む、
    請求項８に記載の方法。
  10. 前記システムが、前記仮想コントロールに対応する機能を実行するステップは、
    前記システムが前記ターゲット仮想コントロールの表示内容を更新するステップであって、更新後の前記表示内容が前記仮想キーボード内の文字の切り替え又は文字入力モードの切り替えと一致する、ステップをさらに含む、
    請求項９に記載の方法。
  11. 電子機器と、ジェスチャー追跡センサと、表示機器と、を含むキー機能実行システムであって、前記ジェスチャー追跡センサ及び前記表示機器は、それぞれ、前記電子機器に接続され、
    前記表示機器は、仮想キーボードを表示し、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応し、
    前記ジェスチャー追跡センサは、手がターゲットジェスチャーにあることを検出し、
    前記表示機器は、さらに、前記手が前記ターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、前記第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置であり、
    前記ジェスチャー追跡センサは、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することを検出し、
    前記表示機器は、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
    前記電子機器は、前記手のジェスチャーの変化に応答して、前記仮想キーボードの第２位置に対応するキーの機能を実行し、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である、
    システム。
  12. 前記表示機器は、仮想現実表示機器又はスクリーンディスプレイである、請求項１１に記載のシステム。
  13. キー機能実行装置であって、表示モジュールと、実行モジュールと、を含み、
    前記表示モジュールは、仮想キーボードを表示し、前記仮想キーボードには、第１領域及び第２領域が含まれ、前記第１領域及び第２領域のそれぞれに少なくとも２つのキーが含まれ、前記第１領域が左手に対応し、前記第２領域が右手に対応し、
    前記表示モジュールは、さらに、手がターゲットジェスチャーにあることの検出に応答して、前記ターゲットジェスチャーの生体認証特徴に基づいて、前記第１位置にカーソルを表示し、前記第１位置は、前記仮想キーボードの、前記生体認証特徴に対応する領域内に位置し、前記生体認証特徴に対応する位置であり、
    前記表示モジュールは、さらに、前記手が前記ターゲットジェスチャーを保持しながら移動することに応答して、前記カーソルが前記手の移動に追従して移動することを表示し、
    前記実行モジュールは、前記手のジェスチャーの変化に応答して、前記仮想キーボードの第２位置に対応するキーの機能を実行し、前記第２位置は、前記手のジェスチャーの変化時に前記カーソルが位置する位置である、
    装置。
  14. １つ又は複数のプロセッサと、１つ又は複数のメモリと、を備える電子機器であって、前記１つ又は複数のメモリには、少なくとも１つのコンピュータプログラムが記憶されており、前記少なくとも１つのコンピュータプログラムは、前記１つ又は複数のプロセッサによりロードされて実行されると、請求項１乃至１０のいずれか１項に記載のキー機能実行方法を実現させる電子機器。
  15. 少なくとも１つのコンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記少なくとも１つのコンピュータプログラムは、プロセッサによりロードされて実行されると、請求項１乃至１０のいずれか１項に記載のキー機能実行方法を実現させる記憶媒体。
  16. １つ又は複数のプログラムコードを含むコンピュータプログラム製品であって、前記１つ又は複数のプログラムコードは、コンピュータ可読記憶媒体に記憶されており、電子機器の１つ又は複数のプロセッサは、前記コンピュータ可読記憶媒体から前記１つ又は複数のプログラムコードを読み取り、前記１つ又は複数のプロセッサが前記１つ又は複数のプログラムコードを実行することで、前記電子機器に請求項１乃至１０のいずれか１項に記載のキー機能実行方法を実行させる、コンピュータプログラム製品。
JP2023571382A 2021-06-22 2022-05-18 キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム Pending JP2024520943A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110693794.4A CN113253908B (zh) 2021-06-22 2021-06-22 按键功能执行方法、装置、设备及存储介质
CN202110693794.4 2021-06-22
PCT/CN2022/093610 WO2022267760A1 (zh) 2021-06-22 2022-05-18 按键功能执行方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
JP2024520943A true JP2024520943A (ja) 2024-05-27

Family

ID=77189245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023571382A Pending JP2024520943A (ja) 2021-06-22 2022-05-18 キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20230244379A1 (ja)
EP (1) EP4307096A1 (ja)
JP (1) JP2024520943A (ja)
CN (1) CN113253908B (ja)
WO (1) WO2022267760A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253908B (zh) * 2021-06-22 2023-04-25 腾讯科技（深圳）有限公司 按键功能执行方法、装置、设备及存储介质
CN116048374B (zh) * 2023-03-05 2023-08-29 广州网才信息技术有限公司 虚拟隐形键盘的在线考试方法及***
CN117193540B (zh) * 2023-11-06 2024-03-12 南方科技大学 虚拟键盘的控制方法和***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324271B (zh) * 2012-03-19 2017-07-25 联想(北京)有限公司 一种基于手势的输入方法和电子设备
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置
WO2018103040A1 (zh) * 2016-12-08 2018-06-14 深圳市柔宇科技有限公司 头戴式显示设备及其内容输入方法
CN109542239A (zh) * 2019-01-16 2019-03-29 张斌 一种手势控制方法、手势设备及***
CN109828672B (zh) * 2019-02-14 2022-05-27 亮风台（上海）信息科技有限公司 一种用于确定智能设备的人机交互信息的方法与设备
US20200387214A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Artificial reality system having a self-haptic virtual keyboard
US10955929B2 (en) * 2019-06-07 2021-03-23 Facebook Technologies, Llc Artificial reality system having a digit-mapped self-haptic input method
CN111142675A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 输入方法及头戴式电子设备
CN111142674B (zh) * 2019-12-31 2021-09-14 联想(北京)有限公司 一种控制方法及电子设备
CN111443831A (zh) * 2020-03-30 2020-07-24 北京嘉楠捷思信息技术有限公司 一种手势识别方法及装置
CN111596757A (zh) * 2020-04-02 2020-08-28 林宗宇 一种基于指尖交互的手势控制方法和装置
CN113253908B (zh) * 2021-06-22 2023-04-25 腾讯科技（深圳）有限公司 按键功能执行方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4307096A1 (en) 2024-01-17
CN113253908B (zh) 2023-04-25
CN113253908A (zh) 2021-08-13
US20230244379A1 (en) 2023-08-03
WO2022267760A1 (zh) 2022-12-29

Similar Documents

Publication Publication Date Title
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US20180218202A1 (en) Image processing device, method thereof, and program
KR100783552B1 (ko) 휴대 단말기의 입력 제어 방법 및 장치
KR102247020B1 (ko) 손가락 동작 인식을 이용한 키보드 입력 시스템 및 키보드 입력 방법
US9910498B2 (en) System and method for close-range movement tracking
KR100984596B1 (ko) 터치 감지 입력 장치용 제스처
JP2024520943A (ja) キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム
US9063573B2 (en) Method and system for touch-free control of devices
JP7233109B2 (ja) タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム
JP2012511774A (ja) ソフトウェアキーボード制御方法
CN111596757A (zh) 一种基于指尖交互的手势控制方法和装置
Geer Will gesture recognition technology point the way?
CN112541375A (zh) 一种手部关键点识别方法及装置
Chun et al. A combination of static and stroke gesture with speech for multimodal interaction in a virtual environment
CN104951211A (zh) 一种信息处理方法和电子设备
JP6232694B2 (ja) 情報処理装置、その制御方法及びプログラム
Athira Touchless technology
Chen Universal motion-based control and motion recognition
Lee et al. Embodied interaction on constrained interfaces for augmented reality
US20160274667A1 (en) Apparatus and method for inputting character
CN112698739B (zh) 一种控制方法及装置
US20220137712A1 (en) Information processing apparatus, information processing method, and program
HANI Detection of Midair Finger Tapping Gestures and Their Applications
JP6146510B2 (ja) 表示制御装置および表示制御方法、表示制御プログラム、記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231116