JP6598089B2

JP6598089B2 - ジェスチャコントロール方法、装置、端末デバイス、およびストレージ媒体

Info

Publication number: JP6598089B2
Application number: JP2017553945A
Authority: JP
Inventors: ▲偉▼ 王
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2015-04-14
Filing date: 2015-04-14
Publication date: 2019-10-30
Anticipated expiration: 2035-04-14
Also published as: JP2018511892A; WO2016165066A1; EP3276480A4; CN106415472B; CN106415472A; US20180095657A1; EP3276480A1; US10802704B2

Description

本発明の実施形態は、タッチコントロールの分野に関し、特に、ジェスチャコントロール方法、装置、端末デバイス、およびストレージ媒体に関する。

マン-マシンインタラクションデバイスとして、タッチスクリーンがより広く応用される。ユーザは、様々なタッチジェスチャを生成するために押下、移動、および持ち上げ(lift-up)などの基本的なタッチアクションをタッチスクリーン上で実行する。操作の便利さのため、タップジェスチャは、既存の端末デバイス上で最も頻繁に使用されるタッチジェスチャである。入力されたタップジェスチャに関して、端末デバイスは、入力されたタップジェスチャの位置に従って、位置に対応するアプリケーションプログラムを決定し、対応する動作を実行するためにアプリケーションプログラムをトリガする。位置がアプリケーションプログラムに対応しない場合、動作はトリガされない。

現在、すべての端末デバイスは、位置および軌跡(track)に基づいてタッチジェスチャを特定する。より多くの機能およびより多くのアプリケーションソフトウェアが端末デバイス上で使用されるとき、2次元平面に基づくそのようなタッチジェスチャは、端末デバイスのインタラクションの要件をもはや満たすことができず、新しいインタラクションの方法が、早急に導入される必要がある。

技術的な問題を解決するために、本発明の実施形態は、端末デバイスのインタラクションの方法を拡充するためにジェスチャコントロール方法、装置、端末デバイス、およびストレージ媒体を提供する。

上述の技術的な問題を解決するために、本発明の実施形態の第1の態様は、ジェスチャコントロール方法であって、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出するステップと、
タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度(z-axis acceleration)を取得するステップと、
接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きい場合、タッチアクションが関節タッチアクション(joint touch action)であると判定するステップと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すステップとを含む、方法を提供する。

第1の態様に関連して、第1の可能な実装方法において、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すステップは、
関節タッチアクションが実行されるユーザインターフェース、およびユーザインターフェースが属するアプリケーションプログラムを決定することと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってアプリケーションプログラムに対応する予め設定された機能を呼び出すこととを含む。

第1の態様に関連して、第2の可能な実装方法において、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すステップは、
関節タッチアクションが実行されるユーザインターフェースを決定することと、
関節アクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップである場合、ジェスチャの種類に関連するアプリケーションプログラムを照会し、アプリケーションプログラムを起動するかまたは閉じることとを含む。

第1の態様に関連して、第3の可能な実装方法において、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すステップは、
関節タッチアクションが実行されるユーザインターフェースを決定することと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってユーザインターフェース上で動作を実行することであって、動作が、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む、実行することとを含む。

第1の態様または第1の態様の第1から第3の可能な実装方法のいずれか1つに関連して、第4の可能な実装方法において、タッチアクションに対応するジェスチャの種類は、タップジェスチャまたはスライドジェスチャを含み、タップジェスチャは、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、スライドの軌跡は、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む。

第1の態様または第1の態様の第1から第4の可能な実装方法のいずれか1つに関連して、第5の可能な実装方法において、タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得するステップは、
タッチスクリーンの接触領域内のタッチアクションのピクセルの量m、タッチスクリーンのピクセルの量n、およびタッチスクリーンの面積sを取得することと、
式s*(m/n)を使用することによって計算によりタッチスクリーン上のタッチアクションの接触面積を取得することと、
端末デバイスに付随する重力加速度センサを使用することによってタッチアクションのz軸加速度を取得することとを含む。

第1の態様または第1の態様の第1から第5の可能な実装方法のいずれか1つに関連して、第6の可能な実装方法において、端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出する前に、方法は、
予め設定された機能と関節タッチアクションに対応するジェスチャの種類との間のマッピング関係をカスタマイズし、マッピング関係をマッピング関係データベースに記憶するステップをさらに含む。

本発明の実施形態の第2の態様は、ジェスチャコントロール装置であって、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出するように構成された検出モジュールと、
タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得するように構成された取得モジュールと、
接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きい場合、タッチアクションが関節タッチアクションであると判定するように構成された判定モジュールと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すように構成された呼び出しモジュールとを含む、装置を提供する。

第2の態様に関連して、第1の可能な実装方法において、呼び出しモジュールは、
関節タッチアクションが実行されるユーザインターフェース、およびユーザインターフェースが属するアプリケーションプログラムを決定するように構成された第1の決定ユニットと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってアプリケーションプログラムに対応する予め設定された機能を呼び出すように構成された第1の呼び出しユニットとを含む。

第2の態様に関連して、第2の可能な実装方法において、呼び出しモジュールは、
関節タッチアクションが実行されるユーザインターフェースを決定するように構成された第2の決定ユニットと、
関節アクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップである場合、ジェスチャの種類に関連するアプリケーションプログラムを照会し、アプリケーションプログラムを起動するかまたは閉じるように構成された第2の呼び出しユニットとを含む。

第2の態様に関連して、第3のあり得る実装方法において、呼び出しモジュールは、
関節タッチアクションが実行されるユーザインターフェースを決定するように構成された第3の決定ユニットと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってユーザインターフェース上で動作を実行するように構成された第3の呼び出しユニットであって、動作が、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む、第3の呼び出しユニットとを含む。

第2の態様または第2の態様の第1から第3の可能な実装方法のいずれか1つに関連して、第4の可能な実装方法において、タッチアクションに対応するジェスチャの種類は、タップジェスチャまたはスライドジェスチャを含み、タップジェスチャは、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、スライドの軌跡は、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む。

第2の態様または第2の態様の第1から第4の可能な実装方法のいずれか1つに関連して、第5の可能な実装方法において、取得モジュールは、
タッチスクリーンの接触領域内のタッチアクションのピクセルの量m、タッチスクリーンのピクセルの量n、およびタッチスクリーンの面積sを取得するように構成された第1の取得ユニットと、
式s*(m/n)を使用することによって計算によりタッチスクリーン上のタッチアクションの接触面積を取得するように構成された計算ユニットと、
端末デバイスに付随する重力加速度センサを使用することによってタッチアクションのz軸加速度を取得するように構成された第2の取得ユニットとを含む。

第2の態様または第2の態様の第1から第5の可能な実装方法のいずれか1つに関連して、第6の可能な実装方法において、ジェスチャコントロール装置は、関節タッチアクションに対応するジェスチャの種類と予め設定された機能との間のマッピング関係をカスタマイズし、マッピング関係をマッピング関係データベースに記憶するように構成されたマッピングモジュールをさらに含む。

本発明の実施形態の第3の態様は、プロセッサおよびメモリを含むジェスチャ特定装置であって、1組のプログラムコードがメモリに記憶され、プロセッサが以下の動作、すなわち、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出する動作と、
タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得する動作と、
接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きい場合、タッチアクションが関節タッチアクションであると判定する動作と、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出す動作とを実行するためにメモリに記憶されたプログラムコードを呼び出す、装置を提供する。

第3の態様に関連して、第1の可能な実装方法において、プロセッサが、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの対応する予め設定された機能を呼び出す動作を実行することは、
関節タッチアクションが実行されるユーザインターフェース、およびユーザインターフェースが属するアプリケーションプログラムを決定することと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってアプリケーションプログラムに対応する予め設定された機能を呼び出すこととを含む。

第3の態様に関連して、第2の可能な実装方法において、プロセッサが、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの対応する予め設定された機能を呼び出す動作を実行することは、
関節タッチアクションが実行されるユーザインターフェースを決定することと、
関節アクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップである場合、ジェスチャの種類に関連するアプリケーションプログラムを照会し、アプリケーションプログラムを起動するかまたは閉じることとを含む。

第3の態様に関連して、第3の可能な実装方法において、呼び出しモジュールは、
関節タッチアクションが実行されるユーザインターフェースを決定するように構成された第3の決定ユニットと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってユーザインターフェース上で動作を実行するように構成された第3の呼び出しユニットであって、動作が、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む、第3の呼び出しユニットとを含む。

第3の態様または第3の態様の第1から第3の可能な実装方法のいずれか1つに関連して、第4の可能な実装方法において、タッチアクションに対応するジェスチャの種類は、タップジェスチャまたはスライドジェスチャを含み、タップジェスチャは、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、スライドの軌跡は、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む。

第3の態様または第3の態様の第1から第4の可能な実装方法のいずれか1つに関連して、第5の可能な実装方法において、プロセッサが、タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得する動作を実行することは、
タッチスクリーンの接触領域内のタッチアクションのピクセルの量m、タッチスクリーンのピクセルの量n、およびタッチスクリーンの面積sを取得することと、
式s*(m/n)を使用することによって計算によりタッチスクリーン上のタッチアクションの接触面積を取得することと、
端末デバイスに付随する重力加速度センサを使用することによってタッチアクションのz軸加速度を取得することとを含む。

第3の態様または第3の態様の第1から第5の可能な実装方法のいずれか1つに関連して、第6の可能な実装方法において、プロセッサは、以下の動作、すなわち、
予め設定された機能と関節タッチアクションに対応するジェスチャの種類との間のマッピング関係をカスタマイズし、マッピング関係をマッピング関係データベースに記憶する動作を実行するようにさらに構成される。

本発明の実施形態の第4の態様は、上述のジェスチャコントロール装置、タッチスクリーン、または重力センサのうちのいずれか1つを含む端末デバイスを提供する。

本発明の実施形態の第5の態様は、ジェスチャコントロール方法を実行するようにコンピュータデバイスを制御するように構成されたストレージ媒体であって、方法が、以下のステップ、すなわち、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出するステップと、
タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得するステップと、
接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きい場合、タッチアクションが関節タッチアクションであると判定するステップと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すステップとを含む、ストレージ媒体を提供する。

本発明を実装することによって、以下の有益な効果が実現される。

タッチスクリーン上で生成される接触面積およびz軸加速度が取得され、関節タッチアクションが特定され、関節タッチアクションに対応するジェスチャの種類が特定され、端末デバイスの予め設定された機能がジェスチャの種類に従って呼び出される。これは、接触面積およびz軸加速度に基づく端末デバイスとのインタラクションのためのさらなる方法を提供し、それによって、端末デバイスとのインタラクションのための方法を拡充する。

本発明の実施形態または従来技術における技術的な解決策をより明瞭に説明するために、以下で、実施形態を説明するために必要とされる添付の図面を簡潔に説明する。明らかに、以下の説明における添付の図面は、本発明の一部の実施形態を示すに過ぎず、当業者は、創造的な努力なしにこれらの添付の図面からその他の図面を導き出すことがやはり可能である。

本発明の実施形態によるジェスチャコントロール方法の概略的な流れ図である。本発明の実施形態によるジェスチャコントロール方法の別の概略的な流れ図である。本発明の実施形態によるジェスチャコントロール方法の別の概略的な流れ図である。本発明の実施形態によるジェスチャコントロール装置の概略構造図である。本発明の実施形態によるジェスチャコントロール装置の別の概略構造図である。図4に示された呼び出しモジュールの概略構造図である。図4に示された呼び出しモジュールの別の概略構造図である。図4に示された呼び出しモジュールのさらに別の概略構造図である。図4に示された取得モジュールの概略構造図である。本発明の実施形態によるジェスチャコントロール装置のさらに別の概略構造図である。本発明の実施形態による端末デバイスの概略構造図である。

以下で、本発明の実施形態の技術的な解決策を本発明の実施形態の添付の図面を参照して明瞭および完全に説明する。明らかに、説明される実施形態は、本発明の実施形態の一部に過ぎず、すべてではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られるすべてのその他の実施形態は、本発明の保護範囲内に入る。

図1を参照すると、図1は、本発明の実施形態によるジェスチャコントロール方法の概略的な流れ図である。本発明のこの実施形態において、方法は、S101からS104を含む。

S101. 端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出する。

特に、端末デバイスのタッチスクリーン上で指によって実行されたタッチアクションが、スクリーンオン状態またはスクリーンオフ状態で検出される可能性があり、タッチ信号が、生成される。スクリーンオン状態は、タッチスクリーンのバックライトがオンにされることを意味し、スクリーンオン状態は、ロックされたスクリーンオン状態およびロック解除されたスクリーンのスクリーンオン状態を含む。スクリーンオフ状態は、タッチスクリーンのバックライトがオフにされることを意味する。タッチスクリーンは、特別なタッチスクリーンである可能性があり、またはタッチ機能を有するディスプレイデバイスである可能性がある。マルチタッチテクノロジーにおいては、1つまたは複数のタッチ点で実行されたタッチアクションが、タッチイベント処理機能を使用することによってタッチスクリーンにより受け取られる可能性があり、対応するジェスチャが、生成される。異なるジェスチャは、異なる操作を示す。タッチジェスチャの特定および取得は、タッチテクノロジーの異なる動作原理によって変わり得る。これは、本発明において限定されない。基本的な指のタッチアクションは、押下(down)、移動(move)、および持ち上げ(up)などの指のアクションを含み得る。異なる種類のジェスチャが、異なる基本的なタッチアクションを組み合わせることによって形成される。たとえば、タップジェスチャは、2つの基本的なタッチアクション、すなわち、押下および持ち上げを含み、スライドジェスチャは、3つの基本的なタッチアクション、すなわち、押下、移動、および持ち上げを含む。指がタッチスクリーンと接触しているとき、タッチ信号が、タッチスクリーン上で生成され、端末デバイスのタッチスクリーン上で実行されたタッチアクションが、タッチ信号に従って検出される。

本発明においては、タッチスクリーン上で実行されるタッチアクションは指によって実行されることに限定されないことを理解されたい。タッチアクションは、別の物体によってタッチスクリーン上で実行される可能性があり、異なるタッチテクノロジーに基づくタッチスクリーンは、異なる種類の物体によって実行されたタッチアクションを感知することができる。

S102. タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得する。

特に、接触領域は、指がタッチスクリーンと接触しているときに生成された接触領域の面積を指す。指がタッチスクリーンを初めて押下するとき、初めて押下される接触領域の面積が取得される。指がタッチスクリーンにタッチするとき、特定の速度がz軸方向に存在する。指の速度は、硬いタッチスクリーンが原因で極めて短い時間の期間の間にゼロまで弱められ、それによって、z軸方向の重力加速度を生成する。z軸方向の指のより大きな速度は、z軸方向の生成されるより大きな重力加速度を示す。優先的に、タッチアクションは、指の関節がタッチスクリーンと接触しているときのアクションを指す。

本発明のこの実施形態において、z軸は、タッチスクリーンと垂直な方向を指す。指が特定の速度でタッチスクリーンと接触しているとき、速度が生成される方向はタッチスクリーンと完全に垂直ではないことが理解され得る。したがって、取得され得るz軸加速度は、角度の余弦値を使用することによって修正される。角度の大きさは、直接測定され得ないが、経験から得られた値に従って設定され得る。

S103. 接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きい場合、タッチアクションが関節タッチアクションであると判定する。

特に、S102においては、取得された接触面積が予め設定された面積よりも大きく、取得されたz軸加速度が予め設定された加速度よりも大きい場合、タッチスクリーン上で実行されたタッチアクションが、関節タッチアクションとして判定される。本発明のこの実施形態において、関節タッチアクションは新しく定義されたタッチアクションであることが理解され得る。関節タッチアクションは、必ずしも指の関節によってトリガされるアクションではない可能性があり、高速でタッチスクリーンをタップすることによって別の物体によりトリガされるアクションである可能性がある。本発明のこの実施形態においては、接触面積およびz軸加速度の上述の制約を満たす任意のタッチアクションが、関節タッチアクションと呼ばれる可能性がある。

S104. 関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出す。

特に、タッチアクションは、少なくとも1つの基本的なタッチアクションを含む。関節タッチアクションに対応するジェスチャの種類が特定され、ジェスチャの種類に従って端末デバイスの対応する予め設定された機能が呼び出される。端末デバイスの対応する予め設定された機能は、端末デバイス上でアプリケーションプログラムを起動する/閉じること、またはアプリケーションプログラムの機能を呼び出すこと、たとえば、設定メニューに入ること、カメラを起動すること、スクリーンキャプチャを始めること、もしくはテーマを替えることを含め、端末デバイス上で対応するアプリケーションプログラムを起動すること、またはショートメッセージアプリケーションプログラムの応答機能を呼び出すこと、インスタントコミュニケーションアプリケーションプログラムのテレビ電話機能を呼び出すこと、もしくはブラウザアプリケーションプログラムのスクリーンキャプチャ機能を呼び出すことを含む。異なるジェスチャの種類に対応する異なる機能が、ユーザによって事前にカスタマイズされる可能性がある。アプリケーションプログラムは、システムアプリケーションプログラムまたはサードパーティアプリケーションプログラムである可能性がある。システムアプリケーションプログラムは、端末デバイスのオペレーティングシステムに付随するアプリケーションプログラムを指し、たとえば、システムアプリケーションプログラムに対応する機能は、ダイヤル機能、設定機能、およびショートメッセージのユーザインターフェースに入る機能を含む。サードパーティアプリケーションプログラムは、端末デバイスにインストールされたアプリケーションプログラムを指す。

任意で、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すことは、
関節タッチアクションが実行されるユーザインターフェース、およびユーザインターフェースが属するアプリケーションプログラムを決定することと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってアプリケーションプログラムに対応する予め設定された機能を呼び出すこととを含む。

特に、アプリケーションプログラムは、端末デバイス上で複数の異なるユーザインターフェースを提示し、アプリケーションプログラムは、様々な予め設定された機能を含む。関節タッチアクションが端末デバイス上で実行されるとき、関節タッチアクションが実行されるユーザインターフェース、およびユーザインターフェースが属するアプリケーションプログラムが決定され、関節タッチアクションに対応するジェスチャの種類が特定される。ジェスチャの種類は、タップジェスチャまたはスライドジェスチャを含み、ユーザインターフェースが属するアプリケーションプログラムの予め設定された機能が、ジェスチャの種類に従って呼び出される。

たとえば、関節タッチアクションが実行されるユーザインターフェースがインスタントコミュニケーションソフトウェアのユーザインターフェースであり、関節タッチアクションに対応するジェスチャの種類が2点1タップジェスチャであり、インスタントコミュニケーションソフトウェアの2点1タップジェスチャに対応する予め設定された機能が部分的スクリーンキャプチャ機能であるとき、スクリーンキャプチャ機能が有効化され、サイズを調節可能なスクリーンキャプチャエリアが関節タッチアクションが実行されるユーザインターフェース上に表示される。必要とされるスクリーンキャプチャエリアを調整した後、ユーザは、端末デバイスの指定された場所にキャプチャされた画像を記憶する。あるいは、関節タッチアクションが実行されるユーザインターフェースがインスタントコミュニケーションソフトウェアのユーザインターフェースであり、関節タッチアクションに対応するジェスチャの種類が3点1タップジェスチャであり、インスタントコミュニケーションソフトウェアの3点1タップジェスチャに対応する予め設定された機能がフルスクリーンキャプチャ機能であるとき、フルスクリーンで生成された画像がキャプチャされ、生成された画像が端末デバイスの指定された場所に記憶される。

別の例として、関節タッチアクションが実行されるユーザインターフェースがカメラアプリケーションソフトウェアのユーザインターフェースであり、関節タッチアクションに対応するジェスチャの種類がS字を描くジェスチャ(S-track gesture)であり、カメラアプリケーションソフトウェアのS字を描くジェスチャに対応する予め設定された機能が写真撮影機能である場合、写真撮影機能が有効化される。あるいは、カメラアプリケーションソフトウェアのM字を描くジェスチャ(M-track gesture)に対応する予め設定された機能が、動画記録機能である。

異なる種類のアプリケーションプログラムにおいては、同じジェスチャの種類に対応する予め設定された機能が同じである可能性がありまたは異なる可能性があり、ジェスチャの種類に対応する予め設定された機能が要件に応じてカスタマイズされる可能性があることに留意されたい。

任意で、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すことは、
関節タッチアクションが実行されるユーザインターフェースを決定することと、
関節アクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップである場合、ジェスチャの種類に関連するアプリケーションプログラムを照会し、アプリケーションプログラムを起動するかまたは閉じることとを含む。

特に、関節タッチアクションが端末デバイス上で実行されるとき、関節タッチアクションが実行されるユーザインターフェースが決定され、ユーザインターフェースの種類が決定される。ユーザインターフェースが端末デバイスのシステムデスクトップである場合、ジェスチャの種類に関連するアプリケーションプログラムが照会され、関連するアプリケーションプログラムの動作ステータスが取得される。関連するアプリケーションプログラムが起動されていない状態である場合、関連するアプリケーションプログラムが起動され、関連するアプリケーションプログラムが起動された後に取得されたユーザインターフェースが端末デバイス上に表示され、または関連するアプリケーションプログラムがバックグラウンド動作状態である場合、関連するアプリケーションプログラムが閉じられる。本発明のこの実施形態において、アプリケーションプログラムは、システムアプリケーションプログラムまたはサードパーティアプリケーションプログラムである可能性がある。これは、本明細書において限定されない。モバイル端末においては、タッチスクリーンの限られたサイズが原因で、概して、モバイル端末のシステムデスクトップが複数の下位ユーザインターフェースに分割されることが理解され得る。関節タッチアクションが実行されるユーザインターフェースが複数の下位ユーザインターフェースのうちのいずれかの下位ユーザインターフェースであるとき、関節タッチアクションが実行されるユーザインターフェースは、システムデスクトップであると決定され得る。

たとえば、端末デバイス上で実行された関節タッチアクションが検出され、関節タッチアクションが実行されるユーザインターフェースがシステムデスクトップであると決定され、関節タッチアクションに対応するジェスチャの種類がC字を描くジェスチャ(C-track gesture)であると特定されるとき、照会によって、C字を描くジェスチャに対応する予め設定された機能がカメラアプリケーションプログラムを呼び出すことであることが分かり、カメラアプリケーションプログラムの動作ステータスが取得され、カメラアプリケーションプログラムが起動されていない状態である場合、カメラアプリケーションプログラムが起動され、カメラユーザインターフェースが端末デバイス上に表示され、またはカメラアプリケーションプログラムがバックグラウンド動作状態である場合、カメラアプリケーションプログラムが閉じられる。あるいは、関節タッチアクションに対応するジェスチャの種類がS字を描くジェスチャであると特定され、照会によって、S字を描くジェスチャに対応する予め設定された機能がショートメッセージアプリケーションプログラムを呼び出すことであることが分かり、ショートメッセージアプリケーションプログラムの動作ステータスが取得され、ショートメッセージアプリケーションプログラムが起動されていない状態である場合、ショートメッセージアプリケーションプログラムが起動され、ショートメッセージ編集ユーザインターフェースが端末デバイス上に表示されるか、またはショートメッセージアプリケーションプログラムがバックグラウンド動作状態である場合、ショートメッセージアプリケーションプログラムが閉じられる。あるいは、関節タッチアクションに対応するジェスチャの種類が1点3タップジェスチャであると特定され、照会によって、1点3タップジェスチャに対応するアプリケーションプログラムが音楽プレーヤアプリケーションプログラムを呼び出すことであることが分かり、音楽プレーヤアプリケーションプログラムの動作状態が取得され、音楽プレーヤアプリケーションプログラムが起動されていない状態である場合、音楽プレーヤアプリケーションプログラムが起動され、音楽プレーヤの曲リストユーザインターフェースが端末デバイス上に表示されるか、または音楽プレーヤアプリケーションプログラムがバックグラウンド動作状態である場合、音楽プレーヤアプリケーションプログラムが閉じられる。本発明のこの実施形態において、ジェスチャの種類は、タップジェスチャまたはスライドジェスチャである可能性があり、ジェスチャの種類とアプリケーションプログラムとの間の関連付けの関係は、ユーザの要件に応じてカスタマイズされる可能性がある。

任意で、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すことは、
関節タッチアクションが実行されるユーザインターフェースを決定することと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってユーザインターフェース上で動作を実行することとを含む。

特に、関節タッチアクションが端末デバイス上で実行されるとき、関節タッチアクションが実行されるユーザインターフェースが決定され、関節タッチアクションに対応するジェスチャの種類が特定され、ジェスチャの種類に従ってユーザインターフェース上で動作が実行される。異なるアプリケーションプログラムは、端末デバイス上で異なるユーザインターフェースを提示し、同じアプリケーションプログラムは、端末デバイス上で複数の異なるユーザインターフェースを提示する。本発明のこの実施形態において、動作は、関節タッチアクションが実行されるユーザインターフェース上で実行されるだけである。動作は、アイコンの整列、テーマの取り替え、スクリーンキャプチャなどを含む。異なるユーザインターフェース上の同じジェスチャの種類に対応する動作は、同じである可能性がありまたは異なる可能性がある。

たとえば、関節タッチアクションが実行されるユーザインターフェースがインスタントコミュニケーションアプリケーションプログラムの設定ユーザインターフェースであり、関節タッチアクションに対応するジェスチャの種類が2点1タップジェスチャであり、2点1タップジェスチャに対応する予め設定された機能がスクリーンキャプチャ機能であるとき、スクリーンキャプチャ機能が、現在の設定ユーザインターフェース上でスクリーンキャプチャ動作を実行するために呼び出される。あるいは、関節タッチアクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップであり、関節タッチアクションに対応するジェスチャの種類が2点1タップジェスチャであり、2点1タップジェスチャに対応する予め設定された機能がスクリーンキャプチャ機能であるとき、スクリーンキャプチャ機能が、現在のシステムデスクトップ上でスクリーンキャプチャ動作を実行するために呼び出される。あるいは、関節タッチアクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップであり、関節タッチアクションに対応するジェスチャの種類が1を描くジェスチャ(1-track gesture)であり、1を描くジェスチャに対応する予め設定された機能がアイコン整列機能であり、アイコン整列機能が現在のシステムデスクトップを再整理するために呼び出される。

本発明のこの実施形態の実装においては、タッチスクリーン上で生成される接触面積およびz軸加速度が取得され、関節タッチアクションが特定され、関節タッチアクションに対応するジェスチャの種類が特定され、端末デバイスの予め設定された機能がジェスチャの種類に従って呼び出される。これは、接触面積およびz軸加速度に基づく端末デバイスとのインタラクションのためのさらなる方法を提供し、それによって、端末デバイスとのインタラクションのための方法を拡充する。

図2Aから図2Bを参照すると、図2Aから図2Bは、本発明の実施形態によるジェスチャコントロール方法の別の概略的な流れ図である。本発明のこの実施形態において、方法は、S201からS209を含む。

S201. 予め設定された機能と関節タッチアクションに対応するジェスチャの種類との間のマッピング関係をカスタマイズし、マッピング関係をマッピング関係データベースに記憶する。

特に、関節タッチアクションに対応する様々なジェスチャの種類が、端末デバイスに予め設定される。ユーザは、端末デバイスの異なる機能を選択し、異なる機能を異なるジェスチャの種類に関連付ける可能性がある。加えて、端末デバイスは、新しいジェスチャの種類を学習し、新しいジェスチャの種類をローカルに記憶することができる。

たとえば、端末デバイスによって予め設定されるジェスチャの種類は、1点1タップジェスチャ、1点2タップジェスチャ、2点1タップジェスチャ、上スライドジェスチャ(sliding-up gesture)、および下スライドジェスチャ(sliding-down gesture)を含む。上述のジェスチャは、すべて関節タッチアクションである。ユーザは、マッピング関係編集ユーザインターフェースに入ることができる。上述のジェスチャは、マッピング関係編集ユーザインターフェース上に表示される。ユーザは、ジェスチャのうちの1つを選択し、ジェスチャを必要とされる機能に関連付けることができる。たとえば、1点1タップジェスチャは、設定オプションに入るための動作命令に関連付けられ、1点2タップジェスチャは、スクリーンキャプチャを開始するための動作命令に関連付けられ、2点1タップジェスチャは、目標のアプリケーションをバックグラウンド動作状態に切り替えるための動作命令に関連付けられ、上スライドジェスチャは、ブラウザを起動するための動作命令に関連付けられ、下スライドジェスチャは、テーマを切り替えるための動作命令に関連付けられる。

新しいジェスチャの種類が学習される必要があるとき、ユーザは、ジェスチャ学習ユーザインターフェースに入り、カスタマイズされたジェスチャをジェスチャ学習ユーザインターフェース上で少なくとも2回描く可能性がある。カスタマイズされたジェスチャがスライドジェスチャである場合、各回にカスタマイズされたジェスチャのスライドの軌跡の類似性が予め設定された閾値よりも大きいとき、そのことは、新しいジェスチャが成功裏に学習されることを示す。カスタマイズされたジェスチャがタップジェスチャである場合、各回に実行されたタップの量が各回に使用されたタッチ点の量と同じであるとき、そのことは、新しいジェスチャが成功裏に学習されることを示し、新しく学習されたジェスチャがローカルのジェスチャベースに記憶される。ユーザがマッピング関係編集ユーザインターフェースに入るとき、ユーザが動作命令を選択し、動作命令を新しいジェスチャに関連付けるように新しいジェスチャがマッピング関係編集ユーザインターフェース上に表示される。

たとえば、文字Cを描くことについて新しいジェスチャが学習される必要がある場合、ユーザは、ジェスチャ学習ユーザインターフェースに入り、表示された案内情報に従ってジェスチャ学習ユーザインターフェース上で文字Cを2回描き、2回描くことによって取得されたスライドの軌跡を取得し、スライドの軌跡を平面形状に当てはめ、類似性アルゴリズムによって2つのスライドの軌跡の間の類似性を比較する。より大きな類似性は、2つのスライドの軌跡の形状がより似ていることを示し、より低い類似性は、2つのスライドの軌跡の形状の間により大きな違いがあることを示す。計算によって得られた類似性が予め設定された閾値を超えている場合、それは、新しいジェスチャが成功裏に学習されることを示す。学習される必要がある、文字Cを描くことについてのジェスチャが3点1タップジェスチャである場合、3点1タップジェスチャが、表示された案内情報に従ってジェスチャ学習ユーザインターフェース上で2回実行される。比較によって、2回描くことによって得られたタッチ点の量が両方とも3であり、各タッチ点におけるタップの量が両方とも1であることが分かるとき、それのことは、3点1タップジェスチャが成功裏に学習されることを示す。

予め設定された機能は、端末デバイス上でアプリケーションプログラムを起動する/閉じること、またはアプリケーションプログラムの機能を呼び出すことである可能性があることに留意されたい。

S202. 端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出する。

特に、端末デバイスのタッチスクリーン上で指によって実行されたタッチアクションが、スクリーンオン状態で検出される可能性があり、タッチ信号が、生成される。スクリーンオン状態は、ロックされたスクリーンオン状態およびロック解除されたスクリーンオン状態を含む。タッチスクリーンは、特別なタッチスクリーンである可能性があり、またはタッチ機能を有するディスプレイデバイスである可能性がある。マルチタッチテクノロジーにおいては、1つまたは複数のタッチ点で実行されたタッチアクションが、タッチイベント処理機能を使用することによってタッチスクリーンにより受け取られる可能性があり、対応するジェスチャが、生成される。異なるジェスチャは、異なる操作を示す。タッチジェスチャの特定および取得は、タッチテクノロジーの異なる動作原理によって変わり得る。これは、本発明において限定されない。基本的な指のタッチアクションは、押下(down)、移動(move)、および持ち上げ(up)などの指のアクションを含み得る。異なる種類のジェスチャが、異なる基本的なタッチアクションを組み合わせることによって形成される。たとえば、タップジェスチャは、2つの基本的なタッチアクション、すなわち、押下および持ち上げを含み、スライドジェスチャは、3つの基本的なタッチアクション、すなわち、押下、移動、および持ち上げを含む。指がタッチスクリーンと接触しているとき、タッチ信号が、タッチスクリーン上で生成され、端末デバイスのタッチスクリーン上で実行されたタッチアクションが、タッチ信号に従って検出される。

たとえば、端末デバイスのタッチスクリーンは、静電容量式タッチスクリーンである。4つの電極が、静電容量式タッチスクリーンの4つの角に配置され、高周波数信号が、静電容量式タッチスクリーンの表面上に存在する。指がタッチスクリーンと接触しているとき、結合容量が接触領域内で生成され、接触領域から指の方向に低い電流が生成される。4つの電極内に流れる電流は、変化しており、端末デバイス上で実行されたタッチアクションが、電極内の電流の変化を検出することによって検出され得る。

S203. タッチスクリーンの接触領域内のタッチアクションのピクセルの量m、タッチスクリーンのピクセルの量n、およびタッチスクリーンの面積sを取得し、式s*(m/n)を使用することによって計算によりタッチスクリーン上のタッチアクションの接触面積を取得し、端末デバイスに付随する重力加速度センサを使用することによってタッチアクションのz軸加速度を取得する。

特に、接触面積は、指がタッチスクリーンと接触しているときに生成された接触領域の面積を指す。指がタッチスクリーンを初めて押下するとき、初めて押下される接触領域の面積が取得される。指がタッチスクリーンにタッチするとき、特定の速度がz軸方向に存在する。指の速度は、硬いタッチスクリーンが原因で極めて短い時間の期間の間にゼロまで弱められ、それによって、z軸方向の重力加速度を生成する。z軸方向の指のより大きな速度は、z軸方向の生成されるより大きな重力加速度を示す。本発明のこの実施形態において、z軸は、タッチスクリーンと垂直な方向を指す。接触面積を計算するための方法は、タッチスクリーンの接触領域内のタッチアクションのピクセルの量mを取得すること、タッチスクリーンのピクセルの量nを取得することであって、タッチスクリーンのピクセルの量nが、決まっており、タッチスクリーンの解像度により決定される、取得すること、タッチスクリーンの面積sを取得することであって、タッチスクリーンの面積sが、やはり決まっており、面積sが、端末デバイスのROMに予め記憶され得る、取得すること、および式s*(m/n)を使用することによって計算により接触領域の面積を取得することである可能性がある。タッチアクションのz軸加速度が、端末デバイスに付随する重力加速度センサを使用することによって取得される。現在、重力加速度センサは、スマートフォンおよびタブレットなどの端末デバイスによく組み込まれる。

本発明のこの実施形態において、z軸加速度は、重力加速度の基準に基づく加速度の絶対値を指すことに留意されたい。当業者は、重力加速度が9.8N/Sであり、z軸加速度が9.8N/Sの基準に基づく変数の絶対値であり、変数が前向きにまたは逆向きに変わる可能性があることを学び得る。

タッチスクリーンの接触領域内のタッチアクションのピクセルの量mを取得するための方法は、以下の通りである可能性がある。タッチスクリーンが静電容量式タッチスクリーンである例においては、静電容量式タッチスクリーンの上記の原理から、ユーザの指が静電容量式タッチスクリーンと接触しているとき、人の体の電界の影響が原因で、結合キャパシタ(coupling capacitor)が指と接触領域との間に形成され、高周波数信号が接触領域内に存在し、その結果、指が電流を吸収し、電流が静電容量式タッチスクリーンの4つの角の電極から流れ出すことが知られ得る。理論的には、4つの電極を流れる電流の強さは、指と4つの角との間の距離に反比例する。タッチアクションの接触領域は、4つの電極内の電流の変化を使用することによって計算され得る。平面形状が、接触領域に対する雑音低減およびグラフィックス当てはめ処理によって得られる。この場合、平面形状のピクセルの量mが、収集され得る。

S204. 接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きいかどうかを判定する。

特に、S203の計算によって得られた接触面積が、予め設定された面積と比較され、S203の計算によって得られたz軸加速度が、予め設定された加速度と比較される。比較結果が、接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きいことを示す場合、S205が実行され、または比較結果が、接触面積が予め設定された面積以下であるか、もしくはz軸加速度が予め設定された加速度以下であることを示す場合、S206が実行される。

予め設定された面積および予め設定された加速度は、要件に応じて設定され得る。これは、本発明において限定されない。

S205. タッチアクションが関節タッチアクションであると判定する。

本発明のこの実施形態において、関節タッチアクションは新しく定義されたタッチアクションである。関節タッチアクションは、必ずしも指の関節によってトリガされるアクションではない可能性があり、高速でタッチスクリーンをタップすることによって別の物体によりトリガされるアクションである可能性がある。本発明のこの実施形態においては、接触面積およびz軸加速度の上述の制約を満たす任意のタッチアクションが、関節タッチアクションと呼ばれる可能性がある。

S206. タッチアクションが関節タッチアクションでないと判定し、タッチアクションの位置を取得し、位置に応じて端末デバイスの機能を呼び出す。

タッチアクションの位置を使用することによって端末デバイスの予め設定された機能を呼び出すことは、従来技術で詳細に開示されており、詳細は、本明細書において説明されない。

S207. 関節タッチアクションに対応するジェスチャの種類を特定する。

タッチ操作の継続時間内に、対応するジェスチャの種類が、関節タッチアクションに含まれる基本的なタッチアクションに従って特定される。たとえば、1点1タップジェスチャは、押下アクションおよび持ち上げアクションが1つのタッチ点において1回実行されることを意味し、1点2タップジェスチャは、押下アクションおよび持ち上げアクションが1つのタッチ点において2回実行され、1度目に実行されるアクションと2度目に実行されるアクションとの間の時間間隔が予め設定された時間未満であることを意味し、スライドジェスチャは、押下アクションが1つのタッチ点において実行され、持ち上げアクションが別のタッチ点において実行され、移動プロセスの間にスライドの軌跡が形成されることを意味する。

S208. スライドジェスチャのスライドの軌跡を取得し、端末デバイスのマッピング関係データベースにおいてスライドの軌跡に関連付けられる動作命令を照会し、見つかった動作命令によって示される動作を実行する。

たとえば、スライドジェスチャのスライドの軌跡が閉グラフであり、端末デバイスのマッピング関係データベースにおいて、閉グラフに関連する動作命令がスクリーンキャプチャを開始することについてのものであることが分かる場合、スクリーンキャプチャを開始する動作が実行され、サイズを調整可能なスクリーンキャプチャボックスがユーザインターフェース上に表示され、ユーザがキャプチャされた画像を保存することを決定するとき、スクリーンキャプチャボックス内の画像が端末デバイスの指定された場所に記憶される。スライドジェスチャのスライドの軌跡が非閉グラフであり、端末デバイスのマッピング関係データベースにおいて、非閉グラフに関連する動作命令がテーマを替えることについてのものであることが分かる場合、テーマを替える動作が実行され、複数のテーマのサムネイルを含むユーザインターフェースが表示され、必要とされるテーマを選択した後、ユーザが現在のテーマを選択されたテーマに切り替える。スライドジェスチャのスライドの軌跡が円であり、端末デバイスのマッピング関係データベースにおいて、円に関連する動作命令が部分的スクリーンキャプチャを開始することについてのものであることが分かる場合、円に含まれるエリアがキャプチャされ、キャプチャによって得られた画像が端末デバイスの指定された場所に記憶される。

より多くの動作命令をサポートするために、スライドの軌跡の形状がさらに細かく分割される可能性があることが理解され得る。異なる形状は、異なる動作命令に対応し、たとえば、スライドの軌跡は、文字または数字である。これは、本発明において限定されない。

S209. 端末デバイスのマッピング関係データベースにおいて、タップジェスチャに関連付けられる動作命令を照会し、見つかった動作命令によって示される動作を実行する。

たとえば、タップジェスチャが1点1タップジェスチャであり、端末デバイスのマッピング関係データベースにおいて、1点1タップジェスチャに関連する動作命令がアプリケーションの設定に入ることについてのものであることが分かる場合、アプリケーションの設定に入る動作が実行され、タップジェスチャが1点2タップジェスチャであり、端末デバイスのマッピング関係データベースにおいて、1点2タップジェスチャに関連する動作命令がブラウザを起動することについてのものであることが分かる場合、ブラウザを起動する動作が実行され、タップジェスチャが2点1タップジェスチャであり、端末デバイスのマッピング関係データベースにおいて、2点1タップジェスチャに関連する動作命令がカメラを起動することについてのものであることが分かる場合、カメラを起動する動作が実行され、またはタップジェスチャが1点3タップジェスチャであり、端末デバイスのマッピング関係データベースにおいて、1点3タップジェスチャに関連する動作命令がフルスクリーンキャプチャを開始することについてのものであることが分かる場合、フルスクリーンをキャプチャする動作が実行され、キャプチャされた画像が端末デバイスの指定された場所に記憶される。

図3を参照すると、図3は、本発明の実施形態によるジェスチャコントロール装置の概略構造図である。本発明のこの実施形態において、ジェスチャコントロール装置は、検出モジュール30、取得モジュール31、判定モジュール32、および呼び出しモジュール33を含む。

検出モジュール30は、端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出するように構成される。

取得モジュール31は、タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得するように構成される。

判定モジュール32は、接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きい場合、タッチアクションが関節タッチアクションであると判定するように構成される。

呼び出しモジュール33は、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出すように構成される。

本発明のこの実施形態において、ジェスチャコントロール装置は、方法の実施形態1のジェスチャコントロール方法を実行するように構成される。本発明のこの実施形態は方法の実施形態1と同じ概念に基づいており、本発明のこの実施形態によってもたらされる技術的な効果も同じである。特定のプロセスに関しては、方法の実施形態1の説明を参照するものとし、詳細は本明細書において再び説明されない。

図4から図6を参照すると、図4から図6は、本発明の実施形態によるジェスチャコントロール装置の別の概略構造図である。本発明のこの実施形態においては、検出モジュール30、取得モジュール31、判定モジュール32、および呼び出しモジュール33に加えて、ジェスチャコントロール装置が、マッピングモジュール34をさらに含む。

マッピングモジュール34は、関節タッチアクションに対応するジェスチャの種類と予め設定された機能との間のマッピング関係をカスタマイズし、マッピング関係をマッピング関係データベースに記憶するように構成される。

任意で、呼び出しモジュール33は、第1の決定ユニット331および第1の呼び出しユニット332を含む。

第1の決定ユニット331は、関節タッチアクションが実行されるユーザインターフェース、およびユーザインターフェースが属するアプリケーションプログラムを決定するように構成される。

第1の呼び出しユニット332は、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってアプリケーションプログラムに対応する予め設定された機能を呼び出すように構成される。

任意で、呼び出しモジュール33は、第2の決定ユニット333および第2の呼び出しユニット334を含む。

第2の決定ユニット333は、関節タッチアクションが実行されるユーザインターフェースを決定するように構成される。

第2の呼び出しユニット334は、関節アクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップである場合、ジェスチャの種類に関連するアプリケーションプログラムを照会し、アプリケーションプログラムを起動するかまたは閉じるように構成される。

任意で、呼び出しモジュール33は、第3の決定ユニット335および第3の呼び出しユニット336を含む。

第3の決定ユニットは、関節タッチアクションが実行されるユーザインターフェースを決定するように構成される。

第3の呼び出しユニットは、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってユーザインターフェース上で動作を実行するように構成され、動作は、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む。

任意で、タッチアクションに対応するジェスチャの種類は、タップジェスチャまたはスライドジェスチャを含み、タップジェスチャは、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、スライドの軌跡は、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む。

任意で、取得モジュール31は、取得ユニット311、計算ユニット312、および第2の取得モジュール313を含む。

第1の取得ユニット311は、タッチスクリーンの接触領域内のタッチアクションのピクセルの量m、タッチスクリーンのピクセルの量n、およびタッチスクリーンの面積sを取得するように構成される。

計算ユニット312は、式s*(m/n)を使用することによって計算によりタッチスクリーン上のタッチアクションの接触面積を取得するように構成される。

第2の取得ユニット313は、端末デバイスに付随する重力加速度センサを使用することによってタッチアクションのz軸加速度を取得するように構成される。

本発明のこの実施形態において、ジェスチャコントロール装置は、方法の実施形態2のジェスチャコントロール方法を実行するように構成される。本発明のこの実施形態は方法の実施形態1および2と同じ概念に基づいており、本発明のこの実施形態によってもたらされる技術的な効果も同じである。特定のプロセスに関しては、方法の実施形態1および2の説明を参照するものとし、詳細は本明細書において再び説明されない。

図7を参照すると、図7は、本発明の実施形態によるジェスチャコントロール装置のさらに別の概略構造図である。本発明のこの実施形態において、ジェスチャコントロール装置は、本発明のこの実施形態においてジェスチャコントロール方法を実現するように構成される。ジェスチャコントロール装置は、プロセッサ71、メモリ72、および通信ユーザインターフェース73を含む。ジェスチャコントロール装置内に1つまたは複数のプロセッサ71が存在する可能性があり、図7においては、例として1つのプロセッサが使用される。本発明の一部の実施形態において、プロセッサ71、メモリ72、および通信ユーザインターフェース73は、バスを使用することによってまたは別の方法で接続される可能性があり、図7においては、例としてバス接続が使用される。

メモリ72は、1組のプログラムコードを記憶する。プロセッサ71は、以下の動作、すなわち、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出する動作と、
タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得する動作と、
接触面積が予め設定された面積よりも大きく、z軸加速度が予め設定された加速度よりも大きい場合、タッチアクションが関節タッチアクションであると判定する動作と、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの予め設定された機能を呼び出す動作とを実行するために、メモリ72に記憶されたプログラムコードを呼び出すように構成される。

本発明の一部の実施形態において、プロセッサ71が、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの対応する予め設定された機能を呼び出す動作を実行することは、
関節タッチアクションが実行されるユーザインターフェース、およびユーザインターフェースが属するアプリケーションプログラムを決定することと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってアプリケーションプログラムに対応する予め設定された機能を呼び出すこととを含む。

本発明の一部の実施形態において、プロセッサ71が、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの対応する予め設定された機能を呼び出す動作を実行することは、
関節タッチアクションが実行されるユーザインターフェースを決定することと、
関節アクションが実行されるユーザインターフェースが端末デバイスのシステムデスクトップである場合、ジェスチャの種類に関連するアプリケーションプログラムを照会し、アプリケーションプログラムを起動するかまたは閉じることとを含む。

本発明の一部の実施形態において、プロセッサ71が、関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従って端末デバイスの対応する予め設定された機能を呼び出す動作を実行することは、
関節タッチアクションが実行されるユーザインターフェースを決定することと、
関節タッチアクションに対応するジェスチャの種類を特定し、ジェスチャの種類に従ってユーザインターフェース上で動作を実行することであって、動作が、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む、実行することとを含む。

本発明の一部の実施形態において、タッチアクションに対応するジェスチャの種類は、タップジェスチャまたはスライドジェスチャを含み、タップジェスチャは、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、スライドの軌跡は、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む。

本発明の一部の実施形態において、プロセッサ71が、タッチアクションがタッチスクリーンと接触しているときに生成されたタッチスクリーン上のタッチアクションの接触面積およびz軸加速度を取得する動作を実行することは、
タッチスクリーンの接触領域内のタッチアクションのピクセルの量m、タッチスクリーンのピクセルの量n、およびタッチスクリーンの面積sを取得することと、
式s*(m/n)を使用することによって計算によりタッチスクリーン上のタッチアクションの接触面積を取得することと、
タッチアクションのz軸加速度が、端末デバイスに付随する重力加速度センサを使用することによって取得されることとを含む。

本発明の一部の実施形態において、プロセッサ71は、以下の動作、すなわち、
予め設定された機能と関節タッチアクションに対応するジェスチャの種類との間のマッピング関係をカスタマイズし、マッピング関係をマッピング関係データベースに記憶する動作を実行するようにさらに構成される。

本発明の実施形態は、タッチスクリーン83、重力センサ82、およびジェスチャコントロール特定装置81を含む端末デバイスをさらに提供する。タッチスクリーン83、重力センサ82、およびジェスチャコントロール特定装置81は、バスを使用することによって接続する可能性があり、または別の方法で接続される可能性がある。ジェスチャ特定装置81は、装置の実施形態1および2において説明されたジェスチャ特定装置である。重力センサは、タッチアクションがタッチスクリーンと接触しているときに生成されたz軸加速度を取得するように構成される。端末デバイスは、タッチスクリーンを備えたスマートフォン、タブレット、または別のデバイスである可能性がある。端末デバイスの特定の作業プロセスに関しては、方法の実施形態1および2の説明を参照されたい。詳細は、本明細書において再度説明されない。

当業者は、実施形態の方法のプロセスのすべてまたは一部が、関連するハードウェアに命令するコンピュータプログラムによって実装され得ることを理解するであろう。プログラムは、コンピュータ可読ストレージ媒体に記憶され得る。プログラムが実行されるとき、実施形態の方法のプロセスが実行される。上述のストレージ媒体は、磁気ディスク、光ディスク、読み出し専用メモリ(Read-Only Memory、ROM)、またはランダムアクセスメモリ(Random Access Memory、RAM)を含む可能性がある。

上で開示されているのは、本発明の実施形態の例である過ぎず、本発明の保護範囲を限定するようにまったく意図されていない。当業者は、上述の実施形態を実装するプロセスのすべてまたは一部と本発明の請求項に従ってなされる均等な修正とが本発明の範囲内に入ることを理解し得る。

30 検出モジュール
31 取得モジュール
311 取得ユニット
312 計算ユニット
313 第2の取得モジュール
32 判定モジュール
33 呼び出しモジュール
331 第1の決定ユニット
332 第2の呼び出しユニット
333 第2の決定ユニット
334 第2の呼び出しユニット
335 第3の決定ユニット
336 第3の呼び出しユニット
34 マッピングモジュール
71 プロセッサ
72 メモリ
73 通信ユーザインターフェース
81 ジェスチャ特定装置
82 重力センサ
83 タッチスクリーン

Claims

ジェスチャコントロール方法であって、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出するステップと、
前記タッチアクションが前記タッチスクリーンと接触しているときに生成された前記タッチスクリーン上の前記タッチアクションの接触面積およびz軸加速度を取得するステップであって、z軸は、前記タッチスクリーンと垂直な方向であり、前記接触面積および前記z軸加速度は、指が前記タッチスクリーンを初めて押下したときに取得され、前記タッチスクリーン上の前記タッチアクションの前記接触面積は、式s*(m/n)を使用することによって計算により取得され、ここで、sは前記タッチスクリーンの面積であり、mは前記タッチスクリーンの接触領域内の前記タッチアクションのピクセルの量であり、nはタッチスクリーンのピクセルの量であり、前記タッチアクションの前記z軸加速度は、前記端末デバイスに付随する重力加速度センサを使用することによって取得される、ステップと、
前記接触面積が予め設定された面積よりも大きく、前記z軸加速度が予め設定された加速度よりも大きい場合、前記タッチアクションが関節タッチアクションであると判定するステップと、
前記関節タッチアクションに対応するジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの予め設定された機能を呼び出すステップとを含み、
前記端末デバイスの前記タッチスクリーン上で実行された前記タッチアクションを検出する前に、前記方法は、カスタマイズされたジェスチャを学習するステップをさらに含み、前記カスタマイズされたジェスチャは少なくとも2回入力され、各回のカスタマイズされたジェスチャの類似性が予め決定された閾値よりも大きい場合に、前記カスタマイズされたジェスチャが成功裏に学習される、方法。
前記関節タッチアクションに対応するジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの予め設定された機能を呼び出す前記ステップが、
前記関節タッチアクションが実行されるユーザインターフェース、および前記ユーザインターフェースが属するアプリケーションプログラムを決定することと、
前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記アプリケーションプログラムに対応する予め設定された機能を呼び出すこととを含む請求項１に記載の方法。
前記関節タッチアクションに対応するジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの予め設定された機能を呼び出す前記ステップが、
前記関節タッチアクションが実行されるユーザインターフェースを決定することと、
前記関節タッチアクションが実行される前記ユーザインターフェースが前記端末デバイスのシステムデスクトップである場合、前記ジェスチャの種類に関連するアプリケーションプログラムを照会し、前記アプリケーションプログラムを起動するかまたは閉じることとを含む請求項１に記載の方法。
前記関節タッチアクションに対応するジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの予め設定された機能を呼び出す前記ステップが、
前記関節タッチアクションが実行されるユーザインターフェースを決定することと、
前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記ユーザインターフェース上で動作を実行することであって、前記動作が、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む、実行することとを含む請求項１に記載の方法。
前記タッチアクションに対応する前記ジェスチャの種類が、タップジェスチャまたはスライドジェスチャを含み、前記タップジェスチャが、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、前記スライドジェスチャのスライドの軌跡が、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む請求項１から４のいずれか一項に記載の方法。
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出する前に、
前記予め設定された機能と前記関節タッチアクションに対応する前記ジェスチャの種類との間のマッピング関係をカスタマイズし、前記マッピング関係をマッピング関係データベースに記憶するステップをさらに含む請求項１から５のいずれか一項に記載の方法。
ジェスチャコントロール装置であって、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出するように構成された検出モジュールと、
前記タッチアクションが前記タッチスクリーンと接触しているときに生成された前記タッチスクリーン上の前記タッチアクションの接触面積およびz軸加速度を取得するように構成された取得モジュールであって、z軸は、前記タッチスクリーンと垂直な方向であり、前記接触面積および前記z軸加速度は、指が前記タッチスクリーンを初めて押下したときに取得され、前記タッチスクリーン上の前記タッチアクションの前記接触面積は、式s*(m/n)を使用することによって計算により取得され、ここで、sは前記タッチスクリーンの面積であり、mは前記タッチスクリーンの接触領域内の前記タッチアクションのピクセルの量であり、nはタッチスクリーンのピクセルの量であり、前記タッチアクションの前記z軸加速度は、前記端末デバイスに付随する重力加速度センサを使用することによって取得される、取得モジュールと、
前記接触面積が予め設定された面積よりも大きく、前記z軸加速度が予め設定された加速度よりも大きい場合、前記タッチアクションが関節タッチアクションであると判定するように構成された判定モジュールと、
前記関節タッチアクションに対応するジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの予め設定された機能を呼び出すように構成された呼び出しモジュールと、
前記端末デバイスの前記タッチスクリーン上で実行された前記タッチアクションを検出する前に、学習されるべきカスタマイズされたジェスチャをユーザが少なくとも2回入力するように構成されたジェスチャ学習ユーザインターフェースであって、各回のカスタマイズされたジェスチャの類似性が予め決定された閾値よりも大きい場合に、前記カスタマイズされたジェスチャが成功裏に学習される、ジェスチャ学習ユーザインターフェースとを含む、装置。
前記呼び出しモジュールが、
前記関節タッチアクションが実行されるユーザインターフェース、および前記ユーザインターフェースが属するアプリケーションプログラムを決定するように構成された第1の決定ユニットと、
前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記アプリケーションプログラムに対応する予め設定された機能を呼び出すように構成された第1の呼び出しユニットとを含む請求項７に記載の装置。
前記呼び出しモジュールが、
前記関節タッチアクションが実行されるユーザインターフェースを決定するように構成された第2の決定ユニットと、
前記関節タッチアクションが実行される前記ユーザインターフェースが前記端末デバイスのシステムデスクトップである場合、前記ジェスチャの種類に関連するアプリケーションプログラムを照会し、前記アプリケーションプログラムを起動するかまたは閉じるように構成された第2の呼び出しユニットとを含む請求項７に記載の装置。
前記呼び出しモジュールが、
前記関節タッチアクションが実行されるユーザインターフェースを決定するように構成された第3の決定ユニットと、
前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記ユーザインターフェース上で動作を実行するように構成された第3の呼び出しユニットであって、前記動作が、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む、第3の呼び出しユニットとを含む請求項７に記載の装置。
前記タッチアクションに対応する前記ジェスチャの種類が、タップジェスチャまたはスライドジェスチャを含み、前記タップジェスチャが、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、前記スライドジェスチャのスライドの軌跡が、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む請求項７から１０のいずれか一項に記載の装置。
前記関節タッチアクションに対応する前記ジェスチャの種類と前記予め設定された機能との間のマッピング関係をカスタマイズし、前記マッピング関係をマッピング関係データベースに記憶するように構成されたマッピングモジュールをさらに含む請求項７から１１のいずれか一項に記載の装置。
プロセッサおよびメモリを含むジェスチャ特定装置であって、1組のプログラムコードが前記メモリに記憶され、前記プロセッサが以下の動作、すなわち、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出する動作と、
前記タッチアクションが前記タッチスクリーンと接触しているときに生成された前記タッチスクリーン上の前記タッチアクションの接触面積およびz軸加速度を取得する動作であって、z軸は、前記タッチスクリーンと垂直な方向であり、前記接触面積および前記z軸加速度は、指が前記タッチスクリーンを初めて押下したときに取得され、前記タッチスクリーン上の前記タッチアクションの前記接触面積は、式s*(m/n)を使用することによって計算により取得され、ここで、sは前記タッチスクリーンの面積であり、mは前記タッチスクリーンの接触領域内の前記タッチアクションのピクセルの量であり、nはタッチスクリーンのピクセルの量であり、前記タッチアクションの前記z軸加速度は、前記端末デバイスに付随する重力加速度センサを使用することによって取得される、動作と、
前記接触面積が予め設定された面積よりも大きく、前記z軸加速度が予め設定された加速度よりも大きい場合、前記タッチアクションが関節タッチアクションであると判定する動作と、
前記関節タッチアクションに対応するジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの予め設定された機能を呼び出す動作と、
前記端末デバイスの前記タッチスクリーン上で実行された前記タッチアクションを検出する前に、カスタマイズされたジェスチャを学習する動作であって、前記カスタマイズされたジェスチャは少なくとも2回入力され、各回のカスタマイズされたジェスチャの類似性が予め決定された閾値よりも大きい場合に、前記カスタマイズされたジェスチャが成功裏に学習される、動作とを実行するために前記メモリに記憶された前記プログラムコードを呼び出す、装置。
前記プロセッサが、前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの対応する予め設定された機能を呼び出す前記動作を実行することが、
前記関節タッチアクションが実行されるユーザインターフェース、および前記ユーザインターフェースが属するアプリケーションプログラムを決定することと、
前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記アプリケーションプログラムに対応する予め設定された機能を呼び出すこととを含む請求項１３に記載の装置。
前記プロセッサが、前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの対応する予め設定された機能を呼び出す前記動作を実行することが、
前記関節タッチアクションが実行されるユーザインターフェースを決定することと、
前記関節タッチアクションが実行される前記ユーザインターフェースが前記端末デバイスのシステムデスクトップである場合、前記ジェスチャの種類に関連するアプリケーションプログラムを照会し、前記アプリケーションプログラムを起動するかまたは閉じることとを含む請求項１３に記載の装置。
前記プロセッサが、前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの対応する予め設定された機能を呼び出す前記動作を実行することが、
前記関節タッチアクションが実行されるユーザインターフェースを決定することと、
前記関節タッチアクションに対応する前記ジェスチャの種類を特定し、前記ジェスチャの種類に従って前記ユーザインターフェース上で動作を実行することであって、前記動作が、スクリーンキャプチャ、アイコンの整列、またはテーマの取り替えを含む、実行することとを含む請求項１３に記載の装置。
前記タッチアクションに対応する前記ジェスチャの種類が、タップジェスチャまたはスライドジェスチャを含み、前記タップジェスチャが、1点1タップジェスチャ、1点多タップジェスチャ、または多点タップジェスチャのうちの少なくとも1つを含み、前記スライドジェスチャのスライドの軌跡が、閉じた軌跡または閉じていない軌跡のうちの少なくとも1つを含む請求項１３から１６のいずれか一項に記載の装置。
前記プロセッサが、以下の動作、すなわち、
前記予め設定された機能と前記関節タッチアクションに対応する前記ジェスチャの種類との間のマッピング関係をカスタマイズし、前記マッピング関係をマッピング関係データベースに記憶する動作を実行するようにさらに構成される請求項１３から１７のいずれか一項に記載の装置。
請求項７から１２のいずれか一項に記載のジェスチャコントロール装置、前記タッチスクリーン、および重力センサを含む端末デバイス。
請求項１３から１８のいずれか一項に記載のジェスチャ特定装置、前記タッチスクリーン、および重力センサを含む端末デバイス。
ジェスチャコントロール方法を実行するようにコンピュータデバイスを制御するように構成されたストレージ媒体であって、前記方法が、以下のステップ、すなわち、
端末デバイスのタッチスクリーン上で実行されたタッチアクションを検出するステップと、
前記タッチアクションが前記タッチスクリーンと接触しているときに生成された前記タッチスクリーン上の前記タッチアクションの接触面積およびz軸加速度を取得するステップあって、z軸は、前記タッチスクリーンと垂直な方向であり、前記接触面積および前記z軸加速度は、指が前記タッチスクリーンを初めて押下したときに取得され、前記タッチスクリーン上の前記タッチアクションの前記接触面積は、式s*(m/n)を使用することによって計算により取得され、ここで、sは前記タッチスクリーンの面積であり、mは前記タッチスクリーンの接触領域内の前記タッチアクションのピクセルの量であり、nはタッチスクリーンのピクセルの量であり、前記タッチアクションの前記z軸加速度は、前記端末デバイスに付随する重力加速度センサを使用することによって取得される、ステップと、
前記接触面積が予め設定された面積よりも大きく、前記z軸加速度が予め設定された加速度よりも大きい場合、前記タッチアクションが関節タッチアクションであると判定するステップと、
前記関節タッチアクションに対応するジェスチャの種類を特定し、前記ジェスチャの種類に従って前記端末デバイスの予め設定された機能を呼び出すステップとを含み、
前記端末デバイスの前記タッチスクリーン上で実行された前記タッチアクションを検出する前に、カスタマイズされたジェスチャを学習するステップをさらに含み、前記カスタマイズされたジェスチャは少なくとも2回入力され、各回のカスタマイズされたジェスチャの類似性が予め決定された閾値よりも大きい場合に、前記カスタマイズされたジェスチャが成功裏に学習される、ストレージ媒体。