JP6522124B2 - ジェスチャ制御方法、デバイス、およびシステム - Google Patents

ジェスチャ制御方法、デバイス、およびシステム Download PDF

Info

Publication number
JP6522124B2
JP6522124B2 JP2017525966A JP2017525966A JP6522124B2 JP 6522124 B2 JP6522124 B2 JP 6522124B2 JP 2017525966 A JP2017525966 A JP 2017525966A JP 2017525966 A JP2017525966 A JP 2017525966A JP 6522124 B2 JP6522124 B2 JP 6522124B2
Authority
JP
Japan
Prior art keywords
gesture
mobile terminal
display device
user
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017525966A
Other languages
English (en)
Other versions
JP2018504798A (ja
Inventor
振▲華▼ 朱
振▲華▼ 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2018504798A publication Critical patent/JP2018504798A/ja
Application granted granted Critical
Publication of JP6522124B2 publication Critical patent/JP6522124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Description

本願は、全体において参照によって本明細書に組み込まれている、中華人民共和国の国家知識産権局に2015年6月10日に出願された「GESTURE CONTROL METHOD, MOBILE TERMINAL AND SYSTEM」と題された中国特許出願第201510316890.1号に対する優先権を主張する。
本開示は、通信技術の分野、特に、ジェスチャ制御方法、ジェスチャ制御デバイス、およびジェスチャ制御システムに関する。
現在、アプリケーションソフトウェアが、テレビのようなディスプレイデバイスにおいて起動された後、メニュー選択、ゲーム操作入力のような操作が、アプリケーションソフトウェアへ実行される必要がある。
現在の市場では、アプリケーションソフトウェアのために一般に使用される操作入力方式は、遠隔コントローラを使用している。遠隔コントローラは、確認ボタン、上/下/左/右移動ボタン、モード選択ボタンのような多くの入力ボタンを含む。ユーザは、入力ボタンを使用することによってカーソルの移動位置を制御し、次に、確認操作を実行するために入力ボタンを操作する。チャンネルモード選択、音量制御のような少数の機能しか備えていないテレビの場合、遠隔コントローラを使用するこの入力方式が、要求を満足し得る。しかしながら、アプリケーションソフトウェアのための操作命令がより多くなると、遠隔コントローラを介して命令を入力する方式は、便利ではなく、低効率という結果を招く。
操作命令をテレビへ入力する効率を向上するために、現在、ジェスチャ入力方式が開発されている。たとえば、カメラおよびプロセッサ等が、テレビ内に統合される。テレビは、テレビの前に立っているユーザのユーザジェスチャを検出し、ユーザジェスチャを認識し、ユーザジェスチャに対応する操作命令を決定し、その後、操作結果を表示するために、操作命令を実行する。しかしながら、テレビのためのジェスチャ入力を実現する解決策で、テレビのコストは大幅に上昇され、ユーザは、テレビの前で操作する必要がある。これは、ユーザの操作習慣を満たさない。したがって、テレビのためのジェスチャ入力を実現する解決策は、高コスト、および、ジェスチャ命令の不便な入力という技術問題を有する。
命令の便利な入力を可能にする、本開示の実施形態に従うジェスチャ制御方法、ジェスチャ制御デバイス、およびジェスチャ制御システムが提供される。
本開示の実施形態に従うジェスチャ制御方法が提供される。ジェスチャ制御方法は、モバイル端末によって、ディスプレイデバイスとのワイヤレス通信接続を確立するステップと、モバイル端末によって、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するステップと、モバイル端末によって、ユーザジェスチャを検出するステップと、モバイル端末によって、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するステップと、モバイル端末によって、ディスプレイデバイスへ操作命令を送信するステップとを含む。
本開示の実施形態に従うジェスチャ制御デバイスが提供される。ジェスチャ制御デバイスは、ディスプレイデバイスとのワイヤレス通信接続を確立するように構成された接続メンテナンスユニットと、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するように構成されたディスプレイユニットと、ユーザジェスチャを検出するように構成されたジェスチャ検出ユニットと、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するように構成された命令変換ユニットと、操作命令をディスプレイデバイスへ送信するように構成された命令送信ユニットとを含む。
ジェスチャ制御システムが、本開示の実施形態に従って提供され、ジェスチャ制御システムは、本開示の実施形態に従うジェスチャ制御デバイスと、ディスプレイデバイスとを含む。
本開示の実施形態に従って、ジェスチャ制御デバイスが提供される。ジェスチャ制御デバイスは、少なくとも1つのプロセッサと、プロセッサによって実行された場合、本開示の実施形態に従ってジェスチャ制御方法を実行するようにジェスチャ制御デバイスを設定するプログラム命令を記憶するように構成されたメモリとを含む。
コンピューティングデバイスのプロセッサによって実行された場合、本開示の実施形態に従ってジェスチャ制御方法を実行するようにコンピュータデバイスを設定するプログラム命令を含む非一時的なコンピュータ読取可能な記憶媒体が、本開示の実施形態に従って提供される。
上記の技術的解決策から理解され得るように、本開示に従う実施形態は、以下の利点を有する。ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令が、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力のためにモバイル端末を保持し得、これによって、ハードウェアコストが比較的低くなり、ジェスチャ命令の入力が便利になる。
本開示の実施形態における技術的解決策をより明確に例示するために、実施形態の記載において使用される図面が、以下に手短に紹介される。明らかに、以下に記載される図面は、本開示のいくつかの実施形態を単に例示しているだけであり、これら図面に基づいて、当業者によって、何ら創造的な努力なしで他の図面が取得され得る。
本開示の実施形態に従うジェスチャ制御方法の概要フローチャートである。 本開示の実施形態に従うジェスチャの概要図である。 本開示の実施形態に従うジェスチャの概要図である。 本開示の実施形態に従うジェスチャの概要図である。 本開示の実施形態に従うジェスチャの概要図である。 本開示の実施形態に従うジェスチャの概要図である。 本開示の実施形態に従うジェスチャの概要図である。 本開示の実施形態に従うアプリケーションシナリオのシステムの概要構成図である。 本開示の実施形態に従うジェスチャ制御デバイスの概要構成図である。 本開示の別の実施形態に従うジェスチャ制御デバイスの概要構成図である。 本開示の別の実施形態に従うジェスチャ制御デバイスの概要構成図である。 本開示の実施形態に従うジェスチャ制御システムの概要構成図である。 本開示の実施形態に従うモバイル端末の概要構成図である。
本開示の目的、技術的解決策、および利点をより明確にするために、本開示はさらに、図面と連携して詳細に記載される。明らかに、本明細書に記載された実施形態は、本開示の単なるいくつかの実施形態である。何ら創造的な努力なしで当業者によって取得され得る他の実施形態は、本開示の保護範囲に入る。
図1に図示されるように、ジェスチャ制御方法は、以下のステップ101乃至103を含む本開示の実施形態に従って提供される。
ステップ101において、モバイル端末は、ディスプレイデバイスとのワイヤレス通信接続を確立する。
モバイル端末は、ジェスチャ入力機能を有し得る。モバイル端末は、モバイル端末によってサポートされるジェスチャ入力方式に依存して、対応するハードウェアおよび/またはソフトウェアを有し得る。ジェスチャ入力方式は、タッチジェスチャ、またはフローティングジェスチャであり得る。たとえば、ジェスチャの文法的な情報が、設定および手の移動変化によって渡され得る。
モバイル端末のモバイル通信機能に基づいて、モバイル端末は、ワイヤレスローカルエリアネットワーク、ポイントツーポイント接続技術、さらに詳しくは、Bluetooth、ワイヤレスフィディリティ(WIFI)のような異なる通信方式を使用してディスプレイデバイスとの接続を確立し得る。通信方式は、モバイル端末およびディスプレイデバイスのワイヤレス通信機能に基づいて選択され得る。
WIFIの通信利点と、ほとんどの家庭が、ワイヤレスローカルエリアネットワークとしてWIFIを使用するという状況とに基づいて、本開示の例として、モバイル端末によって、ディスプレイデバイスとのワイヤレス通信接続を確立するステップは、モバイル端末が、ワイヤレスフィディリティネットワークを介してディスプレイデバイスを検出した後、モバイル端末が、ワイヤレスフィディリティネットワークを介してディスプレイデバイスとのワイヤレス通信接続を確立するステップを含む。
例として、ディスプレイデバイスを検出する具体的な方式は、ディスプレイデバイスとモバイル端末との両方に接続されたルータを検出することによって実現され得る。この具体的な処理は、本開示の実施形態において限定されない。
ステップ102では、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースが表示される。
モバイル端末がディスプレイデバイスとのワイヤレス通信接続を確立した後、ディスプレイデバイスにおいて起動している現在のアプリケーションが、モバイル端末へ通知され得、これによって、モバイル端末は、ディスプレイデバイスの現在のアプリケーションのためのジェスチャを入力するためのインターフェースを表示し得る。このインターフェースは、ユーザの入力を容易にするために、ジェスチャ操作テーブルのようなインターフェースプロンプトを含み得る。ディスプレイデバイスは、ゲームのスクリーン、ソフトウェアのメインインターフェースのようなアプリケーションのメインインターフェースを表示する。モバイル端末は、これらのインターフェースを表示することも、表示しないこともあり得る。
ステップ103において、モバイル端末はユーザジェスチャを検出し、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換し、この操作命令を、ディスプレイデバイスへ送信する。
本開示の実施形態に従って、モバイル端末は、ユーザジェスチャに対応する操作命令をディスプレイデバイスへ送信し、これによって、操作命令は、ディスプレイデバイスの現在のアプリケーションによって実行されるようになり得る。
モバイル端末によるユーザジェスチャの検出は、ジェスチャ認識の処理に属する。3次元入力としてのジェスチャ認識の本質は、自身のジェスチャによって表現されたユーザの意図を識別することである。現在、構文的なパターン認識方法、テンプレートマッチングおよびテーブルルックアップ方法、ベイズ分類器、結合ニューラルネットワークのようなジェスチャ認識のための多くの画像分類アルゴリズムが存在する。パターン認識を考慮して、入力されたジェスチャを検出するために、データグローブおよびカメラのうちのどちらが使用されているかに関わらず、ジェスチャがどの表現方式を使用しているかに関わらず、どの特徴抽出が使用されているかに関わらず、同じ方法が、ジェスチャを認識するために使用され得る。ジェスチャを検出するための具体的な処理は、本開示の実施形態において限定されない。図2A乃至図2Fに図示されるように、ジェスチャカテゴリは各々、タップ、ダブルタップ、右ドラッグ、上スワイプ、下スワイプ、指2本下スワイプである。上記ジェスチャは、タッチスクリーンによって検出され得る。異なるジェスチャカテゴリに対応する異なる操作命令と、操作命令とジェスチャカテゴリとの間の対応とは、操作習慣によって決定され得る。たとえば、タップは、選択命令に対応し、ダブルタップは、確認命令に対応する。
この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。
本開示の例として、モバイル端末はタッチ入力機能を有する。ここで、モバイル端末がユーザジェスチャを検出するステップは、モバイル端末が、ユーザのタッチ操作を検出するステップを含む。アプリケーションに対応するディスプレイインターフェースが、モバイル端末によって表示され、その後、タッチ操作が、タッチ入力機能によって取得され、タッチ操作は、タッチ操作に対応する操作命令へ変換され、この操作命令が、ディスプレイデバイスへ送信される。
アプリケーションニーズに基づいて、ディスプレイデバイスは通常、大型スクリーンのディスプレイデバイスであり、入力デバイスとしてのモバイル端末は、比較的小型のスクリーンを有する。分割スクリーンディスプレイが利用され得、入力に関連するインターフェースが、ディスプレイデバイスにおいて表示されないことがあり得る。具体的には、ジェスチャ入力インターフェースは、アプリケーションの分割スクリーンインターフェースの入力インターフェースであり、アプリケーションの分割スクリーンインターフェースの操作結果インターフェースが、ディスプレイデバイス上に表示される。
可能なアプリケーションシナリオとして、モバイル端末は、モバイル電話であり、ディスプレイデバイスは、テレビである。ジェスチャ入力機能を有する他のモバイル端末と、モバイル端末とのワイヤレス接続を確立することが可能な他のデバイスもまた可能であり、したがって、それは、モバイル電話およびテレビのアプリケーションシナリオに限定されない。ワイヤを用いてルータのようなデバイスと接続した後にローカルエリアネットワークを確立することによってモバイル電話とワイヤレス通信接続をし得るテレビは、ワイヤレス通信機能を有している必要はない。図3は、本開示の実施形態に従うアプリケーションシナリオを図示する。アプリケーションシナリオのシステムアーキテクチャは、モバイル電話側およびテレビ側を含み、ここで、モバイル電話側におけるモバイル電話は、ジェスチャ検出機能を有し、テレビ側におけるテレビは、対応するアプリケーションを表示および起動するために主に使用される。モバイル電話側とテレビ側との間の通信接続を確立した後、モバイル電話側において定義されたジェスチャ機能によって、テレビ側においてチェスゲームが操作される。モバイル電話は、ゲームの操作コントローラとしてサービス提供され、テレビは、命令受信機およびゲームスクリーンディスプレイヤとしてサービス提供される。完全なゲーム経験が、モバイル電話とテレビのインタラクションによって達成される。具体的な処理が以下のように記載される。
第1に、様々なジェスチャ機能の定義が、モバイル電話側で完了され、ジェスチャは、限定されないが、タップ、ダブルタップ、ドラッグ、上スワイプ、下スワイプ、および指2本下スワイプを含む。タップ、ダブルタップ、ドラッグ、上スワイプ、下スワイプ、指2本下スワイプのジェスチャは、ゲームを開始すること、プロンプト、カードを連続的に示すこと、カードを示すこと、カード選択をキャンセルすること、および無操作各々の操作命令に対応する。第2に、モバイル電話側とテレビ側との間の接続が確立される。第3に、テレビチェスゲームの分割スクリーンインタラクティブインターフェース(各々、モバイル電話インターフェースとテレビインターフェース)が、モバイル電話側およびテレビ側において同期して表示される。最後に、モバイル電話側において、ゲーム操作に対応する異なるジェスチャを入力することによってゲーム操作が完了される。
図4に図示されるように、本開示の実施形態に従って、ジェスチャ入力機能を有するジェスチャ制御デバイス(たとえば、モバイル端末)がさらに提供され、ジェスチャ制御デバイスは、接続メンテナンスユニット401、ディスプレイユニット402、ジェスチャ検出ユニット403、命令変換ユニット404、および命令送信ユニット405を含む。接続メンテナンスユニット401は、ディスプレイデバイスとのワイヤレス通信接続を確立するように構成される。ディスプレイユニット402は、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するように構成される。ジェスチャ検出ユニット403は、ユーザジェスチャを検出するように構成される。命令変換ユニット404は、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するように構成される。命令送信ユニット405は、ユーザジェスチャに対応する操作命令をディスプレイデバイスへ送信するように構成される。
モバイル端末は、ジェスチャ入力機能を有し得る。モバイル端末は、モバイル端末によってサポートされているジェスチャ入力方式に依存して、対応するハードウェアおよび/またはソフトウェアを有し得る。ジェスチャ入力方式は、タッチジェスチャ、またはフローティングジェスチャであり得る。たとえば、ジェスチャの文法的な情報が、設定および手の移動変化によって渡され得る。
モバイル端末がディスプレイデバイスとのワイヤレス通信接続を確立した後、ディスプレイデバイスにおいて起動している現在のアプリケーションが、モバイル端末へ通知され得、これによって、モバイル端末は、ディスプレイデバイスの現在のアプリケーションのためのジェスチャを入力するためのインターフェースを表示し得る。このインターフェースは、ユーザの入力を容易にするために、ジェスチャ操作テーブルのようなインターフェースプロンプトを含み得る。ディスプレイデバイスは、ゲームのスクリーン、ソフトウェアのメインインターフェースのようなアプリケーションのメインインターフェースを表示する。モバイル端末は、これらのインターフェースを表示することも、表示しないこともあり得る。
モバイル端末によるユーザジェスチャの検出は、ジェスチャ認識の処理に属する。3次元入力としてのジェスチャ認識の本質は、自身のジェスチャによって表現されたユーザの意図を識別することである。現在、構文的なパターン認識方法、テンプレートマッチングおよびテーブルルックアップ方法、ベイズ分類器、結合ニューラルネットワークのようなジェスチャ認識のための多くの画像分類アルゴリズムが存在する。パターン認識を考慮して、入力されたジェスチャを検出するために、データグローブおよびカメラのうちのどちらが使用されているかに関わらず、ジェスチャがどの表現方式を使用しているかに関わらず、どの特徴抽出が使用されているかに関わらず、同じ方法が、ジェスチャを認識するために使用され得る。ジェスチャを検出するための具体的な処理は、本開示の実施形態において限定されていない。図2A乃至図2Fに図示されるように、ジェスチャカテゴリは各々、タップ、ダブルタップ、右ドラッグ、上スワイプ、下スワイプ、指2本下スワイプである。上記ジェスチャは、タッチスクリーンによって検出され得る。異なるジェスチャカテゴリに対応する異なる操作命令と、操作命令とジェスチャカテゴリとの間の対応とは、操作習慣によって決定され得る。たとえば、タップは、選択命令に対応し、ダブルタップは、確認命令に対応する。
この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。
モバイル端末のモバイル通信機能に基づいて、モバイル端末は、ワイヤレスローカルエリアネットワーク、ポイントツーポイント接続技術、さらに詳しくは、Bluetooth、ワイヤレスフィディリティ(WIFI)のような異なる通信方式を使用してディスプレイデバイスとの接続を確立し得る。通信方式は、モバイル端末およびディスプレイデバイスのワイヤレス通信機能に基づいて選択され得る。WIFIの通信利点と、ほとんどの家庭が、ワイヤレスローカルエリアネットワークとしてWIFIを使用するという状況とに基づいて、本開示の例として、接続メンテナンスユニット401は、ワイヤレスフィディリティネットワークを介してディスプレイデバイスを検出した後、ワイヤレスフィディリティネットワークを介してディスプレイデバイスとのワイヤレス通信接続を確立するように構成される。
例として、ディスプレイデバイスを検出する具体的な方式は、ディスプレイデバイスとモバイル端末との両方と接続されたルータを検出することによって実現され得る。この具体的な処理は、本開示の実施形態において限定されない。
本開示の例として、図5に図示されるように、モバイル端末は、タッチ入力機能を有する。ディスプレイユニット402はさらに、ディスプレイデバイスとのワイヤレス通信接続を確立した後に、アプリケーションに対応するディスプレイインターフェースを表示するように構成される。モバイル端末はまた、ユーザのタッチ操作を検出するように構成されたタッチ検出ユニット501を含む。命令変換ユニット404はさらに、タッチ操作を、タッチ操作に対応する操作命令へ変換するよう構成される。命令送信ユニット405はさらに、タッチ操作に対応する操作命令をディスプレイデバイスへ送信するように構成される。
アプリケーションニーズに基づいて、ディスプレイデバイスは通常、大型スクリーンのディスプレイデバイスであり、入力デバイスとしてのモバイル端末は、比較的小型のスクリーンを有する。分割スクリーンディスプレイが利用され得、入力に関連するインターフェースが、ディスプレイデバイスに表示されないことがあり得る。具体的には、ジェスチャ入力インターフェースは、アプリケーションの分割スクリーンインターフェースの入力インターフェースであり、アプリケーションの分割スクリーンインターフェースの操作結果インターフェースが、ディスプレイデバイス上に表示される。
可能なアプリケーションシナリオとして、モバイル端末は、モバイル電話であり、ディスプレイデバイスは、テレビである。ジェスチャ入力機能を有する他のモバイル端末と、モバイル端末とのワイヤレス接続を確立することが可能な他のデバイスもまた可能であり、したがって、それは、モバイル電話とテレビとのアプリケーションシナリオに限定されない。ワイヤを用いてルータのようなデバイスと接続した後にローカルエリアネットワークを確立することによってモバイル電話とワイヤレス通信接続をし得るテレビは、ワイヤレス通信機能を有している必要はない。
図6に図示されるように、受信機601、送信機602、プロセッサ603、およびディスプレイ604を含む別のジェスチャ制御デバイス(たとえば、モバイル端末)が、本開示の実施形態に従って提供される。ジェスチャ制御デバイスはまた、図6に図示されないメモリをも含み得る。
プロセッサ603は、以下の動作、すなわち、ディスプレイデバイスとのワイヤレス通信接続を確立するステップ、ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するステップ、ユーザジェスチャを検出するステップ、ユーザジェスチャを、ユーザジェスチャに対応する操作命令へ変換するステップ、および、ディスプレイデバイスへ操作命令を送信するステップを実行するために制御するように構成される。
モバイル端末は、ジェスチャ入力機能を有し得る。モバイル端末は、モバイル端末によってサポートされているジェスチャ入力方式に依存して、対応するハードウェアおよび/またはソフトウェアを有し得る。ジェスチャ入力方式は、タッチジェスチャ、またはフローティングジェスチャであり得る。たとえば、ジェスチャの文法的な情報が、設定および手の移動変化によって渡され得る。
モバイル端末がディスプレイデバイスとのワイヤレス通信接続を確立した後、ディスプレイデバイスにおいて起動している現在のアプリケーションが、モバイル端末へ通知され得、これによって、モバイル端末は、ディスプレイデバイスの現在のアプリケーションのためのジェスチャを入力するためのインターフェースを表示し得る。インターフェースは、ユーザの入力を容易にするために、ジェスチャ操作テーブルのようなインターフェースプロンプトを含み得る。ディスプレイデバイスは、ゲームのスクリーン、ソフトウェアのメインインターフェースのようなアプリケーションのメインインターフェースを表示する。モバイル端末は、これらのインターフェースを表示することも、表示しないこともあり得る。
モバイル端末によるユーザジェスチャの検出は、ジェスチャ認識の処理に属する。3次元入力としてのジェスチャ認識の本質は、自身のジェスチャによって表現されたユーザの意図を識別することである。現在、構文的なパターン認識方法、テンプレートマッチングおよびテーブルルックアップ方法、ベイズ分類器、結合ニューラルネットワークのようなジェスチャ認識のための多くの画像分類アルゴリズムが存在する。パターン認識を考慮して、入力されたジェスチャを検出するために、データグローブおよびカメラのうちのどちらが使用されているかに関わらず、どの表現方式をジェスチャが使用しているかに関わらず、どの特徴抽出が使用されているかに関わらず、同じ方法が、ジェスチャを認識するために使用され得る。ジェスチャを検出するための具体的な処理は、本開示の実施形態において限定されていない。図2A乃至図2Fに図示されるように、ジェスチャカテゴリは各々、タップ、ダブルタップ、右ドラッグ、上スワイプ、下スワイプ、指2本下スワイプである。上記ジェスチャは、タッチスクリーンによって検出され得る。異なるジェスチャカテゴリに対応する異なる操作命令と、操作命令とジェスチャカテゴリとの間の対応とは、操作習慣によって決定され得る。たとえば、タップは、選択命令に対応し、ダブルタップは、確認命令に対応する。
この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて動作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。
モバイル端末のモバイル通信機能に基づいて、モバイル端末は、ワイヤレスローカルエリアネットワーク、ポイントツーポイント接続技術、さらに詳しくは、Bluetooth、ワイヤレスフィディリティ(WIFI)のような異なる通信方式を使用してディスプレイデバイスとの接続を確立し得る。通信方式は、モバイル端末およびディスプレイデバイスのワイヤレス通信機能に基づいて選択され得る。WIFIの通信利点と、ほとんどの家庭が、ワイヤレスローカルエリアネットワークとしてWIFIを使用するという状況とに基づいて、本開示の例として、プロセッサ603は、以下の動作を実行するために制御するように構成され、ディスプレイデバイスとのワイヤレス通信接続を確立するステップは、モバイル端末が、ワイヤレスフィディリティネットワークを介してディスプレイデバイスを検出した後、ワイヤレスフィディリティネットワークを介してディスプレイデバイスとのワイヤレス通信接続を確立するステップを含む。
本開示の実施形態として、モバイル端末は、タッチ入力機能を有し、プロセッサ603は、以下の動作、すなわち、ディスプレイデバイスとのワイヤレス通信接続を確立した後、アプリケーションに対応するディスプレイインターフェースを表示するステップと、ユーザのタッチ操作を検出するステップと、タッチ操作を、タッチ操作に対応する操作命令へ変換するステップと、ディスプレイデバイスへ操作命令を送信するステップとを実行するために制御するように構成される。
アプリケーションニーズに基づいて、ディスプレイデバイスは通常、大型スクリーンのディスプレイデバイスであり、入力デバイスとしてのモバイル端末は、比較的小型のスクリーンを有する。分割スクリーンディスプレイが利用され得、入力に関連するインターフェースが、ディスプレイデバイスに表示されないことがあり得る。具体的には、ジェスチャ入力インターフェースは、アプリケーションの分割スクリーンインターフェースの入力インターフェースであり、アプリケーションの分割スクリーンインターフェースの操作結果インターフェースが、ディスプレイデバイス上に表示される。
可能なアプリケーションシナリオとして、モバイル端末は、モバイル電話であり、ディスプレイデバイスは、テレビである。ジェスチャ入力機能を有する他のモバイル端末と、モバイル端末とのワイヤレス接続を確立することが可能な他のデバイスもまた可能であり、したがって、それは、モバイル電話とテレビとのアプリケーションシナリオに限定されない。ワイヤを用いてルータのようなデバイスと接続した後にローカルエリアネットワークを確立することによってモバイル電話とワイヤレス通信接続をし得るテレビは、ワイヤレス通信機能を有している必要はない。
図7に図示されるように、ジェスチャ制御システムが、本開示の実施形態に従って提供され、ジェスチャ制御システムは、モバイル端末701およびディスプレイデバイス702を含む。ここで、モバイル端末701は、本開示の実施形態に従うモバイル端末のうちの任意の1つである。
この実施形態では、ジェスチャ入力機能を有するモバイル端末によって、ユーザジェスチャが検出され、対応する操作命令へ変換され、その後、操作命令は、モバイル端末とディスプレイデバイスとの間のワイヤレス通信接続を介してディスプレイデバイスへ送信され、ディスプレイデバイスは、この命令に基づいて操作する。この処理では、ディスプレイデバイスは、ジェスチャ検出機能を有している必要はなく、ジェスチャ検出機能は、既存のデバイスの機能を十分に活用することによって達成され、ユーザは、ディスプレイデバイスの前に立つ代わりに、入力するためのモバイル端末を保持することができ得、これによって、ハードウェアコストが比較的低く、ジェスチャ命令の入力が便利になる。
本開示の実施形態に従って、別のモバイル端末が提供される。図8に図示されるように、モバイル電話が例として採用される。説明の利便のために、本開示の実施形態に関連する部分のみが図示されている。例示されていない詳細については、本開示の方法部分への参照がなされる。端末デバイスは、モバイル電話、タブレットPC、およびPDA(携帯情報端末)のうちのいずれか1つであり得、例として、端末デバイスとしてモバイル電話が採用されている。
図8は、本開示の実施形態に対応する端末デバイスに関連するモバイル電話の構成の一部を図示するブロック図である。図8を参照して示すように、モバイル電話は、無線周波数(RF)回路810、メモリ820、入力ユニット830、ディスプレイユニット840、センサ850、オーディオ回路860、ワイヤレスフィディリティ(WiFi)モジュール870、プロセッサ880および電源890等を含む。図8に図示されるモバイル電話構成は、モバイル電話への限定とならず、モバイル電話は、図8に図示される構成要素よりも多いまたは少ない構成要素を含み得るか、または、いくつかの構成要素を結合し得、または、異なる構成要素配置にあり得ることが当業者によって認識されるべきである。
モバイル電話の構成要素の各々が、図8と連携して詳細に記載される。
RF回路810は、情報を受信および送信する処理、または、通話をする処理の間、信号を受信および送信するように構成され得る。具体的には、基地局からのダウンリンク情報が受信された後、ダウンリンク情報が、プロセッサ880において処理され、設計されたアップリンクデータが、基地局へ送信される。一般に、RF回路810は、限定されないが、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低ノイズ増幅器(LNA)、およびデュプレクサを含む。それに加えて、RF回路810は、ワイヤレス通信を介して他のデバイスおよびネットワークと通信し得る。ワイヤレス通信は、限定される訳ではないが、グローバル移動体通信システム(GSM)、汎用パケット無線サービス(GPRS)、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA)、ロングタームエボリューション(LTE)、電子メール、およびショートメッセージングサービス(SMS)を含む任意の通信規格またはプロトコルを使用し得る。
メモリ820は、ソフトウェアプログラムおよびモジュールを記憶するように構成され得、プロセッサ880は、メモリ820に記憶されたソフトウェアプログラムおよびモジュールを起動することによって、モバイル電話の様々な機能アプリケーションおよびデータ処理を実行し得る。メモリ820は、主に、プログラム記憶エリアおよびデータ記憶エリアを含み得る。プログラム記憶エリアは、少なくとも1つの機能(たとえば、音声再生機能、画像再生機能)によって必要とされるオペレーティングシステムおよびアプリケーションを記憶するために使用され得る。データ記憶エリアは、モバイル電話の使用に基づいて確立されたデータ(たとえば、オーディオデータ、電話帳)を記憶するために使用され得る。それに加えて、メモリ820は、高速ランダムアクセスメモリ、少なくとも1つの磁気ディスクメモリのような不揮発性メモリ、フラッシュメモリ、または他の揮発性ソリッドステートメモリを含み得る。
入力ユニット830は、入力された数またはキャラクタ情報を受信し、モバイル電話のユーザ設定および機能制御に関連するキー信号入力を生成するように構成され得る。具体的には、入力ユニット830は、タッチ制御パネル831および他の入力デバイス832を含み得る。タッチスクリーンとも称されるタッチ制御パネル831は、タッチスクリーン上、または、タッチスクリーンの近傍においてユーザによって実行されたタッチ操作(たとえば、指、タッチペン、および他の任意の適切なオブジェクトまたはアクセサリを用いてユーザによってなされた、タッチ制御パネル831上または近傍における操作)を収集し、あらかじめ設定された手順に基づいて、対応する接続デバイスを駆動し得る。オプションとして、タッチ制御パネル831は、タッチ検出デバイスおよびタッチコントローラを含み得る。タッチ検出デバイスは、ユーザのタッチ方位を検出し、タッチ操作によって生成された信号を検出し、タッチコントローラへ信号を送信する。タッチコントローラは、タッチ検出デバイスからタッチ情報を受信し、タッチ情報をタッチポイント座標へ変換し、タッチポイント座標をプロセッサ880へ送信する。タッチコントローラはまた、プロセッサ880からコマンドを受信し、このコマンドを実行し得る。それに加えて、タッチ制御パネル831は、抵抗性パネル、容量性パネル、赤外線パネル、および表面弾性波パネル等として実施され得る。タッチ制御パネル831に加えて、入力ユニット830はまた、他の入力デバイス832を含み得る。具体的には、他の入力デバイス832は、限定されないが、物理的なキーボード、(音量制御ボタンまたはスイッチボタンのような)機能ボタン、トラックボール、マウス、操作ロッド等のうちの1つまたは複数を含み得る。
ディスプレイユニット840は、ユーザによって入力されたか、または、ユーザのために提供された情報と、モバイル電話のための様々なメニューとを表示するように構成され得る。ディスプレイユニット840は、ディスプレイパネル841を含み得る。オプションとして、ディスプレイパネル841は、液晶ディスプレイ(LCD)、または有機発光ダイオード(OLED)等の形態で構成され得る。それに加えて、ディスプレイパネル841は、タッチ制御パネル831によってカバーされ得る。タッチ制御パネル831が、タッチ制御パネル831上またはその近傍のタッチ操作を検出した場合、タッチ制御パネル831は、タッチイベントのタイプを決定するために、プロセッサ880へタッチ操作を送信し、その後、プロセッサ880は、タッチイベントのタイプに基づいて、ディスプレイパネル841上に、対応する視覚的出力を提供する。タッチ制御パネル831およびディスプレイパネル841は、図8における2つの個別の構成要素として、モバイル電話の入力および出力機能を実施するが、タッチ制御パネル831およびディスプレイパネル841は、他の実施形態では、モバイル電話の入力および出力機能を実施するために、共に統合され得る。
モバイル電話はさらに、光センサ、動きセンサ、および他のセンサのような少なくとも1つのセンサ850を含み得る。具体的には、光センサは、周辺光センサおよび近接センサを含み得、周辺光センサは、周辺光の輝度に基づいて、ディスプレイパネル841の輝度を調節し得、近接センサは、モバイル電話が耳へ移動した場合、ディスプレイパネル841および/またはバックライトをオフにする。動きセンサの1つとして、加速度センサは、(通常は3軸存在する)方向の各々における加速速度の大きさを検出し得、加速度センサは、加速度センサが静止している間、重力の大きさおよび方向を検出し得、加速度センサは、(縦および横方位の間の切り換え、関連するゲーム、または、磁力計を使用したジェスチャ較正のような)モバイル電話のジェスチャを認識するためのアプリケーションへ適用され、(万歩計またはクリックのような)振動認識に関連する機能へ適用される。本明細書に記載されていないジャイロスコープ、気圧計、湿度計、温度計、または赤外線センサのような他のセンサが、モバイル電話のために提供され得る。
オーディオ回路860、スピーカ861、およびマイクロホン862は、ユーザとモバイル電話との間のオーディオインターフェースを提供し得る。オーディオ回路860は、受信されたオーディオデータから変換された電気信号をスピーカ861へ送信し得、その後、スピーカ861は、出力のために、この電気信号をオーディオ信号へ変換する。一方、マイクロホン862は、収集されたオーディオ信号を電気信号へ変換し、この電気信号は、オーディオ回路860によって受信され、その後、オーディオデータへ変換され、オーディオデータが、プロセッサ880によって処理された後、処理されたオーディオデータが、RF回路810を介して別のモバイル電話へ送信されるか、または、オーディオデータが、さらなる処理のためにメモリ820へ出力される。
WiFiは、近距離ワイヤレス送信技術に属し、モバイル電話は、WiFiモジュール870を用いて、ユーザが、電子メールを受信および送信し、ウェブページをブラウズし、ストリーミングメディアへアクセスすることを助け得、WiFiモジュール870は、ユーザのためのワイヤレスブロードバンドインターネットアクセスを提供する。図8にはWiFiモジュール870が例示されているが、WiFiモジュール870は、モバイル電話の必要な構成要素ではなく、本開示の本質を変更することなく、要件に基づいて省略され得ることが理解され得る。
プロセッサ880は、モバイル電話のコントロールセンタであり、モバイル電話の各部を、インターフェースおよび回路と接続し、メモリ820に記憶されたソフトウェアプログラムおよび/またはモジュールを起動または実行し、メモリ820に記憶されたデータを呼び出すことによって、モバイル電話およびデータ処理の機能を実行し、これによって、モバイル電話の全体的なモニタリングを実現する。オプションとして、プロセッサ880は、1つまたは複数の処理ユニットを含み得る。好適には、プロセッサ880は、アプリケーションプロセッサおよびモデムプロセッサを統合し得、アプリケーションプロセッサは主に、オペレーティングシステム、ユーザインターフェース、およびアプリケーションを処理するように構成される。モデムプロセッサは主に、ワイヤレス通信を処理するように構成される。モデムプロセッサは、プロセッサ880へ統合されないことがあり得ることが理解され得る。
モバイル電話はさらに、すべての構成要素へ電力を供給するように構成された(バッテリのような)電源890を含む。好適には、電源は、電源管理システムを介してプロセッサ880と論理的に接続され得、これによって、充電、放電、および電力管理のような機能の管理が、電源管理システムを用いて実現され得る。
しかしながら、図面に図示されていないが、モバイル電話はさらに、本明細書に記載されていないカメラ、Bluetoothモジュール等を含み得る。
本開示の実施形態では、端末デバイスに含まれたプロセッサ880はまた、上記方法の実行を制御する機能をも有する。
モバイル端末の実施形態に含まれる各ユニットは、その機能ロジックに従って分割されるが、この分割は、対応する機能が実現される限り限定されないことが注目されるべきである。それに加えて、ユニットの特別の名称は、互いを区別する目的のためであり、本開示の保護範囲を限定することは意図されていない。
それに加えて、上述された方法実施形態におけるステップのすべてまたは一部が、プログラムによって命令される関連ハードウェアによって達成され得ることが当業者によって認識されるであろう。プログラムは、読取専用メモリ、磁気ディスク、光ディスク等であり得るコンピュータ読取可能な記憶媒体に記憶され得る。
上記記載は、本開示の単なる好適な実施形態であり、本開示を限定するべきではない。本開示の実施形態の技術的範囲内で当業者によって容易になされるすべての変形および均等物は、本開示の保護範囲内にあるものとする。したがって、本開示の保護範囲は、請求項の保護範囲によって決定されるべきである。
401 接続メンテナンスユニット
402 ディスプレイユニット
403 ジェスチャ検出ユニット
404 命令変換ユニット
405 命令送信ユニット
501 タッチ検出ユニット
601 受信機
602 送信機
603 プロセッサ
604 ディスプレイ
701 モバイル端末
702 ディスプレイデバイス
810 無線周波数(RF)回路
820 メモリ
830 入力ユニット
831 タッチ制御パネル
832 他の入力デバイス
840 ディスプレイユニット
841 ディスプレイパネル
850 センサ
860 オーディオ回路
861 スピーカ
862 マイクロホン
870 WiFiモジュール
880 プロセッサ
890 電源

Claims (11)

  1. ジェスチャ制御方法であって、
    モバイル端末によって、ディスプレイデバイスとのワイヤレス通信接続を確立するステップと、
    前記モバイル端末によって、前記ディスプレイデバイスとの前記ワイヤレス通信接続を確立する前記ステップは、
    前記モバイル端末が前記ディスプレイデバイスと前記モバイル端末の両方に接続された１つのルータを検出することによって前記ディスプレイデバイスを検出した後、前記モバイル端末によって、ワイヤレスフィディリティネットワークを介して前記ディスプレイデバイスとの前記ワイヤレス通信接続を確立するステップと、
    前記ディスプレイデバイスの現在のアプリケーションが前記モバイル端末に通知されることに応答して、前記モバイル端末によって、前記ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するステップと、を備え、
    前記現在のアプリケーションは、少なくとも第１のインターフェースおよび第２のインターフェースを有し、前記ディスプレイデバイスは、前記モバイル端末に表示されない第２のインターフェースを表示し、
    前記ジェスチャ入力インターフェースは、前記ディスプレイデバイスに表示されず、ユーザ入力を受け取るように構成された前記第１のインターフェースと、前記ユーザに対するインターフェースプロンプトとしてのジェスチャ操作テーブルとを含み、
    前記モバイル端末のユーザによって、複数の操作命令と複数のユーザジェスチャとを１対１に対応付けて予め定義するステップと、
    前記モバイル端末によって、前記ユーザのユーザジェスチャを検出するステップと、
    前記モバイル端末によって、前記ユーザジェスチャを、前記ユーザジェスチャに対応する操作命令へ変換するステップと、
    前記モバイル端末によって、前記ディスプレイデバイスへ前記操作命令を送信するステップと、を備える方法。
  2. 前記モバイル端末は、タッチ入力機能を有する、請求項1に記載の方法。
  3. 前記モバイル端末によって、前記ユーザジェスチャを検出する前記ステップは、前記モバイル端末によって、ユーザのタッチ操作を検出するステップを備える、請求項2に記載の方法。
  4. 前記モバイル端末によって、前記ユーザジェスチャを、前記ユーザジェスチャに対応する前記操作命令へ変換する前記ステップは、
    前記モバイル端末によって、前記タッチ操作を、前記タッチ操作に対応する操作命令へ変換するステップを備える、請求項3に記載の方法。
  5. ジェスチャ制御デバイスであって、
    モバイル端末がディスプレイデバイスと前記モバイル端末の両方に接続された１つのルータを検出することによって前記ディスプレイデバイスを検出した後、ワイヤレスフィディリティネットワークを介して、ディスプレイデバイスとのワイヤレス通信接続を確立するように構成された接続メンテナンスユニットと、
    前記ディスプレイデバイスの現在のアプリケーションが前記モバイル端末に通知されることに応答して、前記ディスプレイデバイスの現在のアプリケーションに対応するジェスチャ入力インターフェースを表示するように構成されたディスプレイユニットと、
    前記現在のアプリケーションは、少なくとも第１のインターフェースおよび第２のインターフェースを有し、前記ディスプレイデバイスは、前記モバイル端末に表示されない第２のインターフェースを表示し、
    前記ジェスチャ入力インターフェースは、前記ディスプレイデバイスに表示されず、ユーザ入力を受け取るように構成された前記第１のインターフェースと、前記ユーザに対するインターフェースプロンプトとしてのジェスチャ操作テーブルとを含み、
    ユーザジェスチャを検出するように構成されたジェスチャ検出ユニットと、
    前記ユーザジェスチャを、前記ユーザジェスチャに対応する操作命令へ変換するように構成された命令変換ユニットと、
    前記操作命令を前記ディスプレイデバイスへ送信するように構成された命令送信ユニットと、を備え、
    複数の操作命令と複数のユーザジェスチャとが、前記ユーザによって前記ジェスチャ制御デバイスに１対１に対応付けて予め定義されるジェスチャ制御デバイス。
  6. 前記デバイスは、タッチ入力機能を有する、請求項5に記載のデバイス。
  7. 前記ジェスチャ検出ユニットは、ユーザのタッチ操作を検出するように構成されたタッチ検出ユニットを備える、請求項6に記載のデバイス。
  8. 前記命令変換ユニットは、前記タッチ操作を、前記タッチ操作に対応する操作命令へ変換するように構成された、請求項7に記載のデバイス。
  9. ジェスチャ制御システムであって、請求項5から8のいずれか一項に記載の前記ジェスチャ制御デバイスと、ディスプレイデバイスと、を備えるジェスチャ制御システム。
  10. ジェスチャ制御デバイスであって、
    少なくとも1つのプロセッサと、
    前記プロセッサによって実行された場合、請求項1から4のいずれか一項に記載の前記方法を実行するように前記デバイスを設定するプログラム命令を記憶するように構成されたメモリと、を備えるジェスチャ制御デバイス。
  11. コンピューティングデバイスのプロセッサによって実行された場合、請求項1から4のいずれか一項に記載の前記方法を実行するように前記コンピューティングデバイスを設定するプログラム命令を備える、非一時的なコンピュータ読取可能な記憶媒体。
JP2017525966A 2015-06-10 2016-04-14 ジェスチャ制御方法、デバイス、およびシステム Active JP6522124B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510316890.1A CN104866110A (zh) 2015-06-10 2015-06-10 一种手势控制方法,移动终端及***
CN201510316890.1 2015-06-10
PCT/CN2016/079220 WO2016197697A1 (zh) 2015-06-10 2016-04-14 手势控制方法、装置及***

Publications (2)

Publication Number Publication Date
JP2018504798A JP2018504798A (ja) 2018-02-15
JP6522124B2 true JP6522124B2 (ja) 2019-05-29

Family

ID=53911991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017525966A Active JP6522124B2 (ja) 2015-06-10 2016-04-14 ジェスチャ制御方法、デバイス、およびシステム

Country Status (5)

Country Link
US (1) US10956025B2 (ja)
JP (1) JP6522124B2 (ja)
KR (1) KR101974296B1 (ja)
CN (1) CN104866110A (ja)
WO (1) WO2016197697A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866110A (zh) 2015-06-10 2015-08-26 深圳市腾讯计算机***有限公司 一种手势控制方法,移动终端及***
CN105117015B (zh) * 2015-08-28 2018-01-23 江南大学 一种显示屏中不规则多边形区域的切换方法和***
CN106610773A (zh) * 2015-10-22 2017-05-03 阿里巴巴集团控股有限公司 界面交互方法、装置和设备
CN105979319A (zh) * 2016-03-25 2016-09-28 钟林 一种利用方位手势控制智能电视卡片流的方法及装置
CN106028104A (zh) * 2016-05-27 2016-10-12 王增飞 一种基于2d视觉的体感操作实现方法及***
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
CN108170358A (zh) * 2017-12-27 2018-06-15 成都配天智能技术有限公司 手机与平视显示器交互方法
CN108268142A (zh) * 2018-03-07 2018-07-10 佛山市云米电器科技有限公司 一种语音手势双操作的语音控制终端
CN112083796A (zh) * 2019-06-12 2020-12-15 Oppo广东移动通信有限公司 控制方法、头戴设备、移动终端和控制***
CN110798571A (zh) * 2019-10-25 2020-02-14 钟林 一种利用滑按手势操作智能终端连续翻页的方法及装置
CN113126753B (zh) * 2021-03-05 2023-04-07 深圳点猫科技有限公司 一种基于手势关闭设备的实现方法、装置及设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5406188B2 (ja) * 2007-08-20 2014-02-05 クアルコム，インコーポレイテッド 高度な語彙外単語の拒否
JP5695819B2 (ja) * 2009-03-30 2015-04-08 日立マクセル株式会社 テレビ操作方法
US20110191516A1 (en) * 2010-02-04 2011-08-04 True Xiong Universal touch-screen remote controller
US20110267291A1 (en) * 2010-04-28 2011-11-03 Jinyoung Choi Image display apparatus and method for operating the same
US8937534B2 (en) * 2010-12-08 2015-01-20 At&T Intellectual Property I, L.P. Remote control of electronic devices via mobile device
JP5897261B2 (ja) * 2011-02-28 2016-03-30 シャープ株式会社 ネットワークシステム、プロセッサ、操作画面の表示方法、電子機器、および電子機器の制御方法
JP2012231249A (ja) 2011-04-25 2012-11-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2012256099A (ja) 2011-06-07 2012-12-27 Sony Corp 情報処理端末および方法、プログラム、並びに記録媒体
US20130159939A1 (en) 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
US20130154958A1 (en) * 2011-12-20 2013-06-20 Microsoft Corporation Content system with secondary touch controller
KR20130078514A (ko) 2011-12-30 2013-07-10 삼성전자주식회사 원격 제어 장치 및 이를 이용한 디스플레이 장치의 제어 방법
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US20140049467A1 (en) * 2012-08-14 2014-02-20 Pierre-Yves Laligand Input device using input mode data from a controlled device
CN102883066B (zh) * 2012-09-29 2015-04-01 Tcl通讯科技（成都）有限公司 基于手势识别实现文件操作的方法及手机
CN102981758B (zh) * 2012-11-05 2015-05-13 福州瑞芯微电子有限公司 电子设备之间的连接方法
GB201300031D0 (en) * 2013-01-02 2013-02-13 Canonical Ltd Ubuntu UX innovations
KR102044826B1 (ko) 2013-01-02 2019-11-14 삼성전자 주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
JP6205568B2 (ja) * 2013-01-16 2017-10-04 株式会社日本デジタル研究所 リモートアクセス制御システム、方法、およびプログラム
KR102169521B1 (ko) * 2013-05-14 2020-10-23 삼성전자 주식회사 입력장치, 디스플레이장치 및 그 제어방법
CN103529778B (zh) * 2013-09-30 2016-11-02 福建星网锐捷通讯股份有限公司 一种智能家居控制方法、装置和***
CN103634641A (zh) 2013-11-29 2014-03-12 乐视致新电子科技（天津）有限公司 通过移动终端对智能电视进行手势控制的方法和***
EP3116352A4 (en) * 2014-03-14 2018-01-17 Spectrum Brands, Inc. Beverage appliance for use with a remote communication device
US9554189B2 (en) * 2014-06-30 2017-01-24 Microsoft Technology Licensing, Llc Contextual remote control interface
CN104866110A (zh) * 2015-06-10 2015-08-26 深圳市腾讯计算机***有限公司 一种手势控制方法,移动终端及***

Also Published As

Publication number Publication date
US20170364257A1 (en) 2017-12-21
JP2018504798A (ja) 2018-02-15
CN104866110A (zh) 2015-08-26
WO2016197697A1 (zh) 2016-12-15
US10956025B2 (en) 2021-03-23
KR101974296B1 (ko) 2019-04-30
KR20170118875A (ko) 2017-10-25

Similar Documents

Publication Publication Date Title
JP6522124B2 (ja) ジェスチャ制御方法、デバイス、およびシステム
CN108762954B (zh) 一种对象分享方法及移动终端
CN112486386B (zh) 投屏方法、投屏装置、电子设备和可读存储介质
CN109643203B (zh) 一种双屏终端点亮屏幕的方法及终端
CN107222613B (zh) 一种显示方法及终端
CN108628565B (zh) 一种移动终端操作方法及移动终端
CN108958593B (zh) 一种确定通讯对象的方法及移动终端
WO2020238647A1 (zh) 手势交互方法和终端
CN110531915B (zh) 屏幕操作方法及终端设备
CN108920069B (zh) 一种触控操作方法、装置、移动终端和存储介质
CN109710130B (zh) 一种显示方法和终端
CN109683768B (zh) 一种应用的操作方法及移动终端
CN111083755A (zh) 一种设备切换方法及相关设备
CN111522613B (zh) 截屏方法及电子设备
CN110780751B (zh) 一种信息处理方法及电子设备
CN104768055B (zh) 显示设备、移动设备、***及其连接的设置控制方法
CN110096213B (zh) 基于手势的终端操作方法、移动终端及可读存储介质
CN111367483A (zh) 一种交互控制方法及电子设备
CN108810262B (zh) 一种应用的配置方法、终端和计算机可读存储介质
CN110769303A (zh) 播放控制方法、装置及移动终端
CN109814825B (zh) 显示屏操控方法和移动终端
CN108811177B (zh) 一种通信方法及终端
CN108897467B (zh) 一种显示控制方法及终端设备
CN108920073B (zh) 一种显示控制方法及终端设备
CN107807876B (zh) 分屏显示方法、移动终端及存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190228

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190423

R150 Certificate of patent or registration of utility model

Ref document number: 6522124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250