JP6105822B1 - タッチスクリーンの制御方法及び装置 - Google Patents

タッチスクリーンの制御方法及び装置 Download PDF

Info

Publication number
JP6105822B1
JP6105822B1 JP2016548658A JP2016548658A JP6105822B1 JP 6105822 B1 JP6105822 B1 JP 6105822B1 JP 2016548658 A JP2016548658 A JP 2016548658A JP 2016548658 A JP2016548658 A JP 2016548658A JP 6105822 B1 JP6105822 B1 JP 6105822B1
Authority
JP
Japan
Prior art keywords
touch screen
mode
finger
terminal device
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016548658A
Other languages
English (en)
Other versions
JP2017513084A (ja
Inventor
チャン,シャンジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Goertek Technology Co Ltd
Original Assignee
Qingdao Goertek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Goertek Technology Co Ltd filed Critical Qingdao Goertek Technology Co Ltd
Application granted granted Critical
Publication of JP6105822B1 publication Critical patent/JP6105822B1/ja
Publication of JP2017513084A publication Critical patent/JP2017513084A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】頭部装着型表示機器が接続された端末機器のタッチスクリーンへの制御精度を向上する。【解決手段】タッチスクリーンが軌跡モードで作動していることを確定するステップと、指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得するとともに、指のタッチスクリーンにおける位置を測位するための上記スライド軌跡を端末機器及び頭部装着型表示機器に同期表示するステップと、切替条件が満たされると、タッチスクリーンを軌跡モードからトリガーモードに切替えるステップと、タッチスクリーンへの操作指示が検出されると、操作指示に応じて、対応する機能を実行するようにタッチスクリーンをトリガーするステップと、を含む。【選択図】図1

Description

本発明は、端末機器制御技術分野に関し、特に、タッチスクリーンの制御方法及び装置に関する。
近年、ウェアラブル機器の普及が進むにつれて、頭部装着型表示機器も急速に発展している。現在、多くの頭部装着型表示機器は、いずれも例えば携帯電話、PADなどの端末機器を外付けすることができ、ユーザは、端末機器の表示信号を頭部装着型表示機器に転送すると、頭部装着型表示機器によって、端末機器に表示された内容を見ることができる。これにより、よりよい観賞効果が実現される。
しかし、ユーザが頭部装着型表示機器によって端末機器に表示された内容を見ると、端末機器の操作画面、即ち、タッチスクリーンが見られなくなる。こうなると、ユーザは、端末機器のタッチスクリーンを直接に操作することができない。
従来技術においては、上記問題を解決するために、通常、関連センサを頭部装着型表示機器に追加して、まずはユーザのジェスチャーをセンサにより採集し、ユーザのジェスチャーを認識することで端末機器の制御を行っている。しかし、現在のジェスチャー認識技術は、成熟度が低く、認識精度も高くない。この場合、より高い認識精度に達成しようとすると、システムの実現が複雑となり、投入コストも高くなる。
そのため、如何にして、端末機器におけるタッチスクリーンへの直接制御を実現し、タッチスクリーンへの制御精度を向上させるかが、最優先の解決課題となっている。
本発明は、従来技術における端末機器が頭部装着型表示機器に接続されると、端末機器のタッチスクリーンが見られなくなる場合におけるタッチスクリーンへの制御精度が低いという問題を解決するためのタッチスクリーンの制御方法及び装置を提供することを目的とする。
本発明は、端末機器が頭部装着型表示機器に接続されると、端末機器のタッチスクリーンが見られなくなる場合にタッチスクリーンを制御するためのタッチスクリーンの制御方法であって、タッチスクリーンが軌跡モードで作動していることを確定するステップと、指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得するとともに、端末機器及び頭部装着型表示機器に、指のタッチスクリーンにおける位置を測位するための前記スライド軌跡を同期させて表示するステップと、切替条件が満たされると、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるステップと、前記タッチスクリーンへの操作指示が検出されると、前記操作指示に応じて、対応する機能を実行するように前記タッチスクリーンをトリガーするステップと、を含む。
更に、本発明のタッチスクリーンの制御装置は、端末機器が頭部装着型表示機器に接続されると、端末機器のタッチスクリーンが見られなくなる場合にタッチスクリーンを制御するためのもので、タッチスクリーンが軌跡モードで作動していることを確定するモード確定手段と、指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得するとともに、端末機器及び頭部装着型表示機器に、指のタッチスクリーンにおける位置を測位するための前記スライド軌跡を同期させて表示する表示手段と、切替条件が満たされると、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるモード切替手段と、前記タッチスクリーンへの操作指示が検出されると、前記操作指示に応じて、対応する機能を実行するように前記タッチスクリーンをトリガーする処理手段と、を含む。
本発明によるタッチスクリーンの制御方法及び装置によれば、端末機器が二つの作動モードで作動しており、先ずは、軌跡モードで、ユーザの指のスライド軌跡を取得して、端末機器に表示し、このとき、端末機器に表示された内容が、頭部装着型表示機器にも同期して表示されているため、ユーザは、頭部装着型表示機器によって指のタッチスクリーンにおける位置を見ることができ、軌跡モードでは、指を測位する役割を果たすことができる。これにより、端末機器がトリガーモードに切替えられてからは、ユーザは、タッチスクリーンに対して通常のタッチコントロール操作を行うことができる。本発明によれば、ユーザが端末機器のタッチスクリーンを直接に操作制御することになり、センサによりジェスチャーを認識する制御方法と比べて、制御精度が高い。また、いかなるハードウェアも増設する必要がなく、投入コストが削減される。
本発明のその他の特徴及び利点は、以下の明細書で説明され、その一部は明細書から自明になり、又は、本発明を実施することで理解に至る。本発明の目的及びその他の利点は、明細書、特許請求の範囲及び図面に特定した構造により実現及び獲得可能である。
図面は、本発明に対する更なる理解を提供すると同時に、明細書の一部を構成するものであり、本発明の実施形態とともに本発明を解釈するために用いられるが、本発明に対する制限にならない。
本発明の第1実施形態のタッチスクリーンの制御方法のフローチャートである。 本発明の第2実施形態のタッチスクリーンの制御方法のフローチャートである。 (a)は、本発明の第2実施形態の端末機器の作動モードの一切替方式を示す説明図であり、(b)は、別の切替方式を示す説明図である。 本発明の第3実施形態のタッチスクリーンの制御方法のフローチャートである。 本発明の第4実施形態のタッチスクリーンの制御装置の構造を示す模式図である。
本発明は、端末機器が頭部装着型表示機器に接続された後、端末機器のタッチスクリーンが見られなくなる場合に、タッチスクリーンへの制御精度を向上させるためのタッチスクリーンの制御方法及び装置を提供しており、以下、図面を参照して、本発明の好ましい実施形態について説明する。ここで述べる好ましい実施形態は、単に本発明を説明及び解釈するためのものであり、本発明を限定するものではないことは理解されるべきである。そして、矛盾しない場合、本発明における実施形態及び実施形態における特徴を互いに組み合わせてもよい。
(第1実施形態)
本発明の第1実施形態は、端末機器が頭部装着型表示機器に接続されると、端末機器のタッチスクリーンが見られなくなる場合に、タッチスクリーンを制御するためのタッチスクリーンの制御方法を提供しており、その方法のステップとしては、図1に示すように、下記のステップ101〜104を含む。
ステップ101は、タッチスクリーンが軌跡モードで作動していることを確定する。
ステップ102は、指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得するとともに、端末機器及び頭部装着型表示機器に、指のタッチスクリーンにおける位置を測位するための上記スライド軌跡を同期させて表示する。
ステップ103は、切替条件が満たされると、上記タッチスクリーンを軌跡モードからトリガーモードに切替える。
ステップ104は、当該タッチスクリーンへの操作指示が検出されると、当該操作指示に応じて、対応する機能を実行するように当該タッチスクリーンをトリガー(作動)させる。
この場合、本発明の第1実施形態における端末機器は、例えばスマートフォン、タブレットPC等のタッチコントロール可能な端末機器であってもよく、タッチコントロールリモコンにより操作制御されるスマートテレビであってもよい。本発明の第1実施形態において、タッチスクリーンの作動モードが、軌跡モードとトリガーモードとに分かれており、軌跡モードでは、端末機器に、指のタッチスクリーンにおけるスライド軌跡が表示され、いかなる機能もトリガーされないのに対して、トリガーモードでは、ユーザは、クリックや拡大や縮小などの操作を行うことが可能である。上記ステップの実行過程において、端末機器が頭部装着型表示機器に接続されているので、端末機器における表示内容が頭部装着型表示機器にも同時に表示される。そうすると、ユーザは、頭部装着型表示機器に表示されたスライド軌跡により、指のタッチスクリーンにおける位置を見ることができ、更に、タッチスクリーンへの直接的なタッチコントロール操作を実現することができる。したがって、センサによりジェスチャーを認識する制御方法と比べて、制御精度が高く、また、第1実施形態は、いかなるハードウェアも増設する必要がなく、投入コストが削減される。
(第2実施形態)
以下、図2を参照して、本発明の第2実施形態のタッチスクリーンの制御方法を詳細に説明する。具体的な制御方法のフローチャートは、図2に示すものであり、下記のステップ201〜210を含む。
ステップ201は、タッチスクリーンが軌跡モードで作動していることを確定する。
この場合、タッチスクリーンが軌跡モードで作動していることを確認するには、次の方式で判断することができる。
(a)第1の方式:
端末機器における作動モード切替ボタンが軌跡モードの状態で起動されていることを確認する。
具体的には、上記作動モード切替ボタンが、端末機器のサイドボタン、即ち、端末機器の側辺部における物理的なボタンとして設けられてもよく、ユーザが、作動モード切替ボタンによって、例えば、いずれか二つのサイドボタンを同時に押すか、又は、いずれか一つのサイドボタンを長く押すことにより、端末機器の作動モードを切替えることができ、実際の応用において、機器が見られなくなる場合に、物理的なボタンの測位がユーザにとってより容易なものである。
又は、上記作動モード切替ボタンが、端末機器のタッチスクリーン領域に設けられてもよく、このとき、作動モード切替ボタンが、画面に表示されるフローティングボタンとなり、ユーザの操作の便宜のため、当該フローティングボタンが画面の隅位置に設けられてもよく、ユーザが、当該作動モード切替ボタンにより端末機器の作動モードを切替えることができる。端末機器が頭部装着型表示機器に接続された後、ユーザは、頭部装着型表示機器において上記フローティングボタンを見ることができる。
(b)第2の方式:
予め定められた軌跡パターンにより、軌跡モードで作動するようにタッチスクリーンをトリガーさせる。例えば、ユーザが画面で円形の形状を描くと、タッチスクリーンが軌跡モードで作動するようにさせる。この場合、具体的な軌跡パターンは、ユーザによって自由に設定可能である。
ステップ202は、指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得する。
ステップ203は、端末機器が、その表示内容を頭部装着型表示機器に送信する。
この場合、上記表示内容には、指のスライド軌跡が含まれ、表示内容は、高品位マルチメディアインターフェース(HDMI(登録商標):High Definition Multimedia Interface)、又は、端末機器モバイルハイディフィニションリンク(MHL:Mobile High-Definition Link)データケーブルによって送信されることが可能であるが、上記実施方式に限定されない。
ステップ204は、端末機器に上記スライド軌跡を表示すると同時に、頭部装着型表示機器に上記スライド軌跡を表示する。
この場合、スライド軌跡は、指がスライドした線、又は、指に追従して移動するマーク(点、丸など)として表示される。指のスライド軌跡を表示するのは、指の位置を測位するためである。
ステップ205は、頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定する。
ステップ206は、指が目標位置までスライドされたことを確定した後、指の端末機器におけるスライドが停止され、指がタッチスクリーンから離されると、指とタッチスクリーンとの相対位置を保持する。
ステップ207は、ユーザによる端末機器への作動モード切替信号の入力を受け取る。即ち、作動モード切替ボタンにより端末機器をトリガーモードに切替えるか、又は、予め定められた軌跡パターンにより端末機器をトリガーモードに切替える。作動モードの切替は、図3(a)、(b)に示すようになるが、図に示す二つの方式に限定されない。
ステップ208は、端末機器がユーザから入力された作動モード切替信号を受け取って、この作動モード切替信号により、タッチスクリーンをトリガーモードに切替える。
ステップ209は、ユーザによる端末機器のタッチスクリーンへのクリック、スライド等の操作を受け取る。
この場合、ユーザは、上記ステップ205、206における目標位置、及び、指とタッチスクリーンとの相対位置により、指が目標位置又は目標位置の周辺領域に対してどのように操作されたかを確定することができる。
操作の便宜のため、ユーザは、片方の手で端末機器の作動モードを切替え、他方の手でタッチスクリーン上をスライドし、機能のトリガー操作をしてもよい。
ステップ210は、端末機器がユーザによるタッチスクリーンへの操作指示を検出すると、この操作指示に応じて、対応する機能を実行するように上記タッチスクリーンをトリガーさせる。
具体的には、端末機器は、ユーザによるクリック、スライド等の操作に応じて、対応する機能を実行させる。
このようにして、端末機器におけるタッチスクリーンへの制御が完了する。ユーザがタッチスクリーンに対して新しい操作制御を行いたい時は、依然として上記第2実施形態における方法によって実現することができる。即ち、ユーザが指とタッチスクリーンとの相対位置を確定できない場合に、いずれも、先ず端末機器の軌跡モードを利用して指の位置を測位し、そして、端末機器のトリガーモードによりタッチスクリーンへの操作制御を実現することが必要となる。
更に、端末機器における作動モード切替ボタンが、端末機器のタッチスクリーン領域に設けられたフローティングボタンであると、ユーザが予め定められた期間内にタッチスクリーンを利用しない場合、タッチスクリーンに表示された当該フローティングボタンを隠すか、又は、予め定められた閉じるボタンにより当該フローティングボタンの表示を閉じてもよい。これにより、ユーザが画面を見ている間に、フローティングボタンが画面を遮断することを回避することができる。
(第3実施形態)
本発明の第3実施形態は、作動モードを自動に切替えることにより端末機器のタッチスクリーンを制御する方法であり、具体的なステップとしては、図4に示すようにステップ401〜410を含む。
ステップ401は、タッチスクリーン制御プログラムが起動されると、デフォルトとして、タッチスクリーンが軌跡モードになる。
ステップ402は、ユーザの指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得する。
ステップ403は、端末機器が、その表示内容を頭部装着型表示機器に送信する。
この場合、上記表示内容には、指のスライド軌跡が含まれ、表示内容は、HDMI(登録商標)又はMHLデータケーブルによって送信することが可能であるが、この実現方式に限定されない。
ステップ404は、端末機器に上記スライド軌跡を表示すると同時に、頭部装着型表示機器に上記スライド軌跡を表示する。
この場合、上記スライド軌跡は、指がスライドした線、又は、指に追従して移動するマーク(点、丸など)として表示される。この指のスライド軌跡を表示するのは、指の位置を測位するためである。
ステップ405は、頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定する。
ステップ406は、指が目標位置までスライドされたことを確定した後、指の端末機器におけるスライドが停止され、指がタッチスクリーンから離されると、タッチスクリーンとの相対位置を保持させる。
ステップ407は、ユーザの指のスライドが停止され、指がタッチスクリーンから離されたことを端末機器が検出した時点で、タッチスクリーンを軌跡モードからトリガーモードに切替えると同時に、タイマーを起動する。
ステップ408は、ユーザによるタッチスクリーンにおける目標位置へのクリック、スライド等の操作を受け取る。
この場合、端末機器に、作動モードを示す標識が設けられてもよい。これにより、ユーザは、表示された標識により現在の作動モードを知ることができる。
ステップ409は、端末機器がユーザによるタッチスクリーンへの操作指示を検出すると、この操作指示に応じて、対応する機能を実行するように上記タッチスクリーンをトリガーさせる。
具体的には、端末機器は、ユーザによるクリック、スライド等の操作に応じて、対応する機能を作動する。
ステップ410は、タイマーが予め定められた時間に達すると、端末機器が、タッチスクリーンをトリガーモードから軌跡モードに切替える。この場合、予め定められた時間は、ユーザが必要に応じて自ら設定してもよく、また、ユーザの参考のために、当該タイマーの時間を画面に同期させて表示してもよい。
更に、ユーザが再びタッチスクリーンを操作する必要がある場合には、改めて上記方法を実行する。即ち、ユーザが指とタッチスクリーンとの相対位置を確定できない場合に、先ず端末機器の軌跡モードを利用して指の位置を測位し、そして、端末機器のトリガーモードによりタッチスクリーンへの操作制御を実行することが必要となる。
更に、ユーザが一定の時間内にタッチスクリーンを利用しない場合、端末機器における作動モード標識を隠すか、又は、予め定められた閉じるボタンにより当該フローティングボタンの表示を閉じてもよい。これにより、ユーザが画面を見る間、上記標識が画面を遮断することが回避される。
(第4実施形態)
本発明の上記実施形態のタッチスクリーンの制御方法に応じて、本発明の第4実施形態は、端末機器が頭部装着型表示機器に接続されると、端末機器のタッチスクリーンが見られなくなる場合に、タッチスクリーンを制御するためのタッチスクリーンの制御装置を更に提供している。図5はタッチスクリーンの制御装置の構造を示す模式図である。
具体的には、タッチスクリーンが軌跡モードで作動していることを確定するモード確定手段501と、指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得するとともに、端末機器及び頭部装着型表示機器に上記スライド軌跡を同期させて表示する表示手段502と、切替条件が満たされると、上記タッチスクリーンを軌跡モードからトリガーモードに切替えるモード切替手段503と、上記タッチスクリーンへの操作指示が検出されると、この操作指示に応じて、対応する機能を実行するように上記タッチスクリーンをトリガーさせる処理手段504と、を含む。
更に、モード確定手段501は、具体的に、上記端末機器における作動モード切替ボタンであって、上記端末機器のサイドボタンとして設けられ又は上記端末機器のタッチスクリーン領域に設けられて、このタッチスクリーンを軌跡モードとトリガーモードとの間で切替えるように制御する作動モード切替ボタンが、軌跡モードの状態で起動されていることを確認するために用いられるか、又は、予め定められた軌跡パターンにより、軌跡モードで作動するように上記タッチスクリーンをトリガーするために用いられるか、又は、上記タッチスクリーンが初期時にドラッグモードで作動するようにするために用いられる。
更に、表示手段502は、具体的には、上記端末機器が、上記スライド軌跡が含まれた表示内容を、頭部装着型表示機器に送信するために用いられ、そのうち、モバイル機器で上記スライド軌跡を表示すると同時に、当該頭部装着型表示機器で上記スライド軌跡を表示する。
一つの実施例においては、タッチスクリーンを軌跡モードからトリガーモードに切替える前に、ユーザが頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定することと、指のスライドが停止されると、指と上記タッチスクリーンとの相対位置を保持させることと、上記端末機器に作動モード切替信号を入力することとを更に含む。モード切替手段503は、具体的には、頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定した後、指のスライドを停止され、指がタッチスクリーンから離されると、指と上記タッチスクリーンとの相対位置を保持させるとともに、作動モード切替信号を受け取ると、この作動モード切替信号により、上記タッチスクリーンを軌跡モードからトリガーモードに切替えるために用いられる。
他の実施例においては、上記タッチスクリーンを軌跡モードからトリガーモードに切替える前に、ユーザが頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定することと、指のスライドが停止され、指がタッチスクリーンから離されると、上記タッチスクリーンとの相対位置を保持させることと、を更に含む。モード切替手段503は、具体的には、頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定した後、指のスライドが停止され、指がタッチスクリーンから離されると、上記タッチスクリーンとの相対位置を保持させるとともに、指のスライドが停止され、指がタッチスクリーンから離されたことを検出すると、上記タッチスクリーンを軌跡モードからトリガーモードに切替えるために用いられる。
更に、上記操作指示は、ユーザが上記目標位置、及び、指とタッチスクリーンとの相対位置により入力されたものである。
更に、表示手段502は、具体的には、端末機器における作動モード切替ボタンが、端末機器のタッチスクリーン領域に設けられたフローティングボタンであると、予め定められた期間内にユーザがタッチスクリーンを利用しない場合、上記タッチスクリーンに表示されたフローティングボタンを隠すか、又は、予め定められた閉じるボタンにより上記フローティングボタンの表示を閉じるために用いられる。
上記各手段の機能が、図1〜図4に示すフローチャートにおける対応処理ステップに対応可能であり、ここでは、その説明を繰り返さない。
以上をまとめて、本発明の実施形態に提供された方法において、タッチスクリーンが軌跡モードで作動していることを確定して、指がタッチスクリーン上でスライドされている時、指のスライド軌跡を取得するとともに、端末機器及び頭部装着型表示機器に、指のタッチスクリーンにおける位置を測位するための上記スライド軌跡を同期させて表示し、ユーザから入力した作動モード切替信号を受け取るとともに、この作動モード切替信号により上記タッチスクリーンをトリガーモードに切替えて、タッチスクリーンへの操作指示が検出されると、この操作指示に応じて、対応する機能を実行するように上記タッチスクリーンをトリガーさせる。本発明の実施形態に提供された方法を用いると、従来技術と比べて、タッチスクリーンへの制御精度が高くなる。そして、本発明の方法によれば、いかなるハードウェアも増設する必要がなく、投入コストが削減される。
本発明の実施形態に提供されたタッチスクリーンの制御装置は、コンピュータプログラムによって実現されてもよい。当業者が理解できるように、上記のモジュール分け方式は、あくまでも複数のモジュール分け方式の一つであり、その他のモジュールに分けるか又はモジュールを分けない場合でも、上記機能を備えるタッチスクリーンの制御装置であれば、いずれも本発明の保護範囲内に含まれるべきである。
明らかなことに、当業者は、本発明の精神及び範囲を逸脱しない範囲内に本発明に対して各種の変更及び変形を行うことが可能である。このように、もし本発明のこれらの変更及び変形が、本発明の特許請求の範囲及びそれと均等した技術の範囲内に属するものであれば、これらの変更及び変形も、本発明に含まれるものとする。

Claims (10)

  1. 端末機器が頭部装着型表示機器に接続されると、端末機器のタッチスクリーンが見られなくなる場合に、前記タッチスクリーンを制御するために用いられるタッチスクリーンの制御方法であって、
    タッチスクリーンが軌跡モードで作動していることを確定するステップと、
    指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得するとともに、端末機器及び頭部装着型表示機器に、指のタッチスクリーンにおける位置を測位するための前記スライド軌跡を同期させて表示するステップと、
    切替条件が満たされると、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるステップと、
    前記タッチスクリーンへの操作指示が検出されると、前記操作指示に応じて、対応する機能を実行するように前記タッチスクリーンをトリガーするステップと、
    を含むことを特徴とするタッチスクリーンの制御方法。
  2. 前記のタッチスクリーンが軌跡モードで作動していることを確定するステップは、具体的に、
    前記端末機器における作動モード切替ボタンであって、前記端末機器のサイドボタンとして設けられ又は前記端末機器のタッチスクリーン領域に設けられ、前記タッチスクリーンを軌跡モードとトリガーモードとの間で切替えるように制御するための作動モード切替ボタンが、軌跡モードの状態で起動されていることを確認すること、又は、
    予め定められた軌跡パターンにより、軌跡モードで作動するように前記タッチスクリーンをトリガーすること、又は、
    前記タッチスクリーンが初期時に軌跡モードで作動するようにすること、
    を含むことを特徴とする請求項1に記載の方法。
  3. 前記切替条件が満たされると、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるステップは、具体的に、
    頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドしたことを確定した後、前記指のスライドが停止され、前記指がタッチスクリーンから離されると、前記タッチスクリーンとの相対位置を保持させることと、
    前記端末機器が作動モード切替信号を受け取ると、前記作動モード切替信号により、前記タッチスクリーンを軌跡モードからトリガーモードに切替えることと、
    を含むことを特徴とする請求項2に記載の方法。
  4. 前記切替条件が満たされると、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるステップは、具体的に、
    頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドしたことを確定した後、前記指のスライドが停止され、前記指がタッチスクリーンから離されると、前記タッチスクリーンとの相対位置を保持させることと、
    指のスライドが停止されてタッチスクリーンから離されたことを検出すると、前記端末機器が、前記タッチスクリーンを軌跡モードからトリガーモードに切替えることと、
    を含むことを特徴とする請求項2に記載の方法。
  5. 端末機器における作動モード切替ボタンが、端末機器のタッチスクリーン領域に設けられたフローティングボタンである場合、予め定められた期間内にユーザがタッチスクリーンを利用しないとき、前記タッチスクリーンに表示された前記フローティングボタンを隠すか、又は、予め定められた閉じるボタンにより前記フローティングボタンの表示を閉じることを特徴とする請求項3又は4に記載の方法。
  6. 端末機器が頭部装着型表示機器に接続されると、端末機器のタッチスクリーンが見られなくなる場合に、前記タッチスクリーンを制御するために用いられるタッチスクリーンの制御装置であって、
    前記タッチスクリーンが軌跡モードで作動していることを確定するモード確定手段と、
    指がタッチスクリーン上でスライドしている時、指のスライド軌跡を取得するとともに、端末機器及び頭部装着型表示機器に、指のタッチスクリーンにおける位置を測位するための前記スライド軌跡を同期させて表示する表示手段と、
    切替条件が満たされると、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるモード切替手段と、
    前記タッチスクリーンへの操作指示が検出されると、前記操作指示に応じて、対応する機能を実行するように前記タッチスクリーンをトリガーする処理手段と、
    を含むことを特徴とするタッチスクリーンの制御装置。
  7. 前記モード確定手段は、具体的に、
    前記端末機器における作動モード切替ボタンであって、前記端末機器のサイドボタンとして設けられ又は前記端末機器のタッチスクリーン領域に設けられて、前記タッチスクリーンを軌跡モードとトリガーモードとの間で切替えるように制御する作動モード切替ボタンが、軌跡モードの状態で起動されていることを確認するために用いられるか、又は、
    予め定められた軌跡パターンにより、軌跡モードで作動するように前記タッチスクリーンをトリガーするために用いられるか、又は、
    前記タッチスクリーンが初期時に軌跡モードで作動するようにするために用いられる、
    ことを特徴とする請求項6に記載の装置。
  8. 前記モード切替手段は、具体的に、
    頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定した後、前記指のスライドが停止され、前記指がタッチスクリーンから離されると、前記タッチスクリーンとの相対位置を保持させ、作動モード切替信号を受け取ると、前記作動モード切替信号により、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるために用いられることを特徴とする請求項7に記載の装置。
  9. 前記モード切替手段は、具体的に、
    頭部装着型表示機器に表示されたスライド軌跡により、指が目標位置までスライドされたことを確定した後、前記指のスライドが停止され、前記指がタッチスクリーンから離されると、前記タッチスクリーンとの相対位置を保持させるとともに、指のスライドが停止され、指がタッチスクリーンから離されたことを検出すると、前記タッチスクリーンを軌跡モードからトリガーモードに切替えるために用いられることを特徴とする請求項7に記載の装置。
  10. 前記表示手段は、更に、端末機器における作動モード切替ボタンが、端末機器のタッチスクリーン領域に設けられたフローティングボタンである場合、予め定められた期間内にユーザがタッチスクリーンを利用しないとき、前記タッチスクリーンに表示された当該フローティングボタンを隠すか、又は、予め定められた閉じるボタンにより前記フローティングボタンの表示を閉じるために用いられることを特徴とする請求項8又は9に記載の装置。
JP2016548658A 2014-06-16 2015-06-16 タッチスクリーンの制御方法及び装置 Active JP6105822B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410266809.9 2014-06-16
CN201410266809.9A CN104063092B (zh) 2014-06-16 2014-06-16 一种触摸屏控制方法及装置
PCT/CN2015/081534 WO2015192763A1 (zh) 2014-06-16 2015-06-16 一种触摸屏控制方法及装置

Publications (2)

Publication Number Publication Date
JP6105822B1 true JP6105822B1 (ja) 2017-03-29
JP2017513084A JP2017513084A (ja) 2017-05-25

Family

ID=51550834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016548658A Active JP6105822B1 (ja) 2014-06-16 2015-06-16 タッチスクリーンの制御方法及び装置

Country Status (5)

Country Link
US (1) US9823779B2 (ja)
JP (1) JP6105822B1 (ja)
KR (1) KR101724533B1 (ja)
CN (1) CN104063092B (ja)
WO (1) WO2015192763A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063092B (zh) * 2014-06-16 2016-12-07 青岛歌尔声学科技有限公司 一种触摸屏控制方法及装置
JP5933093B1 (ja) * 2015-11-04 2016-06-08 株式会社Cygames プログラム及び携帯端末
KR102452771B1 (ko) * 2015-11-18 2022-10-11 한화테크윈 주식회사 희망 지점 설정 방법 및 이동체의 주행 경로 설정 방법
CN105554157B (zh) * 2016-01-21 2019-06-14 广州视睿电子科技有限公司 数据同步方法、装置及***
CN107229379A (zh) * 2016-03-26 2017-10-03 谭登峰 用于调节红外光平面的调试装置
CN106775400A (zh) * 2016-12-12 2017-05-31 深圳Tcl新技术有限公司 按键显示方法及***
CN109429091A (zh) * 2017-08-31 2019-03-05 武汉斗鱼网络科技有限公司 提升直播观看体验的方法、存储介质、电子设备及***
KR102225193B1 (ko) * 2019-02-14 2021-03-09 데이터킹주식회사 복수의 디스플레이를 포함하는 거치대형 가상현실 체험 장치 및 이를 이용한 가상현실 체험 방법
US10956016B1 (en) * 2019-11-14 2021-03-23 Rockwell Collins, Inc. No look touchscreen panel / CDU
CN111857337A (zh) * 2020-07-10 2020-10-30 成都天翼空间科技有限公司 一种vr头控的切换方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1304931C (zh) * 2005-01-27 2007-03-14 北京理工大学 一种头戴式立体视觉手势识别装置
US8344998B2 (en) * 2008-02-01 2013-01-01 Wimm Labs, Inc. Gesture-based power management of a wearable portable electronic device with display
JP4824793B2 (ja) * 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
CN101673161B (zh) * 2009-10-15 2011-12-07 复旦大学 一种可视可操作无实体的触摸屏***
JP5207145B2 (ja) * 2009-12-24 2013-06-12 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8754931B2 (en) * 2010-01-08 2014-06-17 Kopin Corporation Video eyewear for smart phone games
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
JP5957875B2 (ja) * 2011-12-26 2016-07-27 ソニー株式会社 ヘッドマウントディスプレイ
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
CN103513865A (zh) * 2013-04-27 2014-01-15 展讯通信(上海)有限公司 一种触控设备及控制其配置操作模式的方法、装置
US10302944B2 (en) * 2013-06-28 2019-05-28 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
CN103336579A (zh) * 2013-07-05 2013-10-02 百度在线网络技术(北京)有限公司 穿戴式设备的输入方法和穿戴式设备
CN103763431A (zh) * 2013-12-31 2014-04-30 上海闻泰电子科技有限公司 具有可穿戴设备的移动终端及其可穿戴设备
CN103823563B (zh) * 2014-02-28 2016-11-09 北京云视智通科技有限公司 一种头戴式智能显示设备
CN104063092B (zh) * 2014-06-16 2016-12-07 青岛歌尔声学科技有限公司 一种触摸屏控制方法及装置

Also Published As

Publication number Publication date
KR20160127136A (ko) 2016-11-02
WO2015192763A1 (zh) 2015-12-23
US20170131839A1 (en) 2017-05-11
KR101724533B1 (ko) 2017-04-07
CN104063092A (zh) 2014-09-24
US9823779B2 (en) 2017-11-21
CN104063092B (zh) 2016-12-07
JP2017513084A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6105822B1 (ja) タッチスクリーンの制御方法及び装置
US10459545B2 (en) All-in-one machine and method and computer memory medium for realizing quick touch in all channels thereof
JP6437170B1 (ja) タッチスクリーンの作動モードの制御方法及び制御装置
US20130167084A1 (en) Information terminal, method of controlling information terminal, and program for controlling information terminal
US20200104004A1 (en) Display control device, display control method, and display control system
US20160004339A1 (en) Programmable display device and screen-operation processing program therefor
US20150160826A1 (en) Electronic Device
KR102655584B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20170212658A1 (en) Display control device, display control method, and recording medium
KR102095039B1 (ko) 터치 인터페이스를 제공하는 장치에서 터치 입력을 수신하는 방법 및 장치
CN107992262A (zh) 分屏显示界面控制方法、移动终端及计算机可读存储介质
US10779148B2 (en) Data transmission method and first electronic device
US20160054860A1 (en) Input device
US20180300052A1 (en) Operation input apparatus, information processing apparatus, information processing method, and program
JP2013065073A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
US9575582B2 (en) Method and apparatus for processing touch input in mobile terminal
JP2016038619A (ja) 携帯端末装置及びその操作方法
JP2014120168A (ja) テレビ、制御装置及び制御方法
US20240036701A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved and extended user interface
US20240103630A1 (en) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved and extended user interface
JP6368263B2 (ja) 情報処理システム、情報処理装置および遠隔操作支援方法
KR20150098960A (ko) 웨어러블 디바이스의 제어 방법 및 그 장치
JP5511023B2 (ja) 映像表示システム及び方法
KR101596238B1 (ko) 단일 입력을 이용한 복수 단말기 제어 장치 및 방법
JP2015049836A (ja) 携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160913

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160913

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170302

R150 Certificate of patent or registration of utility model

Ref document number: 6105822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250