JP2016539413A - フローティング又は空中操作処理方法及び装置 - Google Patents
フローティング又は空中操作処理方法及び装置 Download PDFInfo
- Publication number
- JP2016539413A JP2016539413A JP2016527395A JP2016527395A JP2016539413A JP 2016539413 A JP2016539413 A JP 2016539413A JP 2016527395 A JP2016527395 A JP 2016527395A JP 2016527395 A JP2016527395 A JP 2016527395A JP 2016539413 A JP2016539413 A JP 2016539413A
- Authority
- JP
- Japan
- Prior art keywords
- operation object
- terminal
- floating
- screen
- aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本発明は、フローティング又は空中操作処理方法及び装置に関し、ここで、当該方法は、端末のフローティング又は空中検知エリアにおける操作オブジェクトの操作が所定の条件を充足していると端末が検出すると、端末がズーム/回転モードの起動をトリガするステップと、端末が操作オブジェクトの移動軌跡を検出するステップと、端末が操作オブジェクトの移動軌跡に従って端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するための命令を生成するステップとを有する。本発明において提供されるフローティング又は空中操作処理方法及び装置では、ウェブページ及びピクチャなどの表示されるオブジェクトは、フローティング又は空中操作中にズーム方式で閲覧可能であり、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利である。
Description
本発明は、端末装置技術の分野に関し、特にフローティング又は空中操作処理方法及び装置に関する。
インテリジェント移動端末の発達によって、タッチ画面は、ユーザと端末との間のインタラクションの体感を大きく向上させ、広く利用されてきた。しかしながら、いくつかの特定のシナリオでは、指は画面をタッチできないか、又は画面をタッチすることが不便であるか、又は一方の手しか画面をタッチできない。例えば、バスでは、ユーザは手すりに捕まる必要があり、またウェブページ又はピクチャ情報を閲覧する必要があり、両方の手を用いることによって操作することは大変難しい。例えば、調理中、手で画面をタッチすることは不便であり、ユーザがウェブページ又はピクチャを閲覧する必要があるとき、両方の手で画面をタッチすることはできない。
フローティングタッチは、指が画面にタッチしない場合に、ユーザの指が端末の画面上でタッチ操作を実行するのに利用されうる技術である。フローティングタッチをサポートするタッチ画面上の2つの容量センサ、相互容量センサと自己容量センサとがある。自己容量センサは、より遠くの指の検知を検出するため、相互容量センサより強力な信号を生成し、20mmまでの検出距離範囲を有することが可能である。相互容量センサの磁界は大変小さく、この結果、信号強度は大変弱く、相互容量センサはこれらの大変弱い信号を検出できない。従って、ユーザの指が画面の上方で停止するとき、相互容量センサは信号を検出できない。自己容量センサにより検出可能な信号は、相互容量センサのものより強力であり、このため、装置は画面の上方の20mmにある指を検出可能である。
空中操作について、接近するジェスチャは、タッチ画面、カメラ、超音波センサ又は赤外線センサなどのセンサを利用することによって特定及び決定され、空中操作が検知可能な縦方向のエリア(タッチ画面に対する距離)は、フローティング操作のものより遠い。両方の手が画面にタッチできないとき、空中操作がより適している。
本発明の課題は、ウェブページ及びピクチャなどの表示されたオブジェクトが、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利であるフローティング又は空中操作中にズーム方式で閲覧可能となるようなフローティング又は空中操作処理方法及び装置を提供することである。
上記課題を実現するため、本発明の第1の態様は、フローティング又は空中操作処理方法であって、端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出し、充足している場合、前記端末が、前記操作オブジェクトの移動軌跡を検出するステップと、
前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップと、
を有する方法を提供する。
前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップと、
を有する方法を提供する。
第1の態様を参照して、第1の態様の第1の実現方式では、前記端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出するステップは、前記端末が、前記操作オブジェクトのフローティング又は空中操作が、第1の時間閾値内における位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか検出するステップを有し、停止操作である場合、前記端末のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する。
第1の態様の第1の実現方式を参照して、第1の態様の第2の実現方式では、前記端末が、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか検出するステップは、具体的には、
前記端末が、前記端末のフローティング又は空中検知エリアにおいて前記操作オブジェクトを検出すると、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートするステップと、
前記初期的な停止位置に対する前記操作オブジェクトのシフトが前記許容範囲を超え、前記タイマのカウントが前記第1の時間閾値に到達していないことを検出した場合、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップ、又は、
前記タイマのカウントが前記第1の時間閾値に到達した場合、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップと、
を有する。
前記端末が、前記端末のフローティング又は空中検知エリアにおいて前記操作オブジェクトを検出すると、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートするステップと、
前記初期的な停止位置に対する前記操作オブジェクトのシフトが前記許容範囲を超え、前記タイマのカウントが前記第1の時間閾値に到達していないことを検出した場合、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップ、又は、
前記タイマのカウントが前記第1の時間閾値に到達した場合、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップと、
を有する。
第1の態様の第1の実現方式又は第2の実現方式を参照して、第1の態様の第3の実現方式では、前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、
前記端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第2の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップを有し、前記第2の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記端末が、前記操作オブジェクトの移動軌跡を検出するステップは、
前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間のシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用するステップを有する。
前記端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第2の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップを有し、前記第2の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記端末が、前記操作オブジェクトの移動軌跡を検出するステップは、
前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間のシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用するステップを有する。
第1の態様の第3の実現方式を参照して、第1の態様の第4の実現方式では、前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップの後、当該方法は更に、
前記端末が第2の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、前記端末が、前記操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記端末の画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するステップを有する。
前記端末が第2の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、前記端末が、前記操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記端末の画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するステップを有する。
第1の態様又は第1の態様の第1から4の実現方式の何れか1つを参照して、第1の態様の第5の実現方式では、前記操作オブジェクトの移動軌跡は、以下の1つ又は何れかの組み合わせ、
前記端末の画面にパラレルである平面における平面矩形座標系のx軸方向における前記操作オブジェクトの移動軌跡、又は、
前記平面矩形座標系のy軸方向における前記操作オブジェクトの移動軌跡、又は、
前記端末の画面に垂直であるz方向における前記操作オブジェクトの移動軌跡
を有する。
前記端末の画面にパラレルである平面における平面矩形座標系のx軸方向における前記操作オブジェクトの移動軌跡、又は、
前記平面矩形座標系のy軸方向における前記操作オブジェクトの移動軌跡、又は、
前記端末の画面に垂直であるz方向における前記操作オブジェクトの移動軌跡
を有する。
第1の態様の第5の実現方式を参照して、第1の態様の第6の実現方式では、前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、具体的には、以下の1つ又は何れかの組み合わせ、
前記z方向における前記操作オブジェクトの移動軌跡が前記端末の画面に近づいているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームイン操作を実行するステップと、
前記z方向における前記操作オブジェクトの移動軌跡が前記端末の画面から遠ざかっているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するステップと、
前記x軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
前記y軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
を有する。
前記z方向における前記操作オブジェクトの移動軌跡が前記端末の画面に近づいているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームイン操作を実行するステップと、
前記z方向における前記操作オブジェクトの移動軌跡が前記端末の画面から遠ざかっているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するステップと、
前記x軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
前記y軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
を有する。
第2の態様によると、本発明は更に、フローティング又は空中操作処理装置であって、当該装置は、センサとプロセッサとを有し、
前記センサは、前記センサのフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作を検出するよう構成され、
前記プロセッサは、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定し、前記プロセッサが前記操作オブジェクトのフローティング又は空中操作が前記所定の条件を充足していると決定すると、前記プロセッサが、前記センサを利用することによって前記操作オブジェクトの移動軌跡を検出するよう構成され、
前記プロセッサは更に、前記操作オブジェクトの移動軌跡に従って画面上に表示されるコンテンツに対してズーム又は回転操作を実行するよう構成される装置を提供する。
前記センサは、前記センサのフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作を検出するよう構成され、
前記プロセッサは、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定し、前記プロセッサが前記操作オブジェクトのフローティング又は空中操作が前記所定の条件を充足していると決定すると、前記プロセッサが、前記センサを利用することによって前記操作オブジェクトの移動軌跡を検出するよう構成され、
前記プロセッサは更に、前記操作オブジェクトの移動軌跡に従って画面上に表示されるコンテンツに対してズーム又は回転操作を実行するよう構成される装置を提供する。
第2の態様を参照して、第2の態様の第1の実現方式では、前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定することは、前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が、第1の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか決定することを有し、停止操作である場合、前記端末のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する。
第2の態様の第1の実現方式を参照して、第2の態様の第2の実現方式では、前記プロセッサが、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか決定することは、具体的には、
前記センサが前記操作オブジェクトを検出すると、前記プロセッサが、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートすることを有し、
前記初期的な停止位置に対する前記操作オブジェクトの前記センサにより検出されたシフトが前記許容範囲を超え、前記タイマのカウントが前記第1の時間閾値に到達していないと前記プロセッサが決定した場合、前記プロセッサが、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするか、又は、
前記タイマのカウントが前記第1の時間閾値に到達した場合、前記プロセッサが、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートする、ことを有する。
前記センサが前記操作オブジェクトを検出すると、前記プロセッサが、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートすることを有し、
前記初期的な停止位置に対する前記操作オブジェクトの前記センサにより検出されたシフトが前記許容範囲を超え、前記タイマのカウントが前記第1の時間閾値に到達していないと前記プロセッサが決定した場合、前記プロセッサが、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするか、又は、
前記タイマのカウントが前記第1の時間閾値に到達した場合、前記プロセッサが、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートする、ことを有する。
第2の態様の第1の実現方式又は第2の実現方式を参照して、第2の態様の第3の実現方式では、前記プロセッサが、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することは、
前記プロセッサが、前記端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第2の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することを有し、前記第2の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記プロセッサが、前記操作オブジェクトの移動軌跡を検出することは、
前記プロセッサが、前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間の前記センサにより検出されたシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用することを有する。
前記プロセッサが、前記端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第2の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することを有し、前記第2の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記プロセッサが、前記操作オブジェクトの移動軌跡を検出することは、
前記プロセッサが、前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間の前記センサにより検出されたシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用することを有する。
第2の態様の第3の実現方式を参照して、第2の態様の第4の実現方式では、前記画面上に表示されるコンテンツに対してズーム又は回転操作を実行した後、前記プロセッサは更に、第2の時間の間に前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が停止操作であると決定すると、前記プロセッサが、前記操作オブジェクトの停止操作が第2の時間の間に決定されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第2の時間の間に決定されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するよう構成される。
第2の態様又は第2の態様の第1から4の実現方式の何れか1つを参照して、第2の態様の第5の実現方式では、
前記操作オブジェクトの移動軌跡は、以下の1つ又は何れかの組み合わせ、
前記画面にパラレルである前記操作オブジェクトが配置された平面におけるx軸方向における前記操作オブジェクトの移動軌跡、又は、
前記端末の画面にパラレルである前記操作オブジェクトが配置された平面におけるy軸方向における前記操作オブジェクトの移動軌跡、又は、
前記画面に垂直であるz方向における前記操作オブジェクトの移動軌跡
を有する。
前記操作オブジェクトの移動軌跡は、以下の1つ又は何れかの組み合わせ、
前記画面にパラレルである前記操作オブジェクトが配置された平面におけるx軸方向における前記操作オブジェクトの移動軌跡、又は、
前記端末の画面にパラレルである前記操作オブジェクトが配置された平面におけるy軸方向における前記操作オブジェクトの移動軌跡、又は、
前記画面に垂直であるz方向における前記操作オブジェクトの移動軌跡
を有する。
第2の態様の第5の実現方式を参照して、第2の態様の第6の実現方式では、前記プロセッサは、具体的には、前記z方向における前記操作オブジェクトの移動軌跡が前記センサに近づいているとき、前記画面上に表示されるコンテンツに対してズームイン操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記z方向における前記操作オブジェクトの移動軌跡が前記センサから遠ざかっているとき、前記画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記x軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記y軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成される。
前記プロセッサは、具体的には、前記z方向における前記操作オブジェクトの移動軌跡が前記センサから遠ざかっているとき、前記画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記x軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記y軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成される。
本発明において提供されるフローティング又は空中操作処理方法及び装置によると、移動過程におけるユーザのフローティング又は空中操作が処理され、ユーザの移動軌跡及び傾向が決定され、対応するズーム/回転処理がユーザの移動軌跡に従って実行され、これにより、ウェブページ及びピクチャなどの表示されるオブジェクトがフローティング又は空中操作中にズーム方式で閲覧可能となり、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利である。
添付図面及び実施例によって、本発明の技術的解決策が以下において更に詳細に説明される。
本発明において提供されるフローティング又は空中操作処理方法及び装置は、フローティング又は空中操作を検知可能であり、画面にタッチすることなく、画面上に表示されるウェブページ又はピクチャなどの表示されたコンテンツに対するズーム又は回転などの操作を実行可能なタッチ画面及び端末装置に適用可能である。
実施例1
図1は、本実施例によるフローティング又は空中操作処理方法のフローチャートである。図1に示されるように、本発明におけるフローティング又は空中操作処理方法は以下を有する。
図1は、本実施例によるフローティング又は空中操作処理方法のフローチャートである。図1に示されるように、本発明におけるフローティング又は空中操作処理方法は以下を有する。
S101:端末が、端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出する。
本発明では、操作オブジェクトは、一般にユーザの指などの端末のタッチ画面によって検知可能なオブジェクトである。フローティング又は空中操作は、操作オブジェクトが端末のタッチ画面にタッチしないケースにおいて、端末のタッチ画面により検知可能な操作を言う。
タッチ画面又は他のセンサを利用することによって、端末は、操作オブジェクトのフローティング又は空中操作を検出し、操作オブジェクトの停止位置の変化を検知し、具体的には、以下、端末の画面にパラレルである平面における平面矩形座標系のx軸方向における操作オブジェクトの変化、又は、平面矩形座標系のy軸方向における操作オブジェクトの変化、又は、端末の画面に垂直であるz方向における操作オブジェクトの変化、の1つ又は何れかの組み合わせを含む。
端末が、端末のフローティング又は空中検知エリアにおいて操作オブジェクトのフローティング又は空中操作が所定の条件を充足することを検出した場合、S102が実行される。そうでない場合、端末は、回転又はズームインモードに入らず、すなわち、S102は実行されない。
具体的には、端末は、操作オブジェクトのフローティング又は空中操作が、第1の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である操作オブジェクトの停止操作であるか検出し、停止操作である場合、端末のフローティング又は空中検知エリアにおけるフローティング又は空中操作は、所定の条件を充足する。第1の時間閾値は、例えば、1秒などの実際の利用に従って予め設定されてもよい。
シフトは、方向だけでなく長さも含むベクトルであってもよい。
許容範囲は、ユーザが操作中に揺れる可能性があるため、予め設定された距離範囲であり、当該距離範囲内で移動するとき、操作オブジェクトはほぼ同じ位置にいるとみなされてもよい。すなわち、x軸方向、y軸方向及びz方向における操作オブジェクトのシフトの全てが許容範囲内にあると決定されると、それは、操作オブジェクトの動きが揺れに属していることを示し、端末は操作オブジェクトが同じ位置にあるとみなす。
具体的には、端末が、操作オブジェクトのフローティング又は空中操作が停止操作であるか検出することは、端末が、端末のフローティング又は空中検知エリアにおいて操作オブジェクトを検出すると、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートし、初期的な停止位置に対する操作オブジェクトのシフトが許容範囲を超え、タイマのカウントが第1の時間閾値に到達していないことを検出した場合、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートするか、又は、タイマのカウントが第1の時間閾値に到達した場合、フローティング又は空中操作が停止操作であると決定し、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートすることを有する。
S102:端末が、操作オブジェクトの移動軌跡を検出する。
この場合、端末は、ズーム/回転モードに入る。
具体的には、操作オブジェクトの移動軌跡は、以下、端末の画面にパラレルである平面における平面矩形座標系のx軸方向における操作オブジェクトの移動軌跡、又は、平面矩形座標系のy軸方向における操作オブジェクトの移動軌跡、又は、端末の画面に垂直であるz方向における操作オブジェクトの移動軌跡の1つ又は何れかの組み合わせを含む。
端末は、x軸方向、又はy軸方向又はz方向における操作オブジェクトの停止位置とスタート位置との間のシフトを計算する。
操作オブジェクトの移動軌跡は、連続的に変化する軌跡ラインであってもよいし、又は変化するポイントであってもよく、すなわち、操作オブジェクトの1つ以上のポイントが検出され、計算中、操作オブジェクトの停止位置の変化がポイント変化によって生じる信号波形の変化によって計算される。
S103:端末が、操作オブジェクトの移動軌跡に従って端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行する。
具体的には、端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアがズーム又は回転操作のスタート位置として決定され、第2の位置がズーム又は回転操作のスタート位置として決定され、ズーム又は回転操作が端末の画面上に表示されるコンテンツに対して実行され、端末が操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの操作オブジェクトのフローティング位置である。
端末が、操作オブジェクトの移動軌跡を検出することは、操作オブジェクトの現在のフローティング位置とスタート位置との間のシフトを計算及び記録し、シフトを操作オブジェクトの移動軌跡として利用することを含む。
端末が、端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することは、具体的には、以下、
z方向における操作オブジェクトの移動軌跡が端末の画面に近づいているとき、端末が、端末の画面上に表示されるコンテンツに対してズームイン操作を実行するか、又は、
z方向における操作オブジェクトの移動軌跡が端末の画面から遠ざかっているとき、端末が、端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するか、又は、
x軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、端末が、端末の画面上に表示されるコンテンツに対して回転操作を実行するか、又は、
y軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、端末が、端末の画面上に表示されるコンテンツに対して回転操作を実行するか、
の1つ又は何れかの組み合わせを有する。
z方向における操作オブジェクトの移動軌跡が端末の画面に近づいているとき、端末が、端末の画面上に表示されるコンテンツに対してズームイン操作を実行するか、又は、
z方向における操作オブジェクトの移動軌跡が端末の画面から遠ざかっているとき、端末が、端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するか、又は、
x軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、端末が、端末の画面上に表示されるコンテンツに対して回転操作を実行するか、又は、
y軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、端末が、端末の画面上に表示されるコンテンツに対して回転操作を実行するか、
の1つ又は何れかの組み合わせを有する。
ズームレシオは、z方向におけるスタート位置に対するシフトの変化に従って制御され、例えば、z方向における0.5単位は4倍のズーム値を有し、4倍のズームインは正の方向に実行され(画面に対する距離が増大し)、1/4へのズームアウトは負の方向に実行される(画面に対する距離が減少する)。すなわち、z<0であるとき、それは画面から遠くなることを示し、ズームアウト命令が生成され、ズームアウト操作が実行され、z>0であるとき、それは画面に近づくことを示し、ズームイン命令が生成され、ズームイン操作が実行される。
回転は、x軸方向又はy軸方向におけるスタート位置に対するシフトの変化に従って制御される。停止位置のシフトが所定の範囲(例えば、SAFE_X及びSAFE_Yとして予め設定される)を超えると、画面上のコンテンツを回転させるため、回転速度は超過距離に従って計算される。x軸方向又はy軸方向における回転速度が0より大きい場合、フローティング又は空中操作ジェスチャを検出するのに利用されるサービスがメッセージを送信してもよく、これにより、サブインタフェースが連続的に回転するか、又は、ある度だけ回転するか、又はジェスチャ軌跡に従って回転する。x軸方向及びy軸方向の双方における回転速度が0である場合、それは、操作オブジェクトが所定の範囲(SAFE_X及びSAFE_Y)内で移動したことを示し、元の回転処理がキャンセルされ、回転が停止される。
一般に、回転方向は指の現在位置とスタート位置(タイマがスタートされたとき)との間の方向及び距離に基づき決定される。例えば、指の位置は中心ポイントのちょうど右側にあり、この場合、インタフェースは右方向に回転され、当該位置と中心ポイントとの間の距離の長さは回転速度に影響を与える可能性があり、距離がより長い場合、回転はより迅速になる。指が中心ポイントに対して45度の右上隅の位置にある場合、インタフェースは同時に右上方向に回転され、回転速度はまた中心ポイントの位置に従って決定される。ユーザが中心ポイントの位置に指を戻した場合、インタフェースの回転は停止される。
任意的には、S103の後、当該方法は更に、
端末が第2の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、端末が、操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得された操作オブジェクトのフローティング位置をズーム又は回転操作のスタート位置として更新し、操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得される操作オブジェクトのフローティング位置に対応する端末の画面上に表示されるコンテンツをズーム又は回転操作の中心エリアとして決定することを含む。
端末が第2の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、端末が、操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得された操作オブジェクトのフローティング位置をズーム又は回転操作のスタート位置として更新し、操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得される操作オブジェクトのフローティング位置に対応する端末の画面上に表示されるコンテンツをズーム又は回転操作の中心エリアとして決定することを含む。
例えば、図2は、本発明による操作オブジェクトの停止位置の概略図である。図2において、4つのポイントA1〜A4があり、座標はそれぞれ(x,y,0),(x,y,z2),(x,y,z3)及び(x,y,z4)であり、ここで、A2〜A4は操作オブジェクトの停止位置であり、A1はA2〜A4に対応する画面上のポイントである。操作オブジェクト(例えば、指など)がA2からA3に移動した場合、すなわち、シフトはs1=z2−z3>0であり、ズームインは、A1ポイント(x,y)を中心として利用することによってビューにおいて実行される。操作オブジェクトがA2からA4に移動する、すなわち、シフトがs2=z2−z4<0である場合、ズームアウトは、A1ポイント(x,y)を中心として利用することによってビューにおいて実行される。図3に示されるように、s1>0であるとき、画面上に表示されるコンテンツは、図3における図Aから図Bに変化する。s2<0であるとき、画面上に表示されるコンテンツは、図3における図Aから図Cに変化する。
任意的には、ズーム中、画面上に表示されるコンテンツの変更速度がまた設定されてもよく、一般に、コンテンツの変更速度は操作オブジェクトの動きの速度未満である。
同様に、図4において、回転状況が示される。図4において、4つのポイントA1,A2,B2及びC2があり、座標はそれぞれ(x,y,0),(x,y,z2),(x1,y1,z1)及び(x2,y1,z1)である。A2はスタート位置であり、A1はA2に対応する画面上のポイントであり、操作オブジェクトはA2からC2に、それからB2に移動する。s3=z2−z1<0であるため、x軸方向とy軸方向との双方におけるシフトがあり、移動軌跡は所定の範囲を超え、画面上のコンテンツは同時にズームアウト及び回転され、すなわち、ビューは図4において図Aから図Bに変化する。
任意的には、操作オブジェクトがタッチ画面のフローティング又は空中検知エリアから離れたことを検出してからある期間後、端末は、操作オブジェクトの移動軌跡の検出の状態から即座に退出してもよい。
本発明において提供されるフローティング又は空中操作処理方法が詳細に上述され、本発明において提供されるフローティング又は空中操作処理装置が以下で詳細に説明される。
実施例2
図5は、本実施例によるフローティング又は空中操作処理装置の概略図である。図5に示されるように、本発明におけるフローティング又は空中操作処理装置は、センサ501及びプロセッサ502を有する。
図5は、本実施例によるフローティング又は空中操作処理装置の概略図である。図5に示されるように、本発明におけるフローティング又は空中操作処理装置は、センサ501及びプロセッサ502を有する。
センサ501は、センサ501のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作を検出するよう構成される。
センサ501は、タッチ画面、カメラ、超音波センサ又は赤外線センサなどのセンサであってもよいし、又は、タッチ画面とカメラ、超音波センサ又は赤外線センサなどの連携して利用されるセンサの組み合わせであってもよい。タッチ画面は、本発明の本実施例における説明のための具体例として利用され、カメラ、超音波センサ又は赤外線センサなどのセンサはそれと同様である。
本発明では、操作オブジェクトは、一般にユーザの指などのセンサ501により検知可能なオブジェクトである。フローティング又は空中操作は、操作オブジェクトがセンサ501にタッチしないケースにおいて、センサ501により検知可能な操作を言う。
センサ501は、操作オブジェクトの停止位置の変化を検知し、具体的には、以下、画面にパラレルである操作オブジェクトが配置された平面におけるx軸方向における操作オブジェクトの変化、又は、画面にパラレルである操作オブジェクトが配置された平面におけるy軸方向における操作オブジェクトの変化、又は、センサ501に垂直であるz軸方向における操作オブジェクトの変化の1つ又は何れかの組み合わせを含む。
プロセッサ502は、センサ501により検出された操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定するよう構成される。
プロセッサ502が操作オブジェクトのフローティング又は空中操作が所定の条件を充足していると決定すると、プロセッサ502が、センサ501を利用することによって操作オブジェクトの移動軌跡を検出するよう構成される。この場合、端末は、ズーム/回転モードの起動をトリガする。
プロセッサ502が、センサにより検出された操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定することは、具体的には、プロセッサ502が、操作オブジェクトのフローティング又は空中操作が、第1の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である操作オブジェクトの停止操作であるか決定することであり、停止操作である場合、端末のフローティング又は空中検知エリアにおけるフローティング又は空中操作は、所定の条件を充足する。第1の時間閾値は、例えば、1秒など、実際の利用に従って予め設定されてもよい。
シフトは、方向だけでなく長さも含むベクトルであってもよい。
許容範囲は、ユーザが操作中に揺れる可能性があるため、予め設定された距離範囲であり、当該距離範囲内で移動するとき、操作オブジェクトはほぼ同じ位置にあるとみなされてもよい。すなわち、x軸方向、y軸方向及びz方向における操作オブジェクトのシフトの全てが許容範囲内であると決定されると、それは操作オブジェクトの移動が揺れに属することを示し、端末は操作オブジェクトが同じ位置にあるとみなす。
プロセッサ502が、操作オブジェクトのフローティング又は空中操作が停止操作であるか決定することは、具体的には、センサ501が操作オブジェクトを検出すると、プロセッサ502が、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートすることを有し、初期的な停止位置に対する操作オブジェクトのセンサ501により検出されたシフトが許容範囲を超え、タイマのカウントが第1の時間閾値に到達していないとプロセッサ502が決定した場合、プロセッサが、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートするか、又は、タイマのカウントが第1の時間閾値に到達した場合、プロセッサ502が、フローティング又は空中操作が停止操作であると決定し、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートする、ことを有する。
プロセッサ502は、センサ501を利用することによって操作オブジェクトの移動軌跡を検出するよう構成される。
操作オブジェクトの移動軌跡は、以下、端末の画面にパラレルである平面における平面矩形座標系のx軸方向における操作オブジェクトの移動軌跡、又は、平面矩形座標系のy軸方向における操作オブジェクトの移動軌跡、又は、画面に垂直であるz方向における操作オブジェクトの移動軌跡の1つ又は何れかの組み合わせを含む。
プロセッサ502は、x軸方向、y軸方向又はz方向における操作オブジェクトの停止位置とスタート位置との間のシフトを計算する。
操作オブジェクトの移動軌跡は、連続的に変化する軌跡ラインであってもよいし、又は変化するポイントであってもよく、すなわち、操作オブジェクトの1つ以上のポイントが検出され、計算中、操作オブジェクトの停止位置の変化が、ポイント変化によって生じる信号波形変化によって計算される。
プロセッサ502は更に、操作オブジェクトの移動軌跡に従って画面上に表示されるコンテンツに対してズーム又は回転操作を実行するよう構成される。
プロセッサ502は、端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアをズーム又は回転操作の中心エリアとして決定し、第2の位置をズーム又は回転操作のスタート位置として決定し、端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行し、ここで、第2の位置は、端末が操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの操作オブジェクトのフローティング位置である。
プロセッサ502が、操作オブジェクトの移動軌跡を検出することは、
プロセッサ502が、操作オブジェクトの現在のフローティング位置とスタート位置との間のセンサにより検出されたシフトを計算及び記録し、シフトを操作オブジェクトの移動軌跡として利用することを有する。
プロセッサ502が、操作オブジェクトの現在のフローティング位置とスタート位置との間のセンサにより検出されたシフトを計算及び記録し、シフトを操作オブジェクトの移動軌跡として利用することを有する。
具体的には、プロセッサ502は、z方向における操作オブジェクトの移動軌跡がセンサ501に近づいているとき、画面上に表示されるコンテンツに対してズームイン操作を実行するよう構成されるか、又は、
プロセッサ502は、z方向における操作オブジェクトの移動軌跡がセンサ501から遠ざかっているとき、画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
プロセッサ502は、x軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
プロセッサ502は、y軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、画面上に表示されるコンテンツに対して回転操作を実行するよう構成される。
プロセッサ502は、z方向における操作オブジェクトの移動軌跡がセンサ501から遠ざかっているとき、画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
プロセッサ502は、x軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
プロセッサ502は、y軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、画面上に表示されるコンテンツに対して回転操作を実行するよう構成される。
ズームレシオは、z方向におけるスタート位置に対するシフトの変化に従って制御され、例えば、0.5単位はz方向における4倍のズーム値を有し、4倍のズームインは正の方向において実行され(画面に対する距離が増加され)、1/4のズームアウトは負の方向において実行される(画面に対する距離が減少される)。すなわち、z<0であるとき、それは画面から遠いことを示し、ズームアウト命令が生成され、ズームアウト操作が実行され、z>0であるとき、それは画面に近いことを示し、ズームイン命令が生成され、ズームイン操作が実行される。
回転は、x軸方向又はy軸方向におけるスタート位置に対するシフトの変化に従って制御される。停止位置のシフトが所定の範囲(例えば、SAFE_X及びSAFE_Yとして予め設定される)を超えると、回転速度は、画面上のコンテンツを回転させるため、超過距離に従って計算される。x軸方向又はy軸方向における回転速度が0より大きい場合、フローティング又は空中操作のジェスチャを検出するのに利用されるサービスはメッセージを送信してもよく、これにより、サブインタフェースが連続的に回転するか、ある度だけ回転するか、又は、ジェスチャ軌跡に従って回転する。x軸方向及びy軸方向の双方における回転速度が0である場合、それは、操作オブジェクトが所定の範囲(SAFE_X及びSAFE_Y)内で移動していることを示し、元の回転処理がキャンセルされ、回転が停止される。
一般に、回転方向は、指の現在位置とスタート位置(タイマがスタートしたとき)との間の方向及び距離に基づき決定される。例えば、指の位置は中心ポイントのちょうど右側にあり、この場合、インタフェースは右方向に回転される。位置と中心ポイントとの間の距離の長さは回転速度に影響を与える可能性があり、距離がより長い場合、回転はより速くなる。指が中心ポイントに対して45度の右上隅の位置にある場合、インタフェースは同時に右上方向に回転され、回転速度はまた中心ポイントの位置に従って決定される。ユーザが中心ポイントの位置に指を戻した場合、インタフェースの回転が停止される。
任意的には、画面上に表示されるコンテンツに対してズーム又は回転操作を実行した後、プロセッサ502は更に、第2の時間の間にセンサにより検出された操作オブジェクトのフローティング又は空中操作が停止操作であると決定すると、プロセッサ502が、操作オブジェクトの停止操作が第2の時間の間に決定されたときに取得された操作オブジェクトのフローティング位置をズーム又は回転操作のスタート位置として更新し、操作オブジェクトの停止操作が第2の時間の間に決定されたときに取得される操作オブジェクトのフローティング位置に対応する画面上に表示されるコンテンツをズーム又は回転操作の中心エリアとして決定するよう構成される。
本発明において提供されるフローティング又は空中操作処理方法及び装置によると、移動過程におけるユーザのフローティング又は空中操作が処理され、ユーザの移動軌跡及び傾向が決定され、対応するズーム/回転処理がユーザの移動軌跡に従って実行され、これにより、ウェブページ及びピクチャなどの表示されたオブジェクトがフローティング又は空中操作中にズーム形式で閲覧可能であり、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利である。
当業者は更に、本明細書に開示された実施例において説明された具体例に関して、ユニット及びアルゴリズムのステップは電子的ハードウェア、コンピュータソフトウェア又はこれらの組み合わせにより実現可能であることを認識しうる。ハードウェアとソフトウェアとの間の互換性を明確に説明するため、上記は一般に機能に従って各具体例の構成及びステップを全体的に説明した。これらの機能がハードウェア又はソフトウェアにより実行されるか否かは、技術的解決策の特定の用途及び設計制約条件に依存する。当業者は、異なる方法を利用して特定の各用途について説明された機能を実現してもよいが、当該実現形態は本発明の範囲外であるとみなされるべきでない。
本明細書に開示される実施例において説明される方法又はアルゴリズムのステップは、ハードウェア、プロセッサにより実行されるソフトウェアモジュール又はこれらの組み合わせにより実現されてもよい。ソフトウェアモジュールは、ランダム・アクセス・メモリ(RAM)、メモリ、読み出し専用メモリ(ROM)、電子的にプログラム可能なROM、電子的に消去可能なプログラム可能なROM、レジスタ、ハードディスク、着脱可能なディスク、CD−ROM又は当該分野において知られる他の何れかの形態の記憶媒体に配置されてもよい。
上記の特定の実現方式では、本発明の課題、技術的解決策及び利益が更に詳細に説明された。上記の説明は本発明の単なる特定の実現方式であり、本発明の保護範囲を限定することを意図していないことが理解されるべきである。本発明の精神及び原理から逸脱することなくなされた何れかの修正、等価な置換又は改良は、本発明の保護範囲内に属するべきである。
Claims (14)
- フローティング又は空中操作処理方法であって、
端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出し、充足している場合、前記端末が、前記操作オブジェクトの移動軌跡を検出するステップと、
前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップと、
を有する方法。 - 前記端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出するステップは、前記端末が、前記操作オブジェクトのフローティング又は空中操作が、第1の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか検出するステップを有し、停止操作である場合、前記端末のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する、請求項1記載の方法。
- 前記端末が、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか検出するステップは、具体的には、
前記端末が、前記端末のフローティング又は空中検知エリアにおいて前記操作オブジェクトを検出すると、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートするステップと、
前記初期的な停止位置に対する前記操作オブジェクトのシフトが前記許容範囲を超え、前記タイマのカウントが前記第1の時間閾値に到達していないことを検出した場合、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップ、又は、
前記タイマのカウントが前記第1の時間閾値に到達した場合、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップと、
を有する、請求項2記載の方法。 - 前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、
前記端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第2の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップを有し、前記第2の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記端末が、前記操作オブジェクトの移動軌跡を検出するステップは、
前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間のシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用するステップを有する、請求項2又は3記載の方法。 - 前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップの後、当該方法は更に、
前記端末が第2の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、前記端末が、前記操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第2の時間の間に検出されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記端末の画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するステップを有する、請求項4記載の方法。 - 前記操作オブジェクトの移動軌跡は、以下の1つ又は何れかの組み合わせ、
前記端末の画面にパラレルである平面における平面矩形座標系のx軸方向における前記操作オブジェクトの移動軌跡、又は、
前記平面矩形座標系のy軸方向における前記操作オブジェクトの移動軌跡、又は、
前記端末の画面に垂直であるz方向における前記操作オブジェクトの移動軌跡
を有する、請求項1乃至5何れか一項記載の方法。 - 前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、具体的には、以下の1つ又は何れかの組み合わせ、
前記z方向における前記操作オブジェクトの移動軌跡が前記端末の画面に近づいているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームイン操作を実行するステップと、
前記z方向における前記操作オブジェクトの移動軌跡が前記端末の画面から遠ざかっているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するステップと、
前記x軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
前記y軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
を有する、請求項6記載の方法。 - フローティング又は空中操作処理装置であって、当該装置は、センサとプロセッサとを有し、
前記センサは、前記センサのフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作を検出するよう構成され、
前記プロセッサは、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定し、前記プロセッサが前記操作オブジェクトのフローティング又は空中操作が前記所定の条件を充足していると決定すると、前記プロセッサが、前記センサを利用することによって前記操作オブジェクトの移動軌跡を検出するよう構成され、
前記プロセッサは更に、前記操作オブジェクトの移動軌跡に従って画面上に表示されるコンテンツに対してズーム又は回転操作を実行するよう構成される装置。 - 前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定することは、前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が、第1の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか決定することを有し、停止操作である場合、前記装置のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する、請求項8記載の装置。
- 前記プロセッサが、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか決定することは、具体的には、
前記センサが前記操作オブジェクトを検出すると、前記プロセッサが、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートすることを有し、
前記初期的な停止位置に対する前記操作オブジェクトの前記センサにより検出されたシフトが前記許容範囲を超え、前記タイマのカウントが前記第1の時間閾値に到達していないと前記プロセッサが決定した場合、前記プロセッサが、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするか、又は、
前記タイマのカウントが前記第1の時間閾値に到達した場合、前記プロセッサが、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートする、
ことを有する、請求項9記載の装置。 - 前記プロセッサが、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することは、
前記プロセッサが、前記端末の画面上に表示されるコンテンツにおける第2の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第2の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することを有し、前記第2の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記プロセッサが、前記操作オブジェクトの移動軌跡を検出することは、
前記プロセッサが、前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間の前記センサにより検出されたシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用することを有する、請求項9又は10記載の装置。 - 前記画面上に表示されるコンテンツに対してズーム又は回転操作を実行した後、前記プロセッサは更に、
第2の時間の間に前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が停止操作であると決定すると、前記プロセッサが、前記操作オブジェクトの停止操作が第2の時間の間に決定されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第2の時間の間に決定されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するよう構成される、請求項11記載の装置。 - 前記操作オブジェクトの移動軌跡は、以下の1つ又は何れかの組み合わせ、
前記画面にパラレルである前記操作オブジェクトが配置された平面における平面矩形座標系のx軸方向における前記操作オブジェクトの移動軌跡、又は、
前記平面矩形座標系のy軸方向における前記操作オブジェクトの移動軌跡、又は、
前記画面に垂直であるz方向における前記操作オブジェクトの移動軌跡
を有する、請求項8乃至12何れか一項記載の装置。 - 前記プロセッサは、具体的には、前記z方向における前記操作オブジェクトの移動軌跡が前記センサに近づいているとき、前記画面上に表示されるコンテンツに対してズームイン操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記z方向における前記操作オブジェクトの移動軌跡が前記センサから遠ざかっているとき、前記画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記x軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記y軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成される、請求項13記載の装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2013/086309 WO2015062017A1 (zh) | 2013-10-31 | 2013-10-31 | 悬浮或隔空操作的处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016539413A true JP2016539413A (ja) | 2016-12-15 |
Family
ID=50864330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016527395A Withdrawn JP2016539413A (ja) | 2013-10-31 | 2013-10-31 | フローティング又は空中操作処理方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160246383A1 (ja) |
EP (1) | EP3054373A4 (ja) |
JP (1) | JP2016539413A (ja) |
KR (1) | KR20160077122A (ja) |
CN (1) | CN103858085A (ja) |
WO (1) | WO2015062017A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9594489B2 (en) * | 2014-08-12 | 2017-03-14 | Microsoft Technology Licensing, Llc | Hover-based interaction with rendered content |
CN105630815A (zh) * | 2014-10-31 | 2016-06-01 | 广州市动景计算机科技有限公司 | 网页重排版方法及装置 |
CN105278668A (zh) * | 2014-12-16 | 2016-01-27 | 维沃移动通信有限公司 | 移动终端的控制方法及移动终端 |
KR102024330B1 (ko) * | 2015-03-13 | 2019-09-23 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 전자 장치, 사진 촬영 방법, 및 사진 촬영 장치 |
KR102344045B1 (ko) * | 2015-04-21 | 2021-12-28 | 삼성전자주식회사 | 화면을 표시하는 전자 장치 및 그 제어 방법 |
CN104898972A (zh) * | 2015-05-19 | 2015-09-09 | 青岛海信移动通信技术股份有限公司 | 一种调整电子图像的方法及设备 |
US10372268B2 (en) * | 2015-07-21 | 2019-08-06 | Sony Corporation | Spatial image display apparatus and spatial image display method |
US10216405B2 (en) * | 2015-10-24 | 2019-02-26 | Microsoft Technology Licensing, Llc | Presenting control interface based on multi-input command |
CN105430158A (zh) * | 2015-10-28 | 2016-03-23 | 努比亚技术有限公司 | 一种隔空操作的处理方法及终端 |
CN105759961A (zh) * | 2016-02-03 | 2016-07-13 | 林勇 | 智能设备以及智能设备控制方法 |
CN106371512A (zh) * | 2016-08-29 | 2017-02-01 | 胡镇洪 | 一种可悬浮空中的平板电脑 |
CN106547367A (zh) * | 2016-10-31 | 2017-03-29 | 努比亚技术有限公司 | 一种输入法控制装置及方法 |
CN106681612A (zh) * | 2016-12-29 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种应用于移动终端的调节方法及移动终端 |
CN108427531A (zh) * | 2017-02-15 | 2018-08-21 | 上海箩箕技术有限公司 | 终端及其可阅读内容的查阅方法、装置 |
CN106997258A (zh) * | 2017-03-02 | 2017-08-01 | 惠州Tcl移动通信有限公司 | 一种移动终端界面旋转控制方法及*** |
CN107515700A (zh) * | 2017-09-05 | 2017-12-26 | 电子科技大学中山学院 | 一种用于智能镜子的非接触式触屏效果模拟方法 |
CN107908313B (zh) * | 2017-11-22 | 2021-04-13 | Oppo广东移动通信有限公司 | 电子装置的控制方法及电子装置 |
CN108427534B (zh) * | 2018-03-23 | 2020-11-24 | 北京硬壳科技有限公司 | 控制屏幕返回桌面的方法和装置 |
CN110389800A (zh) * | 2018-04-23 | 2019-10-29 | 广州小鹏汽车科技有限公司 | 一种车载大屏上显示内容处理方法、装置、介质和设备 |
CN109450426A (zh) * | 2018-10-31 | 2019-03-08 | 西安中颖电子有限公司 | 一种利用多感应电极实现隔空触摸的方法 |
CN109785442B (zh) * | 2018-12-11 | 2023-07-11 | 平安科技(深圳)有限公司 | 图像旋转的控制方法及装置、图像旋转的显示方法及*** |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7394454B2 (en) * | 2004-01-21 | 2008-07-01 | Microsoft Corporation | Data input device and method for detecting lift-off from a tracking surface by electrical impedance measurement |
US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US7956847B2 (en) * | 2007-01-05 | 2011-06-07 | Apple Inc. | Gestures for controlling, manipulating, and editing of media files using touch sensitive devices |
KR101513023B1 (ko) * | 2008-03-25 | 2015-04-22 | 엘지전자 주식회사 | 단말기 및 이것의 정보 디스플레이 방법 |
US8237666B2 (en) * | 2008-10-10 | 2012-08-07 | At&T Intellectual Property I, L.P. | Augmented I/O for limited form factor user-interfaces |
US20120120002A1 (en) * | 2010-11-17 | 2012-05-17 | Sony Corporation | System and method for display proximity based control of a touch screen user interface |
CN102736757A (zh) * | 2011-03-31 | 2012-10-17 | 比亚迪股份有限公司 | 触控识别方法及触控识别装置 |
US8654076B2 (en) * | 2012-03-15 | 2014-02-18 | Nokia Corporation | Touch screen hover input handling |
CN102937832B (zh) * | 2012-10-12 | 2016-01-20 | 广东欧珀移动通信有限公司 | 一种移动终端的手势捕捉方法及装置 |
JP5852050B2 (ja) * | 2013-05-27 | 2016-02-03 | 株式会社ジャパンディスプレイ | タッチ検出装置、タッチ検出機能付き表示装置、及び電子機器 |
US20150042580A1 (en) * | 2013-08-08 | 2015-02-12 | Lg Electronics Inc. | Mobile terminal and a method of controlling the mobile terminal |
-
2013
- 2013-10-31 EP EP13896370.7A patent/EP3054373A4/en not_active Withdrawn
- 2013-10-31 KR KR1020167013544A patent/KR20160077122A/ko active Search and Examination
- 2013-10-31 CN CN201380003120.0A patent/CN103858085A/zh active Pending
- 2013-10-31 WO PCT/CN2013/086309 patent/WO2015062017A1/zh active Application Filing
- 2013-10-31 JP JP2016527395A patent/JP2016539413A/ja not_active Withdrawn
- 2013-10-31 US US15/033,514 patent/US20160246383A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
KR20160077122A (ko) | 2016-07-01 |
WO2015062017A1 (zh) | 2015-05-07 |
EP3054373A4 (en) | 2016-10-19 |
EP3054373A1 (en) | 2016-08-10 |
US20160246383A1 (en) | 2016-08-25 |
CN103858085A (zh) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016539413A (ja) | フローティング又は空中操作処理方法及び装置 | |
JP6464138B2 (ja) | ジェスチャによるタッチ入力の向上 | |
CN105359083B (zh) | 对于用户在触摸设备上的边缘输入的动态管理 | |
RU2643654C2 (ru) | Способ и устройство для перемещения контента в терминале | |
US10754470B2 (en) | Interface control method for operation with one hand and electronic device thereof | |
WO2012157272A1 (ja) | 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム | |
JP5620440B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
KR20150090840A (ko) | 디스플레이 화면의 영역을 보호하는 디바이스 및 방법 | |
JP2012128830A (ja) | 情報処理装置およびその動作方法 | |
US10152220B2 (en) | System and method to control a touchscreen user interface | |
JP5639489B2 (ja) | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 | |
CN108733302B (zh) | 手势触发方法 | |
JP2014194747A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
WO2015131630A1 (zh) | 桌面图标的置换方法及装置 | |
EP2811391A1 (en) | Method for transforming an object based on motion, gestures or breath input and electronic device thereof | |
JP2016062183A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
WO2016082712A1 (zh) | 终端设备界面的可点击元素的选择方法和终端设备 | |
US9367169B2 (en) | Method, circuit, and system for hover and gesture detection with a touch screen | |
WO2014125482A1 (en) | System and method for combining touch and gesture in a three dimensional user interface | |
US10025420B2 (en) | Method for controlling display of touchscreen, and mobile device | |
TW201416909A (zh) | 適於接觸控制及懸浮控制的觸控系統及其運作方法 | |
JP2012203440A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN103440191B (zh) | 应用程序的查找方法和装置 | |
CN106406578B (zh) | 信息处理装置、输入控制方法、信息处理装置的控制方法 | |
TWI547858B (zh) | 於觸控螢幕上控制檔案縮放及旋轉的系統及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161027 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20170330 |