JP2016539413A - フローティング又は空中操作処理方法及び装置 - Google Patents

Abstract

本発明は、フローティング又は空中操作処理方法及び装置に関し、ここで、当該方法は、端末のフローティング又は空中検知エリアにおける操作オブジェクトの操作が所定の条件を充足していると端末が検出すると、端末がズーム／回転モードの起動をトリガするステップと、端末が操作オブジェクトの移動軌跡を検出するステップと、端末が操作オブジェクトの移動軌跡に従って端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するための命令を生成するステップとを有する。本発明において提供されるフローティング又は空中操作処理方法及び装置では、ウェブページ及びピクチャなどの表示されるオブジェクトは、フローティング又は空中操作中にズーム方式で閲覧可能であり、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利である。

Description

本発明は、端末装置技術の分野に関し、特にフローティング又は空中操作処理方法及び装置に関する。

インテリジェント移動端末の発達によって、タッチ画面は、ユーザと端末との間のインタラクションの体感を大きく向上させ、広く利用されてきた。しかしながら、いくつかの特定のシナリオでは、指は画面をタッチできないか、又は画面をタッチすることが不便であるか、又は一方の手しか画面をタッチできない。例えば、バスでは、ユーザは手すりに捕まる必要があり、またウェブページ又はピクチャ情報を閲覧する必要があり、両方の手を用いることによって操作することは大変難しい。例えば、調理中、手で画面をタッチすることは不便であり、ユーザがウェブページ又はピクチャを閲覧する必要があるとき、両方の手で画面をタッチすることはできない。

フローティングタッチは、指が画面にタッチしない場合に、ユーザの指が端末の画面上でタッチ操作を実行するのに利用されうる技術である。フローティングタッチをサポートするタッチ画面上の２つの容量センサ、相互容量センサと自己容量センサとがある。自己容量センサは、より遠くの指の検知を検出するため、相互容量センサより強力な信号を生成し、２０ｍｍまでの検出距離範囲を有することが可能である。相互容量センサの磁界は大変小さく、この結果、信号強度は大変弱く、相互容量センサはこれらの大変弱い信号を検出できない。従って、ユーザの指が画面の上方で停止するとき、相互容量センサは信号を検出できない。自己容量センサにより検出可能な信号は、相互容量センサのものより強力であり、このため、装置は画面の上方の２０ｍｍにある指を検出可能である。

空中操作について、接近するジェスチャは、タッチ画面、カメラ、超音波センサ又は赤外線センサなどのセンサを利用することによって特定及び決定され、空中操作が検知可能な縦方向のエリア（タッチ画面に対する距離）は、フローティング操作のものより遠い。両方の手が画面にタッチできないとき、空中操作がより適している。

本発明の課題は、ウェブページ及びピクチャなどの表示されたオブジェクトが、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利であるフローティング又は空中操作中にズーム方式で閲覧可能となるようなフローティング又は空中操作処理方法及び装置を提供することである。

上記課題を実現するため、本発明の第１の態様は、フローティング又は空中操作処理方法であって、端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出し、充足している場合、前記端末が、前記操作オブジェクトの移動軌跡を検出するステップと、
前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップと、
を有する方法を提供する。

第１の態様を参照して、第１の態様の第１の実現方式では、前記端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出するステップは、前記端末が、前記操作オブジェクトのフローティング又は空中操作が、第１の時間閾値内における位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか検出するステップを有し、停止操作である場合、前記端末のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する。

第１の態様の第１の実現方式を参照して、第１の態様の第２の実現方式では、前記端末が、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか検出するステップは、具体的には、
前記端末が、前記端末のフローティング又は空中検知エリアにおいて前記操作オブジェクトを検出すると、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートするステップと、
前記初期的な停止位置に対する前記操作オブジェクトのシフトが前記許容範囲を超え、前記タイマのカウントが前記第１の時間閾値に到達していないことを検出した場合、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップ、又は、
前記タイマのカウントが前記第１の時間閾値に到達した場合、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップと、
を有する。

第１の態様の第１の実現方式又は第２の実現方式を参照して、第１の態様の第３の実現方式では、前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、
前記端末の画面上に表示されるコンテンツにおける第２の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第２の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップを有し、前記第２の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記端末が、前記操作オブジェクトの移動軌跡を検出するステップは、
前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間のシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用するステップを有する。

第１の態様の第３の実現方式を参照して、第１の態様の第４の実現方式では、前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップの後、当該方法は更に、
前記端末が第２の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、前記端末が、前記操作オブジェクトの停止操作が第２の時間の間に検出されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第２の時間の間に検出されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記端末の画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するステップを有する。

第１の態様又は第１の態様の第１から４の実現方式の何れか１つを参照して、第１の態様の第５の実現方式では、前記操作オブジェクトの移動軌跡は、以下の１つ又は何れかの組み合わせ、
前記端末の画面にパラレルである平面における平面矩形座標系のｘ軸方向における前記操作オブジェクトの移動軌跡、又は、
前記平面矩形座標系のｙ軸方向における前記操作オブジェクトの移動軌跡、又は、
前記端末の画面に垂直であるｚ方向における前記操作オブジェクトの移動軌跡
を有する。

第１の態様の第５の実現方式を参照して、第１の態様の第６の実現方式では、前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、具体的には、以下の１つ又は何れかの組み合わせ、
前記ｚ方向における前記操作オブジェクトの移動軌跡が前記端末の画面に近づいているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームイン操作を実行するステップと、
前記ｚ方向における前記操作オブジェクトの移動軌跡が前記端末の画面から遠ざかっているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するステップと、
前記ｘ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
前記ｙ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
を有する。

第２の態様によると、本発明は更に、フローティング又は空中操作処理装置であって、当該装置は、センサとプロセッサとを有し、
前記センサは、前記センサのフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作を検出するよう構成され、
前記プロセッサは、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定し、前記プロセッサが前記操作オブジェクトのフローティング又は空中操作が前記所定の条件を充足していると決定すると、前記プロセッサが、前記センサを利用することによって前記操作オブジェクトの移動軌跡を検出するよう構成され、
前記プロセッサは更に、前記操作オブジェクトの移動軌跡に従って画面上に表示されるコンテンツに対してズーム又は回転操作を実行するよう構成される装置を提供する。

第２の態様を参照して、第２の態様の第１の実現方式では、前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定することは、前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が、第１の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか決定することを有し、停止操作である場合、前記端末のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する。

第２の態様の第１の実現方式を参照して、第２の態様の第２の実現方式では、前記プロセッサが、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか決定することは、具体的には、
前記センサが前記操作オブジェクトを検出すると、前記プロセッサが、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートすることを有し、
前記初期的な停止位置に対する前記操作オブジェクトの前記センサにより検出されたシフトが前記許容範囲を超え、前記タイマのカウントが前記第１の時間閾値に到達していないと前記プロセッサが決定した場合、前記プロセッサが、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするか、又は、
前記タイマのカウントが前記第１の時間閾値に到達した場合、前記プロセッサが、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートする、ことを有する。

第２の態様の第１の実現方式又は第２の実現方式を参照して、第２の態様の第３の実現方式では、前記プロセッサが、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することは、
前記プロセッサが、前記端末の画面上に表示されるコンテンツにおける第２の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第２の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することを有し、前記第２の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
前記プロセッサが、前記操作オブジェクトの移動軌跡を検出することは、
前記プロセッサが、前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間の前記センサにより検出されたシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用することを有する。

第２の態様の第３の実現方式を参照して、第２の態様の第４の実現方式では、前記画面上に表示されるコンテンツに対してズーム又は回転操作を実行した後、前記プロセッサは更に、第２の時間の間に前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が停止操作であると決定すると、前記プロセッサが、前記操作オブジェクトの停止操作が第２の時間の間に決定されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第２の時間の間に決定されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するよう構成される。

第２の態様又は第２の態様の第１から４の実現方式の何れか１つを参照して、第２の態様の第５の実現方式では、
前記操作オブジェクトの移動軌跡は、以下の１つ又は何れかの組み合わせ、
前記画面にパラレルである前記操作オブジェクトが配置された平面におけるｘ軸方向における前記操作オブジェクトの移動軌跡、又は、
前記端末の画面にパラレルである前記操作オブジェクトが配置された平面におけるｙ軸方向における前記操作オブジェクトの移動軌跡、又は、
前記画面に垂直であるｚ方向における前記操作オブジェクトの移動軌跡
を有する。

第２の態様の第５の実現方式を参照して、第２の態様の第６の実現方式では、前記プロセッサは、具体的には、前記ｚ方向における前記操作オブジェクトの移動軌跡が前記センサに近づいているとき、前記画面上に表示されるコンテンツに対してズームイン操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記ｚ方向における前記操作オブジェクトの移動軌跡が前記センサから遠ざかっているとき、前記画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記ｘ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
前記プロセッサは、具体的には、前記ｙ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成される。

本発明において提供されるフローティング又は空中操作処理方法及び装置によると、移動過程におけるユーザのフローティング又は空中操作が処理され、ユーザの移動軌跡及び傾向が決定され、対応するズーム／回転処理がユーザの移動軌跡に従って実行され、これにより、ウェブページ及びピクチャなどの表示されるオブジェクトがフローティング又は空中操作中にズーム方式で閲覧可能となり、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利である。

図１は、本発明の実施例１によるフローティング又は空中操作処理方法のフローチャートである。 図２は、本発明による操作オブジェクトのフローティング又は空中位置の概略図である。 図３は、本発明による表示されるコンテンツのズームの効果の概略図である。 図４は、本発明による表示されるコンテンツの回転の効果の概略図である。 図５は、本発明の実施例２によるフローティング又は空中操作処理装置の概略図である。

添付図面及び実施例によって、本発明の技術的解決策が以下において更に詳細に説明される。

本発明において提供されるフローティング又は空中操作処理方法及び装置は、フローティング又は空中操作を検知可能であり、画面にタッチすることなく、画面上に表示されるウェブページ又はピクチャなどの表示されたコンテンツに対するズーム又は回転などの操作を実行可能なタッチ画面及び端末装置に適用可能である。

実施例１
図１は、本実施例によるフローティング又は空中操作処理方法のフローチャートである。図１に示されるように、本発明におけるフローティング又は空中操作処理方法は以下を有する。

Ｓ１０１：端末が、端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出する。

本発明では、操作オブジェクトは、一般にユーザの指などの端末のタッチ画面によって検知可能なオブジェクトである。フローティング又は空中操作は、操作オブジェクトが端末のタッチ画面にタッチしないケースにおいて、端末のタッチ画面により検知可能な操作を言う。

タッチ画面又は他のセンサを利用することによって、端末は、操作オブジェクトのフローティング又は空中操作を検出し、操作オブジェクトの停止位置の変化を検知し、具体的には、以下、端末の画面にパラレルである平面における平面矩形座標系のｘ軸方向における操作オブジェクトの変化、又は、平面矩形座標系のｙ軸方向における操作オブジェクトの変化、又は、端末の画面に垂直であるｚ方向における操作オブジェクトの変化、の１つ又は何れかの組み合わせを含む。

端末が、端末のフローティング又は空中検知エリアにおいて操作オブジェクトのフローティング又は空中操作が所定の条件を充足することを検出した場合、Ｓ１０２が実行される。そうでない場合、端末は、回転又はズームインモードに入らず、すなわち、Ｓ１０２は実行されない。

具体的には、端末は、操作オブジェクトのフローティング又は空中操作が、第１の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である操作オブジェクトの停止操作であるか検出し、停止操作である場合、端末のフローティング又は空中検知エリアにおけるフローティング又は空中操作は、所定の条件を充足する。第１の時間閾値は、例えば、１秒などの実際の利用に従って予め設定されてもよい。

シフトは、方向だけでなく長さも含むベクトルであってもよい。

許容範囲は、ユーザが操作中に揺れる可能性があるため、予め設定された距離範囲であり、当該距離範囲内で移動するとき、操作オブジェクトはほぼ同じ位置にいるとみなされてもよい。すなわち、ｘ軸方向、ｙ軸方向及びｚ方向における操作オブジェクトのシフトの全てが許容範囲内にあると決定されると、それは、操作オブジェクトの動きが揺れに属していることを示し、端末は操作オブジェクトが同じ位置にあるとみなす。

具体的には、端末が、操作オブジェクトのフローティング又は空中操作が停止操作であるか検出することは、端末が、端末のフローティング又は空中検知エリアにおいて操作オブジェクトを検出すると、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートし、初期的な停止位置に対する操作オブジェクトのシフトが許容範囲を超え、タイマのカウントが第１の時間閾値に到達していないことを検出した場合、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートするか、又は、タイマのカウントが第１の時間閾値に到達した場合、フローティング又は空中操作が停止操作であると決定し、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートすることを有する。

Ｓ１０２：端末が、操作オブジェクトの移動軌跡を検出する。

この場合、端末は、ズーム／回転モードに入る。

具体的には、操作オブジェクトの移動軌跡は、以下、端末の画面にパラレルである平面における平面矩形座標系のｘ軸方向における操作オブジェクトの移動軌跡、又は、平面矩形座標系のｙ軸方向における操作オブジェクトの移動軌跡、又は、端末の画面に垂直であるｚ方向における操作オブジェクトの移動軌跡の１つ又は何れかの組み合わせを含む。

端末は、ｘ軸方向、又はｙ軸方向又はｚ方向における操作オブジェクトの停止位置とスタート位置との間のシフトを計算する。

操作オブジェクトの移動軌跡は、連続的に変化する軌跡ラインであってもよいし、又は変化するポイントであってもよく、すなわち、操作オブジェクトの１つ以上のポイントが検出され、計算中、操作オブジェクトの停止位置の変化がポイント変化によって生じる信号波形の変化によって計算される。

Ｓ１０３：端末が、操作オブジェクトの移動軌跡に従って端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行する。

具体的には、端末の画面上に表示されるコンテンツにおける第２の位置に対応するエリアがズーム又は回転操作のスタート位置として決定され、第２の位置がズーム又は回転操作のスタート位置として決定され、ズーム又は回転操作が端末の画面上に表示されるコンテンツに対して実行され、端末が操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの操作オブジェクトのフローティング位置である。

端末が、操作オブジェクトの移動軌跡を検出することは、操作オブジェクトの現在のフローティング位置とスタート位置との間のシフトを計算及び記録し、シフトを操作オブジェクトの移動軌跡として利用することを含む。

端末が、端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することは、具体的には、以下、
ｚ方向における操作オブジェクトの移動軌跡が端末の画面に近づいているとき、端末が、端末の画面上に表示されるコンテンツに対してズームイン操作を実行するか、又は、
ｚ方向における操作オブジェクトの移動軌跡が端末の画面から遠ざかっているとき、端末が、端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するか、又は、
ｘ軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、端末が、端末の画面上に表示されるコンテンツに対して回転操作を実行するか、又は、
ｙ軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、端末が、端末の画面上に表示されるコンテンツに対して回転操作を実行するか、
の１つ又は何れかの組み合わせを有する。

ズームレシオは、ｚ方向におけるスタート位置に対するシフトの変化に従って制御され、例えば、ｚ方向における０．５単位は４倍のズーム値を有し、４倍のズームインは正の方向に実行され（画面に対する距離が増大し）、１／４へのズームアウトは負の方向に実行される（画面に対する距離が減少する）。すなわち、ｚ＜０であるとき、それは画面から遠くなることを示し、ズームアウト命令が生成され、ズームアウト操作が実行され、ｚ＞０であるとき、それは画面に近づくことを示し、ズームイン命令が生成され、ズームイン操作が実行される。

回転は、ｘ軸方向又はｙ軸方向におけるスタート位置に対するシフトの変化に従って制御される。停止位置のシフトが所定の範囲（例えば、ＳＡＦＥ＿Ｘ及びＳＡＦＥ＿Ｙとして予め設定される）を超えると、画面上のコンテンツを回転させるため、回転速度は超過距離に従って計算される。ｘ軸方向又はｙ軸方向における回転速度が０より大きい場合、フローティング又は空中操作ジェスチャを検出するのに利用されるサービスがメッセージを送信してもよく、これにより、サブインタフェースが連続的に回転するか、又は、ある度だけ回転するか、又はジェスチャ軌跡に従って回転する。ｘ軸方向及びｙ軸方向の双方における回転速度が０である場合、それは、操作オブジェクトが所定の範囲（ＳＡＦＥ＿Ｘ及びＳＡＦＥ＿Ｙ）内で移動したことを示し、元の回転処理がキャンセルされ、回転が停止される。

一般に、回転方向は指の現在位置とスタート位置（タイマがスタートされたとき）との間の方向及び距離に基づき決定される。例えば、指の位置は中心ポイントのちょうど右側にあり、この場合、インタフェースは右方向に回転され、当該位置と中心ポイントとの間の距離の長さは回転速度に影響を与える可能性があり、距離がより長い場合、回転はより迅速になる。指が中心ポイントに対して４５度の右上隅の位置にある場合、インタフェースは同時に右上方向に回転され、回転速度はまた中心ポイントの位置に従って決定される。ユーザが中心ポイントの位置に指を戻した場合、インタフェースの回転は停止される。

任意的には、Ｓ１０３の後、当該方法は更に、
端末が第２の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、端末が、操作オブジェクトの停止操作が第２の時間の間に検出されたときに取得された操作オブジェクトのフローティング位置をズーム又は回転操作のスタート位置として更新し、操作オブジェクトの停止操作が第２の時間の間に検出されたときに取得される操作オブジェクトのフローティング位置に対応する端末の画面上に表示されるコンテンツをズーム又は回転操作の中心エリアとして決定することを含む。

例えば、図２は、本発明による操作オブジェクトの停止位置の概略図である。図２において、４つのポイントＡ１〜Ａ４があり、座標はそれぞれ（ｘ，ｙ，０），（ｘ，ｙ，ｚ２），（ｘ，ｙ，ｚ３）及び（ｘ，ｙ，ｚ４）であり、ここで、Ａ２〜Ａ４は操作オブジェクトの停止位置であり、Ａ１はＡ２〜Ａ４に対応する画面上のポイントである。操作オブジェクト（例えば、指など）がＡ２からＡ３に移動した場合、すなわち、シフトはｓ１＝ｚ２−ｚ３＞０であり、ズームインは、Ａ１ポイント（ｘ，ｙ）を中心として利用することによってビューにおいて実行される。操作オブジェクトがＡ２からＡ４に移動する、すなわち、シフトがｓ２＝ｚ２−ｚ４＜０である場合、ズームアウトは、Ａ１ポイント（ｘ，ｙ）を中心として利用することによってビューにおいて実行される。図３に示されるように、ｓ１＞０であるとき、画面上に表示されるコンテンツは、図３における図Ａから図Ｂに変化する。ｓ２＜０であるとき、画面上に表示されるコンテンツは、図３における図Ａから図Ｃに変化する。

任意的には、ズーム中、画面上に表示されるコンテンツの変更速度がまた設定されてもよく、一般に、コンテンツの変更速度は操作オブジェクトの動きの速度未満である。

同様に、図４において、回転状況が示される。図４において、４つのポイントＡ１，Ａ２，Ｂ２及びＣ２があり、座標はそれぞれ（ｘ，ｙ，０），（ｘ，ｙ，ｚ２），（ｘ１，ｙ１，ｚ１）及び（ｘ２，ｙ１，ｚ１）である。Ａ２はスタート位置であり、Ａ１はＡ２に対応する画面上のポイントであり、操作オブジェクトはＡ２からＣ２に、それからＢ２に移動する。ｓ３＝ｚ２−ｚ１＜０であるため、ｘ軸方向とｙ軸方向との双方におけるシフトがあり、移動軌跡は所定の範囲を超え、画面上のコンテンツは同時にズームアウト及び回転され、すなわち、ビューは図４において図Ａから図Ｂに変化する。

任意的には、操作オブジェクトがタッチ画面のフローティング又は空中検知エリアから離れたことを検出してからある期間後、端末は、操作オブジェクトの移動軌跡の検出の状態から即座に退出してもよい。

本発明において提供されるフローティング又は空中操作処理方法が詳細に上述され、本発明において提供されるフローティング又は空中操作処理装置が以下で詳細に説明される。

実施例２
図５は、本実施例によるフローティング又は空中操作処理装置の概略図である。図５に示されるように、本発明におけるフローティング又は空中操作処理装置は、センサ５０１及びプロセッサ５０２を有する。

センサ５０１は、センサ５０１のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作を検出するよう構成される。

センサ５０１は、タッチ画面、カメラ、超音波センサ又は赤外線センサなどのセンサであってもよいし、又は、タッチ画面とカメラ、超音波センサ又は赤外線センサなどの連携して利用されるセンサの組み合わせであってもよい。タッチ画面は、本発明の本実施例における説明のための具体例として利用され、カメラ、超音波センサ又は赤外線センサなどのセンサはそれと同様である。

本発明では、操作オブジェクトは、一般にユーザの指などのセンサ５０１により検知可能なオブジェクトである。フローティング又は空中操作は、操作オブジェクトがセンサ５０１にタッチしないケースにおいて、センサ５０１により検知可能な操作を言う。

センサ５０１は、操作オブジェクトの停止位置の変化を検知し、具体的には、以下、画面にパラレルである操作オブジェクトが配置された平面におけるｘ軸方向における操作オブジェクトの変化、又は、画面にパラレルである操作オブジェクトが配置された平面におけるｙ軸方向における操作オブジェクトの変化、又は、センサ５０１に垂直であるｚ軸方向における操作オブジェクトの変化の１つ又は何れかの組み合わせを含む。

プロセッサ５０２は、センサ５０１により検出された操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定するよう構成される。

プロセッサ５０２が操作オブジェクトのフローティング又は空中操作が所定の条件を充足していると決定すると、プロセッサ５０２が、センサ５０１を利用することによって操作オブジェクトの移動軌跡を検出するよう構成される。この場合、端末は、ズーム／回転モードの起動をトリガする。

プロセッサ５０２が、センサにより検出された操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定することは、具体的には、プロセッサ５０２が、操作オブジェクトのフローティング又は空中操作が、第１の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である操作オブジェクトの停止操作であるか決定することであり、停止操作である場合、端末のフローティング又は空中検知エリアにおけるフローティング又は空中操作は、所定の条件を充足する。第１の時間閾値は、例えば、１秒など、実際の利用に従って予め設定されてもよい。

シフトは、方向だけでなく長さも含むベクトルであってもよい。

許容範囲は、ユーザが操作中に揺れる可能性があるため、予め設定された距離範囲であり、当該距離範囲内で移動するとき、操作オブジェクトはほぼ同じ位置にあるとみなされてもよい。すなわち、ｘ軸方向、ｙ軸方向及びｚ方向における操作オブジェクトのシフトの全てが許容範囲内であると決定されると、それは操作オブジェクトの移動が揺れに属することを示し、端末は操作オブジェクトが同じ位置にあるとみなす。

プロセッサ５０２が、操作オブジェクトのフローティング又は空中操作が停止操作であるか決定することは、具体的には、センサ５０１が操作オブジェクトを検出すると、プロセッサ５０２が、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートすることを有し、初期的な停止位置に対する操作オブジェクトのセンサ５０１により検出されたシフトが許容範囲を超え、タイマのカウントが第１の時間閾値に到達していないとプロセッサ５０２が決定した場合、プロセッサが、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートするか、又は、タイマのカウントが第１の時間閾値に到達した場合、プロセッサ５０２が、フローティング又は空中操作が停止操作であると決定し、操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマを再スタートする、ことを有する。

プロセッサ５０２は、センサ５０１を利用することによって操作オブジェクトの移動軌跡を検出するよう構成される。

操作オブジェクトの移動軌跡は、以下、端末の画面にパラレルである平面における平面矩形座標系のｘ軸方向における操作オブジェクトの移動軌跡、又は、平面矩形座標系のｙ軸方向における操作オブジェクトの移動軌跡、又は、画面に垂直であるｚ方向における操作オブジェクトの移動軌跡の１つ又は何れかの組み合わせを含む。

プロセッサ５０２は、ｘ軸方向、ｙ軸方向又はｚ方向における操作オブジェクトの停止位置とスタート位置との間のシフトを計算する。

操作オブジェクトの移動軌跡は、連続的に変化する軌跡ラインであってもよいし、又は変化するポイントであってもよく、すなわち、操作オブジェクトの１つ以上のポイントが検出され、計算中、操作オブジェクトの停止位置の変化が、ポイント変化によって生じる信号波形変化によって計算される。

プロセッサ５０２は更に、操作オブジェクトの移動軌跡に従って画面上に表示されるコンテンツに対してズーム又は回転操作を実行するよう構成される。

プロセッサ５０２は、端末の画面上に表示されるコンテンツにおける第２の位置に対応するエリアをズーム又は回転操作の中心エリアとして決定し、第２の位置をズーム又は回転操作のスタート位置として決定し、端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行し、ここで、第２の位置は、端末が操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの操作オブジェクトのフローティング位置である。

プロセッサ５０２が、操作オブジェクトの移動軌跡を検出することは、
プロセッサ５０２が、操作オブジェクトの現在のフローティング位置とスタート位置との間のセンサにより検出されたシフトを計算及び記録し、シフトを操作オブジェクトの移動軌跡として利用することを有する。

具体的には、プロセッサ５０２は、ｚ方向における操作オブジェクトの移動軌跡がセンサ５０１に近づいているとき、画面上に表示されるコンテンツに対してズームイン操作を実行するよう構成されるか、又は、
プロセッサ５０２は、ｚ方向における操作オブジェクトの移動軌跡がセンサ５０１から遠ざかっているとき、画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
プロセッサ５０２は、ｘ軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
プロセッサ５０２は、ｙ軸方向における操作オブジェクトの移動軌跡が所定の範囲を超えると、画面上に表示されるコンテンツに対して回転操作を実行するよう構成される。

ズームレシオは、ｚ方向におけるスタート位置に対するシフトの変化に従って制御され、例えば、０．５単位はｚ方向における４倍のズーム値を有し、４倍のズームインは正の方向において実行され（画面に対する距離が増加され）、１／４のズームアウトは負の方向において実行される（画面に対する距離が減少される）。すなわち、ｚ＜０であるとき、それは画面から遠いことを示し、ズームアウト命令が生成され、ズームアウト操作が実行され、ｚ＞０であるとき、それは画面に近いことを示し、ズームイン命令が生成され、ズームイン操作が実行される。

回転は、ｘ軸方向又はｙ軸方向におけるスタート位置に対するシフトの変化に従って制御される。停止位置のシフトが所定の範囲（例えば、ＳＡＦＥ＿Ｘ及びＳＡＦＥ＿Ｙとして予め設定される）を超えると、回転速度は、画面上のコンテンツを回転させるため、超過距離に従って計算される。ｘ軸方向又はｙ軸方向における回転速度が０より大きい場合、フローティング又は空中操作のジェスチャを検出するのに利用されるサービスはメッセージを送信してもよく、これにより、サブインタフェースが連続的に回転するか、ある度だけ回転するか、又は、ジェスチャ軌跡に従って回転する。ｘ軸方向及びｙ軸方向の双方における回転速度が０である場合、それは、操作オブジェクトが所定の範囲（ＳＡＦＥ＿Ｘ及びＳＡＦＥ＿Ｙ）内で移動していることを示し、元の回転処理がキャンセルされ、回転が停止される。

一般に、回転方向は、指の現在位置とスタート位置（タイマがスタートしたとき）との間の方向及び距離に基づき決定される。例えば、指の位置は中心ポイントのちょうど右側にあり、この場合、インタフェースは右方向に回転される。位置と中心ポイントとの間の距離の長さは回転速度に影響を与える可能性があり、距離がより長い場合、回転はより速くなる。指が中心ポイントに対して４５度の右上隅の位置にある場合、インタフェースは同時に右上方向に回転され、回転速度はまた中心ポイントの位置に従って決定される。ユーザが中心ポイントの位置に指を戻した場合、インタフェースの回転が停止される。

任意的には、画面上に表示されるコンテンツに対してズーム又は回転操作を実行した後、プロセッサ５０２は更に、第２の時間の間にセンサにより検出された操作オブジェクトのフローティング又は空中操作が停止操作であると決定すると、プロセッサ５０２が、操作オブジェクトの停止操作が第２の時間の間に決定されたときに取得された操作オブジェクトのフローティング位置をズーム又は回転操作のスタート位置として更新し、操作オブジェクトの停止操作が第２の時間の間に決定されたときに取得される操作オブジェクトのフローティング位置に対応する画面上に表示されるコンテンツをズーム又は回転操作の中心エリアとして決定するよう構成される。

本発明において提供されるフローティング又は空中操作処理方法及び装置によると、移動過程におけるユーザのフローティング又は空中操作が処理され、ユーザの移動軌跡及び傾向が決定され、対応するズーム／回転処理がユーザの移動軌跡に従って実行され、これにより、ウェブページ及びピクチャなどの表示されたオブジェクトがフローティング又は空中操作中にズーム形式で閲覧可能であり、既存のマルチタッチ機能を置換し、操作するのにフレキシブルで便利である。

当業者は更に、本明細書に開示された実施例において説明された具体例に関して、ユニット及びアルゴリズムのステップは電子的ハードウェア、コンピュータソフトウェア又はこれらの組み合わせにより実現可能であることを認識しうる。ハードウェアとソフトウェアとの間の互換性を明確に説明するため、上記は一般に機能に従って各具体例の構成及びステップを全体的に説明した。これらの機能がハードウェア又はソフトウェアにより実行されるか否かは、技術的解決策の特定の用途及び設計制約条件に依存する。当業者は、異なる方法を利用して特定の各用途について説明された機能を実現してもよいが、当該実現形態は本発明の範囲外であるとみなされるべきでない。

本明細書に開示される実施例において説明される方法又はアルゴリズムのステップは、ハードウェア、プロセッサにより実行されるソフトウェアモジュール又はこれらの組み合わせにより実現されてもよい。ソフトウェアモジュールは、ランダム・アクセス・メモリ（ＲＡＭ）、メモリ、読み出し専用メモリ（ＲＯＭ）、電子的にプログラム可能なＲＯＭ、電子的に消去可能なプログラム可能なＲＯＭ、レジスタ、ハードディスク、着脱可能なディスク、ＣＤ−ＲＯＭ又は当該分野において知られる他の何れかの形態の記憶媒体に配置されてもよい。

上記の特定の実現方式では、本発明の課題、技術的解決策及び利益が更に詳細に説明された。上記の説明は本発明の単なる特定の実現方式であり、本発明の保護範囲を限定することを意図していないことが理解されるべきである。本発明の精神及び原理から逸脱することなくなされた何れかの修正、等価な置換又は改良は、本発明の保護範囲内に属するべきである。

Claims (14)

1. フローティング又は空中操作処理方法であって、
   端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出し、充足している場合、前記端末が、前記操作オブジェクトの移動軌跡を検出するステップと、
   前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップと、
   を有する方法。
2. 前記端末が、前記端末のフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか検出するステップは、前記端末が、前記操作オブジェクトのフローティング又は空中操作が、第１の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか検出するステップを有し、停止操作である場合、前記端末のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する、請求項１記載の方法。
3. 前記端末が、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか検出するステップは、具体的には、
   前記端末が、前記端末のフローティング又は空中検知エリアにおいて前記操作オブジェクトを検出すると、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートするステップと、
   前記初期的な停止位置に対する前記操作オブジェクトのシフトが前記許容範囲を超え、前記タイマのカウントが前記第１の時間閾値に到達していないことを検出した場合、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップ、又は、
   前記タイマのカウントが前記第１の時間閾値に到達した場合、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするステップと、
   を有する、請求項２記載の方法。
4. 前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、
   前記端末の画面上に表示されるコンテンツにおける第２の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第２の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップを有し、前記第２の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
   前記端末が、前記操作オブジェクトの移動軌跡を検出するステップは、
   前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間のシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用するステップを有する、請求項２又は３記載の方法。
5. 前記端末が、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップの後、当該方法は更に、
   前記端末が第２の時間の間に操作オブジェクトのフローティング又は空中操作が停止操作であると検出すると、前記端末が、前記操作オブジェクトの停止操作が第２の時間の間に検出されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第２の時間の間に検出されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記端末の画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するステップを有する、請求項４記載の方法。
6. 前記操作オブジェクトの移動軌跡は、以下の１つ又は何れかの組み合わせ、
   前記端末の画面にパラレルである平面における平面矩形座標系のｘ軸方向における前記操作オブジェクトの移動軌跡、又は、
   前記平面矩形座標系のｙ軸方向における前記操作オブジェクトの移動軌跡、又は、
   前記端末の画面に垂直であるｚ方向における前記操作オブジェクトの移動軌跡
   を有する、請求項１乃至５何れか一項記載の方法。
7. 前記端末が、前記操作オブジェクトの移動軌跡に従って前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行するステップは、具体的には、以下の１つ又は何れかの組み合わせ、
   前記ｚ方向における前記操作オブジェクトの移動軌跡が前記端末の画面に近づいているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームイン操作を実行するステップと、
   前記ｚ方向における前記操作オブジェクトの移動軌跡が前記端末の画面から遠ざかっているとき、前記端末が、前記端末の画面上に表示されるコンテンツに対してズームアウト操作を実行するステップと、
   前記ｘ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
   前記ｙ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記端末が、前記端末の画面上に表示されるコンテンツに対して回転操作を実行するステップと、
   を有する、請求項６記載の方法。
8. フローティング又は空中操作処理装置であって、当該装置は、センサとプロセッサとを有し、
   前記センサは、前記センサのフローティング又は空中検知エリアにおける操作オブジェクトのフローティング又は空中操作を検出するよう構成され、
   前記プロセッサは、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定し、前記プロセッサが前記操作オブジェクトのフローティング又は空中操作が前記所定の条件を充足していると決定すると、前記プロセッサが、前記センサを利用することによって前記操作オブジェクトの移動軌跡を検出するよう構成され、
   前記プロセッサは更に、前記操作オブジェクトの移動軌跡に従って画面上に表示されるコンテンツに対してズーム又は回転操作を実行するよう構成される装置。
9. 前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が所定の条件を充足しているか決定することは、前記プロセッサが、前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が、第１の時間閾値内において位置が変化しないままである、又は位置シフトが許容範囲内である前記操作オブジェクトの停止操作であるか決定することを有し、停止操作である場合、前記装置のフローティング又は空中検知エリアにおける前記フローティング又は空中操作は、前記所定の条件を充足する、請求項８記載の装置。
10. 前記プロセッサが、前記操作オブジェクトのフローティング又は空中操作が停止操作であるか決定することは、具体的には、
    前記センサが前記操作オブジェクトを検出すると、前記プロセッサが、前記操作オブジェクトの現在位置を初期的な停止位置として設定し、タイマをスタートすることを有し、
    前記初期的な停止位置に対する前記操作オブジェクトの前記センサにより検出されたシフトが前記許容範囲を超え、前記タイマのカウントが前記第１の時間閾値に到達していないと前記プロセッサが決定した場合、前記プロセッサが、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートするか、又は、
    前記タイマのカウントが前記第１の時間閾値に到達した場合、前記プロセッサが、前記フローティング又は空中操作が停止操作であると決定し、前記操作オブジェクトの現在位置を前記初期的な停止位置として設定し、前記タイマを再スタートする、
    ことを有する、請求項９記載の装置。
11. 前記プロセッサが、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することは、
    前記プロセッサが、前記端末の画面上に表示されるコンテンツにおける第２の位置に対応するエリアを前記ズーム又は回転操作の中心エリアとして決定し、前記第２の位置を前記ズーム又は回転操作のスタート位置として決定し、前記端末の画面上に表示されるコンテンツに対してズーム又は回転操作を実行することを有し、前記第２の位置は、前記端末が前記操作オブジェクトのフローティング又は空中操作が停止操作であると検出したときの前記操作オブジェクトのフローティング位置であり、
    前記プロセッサが、前記操作オブジェクトの移動軌跡を検出することは、
    前記プロセッサが、前記操作オブジェクトの現在のフローティング位置と前記スタート位置との間の前記センサにより検出されたシフトを計算及び記録し、前記シフトを前記操作オブジェクトの移動軌跡として利用することを有する、請求項９又は１０記載の装置。
12. 前記画面上に表示されるコンテンツに対してズーム又は回転操作を実行した後、前記プロセッサは更に、
    第２の時間の間に前記センサにより検出された前記操作オブジェクトのフローティング又は空中操作が停止操作であると決定すると、前記プロセッサが、前記操作オブジェクトの停止操作が第２の時間の間に決定されたときに取得された前記操作オブジェクトのフローティング位置を前記ズーム又は回転操作のスタート位置として更新し、前記操作オブジェクトの停止操作が第２の時間の間に決定されたときに取得される前記操作オブジェクトのフローティング位置に対応する前記画面上に表示されるコンテンツを前記ズーム又は回転操作の中心エリアとして決定するよう構成される、請求項１１記載の装置。
13. 前記操作オブジェクトの移動軌跡は、以下の１つ又は何れかの組み合わせ、
    前記画面にパラレルである前記操作オブジェクトが配置された平面における平面矩形座標系のｘ軸方向における前記操作オブジェクトの移動軌跡、又は、
    前記平面矩形座標系のｙ軸方向における前記操作オブジェクトの移動軌跡、又は、
    前記画面に垂直であるｚ方向における前記操作オブジェクトの移動軌跡
    を有する、請求項８乃至１２何れか一項記載の装置。
14. 前記プロセッサは、具体的には、前記ｚ方向における前記操作オブジェクトの移動軌跡が前記センサに近づいているとき、前記画面上に表示されるコンテンツに対してズームイン操作を実行するよう構成されるか、又は、
    前記プロセッサは、具体的には、前記ｚ方向における前記操作オブジェクトの移動軌跡が前記センサから遠ざかっているとき、前記画面上に表示されるコンテンツに対してズームアウト操作を実行するよう構成されるか、又は、
    前記プロセッサは、具体的には、前記ｘ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成されるか、又は、
    前記プロセッサは、具体的には、前記ｙ軸方向における前記操作オブジェクトの移動軌跡が所定の範囲を超えると、前記画面上に表示されるコンテンツに対して回転操作を実行するよう構成される、請求項１３記載の装置。
    

Images